(57)【要約】【課題】ユーザーの利便性を向上する。【解決手段】表示システム１は、ＨＭＤ１００とＰＣ３００とを備える。ＨＭＤ１００は、実空間の景色に重ねて画像を表示する。ＰＣ３００は、第１制御部３１０を備える。第１制御部３１０は、ロボット５００を基準として設定された方向を示すガイド画像Ｐ１を、実空間に配置されたロボット５００に対応するようにＨＭＤ１００に表示させる。ロボット５００のツール５１に、ツール５１を基準とするツール座標系ＴＣが設定される。第１制御部３１０は、ツール５１の方向に対応してツール座標系ＴＣを示すガイド画像Ｐ１を表示させる。ガイド画像Ｐ１は、Ｘ軸画像Ｐ１１と、Ｙ軸画像Ｐ１２と、Ｚ軸画像Ｐ１３とを含む。【選択図】図５
2020069538.tif 000002
【特許請求の範囲】
【請求項１】
実空間の景色に重ねて画像を表示する頭部装着型の表示部と、
制御対象物を基準として設定された方向を示すガイド画像を、前記実空間に配置された前記制御対象物に対応するように前記表示部に表示させる第１制御部と、
を備え、
前記制御対象物の対象箇所に、前記対象箇所を基準とする座標系が設定され、
前記第１制御部は、前記対象箇所の方向に対応して前記座標系を示す前記ガイド画像を表示させる、表示システム。
【請求項２】
前記制御対象物は、前記表示部に対する前記対象箇所の移動及び回転の少なくともいずれかが可能な動作機構を備える、
請求項１に記載の表示システム。
【請求項３】
前記制御対象物には複数の前記対象箇所と、前記対象箇所の各々を基準とする前記座標系とが設定され、
前記第１制御部は、前記対象箇所の各々の位置及び方向を特定し、前記対象箇所の各々の位置及び方向に対応して前記ガイド画像を表示させる、
請求項１又は請求項２に記載の表示システム。
【請求項４】
前記表示部は、撮像部を備え、
前記第１制御部は、前記撮像部による撮影画像に基づいて、前記表示部に対する前記対象箇所の位置及び方向を特定し、前記対象箇所の位置及び方向に対応して前記ガイド画像を表示する、
請求項１から３のいずれか１項に記載の表示システム。
【請求項５】
前記第１制御部は、前記撮影画像から前記制御対象物の前記対象箇所に設けられた画像マーカーを検出することにより、前記表示部に対する前記対象箇所の位置及び方向を特定する、
請求項４に記載の表示システム。
【請求項６】
前記制御対象物には複数の前記対象箇所が設定され、
前記第１制御部は、前記撮影画像から前記制御対象物の前記対象箇所の各々に設けられた前記画像マーカーを検出することにより、前記表示部に対する前記対象箇所の各々の位置及び方向を特定する、
請求項５に記載の表示システム。
【請求項７】
前記第１制御部は、前記表示部を頭部に装着したユーザーの視線に基づいて、前記対象箇所の各々に設けられた前記画像マーカーの中から１つの前記画像マーカーを特定し、前記１つの画像マーカーに対応する前記ガイド画像を表示する、
請求項５又は６に記載の表示システム。
【請求項８】
前記第１制御部は、前記表示部と前記制御対象物の前記対象箇所との距離に応じて、前記ガイド画像のサイズを決定する、
請求項２から７のいずれか１項に記載の表示システム。
【請求項９】
前記表示部を有する表示装置と、
前記制御対象物及び前記表示装置と通信可能に接続され、前記第１制御部を備える制御装置と、
を有する、
請求項１から８のいずれか１項に記載の表示システム。
【請求項１０】
前記制御対象物の動作に関する入力を受け付ける入力部と、
前記入力に対応して、前記制御対象物を動作させる第２制御部と、
を備え、
前記第１制御部は、前記制御対象物の動作に対応して、前記表示部に前記ガイド画像の表示を更新させる、
請求項１から９のいずれか１項に記載の表示システム。
【請求項１１】
前記第１制御部は、前記制御対象物の状態を示す状態画像を、前記実空間に設置された前記制御対象物に対応するように前記表示部に表示させる、
請求項１から１０のいずれか１項に記載の表示システム。
【請求項１２】
前記第１制御部は、前記制御対象物が移動する領域を案内する領域ガイド画像を、前記実空間に設置された前記制御対象物に対応するように前記表示部に表示させる、
請求項１から１１のいずれか１項に記載の表示システム。
【請求項１３】
前記制御対象物は、複数の関節及び複数の軸の少なくともいずれかを有するロボットである、
請求項１から１２のいずれか１項に記載の表示システム。
【請求項１４】
実空間の景色に重ねて画像を表示する頭部装着型の表示部を備える表示システムの制御方法であって、
制御対象物を基準として設定された方向を示すガイド画像を、前記実空間に配置された前記制御対象物に対応するように前記表示部に表示させる表示ステップ、
を含む、
表示システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、及び、表示システムの制御方法に関する。
【背景技術】
【０００２】
従来、ロボットのティーチングにおいて、透過型ディスプレイを用いる技術が知られている（例えば、特許文献１参照）。特許文献１に記載の３ＤＣＧ描画用計算機は、ロボットアームの形態を３次元でモデリングした３Ｄモデル画像データを保持する。そして、３ＤＣＧ描画用計算機は、作業者の視点位置情報、アームの位置情報、及び姿勢情報に応じて、３Ｄモデル画像データを作業者の視点から見たアームの実景に重なる画像となるように加工する。また、作業者によりアームの動作についてティーチング作業が行われると、３ＤＣＧ描画用計算機は、アームの手先の動作経路を画像として表示するための経路画像データを生成し、加工した３Ｄモデル画像データと合成した画像データを生成する。更に、３ＤＣＧ描画用計算機は、前記画像データにおいてアームが存在する部分を透過色で表示すように加工し、加工した画像データを透過型ディスプレイに送信する。透過型ディスプレイは送信された画像データを表示部に表示させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１００２３４公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ユーザーの利便性を向上することが可能な表示システム、及び、表示システムの制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成する一態様は、実空間の景色に重ねて画像を表示する頭部装着型の表示部と、制御対象物を基準として設定された方向を示すガイド画像を、前記実空間に配置された前記制御対象物に対応するように前記表示部に表示させる第１制御部と、を備え、前記制御対象物の対象箇所に、前記対象箇所を基準とする座標系が設定され、前記第１制御部は、前記対象箇所の方向に対応して前記座標系を示す前記ガイド画像を表示させる表示システムである。
【０００６】
上記表示システムにおいて、前記制御対象物は、前記表示部に対する前記対象箇所の移動及び回転の少なくともいずれかが可能な動作機構を備える構成であってもよい。
【０００７】
上記表示システムにおいて、前記制御対象物には複数の前記対象箇所と、前記対象箇所の各々を基準とする前記座標系とが設定され、前記第１制御部は、前記対象箇所の各々の位置及び方向を特定し、前記対象箇所の各々の位置及び方向に対応して前記ガイド画像を表示させる構成であってもよい。
【０００８】
上記表示システムにおいて、前記表示部は、撮像部を備え、前記第１制御部は、前記撮像部による撮影画像に基づいて、前記表示部に対する前記対象箇所の位置及び方向を特定し、前記対象箇所の位置及び方向に対応して前記ガイド画像を表示する構成であってもよい。
【０００９】
上記表示システムにおいて、前記第１制御部は、前記撮影画像から前記制御対象物の前記対象箇所に設けられた画像マーカーを検出することにより、前記表示部に対する前記対象箇所の位置及び方向を特定する構成であってもよい。
【００１０】
上記表示システムにおいて、前記制御対象物には複数の前記対象箇所が設定され、前記第１制御部は、前記撮影画像から前記制御対象物の前記対象箇所の各々に設けられた前記画像マーカーを検出することにより、前記表示部に対する前記対象箇所の各々の位置及び方向を特定する構成であってもよい。
【００１１】
上記表示システムにおいて、前記第１制御部は、前記表示部を頭部に装着したユーザーの視線に基づいて、前記対象箇所の各々に設けられた前記画像マーカーの中から１つの前記画像マーカーを決定し、前記１つの画像マーカーに対応する前記ガイド画像を表示する構成であってもよい。
【００１２】
上記表示システムにおいて、前記第１制御部は、前記表示部と前記制御対象物の前記対象箇所との距離に応じて、前記ガイド画像のサイズを決定する構成であってもよい。
【００１３】
上記表示システムにおいて、前記表示部を有する表示装置と、前記制御対象物及び前記表示装置と通信可能に接続され、前記第１制御部を備える制御装置と、を有する構成であってもよい。
【００１４】
上記表示システムにおいて、前記制御対象物の動作に関する入力を受け付ける入力部と、前記入力に対応して、前記制御対象物を動作させる第２制御部と、を備え、前記第１制御部は、前記制御対象物の動作に対応して、前記表示部に前記ガイド画像の表示を更新させる構成であってもよい。
【００１５】
上記表示システムにおいて、前記第１制御部は、前記制御対象物の状態を示す状態画像を、前記実空間に設置された前記制御対象物に対応するように前記表示部に表示させる構成であってもよい。
【００１６】
上記表示システムにおいて、前記第１制御部は、前記制御対象物が移動する領域を案内する領域ガイド画像を、前記実空間に設置された前記制御対象物に対応するように前記表示部に表示させる構成であってもよい。
【００１７】
上記表示システムにおいて、前記制御対象物は、複数の関節及び複数の軸の少なくともいずれかを有するロボットである構成であってもよい。
【００１８】
上記目的を達成する別の一態様は、実空間の景色に重ねて画像を表示する頭部装着型の表示部を備える表示システムの制御方法であって、制御対象物を基準として設定された方向を示すガイド画像を、前記実空間に配置された前記制御対象物に対応するように前記表示部に表示させる表示ステップ、を含む、表示システムの制御方法である。
【図面の簡単な説明】
【００１９】
【図１】表示システムの全体構成を示す図。
【図２】ＨＭＤの構成を示す図。
【図３】第１制御部及び第２制御部の構成を示す図。
【図４】２次元マーカーを示す図。
【図５】ガイド画像及び状態画像の一例を示す図。
【図６】ガイド画像及び状態画像の他の一例を示す図。
【図７】領域ガイド画像の一例を示す図。
【図８】第１制御部の処理を示すフローチャート。
【図９】ガイド画像の更に別の一例を示す図。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施形態について説明する。
まず、図１を参照して本発明の実施形態に係る表示システム１について説明する。図１は、表示システム１の全体構成を示す図である。
図１に示すように、表示システム１は、頭部装着型の表示装置であるＨＭＤ１００と、ＰＣ３００と、コントローラー４００と、ロボット５００とを備える。ＨＭＤは、「Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ」の略である。ＨＭＤ１００は、使用者の頭部に装着される画像表示部２０と、接続装置１０とを備え、画像表示部２０により、使用者の頭部に装着された状態で使用者に虚像を視認させる装置である。画像表示部２０は、本発明の「表示部」に相当する。また、ＨＭＤ１００は、本発明の「表示装置」に相当する。以下の説明において、使用者は、ＨＭＤ１００を装着して使用するユーザーを指す。
【００２１】
ＰＣ３００は、ＨＭＤ１００及びコントローラー４００の各々と通信可能に接続される。ＰＣ３００は、ガイド画像Ｐ１、ステイタス画像Ｐ２及び領域ガイド画像Ｐ３を、実空間の景色に重ねてＨＭＤ１００に表示させる。空間の景色には、ロボット５００が含まれる。
ガイド画像Ｐ１は、ロボット５００を基準として設定された方向を示す。具体的には、ガイド画像Ｐ１は、ロボット５００のツールの方向に対応するツール座標系ＴＣを示す。ツール座標系ＴＣは、Ｘ軸、Ｙ軸及びＺ軸を含む。
ステイタス画像Ｐ２は、ＨＭＤ１００の状態を示す。ステイタス画像Ｐ２は、「状態画像」の一例に相当する。ガイド画像Ｐ１及びステイタス画像Ｐ２については、後述にて図３、図５及び図６を参照して説明する。領域ガイド画像Ｐ３については、後述にて図３及び図７を参照して説明する。
【００２２】
ＰＣは「Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ」の略である。ＰＣ３００は、「制御装置」の一例に相当する。なお、ＰＣ３００は「制御装置」の一例に過ぎない。例えば、デスクトップ型ＰＣ、ノート型ＰＣ、タブレット型ＰＣ、スマートフォン等を「制御装置」として接続装置１０に接続可能である。「制御装置」として機能するＰＣの一態様として、接続装置１０のコネクター１１に直接接続されるスティック型の本体を有する、いわゆるスティック型のＰＣを用いてもよい。
【００２３】
ロボット５００は、「制御対象物」の一例に相当する。ロボット５００は、複数の関節及び複数の軸を有する。具体的には、ロボット５００は、ツール５１、第１関節５２、第２関節５３、第３関節５４、第４関節５５、第５関節５６、第６関節５７、第７関節５８及び第８関節５９を有する。また、ロボット５００は、第１軸部材ＡＸ１、第２軸部材ＡＸ２、第３軸部材ＡＸ３、第４軸部材ＡＸ４、第５軸部材ＡＸ５、第６軸部材ＡＸ６、第７軸部材ＡＸ７及び第８軸部材ＡＸ８を有する。第１軸部材ＡＸ１〜第８軸部材ＡＸ８の各々は、いわゆる「リンク」を構成する。
ツール５１は、モーターによって駆動され、対象物を把持する。対象物は、例えばネジ、バネ等の装置を構成する部品である。装置は、例えば、自動車である。換言すれば、ロボット５００は、例えば自動車を組み立てる。
ツール５１には、センサーＳが配置される。センサーＳは、ツール５１の把持力を検出する。
ツール５１は、第１軸部材ＡＸ１の先端に配置される。第１軸部材ＡＸ１は、ツール５１と第１関節５２とを接続する。ツール５１と第１軸部材ＡＸ１とは一体に形成される。第１軸部材ＡＸ１は、第１関節５２によって回転自在に支持される。第１軸部材ＡＸ１は、第１関節５２においてモーターによって回転駆動される。第１関節５２は、第１軸部材ＡＸ１の基端に配置される。
なお、先端は、ツール５１に近接する端部を示し、基端は、ツール５１から離間する端部を示す。
【００２４】
本実施形態では、ツール５１にはセンサーＳが配置されるが、本発明はこれに限定されない。ツール５１にカメラは配置されてもよい。この場合には、ツール５１と周囲の物体との間の位置関係を把握できるため、ツール５１を更に容易に操作できる。
【００２５】
本実施形態では、ツール５１にはセンサーＳが配置されるが、本発明はこれに限定されない。ツール５１に種々のセンサーが配置されてもよい。例えば、ツール５１に力覚センサーが配置されてもよい。例えば、力覚センサーの検出結果をステイタス画像Ｐ２として表示することによって、ティーチングの効率を向上できる。
例えば、ツール５１にトルクセンサーが配置されてもよい。この場合には、ツール５１がネジを把持して、ネジ穴に捻じ込む作業を容易化できる。例えば、トルクが過大である場合には、ネジ穴とネジ山との位置が合っていないと判断できる。
また、例えば、ツール５１に圧力センサーが配置されてもよい。この場合には、ツール５１が部材を把持して、穴に嵌め込む作業を容易化できる。例えば、圧力が過大である場合には、穴と部材との位置が合っていないと判断できる。
【００２６】
第１関節５２は、第２軸部材ＡＸ２の先端に配置される。第２軸部材ＡＸ２は、第１関節５２と第２関節５３とを接続する。第２軸部材ＡＸ２は、第２関節５３によって回転自在に支持される。第２軸部材ＡＸ２は、第２関節５３においてモーターによって回転駆動される。第２関節５３は、第２軸部材ＡＸ２の基端に配置される。
第２関節５３は、第３軸部材ＡＸ３の先端に配置される。第３軸部材ＡＸ３は、第２関節５３と第３関節５４とを接続する。第３軸部材ＡＸ３は、第３関節５４によって回転自在に支持される。第３軸部材ＡＸ３は、第３関節５４においてモーターによって回転駆動される。第３関節５４は、第３軸部材ＡＸ３の基端に配置される。
第３関節５４〜第７関節５８の各々と、第４軸部材ＡＸ４〜第７軸部材ＡＸ７の各々とは、第１関節５２〜第３関節５４の各々と、第２軸部材ＡＸ２及び第３軸部材ＡＸ３の各々と同様に構成されるため、その説明を省略する。
第８軸部材ＡＸ８は、第８関節５９によって回転自在に支持される。第８軸部材ＡＸ８は、第８関節５９においてモーターによって回転駆動される。第８関節５９は、第８軸部材ＡＸ８の基端に配置される。具体的には、第８関節５９は、床面ＦＬに配置される。
【００２７】
第１軸部材ＡＸ１〜第８軸部材ＡＸ８の各々を回転駆動するモーターは、「動作機構」の一例に相当する。
ツール５１及び第１軸部材ＡＸ１〜第８軸部材ＡＸ８の各々は、「対象箇所」の一例に相当する。
なお、本発明の実施形態では、ロボット５００が、第１関節５２〜第８関節５９と、第１軸部材ＡＸ１〜第８軸部材ＡＸ８を有するが、本発明はこれに限定されない。ロボット５００が、複数の関節及び複数の軸の少なくともいずれかを有すればよい。
【００２８】
ロボット５００は、オフラインデータと、ティーチングデータとに基づいて動作する。
オフラインデータは、ロボット５００の機体を使わないで生成され、ロボット５００に対して動作を指示するデータを示す。
ティーチングデータは、ロボット５００の機体を使ってオフラインデータを修正するためのデータを示す。ティーチングデータは、使用者からの指示に基づいて生成される。
本発明の実施形態では、ロボット５００のティーチングデータを生成する場合について説明する。
【００２９】
コントローラー４００は、使用者からの操作を受け付け、操作を示す操作信号に基づいて、ロボット５００の動作を制御する。具体的には、コントローラー４００は、ツール５１に対する使用者からの操作を受け付け、操作を示す操作信号に基づいて、ロボット５００の動作を制御する。
コントローラー４００は、操作を示す操作情報を、ティーチングデータとして、ＰＣ３００に伝送する。
【００３０】
次に、図１及び図２を参照してＨＭＤ１００の構成について説明する。図２は、ＨＭＤ１００の構成を示す図である。
【００３１】
図２に示すように、接続装置１０は、コネクター１１Ａ、コネクター１１Ｂ、コネクター１１Ｃ及びコネクター１１Ｄを備える。コネクター１１Ａには、画像表示部２０が表示部接続ケーブル４０を介して接続される。以下、コネクター１１Ａ、１１Ｂ、１１Ｃ、１１Ｄを区別しない場合はコネクター１１と記載する。
【００３２】
表示システム１は、ＨＭＤ１００にＰＣ３００を接続して構成されるシステムである。コネクター１１Ｂ、１１Ｃ、１１Ｄは、ＰＣ３００が接続されるインターフェイスである。
【００３３】
コネクター１１は、通信ケーブルを接続する有線インターフェイスであり、この通信ケーブルにより、接続装置１０は外部の装置と接続される。コネクター１１Ａは、表示部接続ケーブル４０を接続する端子、及び、コネクター１１Ａを介して信号を送受信するインターフェイス回路を備える。コネクター１１Ｂも同様に、ケーブルを接続する端子と、コネクター１１Ｂを介して信号を送受信するインターフェイス回路とを備える。コネクター１１Ｃ、１１Ｄも同様である。
【００３４】
コネクター１１Ａは、接続装置１０に画像表示部２０を接続するために設けられる。表示部接続ケーブル４０は、接続装置１０から画像表示部２０に対する電源供給を行うとともに、画像表示部２０と接続装置１０とが相互にデータを送受信する機能を有する。
【００３５】
コネクター１１Ｂ、１１Ｃ、１１Ｄは、例えば、公知の通信インターフェイス規格に準拠するコネクターであり、同一形状のコネクターであってもよく、異なる種類のコネクターであってもよい。
【００３６】
本発明の実施形態では、一例として、コネクター１１Ｂは画像データ及び各種データの入出力に対応するインターフェイスであり、第１接続ケーブル４２を介してＰＣ３００が接続される。コネクター１１Ｃは、少なくとも画像データの入出力に対応するインターフェイスであり、第２接続ケーブル４４を介してＰＣ３００が接続される。コネクター１１Ｄは、少なくとも接続装置１０に対する電源供給に対応するインターフェイスであり、第３接続ケーブル４６を介してＰＣ３００が接続される。
【００３７】
コネクター１１Ｂとして、例えば、ＵＳＢ−ＴｙｐｅＣ規格のコネクターを採用することができる。ＵＳＢ−ＴｙｐｅＣに対応するインターフェイスは、ＵＳＢ３．１規格に従ったデータの伝送、及び、２０ボルト以下、かつ５アンペア以下の直流電流の供給が可能である。また、ＵＳＢ−ＴｙｐｅＣの代替モードの機能として、ＨＤＭＩ規格の画像データ、ＭＨＬ規格の画像データ等を伝送できる。ＰＣ３００は、第１接続ケーブル４２を介して、電源供給、データの送受信、及び、画像や音声のストリーミングデータの供給等を行うことができる。ここで、ＵＳＢは、「Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ」の略である。ＭＨＬは「Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ」の略であり、ＨＤＭＩは「Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ」の略である。ＵＳＢ−ＴｙｐｅＣの代替モードは、Ａｌｔｅｒｎａｔｉｖｅモードとして知られている。ＨＤＭＩは登録商標である。
【００３８】
コネクター１１Ｃとして、例えば、ＨＤＭＩ規格に準拠したコネクターを採用できる。また、コネクター１１Ｄは、ＵＳＢ−ＴｙｐｅＣ規格のコネクターや、ＭｉｃｒｏＵＳＢコネクターを採用することができる。コネクター１１Ｄとしてデータの伝送と電源供給とが可能なインターフェイス規格のコネクターを採用し、接続装置１０が、コネクター１１Ｄにより電源供給のみを行う構成とすることもできる。
【００３９】
コネクター１１Ｂには、第１接続ケーブル４２を介してＰＣ３００が接続され、カメラ６１によって生成された画像を示すデータがＰＣ３００に出力される。カメラ６１については、後述にて図１を参照して説明する。コネクター１１Ｃには、ガイド画像Ｐ１、ステイタス画像Ｐ２及び領域ガイド画像Ｐ３を示すデータを第２接続ケーブル４４により出力するＰＣ３００が接続される。ＰＣ３００は、ガイド画像Ｐ１、ステイタス画像Ｐ２及び領域ガイド画像Ｐ３を生成する。また、コネクター１１Ｄには、第３接続ケーブル４６を介して、５ボルトの直流電源を出力するＰＣ３００が接続され、接続装置１０はコネクター１１Ｄにより電源供給を受ける。
【００４０】
図１に示すように、画像表示部２０は、本発明の実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６、及び左導光板２８を備える。
【００４１】
右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者の頭部Ｕに画像表示部２０を保持する。前部フレーム２７の両端部のうちの画像表示部２０の装着時に頭部Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。画像表示部２０の装着状態において、右保持部２１は、前部フレーム２７の端部ＥＲから使用者の右側頭部に対応する位置まで延伸して設けられる。画像表示部２０の装着状態において、左保持部２３は、端部ＥＬから使用者の左側頭部に対応する位置まで延伸して設けられる。
【００４２】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。画像は、ガイド画像Ｐ１、ステイタス画像Ｐ２及び領域ガイド画像Ｐ３を含む。
【００４３】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接する、ベルトを連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。
【００４４】
右表示部２２及び左表示部２４は、それぞれ、光学ユニット及び周辺回路をユニット化したモジュールである。
右表示部２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示部２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示部２２及び左表示部２４を総称して単に「表示駆動部」と呼ぶこともできる。
【００４５】
右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部材であり、右表示部２２及び左表示部２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８は、例えばプリズムである。
【００４６】
右導光板２６及び左導光板２８の表面に、調光板を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側とは反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することによって、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。
【００４７】
ＨＭＤ１００は、いわゆる「シースルー型」の表示装置であり、使用者の右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光による画像が視認される。
外景は、「実空間の景色」に相当する。
【００４８】
画像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０を装着する使用者の前方からの外光を受光する。
カメラ６１は、画像表示部２０の前部フレーム２７に配置される。カメラ６１の撮像範囲及び撮像方向については後述する。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
カメラ６１は、「撮像部」の一例に相当する。
【００４９】
カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本発明の実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００を装着した状態における使用者の視界方向の外景を撮像する。カメラ６１の画角は、使用者の正面方向を向き、カメラ６１が撮像する外景の範囲は、使用者が画像表示部２０を透過して視認する外景の範囲を含む。例えば、カメラ６１が撮像する外景の範囲は、使用者が画像表示部２０を透過して視認する外景の範囲と一致する。外景とは、使用者が肉眼により知覚する外部の実空間の景色をいう。カメラ６１の画角の広さは適宜設定可能である。
【００５０】
前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。
【００５１】
画像表示部２０の右表示部２２及び左表示部２４は、それぞれ、接続装置１０に接続される。ＨＭＤ１００では、左保持部２３に表示部接続ケーブル４０が接続され、この表示部接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示部２２と左表示部２４のそれぞれが接続装置１０に接続される。
【００５２】
接続ケーブル４０は、オーディオコネクター３６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター３６に接続される。右イヤホン３２は、使用者の右耳に装着され、左イヤホン３４は、使用者の左耳に装着される。右イヤホン３２及び左イヤホン３４は、音声出力部ということもできる。
【００５３】
右イヤホン３２及び左イヤホン３４は、接続装置１０が出力する音声信号に基づき音声を出力する。
マイク６３は、音声を集音して、音声信号を接続装置１０に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００５４】
接続装置１０は、使用者により操作される被操作部として、図略の電源ボタン、輝度調整ボタン及び、音量調整ボタンを備える。これらの被操作部は接続装置１０の本体の表面に配置され、例えば、使用者の手指により操作される。
【００５５】
電源ボタンは、ＨＭＤ１００の電源のオン／オフを指示するボタンである。輝度調整ボタンは画像表示部２０により表示する画像の表示輝度を調整するためのボタンである。輝度調整ボタンは輝度の増大を指示し、輝度調整ボタンは輝度の低減を指示する。音量調整ボタンは、右イヤホン３２及び左イヤホン３４から出力される音声の音量を調整するためのボタンである。音量調整ボタンは音量の増大を指示し、音量調整ボタンは音量の低減を指示する。
【００５６】
また、接続装置１０は、ＨＭＤ１００の動作状態を表示する図略のインジケーターを備える。インジケーターは、例えば、ＬＥＤを備え、ＨＭＤ１００の電源がオンの間、赤色に点灯する。ここで、ＬＥＤは「Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ」の略である。また、インジケーターは、上述した被操作部に対する操作を受け付けた場合に白色に点灯する。
【００５７】
図２に示すように、画像表示部２０の右表示部２２は、右表示部基板２１０を有する。右表示部基板２１０には、表示部接続ケーブル４０に接続される右Ｉ／Ｆ部２１１、右Ｉ／Ｆ部２１１を介して接続装置１０から入力されるデータを受信する受信部２１３、及び、ＥＥＰＲＯＭ２１５が実装される。右Ｉ／Ｆ部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、接続装置１０に接続する。受信部２１３は、ＯＬＥＤユニット２２１を接続装置１０に接続する。
【００５８】
左表示部２４は、左表示部基板２３０を有する。左表示部基板２３０には、表示部接続ケーブル４０に接続される左Ｉ／Ｆ部２３１、及び、左Ｉ／Ｆ部２３１を介して接続装置１０から入力されるデータを受信する受信部２３３が実装される。また、左表示部基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。
左Ｉ／Ｆ部２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、接続装置１０に接続する。受信部２３３は、ＯＬＥＤユニット２４１を接続装置１０に接続する。
【００５９】
Ｉ／Ｆはインターフェイスの略である。ＥＥＰＲＯＭは「Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ」の略である。ＯＬＥＤは、「Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ」の略である。また、以下において受信部２１３、及び、受信部２３３を、それぞれＲｘ２１３、Ｒｘ２３３と表記する。
【００６０】
ＥＥＰＲＯＭ２１５は、各種のデータを不揮発的に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示部２２または左表示部２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。ＥＥＰＲＯＭ２１５が記憶するデータは、制御部１２０により読取り可能である。
【００６１】
カメラ６１は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮影画像データを、右Ｉ／Ｆ部２１１に出力する。照度センサー６５は、外光を受光し、受光量または受光強度に対応する検出値を出力する。ＬＥＤインジケーター６７は、右Ｉ／Ｆ部２１１を介して入力される制御信号または駆動電流に従って点灯する。
温度センサー２１７は、ＯＬＥＤユニット２２１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。
【００６２】
受信部２１３は、右Ｉ／Ｆ部２１１を介して接続装置１０から伝送される表示用の画像データを受信し、ＯＬＥＤユニット２２１に出力する。ＯＬＥＤユニット２２１は、接続装置１０が伝送する画像データに基づく画像を表示する。
また、受信部２３３は、左Ｉ／Ｆ部２３１を介して接続装置１０から伝送される表示用の画像データを受信し、ＯＬＥＤユニット２４１に出力する。ＯＬＥＤユニット２２１、２４１は、接続装置１０が伝送する画像データに基づく画像を表示する。
画像は、ガイド画像Ｐ１、ステイタス画像Ｐ２及び領域ガイド画像Ｐ３を含む。
【００６３】
６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。ジャイロセンサーは、角速度センサーとも呼ばれる。また、モーションセンサーは、慣性センサーと言い換えることができる。ＩＭＵは、「Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ」の略である。
【００６４】
温度センサー２３９は、ＯＬＥＤユニット２４１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。
【００６５】
画像表示部２０の各部は、表示部接続ケーブル４０により接続装置１０から供給される電力により動作する。
【００６６】
画像表示部２０は、右表示部２２に電源部２２９を備え、左表示部２４に電源部２４９を備える。電源部２２９は、接続装置１０が表示部接続ケーブル４０を介して供給する電力を、右表示部基板２１０を含む右表示部２２の各部に分配し、供給する。同様に、電源部２４９は、接続装置１０が表示部接続ケーブル４０を介して供給する電力を、左表示部基板２３０を含む左表示部２４の各部に分配し、供給する。右表示部２２及び左表示部２４は、電圧を変換する変換回路等を備えてもよい。
【００６７】
接続装置１０は、Ｉ／Ｆ部１１０、制御部１２０、センサー制御部１２２、表示制御部１２４、電源制御部１２６、不揮発性記憶部１３０、操作部１４０、接続部１４５、及び、音声処理部１４７を備える。
【００６８】
Ｉ／Ｆ部１１０は、コネクター１１Ｂ、１１Ｃ、１１Ｄを備える。また、Ｉ／Ｆ部１１０は、コネクター１１Ｂ、１１Ｃ、１１Ｄに接続されて、各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。
【００６９】
Ｉ／Ｆ部１１０は、例えば、コネクター１１Ｂ、１１Ｃ、１１Ｄ及びインターフェイス回路を実装したインターフェイス基板であってもよい。また、接続装置１０の制御部１２０やセンサー制御部１２２、表示制御部１２４、電源制御部１２６が、図示しない接続装置メイン基板に実装される構成としてもよい。この場合、接続装置メイン基板にＩ／Ｆ部１１０のコネクター１１Ｂ、１１Ｃ、１１Ｄ及びインターフェイス回路を実装してもよい。
また、Ｉ／Ｆ部１１０は、例えば、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、Ｉ／Ｆ部１１０を無線通信インターフェイスで構成してもよい。
【００７０】
制御部１２０は、接続装置１０の各部を制御する。制御部１２０は、図略のプロセッサー１５０によりプログラムを実行して、ソフトウェアとハードウェアとの協働によりＨＭＤ１００の各部を制御する。制御部１２０には、不揮発性記憶部１３０、操作部１４０、接続部１４５、及び音声処理部１４７が接続される。
【００７１】
センサー制御部１２２は、カメラ６１、照度センサー６５、温度センサー２１７、６軸センサー２３５、磁気センサー２３７、及び、温度センサー２３９を制御する。具体的には、センサー制御部１２２は、制御部１２０の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。
【００７２】
センサー制御部１２２は、Ｉ／Ｆ部１１０のコネクター１１Ｂに接続され、予め設定されたタイミングで、各センサーから取得した検出値に関するデータをコネクター１１Ｂに出力する。コネクター１１Ｂに接続された装置は、ＨＭＤ１００の各センサーの検出値や、カメラ６１の撮影画像データを取得できる。本発明の実施形態では、センサー制御部１２２により、各センサーの検出値およびカメラ６１の撮影画像データが、ＰＣ３００に出力される。センサー制御部１２２が出力するデータは、検出値を含むデジタルデータであってもよい。また、センサー制御部１２２は、各センサーの検出値をもとに演算処理した結果のデータを出力してもよい。例えば、センサー制御部１２２は、複数のセンサーの検出値を統合的に処理し、いわゆるセンサーフュージョン処理部として機能する。センサーフュージョンを実行することにより、センサー制御部１２２は、センサーの検出値から求めたデータ、例えば、画像表示部２０の動きの軌跡データや、画像表示部２０の相対座標データ等を出力する。センサー制御部１２２は、コネクター１１Ｂに接続された装置との間で、データの伝送に関する各種制御データを送受信する機能を有していてもよい。
【００７３】
表示制御部１２４は、Ｉ／Ｆ部１１０に入力される画像データや画像データに基づく画像を画像表示部２０により表示するための各種処理を実行する。例えば、表示制御部１２４は、フレームの切り出し、解像度変換、中間フレーム生成、フレームレート変換等の各種処理を実行する。解像度変換は、いわゆるスケーリングを含む。表示制御部１２４は、ＯＬＥＤユニット２２１、及び、ＯＬＥＤユニット２４１の各々に対応する画像データを接続部１４５に出力する。接続部１４５に入力された画像データは、コネクター１１Ａから右Ｉ／Ｆ部２１１及び左Ｉ／Ｆ部２３１に伝送される。
【００７４】
表示制御部１２４は、例えば、Ｉ／Ｆ部１１０に入力された画像データが３Ｄ画像データである場合に、３Ｄ画像デコードを実行する。３Ｄ画像は、広義の立体画像を含む。３Ｄ画像デコードの処理において、表示制御部１２４は、３Ｄ画像データから右眼用のフレームと左眼用のフレームとを生成する。Ｉ／Ｆ部１１０に入力される３Ｄ画像データの形式は、例えば、サイドバイサイド形式、トップアンドボトム形式、フレームパッキング形式等が挙げられるが、３Ｄモデルデータであってもよい。
【００７５】
表示制御部１２４は、コネクター１１Ｂ、及び、コネクター１１Ｃに接続される。表示制御部１２４は、コネクター１１Ｂに入力される画像データ、及び、コネクター１１Ｃに入力される画像データを対象として、処理を実行する。また、表示制御部１２４は、コネクター１１Ｂ、またはコネクター１１Ｃに接続された装置との間で、画像データの伝送に関する各種制御データを送受信する機能を有していてもよい。
【００７６】
本発明の実施形態では、コネクター１１ＢがＵＳＢ−ＴｙｐｅＣコネクターで構成される。表示制御部１２４は、コネクター１１Ｂを介して、ＵＳＢ−ＴｙｐｅＣの代替モードで伝送される画像データを受信する。コネクター１１Ｃは、例えば、ＨＤＭＩインターフェイスであり、表示制御部１２４はコネクター１１Ｃに入力されるＨＤＭＩ形式の画像データを受信する。
【００７７】
センサー制御部１２２、及び／または表示制御部１２４は、プロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、センサー制御部１２２及び表示制御部１２４は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、センサー制御部１２２及び表示制御部１２４は、制御部１２０を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、制御部１２０、表示制御部１２４、及びセンサー制御部１２２として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。
【００７８】
また、表示制御部１２４、及び、センサー制御部１２２は、ＤＳＰやＦＰＧＡ等、プログラムされたハードウェアにより構成されてもよい。また、センサー制御部１２２及び表示制御部１２４を統合して、ＳｏＣ−ＦＰＧＡとして構成してもよい。ＤＳＰは「Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ」の略であり、ＦＰＧＡは「Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ」の略であり、ＳｏＣは「Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ」の略である。
【００７９】
電源制御部１２６は、コネクター１１Ｂ及びコネクター１１Ｄに接続される。電源制御部１２６は、コネクター１１Ｂ、１１Ｄから供給される電力に基づき、接続装置１０の各部および画像表示部２０に対する電源供給を行う。また、電源制御部１２６は、図示しない電圧変換回路を備え、電圧を変換して接続装置１０及び画像表示部２０の各部に供給する構成であってもよい。電源制御部１２６は、ロジック回路や、ＦＰＧＡ等のプログラムされた半導体デバイスで構成されてもよい。また、電源制御部１２６をセンサー制御部１２２、及び／または表示制御部１２４と共通のハードウェアで構成してもよい。
【００８０】
センサー制御部１２２、表示制御部１２４及び電源制御部１２６は、データ処理を行うためのワークメモリーを具備してもよく、制御部１２０の図略のメモリー１６０を利用して処理を行ってもよい。
【００８１】
操作部１４０は、接続装置１０が備える被操作部に対する操作を検出し、操作内容を示すデータ、または、操作された被操作部を示す操作信号を制御部１２０に出力する。
【００８２】
音声処理部１４７は、制御部１２０から入力される音声データに従って、音声信号を生成し、接続部１４５に出力する。この音声信号は接続部１４５からオーディオコネクター３６を介して右イヤホン３２及び左イヤホン３４に出力される。また、音声処理部１４７は、制御部１２０の制御に従って、音声信号のボリュームを調整する。また、音声処理部１４７は、マイク６３が集音した音声の音声データを生成し、制御部１２０に出力する。この音声データは、制御部１２０により、画像表示部２０が備えるセンサーの検出値と同様に処理されてもよい。
【００８３】
また、接続装置１０は図示しないバッテリーを備え、このバッテリーから接続装置１０及び画像表示部２０の各部に電力を供給する構成であってもよい。接続装置１０が備えるバッテリーは、充電可能な二次電池であってもよい。
【００８４】
次に、図１〜図３を参照して第１制御部３１０及び第２制御部４１０の構成について説明する。図３は、第１制御部３１０及び第２制御部４１０の構成を示す図である。
ＰＣ３００は、第１制御部３１０を備える。
第１制御部３１０は、ＰＣ３００の動作を制御する。第１制御部３１０は、プロセッサー３１１、及び、メモリー３１２を備える。プロセッサー３１１は、ＣＰＵやマイコン等で構成され、プログラムを実行することによって、ソフトウェアとハードウェアとの協働によりＰＣ３００の各部を制御する。プロセッサー３１１は、ＤＳＰやＦＰＧＡ等のプログラムされたハードウェアであってもよい。
【００８５】
メモリー３１２は、プロセッサー３１１のワークエリアを形成するＲＡＭ、制御プログラムを記憶するＲＯＭ等で構成される。また、制御部３１０は、プロセッサー３１１、及びメモリー３１２を統合した半導体デバイスであってもよい。ＣＰＵは「Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ」の略であり、ＲＡＭは「Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ」の略であり、ＲＯＭは「Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ」の略である。
【００８６】
第１制御部３１０は、マーカー検出部３２１と、特定部３２２と、ガイド画像生成部３２３と、状態画像生成部３２４と、第１データ記憶部３２５と、第２データ記憶部３２６とを備える。
具体的には、第１制御部３１０のプロセッサー３１１がメモリー３１２の制御プログラムを実行することによって、マーカー検出部３２１、特定部３２２、ガイド画像生成部３２３及び状態画像生成部３２４として機能する。また、プロセッサー３１１は、メモリー３１２を、第１データ記憶部３２５及び第２データ記憶部３２６として機能させる。
【００８７】
第１データ記憶部３２５は、オフラインデータを記憶する。オフラインデータは、ロボット５００の機体を使わないで生成され、ロボット５００に対して動作を指示するデータを示す。
【００８８】
第２データ記憶部３２６は、ティーチングデータを記憶する。ティーチングデータは、ロボット５００の機体を使ってオフラインデータを修正するためのデータを示す。
第１制御部３１０は、コントローラー４００からティーチングデータを受信し、第２データ記憶部３２６に記憶する。
【００８９】
マーカー検出部３２１は、撮影画像からロボット５００の軸部材に設けられた画像マーカーを検出する。撮影画像は、カメラ６１によって撮影された画像を示す。撮影画像は、ロボット５００の画像を含む。軸部材は、例えば第１軸部材ＡＸ１と第８軸部材ＡＸ８とを含む。
画像マーカーは、例えば２次元マーカーである。画像マーカーは、軸部材に貼付される。具体的には、画像マーカーは、軸部材の周囲に貼付される。画像マーカーは、軸部材の名称と、軸部材の方向とを示す。軸部材の名称とは、第１軸部材ＡＸ１〜第８軸部材ＡＸ８のうちのどの軸部材であるかを示す。軸部材の方向とは、軸部材の主軸の方向を示す。画像マーカーについては、後述にて図４を参照して説明する。
【００９０】
特定部３２２は、撮影画像に基づいて、ＨＭＤ１００に対する軸部材の位置及び方向を特定する。軸部材は、例えば第１軸部材ＡＸ１と第８軸部材ＡＸ８とを含む。すなわち、特定部３２２は、撮影画像に基づいて、ＨＭＤ１００に対する第１軸部材ＡＸ１の位置及び方向を特定する。また、特定部３２２は、撮影画像に基づいて、ＨＭＤ１００に対する第８軸部材ＡＸ８の位置及び方向を特定する。
更に具体的には、特定部３２２は、マーカー検出部３２１による画像マーカーの検出結果に基づき、ＨＭＤ１００に対する第１軸部材ＡＸ１の位置及び方向と、ＨＭＤ１００に対する第８軸部材ＡＸ８の位置及び方向とを特定する。画像マーカーは、例えば、２次元マーカーである。
【００９１】
ガイド画像生成部３２３は、特定部３２２が特定した第１軸部材ＡＸ１の位置及び方向に対応してガイド画像Ｐ１を生成し、実空間の景色に重なるように、ガイド画像Ｐ１をＨＭＤ１００に表示させる。実空間の景色は、実空間に配置されたロボット５００の景色を含む。具体的には、ガイド画像生成部３２３は、ガイド画像Ｐ１をロボット５００に対応するようにＨＭＤ１００に表示させる。
更に具体的には、ＨＭＤ１００はシースルー型の表示装置であるため、使用者の右眼には、右導光板２６により導かれたガイド画像Ｐ１を示す画像光と、右導光板２６を透過した外光とが入射する。また、使用者の左眼には、左導光板２８により導かれたガイド画像Ｐ１を示す画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、ガイド画像Ｐ１に対応する画像光と外光とを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、ガイド画像Ｐ１を示す画像光による画像が視認される。外景は、「実空間の景色」に対応する。
また、ガイド画像生成部３２３は、ロボット５００の動作に対応して、ＨＭＤ１００にガイド画像Ｐ１の表示を更新させる。
【００９２】
更に、ガイド画像生成部３２３は、ロボット５００が移動する領域を案内する領域ガイド画像Ｐ３を生成し、実空間の景色と重なるように、領域ガイド画像Ｐ３をＨＭＤ１００に表示させる。また、ガイド画像生成部３２３は、領域ガイド画像Ｐ３をロボット５００に対応するようにＨＭＤ１００に表示させる。具体的には、領域ガイド画像Ｐ３は、ガイド画像Ｐ１と同様にしてＨＭＤ１００に表示される。
ガイド画像Ｐ１については、後述にて図５及び図６を参照して更に説明する。また、領域ガイド画像Ｐ３については、後述にて図７を参照して更に説明する。
【００９３】
状態画像生成部３２４は、ロボット５００の状態を示すステイタス情報を第２制御部４１０から取得する。また、状態画像生成部３２４は、ロボット５００の状態を示すステイタス画像Ｐ２を生成し、実空間の景色と重なるように、ステイタス画像Ｐ２をＨＭＤ１００に表示させる。また、状態画像生成部３２４は、ステイタス画像Ｐ２をロボット５００に対応するようにＨＭＤ１００に表示させる。具体的には、ステイタス画像Ｐ２は、ガイド画像Ｐ１と同様にしてＨＭＤ１００に表示される。
ステイタス画像Ｐ２については、後述にて図５及び図６を参照して更に説明する。
【００９４】
本実施形態では、特定部３２２は、マーカー検出部３２１による画像マーカーの検出結果に基づき、ＨＭＤ１００に対する第１軸部材ＡＸ１の位置及び方向と、ＨＭＤ１００に対する第８軸部材ＡＸ８の位置及び方向とを特定するが、これに限定されない。特定部３２２が、ＨＭＤ１００を装着したユーザーの視線に基づいて、ツール５１及び第１軸部材ＡＸ１〜第８軸部材ＡＸ８の各々に設けられた画像マーカーの中から１つの画像マーカーを特定してもよい。この場合には、ガイド画像生成部３２３は、特定部３２２によって特定された１つの画像マーカーに対応するガイド画像Ｐ１を表示する。
この場合には、ユーザーが表示を所望するガイド画像Ｐ１を容易に表示できる。したがって、ユーザーの利便性を更に向上することができる。
なお、ユーザーの視線は、例えば、ＨＭＤ１００に装着された視線センサーによって検出すればよい。視線センサーは、例えば、ＨＭＤ１００を装着したユーザーの両目を撮像し、生成された画像に基づいて視線を検出する。
【００９５】
コントローラー４００は、第２制御部４１０を備える。
第２制御部４１０は、コントローラー４００の動作を制御する。第２制御部４１０は、プロセッサー４１１、及び、メモリー４１２を備える。プロセッサー４１１は、ＣＰＵやマイコン等で構成され、プログラムを実行することによって、ソフトウェアとハードウェアとの協働によりコントローラー４００の各部を制御する。プロセッサー４１１は、ＤＳＰやＦＰＧＡ等のプログラムされたハードウェアであってもよい。
【００９６】
メモリー４１２は、プロセッサー４１１のワークエリアを形成するＲＡＭ、制御プログラムを記憶するＲＯＭ等で構成される。また、制御部４１０は、プロセッサー４１１、及びメモリー４１２を統合した半導体デバイスであってもよい。
【００９７】
第２制御部４１０は、入力部４２１と、動作指示部４２２とを備える。
具体的には、第２制御部４１０のプロセッサー４１１がメモリー４１２の制御プログラムを実行することによって、入力部４２１及び動作指示部４２２として機能する。
【００９８】
入力部４２１は、ロボット５００の動作に関する入力を受け付ける。具体的には、入力部４２１は、ロボット５００のツール５１の動作に関する入力を受け付ける。例えば、入力部４２１は、ロボット５００のツール５１をツール５１の局所座標のＸ軸方向に５ｍｍ動かす旨の入力を受け付ける。
【００９９】
動作指示部４２２は、入力部４２１が受け付けた入力に基づいて、ロボット５００を動作させる。具体的には、入力部４２１は、ロボット５００のツール５１の動作に関する入力を受け付け、動作指示部４２２は、ツール５１の動作を実現するためのロボット５００全体の動作を求め、ロボット５００に対して指示する。具体的には、動作指示部４２２は、ツール５１の動作を実現するためのロボット５００の第１関節５２〜第８関節５９の動作を求め、ロボット５００に対して指示する。
また、使用者は、ロボット５００の動作が適正であるか否かを判定する。そして、ロボット５００の動作が適正であると使用者が判定した場合には、使用者は、入力部４２１に対してティーチングデータとしてＰＣ３００に送信する旨の指示を入力する。そして、動作指示部４２２は、ロボット５００全体の動作を示すデータをティーチングデータとしてＰＣ３００に送信する。ＰＣ３００は、ティーチングデータを第２データ記憶部３２６に記憶する。
【０１００】
次に、図１〜図４を参照して、２次元マーカーについて説明する。図４は、２次元マーカー５２１及び２次元マーカー５９１を示す図である。２次元マーカー５２１及び２次元マーカー５９１は、「画像マーカー」の一例に相当する。
図４に示すように、２次元マーカー５２１は、第１軸部材ＡＸ１の周囲に貼付される。２次元マーカー５２１は、２次元マーカー５２１が貼付されている軸部材が第１軸部材ＡＸ１であることと、第１軸部材ＡＸ１の軸と平行な方向とを示す。
例えば、２次元マーカー５２１が矩形状に形成されている場合には、２次元マーカー５２１の一辺が、第１軸部材ＡＸ１の軸と平行な方向を示す。また、２次元マーカー５２１の他の一辺が、第１軸部材ＡＸ１の軸と直行する方向を示す。
２次元マーカー５２１には、２次元バーコードを示す画像が形成されている。２次元マーカー５２１に形成された２次元バーコードは、２次元マーカー５２１が貼付されている軸部材が第１軸部材ＡＸ１であることと、第１軸部材ＡＸ１の軸と平行な方向とを示す。
【０１０１】
２次元マーカー５９１は、第８軸部材ＡＸ８の周囲に貼付される。２次元マーカー５９１は、２次元マーカー５９１が貼付されている軸部材が第８軸部材ＡＸ８であることと、第８軸部材ＡＸ８の軸と平行な方向とを示す。
例えば、２次元マーカー５９１が矩形状に形成されている場合には、２次元マーカー５９１の一辺が、第８軸部材ＡＸ８の軸と平行な方向を示す。また、２次元マーカー５９１の他の一辺が、第８軸部材ＡＸ８の軸と直行する方向を示す。
２次元マーカー５９１には、２次元バーコードを示す画像が形成されている。２次元マーカー５９１に形成された２次元バーコードは、２次元マーカー５９１が貼付されている軸部材が第８軸部材ＡＸ８であることと、第８軸部材ＡＸ８の軸と平行な方向とを示す。
【０１０２】
マーカー検出部３２１は、撮影画像から、ロボット５００の第１軸部材ＡＸ１に貼付された２次元マーカー５２１を検出する。特定部３２２は、マーカー検出部３２１による２次元マーカー５２１の検出結果に基づき、ＨＭＤ１００に対する第１軸部材ＡＸ１の位置及び方向を特定する。
具体的には、特定部３２２は、２次元マーカー５２１に形成された画像に基づき、第１軸部材ＡＸ１の方向を特定する。また、特定部３２２は、撮影画像から、２次元マーカー５２１のＨＭＤ１００に対する距離と方向とを検出し、第１軸部材ＡＸ１の位置を特定する。
また、マーカー検出部３２１は、撮影画像から、ロボット５００の第８軸部材ＡＸ８に貼付された２次元マーカー５９１を検出する。特定部３２２は、マーカー検出部３２１による２次元マーカー５９１の検出結果に基づき、ＨＭＤ１００に対する第８軸部材ＡＸ８の位置及び方向を特定する。
具体的には、特定部３２２は、２次元マーカー５９１に形成された画像に基づき、第８軸部材ＡＸ８の方向を特定する。また、特定部３２２は、撮影画像から、２次元マーカー５９１のＨＭＤ１００に対する距離と方向とを検出し、第８軸部材ＡＸ８の位置を特定する。
【０１０３】
本発明の実施形態では、第１軸部材ＡＸ１及び第８軸部材ＡＸ８の各々に２次元マーカーが貼付されるが、本発明はこれに限定されない。ツール５１及び第１軸部材ＡＸ１〜第８軸部材ＡＸ８の少なくとも１つに２次元マーカーが貼付されればよい。ツール５１及び第１軸部材ＡＸ１〜第８軸部材ＡＸ８のうちの複数の箇所に、２次元マーカーが貼付されることが好ましい。
【０１０４】
本発明の実施形態では、画像マーカーが、２次元バーコードを示す画像が形成された２次元マーカーであるが、本発明はこれに限定されない。画像マーカーが、画像が形成されたマーカーであればよい。例えば、画像が１次元バーコードでもよい。また、例えば、画像が記号を示す画像でもよい。ここで、記号は、文字、数字、数学記号、及び図形記号を含む。文字は、アルファベット、カタカナ、平仮名、及び漢字を含む。
【０１０５】
次に、図１〜図５を参照して、ガイド画像Ｐ１及びステイタス画像Ｐ２について説明する。図５は、ガイド画像Ｐ１及びステイタス画像Ｐ２の一例を示す図である。
図５には、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。視野領域ＡＲ１は、図１に示す右導光板２６を透過した外光と、左導光板２８を透過した外光とによって、使用者が認識可能な実空間の景色の範囲を示す。換言すれば、視野領域ＡＲ１は、ＨＭＤ１００を装着した使用者の視野の範囲を示す。視野領域ＡＲ１には、ロボット５００が含まれる。
画像領域ＡＲ２は、図１に示す右導光板２６により導かれた画像光と、左導光板２８により導かれた画像光とによって、使用者が認識可能な画像の範囲を示す。換言すれば、画像領域ＡＲ２は、ＨＭＤ１００を装着した使用者が認識可能な画像の範囲を示す。画像領域ＡＲ２には、ガイド画像Ｐ１とステイタス画像Ｐ２とが表示される。
画像領域ＡＲ２は、視野領域ＡＲ１に含まる。
【０１０６】
ガイド画像Ｐ１は、実空間の景色に含まれるロボット５００に対応する位置に配置される。具体的には、ガイド画像Ｐ１は、実空間の景色に含まれるロボット５００のツール５１の先端位置の近傍に配置される。
ガイド画像Ｐ１は、ツール５１の方向に対応するツール座標系ＴＣを示す。ツール座標系ＴＣは、ツール５１を基準とする方向に設定される。
ツール座標系ＴＣは、Ｘ軸とＹ軸とＺ軸とを含む。すなわち、ガイド画像Ｐ１は、Ｘ軸画像Ｐ１１と、Ｙ軸画像Ｐ１２と、Ｚ軸画像Ｐ１３とを含む。Ｘ軸画像Ｐ１１は、Ｘ軸を示す。Ｙ軸画像Ｐ１２は、Ｙ軸を示す。Ｚ軸画像Ｐ１３は、Ｚ軸を示す。
Ｘ軸とＹ軸とＺ軸とは、互いに直交する。Ｚ軸は、第１軸部材ＡＸ１の軸の方向と平行な方向を示す。また、Ｚ軸の正方向は、ツール５１の基端から先端に向かう方向を示す。
【０１０７】
ツール５１は、爪５１１、爪５１２、爪５１３及び爪５１４を有する。爪５１１〜爪５１４は、対象物を把持する。また、ツール５１は、基端部５１０を有する。基端部５１０は矩形板状に形成される。爪５１１の基端と、爪５１２の基端とは、ツール５１の基端部５１０の第１辺に沿って配置される。爪５１２の基端と、爪５１３の基端とは、ツール５１の基端部５１０の第２辺に沿って配置される。第１辺と第２辺とは互いに隣接する辺を示す。
Ｙ軸は、爪５１１の基端と爪５１２の基端とが配置される方向を示す。すなわち、Ｙ軸は、第１辺と平行な方向を示す。Ｙ軸の正方向は、爪５１２の基端が爪５１１の基端に対して位置する方向を示す。
Ｘ軸は、爪５１２の基端と爪５１３の基端とが配置される方向を示す。すなわち、Ｘ軸は、第２辺と平行な方向を示す。Ｘ軸の正方向は、爪５１２の基端が爪５１３の基端に対して位置する方向を示す。
【０１０８】
動作指示部４２２がロボット５００を動作させた場合には、ガイド画像Ｐ１は、実空間の景色に含まれるロボット５００のツール５１の先端位置の移動に伴って移動される。
すなわち、図３に示す第１制御部３１０は、ロボット５００の動作に対応して、ＨＭＤ１００にガイド画像Ｐ１の表示を更新させる。具体的には、実空間の景色に含まれるロボット５００のツール５１の先端位置が移動する度に、以下の処理が繰り返し実行される。
すなわち、まず、マーカー検出部３２１が、カメラ６１によって撮影された撮影画像からロボット５００の第１軸部材ＡＸ１に設けられた２次元マーカー５２１を検出する。そして、特定部３２２は、マーカー検出部３２１による２次元マーカー５２１の検出結果に基づき、ＨＭＤ１００に対する第１軸部材ＡＸ１の位置及び方向を特定する。次に、ガイド画像生成部３２３は、特定部３２２が特定した第１軸部材ＡＸ１の位置及び方向に対応してガイド画像Ｐ１を生成する。そして、ガイド画像生成部３２３は、ＨＭＤ１００に対して、実空間に配置されたロボット５００のツール５１の先端位置の近傍に、ガイド画像Ｐ１を表示させる。
【０１０９】
ステイタス画像Ｐ２は、実空間の景色に含まれるロボット５００に対応する位置に配置される。具体的には、ステイタス画像Ｐ２は、実空間の景色に含まれるロボット５００の右側に表示される。ステイタス画像Ｐ２は、ロボット５００の動作状態と、ツール５１の先端の移動速度と、ツール５１の先端の位置を示す座標と、ツール５１の把持力の値とを示す。
ロボット５００の動作状態は、ロボット５００が運転中であるＯＮ状態であるか、ロボット５００が運転中ではないＯＦＦ状態であるか、又はロボット５００が休止中であるかを示す。
【０１１０】
ツール５１の先端の移動速度は、ツール５１の先端のＸ軸方向の移動速度と、ツール５１の先端のＹ軸方向の移動速度と、ツール５１の先端のＺ軸方向の移動速度とを示す。ここで、Ｘ軸、Ｙ軸及びＺ軸は、ロボット５００の基準座標系ＡＣを構成する。ロボット５００の基準座標系ＡＣは、床面ＦＬに配置された第８軸部材ＡＸ８に基づいて設定される。
例えば、Ｚ軸の正方向は、第８軸部材ＡＸ８の基端から先端に向かう方向を示す。Ｘ軸、及びＹ軸は、Ｚ軸と直行する方向を示す。Ｘ軸の方向、及びＹ軸の方向は、例えば第８関節５９が配置される床面ＦＬに基づいて規定される。
床面ＦＬが、例えば長方形状である場合には、Ｘ軸の方向は、床面ＦＬの長辺方向と平行な方向に規定され、Ｙ軸の方向は、床面ＦＬの短辺方向と平行な方向に規定される。
ツール５１の先端の位置を示す座標も、ロボット５００の基準座標系ＡＣにおける座標を示す。
ツール５１の把持力の値は、図１に示すセンサーＳによって検出された値を示す。
【０１１１】
なお、本発明の実施形態では、ガイド画像Ｐ１がツール座標系ＴＣを示すが、本発明はこれに限定されない。ガイド画像Ｐ１が第１軸部材ＡＸ１〜第８軸部材ＡＸ８のうちの少なくとも１つの軸部材の方向に対応する座標系を示せばよい。例えば、ガイド画像Ｐ１がツール座標系ＴＣと、第８軸部材ＡＸ８の方向に対応する座標系とを示す形態でもよい。
【０１１２】
また、本発明の実施形態では、ガイド画像Ｐ１が実空間の景色に含まれるロボット５００のツール５１の先端位置の近傍に配置されるが、本発明はこれに限定されない。ガイド画像Ｐ１は、実空間の景色に含まれるロボット５００に対応する位置に配置されればよい。例えば、ガイド画像Ｐ１が、実空間の景色に含まれるロボット５００の上側に配置されてもよい。
【０１１３】
また、本発明の実施形態では、ステイタス画像Ｐ２は、実空間の景色に含まれるロボット５００の右側に表示されるが、本発明はこれに限定されない。ステイタス画像Ｐ２は、実空間の景色に含まれるロボット５００に対応する位置に配置されればよい。例えば、ステイタス画像Ｐ２が、実空間の景色に含まれるロボット５００の左側に配置されてもよい。
【０１１４】
また、本発明の実施形態では、ガイド画像Ｐ１が第１軸部材ＡＸ１の位置及び方向に対応するが、本発明はこれに限定されない。ＨＭＤ１００を装着して使用するユーザーの姿勢、移動状態等に応じて、例えば、床面ＦＬに配置される軸部材の位置及び方向に対応するガイド画像Ｐ１を表示してもよい。
具体的には、ＨＭＤ１００を装着して使用するユーザーが移動中である場合、及び、ＨＭＤ１００を装着して使用するユーザーの頭部が傾斜している場合には、第８軸部材ＡＸ８に対応するガイド画像Ｐ１を表示してもよい。
【０１１５】
次に、図１〜図６を参照して、ガイド画像Ｐ１及びステイタス画像Ｐ２について更に説明する。図６は、ガイド画像Ｐ１及びステイタス画像Ｐ２の他の一例を示す図である。
図６には、図５と同様に、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。また、図６には、図５と同様に、ガイド画像Ｐ１とステイタス画像Ｐ２とが表示されている。
図６に示すように、実空間の景色に含まれるロボット５００のツール５１が、図５に示すロボット５００のツール５１と比較して拡大されて視野領域ＡＲ１に記載されている点で相違している。換言すれば、図６では、ＨＭＤ１００とロボット５００のツール５１との間の距離ＬＲ１が、図５におけるＨＭＤ１００とロボット５００のツール５１との間の距離ＬＲ２よりも短い。
【０１１６】
図３に示すガイド画像生成部３２３は、ＨＭＤ１００とロボット５００のツール５１との間の距離ＬＲに応じて、ガイド画像Ｐ１のサイズを決定する。例えば、ガイド画像生成部３２３は、ＨＭＤ１００とロボット５００のツール５１との間の距離ＬＲが短い程、ガイド画像Ｐ１のサイズを小さくする。
すなわち、距離ＬＲ１が距離ＬＲ２よりも短いため、ガイド画像生成部３２３は、ガイド画像Ｐ１のサイズを図５に示すガイド画像Ｐ１のサイズよりも小さくする。
そのため、図６に示すガイド画像Ｐ１のサイズは、図５に示すガイド画像Ｐ１のサイズよりも小さい。
【０１１７】
なお、本発明の実施形態では、ガイド画像生成部３２３は、ＨＭＤ１００とロボット５００のツール５１との間の距離ＬＲが短い程、ガイド画像Ｐ１のサイズを小さくするが、本発明はこれに限定されない。ガイド画像生成部３２３が、ＨＭＤ１００とロボット５００のツール５１との間の距離ＬＲに応じて、ガイド画像Ｐ１のサイズを決定すればよい。例えば、ＨＭＤ１００とツール５１との間の距離ＬＲが短い程、ガイド画像Ｐ１に含まれるＺ軸画像Ｐ１３のサイズを小さくし、Ｘ軸画像Ｐ１１のサイズとＹ軸画像Ｐ１２のサイズとは変更しなくてもよい。
【０１１８】
次に、図１〜図７を参照して、領域ガイド画像Ｐ３について説明する。図７は、領域ガイド画像Ｐ３の一例を示す図である。
図７に示すように、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。また、視野領域ＡＲ１における実空間の景色には、ロボット５００とロボット５００Ａとが含まれる。換言すれば、実空間には、ロボット５００とロボット５００Ａとが配置される。
また、図７に示すように、画像領域ＡＲ２には領域ガイド画像Ｐ３が表示される。領域ガイド画像Ｐ３は、ロボット５００とロボット５００Ａとの間に表示される。
領域ガイド画像Ｐ３は、ロボット５００及びロボット５００Ａの各々が、移動する領域を案内する。具体的には、ロボット５００及びロボット５００Ａの各々は、領域ガイド画像Ｐ３が示す領域に侵入することが禁止される。領域ガイド画像Ｐ３が示す領域を、以下では、禁止領域と記載する場合がある。
【０１１９】
図３に示す動作指示部４２２は、入力部４２１が受け付けた入力に基づいて、ロボット５００とロボット５００Ａとを動作させる。例えば、ロボット５００が動作して、ロボット５００が領域ガイド画像Ｐ３の示す領域に侵入した場合には、ロボット５００とロボット５００Ａとか干渉する可能性があるため、ロボット５００の動作は禁止される。
具体的には、第１制御部３１０は、ロボット５００が領域ガイド画像Ｐ３の示す領域に侵入した場合には、ロボット５００が禁止領域に侵入したことを使用者に報知する。
更に具体的には、第１制御部３１０は、ロボット５００が領域ガイド画像Ｐ３の示す領域に侵入した場合には、ロボット５００が禁止領域に侵入したことを示す音声を右イヤホン３２及び左イヤホン３４に出力させる。また、第１制御部３１０は、ロボット５００が領域ガイド画像Ｐ３の示す領域に侵入した場合には、領域ガイド画像Ｐ３の表示形態を変更する。例えば、領域ガイド画像Ｐ３を点滅表示する。また、例えば、領域ガイド画像Ｐ３の表示色を変更する。
【０１２０】
なお、本発明の実施形態では、第１制御部３１０は、ロボット５００が領域ガイド画像Ｐ３の示す領域に侵入した場合には、ロボット５００が禁止領域に侵入したことを使用者に報知するが、本発明はこれに限定されない。第１制御部３１０は、ロボット５００が領域ガイド画像Ｐ３の示す領域に侵入する場合には、入力部４２１に対する入力を禁止してもよい。この場合には、ロボット５００が禁止領域に侵入することを確実に禁止できる。
【０１２１】
また、本発明の実施形態では、実空間にロボット５００とロボット５００Ａとが配置されるが、本発明はこれに限定されない。実空間にロボット５００のみが配置されてもよい。この場合において、ロボット５００が動作して、ロボット５００が領域ガイド画像Ｐ３の示す領域に侵入した場合には、例えばロボット５００と作業者とが干渉する可能性があるため、ロボット５００の動作は禁止される。
【０１２２】
次に、図１〜図８を参照して、第１制御部３１０の処理について説明する。図８は、第１制御部３１０の処理を示すフローチャートである。
図８に示すように、ステップＳ１０１において、マーカー検出部３２１は、カメラ６１によって撮影された撮影画像から、ロボット５００の軸部材に設けられた画像マーカーを検出する。具体的には、マーカー検出部３２１は、図４に示す第１軸部材ＡＸ１に設けられた２次元マーカー５２１を検出する。
次に、ステップＳ１０３において、特定部３２２は、撮影画像に基づいて、ＨＭＤ１００に対する軸部材の位置及び方向を特定する。具体的には、特定部３２２は、マーカー検出部３２１による２次元マーカー５２１の検出結果に基づき、ＨＭＤ１００に対する第１軸部材ＡＸ１の位置及び方向を特定する。本発明の実施形態では、ツール５１と第１軸部材ＡＸ１とは一体に形成される。すなわち、特定部３２２は、マーカー検出部３２１による２次元マーカー５２１の検出結果に基づき、ＨＭＤ１００に対するツール５１の位置及び方向を特定する。
【０１２３】
次に、ステップＳ１０５において、ガイド画像生成部３２３は、特定部３２２が特定した第１軸部材ＡＸ１の位置及び方向に対応してガイド画像Ｐ１を生成する。
次に、ステップＳ１０７において、ガイド画像生成部３２３は、ＨＭＤ１００とロボット５００のツール５１との間の距離ＬＲを特定する。
そして、ステップＳ１０９において、ガイド画像生成部３２３は、距離ＬＲに応じて、ガイド画像Ｐ１のサイズを決定する。
次に、ステップＳ１１１において、ガイド画像生成部３２３は、実空間に配置されたロボット５００に対応するように、ガイド画像Ｐ１をＨＭＤ１００に表示させる。具体的には、ガイド画像生成部３２３は、実空間に配置されたロボット５００のツール５１の先端位置の近傍にガイド画像Ｐ１を表示させる。
【０１２４】
次に、ステップＳ１１３において、状態画像生成部３２４は、ロボット５００の状態を示すステイタス情報を第２制御部４１０から取得する。
そして、ステップＳ１１５において、状態画像生成部３２４は、ロボット５００の状態を示すステイタス画像Ｐ２を生成する。
次に、ステップＳ１１７において、状態画像生成部３２４は、実空間に配置されたロボット５００に対応するように、ステイタス画像Ｐ２をＨＭＤ１００に表示させる。具体的には、状態画像生成部３２４は、実空間に配置されたロボット５００の右側にステイタス画像Ｐ２を表示させる。その後、処理が終了する。
なお、ステップＳ１１１は、「表示ステップ」の一例に相当する。
【０１２５】
図９は、ガイド画像Ｐ１の更に別の一例を示す図である。
図９には、図５と同様に、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。
また、図９に示すように、ガイド画像Ｐ１は、ツール５１の方向に対応するツール座標系ＴＣを示す。ツール座標系ＴＣは、ツール５１を基準とする方向に設定される。
ツール座標系ＴＣは、Ｘ軸とＹ軸とＺ軸とを含む。すなわち、ガイド画像Ｐ１は、Ｘ軸画像Ｐ１１と、Ｙ軸画像Ｐ１２と、Ｚ軸画像Ｐ１３とを含む。Ｘ軸画像Ｐ１１は、Ｘ軸を示す。Ｙ軸画像Ｐ１２は、Ｙ軸を示す。Ｚ軸画像Ｐ１３は、Ｚ軸を示す。
図５では、ガイド画像Ｐ１は、実空間の景色に含まれるロボット５００のツール５１の先端位置の近傍に配置されるのに対して、図９では、ガイド画像Ｐ１は、ユーザーの操作に基づいて、配置される位置を変更可能に構成される。
例えば、図９に示すように、ガイド画像Ｐ１は、ユーザーの操作に基づいて、破線で示す位置から、実線で示す位置に移動される。ガイド画像Ｐ１Ａは、破線で示す位置のガイド画像Ｐ１を示す。ガイド画像Ｐ１Ｂは、実線で示す位置のガイド画像Ｐ１を示す。
方向ＶＰは、ユーザーの操作によるガイド画像Ｐ１の移動方向を示す。すなわち、ガイド画像Ｐ１Ａは、ユーザーの操作によって方向ＶＰに移動されて、ガイド画像Ｐ１Ｂが表示される。
また、図９には、連結画像ＬＮが表示される。連結画像ＬＮは、ガイド画像Ｐ１Ｂがツール座標系ＴＣに対応することを示す。具体的には、連結画像ＬＮは、ガイド画像Ｐ１Ｂと実空間の景色に含まれるロボット５００のツール５１とを連結する画像である。
連結画像ＬＮを表示することによって、ガイド画像Ｐ１がユーザーの所望する位置に移動された場合にも、ガイド画像Ｐ１がツール５１の方向に対応するツール座標系Ｔを示すことをユーザーは容易に認識できる。
【０１２６】
図９には、支点マークＭと可動範囲画像ＡＲＡとが表示されている。支点マークＭは、例えば、支点マークＭ１、支点マークＭ２及び支点マークＭ３を含む。
支点マークＭ１、支点マークＭ２及び支点マークＭ３は、ユーザーによって選択可能に構成される。
支点マークＭ１は、第３軸部材ＡＸ３を支点とする可動範囲ＡＲＡを表示する場合に、ユーザーによって選択される。
支点マークＭ２は、第４軸部材ＡＸ４を支点とする可動範囲ＡＲＡを表示する場合に、ユーザーによって選択される。
支点マークＭ３は、第６軸部材ＡＸ６を支点とする可動範囲ＡＲＡを表示する場合に、ユーザーによって選択される。
図９では、支点マークＭ１が選択されている。支点マークＭ１が選択されていることを、支点マークＭ２及び支点マークＭ３の各々を白丸で記載し、支点マークＭ１を黒丸で記載することで示している。
【０１２７】
可動範囲ＡＲＡとは、支点に対応する第３軸部材ＡＸ３を固定した状態で、ツール５１の先端が移動可能な範囲を示す。
また、可動範囲ＡＲＡが、実空間においてロボット５００の周辺に位置する他の装置との干渉が発生しないツール５１の先端の移動範囲を示してもよい。
【０１２８】
このように、可動範囲ＡＲＡを表示することによって、ロボット５００のティーチング作業を容易化できる。
また、支点マークＭ１、支点マークＭ２及び支点マークＭ３の中から、ユーザーが所望する支点マークを選択することによって、可動範囲ＡＲＡを規定する支点を選択できる。したがって、ロボット５００のティーチング作業を更に容易化できる。
【０１２９】
以上説明したように、本発明の実施形態では、ＨＭＤ１００が実空間の景色に重ねて画像を表示する。また、第１制御部３１０が、ロボット５００を基準として設定された方向を示すガイド画像Ｐ１を、実空間に配置されたロボット５００に対応するようにＨＭＤ１００に表示させる。ロボット５００のツール５１に、ツール５１を基準とするツール座標系ＴＣが設定される。第１制御部３１０は、ツール５１の方向に対応してツール座標系ＴＣを示すガイド画像Ｐ１を表示させる。
よって、ツール５１の姿勢をユーザーが確認できる。したがって、ユーザーの利便性を更に向上することができる。
【０１３０】
また、本発明の実施形態では、ロボット５００は、ＨＭＤ１００に対するツール５１の移動及び回転の少なくともいずれかが可能なモーターを備える。例えば、ツール５１は、第１軸部材ＡＸ１と一体に形成され、第１軸部材ＡＸ１は、第１関節５２においてモーターによって回転駆動される。
よって、ツール５１は第１関節５２においてモーターによって回転駆動されるため、ツール５１の姿勢が変化する。また、ユーザーはツール５１を動かす場合に、その姿勢を把握する必要がある。更に、ツール５１の方向に対応してツール座標系ＴＣを示すガイド画像Ｐ１を表示される。したがって、ツール５１の姿勢をユーザーが確認できる。その結果、ユーザーの利便性を更に向上することができる。
【０１３１】
また、本発明の実施形態では、ロボット５００には複数の軸部材と、軸部材の各々を基準とする座標系とが設定される。複数の軸部材は、第１軸部材ＡＸ１〜第８軸部材ＡＸ８に対応する。第１制御部３１０は、軸部材の各々の位置及び方向を特定し、軸部材の各々の位置及び方向に対応してガイド画像Ｐ１を表示させる。例えば、第１制御部３１０は、第１軸部材ＡＸ１と第８軸部材ＡＸ８の各々の位置及び方向を特定し、第１軸部材ＡＸ１及び第８軸部材ＡＸ８の各々の位置及び方向に対応してガイド画像を表示させる。
よって、軸部材の各々の姿勢をユーザーが確認できる。例えば、ツール５１の姿勢と第８軸部材ＡＸ８の姿勢とをユーザーが確認できる。したがって、ユーザーの利便性を更に向上することができる。
【０１３２】
また、本発明の実施形態では、ＨＭＤ１００は、カメラ６１を備える。また、第１制御部３１０は、カメラ６１による撮影画像に基づいて、ＨＭＤ１００に対するツール５１の位置及び方向を特定し、ツール５１の位置及び方向に対応してガイド画像Ｐ１を表示する。
よって、適正なガイド画像Ｐ１を表示できる。したがって、ユーザーの利便性を更に向上することができる。
【０１３３】
また、本発明の実施形態では、第１制御部３１０は、撮影画像からロボット５００の第１軸部材ＡＸ１に設けられた２次元マーカー５２１を検出することにより、ＨＭＤ１００に対する第１軸部材ＡＸ１及びツール５１の位置及び方向を特定する。
したがって、簡素な構成で、ツール５１の位置及び方向を正確に特定できる。
【０１３４】
また、本発明の実施形態では、ロボット５００には複数の軸部材が設定される。例えば、第１軸部材ＡＸ１及び第８軸部材ＡＸ８が設定される。また、第１制御部３１０は、撮影画像からロボット５００の軸部材の各々に設けられた２次元マーカーを検出することにより、ＨＭＤ１００に対する軸部材の各々の位置及び方向を特定する。例えば、第１軸部材ＡＸ１に設けられた２次元マーカー５２１を検出することにより、ＨＭＤ１００に対する第１軸部材ＡＸ１の位置及び方向を特定する。また、第８軸部材ＡＸ８に設けられた２次元マーカー５９１を検出することにより、ＨＭＤ１００に対する第８軸部材ＡＸ８の位置及び方向を特定する。
したがって、簡素な構成で、複数の軸部材の各々の位置及び方向を正確に特定できる。
【０１３５】
また、本発明の実施形態では、第１制御部３１０は、ＨＭＤ１００とロボット５００のツール５１との距離ＬＲに応じて、ガイド画像Ｐ１のサイズを決定する。
よって、ガイド画像Ｐ１のサイズを適正なサイズに決定できる。したがって、ツール５１の姿勢をユーザーが容易に確認できる。その結果、ユーザーの利便性を更に向上することができる。
【０１３６】
また、本発明の実施形態では、ロボット５００の動作に関する入力を受け付ける入力部４２１と、入力に対応して、ロボット５００を動作させる動作指示部とを備える。第１制御部３１０は、ロボット５００の動作に対応して、ＨＭＤ１００にガイド画像Ｐ１の表示を更新させる。
よって、ガイド画像Ｐ１を更に適正に表示できる。したがって、ユーザーの利便性を更に向上することができる。
【０１３７】
また、本発明の実施形態では、第１制御部３１０は、ロボット５００の状態を示すステイタス画像Ｐ２を、実空間に設置されたロボット５００に対応するようにＨＭＤ１００に表示させる。例えば、ステイタス画像Ｐ２を、ロボット５００の右側に表示させる。
よって、ユーザーは、ロボット５００の状態を容易に確認できる。したがって、ユーザーの利便性を更に向上することができる。
【０１３８】
また、本発明の実施形態では、第１制御部３１０は、ロボット５００が移動する領域を案内する領域ガイド画像Ｐ３を、実空間に設置されたロボット５００に対応するようにＨＭＤ１００に表示させる。
よって、ユーザーは、ロボット５００が移動する領域を容易に確認できる。したがって、ユーザーの利便性を更に向上することができる。
【０１３９】
本発明は、上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、図８に示すフローチャートの処理単位は、第１制御部３１０の処理を理解容易にするために、主な処理内容に応じて分割したものである。図８のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはなく、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【０１４０】
また、本発明の実施形態では、ロボット５００が床面ＦＬに配置されているが、本発明はこれに限定されない。ロボット５００が移動型のロボットでもよい。ただし、ロボット５００が移動型のロボットである場合であっても、ロボット５００が床面ＦＬ等に配置されている状態において、本発明が適用される。
【０１４１】
また、本発明の実施形態では、ロボット５００が一本のアームを有するが、本発明はこれに限定されない。ロボット５００が複数本のアームを有してもよい。
【０１４２】
また、本発明の実施形態では、ガイド画像生成部３２３は、特定部３２２が特定した第１軸部材ＡＸ１の位置及び方向に基づいてガイド画像Ｐ１を配置するが、本発明はこれに限定されない。ガイド画像生成部３２３は、６軸センサー２３５に含まれる３軸ジャイロセンサーの検出結果に基づき、以下のいずれかの態様でガイド画像Ｐ１を配置してもよい。更に、６軸センサー２３５の検出結果に基づき、以下のいずれかの態様でガイド画像Ｐ１を表示してもよい。
すなわち、第１の態様では、ガイド画像生成部３２３は、３軸ジャイロセンサーの検出結果に基づき、ガイド画像Ｐ１の表示位置を固定する。
第２の態様では、ガイド画像生成部３２３は、３軸ジャイロセンサーの検出結果に基づき、ガイド画像Ｐ１の表示位置を補正する。
第３の態様では、ガイド画像生成部３２３は、ロボット５００に対応するようにガイド画像Ｐ１に対して画像処理を施す。画像処理は、回転処理、拡縮処理、色変換処理を含む。
【０１４３】
また、本発明の実施形態では、画像表示部２０が、右表示部２２及び左表示部２４が備える光学系により、使用者の右眼と左眼の各々に画像を視認させる構成とした。本発明はこれに限定されず、例えば、使用者の右眼と左眼の両方に画像を視認させる単一の光学部材を用いた構成としてもよい。また、ＨＭＤ１００は、使用者の右眼および左眼のいずれか一方にのみ画像を視認させる装置であってもよい。
【０１４４】
また、本発明の実施形態では、接続装置１０はコネクター１１Ｂ、１１Ｃ、１１Ｄを備える構成としたが、コネクターの配置や数は任意に変更可能である。接続装置１０は、画像が入力される少なくとも１のコネクターと、電源が供給される少なくとも１のコネクターとを備えていればよい。例えば、接続装置１０は、コネクター１１Ｂのみを備える構成としてもよいし、コネクター１１Ｃ、１１Ｄのみを備える構成としてもよい。また、接続装置１０に、３本以上の画像信号を入力可能な構成としてもよい。例えば、接続装置１０が、コネクター１１Ｂ、１２Ａと同様の機能を有するコネクター及びインターフェイス回路を２または３以上備える構成であってもよい。また、接続装置１０が、コネクター１１Ｃ、１２Ｂと同様の機能を有するコネクター及びインターフェイス回路を２または３以上備える構成であってもよい。
【０１４５】
さらに、コネクター１１Ｂ、１１Ｃに代えて、或いは、これらのコネクターに加えて、接続装置１０が無線通信部を備えてもよい。
【０１４６】
また、画像表示部２０は、ホログラフィー表示装置として構成してもよい。この場合、画像表示部２０は、例えば、光源と、光源からの光を変調する空間光変調器と、を備える構成とすることができる。空間光変調器としては、例えば、ＳＬＭを採用することができる。より具体的には、ＬＣＯＳとして知られる、液晶を利用した反射型空間光位相変調器を用いることができる。ＳＬＭは、「Ｓｐａｔｉａｌ  Ｌｉｇｈｔ  Ｍｏｄｕｌａｔｏｒ」の略であり、ＬＣＯＳは「Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｏｎ  Ｓｉｌｉｃｏｎ−ＳＬＭ」の略である。
【０１４７】
また、本発明の実施形態において、使用者が画像表示部を透過して外景を視認する構成は、右表示部２２及び左表示部２４が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示するＨＭＤにも適用可能である。具体的には、カメラ６１の撮影画像、この撮影画像に基づき生成される画像やＣＧ、予め記憶された画像データや外部から入力される画像データに基づく画像等を表示するＨＭＤに、本発明を適用できる。この種のＨＭＤとしては、外景を視認できない、いわゆる「クローズ型」のＨＭＤを含むことができる。また、本発明の実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮影した実空間の画像と仮想画像とを組み合わせるＭＲ表示を用いてもよい。或いは、仮想画像を表示するＶＲ表示といった処理を行わないＨＭＤにも適用できる。ＭＲは「Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ」の略であり、ＶＲは「Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ」の略である。例えば、外部から入力される画像データまたはアナログ画像信号を表示するＨＭＤも、本発明の適用対象として勿論含まれる。
【０１４８】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
【０１４９】
また、図２及び図３に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、ＨＭＤ１００、ＰＣ３００及びコントローラー４００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
【０１５０】
また、本発明の表示システム１の制御方法は、表示システム１が備えるコンピューターに、表示システム１の制御方法に対応したプログラムを実行させることで実現できる。また、このプログラムは、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像処理装置が備える内部記憶装置であるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ等の不揮発性記憶装置であってもよい。また、表示システム１の制御方法に対応したプログラムをサーバー装置等に記憶させておき、サーバー装置から表示システム１に、プログラムをダウンロードすることで表示システム１の制御方法を実現することもできる。
【符号の説明】
【０１５１】
１…表示システム、１００…ＨＭＤ（表示装置）、１０…接続装置、１１…コネクター、１１０…Ｉ／Ｆ部、１２０…制御部、１５０…プロセッサー、１６０…メモリー、２０…画像表示部（表示部）、２１…右保持部、２２…右表示部、２３…左保持部、２４…左表示部、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、３６…オーディオコネクター、４０…接続ケーブル、６１…カメラ（撮像部）、２１０…右表示部基板、２１１…右Ｉ／Ｆ部、２１３…受信部、２１５…ＥＥＰＲＯＭ、２２１…ＯＬＥＤユニット、２３０…左表示部基板、２３１…左Ｉ／Ｆ部、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２４１…ＯＬＥＤユニット、３００…ＰＣ（制御装置）、３１０…第１制御部、３１１…プロセッサー、３１２…メモリー、３２１…マーカー検出部、３２２…特定部、３２３…ガイド画像生成部、３２４…状態画像生成部、３２５…第１データ記憶部、３２６…第２データ記憶部、４００…コントローラー、４１０…第２制御部、４１１…プロセッサー、４１２…メモリー、４２１…入力部、４２２…動作指示部、５００…ロボット（制御対象物）、５１…ツール（対象箇所）、５２〜５９…第１関節〜第８関節、５００Ａ…ロボット、５１０…基端部、５１１〜５１４…爪、５２１、５９１…２次元マーカー（画像マーカー）、ＡＲ１…視野領域、ＡＲ２…画像領域、ＡＸ１…第１軸部材（対象箇所）、ＡＸ２…第２軸部材（対象箇所）、ＡＸ３…第３軸部材（対象箇所）、ＡＸ４…第４軸部材（対象箇所）、ＡＸ５…第５軸部材（対象箇所）、ＡＸ６…第６軸部材（対象箇所）、ＡＸ７…第７軸部材（対象箇所）、ＡＸ８…第８軸部材（対象箇所）、ＦＬ…床面、ＬＲ…距離、ＬＲ１…距離、ＬＲ２…距離、Ｐ１…ガイド画像、Ｐ１１…Ｘ軸画像、Ｐ１２…Ｙ軸画像、Ｐ１３…Ｚ軸画像、Ｐ２…ステイタス画像（状態画像）、Ｐ３…領域ガイド画像、Ｓ…センサー、ＡＣ…基準座標系、ＴＣ…ツール座標系。
【図１】
2020069538.tif 000003
【図２】
2020069538.tif 000004
【図３】
2020069538.tif 000005
【図４】
2020069538.tif 000006
【図５】
2020069538.tif 000007
【図６】
2020069538.tif 000008
【図７】
2020069538.tif 000009
【図８】
2020069538.tif 000010
【図９】
2020069538.tif 000011