(57)【要約】【課題】位置を指示する使用者の意図の通りに、別の使用者に、指示位置を適切に示すことができるようにする。【解決手段】案内システム１００は、ＨＭＤ１Ａ、１Ｂ、１Ｃを備える。ＨＭＤ１Ａは、画像表示部２０Ａと、指示を受け付ける受付部と、受付部で受け付けた指示に応じて出力情報を生成してＨＭＤ１Ｂ、１Ｃに送信させる第１制御部と、を備える。ＨＭＤ１Ｂ、１Ｃは、外景と重なって視認されるように画像を表示する画像表示部２０Ｂ、２０Ｃと、画像表示部２０Ａ、２０Ｂにおいて視認される外景と組み合わされるＡＲ画像を含むＡＲコンテンツを記憶する第２記憶部と、第２記憶部が記憶するＡＲコンテンツ、および、出力情報の少なくともいずれかに基づく画像を、ＨＭＤ１Ｂ、１Ｃの位置または第２表示部により視認される外景の視界に対応して第２表示部によって表示させる第２制御部と、を備える。【選択図】図１
2018097160.tif 000002
【特許請求の範囲】
【請求項１】
第１表示装置と、第２表示装置とを備える表示システムであって、
前記第１表示装置は、
外景と重なって視認されるように画像を表示する第１表示部と、
指示を受け付ける受付部と、
前記第２表示装置と通信する第１通信部と、
前記受付部で受け付けた指示に応じて出力情報を生成して前記第１通信部により前記第２表示装置に送信させる第１制御部と、を備え、
前記第２表示装置は、
外景と重なって視認されるように画像を表示する第２表示部と、
前記第１表示装置と通信する第２通信部と、
前記第２表示部において視認される外景と組み合わされるＡＲ画像を含むＡＲコンテンツを記憶する第２記憶部と、
前記第２記憶部が記憶する前記ＡＲコンテンツ、および、前記第２通信部により受信した前記出力情報の少なくともいずれかに基づく画像を、前記第２表示装置の位置または前記第２表示部により視認される外景の視界に対応して前記第２表示部によって表示させる第２制御部と、を備える
表示システム。
【請求項２】
前記第１表示装置の前記第１制御部は、画像及び音声の少なくともいずれかを含む前記出力情報を生成して、前記第１通信部により前記第２表示装置に送信させ、
前記第２表示装置の前記第２制御部は、前記第２記憶部が記憶する前記ＡＲコンテンツを、前記出力情報に含まれる音声の出力と対応するタイミングで前記第２表示部に表示させる動作、或いは、前記第２記憶部が記憶する前記ＡＲコンテンツを前記第２通信部により受信した前記出力情報に含まれる画像とともに前記第２表示部に表示させる動作を実行する
請求項１記載の表示システム。
【請求項３】
前記第１表示装置の前記第１制御部は、前記第２表示装置の位置を示すマップを生成して前記第１表示部に表示する
請求項１または２記載の表示システム。
【請求項４】
前記第１表示装置の前記第１制御部は、前記第２表示装置の位置を示すマップの画像を含む前記出力情報を前記第１通信部により前記第２表示装置に送信する
請求項３記載の表示システム。
【請求項５】
前記第１表示装置の前記第１制御部は、前記受付部で受け付ける位置指示操作の指示位置を含む前記出力情報を生成し、
前記第２表示装置の前記第２制御部は、前記第２記憶部が記憶する前記ＡＲコンテンツを、前記出力情報に含まれる指示位置を示すポインター画像とともに前記第２表示部に表示させる
請求項１から４のいずれか１項に記載の表示システム。
【請求項６】
前記第１表示装置の前記第１制御部は、前記受付部で受け付ける位置指示操作により描画される画像を含む前記出力情報を生成する
請求項１から４のいずれか１項に記載の表示システム。
【請求項７】
前記第１表示装置は、音声の集音および出力を行う第１音声入出力部を有し、
前記第１制御部は、前記第１音声入出力部で集音した音声、または、前記第１音声入出力部で集音した音声から認識した語を翻訳した音声を含む前記出力情報を生成し、
前記第２表示装置は、音声の集音および出力を行う第２音声入出力部を有し、
前記第２制御部は、前記第２通信部で受信した前記出力情報に含まれる音声を前記第２音声入出力部により出力する
請求項１から６のいずれか１項に記載の表示システム。
【請求項８】
前記第２表示部は、使用者の右眼と左眼とにそれぞれ視認される画像を、設定された輻輳角で表示し、
前記第２制御部は、前記第２通信部により受信する前記出力情報に含まれる設定データに基づき前記第２表示部の輻輳角を設定する
請求項１から７のいずれか１項に記載の表示システム。
【請求項９】
前記第２制御部は、前記第２通信部により受信する前記出力情報に含まれる設定データに基づき前記第２表示部に係る設定を行う
請求項１から７のいずれか１項に記載の表示システム。
【請求項１０】
前記第２記憶部が記憶する前記ＡＲコンテンツは使用者に対して案内を行うアバターの画像を含む
請求項１から９のいずれか１項に記載の表示システム。
【請求項１１】
前記第２制御部は操作用のタブを含む画像を前記第２表示部により表示させ、前記タブに対する操作に対応して前記第２表示部の表示を変化させる
請求項１から１０のいずれか１項に記載の表示システム。
【請求項１２】
前記第１表示装置に対応付けられる複数の前記第２表示装置を備え、
前記第１表示装置は、前記出力情報を前記第１通信部により複数の前記第２表示装置に送信し、
前記第２表示装置は、前記出力情報により指定される前記ＡＲコンテンツを、前記第１表示装置により制御されるタイミングで同期して表示する
請求項１から１１のいずれか１項に記載の表示システム。
【請求項１３】
外景と重なって視認されるように画像を表示する表示部を備える表示装置であって、
前記表示部において視認される外景と組み合わされるＡＲ画像を含むＡＲコンテンツを記憶する記憶部と、
前記表示装置とは異なる外部装置から出力情報を受信する通信部と、
前記記憶部が記憶する前記ＡＲコンテンツ、および、前記通信部により受信した前記出力情報の少なくともいずれかに基づく画像を、前記表示装置の位置または前記表示部により視認される外景の視界に対応して前記表示部によって表示させる
表示装置。
【請求項１４】
外景と重なって視認されるように画像を表示する表示部と、前記表示部において視認される外景と組み合わされるＡＲ画像を含むＡＲコンテンツを記憶する記憶部と、外部装置から出力情報を受信する通信部と、を有する表示装置を制御して、
前記記憶部が記憶する前記ＡＲコンテンツ、および、前記通信部により受信した前記出力情報の少なくともいずれかに基づく画像を、前記表示装置の位置または視界に対応して前記表示部によって表示させる
表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、表示装置、及び、表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、仮想の三次元空間内に存在する仮想の球体を指定するＶＲアプリケーション、ＭＲアプリケーションを実行して、操作者の指示に応じて、指示座標系における指示方向を求め指示画像を生成する方法が知られている（例えば、特許文献１参照）。特許文献１記載の方法によれば、三次元空間における位置を指示する指示画像を生成できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２９６７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法によれば、位置を指示する使用者の意図に沿った指示画像を生成することができるが、この指示画像を他の使用者に見せる場合には、指示画像を見る使用者の位置や方向により、意図とは異なる見え方になる可能性がある。例えば、ＡＲアプリケーションを実行する場合には、実空間の景色（いわゆる外景）との重ね合わせが重要であるが、指示画像が外景に重ね合わされる状態を、指示画像を生成する側の使用者の意図と一致させることは容易ではない。
本発明は上記事情に鑑みてなされたものであり、位置を指示する使用者の意図の通りに、別の使用者に、指示位置を適切に示すことができるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、第１表示装置と、第２表示装置とを備える表示システムであって、前記第１表示装置は、外景と重なって視認されるように画像を表示する第１表示部と、指示を受け付ける受付部と、前記第２表示装置と通信する第１通信部と、前記受付部で受け付けた指示に応じて出力情報を生成して前記第１通信部により前記第２表示装置に送信させる第１制御部と、を備え、前記第２表示装置は、外景と重なって視認されるように画像を表示する第２表示部と、前記第１表示装置と通信する第２通信部と、前記第２表示部において視認される外景と組み合わされるＡＲ画像を含むＡＲコンテンツを記憶する第２記憶部と、前記第２記憶部が記憶する前記ＡＲコンテンツ、および、前記第２通信部により受信した前記出力情報の少なくともいずれかに基づく画像を、前記第２表示装置の位置または前記第２表示部により視認される外景の視界に対応して前記第２表示部によって表示させる第２制御部と、を備える。
本発明によれば、第２表示装置でＡＲコンテンツを表示する際に、第１表示装置が受け付けた指示に基づき、第２表示装置の位置または視界に対応して画像を表示することができる。このため、第２表示装置の使用者が視認するＡＲコンテンツにおいて、実空間の外景に適切に対応させて、第１表示装置を使用する使用者の意図を反映して、指示位置を示すことができる。
【０００６】
また、本発明において、前記第１表示装置の前記第１制御部は、画像及び音声の少なくともいずれかを含む前記出力情報を生成して、前記第１通信部により前記第２表示装置に送信させ、前記第２表示装置の前記第２制御部は、前記第２記憶部が記憶する前記ＡＲコンテンツを、前記出力情報に含まれる音声の出力と対応するタイミングで前記第２表示部に表示させる動作、或いは、前記第２記憶部が記憶する前記ＡＲコンテンツを前記第２通信部により受信した前記出力情報に含まれる画像とともに前記第２表示部に表示させる動作を実行する構成としてもよい。
この構成によれば、第２表示装置において、第１表示装置が受け付けた指示位置に関する画像を表示できる。
【０００７】
また、本発明において、前記第１表示装置の前記第１制御部は、前記第２表示装置の位置を示すマップを生成して前記第１表示部に表示する構成としてもよい。
この構成によれば、第１表示装置の使用者が第２表示装置の位置を速やかに把握できる。
【０００８】
また、本発明において、前記第１表示装置の前記第１制御部は、前記第２表示装置の位置を示すマップの画像を含む前記出力情報を前記第１通信部により前記第２表示装置に送信する構成としてもよい。
この構成によれば、第２表示装置の使用者に対して第２表示装置の位置を知らせることができる。
【０００９】
また、本発明において、前記第１表示装置の前記第１制御部は、前記受付部で受け付ける位置指示操作の指示位置を含む前記出力情報を生成し、前記第２表示装置の前記第２制御部は、前記第２記憶部が記憶する前記ＡＲコンテンツを、前記出力情報に含まれる指示位置を示すポインター画像とともに前記第２表示部に表示させる構成としてもよい。
この構成によれば、第２表示装置の使用者に対して、第１表示装置に対する指示位置をポインター画像により示すことができる。
【００１０】
また、本発明において、前記第１表示装置の前記第１制御部は、前記受付部で受け付ける位置指示操作により描画される画像を含む前記出力情報を生成する構成としてもよい。
この構成によれば、第２表示装置の使用者に対して、第１表示装置に対する操作により描画された画像を示すことができる。
【００１１】
また、本発明において、前記第１表示装置は、音声の集音および出力を行う第１音声入出力部を有し、前記第１制御部は、前記第１音声入出力部で集音した音声、または、前記第１音声入出力部で集音した音声から認識した語を翻訳した音声を含む前記出力情報を生成し、前記第２表示装置は、音声の集音および出力を行う第２音声入出力部を有し、前記第２制御部は、前記第２通信部で受信した前記出力情報に含まれる音声を前記第２音声入出力部により出力する構成としてもよい。
この構成によれば、第１表示装置から第２表示装置に対して音声を伝達することができ、さらに、音声を翻訳することができる。これにより、第１表示装置の使用者と第２表示装置の使用者との間で音声によるコミュニケーションが可能となる。
【００１２】
また、本発明において、前記第２表示部は、使用者の右眼と左眼とにそれぞれ視認される画像を、設定された輻輳角で表示し、前記第２制御部は、前記第２通信部により受信する前記出力情報に含まれる設定データに基づき前記第２表示部の輻輳角を設定する構成としてもよい。
この構成によれば、第２表示装置の使用者が第２表示部の画像を視認する輻輳角を、第１表示装置の出力情報により設定できる。このため、第２表示装置の使用者が画像を視認する距離を調整できる。
【００１３】
また、本発明において、前記第２制御部は、前記第２通信部により受信する前記出力情報に含まれる設定データに基づき前記第２表示部に係る設定を行う構成としてもよい。
この構成によれば、第２表示装置の使用者が視認する第２表示部の画像について、第１表示装置により設定できる。
【００１４】
また、本発明において、前記第２記憶部が記憶する前記ＡＲコンテンツは使用者に対して案内を行うアバターの画像を含む構成としてもよい。
この構成によれば、第２表示装置の使用者が第２表示部のアバターの画像により案内を受けることができる。
【００１５】
また、本発明において、前記第２制御部は操作用のタブを含む画像を前記第２表示部により表示させ、前記タブに対する操作に対応して前記第２表示部の表示を変化させる構成としてもよい。
この構成によれば、第２表示装置の使用者がタブに対する操作を行うことができる。
【００１６】
また、本発明において、前記第１表示装置に対応付けられる複数の前記第２表示装置を備え、前記第１表示装置は、前記出力情報を前記第１通信部により複数の前記第２表示装置に送信し、前記第２表示装置は、前記出力情報により指定される前記ＡＲコンテンツを、前記第１表示装置により制御されるタイミングで同期して表示する構成としてもよい。
この構成によれば、第１表示装置に対応付けられた複数の第２表示装置により、同期してＡＲコンテンツを表示できる。
【００１７】
また、上記課題を解決するため、本発明は、外景と重なって視認されるように画像を表示する表示部を備える表示装置であって、前記表示装置の位置または視界を検出する検出部と、前記表示部において視認される外景と組み合わされるＡＲ画像を含むＡＲコンテンツを記憶する記憶部と、前記表示装置とは異なる外部装置から出力情報を受信する通信部と、前記記憶部が記憶する前記ＡＲコンテンツ、および、前記通信部により受信した前記出力情報の少なくともいずれかに基づく画像を、前記表示装置の位置または前記表示部により視認される外景の視界に対応して前記表示部によって表示させる。
本発明によれば、ＡＲコンテンツを表示する表示装置が、外部装置から受信する情報に基づき、表示装置の位置または視界に対応して画像を表示することができる。このため、表示装置の使用者が視認するＡＲコンテンツにおいて、実空間の外景に適切に対応させて、外部装置を使用する使用者の意図を反映して表示を行うことができる。
【００１８】
上記課題を解決するため、本発明は、外景と重なって視認されるように画像を表示する表示部と、前記表示部において視認される外景と組み合わされるＡＲ画像を含むＡＲコンテンツを記憶する記憶部と、外部装置から出力情報を受信する通信部と、を有する表示装置を制御して、前記記憶部が記憶する前記ＡＲコンテンツ、および、前記通信部により受信した前記出力情報の少なくともいずれかに基づく画像を、前記表示装置の位置または視界に対応して前記表示部によって表示させる。
本発明によれば、ＡＲコンテンツを表示する表示装置が、外部装置から受信する情報に基づき、表示装置の位置または視界に対応して画像を表示することができる。このため、表示装置の使用者が視認するＡＲコンテンツにおいて、実空間の外景に適切に対応させて、外部装置を使用する使用者の意図を反映して表示を行うことができる。
【００１９】
本発明は、上述した表示装置、及び、表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の制御方法をコンピューターにより実行するためのプログラム、上記プログラムを記録した記録媒体、上記プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。
【図面の簡単な説明】
【００２０】
【図１】案内システムの構成図。
【図２】ＨＭＤの外観構成を示す説明図。
【図３】画像表示部の光学系の構成を示す図。
【図４】画像表示部の構成を示す斜視図。
【図５】画像表示部と撮像範囲の対応を示す模式図。
【図６】ＨＭＤのブロック図。
【図７】案内者が装着するＨＭＤの制御部および記憶部の機能ブロック図。
【図８】参加者が装着するＨＭＤの制御部および記憶部の機能ブロック図。
【図９】ＨＭＤの動作を示すフローチャート。
【図１０】ＨＭＤの動作を示すフローチャート。
【図１１】ＨＭＤの動作及び表示例を示す説明図。
【図１２】ＨＭＤの動作及び表示例を示す説明図。
【図１３】ＨＭＤの動作及び表示例を示す説明図。
【図１４】ＨＭＤの動作及び表示例を示す説明図。
【図１５】ＨＭＤの動作及び表示例を示す説明図。
【図１６】ＨＭＤの動作及び表示例を示す説明図。
【発明を実施するための形態】
【００２１】
図１は、本発明を適用した実施形態に係る案内システム１００の概略構成図である。
案内システム１００は、複数のＨＭＤ１が相互に通信可能に接続されて構成される。図１には３台のＨＭＤ１を含む案内システム１００を例示するが、案内システム１００が備えるＨＭＤ１の数に制限はない。
【００２２】
案内システム１００に含まれるＨＭＤ１の数に制限はなく、図１には一例として、３つのＨＭＤ１Ａ、１Ｂ、１Ｃを示す。案内システム１００のＨＭＤ１Ａ、１Ｂ、１Ｃは、いずれも共通する構成を有するので、ＨＭＤ１Ａ、１Ｂ、１Ｃを区別する必要のない場合、ＨＭＤ１と記載する。ＨＭＤ１Ａは第１表示装置に対応し、ＨＭＤ１Ｂ、１Ｃはそれぞれ第２表示装置に対応する。
【００２３】
ＨＭＤ１Ａ、１Ｂ、１Ｃは、図１に示すように使用者が頭部に装着する表示装置であり、頭部装着型表示装置（ヘッドマウントディスプレイ、Head Mounted Display）とも呼ばれる。ＨＭＤ１Ａ、１Ｂ、１Ｃは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のＨＭＤである。
なお、以下の説明では、ＨＭＤ１Ａ、１Ｂ、１Ｃによって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。また、本実施形態の説明において、画像とは、静止画像に限らず、動画像（映像）を含んでもよい。
【００２４】
典型的な案内システム１００の使用形態では、複数の使用者Ｕが、それぞれＨＭＤ１を装着する。ここで、ＨＭＤ１Ａを装着する使用者を使用者Ｕ１、ＨＭＤ１Ｂを装着する使用者を使用者Ｕ２、ＨＭＤ１Ｃを装着する使用者を使用者Ｕ３とする。使用者の数は使用者Ｕ１、Ｕ２、Ｕ３の３人に限定されず、案内システム１００がより多数のＨＭＤ１を含む場合、使用者Ｕも数も同様に多くなる。また、使用者Ｕ１、Ｕ２、Ｕ３の各々を区別しない場合は使用者Ｕと表記する。
【００２５】
案内システム１００の使用例として、本実施形態では、使用者Ｕ１が複数の人を案内する案内者であり、使用者Ｕ２、Ｕ３が、使用者Ｕ１により案内される人とする。使用者Ｕ１は、ＨＭＤ１Ａを操作して、使用者Ｕ２、Ｕ３に対し指示や案内を行う。使用者Ｕ１の操作に従って、ＨＭＤ１Ａは、画像、音声、或いはその他の情報を含む出力情報をＨＭＤ１Ｂ、１Ｃに送信する。ＨＭＤ１Ｂ、１Ｃが出力情報に基づき画像や音声を出力することで、使用者Ｕ２、Ｕ３に対し、使用者Ｕ１が案内を行うことができる。
【００２６】
案内システム１００では、ＨＭＤ１Ａ、１Ｂ、１Ｃがそれぞれ、相互に無線通信を実行し、画像データ、音声データ、制御データ等を含む各種のデータを送受信できる。図１では、ＨＭＤ１Ａ、１Ｂ、１Ｃの間で直接、無線通信を実行する構成を示しているが、案内システム１００の構成はこれに限定されない。案内システム１００において、例えば、ＨＭＤ１Ａ、１Ｂ、１Ｃが、公衆回線網等の有線通信回線を含む通信ネットワーク（図示略）を介して、相互に通信可能に接続されてもよい。また、案内システム１００が、ＷｉＦｉ（登録商標）のアクセスポイントなど、ＨＭＤ１Ａ、１Ｂ、１Ｃ以外の装置を含む構成により、無線通信を可能としてもよい。
【００２７】
この通信ネットワークは、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線またはその組合せで実現され、その具体的構成は限定されない。この通信ネットワークは、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたＬＡＮ（Local Area Network）であってもよい。また、通信ネットワークは、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワークが複数の通信回線で構成されてもよい。
【００２８】
使用者Ｕ１がいる場所と、使用者Ｕ２、Ｕ３がいる場所とは、通信ネットワークに接続可能であれば地理的制約はなく、遠隔地であってもよいし、近接した場所であってもよい。従って、ＨＭＤ１Ａ、１Ｂ、１Ｃは、近接した位置で使用されてもよいし、遠く離れた状態で使用されてもよい。
【００２９】
ＨＭＤ１は、後述するように、使用者Ｕが実空間の景色（外景）を視認できるように、画像表示部２０により画像を表示するので、使用者Ｕは、外景と、画像表示部２０が表示する画像とを重ねて視認できる。画像表示部２０の具体的構成は任意であるが、本実施形態では、外部から入射する光（外光）を透過する透過型の画像表示部２０を例示する。
【００３０】
ＨＭＤ１Ａは、無線アクセスポイント（図示略）を介して他のＨＭＤ１Ｂとデータ通信を実行する。なお、それぞれのＨＭＤ１Ａは、他のＨＭＤ１Ｂとの間で、例えばアドホックモードで直接、無線通信を実行してもよいし、有線の通信回線によりＨＭＤ１Ａ、１Ｂ、１Ｃが接続されてもよい。すなわち、案内システム１００は、ＨＭＤ１Ａ及びＨＭＤ１Ｂが通信可能であれば、その構成は特に限定されない。
【００３１】
ＨＭＤ１Ａは、使用者Ｕ１が頭部に装着する画像表示部２０Ａ、及び、画像表示部２０を制御するコントローラー１０Ａを備える。画像表示部２０Ａは、使用者Ｕ１の頭部に装着された状態で使用者に虚像を視認させる。コントローラー１０Ａは、使用者Ｕ１がＨＭＤ１Ａを操作する制御装置としても機能する。
また、ＨＭＤ１Ｂは、画像表示部２０Ｂ、及び、コントローラー１０Ｂを備える。画像表示部２０Ｂは画像表示部２０Ａと共通であり、使用者Ｕ２の頭部に装着された状態で、使用者Ｕ２に虚像を視認させる。コントローラー１０Ｂは、コントローラー１０Ａと同様に画像表示部２０を制御し、使用者Ｕ２がＨＭＤ１Ｂを操作するコントローラーとしても機能する。コントローラー１０Ｃは、使用者Ｕ３が使用する装置であり、コントローラー１０Ｂと共通の構成を有する。コントローラー１０Ａとコントローラー１０Ｂ、１０Ｃは外観において共通であり、機能的構成は相違するが、この相違点については後述する。また、画像表示部２０Ａ、２０Ｂ、２０Ｃは共通の構成を有する。
画像表示部２０Ａは第１表示部に相当し、画像表示部２０Ｂ、２０Ｃは第２表示部に相当する。
【００３２】
以下の説明において画像表示部２０Ａ、２０Ｂ、２０Ｃを区別しない場合は画像表示部２０と表記する。コントローラー１０Ａ、１０Ｂ、１０Ｃも同様に、区別しない場合にコントローラー１０と表記する。
【００３３】
図２は、ＨＭＤ１Ａの外観構成を示す説明図である。ＨＭＤ１Ｂ、１Ｃは、外観上はＨＭＤ１Ａと同一であるため、ここではＨＭＤ１ＡすなわちＨＭＤ１について説明し、ＨＭＤ１Ｂ、１Ｃの構成について図示及び説明を省略する。
【００３４】
ＨＭＤ１は、使用者Ｕの頭部に装着された状態で使用者Ｕに虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御するコントローラー１０と、を備える表示装置である。コントローラー１０は、図２に示すように、平たい箱形の本体１１（筐体）を備える。本体１１は、使用者Ｕの操作を受け付ける各種のスイッチや操作パッド１４等を備え、これらを使用者Ｕが操作することによって、コントローラー１０は、ＨＭＤ１を制御する制御装置として機能する。また、本体１１は、ＨＭＤ１を制御する機能部を内蔵する。
【００３５】
画像表示部２０は、使用者Ｕの頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右光板２６、及び左導光板２８を備える。
【００３６】
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者Ｕの頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者Ｕの右側に位置する端部を端部ＥＲとし、使用者Ｕの左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者Ｕの右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者Ｕの左側頭部に対応する位置まで延伸して設けられる。
【００３７】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者Ｕの右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者Ｕの左眼の眼前に位置し、左眼に画像を視認させる。
【００３８】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者Ｕが画像表示部２０を装着する装着状態で、使用者Ｕの眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者Ｕの鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者Ｕの頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者Ｕの後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者Ｕの頭部に保持できる。
【００３９】
右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者Ｕの右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者Ｕの左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を総称して単に「表示駆動部」とも呼ぶ。
【００４０】
本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者Ｕの眼に導く。
【００４１】
また、右導光板２６及び左導光板２８の表面に、調光機能を有する電子シェード（図示略）を設けてもよい。電子シェードは電圧を入力する端子（図示略）、及び、端子間の電圧に応じて光の透過率が変化するシェード本体（図示略）を有し、後述する制御部１５０の制御により、印加される電圧を調整可能である。電子シェードは、可視光を含む波長域全体の透過率が変化する構成であってもよいし、光の波長域により異なる透過率を有する構成であってもよい。電子シェードは、例えば、使用者Ｕの眼の側とは反対の側である前部フレーム２７の表側を覆うように配置される。この電子シェードの光学特性を調整することにより、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。
【００４２】
画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導き、この画像光によって虚像を使用者Ｕに視認させることによって、画像を表示する。使用者Ｕの前方から、右導光板２６及び左導光板２８を透過して外光が使用者Ｕの眼に入射する場合、使用者Ｕの眼には、虚像を構成する画像光および外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に電子シェードを装着し、電子シェードの光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整できる。
【００４３】
カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１は、使用者Ｕが画像表示部２０を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
【００４４】
カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１の表側方向、換言すれば、ＨＭＤ１を装着した状態における使用者Ｕの視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者Ｕの視界と重なる範囲または方向を撮像し、使用者Ｕが注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者Ｕが右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者Ｕの視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
カメラ６１は、制御部１５０が備える撮像制御部１５６の制御に従って撮像を実行し、撮像画像データを撮像制御部１５６に出力する。
【００４５】
ＨＭＤ１は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー６４を備える。距離センサー６４は、例えば、使用者Ｕにとって前方に位置する測定対象物までの距離を検出する構成とすることができ、本実施形態では、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置される。この例では、画像表示部２０の装着状態において、距離センサー６４の位置は、水平方向では使用者Ｕの両眼のほぼ中間であり、鉛直方向では使用者Ｕの両眼より上である。距離センサー６４の測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。
【００４６】
距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。距離センサー６４は、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
【００４７】
コントローラー１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１の端部に設けられるコネクター４２に着脱可能に接続される。すなわち、本体１１には、接続ケーブル４０を抜き差し可能なコネクター４２が設けられ、画像表示部２０を使用する場合にコネクター４２に接続ケーブル４０が接続される。
【００４８】
接続ケーブル４０は、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。
【００４９】
コネクター４６は、ステレオミニプラグを接続するジャック（オーディオコネクター）であり、コネクター４６とコントローラー１０とは、例えばアナログ音声信号を伝送するラインで接続される。図２に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、コネクター４６に接続される。
【００５０】
マイク６３は、例えば図２に示すように、マイク６３の集音部が使用者Ｕの視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図６）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００５１】
コントローラー１０は、使用者Ｕにより操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。
【００５２】
ホイール操作部１２は、本体１１の表面において最も面積の広い一面に配置される。ホイール操作部１２が配置される面を、本体１１の前面と呼ぶことができる。中央キー１３はホイール操作部１２の中央に位置する。ホイール操作部１２は、使用者Ｕが、本体１１の前面においてホイール操作部１２の境界を、手指の触感により識別できる形状であることが好ましく、例えば、本体１１の前面よりも凹んでいてもよい。中央キー１３は、使用者Ｕが、ホイール操作部１２と中央キー１３との違いを手指の触感によって識別できるように、例えばホイール操作部１２よりも盛り上がっている。また、中央キー１３は、押圧操作により変形または変位して、押圧操作が可能な構成であってもよい。
【００５３】
操作パッド１４は、本体１１の前面において、使用者Ｕが指を接触させる、タッチ操作を行うための領域である。操作パッド１４は、本体１１の前面と同様の平面であってもよいが、操作パッド１４と、それ以外の領域とを使用者Ｕが識別できる構成であることが好ましい。例えば、操作パッド１４の縁を示す線が印刷または凹凸により形成されてもよいし、操作パッド１４が、操作パッド１４の表面の触感をそれ以外の領域と異ならせる表面加工を施されてもよい。
【００５４】
コントローラー１０は、本体１１の前面において、ホイール操作部１２、中央キー１３、及び上下キー１５を含む領域では、後述するタッチセンサー１７２（図６）により、使用者Ｕによる接触操作を検出できる。コントローラー１０は、タッチセンサー１７２が接触操作を検出した場合に、操作を検出した位置を特定することにより、使用者Ｕが操作した位置が、ホイール操作部１２か、中央キー１３か、或いは操作パッド１４かを特定できる。
【００５５】
従って、ホイール操作部１２、中央キー１３、及び操作パッド１４に対する操作は位置入力操作として検出される。コントローラー１０は、これらに対する操作を区別せず位置入力操作として検出してもよい。或いは、ホイール操作部１２、中央キー１３及び操作パッド１４に対する操作を区別してもよい。例えば、ホイール操作部１２は、上下左右の方向指示を入力する方向指示キーとして使用できる。中央キー１３は、ホイール操作部１２の操作により選択された内容の決定を指示する決定キーとして使用できる。また、操作パッド１４は、操作パッド１４における絶対位置、或いは、相対位置を入力する操作のために使用できる。
【００５６】
本体１１の前面にはＬＥＤ（Light Emitting Diode）表示部１７が設置される。ＬＥＤ表示部１７は、ホイール操作部１２と操作パッド１４との間に位置し、ＬＥＤ表示部１７の表面は、本体１１の前面における他の領域と違わない。ＬＥＤ表示部１７は、光を透過可能な透過部（図示略）を有し、透過部の直下に設置される１または複数のＬＥＤが点灯することにより、使用者Ｕが記号等を視認できるように、発光する。図２の例では、ＬＥＤ表示部１７のＬＥＤが点灯することにより、３つの記号△（三角形）、○（丸）、□（四角形）が現れる。
【００５７】
コントローラー１０は、ＬＥＤ表示部１７に対する使用者Ｕの手指の接触操作を、タッチセンサー１７２により検出し、操作位置を特定できる。このため、例えば操作位置が、ＬＥＤ表示部１７に現れる記号のどれに対応する位置かを特定できる。従って、ＬＥＤ表示部１７はソフトウェアボタンとして機能する。例えば、ＬＥＤ表示部１７に現れる記号を、ＨＭＤ１の機能に対応付けることで、ＬＥＤ表示部１７へのタッチ操作を当該機能に対する操作として検出できる。ＨＭＤ１は、図２の例で、記号○（丸）をホームボタンに割り当てることができる。この場合、記号○（丸）の位置に接触操作が行われると、制御部１５０は、ホームボタンの操作を検出する。また、記号□（四角形）は履歴ボタンに割り当てることができる。この場合、記号□（四角形）の接触操作を、制御部１５０は、履歴ボタンの操作として検出する。同様に、記号△（三角形）は戻るボタンに割り当てることができる。制御部１５０は、記号△（三角形）の接触操作を、戻るボタンの操作として検出する。
【００５８】
上下キー１５は、本体１１の側面に配置され、押圧操作を検出する一対のキーを備える。上下キー１５の右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。
電源スイッチ１８は、ＨＭＤ１の電源のオン／オフを切り替えるスイッチである。
【００５９】
本体１１において電源スイッチ１８と同じ側の側面には、ＵＳＢ（Universal Serial Bus）コネクター１９（インターフェイス）が設けられる。ＵＳＢコネクター１９は、コントローラー１０を、外部の装置に接続するインターフェイスであり、本実施形態ではインターフェイスの一例として、ＵＳＢ（登録商標）規格に準拠したコネクターを例示する。ＵＳＢコネクター１９は、例えば、microUSB規格に適合する形状、及びサイズを有するコネクターであり、転送速度等の仕様は任意である。
【００６０】
コントローラー１０は後述するようにバッテリー１３２（図６）を有し、バッテリー１３２が供給する電力によりコントローラー１０および画像表示部２０が動作する。バッテリー１３２への充電は、ＵＳＢコネクター１９に対して電力を供給することにより行うことができる。ＨＭＤ１は、コントローラー１０と画像表示部２０を取り外し、コントローラー１０のみを専用の充電装置（図示略）に接続することで、充電を行うことができる。
【００６１】
コントローラー１０は、パーソナルコンピューター（図示略）や充電装置等の外部装置に接続した状態で、バッテリー１３２への充電が可能である。コントローラー１０は、外部装置に接続した状態で、画像表示部２０を接続していなくても起動することが可能であり、外部装置とデータ通信を行って、外部装置からデータを取得できる。この機能により、コントローラー１０は、後述するように、外部装置から基本制御プログラム（ファームウェア）をダウンロードして、コントローラー１０の基本制御プログラムをアップデートすることができる。また、コントローラー１０は、後述するように、外部装置からアプリケーションプログラムをダウンロードしてインストールする処理や、外部装置からデータをダウンロードして記憶する処理を行うことができる。
【００６２】
図３は、画像表示部２０が備える光学系の構成を示す要部平面図である。図３には説明のため使用者Ｕの左眼ＬＥ及び右眼ＲＥを図示する。
図３に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者Ｕの右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。
【００６３】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー６９（図６）が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。
【００６４】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者Ｕに画像を視認させる。
【００６５】
また、使用者Ｕの左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。
【００６６】
ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。
【００６７】
左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者Ｕに画像を視認させる。
【００６８】
この構成によれば、ＨＭＤ１は、シースルー型の表示装置として機能する。すなわち、使用者Ｕの右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者Ｕの眼に入射させ、使用者Ｕにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
【００６９】
なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者Ｕの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
【００７０】
図４及び図５は、画像表示部２０の要部構成を示す図である。図４は、画像表示部２０を使用者Ｕの頭部側から見た要部斜視図である。なお、図４では接続ケーブル４０の図示を省略する。図５はカメラ６１の画角の説明図である。
【００７１】
図４は、画像表示部２０の使用者Ｕの頭部に接する側、言い換えれば使用者Ｕの右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図４では、使用者Ｕの右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者Ｕには、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。
【００７２】
カメラ６１は、上記のように画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図５は、カメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。カメラ６１の画角（撮像範囲）をＣで示す。なお、図５には水平方向の画角Ｃを示すが、カメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。
【００７３】
カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１を装着した状態で視認できる外景は、無限遠とは限らない。例えば図５に示すように、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１について、通常使用時における使用者から対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。
【００７４】
また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図５の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。この実視野は、例えば、視野角及び安定注視野より狭いが、有効視野より広い。
【００７５】
カメラ６１の画角Ｃは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、使用者の安定注視野よりも広く、最も好ましくは、画角Ｃが使用者の両眼の視野角よりも広い。
【００７６】
カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。
【００７７】
また、距離センサー６４は、右導光板２６と左導光板２８との中央において、前方を向いて配置される。例えば、距離センサー６４は、画像表示部２０の中央位置から、図５に示す対象物ＯＢのように、使用者Ｕの正面方向に位置する物体までの距離を検出可能に構成される。ＨＭＤ１を装着した使用者は、注視する方向に頭を向けるので、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、使用者が注視する対象までの距離を検出できる。
【００７８】
また、図４に示すように、画像表示部２０の使用者側には内側カメラ６８が配置される。内側カメラ６８は、使用者の右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。内側カメラ６８は、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、制御部１５０の制御に従って撮像を行う。制御部１５０は、内側カメラ６８の撮像画像データを解析する。例えば、制御部１５０は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、制御部１５０は、使用者の視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。
【００７９】
また、制御部１５０は、内側カメラ６８の撮像画像データから使用者の右眼ＲＥ及び左眼ＬＥの瞼（眼瞼）の画像を抽出して、眼瞼運動を検出してもよく、眼瞼の状態を検出してもよい。本実施形態では画像表示部２０が一対の内側カメラ６８、６８を備える構成を例示するが、例えば、１つの内側カメラ６８を、画像表示部２０の中央位置に設けてもよい。この場合、１つの内側カメラ６８が、右眼ＲＥ及び左眼ＬＥを撮像できる画角を有することが好ましいが、例えば、右眼ＲＥまたは左眼ＬＥの一方のみを内側カメラ６８により撮像してもよい。すなわち、右眼ＲＥまたは左眼ＬＥのいずれか一方の視線方向、眼球運動、眼瞼運動、眼瞼の状態等を制御部１５０が検出する構成としてもよい。
【００８０】
また、制御部１５０は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。図５には輻輳角を符号ＰＡで示す。輻輳角ＰＡは、使用者が注視する対象物ＯＢまでの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。従って、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。
【００８１】
使用者Ｕの右眼ＲＥ及び左眼ＬＥの視線の輻輳角は、例えば、内側カメラ６８の撮像画像データから求めることができる。例えば、内側カメラ６８に撮像画像データから右眼ＲＥの視線方向を求め、この視線方向から、右眼ＲＥの正面方向に対する右眼ＲＥの視線方向の角度ＬＡを求める。同様に、内側カメラ６８の撮像画像データから左眼ＬＥの視線方向を求め、この視線方向に基づき、左眼ＬＥの正面方向に対する左眼ＬＥの視線方向の角度ＲＡを求める。輻輳角ＰＡは、角度ＬＡ、ＲＡの和に等しく、容易に輻輳角ＰＡを求めることができる。
【００８２】
また、制御部１５０の制御によって、画像表示部２０がハーフミラー２６１、２８１に画像を表示する表示位置を制御することで、使用者Ｕの視線の輻輳角を誘導できる。つまり、使用者Ｕの右眼ＲＥと左眼ＬＥの視線を誘導するように、輻輳角に対応する位置に画像を表示すると、使用者Ｕは、輻輳角に対応する距離に画像が位置するように視認する。この制御により、使用者Ｕが視認する画像が、外景に含まれる所定距離、すなわち画像の表示位置により規定される輻輳角に対応する位置に、画像が存在するように、画像を視認させることができる。従って、外景と、画像表示部２０が表示する画像とを混和させて、より効果的に画像をＡＲ表示できる。
【００８３】
図２〜図５に示した構成は、案内システム１００のＨＭＤ１Ａ、１Ｂ、１Ｃにおいて共通である。ＨＭＤ１Ｂ、１Ｃが備える制御部４５０（図８）は、上述した制御部１５０の機能を具備し、制御部１５０と同様に作用する。
【００８４】
図６は、ＨＭＤ１を構成する各部の構成を示すブロック図である。図２〜図５と同様に、図６にはＨＭＤ１Ａの構成を示す。ＨＭＤ１Ｂ、１Ｃは、ＨＭＤ１Ａと共通する構成を具備するので、図６に基づくＨＭＤ１に関する説明は、ＨＭＤ１Ａ、１Ｂ、１Ｃに適用される。
【００８５】
コントローラー１０は、プログラムを実行してＨＭＤ１を制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１２５には、入力装置として操作部１７０が接続される。また、メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。また、メインプロセッサー１２５には、通信部１１７、音声コーデック１８０、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。
【００８６】
メインプロセッサー１２５は、コントローラー１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１２５に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。
【００８７】
また、コネクター４２、及びＵＳＢコネクター１９を、コントローラー基板１２０に実装した構成とすることもできる。
【００８８】
メモリー１１８は、メインプロセッサー１２５がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５がプログラムを実行して処理する各種データを記憶する。
【００８９】
操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２、及びスイッチ１７４を含む。タッチセンサー１７２は、本体１１に設けられるホイール操作部１２、中央キー１３、操作パッド１４、及びＬＥＤ表示部１７へのタッチ操作を検出する。タッチセンサー１７２は、検出したタッチ操作の操作位置を特定する。タッチセンサー１７２がタッチ操作を検出した場合、操作部１７０からメインプロセッサー１２５に対し、操作位置等を示す操作信号が出力される。
スイッチ１７４は、本体１１が備える上下キー１５、及び、電源スイッチ１８の操作を検出する。スイッチ１７４がスイッチの操作を検出した場合、操作部１７０からメインプロセッサー１２５に対し、操作位置等を示す操作信号が出力される。
【００９０】
ＬＥＤ表示部１７は、図２に示した３つの記号を表示するＬＥＤ（図示略）、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。
【００９１】
図６に戻り、６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、コントローラー１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力する。
【００９２】
通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信を行う。
音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図２）を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。また、音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１２５が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１２５に出力する。
【００９３】
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。
【００９４】
また、ＨＭＤ１は、バイブレーター１７６を備える。バイブレーター１７６は、モーター（図示略）、偏心した回転子（図示略）等を備え、メインプロセッサー１２５の制御に従って振動を発生する。ＨＭＤ１は、例えば、操作部１７０に対する操作を検出した場合、ＨＭＤ１の電源がオン／オフされる場合等に、所定の振動パターンでバイブレーター１７６により振動を発生する。
【００９５】
センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１２５と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。
【００９６】
画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、コントローラー１０に接続される。図２に示すように、ＨＭＤ１では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれがコントローラー１０に接続される。
【００９７】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５（記憶部）が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６９、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、コントローラー１０に接続する。
【００９８】
ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１２５が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６９、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。
【００９９】
カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をコントローラー１０に出力する。
照度センサー６５（外部センサー）は、図２に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者Ｕの前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図２に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【０１００】
温度センサー６９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー６９は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー６９は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー６９は、主としてＯＬＥＤパネル２２３の温度を検出する。
【０１０１】
受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図３）に出力する。
【０１０２】
左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、コントローラー１０に接続する。
【０１０３】
６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【０１０４】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【０１０５】
右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー６９、及び、左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１２５に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１２５に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。
【０１０６】
コントローラー１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１２５に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１２５に出力する。また、電源部１３０が供給する電力に基づき、コントローラー１０から画像表示部２０に電力を供給してもよい。また、電源部１３０からコントローラー１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１２５が制御可能な構成としてもよい。
電源制御回路１３４は、ＵＳＢコネクター１９から供給される電力によりバッテリー１３２を充電する。この動作は、電源制御回路１３４に電力が供給されている場合に、バッテリー１３２の残容量と、ＵＳＢコネクター１９からの電流供給状態とに応じて、電源制御回路１３４が自動で実行する。
【０１０７】
コントローラー１０が備えるＵＳＢコネクター１９は、コントローラー基板１２０に実装されたＵＳＢコントローラー１９８、及び電源部１３０に接続される。ＵＳＢ規格（ＵＳＢ１．０、１．１、２．０、３．０、３．１等）では、ＵＳＢコネクター１９にデータ線Ｄ＋、Ｄ−、電源線Ｖｂｕｓ及びＧＮＤを含む４本のピンが実装される。このうち電源線Ｖｂｕｓ及びＧＮＤには電源部１３０が接続され、例えばＵＳＢコネクター１９に対し外部から直流電流が入力された場合、この電流が電源部１３０に供給される。
【０１０８】
ＵＳＢコントローラー１９８はメインプロセッサー１２５に接続される。ＵＳＢコントローラー１９８は、ＵＳＢコネクター１９のＤ＋、Ｄ−の各ピンに接続され、メインプロセッサー１２５の制御に従ってＵＳＢコネクター１９を介したデータ通信を実行する。また、ＵＳＢコントローラー１９８はＵＳＢコネクター１９の電源線Ｖｂｕｓ及びＧＮＤに接続されてもよい。
【０１０９】
ＵＳＢコントローラー１９８は、ＵＳＢデバイスコントローラーとして機能し、ＵＳＢコネクター１９に接続されるＵＳＢホスト装置との間で通信を確立し、データ通信を行う。この場合、ＵＳＢコントローラー１９８は、ＵＳＢホスト装置に対してＨＭＤ１のＵＳＢデバイスＩＤ、ＨＭＤ１のデバイスクラス等の情報を送信する。ここで、ＵＳＢコネクター１９に接続されるホスト装置は、ＵＳＢコネクター１９に直接、ＵＳＢケーブル（図示略）で接続される装置に限らず、ＵＳＢハブを介して接続される装置であってもよい。つまり、ＵＳＢコントローラー１９８は、外部装置に対してＵＳＢデバイスとして接続して通信を実行する。この場合、外部装置であるパーソナルコンピューター等が、ＵＳＢホストコントローラー（図示略）を搭載し、このＵＳＢホストコントローラーがＵＳＢコントローラー１９８と通信を行う。
【０１１０】
また、ＵＳＢコントローラー１９８は、ＵＳＢデバイスコントローラーとしての機能に加え、ＵＳＢホストコントローラーとしての機能を有してもよい。この場合、ＵＳＢストレージデバイス等のＵＳＢデバイスがＵＳＢコネクター１９に接続された場合に、ＵＳＢコントローラー１９８が、ＵＳＢデバイスを制御して、データの書き込みや読み出し等を行うことができる。
【０１１１】
図７は、ＨＭＤ１Ａのコントローラー１０の制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。図７に示す記憶部１４０は、不揮発性記憶部１２１（図６）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８、及び不揮発性記憶部１２１により構成される。
【０１１２】
記憶部１４０（第１記憶部）は、メインプロセッサー１２５が実行する各種のプログラム、及び、これらのプログラムにより処理されるデータを記憶する。記憶部１４０は、オペレーティングシステム（ＯＳ）１４１、アプリケーションプログラム１４２、設定データ１４３、アプリケーション設定データ１４４、及び、コンテンツデータ１４５を記憶する。
制御部１５０（第１制御部）は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理して、ＨＭＤ１Ａを制御する。
【０１１３】
オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１Ａの基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１Ａの電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。制御部１５０の機能とは、基本制御部１５１、データ管理部１５２、通信制御部１５３、画像処理部１５４、表示制御部１５５、撮像制御部１５６、操作検出部１５７、環境検出部１５９、音声入出力制御部１６１、及び接続検出部１６２を含む。また、オペレーティングシステム１４１が実現する機能は、アプリケーション実行部１６３を含む。
【０１１４】
アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０が有する基本制御機能である基本制御部１５１〜接続検出部１６２の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。アプリケーションプログラム１４２は、例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、電話（音声通信を含む）、画像通信、経路ナビゲーション等の機能を実現するプログラムである。
【０１１５】
設定データ１４３は、ＨＭＤ１Ａの動作に係る各種の設定値を含む。また、制御部１５０がＨＭＤ１Ａを制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等を用いる場合、これらを設定データ１４３に含めてもよい。
【０１１６】
アプリケーション設定データ１４４は、ＨＭＤ１Ａにおいてアプリケーションプログラム１４２を実行する場合に使用されるデータである。詳細には、アプリケーションプログラム１４２に含まれる各種プログラムを実行する場合の実行条件等のデータを含む。例えば、アプリケーションプログラム１４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム１４２が使用する制御部１５０の機能部あるいはＨＭＤ１Ａのセンサー類等を示すデータを含む。
【０１１７】
ＨＭＤ１Ａでは、アプリケーションプログラム１４２を導入する際に、制御部１５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム１４２を記憶部１４０に記憶するだけでなく、アプリケーションプログラム１４２の実行条件の設定等を含む処理である。インストール処理により、記憶部１４０に、アプリケーションプログラム１４２に対応するアプリケーション設定データ１４４が生成または記憶されると、アプリケーション実行部１６３がアプリケーションプログラム１４２を起動できる。
【０１１８】
コンテンツデータ１４５は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータである。コンテンツデータ１４５は、静止画像データ及び／又は映像（動画像）データを含む。コンテンツデータ１４５に基づき表示される静止画像や動画像をコンテンツと総称する。コンテンツデータ１４５は、音声データを含んでもよい。コンテンツデータ１４５は複数のコンテンツのデータを含んでもよく、この場合、これら複数のコンテンツは同時に画像表示部２０に表示される画像に限定されず、順次切り替えて表示されてもよい。
【０１１９】
コンテンツデータ１４５は、双方向型のコンテンツであってもよい。すなわち、画像表示部２０がコンテンツを表示した場合に、コントローラー１０に対する使用者Ｕの操作に応じて、コンテンツの表示形態やコンテンツ自体が切り替えられるものであってもよい。この場合、コンテンツデータ１４５は、コンテンツのデータとともに、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。
【０１２０】
コンテンツデータ１４５は、ＨＭＤ１Ａを使用する使用者Ｕ１が視認する画像を含むコンテンツであって、画像は動画像であっても静止画像であってもよい。
コンテンツデータ１４５は、ＨＭＤ１Ｂ、１Ｃが記憶するコンテンツデータ４４５（図８）と共通のコンテンツを含むものとすることができる。この場合、コンテンツデータ１４５はＡＲコンテンツを含んでもよい。
【０１２１】
ＡＲコンテンツが含む画像は、使用者Ｕ１が画像表示部２０を通して視認する外景、すなわち実空間の景色や物体に重ねて視認される画像である。ＡＲコンテンツが含む画像は、少なくとも外景を視認できる画像である。画像表示部２０がＡＲコンテンツを表示するときの外景の視認性は、右表示ユニット２２及び左表示ユニット２４がそれぞれ発する画像光の光量と、画像表示部２０の外から右眼ＲＥ及び左眼ＬＥに入射する外光の光量との比によって特定される。ＡＲコンテンツの画像を透かして外景が視認される場合の視認性を、外光の透過度、あるいは外景の透過度という。外光の光量に対するＡＲコンテンツの表示輝度を調整すれば、外景の透過度を調整可能である。
【０１２２】
ここで、画像光の光量は、右表示ユニット２２及び左表示ユニット２４の表示輝度ということもできる。ＡＲコンテンツの画像は、右表示ユニット２２及び左表示ユニット２４が発する画像光の光量が、外光の視認性を損なわない程度に抑えられるか、或いは画像光の光量すなわち表示輝度をＨＭＤ１Ａが調整できる画像となっている。ＡＲコンテンツが含む画像の表示輝度が固定される場合、外光の光量が極端に小さい場合を除いて外景の視認性を確保できることが好ましい。ＡＲコンテンツを画像表示部２０が表示する場合の表示輝度は、制御部１５０の制御により調整可能であってもよい。
【０１２３】
ＡＲコンテンツは、実空間の特定の物体または位置をターゲットとし、ターゲットの位置に対応して表示させる画像を含むことができる。ＡＲコンテンツの表示時に、画像表示部２０は、画像表示部２０から実空間のターゲットの位置までの距離と、使用者Ｕ１がＡＲコンテンツの画像までの距離として認識する仮想の距離とを一致、或いは対応させる。具体的には、ＡＲコンテンツの画像をハーフミラー２６１に表示する表示位置と、ハーフミラー２８１に表示する表示位置とを調整することにより、ＡＲコンテンツの画像を視認する場合の輻輳角を設定する。右眼ＲＥと左眼ＬＥの輻輳角を、画像表示部２０から実空間のターゲットまでの距離に合わせて設定することにより、ＡＲコンテンツの画像の立体視を実現できる。これにより、ＡＲコンテンツの画像が、ターゲットと同程度の距離にあり、同じ位置に見えるように、視覚効果を実現できる。この場合、ＨＭＤ１Ａは、制御部１５０の制御により、実空間のターゲットまでの距離を検出してもよい。例えば、制御部１５０は、右眼ＲＥ及び左眼ＬＥの視線方向を検出することにより、使用者Ｕ１が注目するターゲットを特定し、距離センサー６４によりターゲットの位置までの距離を検出してもよい。
【０１２４】
ＨＭＤ１ＡがＡＲコンテンツを表示することにより、使用者Ｕ１は実空間の物体に重なる画像を視認できる。ここで、使用者Ｕ１が手等の身体による操作または指示体により、ＡＲ画像に対する操作を行った場合、この操作をカメラ６１の撮像画像に基づき制御部１５０が検出してもよい。この場合、制御部１５０は、検出した操作と、画像表示部２０が表示するＡＲコンテンツの画像の表示位置または表示状態とに基づき、ＡＲコンテンツと関連付けた操作内容を示す操作データを生成してもよい。この操作データに基づいて、制御部１５０がＡＲコンテンツの表示状態を変更してもよい。例えば、制御部１５０は、使用者Ｕ１の操作に応じてＡＲコンテンツの画像をハーフミラー２６１、２８１に表示する場合の表示位置や、ＡＲコンテンツを表示する輻輳角を調整してもよい。この場合、ＡＲコンテンツの画像を使用者Ｕ１が視認する位置を調整できる。また、使用者Ｕ１の操作に従ってＡＲコンテンツの画像における外景の透過度を調整してもよい。
【０１２５】
また、コンテンツデータ１４５は、３Ｄ（立体）表示される３Ｄ画像を含んでもよい。この３Ｄ画像は動画像であっても静止画像であってもよい。コンテンツデータ１４５に含まれる３Ｄ画像は右表示ユニット２２が表示する右眼ＲＥ用の画像と左表示ユニット２４が表示する左眼ＬＥ用の画像とを含む。右眼ＲＥ用の画像と左眼ＬＥ用の画像との視差は、予め設定されてもよい。また、視差を制御部１５０が調整可能であってもよく、使用者Ｕ１の操作によって視差を指定できる構成であってもよい。
【０１２６】
参加者情報１４６は、ＨＭＤ１Ａが通信する通信先のＨＭＤ１に関する情報を含む。本実施形態では、ＨＭＤ１Ｂ、１ＣがＨＭＤ１Ａの通信先である。参加者情報１４６は、例えば、ＨＭＤ１ＡがＨＭＤ１Ｂ、１Ｃを各々特定して通信を実行するための各種の情報を含む。ＨＭＤ１Ａ、１Ｂ、１Ｃが無線ＬＡＮで通信を行う場合には、ＭＡＣアドレス、ＩＰアドレス、端末名等が含まれる。また、認証用の情報が参加者情報１４６に含まれてもよい。例えば、ＩＤ、パスワード等を含んでもよい。また、参加者情報１４６は、ＨＭＤ１Ｂを使用する使用者Ｕ２、及び、ＨＭＤ１Ｃを使用する使用者Ｕ３に関する情報を含んでもよい。例えば、参加者情報１４６は、使用者Ｕ２、Ｕ３が使用する言語、使用者Ｕ２、Ｕ３の年齢、氏名、その他の属性情報を含んでもよい。
【０１２７】
基本制御部１５１は、ＨＭＤ１Ａの各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１Ａの電源がオンされたときに起動処理を実行し、ＨＭＤ１Ａの各部を初期化し、アプリケーション実行部１６３がアプリケーションプログラムを実行可能な状態にする。基本制御部１５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部１６３を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１Ａを停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１Ａ全体がシャットダウンされる。
【０１２８】
基本制御部１５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部１５１は、シャットダウン処理で、電源部１３０からＨＭＤ１Ａの各部への電源供給を個別にオフに切り替える。
【０１２９】
データ管理部１５２は、操作部１７０の操作、及び、外部装置からＵＳＢコネクター１９に入力される制御データに従って、記憶部１４０が記憶する各種データを管理する。例えば、記憶部１４０は、ＨＭＤ１Ａが使用するデータを、ファイルとフォルダー（ディレクトリーを含む）により管理するファイルシステムを採用できる。この場合、データ管理部１５２は、記憶部１４０が記憶するファイル及び／又はファイルを格納するフォルダーに対し、生成、削除、移動、コピー、ペースト、名称変更等の処理を実行する。
【０１３０】
通信制御部１５３（第１通信部）は、通信部１１７によるデータ通信を実行する。通信制御部１５３は、通信部１１７が備える通信機能を制御して、指定された通信先の機器との間でデータ通信を実行する。通信制御部１５３の機能により、基本制御部１５１及びアプリケーション実行部１６３は、他の装置との間でデータを送受信し、例えば受信したデータを利用できる。
【０１３１】
画像処理部１５４は、画像表示部２０により表示する画像または映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１５４が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
【０１３２】
画像処理部１５４は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１５４は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１５４は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。
【０１３３】
画像処理部１５４は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。
【０１３４】
表示制御部１５５は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１５５は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１５５は、画像処理部１５４が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。
【０１３５】
撮像制御部１５６は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５６は撮像画像データをカメラ６１から取得して、記憶部１４０に一時的に記憶する。
【０１３６】
操作検出部１５７（受付部）は、操作部１７０における操作を検出し、操作に対応するデータを出力する。操作検出部１５７は、例えば、操作部１７０のボタン等が操作された場合、操作内容を示す操作データを生成して、表示制御部１５５に出力する。表示制御部１５５は、操作検出部１５７から入力される操作データに従って表示状態を変更する。
【０１３７】
操作検出部１５７は、ＬＥＤ表示部１７の点灯中に、ソフトウェアボタンの操作を検出する。操作検出部１５７は、ＬＥＤ表示部１７の点灯中、ＬＥＤ表示部１７の点灯により表示される記号の位置に対する接触操作を、予め機能が割り当てられたボタン（ソフトウェア操作子）の操作として検出する。
例えば、図２の例で、記号○（丸）の位置に接触する操作を、記号○（丸）の位置に予め割り当てられたホームボタンの操作として検出する。この場合、操作検出部１５７は、画像表示部２０の表示画面やコントローラー１０の動作状態を、基本制御部１５１の基本状態に移行させる。
また、例えば、図２の例で、記号□（四角形）の位置に接触する操作を、記号□（四角形）の位置に予め割り当てられた履歴ボタンの操作として検出する。この場合、操作検出部１５７は、画像表示部２０の表示画面やコントローラー１０の過去の動作状態を示す画面を、画像表示部２０により表示させる。
【０１３８】
操作検出部１５７は、操作部１７０に対する操作を検出し、検出結果を必要に応じてメモリー１１８或いは不揮発性記憶部１２１に記憶してもよい。例えば、メモリー１１８或いは不揮発性記憶部１２１にリングバッファーを形成し、操作検出部１５７が検出結果を取得する毎にリングバッファーに記憶させてもよい。この場合、リングバッファーには、リングバッファーの容量に対応する数の、最新の検出結果が記憶される。
【０１３９】
視線検出部１５８は、内側カメラ６８の撮像画像から使用者Ｕの右眼ＲＥ及び左眼ＬＥの各々の画像を検出することにより、使用者Ｕの視線方向を検出する。例えば、撮像画像から、右眼ＲＥ、左眼ＬＥの瞳孔または眼球表面に反射する反射光を検出することにより、公知の技術を利用して視線方向を検出できる。また、視線検出部１５８は、カメラ６１の撮像画像から、使用者Ｕの頭部の向きを検出することにより、使用者Ｕの視線方向を検出してもよい。また、カメラ６１の撮像画像から検出される視線方向と、内側カメラ６８の撮像画像から検出される視線方向との両方に基づき、視線方向を検出してもよい。視線検出部１５８が検出する視線方向は、右眼ＲＥ及び左眼ＬＥの各々の向きであってもよいし、右眼ＲＥと左眼ＬＥを合わせて、使用者Ｕが注視する方向であってもよい。
【０１４０】
環境検出部１５９は、ＨＭＤ１Ａが備えるセンサーの検出値に基づいて、ＨＭＤ１Ａの周辺環境に関する検出を行う。環境検出部１５９が制御するセンサーは、例えば、カメラ６１、照度センサー６５、磁気センサー２３７、ＧＰＳ１１５等が挙げられる。環境検出部１５９は、カメラ６１の撮像画像または照度センサー６５の検出値から、ＨＭＤ１Ａの周辺の明るさを検出できる。また、環境検出部１５９は、ＧＰＳ１１５の検出値に基づきＨＭＤ１Ａの現在位置の位置情報を検出してもよい。
【０１４１】
音声入出力制御部１６１（第１音声入出力部）は、ＨＭＤ１Ａの音声の入出力を制御する。ＨＭＤ１Ａの電源がオンの状態では、マイク６３により集音された音声の音声信号が音声インターフェイス１８２に入力される。音声コーデック１８０は、音声インターフェイス１８２に入力される音声信号をデジタル音声データに変換し、この変換されたデジタル音声データを音声入出力制御部１６１が処理する。音声入出力制御部１６１の処理は、例えば、デジタル音声データに基づく音声認識（テキスト変換を含む）処理、音声コマンドの検出処理、音声による使用者Ｕの個人識別処理等を含む。
【０１４２】
音声入出力制御部１６１は、ＨＭＤ１Ａから使用者Ｕに対し音声を発する処理を実行する。音声入出力制御部１６１は、コンテンツデータ１４５に含まれる音声データや、アプリケーションプログラム１４２または設定データ１４３に含まれる音声データに基づき、音声コーデック１８０にデジタル音声データを出力する。音声コーデック１８０は、音声入出力制御部１６１から入力されるデジタル音声データをアナログ音声信号に変換して音声インターフェイス１８２に出力し、このアナログ音声信号に基づき右イヤホン３２、左イヤホン３４が音声を出力する。
【０１４３】
接続検出部１６２は、コントローラー１０と画像表示部２０の接続状態を検出する。具体的には、接続検出部１６２は、インターフェイス１９６に接続ケーブル４０を介して画像表示部２０が接続されているか否かを検出する。
【０１４４】
アプリケーション実行部１６３は、メインプロセッサー１２５が、オペレーティングシステム１４１を実行する状態で、アプリケーションプログラム１４２を実行する機能に相当する。アプリケーション実行部１６３は、アプリケーションプログラム１４２を実行して、アプリケーションプログラム１４２の各種機能を実現する。アプリケーションプログラム１４２の機能は、例えば上に例示した通りである。アプリケーション実行部１６３は、アプリケーションプログラム１４２の実行中に、基本制御部１５１〜接続検出部１６２の各部の機能を利用する。
【０１４５】
基本制御部１５１は、ＨＭＤ１Ａの動作モードの切り替えを行う。本実施形態では、通常動作モード（第１モード）、メンテナンスモード（第２モード）、スリープ状態（第３モード）を切り替える。通常動作モードは、コントローラー１０の標準的な動作モードであり、使用者Ｕが使用するための動作モードである。通常動作モードで、基本制御部１５１は、アプリケーションプログラム１４２の実行を待機し、操作部１７０に対する操作に応じてアプリケーション実行部１６３によってアプリケーションプログラム１４２を実行できる。また、通常動作モードは、基本制御部１５１の機能およびアプリケーション実行部１６３の機能により画像表示部２０に画像を表示させる、通常表示処理を行う動作モードといえる。
【０１４６】
制御部１５０が実行できる機能のうち一部は、通常動作モードでの実行が制限される。これらの機能を制限機能と呼ぶ。例えば、制限機能には、アプリケーションプログラム１４２をインストールする機能、オペレーティングシステム１４１のインストールや更新（アップデート）を行う機能、ＨＭＤ１Ａの機能の設定を行う設定変更機能を含む。設定変更機能は、具体的には、操作部１７０が検出する操作やＵＳＢコネクター１９または通信部１１７で受信する制御データに従って、設定データ１４３やアプリケーション設定データ１４４の一部または全部を変更する機能である。設定変更機能では、例えば、設定データ１４３のうち、画像表示部２０における表示態様に係る設定項目の設定、または設定変更が行われる。
【０１４７】
メンテナンスモードは、ＨＭＤ１Ａの設定変更等の各種のメンテナンスを行うための動作モードである。基本制御部１５１は、メンテナンスモードにおいて、通常動作モードで実行できない制限機能を実行できる。
【０１４８】
ＨＭＤ１Ａでは、画像表示部２０がコントローラー１０に接続されていない状態で、コントローラー１０が起動し、メンテナンスモードを実行できる。この状態では、コントローラー１０が画像表示部２０の表示を制御できないので、通常動作モードは実行されない。
また、基本制御部１５１は、画像表示部２０が接続されていない状態でコントローラー１０が起動したときに、ＵＳＢコネクター１９に外部装置であるパーソナルコンピューター等が接続されていなければ、メンテナンスモードを実行せずにコントローラー１０をシャットダウンする。
【０１４９】
メンテナンスモードでは、例えば、基本制御部１５１は、ＵＳＢコネクター１９から入力される制御データに従って、外部装置からデータを受信し、受信したデータを用いてオペレーティングシステム１４１のアップデートやアプリケーションプログラム１４２のインストールを実行する。基本制御部１５１が外部装置から受信するデータは、例えば、アップデートされたオペレーティングシステム１４１、オペレーティングシステム１４１のアップデート用のプログラムやデータ、アプリケーションプログラム１４２のインストール用のデータである。
【０１５０】
メンテナンスモードでは、基本制御部１５１は、ＵＳＢコネクター１９から入力される制御データに従って、外部装置からデータを受信し、受信したデータを記憶部１４０に記憶する。この機能により、例えば、コンテンツデータ１４５の追加や更新を行うことができる。また、メンテナンスモードで、基本制御部１５１は、ＵＳＢコネクター１９から入力される制御データに従って、コンテンツデータ１４５を削除することもできる。
【０１５１】
通常動作モード、及び、メンテナンスモードのいずれにおいても、ＵＳＢコネクター１９に所定電圧の直流電流が供給されている状態では、電源部１３０は、バッテリー１３２に充電することができる。また、コントローラー１０の電源がオフの状態であっても、ＵＳＢコネクター１９に給電される状態では、バッテリー１３２への充電を行うことができる。
【０１５２】
基本制御部１５１は、ＨＭＤ１Ａを、ＨＭＤ１Ａの消費電力量が小さいスリープ状態に切り替えることができる。スリープ状態はＨＭＤ１Ａが非使用である間、消費電力を抑えて待機するための動作モードであり、通常動作モードからスリープ状態へ移行し、スリープ状態が解除されると通常動作モードに復帰する。スリープ状態では、スリープ状態の解除に関する検出および処理を実行するための最小限の構成部に対し、電力が供給される。例えば、メインプロセッサー１２５、タッチセンサー１７２、及びスイッチ１７４に、電源部１３０から電力が供給され、他の各部への電力供給は停止される。ここで、スリープ状態においてメモリー１１８に電力供給し、メインプロセッサー１２５がメモリー１１８を使用可能としてもよい。また、スリープ状態で、６軸センサー１１１、磁気センサー１１３、６軸センサー２３５、及び磁気センサー２３７のいずれか１以上に給電し、このセンサーを、スリープ状態解除の条件の検出に利用できる。また、通信部１１７に給電して、外部からの通信によるアクセスを、スリープ状態解除の条件として利用してもよい。
【０１５３】
基本制御部１５１は、予め設定された条件が成立した場合に、ＨＭＤ１Ａをスリープ状態に移行させる。この条件は、例えば、アプリケーションプログラム１４２が実行されず、非操作の状態が所定時間以上、継続することが挙げられる。また、基本制御部１５１は、アプリケーションプログラム１４２の機能によりスリープ状態への移行が指示された場合に、スリープ状態に移行してもよい。
【０１５４】
図８は、ＨＭＤ１Ｂのコントローラー１０の制御系を構成する記憶部４４０、及び制御部４５０の機能ブロック図である。図８に示す記憶部４４０は、記憶部４４０は記憶部１４０（図７）と同様に構成される。すなわち、記憶部４４０は、不揮発性記憶部１２１により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部４５０は制御部１５０と同様に構成される。すなわち、制御部４５０、及び、制御部４５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部４５０、及び制御部４５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８、及び不揮発性記憶部１２１により構成される。また、ＨＭＤ１Ｃは以下に説明するＨＭＤ１Ｂと同様に構成される。
【０１５５】
記憶部４４０（第２記憶部、記憶部）は、メインプロセッサー１２５が実行する各種のプログラム、及び、これらのプログラムにより処理されるデータを記憶する。記憶部４４０は、オペレーティングシステム（ＯＳ）４４１、アプリケーションプログラム４４２、設定データ４４３、アプリケーション設定データ４４４、及び、コンテンツデータ４４５を記憶する。
制御部４５０（第２制御部、制御部）は、記憶部４４０が記憶するプログラムを実行することにより、記憶部４４０が記憶するデータを処理して、ＨＭＤ１Ｂを制御する。
【０１５６】
オペレーティングシステム４４１は、メインプロセッサー１２５が実行するＨＭＤ１Ｂの基本制御プログラムである。ＨＭＤ１Ｂのメインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１Ｂの電源がオンに切り替わると、オペレーティングシステム４４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム４４１を実行することで、制御部４５０の各種機能が実現される。制御部４５０の機能とは、基本制御部４５１、データ管理部４５２、通信制御部４５３、画像処理部４５４、表示制御部４５５、撮像制御部４５６、操作検出部４５７、環境検出部４５９、音声入出力制御部４６１、及び接続検出部４６２を含む。また、オペレーティングシステム４４１が実現する機能は、アプリケーション実行部４６３を含む。オペレーティングシステム４４１はオペレーティングシステム１４１（図７）と同じものであってもよい。
【０１５７】
アプリケーションプログラム４４２は、メインプロセッサー１２５がオペレーティングシステム４４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム４４２は、制御部４５０が有する基本制御機能である基本制御部４５１〜接続検出部４６２の各種機能を利用する。記憶部４４０が記憶するアプリケーションプログラム４４２は１つではなく複数であってもよい。アプリケーションプログラム４４２は、例えば、アプリケーションプログラム４４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、電話（音声通信を含む）、画像通信、経路ナビゲーション等の機能を実現するプログラムである。アプリケーションプログラム４４２はアプリケーションプログラム１４２（図７）と同じものであってもよい。
【０１５８】
設定データ４４３は、ＨＭＤ１Ｂの動作に係る各種の設定値を含む。また、制御部４５０がＨＭＤ１Ｂを制御する際にパラメーター、行列式、演算式、ＬＵＴ等を用いる場合、これらを設定データ４４３に含めてもよい。設定データ４４３は、設定データ１４３と同様のデータであってもよい。
【０１５９】
アプリケーション設定データ４４４は、ＨＭＤ１Ｂにおいてアプリケーションプログラム４４２を実行する場合に使用されるデータである。詳細には、アプリケーションプログラム４４２に含まれる各種プログラムを実行する場合の実行条件等のデータを含む。例えば、アプリケーションプログラム４４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム４４２が使用する制御部４５０の機能部あるいはＨＭＤ１Ｂのセンサー類等を示すデータを含む。アプリケーション設定データ４４４はアプリケーション設定データ１４４と同様のデータであってもよい。
【０１６０】
ＨＭＤ１Ｂでは、アプリケーションプログラム４４２を導入する際に、制御部４５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム４４２を記憶部４４０に記憶するだけでなく、アプリケーションプログラム４４２の実行条件の設定等を含む処理である。インストール処理により、記憶部４４０に、アプリケーションプログラム４４２に対応するアプリケーション設定データ４４４が生成または記憶されると、アプリケーション実行部４６３がアプリケーションプログラム４４２を起動できる。
【０１６１】
コンテンツデータ４４５は、制御部４５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータである。コンテンツデータ４４５は、静止画像データ及び／又は映像（動画像）データを含む。コンテンツデータ４４５に基づき表示される静止画像や動画像をコンテンツと総称する。コンテンツデータ４４５は、音声データを含んでもよい。コンテンツデータ４４５は複数のコンテンツのデータを含んでもよく、この場合、これら複数のコンテンツは同時に画像表示部２０に表示される画像に限定されず、順次切り替えて表示されてもよい。
【０１６２】
コンテンツデータ４４５は、双方向型のコンテンツであってもよい。すなわち、画像表示部２０がコンテンツを表示した場合に、コントローラー１０に対する使用者Ｕの操作に応じて、コンテンツの表示形態やコンテンツ自体が切り替えられるものであってもよい。この場合、コンテンツデータ４４５は、コンテンツのデータとともに、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。
【０１６３】
本実施形態では、コンテンツデータ４４５は、ＡＲコンテンツを含む。ＡＲコンテンツは、ＨＭＤ１Ｂを使用する使用者Ｕ２または使用者Ｕ３が視認する画像を含むコンテンツであって、画像は動画像であっても静止画像であってもよい。ＡＲコンテンツが含む画像は、使用者Ｕ２、Ｕ３が画像表示部２０を通して視認する外景、すなわち実空間の景色や物体に重ねて視認される画像である。ＡＲコンテンツが含む画像は、少なくとも外景を視認できる画像である。画像表示部２０がＡＲコンテンツを表示するときの外景の視認性は、右表示ユニット２２及び左表示ユニット２４がそれぞれ発する画像光の光量と、画像表示部２０の外から右眼ＲＥ及び左眼ＬＥに入射する外光の光量との比によって特定される。ＡＲコンテンツの画像を透かして外景が視認される場合の視認性を、外光の透過度、あるいは外景の透過度という。外光の光量に対するＡＲコンテンツの表示輝度を調整すれば、外景の透過度を調整可能である。
【０１６４】
ここで、画像光の光量は、右表示ユニット２２及び左表示ユニット２４の表示輝度ということもできる。ＡＲコンテンツの画像は、右表示ユニット２２及び左表示ユニット２４が発する画像光の光量が、外光の視認性を損なわない程度に抑えられるか、或いは画像光の光量すなわち表示輝度をＨＭＤ１Ｂが調整できる画像となっている。ＡＲコンテンツが含む画像の表示輝度が固定される場合、外光の光量が極端に小さい場合を除いて外景の視認性を確保できることが好ましい。ＡＲコンテンツを画像表示部２０が表示する場合の表示輝度は、後述する制御部４５０の制御により調整可能であってもよい。この場合、制御部４５０は、ＨＭＤ１Ａから送信される出力情報に基づいてＡＲコンテンツの表示輝度や外景に対する視認性或いは外景の透過度を調整する。
【０１６５】
ＡＲコンテンツは、実空間の特定の物体または位置をターゲットとし、ターゲットの位置に対応して表示させる画像を含むことができる。ＡＲコンテンツの表示時に、画像表示部２０は、画像表示部２０から実空間のターゲットの位置までの距離と、使用者Ｕ２、Ｕ３がＡＲコンテンツの画像までの距離として認識する仮想の距離とを一致、或いは対応させる。具体的には、ＡＲコンテンツの画像をハーフミラー２６１に表示する表示位置と、ハーフミラー２８１に表示する表示位置とを調整することにより、ＡＲコンテンツの画像を視認する場合の輻輳角を設定する。右眼ＲＥと左眼ＬＥの輻輳角を、画像表示部２０から実空間のターゲットまでの距離に合わせて設定することにより、ＡＲコンテンツの画像の立体視を実現できる。これにより、ＡＲコンテンツの画像が、ターゲットと同程度の距離にあり、同じ位置に見えるように、視覚効果を実現できる。この場合、ＨＭＤ１Ｂは、制御部４５０の制御により、実空間のターゲットまでの距離を検出してもよい。例えば、制御部４５０は、右眼ＲＥ及び左眼ＬＥの視線方向を検出することにより、使用者Ｕ２、Ｕ３が注目するターゲットを特定し、距離センサー６４によりターゲットの位置までの距離を検出してもよい。
【０１６６】
制御部４５０は、ＨＭＤ１Ａが送信する出力情報に従って、コンテンツデータ４４５を読み出して再生し、コンテンツデータ４４５に含まれる画像を表示できる。コンテンツデータ４４５が含む複数の画像から再生する画像を選択する際に、出力情報で指定される画像を選択してもよい。また、時間ストリーミング要素を有する動画像を再生する場合に、再生開始の箇所、再生を開始するタイミング等を出力情報に基づき決定してもよい。
また、出力情報は、再生する画像がＡＲコンテンツの画像である場合に、このＡＲコンテンツの画像における外景の透過度や輻輳角を出力情報に従って決定してもよい。また、ＡＲコンテンツが含む３Ｄ画像を表示する場合に、この３Ｄ画像の視差を出力情報に従って決定してもよい。
【０１６７】
案内者情報４４６は、ＨＭＤ１Ｂが通信する通信先のＨＭＤ１に関する情報を含む。本実施形態では、ＨＭＤ１ＡがＨＭＤ１Ｂの通信先である。案内者情報４４６は、例えば、ＨＭＤ１ＢがＨＭＤ１Ａを特定して通信を実行するための各種の情報を含む。ＨＭＤ１Ａ、１Ｂ、１Ｃが無線ＬＡＮで通信を行う場合には、ＭＡＣアドレス、ＩＰアドレス、端末名等が含まれる。また、認証用の情報が案内者情報４４６に含まれてもよい。例えば、ＩＤ、パスワード等を含んでもよい。また、案内者情報４４６は、ＨＭＤ１Ａを使用する使用者Ｕ１に関する情報を含んでもよい。例えば、案内者情報４４６は、使用者Ｕ１が所属する組織に関する情報、使用者Ｕ１が使用する言語に関する情報を含んでもよく、使用者Ｕ１の年齢、氏名、その他の属性情報を含んでもよい。
【０１６８】
出力情報４４７は、ＨＭＤ１ＢがＨＭＤ１Ａから受信する出力情報である。出力情報は、後述するように、音声データや画像データを含む。また、出力情報は、アイコンやポインターの画像をＨＭＤ１Ｂが表示するための画像データを含んでもよい。また、出力情報は、ＨＭＤ１Ｂが記憶するコンテンツデータ４４５に含まれる画像データや音声データを指定する情報を含んでもよい。また、出力情報は、位置情報を含んでもよい。
【０１６９】
基本制御部４５１は、ＨＭＤ１Ｂの各部を制御する基本機能を実行する。基本制御部４５１は、ＨＭＤ１Ｂの電源がオンされたときに起動処理を実行し、ＨＭＤ１Ｂの各部を初期化し、アプリケーション実行部４６３がアプリケーションプログラムを実行可能な状態にする。基本制御部４５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部４６３を終了し、記憶部４４０が記憶する各種データを更新し、ＨＭＤ１Ｂを停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１Ｂ全体がシャットダウンされる。基本制御部４５１は基本制御部１５１と同様に構成されてもよい。
【０１７０】
基本制御部４５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部４５１は、シャットダウン処理で、電源部１３０からＨＭＤ１Ｂの各部への電源供給を個別にオフに切り替える。
【０１７１】
データ管理部４５２は、操作部１７０の操作、及び、外部装置からＵＳＢコネクター１９に入力される制御データに従って、記憶部４４０が記憶する各種データを管理する。例えば、記憶部４４０は、ＨＭＤ１Ｂが使用するデータを、ファイルとフォルダー（ディレクトリーを含む）により管理するファイルシステムを採用できる。この場合、データ管理部４５２は、記憶部４４０が記憶するファイル及び／又はファイルを格納するフォルダーに対し、生成、削除、移動、コピー、ペースト、名称変更等の処理を実行する。データ管理部４５２はデータ管理部１５２と同様に構成されてもよい。
【０１７２】
通信制御部４５３（第２通信部）は、通信部１１７によるデータ通信を実行する。通信制御部４５３は、通信部１１７が備える通信機能を制御して、指定された通信先の機器との間でデータ通信を実行する。通信制御部４５３の機能により、基本制御部４５１及びアプリケーション実行部４６３は、他の装置との間でデータを送受信し、例えば受信したデータを利用できる。通信制御部４５３は通信制御部１５３と同様に構成されてもよい。
【０１７３】
画像処理部４５４は、画像表示部２０により表示する画像または映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部４５４が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部４５４は画像処理部１５４と同様に構成されてもよい。
【０１７４】
画像処理部４５４は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部４５４は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部４５４は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。
【０１７５】
画像処理部４５４は、メインプロセッサー１２５がオペレーティングシステム４４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェア（例えば、ＤＳＰ）で構成してもよい。
【０１７６】
表示制御部４５５は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部４５５は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部４５５は、画像処理部４５４が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。表示制御部４５５は表示制御部１５５と同様に構成されてもよい。
【０１７７】
撮像制御部４５６は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部４４０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部４５６は撮像画像データをカメラ６１から取得して、記憶部４４０に一時的に記憶する。撮像制御部４５６は撮像制御部１５６と同様に構成されてもよい。
【０１７８】
操作検出部４５７は、操作部１７０における操作を検出し、操作に対応するデータを出力する。操作検出部４５７は、例えば、操作部１７０のボタン等が操作された場合、操作内容を示す操作データを生成して、表示制御部４５５に出力する。表示制御部４５５は、操作検出部４５７から入力される操作データに従って表示状態を変更する。操作検出部４５７は操作検出部１５７と土曜に構成されてもよい。
【０１７９】
操作検出部４５７は、ＬＥＤ表示部１７の点灯中に、ソフトウェアボタンの操作を検出する。操作検出部４５７は、ＬＥＤ表示部１７の点灯中、ＬＥＤ表示部１７の点灯により表示される記号の位置に対する接触操作を、予め機能が割り当てられたボタン（ソフトウェア操作子）の操作として検出する。例えば、図２の例で、記号○（丸）の位置に接触する操作を、記号○（丸）の位置に予め割り当てられたホームボタンの操作として検出する。この場合、操作検出部４５７は、画像表示部２０の表示画面やコントローラー１０の動作状態を、基本制御部４５１の基本状態に移行させる。また、例えば、図２の例で、記号□（四角形）の位置に接触する操作を、記号□（四角形）の位置に予め割り当てられた履歴ボタンの操作として検出する。この場合、操作検出部４５７は、画像表示部２０の表示画面やコントローラー１０の過去の動作状態を示す画面を、画像表示部２０により表示させる。
【０１８０】
操作検出部４５７は、操作部１７０に対する操作を検出し、検出結果を必要に応じてメモリー１１８或いは不揮発性記憶部１２１に記憶してもよい。例えば、メモリー１１８或いは不揮発性記憶部１２１にリングバッファーを形成し、操作検出部４５７が検出結果を取得する毎にリングバッファーに記憶させてもよい。この場合、リングバッファーには、リングバッファーの容量に対応する数の、最新の検出結果が記憶される。
【０１８１】
視線検出部４５８は、内側カメラ６８の撮像画像から使用者Ｕの右眼ＲＥ及び左眼ＬＥの各々の画像を検出することにより、使用者Ｕの視線方向を検出する。例えば、撮像画像から、右眼ＲＥ、左眼ＬＥの瞳孔または眼球表面に反射する反射光を検出することにより、公知の技術を利用して視線方向を検出できる。また、視線検出部４５８は、カメラ６１の撮像画像から、使用者Ｕの頭部の向きを検出することにより、使用者Ｕの視線方向を検出してもよい。また、カメラ６１の撮像画像から検出される視線方向と、内側カメラ６８の撮像画像から検出される視線方向との両方に基づき、視線方向を検出してもよい。視線検出部４５８が検出する視線方向は、右眼ＲＥ及び左眼ＬＥの各々の向きであってもよいし、右眼ＲＥと左眼ＬＥを合わせて、使用者Ｕが注視する方向であってもよい。視線検出部４５８は視線検出部１５８と同様に構成されてもよい。
【０１８２】
環境検出部４５９は、ＨＭＤ１Ｂが備えるセンサーの検出値に基づいて、ＨＭＤ１Ｂの周辺環境に関する検出を行う。環境検出部４５９が制御するセンサーは、例えば、カメラ６１、照度センサー６５、磁気センサー２３７、ＧＰＳ１１５等が挙げられる。環境検出部４５９は、カメラ６１の撮像画像または照度センサー６５の検出値から、ＨＭＤ１Ｂの周辺の明るさを検出できる。また、環境検出部４５９は、ＧＰＳ１１５の検出値に基づきＨＭＤ１Ｂの現在位置の位置情報を検出してもよい。環境検出部４５９は環境検出部１５９と同様に構成されてもよい。
【０１８３】
音声入出力制御部４６１は、ＨＭＤ１Ｂの音声の入出力を制御する。ＨＭＤ１Ｂの電源がオンの状態では、マイク６３により集音された音声の音声信号が音声インターフェイス１８２に入力される。音声コーデック１８０は、音声インターフェイス１８２に入力される音声信号をデジタル音声データに変換し、この変換されたデジタル音声データを音声入出力制御部４６１が処理する。音声入出力制御部４６１の処理は、例えば、デジタル音声データに基づく音声認識（テキスト変換を含む）処理、音声コマンドの検出処理、音声による使用者Ｕの個人識別処理等を含む。音声入出力制御部４６１は音声入出力制御部１６１と同様に構成されてもよい。
【０１８４】
音声入出力制御部４６１は、ＨＭＤ１Ｂから使用者Ｕに対し音声を発する処理を実行する。音声入出力制御部４６１は、コンテンツデータ４４５に含まれる音声データや、アプリケーションプログラム４４２または設定データ４４３に含まれる音声データに基づき、音声コーデック１８０にデジタル音声データを出力する。音声コーデック１８０は、音声入出力制御部４６１から入力されるデジタル音声データをアナログ音声信号に変換して音声インターフェイス１８２に出力し、このアナログ音声信号に基づき右イヤホン３２、左イヤホン３４が音声を出力する。
【０１８５】
接続検出部４６２は、コントローラー１０と画像表示部２０の接続状態を検出する。具体的には、接続検出部４６２は、インターフェイス１９６に接続ケーブル４０を介して画像表示部２０が接続されているか否かを検出する。
【０１８６】
アプリケーション実行部４６３は、メインプロセッサー１２５が、オペレーティングシステム４４１を実行する状態で、アプリケーションプログラム４４２を実行する機能に相当する。アプリケーション実行部４６３は、アプリケーションプログラム４４２を実行して、アプリケーションプログラム４４２の各種機能を実現する。アプリケーションプログラム４４２の機能は、例えば上に例示した通りである。アプリケーション実行部４６３は、アプリケーションプログラム４４２の実行中に、基本制御部４５１〜接続検出部４６２の各部の機能を利用する。アプリケーション実行部４６３はアプリケーション実行部１６３と同様に構成されてもよい。
【０１８７】
基本制御部４５１は、ＨＭＤ１Ｂの動作モードの切り替えを行う。ＨＭＤ１Ｂは、ＨＭＤ１Ａと同様に、通常動作モード（第１モード）、メンテナンスモード（第２モード）、スリープ状態（第３モード）を切り替える。これらはＨＭＤ１Ａと同様である。制御部４５０が実行できる機能のうち一部は、基本制御部１５１と同様、制限機能であり、通常動作モードでの実行が制限される。例えば、制限機能には、アプリケーションプログラム４４２をインストールする機能、オペレーティングシステム４４１のインストールや更新（アップデート）を行う機能、ＨＭＤ１Ｂの機能の設定を行う設定変更機能を含む。設定変更機能は、具体的には、操作部１７０が検出する操作やＵＳＢコネクター１９または通信部１１７で受信する制御データに従って、設定データ４４３やアプリケーション設定データ４４４の一部または全部を変更する機能である。設定変更機能では、例えば、設定データ４４３のうち、画像表示部２０における表示態様に係る設定項目の設定、または設定変更が行われる。
【０１８８】
メンテナンスモードは、ＨＭＤ１Ｂの設定変更等の各種のメンテナンスを行うための動作モードである。基本制御部４５１は、メンテナンスモードにおいて制限機能を実行できる。ＨＭＤ１Ｂでは、画像表示部２０がコントローラー１０に接続されていない状態で、コントローラー１０が起動し、メンテナンスモードを実行できる。この状態では、コントローラー１０が画像表示部２０の表示を制御できないので、通常動作モードは実行されない。
【０１８９】
また、基本制御部４５１は、画像表示部２０が接続されていない状態でコントローラー１０が起動したときに、ＵＳＢコネクター１９に外部装置であるパーソナルコンピューター等が接続されていなければ、メンテナンスモードを実行せずにコントローラー１０をシャットダウンする。
【０１９０】
メンテナンスモードでは、例えば、基本制御部４５１は、ＵＳＢコネクター１９から入力される制御データに従って、外部装置からデータを受信し、受信したデータを用いてオペレーティングシステム４４１のアップデートやアプリケーションプログラム４４２のインストールを実行する。基本制御部４５１が外部装置から受信するデータは、例えば、アップデートされたオペレーティングシステム４４１、オペレーティングシステム４４１のアップデート用のプログラムやデータ、アプリケーションプログラム４４２のインストール用のデータである。
【０１９１】
メンテナンスモードでは、基本制御部４５１は、ＵＳＢコネクター１９から入力される制御データに従って、外部装置からデータを受信し、受信したデータを記憶部４４０に記憶する。この機能により、例えば、コンテンツデータ４４５の追加や更新を行うことができる。また、メンテナンスモードで、基本制御部４５１は、ＵＳＢコネクター１９から入力される制御データに従って、コンテンツデータ４４５を削除することもできる。
【０１９２】
通常動作モード、及び、メンテナンスモードのいずれにおいても、ＵＳＢコネクター１９に所定電圧の直流電流が供給されている状態では、電源部１３０は、バッテリー１３２に充電することができる。また、コントローラー１０の電源がオフの状態であっても、ＵＳＢコネクター１９に給電される状態では、バッテリー１３２への充電を行うことができる。
【０１９３】
基本制御部４５１は、ＨＭＤ１Ｂを、ＨＭＤ１Ｂの消費電力量が小さいスリープ状態に切り替えることができる。スリープ状態はＨＭＤ１Ｂが非使用である間、消費電力を抑えて待機するための動作モードであり、通常動作モードからスリープ状態へ移行し、スリープ状態が解除されると通常動作モードに復帰する。スリープ状態では、スリープ状態の解除に関する検出および処理を実行するための最小限の構成部に対し、電力が供給される。例えば、メインプロセッサー１２５、タッチセンサー１７２、及びスイッチ１７４に、電源部１３０から電力が供給され、他の各部への電力供給は停止される。ここで、スリープ状態においてメモリー１１８に電力供給し、メインプロセッサー１２５がメモリー１１８を使用可能としてもよい。また、スリープ状態で、６軸センサー１１１、磁気センサー１１３、６軸センサー２３５、及び磁気センサー２３７のいずれか１以上に給電し、このセンサーを、スリープ状態解除の条件の検出に利用できる。また、通信部１１７に給電して、外部からの通信によるアクセスを、スリープ状態解除の条件として利用してもよい。
【０１９４】
基本制御部４５１は、予め設定された条件が成立した場合に、ＨＭＤ１Ｂをスリープ状態に移行させる。この条件は、例えば、アプリケーションプログラム４４２が実行されず、非操作の状態が所定時間以上、継続することが挙げられる。また、基本制御部４５１は、アプリケーションプログラム４４２の機能によりスリープ状態への移行が指示された場合に、スリープ状態に移行してもよい。
【０１９５】
案内システム１００の動作について説明する。
図９及び図１０は、案内システム１００の動作を示すフローチャートである。上述したように、案内システム１００では、ＨＭＤ１Ａを使用する使用者Ｕ１が、ＨＭＤ１Ｂ、１Ｃを使用する使用者Ｕ２，Ｕ３に対して案内を行う。この案内を行う場合のＨＭＤ１Ａの動作を図９のフローチャートに示し、ＨＭＤ１Ｂの動作を図１０のフローチャートに示す。ＨＭＤ１Ｃの動作はＨＭＤ１Ｂと同様である。たとえば、ＨＭＤ１Ｃが、ＨＭＤ１Ｂと同じタイミングで図１０の動作を実行してもよい。つまり、案内システム１００においてＨＭＤ１Ａによる案内が行われる間、ＨＭＤ１ＢとＨＭＤ１Ｃは、それぞれ図１０の動作を実行することができる。
【０１９６】
ＨＭＤ１Ａは、制御部１５０の機能により、ＨＭＤ１Ｂ、及びＨＭＤ１Ｃの位置を検出する（ステップＳ１１）。ＨＭＤ１Ｂは、制御部４５０によりＧＰＳ１１５の機能または通信部１１７による無線通信技術を用いた測位によって、現在位置を検出する動作を行う。この動作は予め設定されたタイミング、ＨＭＤ１Ａが指示するタイミング、或いは、予め設定された周期で実行される。制御部１５０は、ステップＳ１１で、ＨＭＤ１Ｂ、１Ｃの各々が検出した現在位置を示すデータを、ＨＭＤ１Ｂ、１Ｃとの間のデータ通信により取得することにより、位置を検出する。
【０１９７】
図１１は、ステップＳ１１で制御部１５０がＨＭＤ１Ｂ、１Ｃの位置を検出した場合に、制御部１５０により画像表示部２０に表示可能な位置表示画像Ｓ１の例を示す。
図１１に示す位置表示画像Ｓ１は、予め設定された範囲におけるＨＭＤ１Ａ、１Ｂ、１Ｃの各々の位置を模式的に示す画像である。位置表示画像Ｓ１に含まれる範囲はＨＭＤ１Ａの位置に合わせて適宜設定される。図１１の例では、ＨＭＤ１Ａの位置を示すシンボルＰ１０、ＨＭＤ１Ｂの位置を示すシンボルＰ１１、及び、ＨＭＤ１Ｃの位置を示すシンボルＰ１２が、グリッドに重ねて表示される。位置表示画像Ｓ１には、ＨＭＤ１Ｂ、１Ｃの位置を示すシンボルＰ１１、Ｐ１２のみを表示してもよく、この場合、位置表示画像Ｓ１の中心がＨＭＤ１Ａの位置となるように設定されると、より有用である。
【０１９８】
位置表示画像Ｓ１は、例えば、コントローラー１０Ａの制御により、画像表示部２０Ａに表示される。位置表示画像Ｓ１の表示をするか否かは、事前の設定または使用者Ｕ１の操作により設定できる。この位置表示画像Ｓ１によって、使用者Ｕ１は、案内の対象である使用者Ｕ２、Ｕ３の位置を、それぞれ容易に把握できる。
位置表示画像Ｓ１は、制御部１５０がステップＳ１１で検出する位置情報に基づき、制御部１５０によって生成される。制御部１５０は、位置表示画像Ｓ１を、出力情報に含めて、ＨＭＤ１Ｂ、１Ｃに送信することもできる。
【０１９９】
位置表示画像Ｓ１をＨＭＤ１Ａが表示する場合、ＨＭＤ１Ｂ或いはＨＭＤ１Ｃが設定された範囲外に出た場合に、ＨＭＤ１Ａがアラートを出力する構成であってもよい。例えば、ＨＭＤ１Ｂ、１Ｃの位置が、位置表示画像Ｓ１の対象範囲として予め設定された範囲（或いは領域）、または、ＨＭＤ１Ａの位置を中心として設定された範囲（例えば、半径１０ｍ以内、２０ｍ以内、３０ｍ以内、５０ｍ以内等）の外である場合である。この場合、ＨＭＤ１Ａは、音声、または画像表示部２０の表示により、報知を行ってもよい。また、ＨＭＤ１Ａから、上記範囲の外に出たＨＭＤ１ＢまたはＨＭＤ１Ｃに、アラートを含む出力情報を送信してもよい。この場合、出力情報に、ＨＭＤ１Ａの位置を示すマップ等の情報を含ませてもよい。
【０２００】
図１１に例示する位置表示画像Ｓ１のように、案内システム１００を構成する一群のＨＭＤ１の位置を、ＨＭＤ１を単位として表示することにより、ＨＭＤ１Ａが、各々のＨＭＤ１の場所を把握できる。これにより、例えば、使用者Ｕ１の誘導により、使用者Ｕ１、Ｕ２、Ｕ３が次の目的地（観光地）に行く為の点呼を行える。また、位置表示画像Ｓ１の表示中に、ＨＭＤ１Ａが、ＨＭＤ１Ｂ、１Ｃから送信される情報を受信して位置表示画像Ｓ１に表示されたＨＭＤ１Ｂ、１Ｃとの対応付けを行うことで、点呼を行ってもよい。この場合、ＨＭＤ１Ｂ、１Ｃが送信する情報に代えて、使用者Ｕ２、Ｕ３が身につけるＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）タグかた情報を入手してもよい。
【０２０１】
図９に戻り、制御部１５０は、位置表示画像Ｓ１を表示する設定状態か否かを判定する（ステップＳ１２）。位置表示画像Ｓ１を表示する設定である場合は（ステップＳ１２；Ｙｅｓ）、制御部１５０は、位置表示画像Ｓ１を画像表示部２０により表示させ（ステップＳ１３）、ステップＳ１４に移行する。一方、位置表示画像Ｓ１を表示する設定でない場合は（ステップＳ１２；Ｎｏ）、制御部１５０はステップＳ１４に移行する。
【０２０２】
ステップＳ１４で、制御部１５０は、使用者Ｕ１による指示を検出したか否かを判定し（ステップＳ１４）、指示を検出しない間は（ステップＳ１４；Ｎｏ）、待機する。ステップＳ１２で、制御部１５０は、操作検出部１５７により、使用者Ｕ１による位置指示操作を検出する。例えば、使用者Ｕ１が画像表示部２０越しに視認される視野において、手指等の指示体によって位置を指定する操作を行った場合に、指定された位置を検出する。例えば、操作検出部１５７は、カメラ６１の撮像画像を取得し、撮像画像から指示体の画像を抽出し、指示体の画像とカメラ６１の撮像画像との相対座標を求める。操作検出部１５７は、求めた指示体の座標を、カメラ６１の画角と画像表示部２０の向きとの関係に基づき、検出した指示位置の、使用者Ｕ１の視野における座標を算出する。指示を検出した場合（ステップＳ１４；Ｙｅｓ）、制御部１５０は、指示位置と、使用者Ｕ１の視野または使用者Ｕ１が視認する視界の方向を取得する（ステップＳ１５）。視界の方向とは、使用者Ｕ１の右眼ＲＥおよび左眼ＬＥの視線方向であり、例えば、使用者Ｕ１の頭部の向きから求めることができる。視界の方向は、例えば、位置表示画像Ｓ１の基準位置（例えば、位置表示画像Ｓ１の中央を中心とするグリッド）に対する相対的な方向や、東西南北の方位を基準として表すことができる。視野は、例えば、視界の方向と、視界の方向を中心とする視野角として表すことができる。この場合、制御部１５０は、磁気センサー１１３、ＧＰＳ１１５、磁気センサー２３７の検出値を用いてもよい。また、ＨＭＤ１Ａが存在する場所に設置された無線ビーコン（図示略）と通信部１１７が通信を行って位置を検出してもよい。
【０２０３】
指示体は、人間の指に限定されず、指し棒、指、ペン等の物体を用いることができ、使用者Ｕ１が手に持つことができる形状であることが好ましい。また、指示体による位置指示操作に代えて、操作パッド１４に対する操作を位置指示操作として検出してもよい。また、ＬＥＤを備えるリモコン（図示略）、エアーマウス（図示略）等の他の操作デバイスによる位置指示操作を検出してもよい。
【０２０４】
制御部１５０は、ステップＳ１５で取得した情報に基づき出力情報を生成する（ステップＳ１６）。制御部１５０は生成した出力情報を、ＨＭＤ１Ｂ、１Ｃに送信する（ステップＳ１７）。ステップＳ１７で、制御部１５０は、案内システム１００を構成するＨＭＤ１のうち、ＨＭＤ１Ａ以外の全てに対し、一斉に出力情報を送信してもよい。
【０２０５】
その後、制御部１５０は、動作を停止する指示の有無を判定し（ステップＳ１８）、指示があった場合には（ステップＳ１８；Ｙｅｓ）、本処理を終了する。停止の指示がない場合は（ステップＳ１８；Ｎｏ）、ステップＳ１１に戻る。
【０２０６】
ＨＭＤ１Ｂの制御部４５０は、図１０に示すように、使用者Ｕ２の視野および位置を検出する（ステップＳ２１）。制御部４５０が使用者Ｕ２の視野および位置を検出する動作は、例えば、図９のステップＳ１５と同様に行うことができる。
【０２０７】
制御部４５０は、ＨＭＤ１Ａから出力情報を受信したか否かを判定する（ステップＳ２２）。出力情報を受信した場合（ステップＳ２２；Ｙｅｓ）、制御部４５０は、通信部１１７により受信した出力情報をいったん記憶部４４０に出力情報４４７として記憶する。制御部４５０は、出力情報４４７に音声データが含まれるか否かを判定する８ステップＳ２３）。音声データが含まれる場合（ステップＳ２３；Ｙｅｓ）、制御部４５０は、出力情報４４７から音声データを抽出し（ステップＳ２４）、抽出した音声データに基づき、音声入出力制御部４６１により音声を再生出力する（ステップＳ２５）。
また、出力情報を受信していない場合（ステップＳ２２；Ｎｏ）、制御部４５０はステップＳ２１に戻る。
【０２０８】
その後、制御部４５０は、出力情報４４７に含まれる情報に基づいて画像を画像表示部２０により表示させる（ステップＳ２６）。
その後、制御部４５０は、動作を停止する指示の有無を判定し（ステップＳ２７）、指示があった場合には（ステップＳ２７；Ｙｅｓ）、本処理を終了する。停止の指示がない場合は（ステップＳ２７；Ｎｏ）、ステップＳ２１に戻る。
【０２０９】
図９および図１０に示す動作を実行する場合の、案内システム１００の具体的な動作例を、図１２〜図１６を参照して説明する。図１２、図１３、図１４、図１５、および図１６は、それぞれ、ＨＭＤ１の動作および表示例を示す説明図である。
【０２１０】
図１２には、使用者Ｕ１がＨＭＤ１Ａを装着して美術館における案内を行う場合の表示例を示す。この場合、使用者Ｕ２、Ｕ３は、それぞれＨＭＤ１Ｂ、１Ｃを装着し、使用者Ｕ１とともに美術館内を移動する。
【０２１１】
図１２および以下に言及する図面において、符号ＶＲは画像表示部２０を透過して使用者Ｕが視認する視野であり、符号Ｖは画像表示部２０が画像を表示する表示領域を示す。符号Ｂは、画像表示部２０を透過する外光によって使用者Ｕが視認する外景である。
【０２１２】
図１２（ａ）はＨＭＤ１Ａの表示例を示す。図１２（ａ）は、使用者Ｕ１が視認する外景Ｂに、実空間に存在する実物体Ｂ１が含まれる例を示す。図１２（ａ）の例で、表示領域Ｖには位置表示画像Ｓ１が表示されている。この例では、使用者Ｕ１が、手Ｈによって実物体Ｂ１を指し示す操作を行う。制御部１５０は、使用者Ｕ１の手Ｈによる操作を検出し、操作位置に対応する外景Ｂの実物体Ｂ１を、カメラ６１の撮像画像から特定する。制御部１５０は、指示位置が実物体Ｂ１に相当する位置であることを検出し、手Ｈによる指示位置として実物体Ｂ１を特定する情報を含む出力情報を生成し、ＨＭＤ１Ｂ、１Ｃに送信する。また、制御部１５０は、実物体Ｂ１の位置に対する手Ｈの指示位置を示す情報を出力情報に含めてもよい。ＨＭＤ１Ｂが記憶部４４０に記憶するコンテンツデータ４４５のうち、実物体Ｂ１に関するコンテンツを指定する情報を出力情報に含める。
【０２１３】
図１２（ｂ）はＨＭＤ１Ｂの表示例を示す。ＨＭＤ１Ｂの制御部１５０は、出力情報に基づき画像表示部２０Ｂに画像を表示させる。画像表示部２０Ｂの表示領域Ｖには、出力情報４４７に基づき位置表示画像Ｓ１が表示される。また、画像表示部２０Ｂを通じて視認される実物体Ｂ１に対応して、ポインターＰ１が表示される。ポインターＰ１の表示位置は、使用者Ｕ２が視認する実物体Ｂ１に対応する位置である。すなわち、ＨＭＤ１Ｂは、ＨＭＤ１Ａが検出した手Ｈの指示位置と実物体Ｂ１との相対位置と、ポインターＰ１と実物体Ｂ１との相対位置とが対応するように、ポインターＰ１を表示する。この場合、制御部４５０は、出力情報４４７に含まれる手Ｈの指示位置を、使用者Ｕ２の視界の向きおよび大きさ（範囲）に合わせて変換し、実物体Ｂ１に対応するようにポインターＰ１の表示位置を決定する。つまり、使用者Ｕ１が認識する実物体Ｂ１と手Ｈとの位置関係は、使用者Ｕ２が認識する実物体Ｂ１とポインターＰ１との位置関係と、ほぼ同一となる。このため、使用者Ｕ２は、ＨＭＤ１Ｂにより、ＨＭＤ１Ａにおいて使用者Ｕ１が指し示した場所を、ポインターＰ１により認識できる。
【０２１４】
また、画像表示部２０Ｂは、表示領域Ｖに、案内情報ＴＸ１を表示する。案内情報ＴＸ１は実物体Ｂ１に対応する案内用の情報であり、例えば、画像やテキストを含む。例えば、実物体Ｂ１が絵画である場合には、案内情報ＴＸ１は絵画の作者や由来を説明するテキストを含む。案内情報ＴＸ１は、ＨＭＤ１Ｂが記憶部４４０に記憶するコンテンツデータ４４５に含まれる。出力情報４４７に、コンテンツデータ４４５に含まれる案内情報ＴＸ１を指定する情報が含まれる。また、案内情報ＴＸ１の表示位置は、制御部４５０が決定する。この場合、案内情報ＴＸ１が実物体Ｂ１に対応することを示す情報が出力情報４４７に含まれ、制御部４５０は、カメラ６１の撮像画像あるいはＨＭＤ１ＡとＨＭＤ１Ｂの位置情報に基づき、表示領域Ｖにおける実物体Ｂ１の位置を特定する。そして、制御部４５０は、実物体Ｂ１の位置に合わせて案内情報ＴＸ１の表示位置を決定し、案内情報ＴＸ１をＡＲ表示する。
【０２１５】
図１２に示す表示を行う場合、ＨＭＤ１Ａは、２画面以上への表示、すなわち画像表示部２０Ａと画像表示部２０Ｂ、２０Ｃとに表示を行うことができる。ＨＭＤ１ＡからＨＭＤ１Ｂ、１Ｃに同時一斉報知することで、ＨＭＤ１ＡからＨＭＤ１Ｂ、１Ｃに対する表示制御、操作、場所の把握等が可能となる。これにより、ＨＭＤ１を装着する複数の使用者Ｕが団体行動する場合に、ＨＭＤ１Ａから同一の情報を一斉配信することができ、さらに、ＨＭＤ１ＡからＨＭＤ１Ｂ、１Ｃに個別に配信を行うことができる。
ポインターＰ１は、１種類に限定されない。例えば、ＨＭＤ１Ａにおける手Ｈの操作の種類に対応して、ＨＭＤ１Ｂ、１Ｃで、形状や色が異なる２種類のポインターを切り替えて表示してもよい。また、仮想の（バーチャル）指先、腕等の画像をポインターＰ１として表示してもよく、ポインターＰ１の画像を出力情報に含めてＨＭＤ１Ａから送信してもよい。
【０２１６】
ここで、ＨＭＤ１Ａにおいて、制御部１５０が表示領域Ｖにメニュー画像を表示させ、このメニューに対する使用者Ｕ１の操作によって、視野ＶＲに含まれる実物体から実物体Ｂ１を選択指定する構成としてもよい。この場合、制御部１５０は、手Ｈによる操作に対応して、実物体Ｂ１を、例えばカメラ６１の撮像画像から検出し、実物体Ｂ１を指定する情報を出力情報に含めて送信してもよい。
【０２１７】
また、制御部４５０は、視野ＶＲに位置する他の実物体（たとえば、通路や階段）の視認の妨げとならない位置を、案内情報ＴＸ１や位置表示画像Ｓ１の表示位置としてもよい。また、ＨＭＤ１ＢとＨＭＤ１Ｃとにおいて、異なる情報を、案内情報ＴＸ１として表示してもよい。この場合、使用者Ｕ２と使用者Ｕ３とに対して異なる案内を行うことができる。また、案内、説明用のポインターＰ１を表示させることにより、使用者Ｕ２、Ｕ３に対し、よりわかりやすく使用者Ｕ１の指示を伝えることができる。ポインターＰ１の表示位置を制御部４５０が決定する場合に、画像表示部２０Ｂを装着する使用者Ｕ２の頭の向きや視線を反映してもよい。
【０２１８】
また、図１２（ｂ）の表示と合わせて、ＨＭＤ１Ｂが、右イヤホン３２、左イヤホン３４により音声を出力することで、使用者Ｕ１が音声による指示や案内を行うことができる。この場合、ＨＭＤ１Ａが送信する出力情報には、ＨＭＤ１Ａのマイク６３が集音した音声の音声データが含まれる。また、ＨＭＤ１ＡまたはＨＭＤ１Ｂが、出力情報に含まれる音声データの音声認識を行って、使用者Ｕ１が発話した内容をテキストとして表示領域Ｖに表示できるようにしてもよいし、使用者Ｕ１が発話した内容を翻訳してもよい。
【０２１９】
ポインターＰ１に代えて、使用者Ｕ１の手Ｈの画像をＨＭＤ１Ｂが表示してもよい。この場合、ＨＭＤ１Ａのカメラ６１で使用者Ｕ１の手を撮像することが難しいことも考えられる。この場合、予め撮像された使用者Ｕ１の上半身の画像や、使用者Ｕ１のアバターの画像を出力情報に含めて送信し、ＨＭＤ１Ｂにより表示してもよい。また、ＨＭＤ１Ａが、自分撮り用に外部のカメラを利用して撮像を行うか、外部のカメラの撮像画像を取得してもよい。これにより、ＨＭＤ１Ａのカメラ６１の撮像画像を周辺のＨＭＤ１Ｂ、１Ｃを装着する使用者Ｕ２、Ｕ３に対して表示し、対面で話せる画像表示の提供を行える。
【０２２０】
また、ＨＭＤ１Ｂ、１Ｃが表示領域Ｖに表示する画像に視差を生じさせ、輻輳角を制御してもよい。例えば、案内情報ＴＸ１が、実物体Ｂ１と同程度の距離に位置するような視覚効果を喚起するために、案内情報ＴＸ１の表示位置を、ハーフミラー２６１とハーフミラー２８１とで異ならせてもよい。また、カメラ６１が実物体Ｂ１を撮像した撮像画像をＨＭＤ１Ｂ、１Ｃに送信して表示させてもよい。この場合、少し離れた使用者Ｕ２，Ｕ３が、実物体Ｂ１をリアルに感じ、現実感を想起するように、説明を行うことができる。
【０２２１】
さらに、案内システム１００では、いろいろな内容の説明を、例えば案内情報ＴＸ１のようにＡＲ表示し、効率的にリアルに行える。また、ＨＭＤ１ＡからＨＭＤ１Ｂ、１Ｃに対する一斉通信により人員把握が可能になり、過去の情報の簡便表示、実物が団体の中で視界を遮られて見え方が悪い等の課題を、ＨＭＤ１Ｂ、１Ｃを装着することで改善でき、色々なルートをスムーズに巡る事が可能になる。
【０２２２】
上述した一斉配信の技術を適用することにより、バスガイド等の案内者が使用者Ｕ１としてＨＭＤ１Ａを装着し、このＨＭＤ１ＡからＨＭＤ１Ｂ、１Ｃに同時に、ＡＲ画像や音声案内を一斉送信する構成を実現できる。この場合、ＨＭＤ１Ａの制御によって、ＨＭＤ１Ｂ、１ＣでＡＲ画像や音声を出力するタイミングを、同期させる構成であってもよい。この場合、これら複数のＨＭＤ１Ａ、１Ｂ、１Ｃが同一の映像または、音声を受信できるように予めペアリングされている構成であってもよい。ペアリングされた複数のＨＭＤの中で、ＨＭＤ１Ａが案内者のＨＭＤとして機能し、一斉配信を行うことで、ペアリングされた複数のＨＭＤ間でＡＲ画像と音声信号の同期、これらの組合せを実行できる。さらに、マスターとして機能するＨＭＤ１Ａが、出力情報によって、ＨＭＤ１Ｂ、１ＣにおけるＡＲコンテンツの画像や音声の出力を制御することができ、統制権を持つ状態である。従って、使用者Ｕ２、Ｕ３の操作によりアプリのインストールや設定変更、音声や画像の再生等を実行せず、これらの動作をＨＭＤ１Ａによって制御できる。
【０２２３】
また、図１２の例では、実物体Ｂ１に対応して表示する内容は案内情報ＴＸ１に限定されず、例えば博物館において、展示物の画像を表示してもよい。例としては、恐竜の骨格標本を実物体Ｂ１とした場合、この実物体Ｂ１に重ねて、に生息時の恐竜の外見の画像を重ねてＡＲ表示する例、或いは、この恐竜のＡＲ表示を３Ｄ画像として表示する例が考えられる。これらの例で、使用者Ｕ１である説明者の操作に従ってＡＲ表示された恐竜の画像を動かしたり、３Ｄ画像の視差を調整して恐竜の画像が飛び出す程度をリアルタイムで変化させたりしてもよい。さらに、展示物である実物体Ｂ１の設置場所または実物体Ｂ１の明るさに応じて、画像表示部２０によるＡＲ画像の表示輝度を調整してもよく、この調整を、マスターであるＨＭＤ１Ａ側で制御してもよい。また、ＡＲコンテンツの画像の内容に応じて外景の透過度を、ＨＭＤ１Ａが送信する出力情報により制御してもよい。
【０２２４】
図１３は、ＨＭＤ１Ｂ、１Ｃにおける別の表示例を示す。
図１３に示す表示例は、ＨＭＤ１Ｂ、１Ｃの制御部４５０が、それぞれ、出力情報４４７に基づきコンテンツデータ４４５を再生する例である。表示領域Ｖには、外景Ｂに重ねてアバター画像Ａ１および案内情報ＴＸ２が表示される。アバター画像Ａ１および案内情報ＴＸ２は、コンテンツデータ４４５に含まれる観光案内用のコンテンツに含まれており、時間の経過とともにアバター画像Ａ１は移動し、変形し、案内情報ＴＸ２のテキストが更新される。これにより、使用者Ｕ２、Ｕ３は、実際の人による案内を受ける場合と同じように、臨場感を感じさせる案内を受けることができる。アバター画像Ａ１および案内情報ＴＸ２の表示位置は、図１２（ｂ）について説明した例と同様に、外景Ｂの位置に合わせて決定される。これにより、外景Ｂに含まれる物体について、アバター画像Ａ１や案内情報ＴＸ２をＡＲ表示できる。
【０２２５】
コンテンツデータ４４５には、複数のコンテンツを含めることができる。図１３の例では、ＨＭＤ１Ａを使用する使用者Ｕ１の操作により、ＨＭＤ１Ｂ、１Ｃの各々位置、および視界の方向に適するコンテンツが指定され、コンテンツを指定する情報が出力情報に含まれる。この場合、ＨＭＤ１ＡがＨＭＤ１Ｂに送信する出力情報と、ＨＭＤ１ＡがＨＭＤ１Ｃに送信する出力情報とは異なっていてもよい。そして、ＨＭＤ１Ｂ、１Ｃが、それぞれ、使用者Ｕ２、Ｕ３の視界の方向等に合わせてコンテンツを再生することで、外景Ｂとして眺めているエリアに関して使用者Ｕ２、Ｕ３が知識を持っていない場合であっても、使用者Ｕ２、Ｕ３に適したコンテンツを再生できる。
【０２２６】
図１４は、ＨＭＤ１Ｂ、１Ｃにおける別の表示例を示す。
図１４に示す表示例は、ＨＭＤ１Ｂ、１Ｃの制御部４５０が、それぞれ、出力情報４４７に基づきコンテンツデータ４４５を再生する例である。
図１４（ａ）の表示例では、表示領域Ｖに、外景Ｂに重ねてアバター画像Ａ２が表示される。図１４（ｂ）の表示例は図１４（ａ）の表示が遷移した状態を示し、案内情報ＴＸ３が表示される。アバター画像Ａ２および案内情報ＴＸ３は、コンテンツデータ４４５に含まれる観光案内用のコンテンツに含まれており、時間の経過とともにアバター画像Ａ２の表示が案内情報ＴＸ３のテキスト表示に切り替わる。コンテンツの指定および表示位置の決定については図１３を参照して説明した通りである。
【０２２７】
図１５は、ＨＭＤ１Ｂ、１Ｃにおける別の表示例を示す。
図１５に示す表示例は、ＨＭＤ１Ｂ、１Ｃの制御部４５０が、それぞれ、出力情報４４７に基づきコンテンツデータ４４５を再生する例である。表示領域Ｖには、外景Ｂに重ねて拡大画像Ｖ１および案内情報ＴＸ４が表示される。
【０２２８】
拡大画像Ｖ１は、ＨＭＤ１Ａのカメラ６１による撮像画像から抽出された画像、または、ＨＭＤ１Ｂ、１Ｃのカメラ６１の撮像画像から抽出された画像を拡大したものである。案内情報ＴＸ４は、コンテンツデータ４４５に含まれる。拡大画像Ｖ１の内容に応じて、時間の経過とともに案内情報ＴＸ４のテキストが更新される。
【０２２９】
図１５に示すように、サッカー等の競技を観戦する状況では、使用者Ｕ２、Ｕ３がフィールドから離れていて、詳細を視認できない場合があるが、このような場合に、拡大画像Ｖ１を表示することで、臨場感をもって観戦できる。拡大画像Ｖ１は、外部の装置が配信する画像であってもよい。また、案内情報ＴＸ４は、外部の装置が配信する画像であってもよい。この例では、ＨＭＤ１Ａを使用する使用者Ｕ１の操作により、ＨＭＤ１Ｂ、１Ｃの各々位置、および視界の方向に適する拡大対象位置が指定され、拡大対象位置を指定する情報が出力情報に含まれる。この場合、ＨＭＤ１ＡがＨＭＤ１Ｂに送信する出力情報と、ＨＭＤ１ＡがＨＭＤ１Ｃに送信する出力情報とは異なっていてもよい。そして、ＨＭＤ１Ｂ、１Ｃが、それぞれ、出力情報に基づいて、カメラ６１の撮像画像又は外部から拡大画像Ｖ１を取得して表示する。これにより、外景Ｂとして眺めているエリアに関して使用者Ｕ２、Ｕ３が知識を持っていない場合であっても、使用者Ｕ２、Ｕ３に適したコンテンツを再生できる。
【０２３０】
図１６は、ＨＭＤ１Ｂ、１Ｃにおける別の表示例を示す。
図１６に示す表示例は、ＨＭＤ１Ｂ、１Ｃの制御部４５０が、それぞれ、出力情報４４７に基づき地図を表示する例である。
図１６の表示例は、表示領域Ｖに地図が表示され、地図上に、ＨＭＤ１Ａの位置を示すシンボルＰ１０、ＨＭＤ１Ｂの位置を示すシンボルＰ１１、および、ＨＭＤ１Ｃの位置を示すシンボルＰ１２が配置される。
【０２３１】
図１６に示す地図は、ＨＭＤ１Ａ、１Ｂ、１Ｃの全てが表示可能であり、ＨＭＤ１Ｂ、１Ｃは、ＨＭＤ１Ａが送信する出力情報に基づき表示する。この場合、出力情報には、ＨＭＤ１Ａ、１Ｂ、１Ｃの位置を示す情報が、例えばＧＰＳで測位される座標として含まれる。制御部１５０は、ＨＭＤ１Ａの位置を中心とする地図の画像を生成または取得し、或いは記憶部１４０に記憶するコンテンツデータ１４５から抽出する。ＨＭＤ１Ｂの制御部４５０は、ＨＭＤ１Ｂの位置を中心とする地図の画像を生成または取得し、或いは記憶部４４０に記憶するコンテンツデータ４４５から抽出する。ＨＭＤ１Ｃも同様である。これにより、ＨＭＤ１Ａ、１Ｂ、１Ｃの各々が、使用者Ｕの位置に対応して、地図を表示できる。
【０２３２】
以上説明したように、本実施形態の案内システム１００は、ＨＭＤ１Ａと、ＨＭＤ１Ｂ、１Ｃとを備える表示システムである。ＨＭＤ１Ａは、外景と重なって視認されるように画像を表示する画像表示部２０Ａと、指示を受け付ける操作検出部１５７と、ＨＭＤ１Ｂ、１Ｃと通信する通信制御部１５３とを備える。また、操作検出部１５７で受け付けた指示に応じて出力情報を生成して通信制御部１５３によりＨＭＤ１Ｂ、１Ｃに送信させる制御部１５０を備える。ＨＭＤ１Ｂ、１Ｃは、外景と重なって視認されるように画像を表示する画像表示部２０Ｂ、２０Ｃと、ＨＭＤ１Ａと通信する通信制御部４５３とを備える。また、画像表示部２０Ｂ、２０Ｃにおいて視認される外景と組み合わされるＡＲ画像を含むＡＲコンテンツを記憶する記憶部４４０を備える。また、記憶部４４０が記憶するＡＲコンテンツ、および、通信制御部４５３により受信した出力情報の少なくともいずれかに基づく画像を、ＨＭＤ１Ｂ、１Ｃの位置または画像表示部２０Ｂ、２０Ｃにより視認される外景の視界に対応して画像表示部２０Ｂ、２０Ｃによって表示させる制御部４５０を備える。これにより、ＨＭＤ１Ｂ、１ＣでＡＲコンテンツを表示する際に、ＨＭＤ１Ａが受け付けた指示に基づき、ＨＭＤ１Ｂ、１Ｃの位置または視界に対応して画像を表示することができる。このため、ＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３が視認するＡＲコンテンツにおいて、実空間の外景に適切に対応させて、ＨＭＤ１Ａを使用する使用者Ｕ１の意図を反映して、指示位置を示すことができる。
【０２３３】
ＨＭＤ１Ａの制御部１５０は、画像及び音声の少なくともいずれかを含む出力情報を生成して、通信制御部１５３によりＨＭＤ１Ｂ、１Ｃに送信させてもよい。この場合、ＨＭＤ１Ｂ、１Ｃの制御部４５０は、記憶部４４０が記憶するＡＲコンテンツを、出力情報に含まれる音声の出力と対応するタイミングで画像表示部２０Ｂ、２０Ｃに表示させる動作を実行させる構成であってもよい。或いは、記憶部４４０が記憶するＡＲコンテンツを通信制御部４５３により受信した出力情報に含まれる画像とともに画像表示部２０Ｂ、２０Ｃに表示させる動作を実行する構成としてもよい。この構成によれば、ＨＭＤ１Ｂ、１Ｃにおいて、ＨＭＤ１Ａが受け付けた指示位置に関する画像を表示できる。
【０２３４】
ＨＭＤ１Ａの制御部１５０は、ＨＭＤ１Ｂ、１Ｃの位置を示すマップ（例えば、位置表示画像Ｓ１あるいは図１６の地図）を生成して画像表示部２０Ａに表示する構成としてもよい。この構成によれば、ＨＭＤ１Ａの使用者Ｕ１がＨＭＤ１Ｂ、１Ｃの位置を速やかに把握できる。
【０２３５】
ＨＭＤ１Ａの制御部１５０は、ＨＭＤ１Ｂ、１Ｃの位置を示すマップの画像を含む出力情報を通信制御部１５３によりＨＭＤ１Ｂ、１Ｃに送信する構成としてもよい。この構成によれば、ＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３に対してＨＭＤ１Ｂ、１Ｃの位置を知らせることができる。
【０２３６】
ＨＭＤ１Ａの制御部１５０は、操作検出部１５７で受け付ける位置指示操作の指示位置を含む出力情報を生成してもよい。この場合、ＨＭＤ１Ｂ、１Ｃの制御部４５０は、記憶部４４０が記憶するＡＲコンテンツを、出力情報に含まれる指示位置を示すポインターの画像とともに画像表示部２０Ｂ、２０Ｃに表示させる構成としてもよい。この構成によれば、ＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３に対して、ＨＭＤ１Ａに対する指示位置をポインター画像により示すことができる。
【０２３７】
ＨＭＤ１Ａの制御部１５０は、操作検出部１５７で受け付ける位置指示操作により描画される画像を含む出力情報を生成する構成としてもよい。この構成によれば、ＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３に対して、ＨＭＤ１Ａに対する操作により描画された画像を示すことができる。
【０２３８】
ＨＭＤ１Ａは、音声の集音および出力を行う音声入出力制御部１６１を有する。制御部１５０は、音声入出力制御部１６１で集音した音声、または、音声入出力制御部１６１で集音した音声から認識した語を翻訳した音声を含む出力情報を生成してもよい。この場合、ＨＭＤ１Ｂ、１Ｃは、音声の集音および出力を行う音声入出力制御部４６１を有する。制御部４５０は、通信制御部４５３で受信した出力情報に含まれる音声を音声入出力制御部４６１により出力する構成としてもよい。この構成によれば、ＨＭＤ１ＡからＨＭＤ１Ｂ、１Ｃに対して音声を伝達することができ、さらに、音声を翻訳することができる。これにより、ＨＭＤ１Ａの使用者Ｕ１とＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３との間で音声によるコミュニケーションが可能となる。
【０２３９】
画像表示部２０Ｂ、２０Ｃは、使用者Ｕ２、Ｕ３の右眼と左眼とにそれぞれ視認される画像を、設定された輻輳角で表示してもよい。この場合、制御部４５０は、通信制御部４５３により受信する出力情報に含まれる設定データに基づき画像表示部２０Ｂ、２０Ｃの輻輳角を設定する構成としてもよい。この構成によれば、ＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３が画像表示部２０Ｂ、２０Ｃの画像を視認する輻輳角を、ＨＭＤ１Ａの出力情報により設定できる。このため、ＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３が画像を視認する距離を調整できる。
【０２４０】
制御部４５０は、通信制御部４５３により受信する出力情報に含まれる設定データに基づき画像表示部２０Ｂ、２０Ｃに係る設定を行う構成としてもよい。この構成によれば、ＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３が視認する画像表示部２０Ｂ、２０Ｃの画像について、ＨＭＤ１Ａにより設定できる。
【０２４１】
記憶部４４０が記憶するＡＲコンテンツは使用者Ｕ２、Ｕ３に対して案内を行うアバターの画像を含む構成としてもよい。この構成によれば、ＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３が画像表示部２０Ｂ、２０Ｃのアバターの画像により案内を受けることができる。
【０２４２】
制御部４５０は操作用のタブを含む画像を画像表示部２０Ｂ、２０Ｃにより表示させてもよい。この場合、制御部４５０は、タブに対する操作に対応して画像表示部２０Ｂ、２０Ｃの表示を変化させる構成としてもよい。この構成によれば、ＨＭＤ１Ｂ、１Ｃの使用者Ｕ２、Ｕ３がタブに対する操作を行うことができる。
【０２４３】
また、案内システム１００では、ＨＭＤ１Ａに対応付けられる複数のＨＭＤ１Ｂ、１Ｃを備える。ＨＭＤ１Ａは、出力情報をＨＭＤ１Ｂ、１Ｃに一斉に送信する。ＨＭＤ１Ｂ及びＨＭＤ１Ｃは、出力情報により指定されるＡＲコンテンツを、ＨＭＤ１Ａが制御するタイミングで同期して表示する。このため、案内システム１００を構成する複数のＨＭＤ１Ｂ、１Ｃが、マスターであるＨＭＤ１Ａの制御に従って、同期してＡＲコンテンツを表示できる。
【０２４４】
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態において、使用者Ｕが表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Mixed Reality）表示、或いは仮想画像を表示するＶＲ（Virtual Reality）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
【０２４５】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
【０２４６】
さらに、コントローラー１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
【０２４７】
また、上記実施形態では、画像表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、コントローラー１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。
【０２４８】
また、画像光を使用者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者Ｕの眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０２４９】
また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０、４５０が実行するプログラムは、不揮発性記憶部１２１またはコントローラー１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＵＳＢコネクター１９、通信部１１７、外部メモリーインターフェイス１８６などを介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成のうち、操作部１７０がユーザーインターフェイス（ＵＩ）として形成されてもよい。また、コントローラー１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１２５と同様のプロセッサーが画像表示部２０に配置されてもよいし、コントローラー１０が備えるメインプロセッサー１２５と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
【符号の説明】
【０２５０】
１…ＨＭＤ、１Ａ…ＨＭＤ（第１表示装置）、１Ｂ…ＨＭＤ（第２表示装置、表示装置）、１Ｃ…ＨＭＤ（第２表示装置、表示装置）、１０、１０Ａ、１０Ｂ、１０Ｃ…コントローラー、１１…本体、１２…ホイール操作部、１３…中央キー、１４…操作パッド、１５…上下キー、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…ＵＳＢコネクター、２０…画像表示部、２０Ａ…画像表示部（第１表示部）、２０Ｂ…画像表示部（第２表示部）、２０Ｃ…画像表示部（第２表示部）、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４２…コネクター、４６…コネクター、６１…カメラ、６３…マイク、６４…距離センサー、６４Ａ…検出方向、６５…照度センサー、６７…ＬＥＤインジケーター、６８…内側カメラ、６９…温度センサー、１００…案内システム、１１１…軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２５…メインプロセッサー、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…記憶部（第１記憶部）、１４１…オペレーティングシステム、１４２…アプリケーションプログラム、１４３…設定データ、１４４…アプリケーション設定データ、１４５…コンテンツデータ、１４６…参加者情報、１５０…制御部（第１制御部）、１５１…基本制御部、１５２…データ管理部、１５３…通信制御部（第１通信部）、１５４…画像処理部、１５６…撮像制御部、１５７…操作検出部（受付部）、１５８…視線検出部、１５９…環境検出部、１６１…音声入出力制御部、１６２…接続検出部、１６３…アプリケーション実行部、１７０…操作部、１７２…タッチセンサー、１７４…スイッチ、１７６…バイブレーター、１８０…音声コーデック、１８２…音声インターフェイス、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェイス、１９８…ＵＳＢコントローラー、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、４４０…記憶部（第２記憶部、記憶部）、４４１…オペレーティングシステム、４４２…アプリケーションプログラム、４４３…設定データ、４４４…アプリケーション設定データ、４４５…コンテンツデータ（ＡＲコンテンツ）、４４６…案内者情報、４４７…出力情報、４５０…制御部（第２制御部、制御部）、４５１…基本制御部、４５２…データ管理部、４５３…通信制御部（第２通信部）、４５４…画像処理部、４５６…撮像制御部、４５７…操作検出部、４５８…視線検出部、４５９…環境検出部、４６１…音声入出力制御部、４６２…接続検出部、４６３…アプリケーション実行部、Ａ１…アバター画像、Ａ２…アバター画像、Ｐ１…ポインター、Ｐ１０〜Ｐ１２…シンボル、Ｓ１…位置表示画像、ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４…案内情報、Ｕ、Ｕ１、Ｕ２、Ｕ３…使用者。
【図１】
2018097160.tif 000003
【図２】
2018097160.tif 000004
【図３】
2018097160.tif 000005
【図４】
2018097160.tif 000006
【図５】
2018097160.tif 000007
【図６】
2018097160.tif 000008
【図７】
2018097160.tif 000009
【図８】
2018097160.tif 000010
【図９】
2018097160.tif 000011
【図１０】
2018097160.tif 000012
【図１１】
2018097160.tif 000013
【図１２】
2018097160.tif 000014
【図１３】
2018097160.tif 000015
【図１４】
2018097160.tif 000016
【図１５】
2018097160.tif 000017
【図１６】
2018097160.tif 000018