(57)【要約】【課題】指示体を用いた操作において、表示装置の状態を把握可能な使い勝手のよいユーザーインターフェイスを提供する。【解決手段】ＨＭＤ１００は、使用者の頭部に装着され、外景を視認可能に画像を表示する表示領域ＶＲを有する画像表示部２０と、第１カメラ６１と、第１カメラ６１の撮像画像をもとに使用者の手指の動きを検出し、検出した手指の動きに基づく操作を受け付ける検出部１５４と、検出部１５４が手指の動きに基づく操作を検出可能な状態であるか否かを判定し、判定結果を表示領域ＶＲに表示する表示制御部１５５と、を備える。【選択図】図５
2019053714.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着され、外景を視認可能に画像を表示する表示領域を有する表示部と、
撮像部と、
前記撮像部の撮像画像をもとに指示体の動きを検出し、検出した前記指示体の動きに基づく操作を受け付ける検出部と、
前記検出部が前記指示体の動きに基づく操作を検出可能な状態であるか否かを判定し、判定結果を前記表示領域に表示する表示制御部と、を備える頭部装着型表示装置。
【請求項２】
前記表示制御部は、前記判定結果として、前記検出部が前記操作を検出可能な状態であることを示す図形、文字、アイコン、又は前記検出部が検出した前記指示体の範囲を示す範囲画像を前記表示領域に表示する、請求項１記載の頭部装着型表示装置。
【請求項３】
前記表示制御部は、前記検出部が前記指示体を検出した場合に、前記範囲画像を前記表示領域に表示し、前記検出部が前記操作を検出可能な状態であるか否かによって、前記表示領域に表示させた前記図形、前記文字、又は前記アイコンの表示態様を変更する、請求項２記載の頭部装着型表示装置。
【請求項４】
前記表示制御部は、前記検出部が前記操作を検出可能な状態である場合に、前記図形又は前記アイコンとして、前記検出部が検出する前記指示体の動きを示す図形又はアイコンを表示する、請求項２又は３記載の頭部装着型表示装置。
【請求項５】
前記検出部が受け付けた前記操作に応じて制御対象を制御する処理制御部を備え、
前記表示制御部は、前記検出部が検出する予め設定された前記指示体の動きを示す前記図形又は前記アイコンを、前記制御対象の動作状態に応じて変更する、請求項４に記載の頭部装着型表示装置。
【請求項６】
前記検出部は、検出した前記指示体の動きが、予め設定された前記指示体の動きに対応するか否を判定し、
前記処理制御部は、予め設定された前記指示体の動きに対応した前記指示体の動きを前記検出部が検出した場合に、前記検出部が検出した前記指示体の動きに対応付けられた処理を前記制御対象に実行させる、請求項５に記載の頭部装着型表示装置。
【請求項７】
前記表示制御部は、前記検出部により前記指示体が検出された場合に、前記範囲画像を前記指示体に重畳して表示する、請求項２から６のいずれか１項に記載の頭部装着型表示装置。
【請求項８】
前記表示制御部は、前記表示領域に前記図形、前記文字又は前記アイコンを表示させてから、予め設定された第１設定時間を経過しても、前記検出部が前記操作を受け付けていない場合に、前記指示体による操作をガイドする操作ガイドを前記表示領域に表示する、請求項２から７のいずれか１項に記載の頭部装着型表示装置。
【請求項９】
前記表示制御部は、前記操作ガイドを前記表示領域に表示するまでの残り時間を前記表示領域に表示する、請求項８に記載の頭部装着型表示装置。
【請求項１０】
前記表示制御部は、前記操作ガイドを前記表示領域に表示してから予め設定された第２設定時間を経過した場合、又は、前記検出部が、前記指示体の動きに基づく操作を検出した場合に、前記操作ガイドの表示を消去する、請求項８又は９に記載の頭部装着型表示装置。
【請求項１１】
前記処理制御部は、前記検出部が受け付けた操作により前記制御対象としてのデバイスを制御する、又は前記制御対象としてのアプリケーションプログラムを実行して前記検出部が受け付けた操作に対応した前記アプリケーションプログラムの機能を実行する、請求項５又は６記載の頭部装着型表示装置。
【請求項１２】
使用者の頭部に装着され、外景を視認可能に画像を表示領域に表示する頭部装着型表示装置の制御方法であって、
指示体の動きに基づく操作を検出可能な状態であるか否かを判定し、判定結果を前記表示領域に表示するステップと、
撮像部の撮像画像をもとに指示体の動きを検出するステップと、
検出した前記指示体の動きに基づく操作を受け付けるステップと、
を有する、頭部装着型表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、及び頭部装着型表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、頭部装着型表示装置は、例えば、ポインティングデバイスを用いて文字や図形等を入力したり、画面に対するタッチ操作によりアイコンやウインドウを選択したりと多様な操作が可能になってきている。このため、使用者の操作を補助する補助的な情報を表示する表示装置が知られている（例えば、特許文献１参照）。特許文献１に開示の端末は、アプリケーションを利用するための補助的な情報を示す操作ガイド画像を、表示中の画像に重畳して表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１６３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
指示体を用いた操作の場合、指示体の動きや形状、位置等を検出部により検出して、入力された操作を判定する。このため、例えば、検出部が指示体の検出を行っていない場合や、表示装置の状態がビジーである場合、検出部が操作を検出可能な範囲の外側で操作が行われた場合には、指示体による操作を行っても、表示装置に操作が入力されない場合がある。このため、指示体を用いた操作では、頭部装着型表示装置の状態を把握可能な使い勝手のよいユーザーインターフェイスが求められている。
本発明は、指示体を用いた操作において、頭部装着型表示装置の状態を把握可能な使い勝手のよいユーザーインターフェイスを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を視認可能に画像を表示する表示領域を有する表示部と、撮像部と、前記撮像部の撮像画像をもとに指示体の動きを検出し、検出した前記指示体の動きに基づく操作を受け付ける検出部と、前記検出部が前記指示体の動きに基づく操作を検出可能な状態であるか否かを判定し、判定結果を前記表示領域に表示する表示制御部と、を備える。
この構成によれば、検出部が指示体の動きに基づく操作を検出可能な状態であるか否かを示す判定結果が表示領域に表示される。このため、指示体を用いた操作において、頭部装着型表示装置が操作を検出可能な状態であるか否かを把握することができ、使い勝手のよいユーザーインターフェイスを提供することができる。
【０００６】
また、本発明は、前記表示制御部は、前記判定結果として、前記検出部が前記操作を検出可能な状態であることを示す図形、文字、アイコン、又は前記検出部が検出した前記指示体の範囲を示す範囲画像を前記表示領域に表示する。
この構成によれば、判定結果として、図形、文字、アイコン、範囲画像が表示されるため、操作を検出可能な状態であるか否かを外部に通知することができる。
【０００７】
また、本発明は、前記表示制御部は、前記検出部が前記指示体を検出した場合に、前記範囲画像を前記表示領域に表示し、前記検出部が前記操作を検出可能な状態であるか否かによって、前記表示領域に表示させた前記図形、前記文字、又は前記アイコンの表示態様を変更する。
この構成によれば、指示体が検出された場合に範囲画像が表示され、検出部が操作を検出可能な状態であるか否かによって、図形、前記文字、又はアイコンの表示態様が変更される。このため、検出部が指示体を検出したことを外部に通知することができ、検出部が操作を検出可能な状態であるか否かを外部に通知することができる。
【０００８】
また、本発明は、前記表示制御部は、前記検出部が前記操作を検出可能な状態である場合に、前記図形又は前記アイコンとして、前記検出部が検出する前記指示体の動きを示す図形又はアイコンを表示する。
この構成によれば、検出部が検出する前記指示体の動きを示す図形又はアイコンが表示されるため、使用者に指示体を用いた操作を認識させることができる。
【０００９】
また、本発明は、前記検出部が受け付けた前記操作に応じて制御対象を制御する処理制御部を備え、前記表示制御部は、前記検出部が検出する予め設定された前記指示体の動きを示す前記図形又は前記アイコンを、前記制御対象の動作状態に応じて変更する。
この構成によれば、使用者に、制御対象の動作状態に対応した指示体の動きを行わせることができ、制御対象を指示体の動きにより動作させることができる。このため、指示体を用いた操作の利便性を高めることができる。
【００１０】
また、本発明は、前記検出部は、検出した前記指示体の動きが、予め設定された前記指示体の動きに対応するか否を判定し、前記処理制御部は、予め設定された前記指示体の動きに対応した前記指示体の動きを前記検出部が検出した場合に、前記検出部が検出した前記指示体の動きに対応付けられた処理を前記制御対象に実行させる。
この構成によれば、予め設定された指示体の動きを行うことで、この指示体の動きに対応付けられた処理を制御対象に実行させることができる。
【００１１】
また、本発明は、前記表示制御部は、前記検出部により前記指示体が検出された場合に、前記範囲画像を前記指示体に重畳して表示する。
この構成によれば、範囲画像を指示体に重畳して表示することができる。このため、頭部装着型表示装置が指示体として認識している物体を外部に通知することができる。
【００１２】
また、本発明は、前記表示制御部は、前記表示領域に前記図形、前記文字又は前記アイコンを表示させてから、予め設定された第１設定時間を経過しても、前記検出部が前記操作を受け付けていない場合に、前記指示体による操作をガイドする操作ガイドを前記表示領域に表示する。
この構成によれば、操作ガイドを表示して、指示体による操作を使用者にガイドすることができる。
【００１３】
また、本発明は、前記表示制御部は、前記操作ガイドを前記表示領域に表示するまでの残り時間を前記表示領域に表示する。
この構成によれば、操作がわからない使用者に、操作ガイドが表示される時間を通知することができる。
【００１４】
また、本発明は、前記表示制御部は、前記操作ガイドを前記表示領域に表示してから予め設定された第２設定時間を経過した場合、又は、前記検出部が、前記指示体の動きに基づく操作を検出した場合に、前記操作ガイドの表示を消去する。
この構成によれば、操作ガイドを表示させる必要がないと判断される場合に、操作ガイドの表示を消去することができ、表示領域の視認性を向上させることできる。
【００１５】
また、本発明は、前記処理制御部は、前記検出部が受け付けた操作により前記制御対象としてのデバイスを制御する、又は前記制御対象としてのアプリケーションプログラムを実行して前記検出部が受け付けた操作に対応した前記アプリケーションプログラムの機能を実行する。
この構成によれば、指示体の操作によりデバイスを制御し、制御対象としてのアプリケーションプログラムに機能を選択して実行させることができる。
【００１６】
上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を視認可能に画像を表示領域に表示する頭部装着型表示装置の制御方法であって、撮像部の撮像画像をもとに指示体の動きを検出するステップと、検出した前記指示体の動きに基づく操作を受け付けるステップと、前記操作を受け付けるステップが、前記指示体の動きに基づく操作を検出可能な状態であるか否かを判定し、判定結果を前記表示領域に表示するステップと、を有する。
この構成によれば、検出部が指示体の動きに基づく操作を検出可能な状態であるか否かの判定結果が表示領域に表示される。このため、指示体を用いた操作において、頭部装着型表示装置の状態を把握可能な使い勝手のよいユーザーインターフェイスを提供することができる。
【００１７】
上記課題を解決するため、表示装置は、画像を外景に重畳して表示し、又は前記画像を前記外景の周辺に表示する表示部と、指示体を検出する検出部と、前記検出部により検出される前記指示体の動き、形状及び位置の少なくともいずれかに基づく操作を受け付ける制御部と、を備え、前記制御部は、前記指示体による入力操作が可能な状態であるか否かを判定し、判定結果を表示する。
この構成によれば、指示体による入力操作が可能な状態であるか否かを判定し、判定結果が表示される。このため、表示装置の使用者に、表示装置の状態を把握させることができ、指示体を用いた操作の使い勝手を向上させることができる。
【００１８】
また、表示装置において、前記制御部は、前記表示部の表示領域において設定された位置に、前記操作を受け付け可能なことを示す画像、図形、文字又はアイコンを前記表示部によって表示させる。
この構成によれば、操作を受け付け可能なことを示す画像、図形、文字又はアイコンが表示される。このため、使用者に、表示装置が操作を受け付け可能な状態にあることを直感的に認識させることができる。
【００１９】
また、表示装置において、前記制御部は、前記操作に応じて制御対象を制御可能に構成され、前記操作を受け付け可能なことを示す画像、図形、文字又はアイコンを、前記操作に応じて制御した前記制御対象の状態に応じて変化させる。
この構成によれば、操作を受け付け可能なことを示す画像、図形、文字又はアイコンが、制御対象の状態に応じて変化する。このため、使用者に、制御対象の状態を直感的に認識させることができる。
【００２０】
また、表示装置において、前記検出部は、前記表示部が表示する前記画像とともに視認可能な前記外景を含む範囲を検出し、前記制御部は、前記検出部により前記範囲内に前記指示体が検出された場合に、前記表示部によって、前記操作を受け付け可能なことを示す表示を行わせる。
この構成によれば、検出部が、表示部が表示する画像とともに視認可能な外景を含む範囲を対象として指示体の検出を行うため、使用者は、視認可能な外景を含む範囲内に指示体の位置を移動させることで、表示装置を、操作を受け付け可能な状態とすることができる。また、範囲内に指示体が検出された場合には、操作を受け付け可能なことを示す表示が表示されるので、表示装置の状態の把握が可能となる。
【００２１】
また、表示装置において、前記検出部は、前記表示部が表示する前記画像とともに視認可能な前記外景を含む範囲を撮像する撮像部を備え、前記制御部は、前記撮像部の撮像画像から前記指示体を検出することにより前記操作を受け付け可能であり、前記撮像部の撮像画像から前記指示体を検出した場合に、前記表示部によって、前記操作を受け付け可能なことを示す表示を行わせる。
この構成によれば、検出部が、表示部が表示する画像とともに視認可能な外景を含む範囲を撮像して指示体を検出する撮像部を備える。このため、使用者は、視認可能な外景を含む範囲内に指示体の位置を移動させることで、表示装置を、操作を受け付け可能な状態とすることができる。また、範囲内に指示体が検出された場合には、操作を受け付け可能なことを示す表示が表示されるので、表示装置の状態の把握が可能となる。
【００２２】
また、表示装置において、前記表示部は、外光を透過することにより前記外景を視認させる透過型の表示領域を有し、前記検出部は、前記表示部を透過して視認可能な前記外景を含む範囲で前記指示体を検出する。
この構成によれば、検出部が、表示部を透過して視認可能な外景を含む範囲で指示体を検出するため、使用者は、視認可能な外景を含む範囲内に指示体の位置を移動させることで、表示装置を、操作を受け付け可能な状態とすることができる。
【００２３】
また、表示装置において、前記制御部は、前記検出部により前記指示体が検出された場合に、前記検出部により検出された前記指示体に重畳する画像を表示させる。
この構成によれば、検出部が検出した指示体に重畳する画像が表示されるので、検出した指示体の位置を使用者に通知することができる。従って、使用者は、指示体以外の物体が指示体として検出された場合には、表示装置に指示体の検出を再度行わせることで、誤った操作が検出されないようにすることができる。
【００２４】
また、表示装置において、前記制御部は、前記検出部により前記指示体が検出されて前記操作を受け付け可能な状態にある場合と、前記検出部により前記指示体が検出されない場合、及び前記操作を受け付け可能な状態にない場合とで、前記操作を受け付け可能なことを示す表示の表示態様を変更する。
この構成によれば、指示体が検出されたか否か、操作を受け付け可能な状態にあるか否かによって操作を受け付け可能なことを示す表示の表示態様が変更される。このため、表示装置の状態の把握が容易になる。
【００２５】
また、表示装置において、前記制御部は、前記検出部により検出される前記指示体の動き、形状及び位置の少なくともいずれかに基づいてジェスチャーを前記入力操作として検出し、前記表示部によって表示させた前記操作を受け付け可能なことを示す画像、図形、文字又はアイコンのいずれかであって、検出した前記入力操作に対応付けられた画像、図形、文字又はアイコンのいずれかの表示態様を変化させる。
この構成によれば、指示体を用いたジェスチャーにより表示装置を操作することができる。また、表示装置により検出されたジェスチャーに対応付けられた画像、図形、文字又はアイコンのいずれかの表示態様が変化するので、検出されたジェスチャーを使用者に通知することができる。
【００２６】
また、表示装置において、前記制御部は、前記操作を受け付け可能なことを示す表示を開始してから、予め設定された第１設定時間以内に、前記指示体による操作が検出されない場合に、前記操作を誘導する画像を前記表示部により表示させる。
この構成によれば、操作を誘導する画像により指示体の操作を誘導することができる。
【００２７】
また、表示装置において、前記制御部は、前記操作を誘導する画像を表示してから予め設定された第２設定時間を経過した場合、又は、前記指示体による操作が検出された場合に、前記操作を誘導する画像の表示を終了する。
この構成によれば、操作を誘導する画像の表示が不要であると判定される場合に、操作を誘導する画像の表示を終了させて、外景の視認性の低下を防止することができる。
【００２８】
また、表示装置において、前記制御部は、前記操作に応じて制御対象としてのデバイスを制御する、又はアプリケーションプログラムを実行して前記操作に応じた処理を実行する。
この構成によれば、指示体の操作により、制御対象としてのデバイスを制御し、又はアプリケーションプログラムを実効させて操作に対応した処理を実行させることができる。
【００２９】
表示装置の制御方法は、画像を外景に重畳して表示し、又は前記画像を前記外景の周辺に表示する表示部を備える表示装置の制御方法であって、指示体を検出し、検出した前記指示体の動き、形状及び位置の少なくともいずれかに基づく操作を受け付け、前記指示体による入力操作が可能な状態であるか否かを判定し、判定結果を表示する。
この構成によれば、指示体による入力操作が可能な状態であるか否かを判定し、判定結果が表示される。このため、表示装置の使用者に、表示装置の状態を把握させることができ、指示体を用いた操作の使い勝手を向上させることができる。
【図面の簡単な説明】
【００３０】
【図１】ＨＭＤの外観図。
【図２】ＨＭＤの光学系の構成を示す要部平面図。
【図３】画像表示部の構成を示す斜視図。
【図４】ＨＭＤのブロック図。
【図５】制御装置の機能ブロック図。
【図６】使用者の視野範囲を示す図。
【図７】制御部の動作を示すフローチャート。
【図８】表示領域の表示状態を示す図。
【図９】表示領域の表示状態を示す図。
【図１０】表示領域の表示状態を示す図。
【図１１】表示領域の他の表示状態を示す図。
【図１２】制御部の他の動作を示すフローチャート。
【発明を実施するための形態】
【００３１】
［第１実施形態］
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用したＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００の外観構成を示す説明図である。ＨＭＤ１００は、制御装置１０と画像表示部２０とを備える表示装置である。画像表示部２０は、本発明の「表示部」に相当する。
【００３２】
制御装置１０は、使用者の操作を受け付ける操作部を備え、使用者がＨＭＤ１００を操作するコントローラーとして機能する。制御装置１０は、使用者の操作を受け付けて、受け付けた操作に応じて画像表示部２０を制御する。画像表示部２０は、使用者の頭部に装着され、使用者に虚像を視認させる。使用者とは、画像表示部２０を頭部に装着した者をいう。
【００３３】
制御装置１０は、図１に示すように平たい箱形のケース１０Ａ（筐体又は本体ともいえる）を備える。ケース１０Ａには、操作ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８の各部を備える。操作ボタン１１、上下キー１５、切替スイッチ１６及び電源スイッチ１８を総称して操作子１３（図４）という。使用者は、操作子１３やトラックパッド１４を操作することによりＨＭＤ１００を操作できる。
【００３４】
操作ボタン１１は、メニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、又は点滅する。
【００３５】
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。トラックパッド１４の操作面における操作の検出方式は、静電式、圧力検出式、光学式等、種々の検出方式を採用できる。
【００３６】
上下キー１５は、右イヤホン３２及び左イヤホン３４から出力される音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチにより構成される。
【００３７】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。
【００３８】
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
【００３９】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
【００４０】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と、右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。
【００４１】
右表示ユニット２２は、右導光板２６による画像の表示を実現する。右表示ユニット２２は、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を実現する。左表示ユニット２４は、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。
【００４２】
右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムによって構成される。右導光板２６及び左導光板２８は、右表示ユニット２２及び左表示ユニット２４が出力する画像光を使用者の眼に導く。
【００４３】
右導光板２６及び左導光板２８の表面には、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。
【００４４】
画像表示部２０は、外光を透過することにより外景を視認可能に画像を表示する透過型の表示装置である。画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導く。右導光板２６及び左導光板２８に導かれた画像光は使用者の右眼と左眼に入射され、使用者に虚像を視認させる。これにより、画像表示部２０は画像を表示する。画像表示部２０を頭部に装着した使用者の視野範囲ＦＶにおいて、画像表示部２０が画像を表示可能な領域を表示領域ＶＲという（図６、８〜１０、１２）。
【００４５】
使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射されることとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択又は調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、又は、右導光板２６及び左導光板２８のそれぞれに対して着脱可能に構成してもよく、複数種類の調光板を交換して装着可能としてもよい。また、調光板を設けない構成の画像表示部２０としてもよい。
【００４６】
画像表示部２０の前部フレーム２７には、第１カメラ６１及び第２カメラ６２が配設される。第１カメラ６１及び第２カメラ６２の構成及び配置は、使用者が画像表示部２０を装着した状態で視認する外景を撮像するように決められる。外景とは、画像表示部２０を頭部に装着した使用者の視線方向の外部の景色をいう。例えば、第１カメラ６１及び第２カメラ６２は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１に示す例では、第１カメラ６１は、前部フレーム２７の端部ＥＲ側に配置され、指示体として使用者の身体の一部や身体に取り付けられた物体（以下、被検出物体という）を検出する検出部として機能する。また、第２カメラ６２は、右導光板２６及び左導光板２８との境界部分、すなわち、使用者の左右の目の中間位置に配置され、使用者の視線方向であるＨＭＤ１００の前方を撮像する。第２カメラ６２の配置は、図１に示す例に限定されず、例えば、画像表示部２０の内側を向いて、使用者の眼の側を撮像するように配置してもよいし、ＨＭＤ１００の後方を撮像するように配置してもよい。また、第２カメラ６２を、前部フレーム２７の端部ＥＬ側に配置し、第１カメラ６１及び第２カメラ６２によりステレオカメラを構成してもよい。
第１カメラ６１は、本発明の「撮像部」に相当する。また、第２カメラ６２は、本発明の「制御対象」に相当する。
【００４７】
第１カメラ６１及び第２カメラ６２は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態では、第１カメラ６１及び第２カメラ６２は単眼カメラであるが、ステレオカメラで構成してもよい。第１カメラ６１及び第２カメラ６２は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。別の表現では、第１カメラ６１及び第２カメラ６２は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像する。第１カメラ６１及び第２カメラ６２の画角の方向及び広さは適宜設定可能である。本実施形態では、後述するように、第１カメラ６１及び第２カメラ６２の画角が、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、第１カメラ６１及び第２カメラ６２の画角は、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように設定される。
【００４８】
第１カメラ６１及び第２カメラ６２は、制御部１５０が備える撮像制御部１５３（図５）の制御に従って撮像を実行する。
メインプロセッサー１４０は、電源スイッチ１８がオンされ、電源部１３０の電源供給を受けて起動すると、電源部１３０に第１カメラ６１への電源供給を開始させ、第１カメラ６１の電源をオンさせる。また、メインプロセッサー１４０は、第１カメラ６１の撮像画像データから予め設定された指示体の操作が検出された場合、又は操作子１３による操作を受け付けた場合に、第２カメラ６２への電源供給を開始させ、第２カメラ６２の電源をオンさせる。
【００４９】
ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えれば第１カメラ６１の撮像方向と重複する方向である。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
【００５０】
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２及び左表示ユニット２４は、左右対称に構成される。右表示ユニット２２は、使用者の右眼ＲＥに画像を視認させる構成として、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。
【００５１】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。
【００５２】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
【００５３】
また、左表示ユニット２４は、使用者の左眼ＬＥに画像を視認させる構成として、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。
【００５４】
ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。
【００５５】
左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
【００５６】
この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、又は外景の周辺に画像光Ｌによる画像が視認可能に表示される。ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
【００５７】
なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
【００５８】
図１に戻り、制御装置１０及び画像表示部２０は、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６及び制御装置１０は、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及びマイク６３を有するヘッドセット３０が、コネクター４６に接続される。
制御装置１０と画像表示部２０とを無線接続してもよい。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信により、制御装置１０と画像表示部２０とが制御信号やデータを相互に送受信する構成としてもよい。
【００５９】
マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８０（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００６０】
図３は、画像表示部２０の構成を示す斜視図であり、画像表示部２０を使用者の頭部側から見た要部構成を示す。この図３は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。
【００６１】
第１カメラ６１は、画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとっての前方を撮像する。第２カメラ６２は、右導光板２６及び左導光板２８との境界部分に配置され、使用者にとっての前方を撮像する。第１カメラ６１及び第２カメラ６２の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし、使用者が設定してもよい。第１カメラ６１及び第２カメラ６２の光軸及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物が画角に含まれるように設定されることが好ましい。
【００６２】
一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼ＲＥ及び左眼ＬＥのそれぞれの視線を中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
【００６３】
第１カメラ６１及び第２カメラ６２は、画像表示部２０が表示する画像と共に視認可能な外景を含む範囲を撮像する。第１カメラ６１及び第２カメラ６２の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。
【００６４】
第１カメラ６１及び第２カメラ６２が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群を第１カメラ６１及び第２カメラ６２が備える構成であってもよい。
【００６５】
図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１２１や不揮発性記憶部１２３が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３が接続される。また、メインプロセッサー１４０には、ＧＰＳ受信部１１５、通信部１１７、音声コーデック１８２、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２及びＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。また、メインプロセッサー１４０には、ＬＥＤインジケーター１２や、ＬＥＤ表示部１７、バイブレーター１９、操作部１１０、電源部１３０が接続される。
【００６６】
メインプロセッサー１４０は、制御装置１０に内蔵されたコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１２１、不揮発性記憶部１２３、６軸センサー１１１、磁気センサー１１３、ＧＰＳ受信部１１５、通信部１１７、音声コーデック１８２等がさらに実装される。また、本実施形態は、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４及びインターフェイス１９６がコントローラー基板１２０に実装される。
【００６７】
メモリー１２１は、メインプロセッサー１４０が制御プログラムを実行する場合に、実行される制御プログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２３は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ  Ｍｕｌｔｉ  Ｍｅｄｉａ  Ｃａｒｄ）で構成される。不揮発性記憶部１２３は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。
【００６８】
図４には一つのメインプロセッサー１４０により制御装置１０の機能を実現する構成を示すが、複数のプロセッサー又は半導体チップにより制御装置１０の機能を実現するようにしてもよい。例えば、コントローラー基板１２０に、ＳｏＣ（System-on-a-Chip）やＭＣＵ（Micro Control Unit）、ＦＰＧＡ（Field-Programmable Gate Array）等の副処理装置（co-processor）をさらに搭載してもよい。また、制御装置１０は、メインプロセッサー１４０及び副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて各種の制御を行ってもよい。
【００６９】
６軸センサー１１１は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。
【００７０】
６軸センサー１１１及び磁気センサー１１３は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。また、６軸センサー１１１及び磁気センサー１１３は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。
【００７１】
ＧＰＳ受信部１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信されるＧＰＳ信号を受信する。ＧＰＳ受信部１１５は、受信したＧＰＳ信号をメインプロセッサー１４０に出力する。また、ＧＰＳ受信部１１５は、受信したＧＰＳ信号の信号強度を計測し、メインプロセッサー１４０に出力する。信号強度には、例えば、受信信号強度（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ  Ｓｉｇｎａｌ  Ｓｔｒｅｎｇｔｈ  Ｉｎｄｉｃａｔｉｏｎ）、電界強度、磁界強度、信号雑音比（ＳＮＲ：  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  ｒａｔｉｏ）等の情報を用いることができる。
【００７２】
通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、又はこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。
【００７３】
音声インターフェイス１８０は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８０は、接続ケーブル４０に設けられたコネクター４６（図１）を含む。コネクター４６はヘッドセット３０に接続される。音声インターフェイス１８０が出力する音声信号は右イヤホン３２、及び左イヤホン３４に入力され、これにより右イヤホン３２及び左イヤホン３４が音声を出力する。また、ヘッドセット３０が備えるマイク６３は、音声を集音して、音声信号を音声インターフェイス１８０に出力する。マイク６３から音声インターフェイス１８０に入力される音声信号は、外部コネクター１８４に入力される。
【００７４】
音声コーデック１８２は、音声インターフェイス１８０に接続され、音声インターフェイス１８０を介して入出力される音声信号のエンコード及びデコードを行う。音声コーデック１８２はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８２は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８０を介して出力する。また、音声コーデック１８２は、音声インターフェイス１８０に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００７５】
外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
【００７６】
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
【００７７】
ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備える。ＵＳＢコネクター１８８は、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。
【００７８】
センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０に接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９６を介した伝送を実行する。
【００７９】
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、又は点滅する。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤインジケーター１２の点灯及び消灯を制御する。また、ＬＥＤ表示部１７は、トラックパッド１４の直下に配置されるＬＥＤ（図示略）、及びこのＬＥＤを点灯させる駆動回路を含む構成であってもよい。この場合、ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。
【００８０】
バイブレーター１９は、モーター、偏心した回転子（いずれも図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオン又はオフされる場合、その他の場合に、所定の振動パターンでバイブレーター１９により振動を発生する。
【００８１】
操作部１１０は、操作子１３及びトラックパッド１４を備える。操作子１３には、操作ボタン１１、上下キー１５、切替スイッチ１６及び電源スイッチ１８が含まれる。操作部１１０は、操作子１３やトラックパッド１４が操作を受けた場合に、操作を受けた操作子１３やトラックパッド１４の識別情報と、受けた操作内容を示す情報とを含む操作信号を制御部１５０に出力する。
【００８２】
制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は、充電可能なバッテリー１３２、及びバッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、又は電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。
【００８３】
画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図１に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。
【００８４】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及びＥＥＰＲＯＭ２１５が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、第１カメラ６１、第２カメラ６２、照度センサー６５及びＬＥＤインジケーター６７を、制御装置１０に接続する。
【００８５】
ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。
【００８６】
第１カメラ６１及び第２カメラ６２は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置１０に出力する。
【００８７】
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
【００８８】
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいて第１カメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、第１カメラ６１又は第２カメラ６２による撮像を実行中に点灯して、撮像中であることを報知する。
【００８９】
温度センサー２１７は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図２）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。
【００９０】
受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。
【００９１】
左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５及び磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を制御装置１０に接続する。
【００９２】
６軸センサー２３５は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【００９３】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図２）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。また、温度センサー２３９が、ＯＬＥＤパネル２４３又はＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００９４】
右表示ユニット２２が備える第１カメラ６１、第２カメラ６２、照度センサー６５、温度センサー２１７、及び左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。
【００９５】
センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、又はデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、第１カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。
【００９６】
図５は、制御装置１０の制御系を構成する記憶部１６０、及び制御部１５０の機能ブロック図である。図５に示す記憶部１６０は、不揮発性記憶部１２３（図４）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５やメモリー１２１を含んでもよい。また、制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１２１及び不揮発性記憶部１２３により構成される。
【００９７】
記憶部１６０は、制御部１５０が実行する制御プログラムや、制御部１５０が処理する各種データを記憶する。具体的には、記憶部１６０は、制御プログラム１６１、設定データ１６２、コンテンツデータ１６３、パターン認識辞書１６４、撮像画像データ１６５等を記憶する。
【００９８】
制御プログラム１６１は、ＯＳ１５１上で実行される特定機能を持つアプリケーションプログラムである。アプリケーションプログラムには、例えば、ブラウザーソフトウェアや、業務用プログラム、文書作成ソフトウェアや表計算ソフトウェア等のオフィスプログラム等が含まれる。また、アプリケーションプログラムには、使用者の手の動きや、形状、位置をジェスチャーとして検出し、検出したジェスチャーに対応付けられた処理を実行するプログラムが含まれる。制御部１５０が、このアプリケーションプログラムを実行した場合の動作の詳細については後述する。
【００９９】
設定データ１６２は、ＨＭＤ１００の動作を設定する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ  Ｔａｂｌｅ）等を用いる場合、これらを設定データ１６２に含めてもよい。
【０１００】
コンテンツデータ１６３は、制御部１５０の制御によって画像表示部２０が表示する表示画像や映像を含むコンテンツのデータであり、画像データ又は映像データを含む。また、コンテンツデータ１６３として、音楽や音声のデータを含んでもよい。
また、コンテンツデータ１６３は、双方向型のコンテンツデータであってもよい。すなわち、画像表示部２０によりコンテンツデータ１６３に含まれる画像データや映像データを表示し、表示した画像データや映像データに対する操作を操作部１１０で受け付け、受け付けた操作に対応した処理を制御部１５０で実行する。この場合、コンテンツデータ１６３は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を有していてもよい。
【０１０１】
パターン認識辞書１６４は、ジェスチャーを特定する情報と、制御部１５０が実行する処理とを対応付けて登録した辞書である。ジェスチャーは、手（本明細書では、手首から指の先までの部分を「手」という）の予め設定された動きや形状である。また、使用者の手により表示領域ＶＲの予め設定された位置を指示する操作もジェスチャーに含めることができる。
【０１０２】
例えば、ジェスチャーが手を左から右に動かす動作であると仮定する。この場合、パターン認識辞書１６４には、ジェスチャーを特定する情報として、手の移動方向を示す情報が登録される。また、ジェスチャーが握った手を開く、すなわち手の形状を、掌を握った状態から手を展開した状態に変更する動作であると仮定する。この場合、パターン認識辞書１６４には、握った手の形状を示す情報と、開いた手の形状を示す情報と、これらの形状を示す情報の検出順序を示す情報とが登録される。また、ジェスチャーが表示領域ＶＲの予め設定された位置を手によって指示する操作であると仮定した場合、パターン認識辞書１６４には、例えば、手によって指示される表示領域ＶＲの位置又は範囲を示す情報が登録される。例えば、制御部１５０は、使用者の手が指示する位置が、表示領域ＶＲの４隅に対応する位置又は範囲であると判定した場合、ジェスチャーが検出されたと判定する。
【０１０３】
また、パターン認識辞書１６４に、ジェスチャーを特定する情報と対応付けて登録される処理には、制御対象としてのデバイスを制御する処理や、アプリケーションプログラムを実行して行う、例えば、検索や、動画再生等の処理が含まれる。
【０１０４】
パターン認識辞書１６４の登録情報は、更新可能である。例えば、ジェスチャーを特定する情報と、制御部１５０が実行する処理との対応付けを変更することも可能である。また、インターネット上のサーバー装置（図示略）からジェスチャーを特定する情報をダウンロードしてもよい。使用者は、操作部１１０を操作して、ダウンロードしたジェスチャーを特定する情報に、制御部１５０に実行させたい処理を対応付ける。制御部１５０は、操作部１１０で受け付けた操作に従って、ジェスチャーを特定する情報と、制御部１５０に実行させたい処理とを対応付けてパターン認識辞書１６４に登録する。
【０１０５】
撮像画像データ１６５は、第１カメラ６１及び第２カメラ６２の少なくとも一方により撮像された撮像画像データである。撮像画像データ１６５は、記憶部１６０に一時的に記憶されるデータであり、例えば、制御部１５０による処理が終了すると、記憶部１６０から消去される。第１カメラ６１が撮像した撮像画像データは、本発明の「撮像画像」に相当する。
【０１０６】
制御部１５０は、記憶部１６０が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。制御部１５０は、ＯＳ（Operating System）１５１、画像処理部１５２、撮像制御部１５３、検出部１５４、表示制御部１５５及び処理制御部１５６を機能ブロックとして備える。機能ブロックとは、メインプロセッサー１４０が制御プログラムを実行することで実現される機能をブロックとして便宜的に示したものであり、特定のアプリケーションプログラムやハードウェアを示すものではない。
【０１０７】
ＯＳ１５１の機能は、記憶部１６０が記憶する制御プログラムの機能であり、その他の各部は、ＯＳ１５１上で実行されるアプリケーションプログラムの機能である。
【０１０８】
画像処理部１５２は、例えば、記憶部１６０からコンテンツデータ１６３を読み出し、読み出したコンテンツデータ１６３から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。画像処理部１５２は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。また、画像処理部１５２は、コンテンツデータ１６３に含まれる画像データに対して解像度変換、輝度、彩度の調整、２Ｄ／３Ｄ変換処理等の種々の画像処理を必要に応じて実行してもよい。
画像処理部１５２は、画像処理を施した画像データを、画像の表示単位である１フレームごとに記憶部１６０内のＤＲＡＭに展開する。画像データの１フレームが展開されるＤＲＡＭの領域を、以下ではフレーム領域という。画像処理部１５２は、フレーム領域から画像データを読み出し、読み出した画像データを表示画像データとして画像表示部２０に出力する。
【０１０９】
画像処理部１５２は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０と別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ））で構成してもよい。
【０１１０】
撮像制御部１５３は、第１カメラ６１及び第２カメラ６２を制御して撮像を実行させ、撮像画像データを生成する。撮像制御部１５３は、生成した撮像画像データを記憶部１６０に一時的に記憶させる。また、第１カメラ６１及び第２カメラ６２が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５３は撮像画像データを第１カメラ６１及び第２カメラ６２から取得し、記憶部１６０に一時的に記憶させる。
【０１１１】
検出部１５４は、第１カメラ６１により撮像された撮像画像データをもとに指示体の動きを検出し、検出した指示体の動きに基づく操作を受け付ける。
検出部１５４が受け付ける操作は、予め設定された指示体の動きに基づく操作である。指示体の動きには、例えば、指示体を上下方向や、左右方向に移動させる操作や、回転させる操作等が含まれる。検出部１５４は、第１カメラ６１の撮像画像データをもとに指示体の動きを検出して、検出した指示体の動きが予め設定された指示体の動きに対応するか否かを判定する。検出部１５４は、検出した指示体の動きが、予め設定された指示体の動きに対応する場合に、指示体の動きに基づく操作を受け付ける。検出部１５４は、操作を受け付けると、予め設定された指示体の動きに対応付けられた処理を実行する。
【０１１２】
まず、検出部１５４は、記憶部１６０から第１カメラ６１の撮像画像データを読み出し、読み出した撮像画像データに撮像された指示体を検出する。また、検出部１５４は、第１カメラ６１が連続して撮像した撮像画像データから指示体を検出して、指示体の動き、形状及び位置の少なくともいずれかを検出する。検出部１５４は、検出した指示体の動き、形状及び位置の少なくともいずれかに基づく操作を受け付ける。
【０１１３】
本実施形態では、指示体が使用者の手である場合について説明するが、指示体は使用者の手に限定されない。例えば、使用者の指や腕といった身体の一部や、使用者が手に持った指示体、身体に取り付けられた被検出物体を用いてもよい。また、使用者の指に装着された指輪や、使用者の腕に装着された時計やバンド等を指示体として用いることも可能である。指示棒や時計、バンド等を指示体として用いる場合、指示体の画像データを記憶部１６０に予め記憶させておき、パターンマッチング等の方法により指示体を検出する。
【０１１４】
検出部１５４は、撮像画像データにおいて使用者の手が撮像された領域（以下、手領域という）を検出する。検出部１５４は、例えば、肌色抽出処理により、撮像画像データの領域から肌色領域を抽出し、しきい値処理により、抽出した肌色領域の画素値をしきい値と比較して手領域を検出する。また、検出部１５４は、エッジ検出処理により、求めた手領域の輪郭を抽出し、輪郭の凹凸による特徴点マッチングや曲率判定を用いて手の形状や位置を検出してもよい。検出部１５４は、撮像画像データにおいて、手領域を検出した場合、表示制御部１５５に、オブジェクト３００の表示を指示する。オブジェクト３００については、図６を参照しながら説明する。
【０１１５】
また、検出部１５４は、第１カメラ６１により連続して撮像された撮像画像データの各々、又は所定枚数ごとの撮像画像データから手領域を検出して、手領域の動きや形状、位置を検出する。検出部１５４は、手領域の動きや形状、位置を検出すると、検出した手領域の動きや形状、位置に基づいてパターン認識辞書１６４を参照し、検出した手領域の動きに対応したジェスチャーを特定する。検出部１５４は、手領域の動きや形状、位置に対応したジェスチャーを特定することで、指示体の動き、形状及び位置の少なくともいずれかに基づく操作を受け付ける。検出部１５４は、ジェスチャーを特定して操作を受け付けると、特定したジェスチャーに対応付けられた処理をパターン認識辞書１６４から取得する。検出部１５４は、取得したジェスチャーに対応付けられた処理を処理制御部１５６に実行させる。
【０１１６】
表示制御部１５５は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、生成した制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１５５は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１５５は、画像処理部１５２が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。
【０１１７】
また、表示制御部１５５は、検出部１５４が操作を受け付け可能な状態にあるか否かを判定して、判定結果を表示する。具体的には、表示制御部１５５は、検出部１５４により指示体が検出された場合に、ＨＭＤ１００がジェスチャーによる操作を受け付け可能な状態にあるか否かを判定する。表示制御部１５５は、受け付け可能であると判定した場合に、画像表示部２０を制御して操作を受け付け可能なことを示す表示を表示領域ＶＲに表示させる。
【０１１８】
図６は、画像表示部２０を頭部に装着した使用者の視野範囲ＦＶを示す図である。
表示制御部１５５は、検出部１５４により指示体が検出された場合に、予め設定された画像や文字、図形、記号、マーク、アイコン等のオブジェクト３００を表示領域ＶＲに表示させる。また、表示制御部１５５は、検出部１５４により指示体が検出され、検出部１５４が指示体の操作を受け付け可能な状態にある場合に、表示させた画像や文字、図形、記号、マーク、アイコン等のオブジェクト３００の表示態様を変化させる。例えば、表示制御部１５５は、指示体が検出され、画像処理等の処理負荷の大きい他の処理を実行中ではない場合に、指示体の操作を受け付け可能な状態にあると判定する。
【０１１９】
図６は、オブジェクト３００として、第１オブジェクト３１０と、第２オブジェクト３２０とを表示させた場合を示す。本実施形態では、第１オブジェクト３１０として手領域の範囲を示す範囲画像３１１を表示させ、第２オブジェクト３２０として指示体の形状を模した画像（以下、アイコンと表記する）３２１を表示させた場合を示す。範囲画像３１１は、本発明の「指示体に重畳する画像」に相当する。
【０１２０】
第１オブジェクト３１０としての範囲画像３１１は、撮像画像データから検出された使用者の手の範囲を示す画像である。範囲画像３１１は、撮像画像データから手領域が検出された場合に、表示制御部１５５により表示領域ＶＲに表示される。撮像画像データから手領域が検出されなくなると、表示制御部１５５は、範囲画像３１１を表示領域ＶＲから消去する。
表示制御部１５５は、検出部１５４により検出された手領域の周囲を囲むように範囲画像３１１を表示させてもよいし、手領域の一部に重なるように範囲画像３１１を表示させてもよい。また、範囲画像３１１の形状は、矩形であってもよいし、円形や多角形であってもよく、また、身体の形状に対応した形状であってもよい。
使用者は、表示領域ＶＲに範囲画像３１１が表示されることで、ＨＭＤ１００が指示体として検出した物体が手であるか否かを判断することができる。従って、ＨＭＤ１００が誤った物体を手と認識して検出した場合に、ＨＭＤ１００に指示体の検出を再度行わせて、誤った操作が実行されないようにすることができる。
【０１２１】
第２オブジェクト３２０であるアイコン３２１は、ＨＭＤ１００の状態を示すアイコンであり、手領域が検出されたこと、及び、ＨＭＤ１００がジェスチャーによる操作を受け付け可能な状態にあることを示す。本実施形態では、指示体としての手の形状を模したアイコン３２１を第２オブジェクト３２０として表示させた場合を示すが、例えば、指示体が指示棒である場合には、指示棒の形状を示すアイコンを第２オブジェクト３２０として表示させてもよい。また、本実施形態は、第２オブジェクト３２０としてアイコン３２１を表示させる場合について説明するが、第２オブジェクト３２０はアイコンに限定されず、画像や文字、図形、記号、マークであってもよい。
【０１２２】
表示制御部１５５は、第２オブジェクト３２０の表示態様を変更する。第２オブジェクト３２０は、例えば、アプリケーションプログラムの起動と共に表示領域ＶＲに表示される。表示制御部１５５は、手領域が検出され、制御部１５０が操作を受け付け可能な状態にある場合の第２オブジェクト３２０の視認性が、他の場合の第２オブジェクト３２０の視認性よりも高くなるように、第２オブジェクト３２０の表示態様を変更する。他の場合には、撮像画像データから手領域が検出されない場合や、手領域が検出されたが制御部１５０が操作を受け付け可能な状態にない場合が含まれる。
【０１２３】
例えば、表示制御部１５５は、第２オブジェクト３２０の透過率を変更することで、第２オブジェクト３２０の表示態様を変更することができる。表示制御部１５５は、手領域が検出され、制御部１５０が操作を受け付け可能な状態にある場合、第２オブジェクト３２０の透過率を、他の場合の第２オブジェクト３２０の透過率より低く設定する。第２オブジェクト３２０の透過率が低く設定されると、第２オブジェクト３２０が表示領域ＶＲの外景に対して目立つ表示となる。また、第２オブジェクト３２０の透過率を高く設定することで、表示領域ＶＲの外景に対して第２オブジェクト３２０が目立たなくなる。
また、表示制御部１５５は、第２オブジェクト３２０の表示色を変更することで、第２オブジェクト３２０の表示態様を変更することができる。表示制御部１５５は、手領域が検出され、制御部１５０が操作を受け付け可能な状態にある場合の第２オブジェクト３２０の表示色を、他の場合の第２オブジェクト３２０の表示色より目立つ色に変更する。例えば、表示制御部１５５は、手領域が検出され、制御部１５０が操作を受け付け可能な状態にある場合に、第２オブジェクト３２０を白色で表示し、他の場合には、第２オブジェクト３２０を黒色で表示する。また、表示制御部１５５は、手領域が検出され、制御部１５０が操作を受け付け可能な状態にある場合には、第２オブジェクト３２０の表示を点灯させ、他の場合には、第２オブジェクト３２０の表示を消灯させてもよい。
【０１２４】
図６には、オブジェクト３００として、第１オブジェクト３１０と第２オブジェクト３２０とを表示させた場合を示すが、いずれか一方だけを表示させてもよいし、例えば、ＬＥＤインジケーター１２、６７の表示等の他の表示と組み合わせて表示してもよい。例えば、表示領域ＶＲに第１オブジェクト３１０を表示させ、ＬＥＤインジケーター１２を点灯させてもよい。また、図６には、オブジェクト３００として第１オブジェクト３１０及び第２オブジェクト３２０を表示させた場合を示すが、例えば、「手が検出されました」等のテキストを表示領域ＶＲに表示させてもよい。また、オブジェクト３００として、手が検出されたことを示す記号やマークを表示させてもよい。
【０１２５】
処理制御部１５６は、検出部１５４の制御に従って、制御対象としてのデバイスの動作を制御する。また、処理制御部１５６は、検出部１５４の制御に従ってアプリケーションプログラムを実行して処理を行う。処理制御部１５６が制御するデバイスには、例えば、第２カメラ６２や、マイク６３、６軸センサー１１１、２３５、磁気センサー１１３、２３７、温度センサー２１７、２３９、照度センサー６５、ＬＥＤインジケーター１２、６７等が含まれる。また、アプリケーションプログラムを実行して行う処理には、例えば、動画像や音楽等のコンテンツデータ１６３を再生する処理が含まれる。また、アプリケーションプログラムを実行して行う処理には、アプリケーションプログラムとしてのブラウザーソフトウェアを起動させる処理や、ブラウザーソフトウェアの検索欄に入力されたキーワードに基づいて検索を実行する処理が含まれる。
【０１２６】
図７は、制御部１５０の動作を示すフローチャートである。
制御部１５０の動作について図７のフローチャートを参照しながら説明する。制御部１５０は、まず、アプリケーションプログラムを起動させる操作を受け付けたか否かを判定する（ステップＳ１）。制御部１５０は、ステップＳ１において、ＨＭＤ１００をジェスチャーによって制御するアプリケーションプログラムを起動させる操作（以下、簡単に操作という）を受け付けたか否かを判定する。制御部１５０は、操作を受け付けていない場合（ステップＳ１／ＮＯ）、操作を受け付けるまで処理の開始を待機し、実行可能な他の処理があればこの他の処理を実行する。
【０１２７】
制御部１５０は、操作を受け付けた場合（ステップＳ１／ＹＥＳ）、アプリケーションプログラムを実行して、表示領域ＶＲに第２オブジェクト３２０及び第３オブジェクト３３０を表示させる（ステップＳ２）。
【０１２８】
図８は、表示領域ＶＲの表示状態を示す図である。特に、図８は、表示領域ＶＲに、オブジェクト３００として、第２オブジェクト３２０と、第３オブジェクト３３０とを表示した状態を示す図である。
図８には、第２オブジェクト３２０及び第３オブジェクト３３０を、表示領域ＶＲの右上に表示した場合を示すが、第２オブジェクト３２０及び第３オブジェクト３３０を表示領域ＶＲの左上、右下、左下等の他の位置に表示してもよい。また、第２オブジェクト３２０及び第３オブジェクト３３０は、好ましくは表示領域ＶＲの設定された位置に表示させるとよい。第２オブジェクト３２０及び第３オブジェクト３３０を常に一定の位置に表示させることで、使用者が、表示領域ＶＲに表示された第２オブジェクト３２０及び第３オブジェクト３３０を探す手間を軽減させることができる。
【０１２９】
第３オブジェクト３３０は、制御部１５０が検出する検出対象のジェスチャーを示す画像であり、制御対象のデバイスの状態に応じて表示状態が変化する画像である。
制御部１５０は、第３オブジェクト３３０として、ジェスチャーとしての指示体の移動方向を示す矢印画像３３１、３３３と、制御対象及び制御動作を示す文字３３２、３３４とを表示領域ＶＲ内に表示させる。制御対象及び制御動作を示す文字３３２は、矢印画像３３１内に表示される。同様に、制御対象及び制御動作を示す文字３３４は、矢印画像３３３内に表示される。矢印画像３３１は、使用者側から見て表示領域ＶＲの右方向を示す矢印の画像である。また、矢印画像３３３は、使用者側から見て表示領域ＶＲの左方向を示す矢印の画像である。
【０１３０】
制御対象を示す文字３３２、３３４は、制御部１５０が制御する対象のデバイス名であり、制御動作を示す文字３３２、３３４は、制御対象に対して行われる制御部１５０の制御動作を示す。本実施形態では、制御対象を示す文字３３２、３３４として「カメラ」の文字が表示される。表示領域ＶＲの右方向を示す矢印画像３３１内には、制御動作を示す文字３３２として「ＯＮ」の文字が表示される。また、表示領域ＶＲの左方向を示す矢印画像３３３内には、制御動作を示す文字３３２として「ＯＦＦ」の文字が表示される。制御部１５０は、使用者側から見て、手を左から右に動かすジェスチャーが検出された場合、第２カメラ６２の電源をオンにする。また、制御部１５０は、使用者側から見て、右から左に手を動かすジェスチャーが検出された場合、第２カメラ６２の電源をオフにする。
【０１３１】
また、制御部１５０は、第３オブジェクト３３０の表示態様を、制御対象のデバイスの状態に応じて変化させる。制御部１５０は、第２カメラ６２の電源がオフの場合、矢印画像３３１の透過率を、第２カメラ６２の電源がオンの場合の矢印画像３３１の透過率よりも低い値に設定する。第２カメラ６２の電源がオフの場合、矢印画像３３１の透過率が低いので、矢印画像３３１が表示領域ＶＲ内の外景に対して目立つ表示となり、矢印画像３３１の視認性が高まる。また、制御部１５０は、第２カメラ６２の電源がオンの場合と、オフの場合とで、矢印画像３３１の表示色を変更してもよい。制御部１５０は、第２カメラ６２の電源がオンのときには、矢印画像３３１を灰色等の目立たない表示色で表示させ、第２カメラ６２の電源がオフのときには、矢印画像３３１を白等の目立つ表示色で表示させる。
【０１３２】
また、制御部１５０は、第２カメラ６２の電源がオンの場合、矢印画像３３３の透過率を、第２カメラ６２の電源がオフの場合の矢印画像３３３の透過率よりも低い値に設定する。第２カメラ６２の電源がオンの場合、矢印画像３３３の透過率が低いので、矢印画像３３３が表示領域ＶＲ内の外景に対して目立つ表示となり、矢印画像３３３の視認性が高まる。また、制御部１５０は、第２カメラ６２の電源をオンにした場合と、オンにした場合とで、矢印画像３３３の表示色を変更してもよい。制御部１５０は、第２カメラ６２の電源がオフのときには、矢印画像３３３を灰色等の目立たない表示色で表示させ、第２カメラ６２の電源がオンのときには、矢印画像３３３を白等の目立つ表示色で表示させる。
【０１３３】
また、本実施形態では、第３オブジェクト３３０の例として、矢印画像３３１、３３３と、制御対象及び制御動作を示す文字３３２、３３４とを示したが、第３オブジェクト３３０は、画像に限定されず、図形や、記号、マーク、アイコンであってもよい。
【０１３４】
制御部１５０は、表示領域ＶＲに第２オブジェクト３２０及び第３オブジェクト３３０を表示させると、記憶部１６０から処理対象の撮像画像データを読み出す。ここでは、手領域の検出が終了していない撮像画像データのうち、撮像された時間が最も古い撮像画像データが読み出される。制御部１５０は、読み出した撮像画像データに対して肌色抽出処理やしきい値処理を行い、手領域を検出する（ステップＳ３）。制御部１５０は、手領域が検出されなかった場合（ステップＳ３／ＮＯ）、記憶部１６０から次の処理対象の撮像画像データを読み出し、読み出した撮像画像データに対して肌色抽出処理やしきい値処理を行い、手領域を検出する（ステップＳ３）。制御部１５０は、第１カメラ６１によって撮像された撮像画像データの全てを処理対象として手領域の検出を行ってもよいし、所定の間隔で処理対象の撮像画像データを選択して手領域の検出を行ってもよい。制御部１５０は、前回、処理対象として選択した撮像画像データの次に撮像された撮像画像データ、又は処理対象として選択した撮像画像データから所定枚数後に撮像された撮像画像データを次の処理対象の撮像画像データとして選択する。
【０１３５】
また、制御部１５０は、撮像画像データから手領域が検出された場合（ステップＳ３／ＹＥＳ）、表示領域ＶＲに表示された第２オブジェクト３２０の表示色を変更する（ステップＳ４）。これによって、手領域が検出される前よりも第２オブジェクト３２０の視認性を高めることができる。また、制御部１５０は、撮像画像データから検出した手領域に対応する表示領域ＶＲに範囲画像３１１を表示させる（ステップＳ５）。
【０１３６】
図９は、表示領域ＶＲの表示状態を示す図である。特に、図９は、範囲画像３１１の一例を示す図である。
制御部１５０は、撮像画像データから手領域を検出すると、検出した手領域に基づいて範囲画像３１１を表示させる表示位置を決定する。例えば、制御部１５０は、検出した手領域の周囲を囲むように範囲画像３１１の表示位置を設定してもよいし、手領域の一部に重なるように範囲画像３１１の表示位置を設定してもよい。制御部１５０は、範囲画像３１１の表示位置を設定すると、設定した表示位置に対応した表示領域ＶＲの位置に、第１オブジェクト３１０としての範囲画像３１１を表示させる（ステップＳ５）。
【０１３７】
制御部１５０は、表示領域ＶＲに範囲画像３１１を表示させると、第１カメラ６１が連続して撮像した撮像画像データを解析してジェスチャーを検出する。表示領域ＶＲに表示された第３オブジェクト３３０の画像が示すジェスチャーが検出対象となる。より詳細には、第２カメラ６２の電源がオンされていない場合、使用者側から見て手を左から右の動かすジェスチャーが検出対象のジェスチャーになる。また、第２カメラ６２の電源がオンされている場合、使用者側から見て手を右から左に動かすジェスチャーが検出対象のジェスチャーとなる。
【０１３８】
制御部１５０は、第１カメラ６１により連続して撮像された撮像画像データの各々から手領域を検出して、検出した手領域に位置の変化があるか否かを判定する。制御部１５０は、手領域の位置に変化がある場合、手領域の位置の変化がパターン認識辞書１６４に登録されたジェスチャーに対応するか否かを判定する。制御部１５０は、手領域の位置の変化がパターン認識辞書１６４に登録されたジェスチャーに対応する場合、ジェスチャーを検出したと判定する（ステップＳ６）。制御部１５０は、ジェスチャーを検出した場合、検出したジェスチャーのパターンに対応した処理をパターン認識辞書１６４から取得する。制御部１５０は、ジェスチャーのパターンに対応した処理の情報を取得すると、取得した処理の情報が示す処理を実行する（ステップＳ７）。例えば、制御部１５０は、第２カメラ６２の電源がオンされておらず、使用者側から見て手を左から右に動かすジェスチャーが検出された場合、第２カメラ６２の電源をオンする。
【０１３９】
制御部１５０は、ジェスチャーに対応する処理を実行すると（ステップＳ７）、次に受け付け可能な操作に対応付けられたジェスチャーがあるか否かを判定する（ステップＳ８）。例えば、ステップＳ７において第２カメラ６２の電源をオンさせた場合、第２カメラ６２のシャッターを切る操作に対応付けられたジェスチャーが存在するか否かを判定する。制御部１５０は、第２カメラ６２のシャッターを切る操作に対応付けられジェスチャーが存在する場合（ステップＳ８／ＹＥＳ）、ジェスチャーに対応付けられた第３オブジェクト３３０の画像を表示領域ＶＲに表示させる（ステップＳ２）。また、制御部１５０は、操作に対応付けられたジェスチャーがないと判定した場合（ステップＳ８／ＮＯ）、この処理フローを終了させる。
【０１４０】
また、制御部１５０は、ステップＳ６において、ジェスチャーが検出されなかった場合（ステップＳ６／ＮＯ）、表示領域ＶＲに範囲画像３１１を表示させてからの経過時間が第１設定時間を経過したか否かを判定する（ステップＳ９）。制御部１５０は、経過時間が第１設定時間を経過していない場合（ステップＳ９／ＮＯ）、ステップＳ６に戻って撮像画像データからジェスチャーを検出する（ステップＳ６）。また、制御部１５０は、また、制御部１５０は、経過時間が第１設定時間を経過した場合（ステップＳ９／ＹＥＳ）、操作ガイドを表示領域ＶＲに表示させる（ステップＳ１０）。
【０１４１】
図１０は、表示領域ＶＲに表示された操作ガイドを示す図である。
操作ガイドは、ジェスチャーを使用者に誘導する画像であり、制御部１５０が検出するジェスチャーの動きを表した画像である。操作ガイドに加え、指示体として使用者の手をイメージさせる画像や図形、記号、マーク、アイコンを表示領域ＶＲに表示させ、表示させた画像や図形、記号、マーク、アイコンの表示位置を所定時間ごとに変更することでジェスチャーの動きを示してもよい。図１０には、第２カメラ６２の電源をオンするジェスチャーに対応した操作ガイドを示す。この操作ガイドでは、使用者の手を示すアイコン３０７を表示領域ＶＲに表示させ、表示させたアイコン３０７の表示位置を、所定時間ごとに、使用者側から見て左から右に移動させる。また、操作ガイドは、事前に撮像された動画像であってもよい。
【０１４２】
制御部１５０は、表示領域ＶＲに操作ガイドを表示させると、第１カメラ６１の撮像画像データに基づいてジェスチャー検出を実行する（ステップＳ１１）。制御部１５０は、ジェスチャーが検出されない場合（ステップＳ１１／ＮＯ）、表示領域ＶＲに操作ガイドを表示させてから、第２設定時間を経過したか否かを判定する（ステップＳ１２）。制御部１５０は、第２設定時間を経過していない場合（ステップＳ１２／ＮＯ）、ステップＳ１１の判定に戻りジェスチャーの検出を継続する（ステップＳ９）。また、制御部１５０は、第２設定時間が経過した場合（ステップＳ１２／ＹＥＳ）、操作ガイドの表示を終了させる（ステップＳ１３）。その後、制御部１５０は、ステップＳ９の判定に戻り、操作ガイドの表示を終了させてから第１設定時間を経過したか否かを判定する（ステップＳ９）。制御部１５０は、第１設定時間を経過した場合（ステップＳ９／ＹＥＳ）、操作ガイドを再び表示させ（ステップＳ１０）、第１設定時間を経過していない場合（ステップＳ９／ＮＯ）、ステップＳ６に戻り撮像画像データからジェスチャー検出を行う。
【０１４３】
図１１は、表示領域ＶＲの他の表示例を示す図である。
上述したフローチャートでは、表示領域ＶＲに範囲画像３１１を表示させてから、第１設定時間を経過した場合に、操作ガイドを表示させる例について説明した。他の動作として、第１設定時間の計時中に、操作ガイドの表示までの残り時間を示す表示（残時間表示という）３０９を表示させてもよい。残時間表示３０９を表示させることで、使用者に、操作ガイドを表示させるか否かを選択させることができる。
【０１４４】
以上説明したように第１実施形態のＨＭＤ１００は、画像表示部２０、検出部として動作する第１カメラ６１及び撮像制御部１５３と、制御部として動作する検出部１５４、表示制御部１５５及び処理制御部１５６とを備える。
画像表示部２０は、画像を外景に重畳して表示し、又は前記画像を前記外景の周辺に表示する。第１カメラ６１及び撮像制御部１５３は、指示体を検出する。検出部１５４は、検出される指示体の動き、形状及び位置の少なくともいずれかに基づく操作を受け付ける。表示制御部１５５は、指示体による入力操作が可能な状態であるか否かを判定し、判定結果を表示する。
従って、使用者に、ＨＭＤ１００の状態を把握させ、指示体を用いた操作の使い勝手を向上させることができる。
【０１４５】
また、表示制御部１５５は、画像表示部２０の表示領域において設定された位置に、操作を受け付け可能なことを示す画像、図形、文字又はアイコンを画像表示部２０によって表示させる。
従って、使用者に、ＨＭＤ１００が操作を受け付け可能な状態にあることを直感的に認識させることができる。
【０１４６】
また、表示制御部１５５は、操作に応じて制御対象を制御可能に構成され、操作を受け付け可能なことを示す画像、図形、文字又はアイコンを、操作に応じて制御した制御対象の状態に応じて変化させる。
従って、使用者に、制御対象の状態を直感的に認識させることができる。
【０１４７】
また、第１カメラ６１は、画像表示部２０が表示する画像とともに視認可能な外景を含む範囲を検出する。表示制御部１５５は、第１カメラ６１の撮像画像データにより範囲内に指示体が検出された場合に、画像表示部２０によって、操作を受け付け可能なことを示す表示を行わせる。
従って、使用者は、視認可能な外景を含む範囲内に指示体の位置を移動させることで、ＨＭＤ１００を、操作を受け付け可能な状態とすることができる。また、範囲内に指示体が検出された場合には、操作を受け付け可能なことを示す表示が表示されるので、ＨＭＤ１００の状態の把握が可能となる。
【０１４８】
また、画像表示部２０は、外光を透過することにより外景を視認させる透過型の表示領域ＶＲを有する。第１カメラ６１は、画像表示部２０を透過して視認可能な外景を含む範囲で指示体を検出する。従って、使用者は、視認可能な外景を含む範囲内に指示体の位置を移動させることで、ＨＭＤ１００を、操作を受け付け可能な状態とすることができる。
【０１４９】
また、表示制御部１５５は、第１カメラ６１の撮像画像データに指示体が検出されて操作を受け付け可能な状態である場合と、第１カメラ６１の撮像画像データに指示体が検出されず操作を受け付け可能な状態にない場合とで、操作を受け付け可能なことを示す表示の表示態様を変更する。
従って、ＨＭＤ１００が指示体を検出した状態にあるか否かを使用者に通知することできる。
【０１５０】
また、表示制御部１５５は、第１カメラ６１の撮像画像データに検出される指示体の動き、形状及び位置の少なくともいずれかに基づいてジェスチャーを入力操作として検出する。表示制御部１５５は、検出した入力操作に対応付けられた画像、図形、文字又はアイコンのいずれかの表示態様を変化させる。従って、指示体を用いたジェスチャーによりＨＭＤ１００を操作することができる。また、ＨＭＤ１００により検出されたジェスチャーに対応付けられた画像、図形、文字又はアイコンのいずれかの表示態様が変化するので、検出されたジェスチャーを使用者に通知することができる。
【０１５１】
また、表示制御部１５５は、検出部１５４により指示体が検出された場合に、範囲画像３１１を指示体に重畳して表示する。
従って、範囲画像３１１を指示体に重畳して表示することができる。このため、ＨＭＤ１００が指示体として認識している物体を通知することができる。
【０１５２】
また、表示制御部１５５は、表示領域ＶＲに画像、図形、文字又はアイコンを表示させてから、予め設定された第１設定時間を経過しても、検出部が操作を受け付けていない場合に、指示体による操作をガイドする操作ガイドを表示領域ＶＲに表示する。
従って、操作ガイドを表示して、指示体による操作を使用者にガイドすることができる。
【０１５３】
また、表示制御部１５５は、操作ガイドを表示領域に表示するまでの残り時間を表示領域ＶＲに表示する。
従って、操作がわからない使用者に、操作ガイドが表示される時間を通知することができる。
【０１５４】
また、表示制御部１５５は、操作ガイドを表示領域ＶＲに表示してから予め設定された第２設定時間を経過した場合、又は、検出部１５４が、指示体の動きに基づく操作を検出した場合に、操作ガイドの表示を消去する。
従って、操作ガイドを表示させる必要がないと判断される場合に、操作ガイドの表示を消去することができ、表示領域ＶＲの視認性を向上させることできる。
【０１５５】
また、処理制御部１５６は、検出部１５４が受け付けた操作により制御対象としてのデバイスを制御する、又は制御対象としてのアプリケーションプログラムを実行して検出部１５４が受け付けた操作に対応したアプリケーションプログラムの機能を実行する。
従って、指示体の操作によりデバイスを制御し、制御対象としてのアプリケーションプログラムに機能を選択して実行させることができる。
【０１５６】
［第２実施形態］
以下、添付図面を参照して本発明の第２実施形態について説明する。
【０１５７】
表示制御部１５５は、検出部１５４が第１カメラ６１の撮像画像データから指示体の画像を検出した場合に、表示領域ＶＲにオブジェクト３００を表示させる。本実施形態は、オブジェクト３００として、第１オブジェクト３１０である範囲画像３１１を表示させる。
【０１５８】
検出部１５４は、撮像画像データから指示体を検出すると、指示体が撮像された撮像画像データ上の範囲を示す座標データを表示制御部１５５に出力する。表示制御部１５５は、検出部１５４から入力された座標データに基づいて演算を行い、図６に示すように、指示体を囲む表示領域ＶＲの座標データを求める。表示制御部１５５は、求めた座標データに対応する表示領域ＶＲに範囲画像３１１を表示させる。
【０１５９】
記憶部１６０が記憶する設定データ１６２には、キャリブレーションデータが含まれる。キャリブレーションデータは、第１カメラ６１の撮像画像データと、画像表示部２０の表示領域ＶＲとを対応付けるデータである。より詳細には、撮像画像データ上の座標を、表示領域ＶＲ上の座標に変換するデータである。例えば、第１カメラ６１によりマーカー等の実物体を撮像し、撮像した実物体に重なる位置に、画像表示部２０により画像を表示させる場合、撮像画像データ上の座標を、表示領域ＶＲ上の座標に変換するデータであるキャリブレーションデータ１４５が必要となる。このため、ＨＭＤ１００に事前にキャリブレーションを実行させて、撮像画像データ上の座標を、表示領域ＶＲ上の座標に変換するためのキャリブレーションデータを生成しておく。
【０１６０】
また、表示制御部１５５は、検出部１５４が第１カメラ６１の撮像画像データから指示体の画像を検出した場合に、第２オブジェクト３２０であるアイコン３２１や、第３オブジェクト３３０である矢印画像３３１、３３３及び文字３３２、３３４を第１オブジェクト３１０とともに表示してもよい。また、第２オブジェクト３２０や第３オブジェクト３３０の表示タイミングは、第２カメラ６２をオン又はオフにする処理を実行するアプリケーションプログラムが起動したタイミングであってもよい。また、第２オブジェクト３２０や第３オブジェクト３３０の表示タイミングは、検出部１５４が操作を受け付け可能であると判定したタイミングであってもよい。
【０１６１】
次に、表示制御部１５５は、検出部１５４が指示体を検出した場合に、検出部１５４がジェスチャーによる操作を受け付け可能な状態にあるか否かを判定し、判定結果を表示領域ＶＲに表示する。例えば、表示制御部１５５は、画像処理等の処理負荷の大きい処理を実行中であって、ＨＭＤ１００がビジー状態である場合、検出部１５４がジェスチャーによる操作を受け付け可能ではないと判定する。
【０１６２】
表示制御部１５５は、ＨＭＤ１００がビジー状態ではなく、検出部１５４がジェスチャーによる操作を受け付け可能な状態であると判定すると、操作を受け付け可能であることを示す表示を表示領域ＶＲに表示する。また、表示制御部１５５は、ＨＭＤ１００がビジー状態であり、検出部１５４がジェスチャーによる操作を受け付け可能な状態にはないと判定すると、操作を受け付け可能ではないことを示す表示を表示領域ＶＲに表示する。これらの表示には、例えば、画像や、図形、アイコンが用いられる。また、操作を受け付け可能な状態にあるか否かを示す文字や記号を表示してもよい。
【０１６３】
本実施形態では、表示制御部１５５は、範囲画像３１１及びアイコン３２１の少なくともいずれか一方の表示態様を変更することで、検出部１５４が操作を受け付け可能な状態である場合と、操作を受け付け可能ではない場合とを表示する。
例えば、表示制御部１５５は、検出部１５４が操作を受け付け可能な状態である場合、範囲画像３１１やアイコン３２１を実線で表示し、検出部１５４が操作を受け付け可能な状態ではない場合、範囲画像３１１やアイコン３２１を破線で表示する。
また、表示制御部１５５は、検出部１５４が操作を受け付け可能な状態ではない場合、範囲画像３１１やアイコン３２１を点滅させ、検出部１５４が操作を受け付け可能な状態である場合、範囲画像３１１やアイコン３２１を点灯させる。
また、表示制御部１５５は、検出部１５４が操作を受け付け可能な状態である場合と、操作を受け付け可能な状態ではない場合とで、範囲画像３１１やアイコン３２１の表示色を変更してもよい。
【０１６４】
また、表示制御部１５５は、検出部１５４が操作を受け付け可能な状態である場合に、範囲画像３１１やアイコン３２１を表示させ、検出部１５４が操作を受け付け可能な状態ではない場合に、範囲画像３１１やアイコン３２１の表示を消去してもよい。この場合、表示制御部１５５は、透過率を変更して、範囲画像３１１やアイコン３２１の表示と、非表示とを切り替えてもよい。すなわち、表示制御部１５５は、範囲画像３１１やアイコン３２１を表示領域ＶＲに表示させる場合、範囲画像３１１やアイコン３２１の透過率を低く設定する。また、表示制御部１５５は、範囲画像３１１やアイコン３２１を表示領域ＶＲに表示させない場合、範囲画像３１１やアイコン３２１の透過率を高く設定する。透過率を低い値に変更することで、範囲画像３１１やアイコン３２１が画像表示部２０を通じて視認される外景よりも目立つ表示となる。また、透過率を高い値に変更することで、範囲画像３１１やアイコン３２１が画像表示部２０を通じて視認される外景よりも目立つ表示となる。
【０１６５】
また、第１オブジェクト３１０と、第２オブジェクト３２０とを異なるタイミングで表示領域ＶＲに表示させてもよい。例えば、検出部１５４が、撮像画像データから使用者の手領域を検出した場合には、第１オブジェクト３１０としての範囲画像３１１を表示させる。また、撮像画像データから手領域が検出され、ＨＭＤ１００が操作を受け付け可能な状態となると、第２オブジェクト３２０を表示させてもよい。さらに、第２オブジェクト３３２０と共に第３オブジェクト３３０を表示させてもよい。
【０１６６】
また、表示制御部１５５は、制御対象としてのデバイスやアプリケーションプログラムの動作状態に対応して第３オブジェクト３３０の表示態様を変更する。第３オブジェクト３３０は、検出部１５４が検出する指示体の動きを示す画像や図形、アイコンである。すなわち、パターン認識辞書１６４に登録されたジェスチャーを示す画像や、図形、アイコンである。
例えば、制御対象が第２カメラ６２であって、第２カメラ６２の動作状態がオフ状態である場合、表示制御部１５５は、第２カメラ６２をオンする操作が対応付けられたジェスチャーを示す第３オブジェクト３３０を点滅させたり、点灯させたりする。また、表示制御部１５５は、第２カメラ６２をオンする操作を対応付けたジェスチャーを示す第３オブジェクト３３０の透過率を、第２カメラ６２をオフする操作を対応付けたジェスチャーを示す第３オブジェクト３３０の透過率よりも低い値に設定してもよい。従って、第２カメラ６２をオンする操作が対応付けられた第３オブジェクト３３０が、第２カメラ６２をオフする操作が対応付けられた第３オブジェクト３３０よりも目立つ表示とすることができる。
【０１６７】
また、制御対象が動画再生のアプリケーションプログラムであり、動画を再生中である場合、表示制御部１５５は、動画の再生を停止させたり、早送りさせたり、早戻しさせたりする操作が対応付けられたジェスチャーを第３オブジェクト３３０として表示する。また、表示制御部１５５は、動画再生のアプリケーションプログラムが起動しているが、動画の再生が行われていない場合、動画を再生させる操作が対応付けられたジェスチャーを第３オブジェクト３３０として表示する。
【０１６８】
図１２は、制御部１５０の他の動作を示すフローチャートである。
電源スイッチ１８がオンされると（ステップＳ２１）、不揮発性記憶部１２３に格納された制御プログラム１６１がメモリー１２１にロードされる。制御部１５０は、起動して（ステップＳ２２）、ロードされた制御プログラム１６１の実行を開始する。制御部１５０は、第１カメラ６１に撮像を開始させる（ステップＳ２３）。
【０１６９】
また、制御部１５０は、第１カメラ６１に撮像を開始させると、表示領域ＶＲに、第２オブジェクト３２０及び第３オブジェクト３３０を表示させる（ステップＳ２４）。第２オブジェクト３２０は、透過率が高く設定され、表示領域ＶＲの外景に対して第２オブジェクト３２０が目立たない態様で表示される。制御部１５０は、第１カメラ６１の撮像画像データから使用者の手領域を検出すると、第２オブジェクト３２０の透過率を低い値に変更する。これにより、第２オブジェクト３２０が、画像表示部２０を通じて視認される外景よりも目立つ表示となり、第２オブジェクト３２０が使用者に視認される。
【０１７０】
また、表示領域ＶＲには、第３オブジェクト３３０として、図９に示すように、「カメラＯＮ」の文字３３２が表示された矢印画像３３１と、「カメラＯＦＦ」の文字３３４が表示された矢印画像３３３とが表示される。
手領域が検出される前の状態では、第２カメラ６２がオンしていることはないので、「カメラＯＮ」の文字３３２が表示された矢印画像３３１の透過率が低く、「カメラＯＦＦ」の文字３３４が表示された矢印画像３３３の透過率が高く表示される。
これにより、「カメラＯＮ」の文字３３２が表示された矢印画像３３１が、画像表示部２０を通じて視認される外景よりも目立つ表示となる。また、「カメラＯＦＦ」の文字３３４が表示された矢印画像３３３が、画像表示部２０を通じて視認される外景よりも目立たない表示となる。従って、使用者には、「カメラＯＮ」の文字３３２が表示された矢印画像３３１だけ表示領域ＶＲに表示され、「カメラＯＦＦ」の文字３３４が表示された矢印画像３３３は、表示されていないように認識される。
【０１７１】
次に、制御部１５０は、第１カメラ６１の撮像画像データを取得し、取得した撮像画像データに対して手領域の検出を行う（ステップＳ２５）。制御部１５０は、撮像画像データから手領域を検出することできなかった場合（ステップＳ２５／ＮＯ）、次の撮像画像データを取得して、取得した撮像画像データに対して手領域の検出を行う。
【０１７２】
また、制御部１５０は、撮像画像データから手領域を検出すると（ステップＳ２５／ＹＥＳ）、制御部１５０が操作を受け付け可能な状態にあるか否かを判定する（ステップＳ２６）。例えば、制御部１５０は、他の処理を実行中であって、新たな命令を受け付け可能な状態にはない場合、操作を受け付け可能な状態にはないと判定する（ステップＳ２６／ＮＯ）。この場合、制御部１５０は、ステップＳ２５で手領域の検出を開始してからの経過時間がタイムアウト時間を経過したか否かを判定する（ステップＳ２７）。
【０１７３】
制御部１５０は、タイムアウト時間を経過していない場合（ステップＳ２７／ＮＯ）、予め設定された一定時間、待機する（ステップＳ２８）。制御部１５０は、一定時間が経過すると、再度、ステップＳ２６で制御部１５０が操作を受け付け可能な状態にあるか否かを判定する（ステップＳ２６）。また、制御部１５０は、予め設定されたタイムアウト時間を経過した場合（ステップ２６／ＹＥＳ）、エラー表示を画像表示部２０により表示させる（ステップＳ２９）。
【０１７４】
また、制御部１５０は、制御部１５０が操作を受け付け可能な状態にある場合（ステップＳ２６／ＹＥＳ）、第２オブジェクト３２０の表示態様を変更、又は第２オブジェクト３２０を表示領域ＶＲに表示させる（ステップＳ３０）。具体的には、制御部１５０は、第２オブジェクト３２０の透過率を低い値に変更して第２オブジェクト３２０の視認性を高め、画像表示部２０を通じて視認する外景よりも第２オブジェクト３２０の表示が目立つようにする。また、ステップＳ２４において第２オブジェクト３２０を表示させていない場合、制御部１５０は、ステップＳ３０において第２オブジェクト３２０を表示させる。
【０１７５】
また、制御部１５０は、手領域が検出された撮像画像データの領域に対応した表示領域ＶＲに範囲画像３１１を表示させる（ステップＳ３１）。例えば、制御部１５０は、検出した手領域の周囲を囲むように範囲画像３１１を表示領域ＶＲに表示させる。
【０１７６】
次に、制御部１５０は、ジェスチャーの検出を開始する（ステップＳ３２）。制御部１５０は、表示領域ＶＲに範囲画像３１１を表示させると、第１カメラ６１により連続して撮像された撮像画像データの各々から手領域を検出して、使用者により入力されたジェスチャーを検出する。表示領域ＶＲに表示された第３オブジェクト３３０の画像が、検出対象のジェスチャーとなる。詳細には、第２カメラ６２の電源がオンされていない場合、使用者側から見て手を左から右に動かすジェスチャーが検出対象のジェスチャーになる。また、第２カメラ６２の電源がオンされている場合、使用者側から見て手を右から左に動かすジェスチャーが検出対象のジェスチャーとなる。
【０１７７】
制御部１５０は、第１カメラ６１が連続して撮像した撮像画像データの各々から手領域を検出して、手領域の動きを検出する（ステップＳ３３）。制御部１５０は、撮像画像データの各々から検出した手領域の位置に変化がない場合、手領域に動きがないと判定し（ステップＳ３３／ＮＯ）、手領域の動きの検出を継続する。
また、制御部１５０は、検出した手領域の位置に変化があり、手領域に動きがある場合（ステップＳ３３／ＹＥＳ）、検出した手領域の動きに対応したジェスチャーがパターン認識辞書１６４に登録されているか否かを判定する（ステップＳ３４）。
【０１７８】
制御部１５０は、検出した手領域の動きに対応したジェスチャーがパターン認識辞書１６４に登録されていない場合（ステップＳ３４／ＮＯ）、ステップＳ３３に戻り、手領域の動きの検出を再度行う。また、制御部１５０は、検出した手領域の動きに対応したジェスチャーがパターン認識辞書１６４に登録されている場合（ステップＳ３４／ＹＥＳ）、登録されたジェスチャーに対応付けられた処理を実行する（ステップＳ３５）。
【０１７９】
以上説明したように第２実施形態のＨＭＤ１００は、画像表示部２０、第１カメラ６１、検出部１５４及び表示制御部１５５を備える。
画像表示部２０は、使用者の頭部に装着され、外景を視認可能に画像を表示する表示領域ＶＲを有する。
検出部１５４は、第１カメラ６１の撮像画像データをもとに指示体の動きを検出し、検出した指示体の動きに基づく操作を受け付ける。
表示制御部１５５は、検出部１５４が検出した指示体の動きに基づく操作を検出可能な状態であるか否かを判定し、判定結果を表示領域ＶＲに表示する。
従って、検出部１５４が指示体の動きに基づく操作を検出可能な状態であるか否かの判定結果が表示領域ＶＲに表示される。このため、指示体を用いた操作において、ＨＭＤ１００置の状態を把握可能な使い勝手のよいユーザーインターフェイスを提供することができる。
【０１８０】
また、表示制御部１５５は、判定結果として、検出部１５４が操作を検出可能な状態であることを示す図形、文字、アイコン、又は検出部１５４が検出した指示体の範囲を示す範囲画像３１１を表示領域ＶＲに表示する。
従って、判定結果として、図形、文字、アイコン、範囲画像が表示されるため、操作を検出可能な状態であるか否かを外部に通知することができる。
【０１８１】
また、表示制御部１５５は、検出部１５４が指示体を検出した場合に、範囲画像３１１を表示領域ＶＲに表示し、検出部１５４が操作を検出可能な状態であるか否かによって、表示領域ＶＲに表示させた図形、文字、又はアイコンの表示態様を変更する。図形、文字、又はアイコンには、第２オブジェクト３２０のアイコン３２１や、第３オブジェクト３３０の矢印画像３３１、３３３及び文字３３２、３３４が含まれる。
従って、検出部１５４が指示体を検出したことを外部に通知することができ、検出部１５４が操作を検出可能な状態であるか否かを外部に通知することができる。
【０１８２】
また、表示制御部１５５は、検出部１５４が操作を検出可能な状態である場合に、図形又はアイコンとして、検出部１５４が検出する指示体の動きを示す図形又はアイコンを表示する。
従って、検出部１５４が検出する指示体の動きを示す図形又はアイコンが表示されるため、指示体を用いた操作を使用者に認識させることができる。
【０１８３】
また、ＨＭＤ１００は、検出部１５４が受け付けた操作に応じて制御対象を制御する処理制御部１５６を備える。表示制御部１５５は、検出部１５４が検出する予め設定された指示体の動きを示す図形又はアイコンを、制御対象の動作状態に応じて変更する。
従って、使用者に、制御対象の動作状態に対応した指示体の動きを行わせることができ、制御対象を指示体の動きにより動作させることができる。このため、指示体を用いた操作の利便性を高めることができる。
【０１８４】
また、検出部１５４は、検出した指示体の動きが、予め設定された指示体の動きに対応するか否を判定する。処理制御部１５６は、予め設定された指示体の動きに対応した指示体の動きを検出部が検出した場合に、検出部１５４が検出した指示体の動きに対応付けられた処理を制御対象に実行させる。
この構成によれば、予め設定された指示体の動きを行うことで、この指示体の動きに対応付けられた処理を制御対象に実行させることができる。
【０１８５】
上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、指示体の動きや形状、位置を第１カメラ６１の撮像画像データに基づいて検出したが、赤外線センサーや電磁波センサー、光学式センサー、超音波センサー等のセンサー類により指示体の動きや形状、位置を検出してもよい。
【０１８６】
また、表示制御部１５５は、手領域が検出され、制御部１５０が操作を受け付け可能な状態にある場合と、手領域が検出されない場合と、手領域が検出されたが操作を受け付け可能な状態にない場合とで第２オブジェクト３２０の表示態様を変更してもよい。
例えば、表示制御部１５５は、手領域が検出され、制御部１５０が操作を受け付け可能な状態にある場合、第２オブジェクト３２０の透過率が最も低くなるように設定する。また、表示制御部１５５は、手領域が検出されない場合、第２オブジェクト３２０の透過率が最も高くなるように設定する。また、表示制御部１５５は、手領域が検出されたが制御部１５０が操作を受け付け可能な状態にない場合、第２オブジェクト３２０の透過率を、操作を受け付け可能な状態にある場合と、手領域が検出さない場合との中間の透過率に設定する。
【０１８７】
また、ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータ１６３に基づく画像や音声を出力できる。
【０１８８】
また、上述した実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
【０１８９】
また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。すなわち、制御装置１０は、箱形のケース１０Ａを備える構成に限定されない。例えば、制御装置１０に代えて、使用者の身体、着衣、又は使用者が身につけられるデバイスを用いてもよい。使用者が身につけられるデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。
【０１９０】
さらに、上記の実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
【０１９１】
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
【０１９２】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、画像表示部２０に代えてヘッドアップディスプレイを用いることで、自動車や飛行機等の車両に搭載することも可能である。例えば、車両にヘッドアップディスプレイを搭載する場合、トラックパッド１４の操作面に相当する操作面を車両のハンドル等に設ける。
また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び当該部分に対し位置決めされる部分を装着部とすることができる。
【０１９３】
また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０１９４】
また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２３又は制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。
【０１９５】
また、図７及び図１２に示すフローチャートの処理単位は、ＨＭＤ１００の制御部１５０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【０１９６】
本発明の頭部装着型表示装置の制御方法を、コンピューターにより実現する場合、コンピューターが実行するプログラム、プログラムをコンピューターで読み取り可能に記録した記録媒体、又は、プログラムを伝送する伝送媒体の態様で構成することができる。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体には、画像表示装置が備える内部記憶装置であるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ等の不揮発性記憶装置であってもよい。
【符号の説明】
【０１９７】
１０…制御装置、１０Ａ…ケース、１１…操作ボタン、１２、６７…ＬＥＤインジケーター、１３…操作子、１４…トラックパッド、１５…上下キー、１６…切替スイッチ、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…第１カメラ、６２…第２カメラ、６３…マイク、６５…照度センサー、１００…頭部装着型表示装置、１１１…６軸センサー、１１３…磁気センサー、１１０…操作部、１１５…ＧＰＳ受信部、１１７…通信部、１２０…コントローラー基板、１２１…メモリー、１２３…不揮発性記憶部、１２７…設定データ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１５０…制御部、１５１…ＯＳ、１５２…画像処理部、１５３…撮像制御部、１５４…検出部、１５５…表示制御部（制御部）、１５６…処理制御部（制御部）、１６０…記憶部、１６１…制御プログラム、１６２…設定データ、１６３…コンテンツデータ、１６４…パターン認識辞書、１６５…撮像画像データ、１８０…音声インターフェイス、１８２…音声コーデック、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６、２１１、２３１…インターフェイス、２１３、２３３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１、２８１…ハーフミラー、３０７…アイコン、３０９…残時間表示、３１０…第１オブジェクト、３１１…範囲画像（指示体に重畳する画像）、３２０…第２オブジェクト、３２１…アイコン、３３０…第３オブジェクト、３３１、３３３…矢印画像、３３２、３３４…文字。
【図１】
2019053714.tif 000003
【図２】
2019053714.tif 000004
【図３】
2019053714.tif 000005
【図４】
2019053714.tif 000006
【図５】
2019053714.tif 000007
【図６】
2019053714.tif 000008
【図７】
2019053714.tif 000009
【図８】
2019053714.tif 000010
【図９】
2019053714.tif 000011
【図１０】
2019053714.tif 000012
【図１１】
2019053714.tif 000013
【図１２】
2019053714.tif 000014