(57)【要約】【課題】使用者の視野に存在する外部機器を特定することが可能な頭部装着型表示装置を提供すること。【解決手段】画像を生成する処理を行う画像処理部と、前記画像を表す画像光を生成する画像光生成部を有し、使用者が虚像と外界像とを視認可能に構成された画像表示部と、前記画像表示部に設けられ、使用者の視野方向を撮像する撮像部と、前記撮像部によって撮像された撮像画像内に存在する外部機器を特定し、前記外部機器の前記撮像画像における位置を検出する位置検出部とを備え、前記画像処理部は、前記外部機器に関する情報を前記位置検出部で検出された位置に対応する位置に表示する画像を生成する。【選択図】図２
2013205920.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着された状態において使用者に虚像を視認させる頭部装着型表示装置であって、
画像を生成する処理を行う画像処理部と、
前記画像を表す画像光を生成する画像光生成部を有し、使用者が前記虚像と外界像とを視認可能に構成された画像表示部と、
前記画像表示部に設けられ、使用者の視野方向を撮像する撮像部と、
前記外界像として視認される外部機器であって、前記撮像部によって撮像された撮像画像内に存在する外部機器を特定する検出部とを備えた、頭部装着型表示装置。
【請求項２】
請求項１に記載の頭部装着型表示装置であって、
前記検出部は、
特定した前記外部機器の前記撮像画像における位置を検出し、
前記外部機器に関する情報を前記検出部で検出された位置に対応する位置に表示する画像を生成する画像処理部を更に備えた、頭部装着型表示装置。
【請求項３】
請求項２に記載の頭部装着型表示装置であって、
前記外界像として視認される前記外部機器に対応づけて前記外部機器に関する情報を虚像として表示させ、前記虚像を表示させる領域以外の領域において前記外界像を視認させる、頭部装着型表示装置。
【請求項４】
請求項２又は３に記載の頭部装着型表示装置であって、
前記画像処理部は、
前記外部機器に関する情報を表示する領域以外の領域が黒画素である画像を生成する、頭部装着型表示装置。
【請求項５】
請求項２乃至４のいずれか１項に記載の頭部装着型表示装置であって、
前記外部機器に関する情報を前記外部機器から受信する受信部を更に備えた、頭部装着型表示装置。
【請求項６】
請求項５に記載の頭部装着型表示装置であって、
使用者が操作情報を入力するための操作部と、
前記外部機器に対して所与のコマンドを送信する送信部を更に備え、
前記受信部は、
前記外部機器に関する情報として、前記外部機器において操作可能なコマンドに関する情報を受信し、
前記送信部は、
前記操作可能なコマンドのうち、前記操作情報に基づき選択したコマンドを前記外部機器に送信する、頭部装着型表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の頭部に装着された状態において使用者に虚像を視認させる頭部装着型表示装置に関する。
【背景技術】
【０００２】
従来、機器を遠隔操作する機器遠隔操作システムにおいて、当該機器を識別して、識別した機器の操作情報画像を生成してヘッドマウントディスプレイに出力するものが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３０６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の機器遠隔操作システムでは、遠隔操作する機器が使用者の視野内に存在するか否かに関わらず当該機器を識別するものであり、使用者は、表示される操作情報画像と機器との対応を直感的に把握することができなった。すなわち、上記の機器遠隔操作システムでは、使用者が操作しようとする機器の方を向かなければ、視野における機器の位置に対応する位置に操作情報画像を表示することができなかった。
【０００５】
本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、使用者の視野に存在する外部機器を特定することが可能な頭部装着型表示装置を提供することができる。
【課題を解決するための手段】
【０００６】
（１）本発明は、使用者の頭部に装着された状態において使用者に虚像を視認させる頭部装着型表示装置であって、画像を生成する処理を行う画像処理部と、前記画像を表す画像光を生成する画像光生成部を有し、使用者が前記虚像と外界像とを視認可能に構成された画像表示部と、前記画像表示部に設けられ、使用者の視野方向を撮像する撮像部と、前記外界像として視認される外部機器であって、前記撮像部によって撮像された撮像画像内に存在する外部機器を特定する検出部とを備える。
【０００７】
本発明によれば、外界像として視認される外部機器を特定することが可能な頭部装着型表示装置を提供することができる。
【０００８】
（２）この頭部装着型表示装置は、前記検出部は、特定した前記外部機器の前記撮像画像における位置を検出し、前記外部機器に関する情報を前記検出部で検出された位置に対応する位置に表示する画像を生成する画像処理部を更に備えてもよい。
【０００９】
本発明によれば、使用者の視野方向を撮像する撮像部によって撮像された撮像画像内に存在する外部機器を特定し、特定した前記外部機器の前記撮像画像における位置を検出し、前記外部機器に関する情報を前記検出された位置に対応する位置に表示する画像を生成することで、外界像に存在する外部機器の位置に対応する位置に外部機器に関する情報を虚像として表示することができ、使用者は、外部機器に関する情報をより直感的に認識することができる。
【００１０】
（３）この頭部装着型表示装置は、前記外界像として視認される前記外部機器に対応づけて前記外部機器に関する情報を虚像として表示させ、前記虚像を表示させる領域以外の領域において前記外界像を視認させてもよい。
【００１１】
本発明によれば、外部機器に関する情報を虚像として表示させつつ、当該外部機器を視認させ易くすることができる。
【００１２】
（４）この頭部装着型表示装置は、前記画像処理部は、前記外部機器に関する情報を表示する領域以外の領域が黒画素である画像を生成してもよい。
【００１３】
本発明によれば、外部機器に関する情報を虚像として表示させつつ、当該外部機器を視認させ易くすることができる。
【００１４】
（５）この頭部装着型表示装置は、前記外部機器に関する情報を前記外部機器から受信する受信部を更に備えてもよい。
【００１５】
（６）この頭部装着型表示装置は、使用者が操作情報を入力するための操作部と、前記外部機器に対して所与のコマンドを送信する送信部を更に備え、前記受信部は、前記外部機器に関する情報として、前記外部機器において操作可能なコマンドに関する情報を受信し、前記送信部は、前記操作可能なコマンドのうち、前記操作情報に基づき選択したコマンドを前記外部機器に送信する。
【００１６】
本発明によれば、外界像に存在する外部機器の位置に対応する位置に、外部機器の操作可能なコマンドに関する情報が虚像として表示され、使用者は、虚像として表示された操作可能なコマンドを見ながらコマンドを選択して外部機器を操作することができ、外部機器をより直感的に操作することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係る頭部装着型表示装置の構成の一例を示す外観図。
【図２】本実施形態に係る頭部装着型表示装置の構成を機能的に示す機能ブロック図。
【図３】使用者に視認される虚像の一例を示す説明図。
【図４】図４（Ａ）、図４（Ｂ）は、撮像部によって撮像された撮像画像の一例と、右ＬＣＤ及び左ＬＣＤの表示面の一例を示す図。
【図５】使用者に視認される虚像及び外界像の一例を示す図。
【図６】使用者に視認される虚像及び外界像の一例を示す図。
【図７】変形例について説明するための図。
【発明を実施するための形態】
【００１８】
以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１９】
１．構成
図１は、本実施形態に係る頭部装着型表示装置の構成の一例を示す外観図である。
【００２０】
頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、虚像を視認すると同時に外景（外界像）も直接視認可能な光学透過型（いわゆる、シースルー型）の頭部装着型表示装置である。
【００２１】
頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０とを備えている。
【００２２】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、耳掛部２１と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８とを含んでいる。また、画像表示部２０には、使用者の視野方向を撮像する撮像部６０（画像センサー）が設けられている。耳掛部２１は、右表示駆動部２２及び左表示駆動部２４の端部から使用者の耳の上を横断するように設けられた部材であり、テンプル（つる）として機能する。右光学像表示部２６及び左光学像表示部２８は、使用者が画像表示部２０を装着した状態において、それぞれ使用者の右及び左の眼の前に位置するように配置されている。右表示駆動部２２は、右耳用の耳掛部２１と右光学像表示部２６との接続箇所に配置されている。また、左表示駆動部２４は、左耳用の耳掛部２１と左光学像表示部２８との接続箇所に配置されている。なお、以降では、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」と呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」と呼ぶ。
【００２３】
表示駆動部は、図示しない駆動回路や、ＬＣＤ（液晶ディスプレイ）や、投写光学系等を含む。光学像表示部は、図示しない導光板と調光板とを含む。導光板は、光透過性の樹脂材料等によって形成され、表示駆動部から取り込んだ画像光を使用者の眼に向けて射出させる。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や汚れの付着等を抑制するとともに、調光板の光透過率を調整することにより、使用者の眼に入る外光量を調節し、虚像の視認のし易さを調整することができる。なお、調光板は省略可能である。
【００２４】
画像表示部２０は、更に、右耳用の右イヤホン３２及び左耳用の左イヤホン３４及びを有する。右イヤホン３２及び左イヤホン３４は、使用者が画像表示部２０を装着した再に、それぞれ右及び左の耳に装着される。
【００２５】
画像表示部２０は、更に、画像表示部２０を制御部１０に接続するための接続部４０を備える。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２及び左コード４４と、分岐部に設けられた連結部材４６とを含んでいる。右コード４２は右表示駆動部２２に接続されており、左コード４４は左表示駆動部２４に接続されている。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とを接続／切り離しを行うことができる。本体コード４８、右コード４２及び左コード４４には、金属ケーブルや光ファイバーを採用することができる。
【００２６】
制御部１０は、頭部装着型表示装置１００に電源を供給し、画像表示部２０を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含む。点灯部１２は、画像表示部２０の動作状態（例えば、電源のＯＮ／ＯＦＦ状態）を、その発光状態によって通知する。点灯部１２としては、ＬＥＤ等の光源を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号（操作情報）を出力する。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号（操作情報）を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。
【００２７】
図２は、頭部装着型表示装置１００の構成を機能的に示す機能ブロック図である。制御部１０は、操作部１１０（本実施形態では、タッチパッド１４、十字キー１６、電源スイッチ１８）と、記憶部１２０と、電源１３０と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１、５２とを備え、各部は図示しないバスにより相互に接続されている。
【００２８】
記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等を含む記憶部である。電源１３０は、頭部装着型表示装置１００の各部に電源を供給する。電源１３０としては、例えば二次電池を用いることができる。
【００２９】
ＣＰＵ１４０は、予めインストールされたプログラムを実行することで、オペレーティングシステム（ＯＳ）１５０として機能を提供する。また、ＣＰＵ１４０は、ＲＯＭやハードディスクに格納されているファームウェアやコンピュータープログラムをＲＡＭに展開して実行することにより、画像処理部１６０、音声処理部１７０、表示制御部１９０、位置検出部１９２、通信処理部１９４としても機能する。
【００３０】
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡ（例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末）や、遠隔操作の対象となる種々の外部機器ＯＡ（例えば、テレビや空調機器（エアコン）、照明機器等）を接続するためのインターフェイスである。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、メモリーカード用インターフェイス、無線ＬＡＮインターフェイス等を備える。コンテンツとは、画像（静止画像、動画像）や音声等からなる情報内容を意味する。
【００３１】
画像処理部１６０は、インターフェイス１８０を介して入力されるコンテンツに基づき、クロック信号、垂直同期信号、水平同期信号、画像データーを生成し、接続部４０を介してこれらの信号を画像表示部２０に供給する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号や水平同期信号等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号や水平同期信号の周期に応じて、ＰＬＬ回路（図示省略）等を利用してクロック信号を生成する。
【００３２】
画像処理部１６０は、同期信号が分離されたアナログ信号を、Ａ／Ｄ変換器（図示省略
）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データー（ＲＧＢデーター）として、１フレーム毎に記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データーに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
【００３３】
画像処理部１６０は、生成したクロック信号、垂直同期信号、水平同期信号、記憶部１２０内のＤＲＡＭに格納された画像データーとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーを「右眼用画像データー」と呼び、送信部５２を介して送信される画像データーを「左眼用画像データー」と呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。画像処理部１６０は、ＯＳ１５０にインストールされた各種アプリケーションの処理結果に応じて画像を生成し、生成した画像を送信部５１、５２を介してそれぞれ送信してもよい。特に、本実施形態の画像処理部１６０は、遠隔操作の対象となる種々の外部機器ＯＡに関する情報を含む画像を生成し、生成した画像を送信部５１、５２を介して右眼用画像データー、左眼用画像データーとしてそれぞれ送信する。
【００３４】
表示制御部１９０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを、個別に制御することにより、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。
【００３５】
表示制御部１９０は、右ＬＣＤ制御部２１１及び左ＬＣＤ制御部２１２に対する制御信号を送信部５１、５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１及び左バックライト制御部２０２に対する制御信号を送信部５１、５２を介してそれぞれ送信する。
【００３６】
位置検出部１９２（検出部）は、画像表示部２０に設けられた撮像部６０からの画像データー（撮像画像）を接続部４０を介して取得し、取得した撮像画像内に存在する外部機器ＯＡ（外界像として視認され、遠隔操作の対象となる外部機器ＯＡ）を特定（識別）し、特定（識別）した外部機器の撮像画像における位置を検出する。例えば、位置検出部１９２は、遠隔操作の対象となる外部機器ＯＡに設けられたＬＥＤ発光部や２次元バーコード等の識別マーカーを撮像画像から検出することで、当該外部機器ＯＡの識別と位置の検出とを行う。
【００３７】
画像処理部１６０は、遠隔操作の対象となる外部機器ＯＡに関する情報（例えば、外部機器ＯＡの状態を表す情報や、外部機器ＯＡにおいて操作可能なコマンドに関する情報）を、位置検出部１９２で検出された位置に対応する位置に表示する画像を生成する。また、画像処理部１６０は、遠隔操作の対象となる外部機器ＯＡに関する情報を表示する領域以外の領域が黒画素である画像を生成する。
【００３８】
通信処理部１９４は、遠隔操作の対象となる外部機器ＯＡに関する情報を当該外部機器ＯＡからインターフェイス１８０（例えば、無線ＬＡＮインターフェイス）を介して受信する受信部、及び、遠隔操作の対象となる外部機器ＯＡに対して所与のコマンドをインターフェイス１８０（例えば、無線ＬＡＮインターフェイス）を介して送信する送信部として機能する。通信処理部１９４は、外部機器ＯＡに関する情報として、外部機器ＯＡの状態を表す情報や、外部機器ＯＡにおいて操作可能なコマンドに関する情報を受信する。また、通信処理部１９４は、外部機器ＯＡにおいて操作可能なコマンドのうち、操作部１１０からの操作情報に基づき選択したコマンドを、当該外部機器ＯＡに送信する。
【００３９】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し（或いは、ＯＳ１５０にインストールされた各種アプリケーションの処理結果に応じて音声信号を生成し）、取得／生成した音声信号を増幅して、画像表示部２０の右イヤホン３２及び左イヤホン３４に接続部４０を介して供給する。
【００４０】
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６を構成する右導光板２６１と、左光学像表示部２８を構成する左導光板２６２と、撮像部６０と、右イヤホン３２と、左イヤホン３４とを備えている。
【００４１】
右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１及び右バックライト２２１と、表示素子として機能する右ＬＣＤ制御部２１１及び右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」と呼ぶ。
【００４２】
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する機能を有する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号と、垂直同期信号と、水平同期信号と、右眼用画像データーとに基づいて、右ＬＣＤ２４１を駆動する機能を有する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。画像光生成部は、右ＬＣＤ２４１のマトリクス状に配置された各画素位置に対応する液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を画像を表す有効な画像光へと変調する機能を有する。なお、本実施形態の画像光生成部ではバックライト方式を採用しているが、フロントライト方式や反射方式を用いて画像光を生成する構成としてもよい。右投写光学系２５１は、右ＬＣＤから射出された画像光を平行状態の光束にするコリメートレンズにより構成される。右導光板２６１は、右投写光学系２５１から射出された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と、右導光板２６１とを総称して「導光部」と呼ぶ。
【００４３】
左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２及び左バックライト２２２と、表示素子として機能する左ＬＣＤ制御部２１２及び左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して「画像光生成部」と呼ぶ。また、左投写光学系２５２と、左導光板２６２とを総称して「導光部」と呼ぶ。右表示駆動部２２と左表示駆動部２４とは対になっており、左表示駆動部２４の各部は、右表示駆動部２２で説明した各部と同様の構成及び機能を有するため、詳細な説明は省略する。左導光板２６２は、左投写光学系２５２から射出された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。
【００４４】
撮像部６０は、使用者の視野方向を撮像し、画像データー（撮像画像）を接続部４０を介して位置検出部１９２に出力するものである。撮像部６０は、撮像レンズ等の光学系と、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサー等の２次元イメージセンサーで構成される。
【００４５】
図３は、使用者に視認される虚像の一例を示す説明図である。上述のようにして、頭部装着型表示装置１００を装着した使用者の両眼に導かれた画像光が使用者の両眼の網膜に結像することにより、使用者は虚像を視認することができる。図４に示すように、頭部装着型表示装置１００の使用者の視野ＶＲ内には、虚像ＶＩが表示される。また、使用者の視野ＶＲのうち、虚像ＶＩが表示された部分以外については、使用者は、右光学像表示部２６及び左光学像表示部２８を透過して、外景ＳＣ（外界像）を見ることができる。なお、本実施形態の頭部装着型表示装置１００では、使用者の視野ＶＲの内の虚像ＶＩが表示された部分についても、虚像ＶＩの背後に外景ＳＣが透けて見えるように構成されている。すなわち、本実施形態の頭部装着型表示装置１００では、使用者が虚像ＶＩと外景ＳＣ（外界像）とを視認可能に構成され、且つ、視野ＶＲの内の虚像ＶＩが表示された部分については、使用者が虚像ＶＩと外景ＳＣ（外界像）とを重畳した状態で視認可能に構成されている。
【００４６】
２．本実施形態の手法
図４（Ａ）は、使用者の視野方向を撮像する撮像部６０によって撮像された撮像画像の一例を示す図である。
【００４７】
図４（Ａ）に示す撮像画像ＣＩには、頭部装着型表示装置１００による遠隔操作の対象となる４つの外部機器ＯＡ１〜ＯＡ４が存在している。外部機器ＯＡ１は照明機器であり、外部機器ＯＡ２は空調機器であり、外部機器ＯＡ３はテレビであり、外部機器ＯＡ４は、録画機器である。外部機器ＯＡ１〜ＯＡ４には、それぞれ固有の発光パターンで発光する発光部ＬＤ（例えば、ＬＥＤ光源）が設けられている。各発光部ＬＤは、各外部機器ＯＡ１〜ＯＡ４が、頭部装着型表示装置１００の制御部１０から送信されたコマンドを受信した場合に発光するようにしてもよいし、常時発光するようにしてもよい。
【００４８】
位置検出部１９２は、撮像画像ＣＩに表れる各発光部ＬＤの発光パターンを検出することで、各外部機器ＯＡ１〜ＯＡ４を識別し、撮像画像ＣＩにおける各発光部ＬＤの位置を検出することで、撮像画像ＣＩにおける各外部機器ＯＡ１〜ＯＡ４の位置（すなわち、使用者の視野における各外部機器ＯＡ１〜ＯＡ４の位置）を検出する。
【００４９】
図４（Ｂ）は、画像処理部１６０が外部機器に関する情報を含む画像を生成した場合の右ＬＣＤ２４１（及び左ＬＣＤ２４２）の表示面を示す図であり、図５は、そのときに使用者に視認される虚像と外界像を示す図である。
【００５０】
図４（Ｂ）に示す右ＬＣＤ２４１の画像表示領域ＡＤでは、各外部機器ＯＡ１〜ＯＡ４に関する情報を表す画像ＣＭ１〜ＣＭ４が、位置検出部１９２で検出された各外部機器ＯＡ１〜ＯＡ４の位置に対応する位置に形成されている。具体的には、画像表示領域ＡＤでは、外部機器ＯＡ１で操作可能なコマンド（スイッチのＯＮ／ＯＦＦ）を表す画像ＣＭ１と、外部機器ＯＡ２の状態（設定温度）を表す画像ＣＭ２と、外部機器ＯＡ３の状態（視聴中のチャンネル）を表す画像が画像ＣＭ３と、外部機器ＯＡ４で操作可能なコマンド（動画ファイルの再生／検索）を表す画像ＣＭ４が形成されている。なお、画像表示領域ＡＤにおいて画像ＣＭ１〜ＣＭ４が形成される領域以外の領域には黒画素が形成されている。また、撮像画像ＣＩにおける位置と、画像表示領域ＡＤにおける位置との関係（撮像画像ＣＩ上の位置に対応する画像表示領域ＡＤ上の位置）は、予めキャリブレーションされており、各画像ＣＭ１〜ＣＭ４は、位置検出部１９２で検出された位置と、この位置関係とに基づき配置される。
【００５１】
このとき、図５に示すように、使用者の視野ＶＲ内の虚像表示領域ＡＩには、図４（Ｂ）の画像ＣＭ１〜ＣＭ４に対応する虚像ＶＩ１〜ＶＩ４が表示される。また、虚像表示領域ＡＩのうち、右ＬＣＤ２４１上で黒画素が形成される領域に対応する領域には虚像が表示されず、この領域において使用者は外景ＳＣ（外界像）を見ることができる。そして、虚像ＶＩ１〜ＶＩ４は、外景ＳＣとして視認される外部機器ＯＡ１〜ＯＡ４の近傍に表示される。
【００５２】
このように、本実施形態の頭部装着型表示装置１００では、外景ＳＣと重畳する虚像表示領域ＡＩにおいて、外景ＳＣとして視認される外部機器ＯＡ１〜ＯＡ４に対応付けて、外部機器ＯＡ１〜ＯＡ４に関する情報（状態又は操作可能なコマンドを表す画像）を虚像ＶＩ１〜ＶＩ４として表示する。これにより、使用者は、視野ＶＲ内に存在する外部機器ＯＡ１〜ＯＡ４に関する情報をより直感的に認識することができる。
【００５３】
また、虚像ＶＩ１、ＶＩ４のように、外部機器ＯＡ１、ＯＡ４に関する情報として操作可能なコマンドを表す画像が表示されている場合には、使用者は、操作部１１０を操作することで当該虚像ＶＩ１、ＶＩ４に表示されているコマンドを選択して、外部機器ＯＡ１、ＯＡ４を遠隔操作することができる。例えば、使用者が、外部機器ＯＡ４の近傍に表示された虚像ＶＩ４を見ながら、十字キー１６或いはタッチパッド１４を操作して、「再生コマンド」を選択する操作を行うと、当該コマンドが生成されて外部機器ＯＡ４に送信され、外部機器ＯＡ４において「再生コマンド」が実行される。このように、使用者は視野ＶＲ内に存在する外部機器をより直感的に操作することもできる。
【００５４】
なお、虚像表示領域ＡＩにおいて、外景ＳＣとして視認される外部機器ＯＡ１〜ＯＡ４の近傍には、各外部機器の名称を表す画像のみを表示し、虚像表示領域ＡＩの例えば下部領域に、各外部機器の状態又は操作可能なコマンドをリスト表示してもよい。
【００５５】
図６に示すように、使用者の視野ＶＲが変化した場合、撮像部６０で撮像される撮像画像ＣＩ内で検出される各外部機器の位置も変化するため、視野ＶＲ内の外部機器ＯＡ１〜ＯＡ３の位置の変化に追随して、虚像表示領域ＡＩ内の虚像ＶＩ１〜ＶＩ３の表示位置も変化する。なお、図６においては、外部機器ＯＡ２が視野ＶＲから外れために、外部機器ＯＡ２に対応する虚像ＶＩ２が表示されていないが、このような場合でも、履歴情報として虚像ＶＩ２を表示し続けてもよい。
【００５６】
本発明は、上述した実施形態に限定されるものではなく、種々の変形が可能である。例えば、本発明は、実施形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。
【００５７】
例えば、上記実施形態では、外部機器ＯＡに設けた発光部ＬＤの発光パターンから外部機器ＯＡを識別し、外部機器ＯＡの状態や操作可能なコマンドに関する情報については無線ＬＡＮ等を介して取得する場合について説明したが、外部機器ＯＡの状態や操作可能なコマンドに関する情報についても、発光部ＬＤの発光パターンを検出することで取得してもよい。
【００５８】
また、上記実施形態では、常に撮像画像ＣＩに基づき使用者の視野における外部機器ＯＡの位置を検出する場合について説明したが、画像表示部２０に、画像表示部２０の動き（すなわち、使用者の頭部の動き）を検出する慣性センサー（例えば、加速度センサーや角速度センサー）を設けておき、最初に、撮像画像ＣＩに基づき使用者の視野における外部機器ＯＡの位置を検出した以降は、当該慣性センサーからの検出データーに基づき使用者の視野における外部機器ＯＡの位置を検出するように構成してもよい。
【００５９】
また、上記実施形態では、画像光生成部を、液晶パネルとバックライトで構成し、生成した画像光を導光部によって使用者の眼に導くように構成する場合について説明したが、本発明は、これに限られない。例えば、図７に示すように、画像光生成部（画像表示部２０）を、信号光を形成するとともに当該信号光を走査光ＳＬとして射出する光射出部３１０と、走査光ＳＬを受けて画像光ＰＬを形成する被照射部材である虚像形成部３２０とで構成してもよい。図７に示すように、光射出部３１０は、使用者の鼻ＮＳ周辺に配置され、虚像形成部３２０は、使用者の眼ＲＥの前方を覆うように配置されている。光射出部３１０は、画像に対応して変調された信号光を形成する信号光変調部３１１と、信号光を走査光ＳＬとして虚像形成部３２０において２次元走査させる走査光学系３１２と、図示しない駆動制御回路を有する。信号光変調部３１１は、例えば、赤、青、黄色の各色光を発生する３つの光源と、各色光を合成して信号光を形成するダイクロイックミラーとで構成され、走査光学系３１２は、例えば、ＭＥＭＳミラーで構成される。虚像形成部３２０は、透明基板上に半透過反射膜を有して構成されるハーフミラーであり、走査光学系３１２から照射された走査光ＳＬを受け、これを反射することで虚像を形成し、使用者に視認させる。虚像形成部３２０は、虚像を形成するだけでなく、外界光ＯＬを透過させ、使用者が虚像と外界像とを同時に視認可能に構成されている。
【００６０】
また、画像光生成部（画像表示部２０）を、３面以上の非軸対称な曲面を含むプリズム（導光プリズム）と、画像光を前記プリズムに入射させる投射レンズとで構成し、前記投射レンズを含む光学系を、前記プリズムの内部に中間像を形成するリレー光学系として構成してもよい。そして、画像光が前記プリズムの第３面、第１面、第２面の順に反射された後、第１面を透過して使用者に到達し、外界光が前記プリズムの第１面と第３面とを通過して使用者に到達するように構成してもよい。
【００６１】
また、導光部に画像光を入射させる光入射部と、導光部によって導かれた画像光を外部に射出させる光射出部のそれぞれに、反射型体積ホログラムを設けて画像光を回折反射させるように構成してもよい。
【符号の説明】
【００６２】
１０  制御部、１２  点灯部、１４  タッチパッド、１６  十字キー、１８  電源スイッチ、２０  画像表示部、２１  耳掛部、２２  右表示駆動部、２４  左表示駆動部、２６  右光学像表示部、２８  左光学像表示部、３２  右イヤホン、３４  左イヤホン、４０  接続部、４２  右コード、４４  左コード、４６  連結部材、４８  本体コード、５１，５２  送信部、５３，５４  受信部、６０  撮像部、１００  頭部装着型表示装置、１１０  操作部、１２０  記憶部、１３０  電源、１６０  画像処理部、１７０  音声処理部、１８０  インターフェイス、１９０  表示制御部、１９２  位置検出部（検出部）、１９４  通信処理部、２０１  右バックライト制御部、２０２  左バックライト制御部、２１１  右ＬＣＤ制御部、２１２  左ＬＣＤ制御部、２２１  右バックライト、２２２  左バックライト、２４１  右ＬＣＤ、２４２  左ＬＣＤ、２５１  右投写光学系、２５２  左投写光学系、２６１  右導光板、２６２  左導光板、３１０  光射出部、３１１  信号光変調部、３１２  走査光学系、３２０  虚像形成部
【図１】
2013205920.tif 000003
【図２】
2013205920.tif 000004
【図３】
2013205920.tif 000005
【図４】
2013205920.tif 000006
【図５】
2013205920.tif 000007
【図６】
2013205920.tif 000008
【図７】
2013205920.tif 000009