(57)【要約】【課題】撮像部を備え、撮像部の動きを検出することが可能な表示装置、表示装置の制御方法、及び、プログラムを提供する。【解決手段】表示装置を構成する虚像表示装置１は、外景を視認可能に、画像を表示する表示部３を備える。虚像表示装置１は、表示部３を通して視認される範囲に重なる撮像範囲を撮像する撮像部２３を備える。虚像表示装置１は、少なくとも１つの可動部を有し、撮像部２３を表示部３に連結する連結部を備え、制御部により、撮像部２３の撮像画像に基づいて撮像部２３と表示部３との相対位置関係を検出する。【選択図】図２
2016219897.tif 000002
【特許請求の範囲】
【請求項１】
外景を視認可能に、画像を表示する表示部と、
前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、
少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、
前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する制御部と、
を備えることを特徴とする表示装置。
【請求項２】
前記制御部は、前記撮像画像における前記撮像部の位置と前記表示部の位置とに基づいて、前記撮像部と前記表示部との相対位置関係を検出すること、
を特徴とする請求項１記載の表示装置。
【請求項３】
使用者が装着する装着型表示装置として構成され、
前記制御部によって前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する位置検出処理が行われる際に、前記撮像部で鏡を撮像するよう前記使用者に案内を行うこと、
を特徴とする請求項１または２記載の表示装置。
【請求項４】
前記制御部は、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出し、検出した相対位置関係に基づき、前記表示部における画像の表示位置の調整に係る調整データを生成すること、
を特徴とする請求項１から３のいずれかに記載の表示装置。
【請求項５】
外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、を有する表示装置を制御して、
前記撮像部に撮像を実行させ、
前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出すること、
を特徴とする表示装置の制御方法。
【請求項６】
外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、を有する表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターを、
前記撮像部に撮像を実行させ、
前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する制御部として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示装置の制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来、使用者（ユーザー）の頭部に装着されるＨＭＤ（Head Mounted Display）等の表示装置が知られている（例えば、特許文献１参照）。この種の表示装置において、ビデオカメラ等の撮像部を備え、撮影画像を表示に利用するものがあった。例えば、特許文献１記載のＨＭＤは、撮像部をＨＭＤに対して上下方向に動かすスライダーを具備する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３８３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の構成ではユーザーがビデオカメラを動かして、表示するＣＧの視点を変化させる。これに対し、撮像部が動いても表示画像を変化させないようにする場合、撮像部の動きを検出する必要がある。撮像部の動きを検出する方法として、特許文献１には、撮像部からの映像を画像解析して位置姿勢を求める等の記載があるが、単に画像を解析するだけでは正確な検出はできない。
本発明は、上記課題に鑑みてなされたものであり、撮像部を備え、撮像部の動きを検出することが可能な表示装置、表示装置の制御方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の表示装置は、外景を視認可能に、画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する制御部と、を備えることを特徴とする。
本発明によれば、撮像部が動かされた場合であっても、撮像部と表示部とを撮像可能な環境において、撮像画像に基づき、移動後の撮像部の位置を検出できる。
【０００６】
また、本発明は、上記表示装置において、前記制御部は、前記撮像画像における前記撮像部の位置と前記表示部の位置とに基づいて、前記撮像部と前記表示部との相対位置関係を検出すること、を特徴とする。
本発明によれば、撮像部と表示部とが撮像画像に写るように撮像を行うことで、容易に撮像部の位置を検出できる。
【０００７】
また、本発明は、上記表示装置において、使用者が装着する装着型表示装置として構成され、前記制御部によって前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する位置検出処理が行われる際に、前記撮像部で鏡を撮像するよう前記使用者に案内を行うこと、を特徴とする。
本発明によれば、使用者に対して、撮像部の位置を検出するために必要な動作を案内することで、使用者に複雑な操作を行わせることなく、容易に撮像部の位置を検出できる。
【０００８】
また、本発明は、上記表示装置において、前記制御部は、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出し、検出した相対位置関係に基づき、前記表示部における画像の表示位置の調整に係る調整データを生成すること、を特徴とする。
本発明によれば、撮像部の変位に対応して、画像の表示位置等を制御できる。
【０００９】
また、上記課題を解決するため、本発明の表示装置の制御方法は、上記表示装置において、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、を有する表示装置を制御して、前記撮像部に撮像を実行させ、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出すること、を特徴とする。
本発明によれば、撮像部が動かされた場合であっても、撮像部と表示部とを撮像可能な環境において、撮像画像に基づき、移動後の撮像部の位置を検出できる。
【００１０】
また、上記課題を解決するため、本発明は、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、を有する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記撮像部に撮像を実行させ、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する制御部として機能させるプログラムである。
本発明によれば、撮像部が動かされた場合であっても、撮像部と表示部とを撮像可能な環境において、撮像画像に基づき、移動後の撮像部の位置を検出できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係るＨＭＤを示す斜視図。
【図２】上記実施形態における虚像表示装置を示す斜視図。
【図３】上記実施形態における虚像表示装置を示す斜視図。
【図４】上記実施形態における虚像表示装置を示す上面図。
【図５】上記実施形態における虚像表示装置を示す側面図。
【図６】上記実施形態におけるアーム部及び表示部を示す斜視図。
【図７】上記実施形態における虚像表示装置を示す側面図。
【図８】上記実施形態における虚像表示装置を示す側面図。
【図９】ＨＭＤの機能ブロック図。
【図１０】ＨＭＤの制御の説明図であり、（Ａ）はＡＲ表示の例を示し、（Ｂ）は位置検出の様子を示し、（Ｃ）は位置検出における撮像画像の例を示す。
【図１１】ＨＭＤの動作を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態を、図面に基づいて説明する。
［虚像表示装置の概略構成］
図１は、本実施形態に係るＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００の構成を示す斜視図であり、虚像表示装置１が使用者に装着された状態を示す。また、図２及び図３は、虚像表示装置１を正面側及び背面側から見た斜視図である。換言すると、図２は、虚像表示装置１を使用者側とは反対側から見た斜視図であり、図３は、使用者側から見た斜視図である。
【００１３】
ＨＭＤ１００（表示装置）は、使用者（観察者、ユーザー）ＵＳの頭部に装着された状態で使用者に虚像を視認させる虚像表示装置１と、虚像表示装置１を制御する制御装置３００と、を備えている。制御装置３００は、使用者がＨＭＤ１００を操作するコントローラーとしても機能する。本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」と呼ぶ。また、画像データに基づいて生成された画像光を虚像表示装置１が射出することを「画像を表示する」ともいう。
【００１４】
虚像表示装置１は、ケーブルＣＢで制御装置３００に接続される。ケーブルＣＢは、制御装置３００から虚像表示装置１へ電源を供給する電源ケーブル（図示略）、及び、虚像表示装置１と制御装置３００とが各種データを送受信するデータ通信ケーブル（図示略）を内蔵する。
また、制御装置３００には、ケーブルＣＢと分岐するオーディオケーブルＣＯが接続する。オーディオケーブルＣＯは、右イヤホン３３及び左イヤホン３４と、マイク６３とが接続される。右イヤホン３３及び左イヤホン３４は、音声処理部１８７（図９）が出力する音声信号に基づき音声を出力する。
【００１５】
マイク６３は、音声を集音して、音声信号を後述する音声処理部１８７（図９）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
ここで、虚像表示装置１が電池等の電源を有する場合には、虚像表示装置１と制御装置３００とを無線通信により接続することも可能である。
【００１６】
虚像表示装置１は、詳しくは、観察者によって視認可能に虚像を表示するとともに、外光を透過させて外界（外景）を観察可能とするシースルー型の表示装置である。この虚像表示装置１は、図１〜図３に示すように、使用者の頭部又は頭部に装着されたヘルメット等に装着される本体部としてのヘッドバンド部２と、虚像を表示する表示部３と、ヘッドバンド部２に対して回動可能に取り付けられ、これらヘッドバンド部２及び表示部３を接続する一対のアーム部４と、表示部３をアーム部４に対して移動させる移動機構５（図６参照）とを備える。
【００１７】
なお、以下の説明において、Ｚ方向は、虚像表示装置１を装着した使用者が正面を向いた場合の視方向であり、Ｘ方向及びＹ方向は、当該Ｚ方向に直交し、かつ、互いに直交する方向である。これらのうち、Ｘ方向は、虚像表示装置１を装着した使用者から見て左から右に向かう方向であり、Ｙ方向は、当該使用者から見て下から上に向う方向である。更に、Ｚ方向側とは、Ｚ方向における下流側（Ｚ方向先端側）を指し、Ｚ方向とは反対側とは、Ｚ方向における上流側（Ｚ方向基端側）を指す。他の方向も同様である。
【００１８】
［ヘッドバンド部の構成］
ヘッドバンド部２は、後述するアーム部４の一端が取り付けられるとともに、虚像表示装置１における機能の一部を制御するものである。
このヘッドバンド部２は、使用者ＵＳの頭部に沿う円弧状の外形を有し、図２に示すように、使用者ＵＳの頭部に沿って配置される本体ケース２１と、当該ヘッドバンド部２を使用者ＵＳの頭部やヘルメット等の固定部位に固定する固定部としてのバンド２２と、撮像部２３と、制御基板２４とを有する。なお、固定部位は、使用者ＵＳの頭部（詳しくは、眉及び耳を通る頭部の外周線より上側の部位）に応じた位置であり、頭部とヘッドバンド部２との間にヘルメット等が介在していてもよい。
制御基板２４は、ケーブルＣＢにより制御装置３００に接続される。制御基板２４は、撮像部２３及び撮像部２３に付随する回路（図示略）、及び、９軸センサー２３８（図９）を実装する。
【００１９】
図４は、虚像表示装置１をＹ方向とは反対方向から見た平面図である。また、図５は、虚像表示装置１をＸ方向から見た側面図である。
本体ケース２１は、図４に示すように、使用者ＵＳ（図４における点線で輪郭を示す使用者ＵＳ）の前額部に沿って配置され、頭部にバンド２２によって固定される。この本体ケース２１は、上記制御基板２４（図２参照）やケーブルＣＢ等を内部に収納し、かつ、撮像部２３やアーム部４を支持する筐体である。
この本体ケース２１は、使用者ＵＳの前額部及び側頭部の形状に沿う略半円形状（略Ｕ字状）の外形を有する。すなわち、本体ケース２１において、使用者ＵＳの前額部から側頭部に対向する内面２１１は、Ｙ方向側から見て、使用者ＵＳの頭部に沿って湾曲している。
また、図５に示すように、本体ケース２１の円弧状の両端近傍には、それぞれのアーム部４の一端を回動可能に軸支する回動軸部２５が設けられている。なお、後に詳述するが、各アーム部４における当該一端は、本体ケース２１の内部に配置されている。
【００２０】
バンド２２は、当該本体ケース２１を使用者ＵＳの頭部に固定する。このバンド２２は、図４に示すように、本体ケース２１の内面２１１に取り付けられるバンド本体２２１と、バンド本体２２１に取り付けられる帯部２２２とを有する。
バンド本体２２１は、図３及び図４に示すように、両端に帯部２２２を取り付ける環状部２２１Ａを有する。
帯部２２２は、図４に示すように、バンド本体２２１の両端の環状部２２１Ａに取り付けられ、バンド本体２２１とともに環状のバンド２２を構成する。帯部２２２は、例えば、伸縮性を有する帯状の部材で形成される。この帯部２２２が、バンド本体２２１側に向かって使用者ＵＳの頭部やヘルメット等の装着対象を押圧することにより、バンド２２ひいてはヘッドバンド部２が、使用者ＵＳの頭部に固定される。
【００２１】
撮像部２３は、図２及び図４に示すように、本体ケース２１において上記内面２１１とは反対側に位置する外面２１２における略中央に配置されており、使用者ＵＳの前方、すなわち、当該使用者ＵＳの視野における一部の領域を撮像する。この撮像部２３は、図２に示すように、ステレオカメラ２３１と、外光の照度を検出する照度センサー２３２と、ＬＥＤ２３３と、これらを内部に収納するモジュール筐体２３４とを備える。なお、ＬＥＤ２３３は、例えば、虚像表示装置１の駆動時に点灯され、非駆動時に消灯されるパワーインジケーターとして機能する。
【００２２】
モジュール筐体２３４は、図２に示すように、Ｚ方向側の面に、透光性部材によって覆われた窓部２３５を有し、上記ステレオカメラ２３１は、当該窓部２３５を介して外部を撮像する他、上記照度センサー２３２は、窓部２３５を介して入射される外光の照度を検出する。
また、モジュール筐体２３４のＸ方向に交差する側面２３４Ａには、当該側面２３４ＡからＸ方向に沿って突出する回動軸部２３６が設けられている。詳述すると、回動軸部２３６は、側面２３４ＡにおけるＹ方向とは反対側の位置に突設されている。この回動軸部２３６は、モジュール筐体２３４が配置される本体ケース２１の凹部２１３に設けられた軸受け部（図示省略）によって支持されている。これら回動軸部２３６及び軸受け部等により、本発明の調整機構が構成される。なお、図２では、２つの側面２３４ＡのＸ方向の基端側における回動軸部２３６のみを図示しているが、Ｘ方向の先端側の側面の対応する位置にも回動軸部が設けられている。
このようなモジュール筐体２３４は、回動軸部２３６によって規定されるＸ方向に平行な回動軸Ｒ１を中心として所定範囲内にて回動可能である。このため、本体ケース２１に対するモジュール筐体２３４の姿勢を調整することにより、ステレオカメラ２３１の撮像方向（すなわち、撮像部２３による撮像方向）を調整できる。
【００２３】
［表示部の構成］
表示部３は、入力される画像情報に応じた画像を形成して、当該画像を虚像として使用者に視認させる。この表示部３は、使用者の右眼と左眼のそれぞれに対して配置される一対の光学装置３１（左眼用及び右眼用光学装置を、それぞれ３１Ｌ，３１Ｒとする）と、一対の光学装置３１を保持する略Ｕ字状のフレーム部３２とを備える。一対の光学装置３１のうちの左眼用光学装置３１Ｌは、ハーフミラーを含む導光部材３１３Ｌを有し、右眼用光学装置３１Ｒは、ハーフミラーを含む導光部材３１３Ｒを有する。なお、左眼用光学装置３１Ｌと、右眼用光学装置３１Ｒとは、互いに鏡面対称の関係を有する。
【００２４】
図６は、カバー部材３１１の一部を除き、光学装置３１の内部を示す図である。
一対の光学装置３１のそれぞれは、カバー部材３１１と、光学ユニット３１２（図６参照）と、導光部材３１３（図３参照）とを有する。
カバー部材３１１は、光学ユニット３１２を内部に収納する筐体である。
光学ユニット３１２は、カバー部材３１１の内部に配置されており、後述する画像生成部２０が生成する画像光を、対応する導光部材３１３に出射する。
【００２５】
導光部材３１３（右眼用及び左眼用の導光部材を、それぞれ３１３Ｒ，３１３Ｌとする）は、使用者ＵＳの眼に応じた位置に配置される。この導光部材３１３は、内部に、ハーフミラーの形態を有する半透過層（半反射層）が形成されており、当該半透過層を介して外界を観察可能に構成されている他、上記光学ユニット３１２から出射されて当該半透過層にて反射された画像光が眼に入射されることにより虚像が視認される。このような導光部材３１３は、可視光領域で高い光透過性を示す樹脂（例えばシクロオレフィンポリマー）により主に形成される。
【００２６】
光学装置３１Ｒ，３１Ｌには、光学ユニット３１２に画像光を送出する画像生成部２０Ｒ、２０Ｌがそれぞれ配置される。画像生成部２０Ｒ、２０Ｌには、画像情報（画像信号）を出力するケーブルＣＲが接続されており、当該ケーブルＣＲは、図３及び図６に示すように、カバー部材３１１外に延出した後、図５に示すように、アーム部４内に挿入される。画像生成部２０（画像生成部２０Ｒ、２０Ｌ）は、図９を参照して後述するように、制御装置３００（図１）の制御により発光する光源としてのバックライト、及び、制御装置３００が出力する画像信号に基づき画像光を生成するＬＣＤ等を備える。画像生成部２０が生成する画像光は光学ユニット３１２に入射され、光学ユニット３１２から導光部材３１３を経て使用者の眼球に照射される。
【００２７】
フレーム部３２は、Ｙ方向の先端側において、一対の光学装置３１を保持する。このフレーム部３２のＸ方向の基端側には、左眼用光学装置３１Ｌが固定され、Ｘ方向の先端側には、右眼用光学装置３１Ｒが固定される。
【００２８】
［アーム部の構成］
一対のアーム部４は、図２及び図３に示したように、ヘッドバンド部２の本体ケース２１と、表示部３の各カバー部材３１１とを接続するとともに、当該本体ケース２１に対して回動可能に構成されている。これらアーム部４における本体ケース２１側の端部は、図５に示すように、当該本体ケース２１の下面２１４（Ｙ方向とは反対側の面２１４）に形成された開口部２１４Ａを介して、本体ケース２１の内に回動自在に支持されている。これらアーム部４は、それぞれ、第１端部４１及び第２端部４２を有する。
【００２９】
第１端部４１は、アーム部４においてＺ方向とは反対側の端部であり、Ｘ方向側から見た場合に、略円形状に形成されている。この第１端部４１は、上記開口部２１４Ａを挿通して、本体ケース２１内にて回動軸部２５によって軸支されている。このため、アーム部４は、当該第１端部４１の軸支位置を通り、かつ、Ｘ方向に平行な回動軸Ｒ２を中心とする所定範囲で回動可能である。
【００３０】
第２端部４２は、アーム部４においてＺ方向側の端部であり、当該第２端部４２には、後述する移動機構５を構成するスライド部材５２が設けられている。このスライド部材５２は、当該移動機構５を構成し、表示部３のカバー部材３１１内に配置されたガイドレール５１と係合しており、これにより、第２端部４２と表示部３とが接続される。
【００３１】
図７は、表示部３及びアーム部４が回動する様子を示す図である。図７では、図５に示す状態から、Ｘ軸に平行、すなわち視方向に略直交する回動軸Ｒ２を中心に時計回りにアーム部４が回転された場合を示す。
本実施形態では、図７に示すように、アーム部４は、表示部３及びアーム部４のいずれかがヘッドバンド部２と接触するまで、当該ヘッドバンド部２側に上記回動軸Ｒ２を中心として、図中に矢印ＲＡで示す方向に回動可能である。一方、アーム部４は、開口部２１４ＡのＺ方向とは反対側の端部と、アーム部４とが接触するまで、上記とは逆方向すなわち図中に矢印ＲＢで示す方向に回動可能である。
【００３２】
このようにアーム部４を回動させることにより、表示部３の位置や角度を調整でき、図７に示すように、虚像を視認しづらくなる位置、すなわち、外界（使用者ＵＳの周囲）を観察しやすい位置に当該表示部３を移動させることができる。また、使用者が、表示部３で表示される画像を視認しなくてよいとき等に、アーム部４を回動させて表示部３をＲＡ方向に動かすことで、使用者の視界から表示部３を退避させることができる。
【００３３】
また、虚像表示装置１は、ヘッドバンド部２と表示部３とを別体とし、アーム部４により連結した構成を有する。この構成により、虚像表示装置１の荷重による使用者への負荷を軽減している。すなわち、虚像表示装置１は、ヘッドバンド部２により使用者の頭部に装着されるので、使用者は虚像表示装置１の荷重を頭部で支えればよく、使用者は鼻や耳で荷重を受け止めなくて良いので、負担感が軽い。このような構成でありながら、虚像表示装置１は、使用者の眼前に表示部３を位置させて、後述するＡＲ（Augmented Reality：拡張現実）表示を行うことができる。また、ヘッドバンド部２は使用者の頭部に直接接触する必要はなく、例えば使用者が保護帽の上から虚像表示装置１を装着できる。
【００３４】
なお、上記表示部３からアーム部４内に挿入されたケーブルＣＲ（図６参照）は、図５に示すように当該アーム部４内を通って、第１端部４１から上記本体ケース２１内に侵入する。そして、このケーブルＣＲは、上記本体ケース２１内にて制御基板２４から延出するケーブルＣＢとともに、図１〜図７に示すように、本体ケース２１の一端（Ｘ方向とは反対側の端部）から、外部に延出する。
【００３５】
［移動機構の構成］
移動機構５は、表示部３とアーム部４とを接続するとともに、アーム部４に対して表示部３を、ヘッドバンド部２に接離する方向（すなわちＹ方向及びＹ方向とは反対方向）に移動可能に構成されている。この移動機構５は、図６に示すように、ガイドレール５１及びスライド部材５２を２組備える。
【００３６】
ガイドレール５１は、上記第２端部４２に設けられたスライド部材５２のＹ方向及びＹ方向とは反対方向への移動を案内するものであり、それぞれのカバー部材３１１の内部に固定されている。このガイドレール５１は、円柱状の部材であり、導光部材３１３から使用者の眼に向かう画像光の進行方向がＺ方向に平行となる場合に、軸方向がＹ方向に沿うように配置されている。このようなガイドレール５１の外周面には、スライド部材５２の停止位置を決めるための周方向に沿う溝５１１が、軸方向に沿った複数位置に形成され、スライド部材５２をガイドレール５１に沿って段階的に移動させることができるように構成されている他、スライド部材５２のスライド時にクリック感を生じさせている。
【００３７】
図８は、移動機構５によって表示部３が移動される様子を示す図である。なお、図８では、移動機構５による移動方向が、Ｙ方向に沿うようにアーム部４が位置決めされている状態を図示している。
スライド部材５２は、上記のように、各アーム部４の第２端部４２におけるＺ方向側の面から突設されている。このスライド部材５２は、ガイドレール５１の軸方向に沿って摺動可能に係合されている。これにより、図８に示すように、表示部３がＹ方向に移動され、ヘッドバンド部２と表示部３との距離を調整することができる。すなわち、表示部３は、矢印ＴＡで示すようにＹ方向に沿って上昇する方向、及び、矢印ＴＢで示すように、Ｙ方向に沿って下降するように、動かすことができる。
【００３８】
このように表示部３を上下にスライド可能に支持することにより、使用者は、例えば作業の状況に合わせて表示部３の表示画像の位置を自在に調整できる。例えば、ＡＲ表示により作業支援を行う場合、使用者は、手元を見ながら作業をする場合に表示部３をＴＢ方向に下降させ、棚など上部の作業時には表示部３をＴＡ方向に上昇させればよい。この場合、使用者が作業のために外部（手元や上方）を見やすいように、表示部３をスライドさせ、表示部３の位置を変更できる。表示部３を移動させる方向としては、理想的には、使用者の眼球の回転中心を通る軸の回りで、表示部３を回動させることが好ましいが、表示部３を眼の近くで上下（ＴＡ、ＴＢ方向）にスライドさせることで、理想的な回動に代えることができる。
【００３９】
また、上述のように、表示部３は、第１端部４１のＲ２軸を中心として回動させることができる。このＲ２軸まわりの回動は、表示部３を使用者の視界から退避させる退避用の動作として有用であるが、回動により表示部３と使用者の眼球との間の距離が変化することから、Ｒ２軸まわりに表示部３を動かすと、移動量（回動角）が小さくても表示部３が見にくくなることがある。これに対し、移動機構５を利用して表示部３を上下にスライドさせる動作、及び、眼球の回転中心を通る軸を中心として表示部３を回動させる動作は、表示部３と眼との間の距離を一定にしたまま表示部３を変位させるので、視認性は良好に保たれる。
虚像表示装置１は、Ｒ２軸を中心として表示部３を回動させる機構と、移動機構５により表示部３を上下にスライドさせる機構との両方を具備することで、使用者の視界から表示部３を退避させることも、表示部３の表示を見る位置を変更することもできる。なお、眼球の回転中心を通る仮想軸を中心として表示部３を回動させる機構が採用され、当該構造において表示部３の回動範囲で表示部３が利用者の顔に抵触しないような構成（例えば長い回動半径、または小さい表示部３）が採用されてもよい。そのような機構によれば、適切に表示部３を退避させることと、適切に表示部３の表示を見る位置を変更することと、を一つの可動部で実現し得る。
【００４０】
また、ヘッドバンド部２においては、回動軸Ｒ１を中心として撮像部２３、図８に矢印ＲＣで示す方向、及びその逆方向（矢印ＲＤ）に回動させることにより、ステレオカメラ２３１の撮像方向を動かすことができる。これにより、ステレオカメラ２３１の撮像範囲を上下に調整できる。
虚像表示装置１は、ヘッドバンド部２と表示部３とを、アーム部４を介してＲＡ、ＲＢ方向の回動及びＴＡ、ＴＢ方向のスライドが可能なように連結することで、撮像部２３の撮像範囲と表示部３の位置との相対位置が変化する。この構成は、撮像部２３をヘッドバンド部２に設けることで表示部３を軽量化できる点で有利である。表示部３を軽量化することで、表示部３を支える構造、例えば移動機構５、及び第１端部４１の支持構造をシンプルかつ軽量な構成とすることができる。また、使用者の意図に応じて、使用者が弱い力で表示部３を動かすことができるという利点もある。
【００４１】
なお、スライド部材５２は、図７に示すように、上記ガイドレール５１が挿通する孔部５２１と、Ｙ方向における中間位置に孔部５２１を横切るように形成されたスリット５２２と、図示を省略するが、アナンゴム等の弾性体により形成されたＯリングとを有する。Ｏリングは、スリット５２２に配置され、ガイドレール５１が挿通される。このＯリングがガイドレール５１を内径方向に締め付けることにより、適度な抵抗感を付与しつつ、スライド部材５２がガイドレール５１に沿ってスライド可能とされている。そして、当該Ｏリングが、ガイドレール５１の溝５１１に嵌合することにより、これらの相対位置が維持される。しかしながら、移動機構５の構成はこれに限らず、スライド部材５２は、ガイドレール５１の高さ方向に沿って連続的に相対移動可能としてもよい。この場合、溝５１１を設けなくてもよい。
【００４２】
このように構成される虚像表示装置１では、以下の利点がある。
使用者ＵＳの頭部に沿う本体部としてのヘッドバンド部２は、当該ヘッドバンド部２とアーム部４を介して接続される表示部３によって表示される虚像が使用者ＵＳによって視認可能な位置に固定される。これによれば、ヘッドバンド部２は、額に沿って配置された状態で、使用者ＵＳの額等の固定部位に固定されるので、虚像表示装置１の荷重が使用者の鼻に加わることを抑制できる。従って、虚像表示装置１の使用時における使用者ＵＳへの負荷を軽減でき、使用感を向上させることができる。
【００４３】
アーム部４は、ヘッドバンド部２との接続部位を中心として回動可能であるので、当該アーム部４を回動させることにより、ヘッドバンド部２に対する表示部３の位置や角度を調整できる。これによれば、装着時の使用者ＵＳの視線方向に応じた位置に表示部３を位置させて、当該表示部３によって表示される虚像の視認性を向上させることができる。また、上記虚像を視認しない場合には、使用者の眼前から表示部３を退避させることができる。従って、虚像表示装置１の利便性を向上させることができる。
【００４４】
アーム部４は、上記回動軸Ｒ２を中心として回動可能にヘッドバンド部２に接続されている。これによれば、アーム部４に対する回動操作によって、表示部３の位置を簡易に調整できる他、上記虚像を視認しない場合に、使用者の眼前から表示部３を確実に退避させることができる。従って、虚像表示装置１の利便性を確実に向上させることができる。
【００４５】
移動機構５は、ヘッドバンド部２に対して接離する方向に表示部３を移動させる。これによれば、使用者ＵＳの眼の位置に応じて、視方向に重なるように表示部３の位置を調整しやすくすることができる。従って、使用者ＵＳに応じて表示部３の位置を調整でき、虚像表示装置１の利便性及び汎用性を向上させることができる。
【００４６】
ヘッドバンド部２が有する撮像部２３により、使用者ＵＳの視野における一部の領域を撮像できるので、例えば、撮像部２３による撮像画像を表示部３に表示したり、或いは、当該撮像画像を外部に出力したりすることにより、使用者ＵＳの周囲の状況を、当該使用者ＵＳ又は他者が把握できる。
ここで、表示部３に撮像部２３が位置する場合には、撮像部２３の荷重によって虚像表示装置１の重量バランスがずれることが考えられる。これに対し、撮像部２３は、上記固定部位に固定されるヘッドバンド部２に位置することにより、表示部３の重量を低減できるだけでなく、虚像表示装置１の重量バランスを適正化しやすくすることができる。従って、使用者ＵＳへの負荷を一層軽減できる。
【００４７】
撮像部２３は、回動軸Ｒ２を中心に回動可能に構成される。これにより、使用者ＵＳの視線方向に応じた位置に、撮像部２３の撮像方向を調整できる。従って、撮像部２３によって、使用者ＵＳの視野における少なくとも一部の領域を確実に撮像できる。
【００４８】
虚像表示装置１の少なくとも一部の機能を制御する制御基板２４は、ヘッドバンド部２内に配置されている。これにより、上記撮像部２３と同様に、表示部３に制御基板２４が設けられる場合と比べて、表示部３の重量を低減できるだけでなく、虚像表示装置１の重量バランスを適正化しやすくすることができる。従って、使用者ＵＳへの負荷を一層軽減できる。
【００４９】
ここで、表示部３からケーブルを直接外部に延出させる場合には、ケーブルが動くことを考慮して、表示部３の外形を構成する筐体としてのカバー部材３１１やフレーム部３２の強度を高める必要がある。また、表示部３からケーブルが外部に延出していると見た目がよくないという問題がある。
これに対し、表示部３から延出したケーブルＣＲは、アーム部４内及びヘッドバンド部２内を通って制御基板２４に接続される。また、制御基板２４から延出したケーブルＣＢは、ヘッドバンド部２内を通って外部に延出する。これによれば、カバー部材３１１やフレーム部３２等の強度を高める必要がない他、虚像表示装置１の外観を良好なものにすることができる。
【００５０】
ヘッドバンド部２は、使用者ＵＳの頭部に沿う円弧状の外形を有する。これによれば、当該ヘッドバンド部２をより確実に頭部に沿うように配置できるため、装着感を向上させることができる他、虚像表示装置１の装着時の外観を良好なものとすることができる。
【００５１】
表示部３は、左眼用光学装置３１Ｌ及び右眼用光学装置３１Ｒにより、使用者ＵＳの左目及び右目にてそれぞれ同じ虚像を視認させることができるだけでなく、それぞれ異なる虚像を視認させることができる。従って、虚像表示装置１の利便性及び汎用性を向上させることができる。
【００５２】
虚像表示装置１は、虚像を形成する光を使用者ＵＳの眼に導光するとともに、外光を透過する導光部材３１３を有する、シースルー型の構成を採用している。これにより、導光部材３１３を介して、上記虚像と使用者の周囲とを観察できる。このため、虚像を視認中の使用者ＵＳに安心感を付与できる他、周囲の風景に重ね合わせた虚像を視認させることにより、拡張現実を実現できる。従って、虚像表示装置１の利便性及び汎用性を一層向上させることができる。
【００５３】
［制御系の構成］
図９は、ＨＭＤ１００を構成する各部の機能ブロック図である。
図９に示すように、ＨＭＤ１００は、インターフェイス１２５を介して外部機器ＯＡに接続される。インターフェイス１２５は、制御装置３００に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続する。インターフェイス１２５としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等が用いられる。
【００５４】
制御装置３００は、制御部１４０と、操作部１１１と、入力情報取得部１１０と、記憶部１２０と、送信部（Ｔｘ）１３１及び送信部（Ｔｘ）１３２とを有している。制御装置３００は、表示部３に設けられる画像生成部２０が備える受信部１３３、１３４に対し、各種信号を送信する。
【００５５】
操作部１１１は、使用者による操作を検出する。操作部１１１は、図１に示した電源スイッチ３０１、トラックパッド３０２、キースイッチ部３０３、及び上下キー３０５を含む。入力情報取得部１１０は、使用者による操作入力に対応して操作部１１１が出力する操作信号あるいは操作データを取得する。
また、制御装置３００は、電源部１３０を備え、制御装置３００及び虚像表示装置１の各部に電源を供給する。
【００５６】
記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラムを格納している。また、記憶部１２０には、ＨＭＤ１００の虚像表示装置１に表示する画像データが格納されていても良い。また、制御部１４０が、記憶部１２０に記憶されるプログラムを実行することにより、虚像表示装置１が表示する表示データを生成してもよい。
【００５７】
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置３００の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置３００の制御部１４０が計時する時刻を修正させる機能を備えてもよい。
【００５８】
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））や、Ｍｉｒａｃａｓｔ（登録商標）等の無線通信の規格に準じた無線データ通信を実行する。また、通信部１１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Bluetooth Low Energy、ＲＦＩＤ、Ｆｅｌｉｃａ（登録商標）等の近距離無線通信の規格に準じた無線データ通信を実行することも可能である。
【００５９】
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、虚像表示装置１に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、虚像表示装置１に画像を表示するための制御を行う。よって、通信部１１７及びインターフェイス１２５を、以下総称してデータ取得部と呼ぶ。データ取得部は、外部機器ＯＡからコンテンツデータを取得する。また、コンテンツデータは、例えば記憶部１２０に記憶してもよい。
【００６０】
制御部１４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ（いずれも図示略）等を備える。制御部１４０は、記憶部１２０またはＲＯＭに記憶したプログラムを読み出して実行することにより、ＨＭＤ１００の各部を制御する。また、制御部１４０は、上記プログラムを実行して、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像制御部１８１、位置検出制御部１８２、ＡＲ表示制御部１８３、及び音声処理部１８７として機能する。
【００６１】
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、コンテンツに含まれる画像を表示するための垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ等の同期信号、クロック信号ＰＣＬＫ、及びディジタル画像データ（図中、Ｄａｔａ）を送信部１３１により、画像生成部２０Ｒ、２０Ｌのそれぞれに送信する。また、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。送信部１３１、１３２は、制御装置３００と虚像表示装置１との間におけるシリアル伝送のためのトランシーバーとして機能する。
【００６２】
画像生成部２０Ｒ、２０Ｌは、画像処理部１６０から受信部１３３、１３４を介して入力される信号に基づき、右バックライト２０５、左バックライト２０６が発する光を変調して画像光を生成する。
画像生成部２０Ｒは、ＬＥＤ等の光源と拡散板とを有する右バックライト２０５と、右バックライト２０５を駆動する右バックライト制御部２０１とを備える。また、右バックライト２０５が発する光の光路上に配置される透過型の右ＬＣＤ２４１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２０３を備える。
右ＬＣＤ２４１を透過した画像光は光学ユニット３１２に入射する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００６３】
同様に、画像生成部２０Ｌは、ＬＥＤ等の光源と拡散板とを有する左バックライト２０６と、左バックライト２０６を制御する左バックライト制御部２０２とを備える。また、左バックライト２０６が発する光の光路上に配置される透過型の左ＬＣＤ２４２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２０４を備える。左ＬＣＤ２４２を透過した画像光は光学ユニット３１２に入射する。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００６４】
表示制御部１７０は、虚像表示装置１が備える画像生成部２０Ｒ、２０Ｌに対して制御信号を送信する。表示制御部１７０は、画像生成部２０Ｒ、２０Ｌが備える右バックライト２０５、左バックライト２０６の点灯を制御する右バックライト制御部２０１及び左バックライト制御部２０２に対して制御信号を送信する。
右バックライト制御部２０１及び左バックライト制御部２０２は、表示制御部１７０から受信する制御信号に従って、右バックライト２０５及び左バックライト２０６のそれぞれに対し、点灯、消灯の制御および発光輝度の制御を行う。右バックライト２０５及び左バックライト２０６は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体であり、レーザー光源やランプを用いて構成してもよい。
【００６５】
表示制御部１７０は、虚像表示装置１が備える画像生成部２０Ｒ、２０Ｌのそれぞれに制御信号を送信する。右バックライト制御部２０１及び左バックライト制御部２０２は、表示制御部１７０から受信する制御信号に従って、右バックライト２０５及び左バックライト２０６のそれぞれに対し、点灯、消灯の制御および発光輝度の制御を行う。右バックライト２０５及び左バックライト２０６は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体であり、レーザー光源やランプを用いて構成してもよい。
【００６６】
画像生成部２０Ｒ、２０Ｌは、それぞれ、表示制御部１７０から受信する制御信号に従って、右バックライト２０５、左バックライト２０６、右ＬＣＤ２４１、及び左ＬＣＤ２４２の駆動のオン／オフを切り替える。従って、表示制御部１７０の制御により、画像生成部２０におけるバックライトの点灯／消灯や画像の表示が制御される。
【００６７】
音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、オーディオケーブルＣＯにより右イヤホン３３及び左イヤホン３４に出力する。
また、音声処理部１８７は、マイク６３により集音された音声をディジタルデータに変換する。音声処理部１８７は、ディジタル音声データから特徴を抽出してモデル化することにより、例えば話者認識処理や音声認識処理を実行する。話者認識処理では、マイク６３が集音する音声から人間の声を検出し、検出した人間の声を人毎に識別して、声ごとに話している人間を特定する。また、音声認識処理では、例えば、マイク６３が集音した音声をテキストに変換するテキスト変換を行う。
【００６８】
虚像表示装置１の各部はインターフェイス２８を介して制御部１４０に接続する。インターフェイス２８は、ケーブルＣＢ、及び、ケーブルＣＢを接続するコネクター等で構成され、ケーブルＣＢに代えて無線通信回線により構成してもよい。インターフェイス２８は、送信部１３１により送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）１３３、１３４に出力する。また、インターフェイス２８は、表示制御部１７０が送信する制御信号を、受信部１３３、１３４に出力する。
また、インターフェイス２８は、ステレオカメラ２３１の撮像画像を制御部１４０に出力し、制御部１４０が送出するＬＥＤ２３３の駆動信号を、ＬＥＤ２３３に出力する。これにより、ＬＥＤ２３３は、制御部１４０の制御に従って点灯及び消灯する。
【００６９】
また、虚像表示装置１は、９軸センサー２３８を備える。９軸センサー２３８は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサー（慣性センサー）である。９軸センサー２３８はインターフェイス２８を介して制御部１４０に接続する。制御部１４０は、虚像表示装置１が使用者の頭部に装着されているとき、９軸センサー２３８の検出値に基づいて使用者の頭部の動きを検出できる。
受信部１３３、１３４は、制御装置３００と虚像表示装置１との間におけるシリアル伝送のためのレシーバーとして機能する。
【００７０】
ＨＭＤ１００は、虚像表示装置１を装着する使用者の視線方向に対応して、虚像表示装置１で表示する画像の表示態様を調整する機能を具備する。
図１０は、ＨＭＤ１００の表示に係る制御の説明図であり、（Ａ）はＡＲ表示の例を示し、（Ｂ）は位置検出の様子を示し、（Ｃ）は位置検出における撮像画像の例を示す。図１０（Ｃ）は、特に、撮像画像に写る鏡像ＭＰを示す。
虚像表示装置１が備える表示部３は、使用者が外景を視認でき、かつ、導光部材３１３により画像を視認するシースルー型の表示装置である。ＨＭＤ１００は、使用者が表示部３を透過して外景を視認する場合に、外景と重なって視認される画像を表示する。この表示の一態様として、実空間である外景に関する情報を提供する、いわゆるＡＲ効果を奏する画像（以下、ＡＲ画像という）を表示する。ＡＲ画像は、実空間に存在する対象物に関する情報を、対象物と重なって、或いは対象物と並ぶように表示される。ＡＲ画像を見ることで、使用者は、対象物と、対象物に関する各種の情報とを同時に見ることができる。ＡＲ画像の表示は、使用者にとって対象物が見える位置に合わせて表示するときにより効果的である。
【００７１】
図１０（Ａ）には、実空間すなわち外景に存在する対象物ＯＢに重なるように、画像ＡＲ１を表示する例を示す。図中のＶＲは使用者の視界を示す。この例では、対象物ＯＢである自転車をＨＭＤ１００が検出し、使用者が対象物ＯＢを見る位置に合わせて画像ＡＲ１の表示位置を決めて、矢印形状の画像ＡＲ１を表示する。画像ＡＲ１の表示位置を決定するため、ＨＭＤ１００は、撮像部２３で撮像を実行し、撮像画像から、対象物ＯＢの画像を検出する。ＨＭＤ１００は、撮像画像における対象物ＯＢの位置を特定し、撮像画像の位置と表示部３が画像を表示する表示領域の位置との対応関係に基づき、画像ＡＲ１の表示位置を決定する。
すなわち、ＡＲ表示を行う場合、ＨＭＤ１００は、撮像部２３で撮像を実行し、撮像画像から、対象物の画像を検出する。ＨＭＤ１００は、撮像画像における対象物の位置を特定し、撮像画像における位置と表示部３が画像を表示する表示領域における位置との対応関係に基づき、ＡＲ画像の表示位置を決定する。または、撮像画像に基づいて撮像部２３に対する対象物の姿勢と距離（回転と並進）を推定し、後述のキャリブレーションデータ１２１に基づいて、使用者が仮想オブジェクトが当該対象物に重畳または位置合わせされて視認するように、仮想オブジェクトをレンダリングする。本実施形態では、レンダリングされた仮想オブジェクトがＡＲ画像である。
【００７２】
このため、制御部１４０は、撮像制御部１８１、位置検出制御部１８２、及びＡＲ表示制御部１８３を備える。
撮像制御部１８１は、虚像表示装置１が備える撮像部２３を制御して撮像を実行させ、撮像画像データを取得する。
ＡＲ表示制御部１８３は、撮像制御部１８１の機能により取得される撮像画像を解析し、撮像画像から対象物ＯＢの画像を検出する。ＨＭＤ１００では、検出する対象物ＯＢの画像について、形状、色彩などの特徴量に関するデータを記憶部１２０に記憶する。ＡＲ表示制御部１８３は、記憶部１２０に記憶したデータを用いて、撮像画像から対象物ＯＢの画像を検出し、撮像画像における対象物ＯＢの位置を特定する。さらに、ＡＲ表示制御部１８３は、表示部３の表示領域、すなわち、導光部材３１３Ｒ、３１３Ｌにおいて画像光を使用者の眼に向けて反射する領域に対する画像ＡＲ１の位置を特定し、画像ＡＲ１を表示制御部１７０に表示させる。画像ＡＲ１の画像データは、インターフェイス１２５を介して取得するコンテンツデータ、記憶部１２０に記憶されたコンテンツデータ、または、ＡＲ表示制御部１８３がデータ処理により生成する画像データ等である。
【００７３】
ＨＭＤ１００においては、表示部３における表示位置と撮像部２３の撮像画像における位置とを対応付けるため、初期キャリブレーションが実行される。初期キャリブレーションは、使用者が虚像表示装置１を頭部に装着し、虚像表示装置１の装着位置や帯部２２２の止め具合等の調整を行い、ヘッドバンド部２と使用者の眼との相対位置が固定された後、この位置に適合するように行われる。
【００７４】
初期キャリブレーションには、種々の方法があるが、例えば、本実施形態では、次のようなステップを実行する。
（Ｉ）眼間距離：
制御部１４０が、表示部３における２つの光学装置に、同一のキャリブレーション用画像を表示させる。そうすると、表示部３を掛ける使用者は、左右の眼を介して、キャリブレーション用画像を視認する。そこで、使用者は、ユーザーインターフェイス（トラックパッドなど）を介して制御部１４０に指示を与えることで、２つのキャリブレーション用画像が一致して視認できるように、表示された２つのキャリブレーション用画像の少なくとも一方を他方に対して相対移動させる。２つのキャリブレーション用画像を一致して視認したタイミングで、使用者はユーザーインターフェイスを介して制御部１４０に通知する。制御部１４０は、その通知に応じて、当該タイミングでの２つのキャリブレーション用画像の光学装置に対する位置に基づき、画像処理部１６０に画像の光学装置上での表示位置を調整させる。このことにより、眼間距離に対応した表示部３のキャリブレーションができる。
【００７５】
（ＩＩ）ＡＲオブジェクトと実物体との位置合わせ：
上記（Ｉ）により眼間距離についてのキャリブレーションがされた後で、制御部１４０が、表示部３の中央にキャリブレーション用画像（例えば仮想２Ｄマーカー）を固定して表示させる。また、制御部１４０は、キャリブレーション用画像に対応した参照実物体（例えば、仮想２Ｄマーカーに相似で、大きさが既知の２Ｄマーカー）を、撮像部２３を介して撮像し、その特徴点に基づいて、撮像部２３に対する参照実物体の回転、並進を検出する。使用者は、頭部を動かし、キャリブレーション用画像を参照実物体にアライン（位置、大きさ、向きを一致）させ、アラインしたタイミングで、制御部１４０に通知する。このとき、表示部３と参照用実物体との間の回転、並進が既定の関係になる。制御部１４０は、上記通知の当該タイミングでの参照実物体の撮像画像における位置情報を取得し、ＡＲオブジェクトと実物体とを重ねて表示するためのパラメーター（キャリブレーションデータ１２１）を、その使用者用にカスタマイズする。キャリブレーションデータ１２１は、表示部３に対する撮像部２３の回転と並進を表すパラメーターを含む。
【００７６】
この結果、ＨＭＤ１００において、使用者の視野ＶＲと表示部３の表示領域との対応付け、及び、表示部３の表示領域と撮像部２３の撮像画像との対応付けがなされるので、その後は、ＡＲ表示制御部１８３が、撮像部２３の撮像画像を利用してＡＲ表示を行う。すなわち、位置検出制御部１８２は、キャリブレーションデータ１２１を用いて表示位置を調整することで、例えば図１０（Ａ）に示すように、使用者に、対象物ＯＢの位置に合わせて画像ＡＲ１を視認させることができる。
【００７７】
ところで、上述したように、撮像部２３は、回動軸Ｒ１により回動可能にヘッドバンド部２に設けられる。また、表示部３は、回動軸Ｒ２、及び移動機構５を介してヘッドバンド部２に取り付けられる。従って、撮像部２３と表示部３とは、３つの可動部である回動軸部２３６、回動軸部２５、及び移動機構５によって、相対位置が変化するように支持される。これらは本発明の連結部に相当する。また、これらの連結部は、撮像部２３と表示部３とのうち一方を他方に支持する支持部として機能する。
【００７８】
３つの可動部である回動軸部２３６、回動軸部２５、及び移動機構５における変位が発生すると、撮像部２３と表示部３との相対位置が変化する。この種の動きは、例えば、使用者が表示部３の見え方を再調整するために表示部３を回動軸Ｒ２まわりに動かす場合に発生する。また、使用者が、表示部３を視界（視野ＶＲ）から退避させるためにＲＡ方向に動かし、その後、表示部３をＲＢ方向に戻す場合も、表示部３が退避前と全く同じ位置に戻されるとは限らない。さらに、撮像部２３の撮像範囲の調整のために、使用者が撮像部２３を動かす可能性もある。
【００７９】
上記可動部における動きにより、撮像部２３と表示部３との相対位置が変化すると、初期キャリブレーションで対応付けられた位置関係から逸脱する。このため、ＡＲ表示を行う場合に、ＡＲ用の画像（例えば、画像ＡＲ１）を適切な表示位置に表示できない可能性がある。
【００８０】
そこで、虚像表示装置１は、撮像部２３の撮像画像を利用して、撮像部２３と表示部３との相対位置関係を検出し、キャリブレーションデータ１２１を補正することにより、表示部３における画像の表示位置を適正に維持する。
【００８１】
図１１は、ＨＭＤ１００の動作を示すフローチャートであり、特に、撮像画像を利用したキャリブレーションに係る動作を示す。この図１１の動作は、主に制御部１４０の位置検出制御部１８２が実行する。
図１１に示す動作では、使用者が鏡の前に立ち、この鏡に映る鏡像を撮像部２３により撮像し、撮像画像を解析して、撮像部２３と表示部３との相対位置に関するデータを得る。このため、図１１の動作を実行する前に、鏡像を撮像した撮像画像データ又は撮像画像データを解析した結果と、撮像部２３と表示部３との相対位置に関するデータとが、対応付けられていることが好ましい。例えば、上述した初期キャリブレーションが実行された場合に、使用者を鏡の前に立たせて鏡像を撮像部２３で撮像し、この撮像画像データ又は撮像画像データを解析した結果を、撮像部２３と表示部３との相対位置に関するデータ（例えば、初期キャリブレーションで得たキャリブレーションデータ１２１）に対応付けて記憶することが好ましい。或いは、後述する図１１のステップＳＴ１４で撮像する鏡像の撮像画像データ又はその解析結果と、撮像部２３と表示部３との相対位置に関するデータ（例えば、ステップＳＴ１９で更新するキャリブレーションデータ１２１）とを対応付けて、記憶部１２０に記憶してもよい。
【００８２】
制御部１４０は、キャリブレーションの実行条件が成立するまで、表示等に待機し（ステップＳＴ１１）、実行条件が成立した場合は（ステップＳＴ１１；Ｙｅｓ）、キャリブレーションを開始する（ステップＳＴ１２）。
【００８３】
キャリブレーションの実行条件は、例えば、トラックパッド３０２に対する操作が挙げられるが、９軸センサー２３８が閾値を超えるヘッドバンド部２の動きを検出した場合としてもよい。具体的には、９軸センサー２３８により、ヘッドバンド部２の着脱、ヘッドバンド部２への衝撃などを検出したことを実行条件としてもよい。
【００８４】
制御部１４０は、表示制御部１７０を制御して、使用者に対し、鏡の前に立つよう案内する画像を表示部３に表示させる（ステップＳＴ１３）。使用者の制御装置３００への操作により、制御部１４０は撮像部２３による撮像を実行して撮像画像データを取得する（ステップＳＴ１４）。
図１０（Ｂ）には、使用者ＵＳが鏡Ｍの前に立った状態を示す。ステップＳＴ１３で虚像表示装置１が表示する画像は、例えば図１０（Ｂ）に示すように使用者を誘導する画像や文字を含む。ここで、鏡Ｍは使用者ＵＳの全身を映すものでなくてもよい。ステップＳＴ１４の撮像を実行する際に、少なくとも、撮像部２３及び表示部３が鏡Ｍに映り、この撮像部２３及び表示部３の鏡像を、撮像部２３が撮像できればよい。この要件に従えば、鏡Ｍが小さくても鏡Ｍから使用者ＵＳまでの距離が遠ければ、鏡Ｍに撮像部２３及び表示部３が映った鏡像を撮像部２３で撮像できる。実際には、撮像画像における撮像部２３及び表示部３の画像が小さいと、後述するように撮像画像から撮像部２３及び表示部３の鏡像を検出する処理で、処理の精度が低下する可能性がある。従って、ステップＳＴ１３で表示する画像において、使用者ＵＳから鏡Ｍまでの距離を案内することが好ましい。上述のように、記憶部１２０に、初期キャリブレーションを実行した際など、以前に鏡像を撮像した撮像画像データまたはその解析結果が記憶された場合には、使用者ＵＳと鏡Ｍとの間の距離を対応させることが好ましい。具体的には、ステップＳＴ１３で案内する使用者ＵＳから鏡Ｍまでの距離を、記憶部１２０に記憶する撮像画像データの撮像時の距離に対応する距離とすることが好ましい。
【００８５】
制御部１４０は、撮像画像を解析し（ステップＳＴ１５）、撮像画像から撮像部２３またはヘッドバンド部２の画像と、表示部３の画像とを検出する（ステップＳＴ１６）。ここで、制御部１４０は、記憶部１２０に記憶した撮像部２３の画像や表示部３の画像の特徴量のデータを利用してもよい。
図１０（Ｃ）には、撮像画像に含まれるＨＭＤ１００の鏡像ＭＰの例を示す。図１０（Ｃ）に示すように、図１１の処理では、使用者ＵＳが鏡Ｍのほぼ正面に位置して、鏡像ＭＰがＨＭＤ１００の正面の像となることが好ましい。
【００８６】
ステップＳＴ１６で、制御部１４０は、鏡像ＭＰを検出して、撮像画像における撮像部２３の画像の位置（撮像部２３の位置）、及び、撮像画像における表示部３の画像の位置（表示部３の位置）を取得する。また、制御部１４０は撮像画像における撮像部２３と表示部３との距離を求める。さらに、制御部１４０は、撮像画像における鏡像ＭＰのサイズ等に基づき、撮像部２３から鏡Ｍまでの距離を算出する。なお、制御部１４０は、表示部３の画像の位置として、鏡像ＭＰにおける表示部３の画像の中心、或いは、表示部３の左右の端部など予め指定された１又は複数箇所の点の位置を検出すればよい。
【００８７】
そして、制御部１４０は、撮像画像における撮像部２３の位置及び表示部３の位置と、撮像部２３から鏡Ｍまでの距離に基づき、回動軸部２３６（回動軸Ｒ１）まわりの撮像部２３の角度を求める。ここで、制御部１４０は、９軸センサー２３８によりヘッドバンド部２の角度を検出し、このヘッドバンド部２の角度を加味して、回動軸Ｒ１まわりの２３の角度を求めてもよい。さらに、制御部１４０は、撮像部２３から鏡Ｍまでの距離と、撮像画像における撮像部２３と表示部３との距離とをもとに、撮像部２３と表示部３との実際の距離を求める。ここで求められる距離は、回動軸Ｒ２まわりのアーム部４の回動と、移動機構５における移動機構５のスライドとの両方を反映する。
従って、ステップＳＴ１６では、可動部である回動軸Ｒ１、Ｒ２及び移動機構５における動きと位置に関する解析結果のデータを得ることができる。
上述のように、記憶部１２０に、以前に鏡像を撮像した撮像画像データまたはその解析結果が記憶された場合、これらのデータをステップＳＴ１６で活用できる。例えば、ステップＳＴ１６で撮像部２３と表示部３との相対位置に関するデータを求める処理において、記憶部１２０に記憶した撮像画像データまたはその解析結果と、ステップＳＴ１５で撮像画像データを解析した結果とを比較する処理を行ってもよい。
【００８８】
ステップＳＴ１６で解析データを取得した後、制御部１４０は、取得したデータを、既に記憶部１２０に記憶しているキャリブレーションデータ１２１と比較する（ステップＳＴ１７）。制御部１４０は比較結果の判定を行い（ステップＳＴ１８）、閾値以上の差異がある場合は（ステップＳＴ１８；Ｙｅｓ）、キャリブレーションデータ１２１を更新するとともに、現在表示している画像があれば、その表示位置を調整する（ステップＳＴ１９）。または、本実施形態では、制御部１４０は、上記差異に基づき、撮像部２３と左眼用光学装置におけるスクリーンとの間での回転および並進の少なくとも一方を表すパラメーター、撮像部２３と右眼用光学装置におけるスクリーンとの間での回転および並進の少なくとも一方を表すパラメーターを補正することでキャリブレーションデータ１２１を補正する。この場合、本実施形態では、左右のそれぞれのスクリーンの中心は、左眼用・右眼用光学装置が有するそれぞれのハーフミラーの曲面上または平面上に位置し、かつ、それらスクリーンは左眼用・右眼用光学装置のそれぞれの光軸を法線とするそれぞれのＸＹ平面で規定されている。制御部１４０は、補正後のキャリブレーションデータ１２１により、記憶部１２０に記憶されたキャリブレーションデータ１２１を更新する。また、ステップＳＴ１６で取得したデータが示す撮像部２３と表示部３との位置関係が、既に記憶されているキャリブレーションデータ１２１と、閾値以上の差異を有さない場合（ステップＳＴ１８；Ｎｏ）、制御部１４０は本処理を終了する。
なお、本処理を終了した後、制御部１４０は、再びステップＳＴ２１で実行条件の成立を監視すれば良い。
【００８９】
また、図１１の処理では、撮像部２３が光学ズーム機構（図示略）を備える場合、撮像部２３と表示部３を拡大して撮像してもよい。例えば、ステップＳＴ１５で撮像画像から検出した撮像部２３の位置と表示部３の位置に基づき、撮像部２３と表示部３とがより大きく撮像されるようにズーム調整を行って、再度、ステップＳＴ１４に戻って撮像を実行してもよい。また、ステップＳＴ１３で表示する画像により、撮像部２３と表示部３に合わせてズーム調整を行うように、使用者ＵＳに案内をしてもよい。
【００９０】
また、制御部１４０は、ＨＭＤ１００の電源がオンの間、或いは表示部３により画像を表示中に、撮像部２３の撮像画像を常時取得する構成としてもよい。この場合、制御部１４０は、撮像画像において撮像部２３と表示部３の画像を検出したときに、ステップＳＴ１１のキャリブレーション条件が成立したと判定して、図１１の動作を実行してもよい。この場合、ステップＳＴ１２〜ＳＴ１４を省略してもよい。
また、撮像部２３の画像を検出する処理に代えて、ヘッドバンド部２の画像を検出してもよい。
【００９１】
また、撮像部２３またはその近傍、及び、表示部３に、検出の目標として外観上識別可能なマーカーを付してもよい。マーカーは撮像画像において特徴的な色彩、形状、模様等を有することが好ましく、バーコード、二次元コード、幾何学図形等が挙げられる。
また、撮像部２３はＡＲ表示に利用する可視光による撮像に加え、赤外光等の可視領域外の光による撮像を行う構成としてもよい。この場合、制御部１４０は、キャリブレーション条件が成立した場合に、撮像部２３により可視領域外の光による撮像を実行させて撮像画像を取得して解析する。また、可視領域外の光で撮像した場合に撮像画像に写るマーカーを利用することができ、可視光では視認しにくいマーカーを採用すれば、ＨＭＤ１００の外観のデザインへの影響を小さくできる。さらに、ステップＳＴ１３でＬＥＤ２３３を点灯させてマーカーとして利用してもよい。
【００９２】
以上説明したように、本発明を適用したＨＭＤ１００は、外景を視認可能に、画像を表示する表示部３を備える。ＨＭＤ１００は、表示部３を通して視認される範囲に重なる撮像範囲を撮像する撮像部２３を備える。ＨＭＤ１００は、少なくとも１つの可動部を有し、撮像部２３を表示部３に連結する連結部を有する。制御部１４０は、撮像部２３の撮像画像に基づいて撮像部２３と表示部３との相対位置関係を検出する。これにより、撮像画像に基づき、可動部における動きを反映した移動後の撮像部２３の位置を検出できる。
【００９３】
また、制御部１４０は、撮像画像における撮像部２３の位置と表示部３の位置とに基づいて、撮像部２３と表示部３との相対位置関係を検出する。これにより、撮像部２３と表示部３とが撮像画像に写るように撮像を行うことで、容易に撮像部２３の位置を検出できる。
また、ＨＭＤ１００は、使用者ＵＳが装着する装着型表示装置として構成される。制御部１４０によって撮像部２３の撮像画像に基づいて撮像部２３と表示部３との相対位置関係を検出する位置検出処理が行われる際に、撮像部２３で鏡を撮像するよう使用者ＵＳに案内を行う。これにより、使用者ＵＳに対して、撮像部２３の位置を検出するために必要な動作を案内し、使用者ＵＳに複雑な操作を行わせることなく、容易に撮像部２３の位置を検出できる。
【００９４】
また、制御部１４０は、撮像部２３の撮像画像に基づいて撮像部２３と表示部３との相対位置関係を検出し、検出した相対位置関係に基づき、表示部３における画像の表示位置の調整に係る調整データとしてのキャリブレーションデータ１２１を生成する。これにより、撮像部２３の変位に対応して、画像の表示位置等を制御できる。
【００９５】
［実施形態の変形］
本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記実施形態では、一対のアーム部４を備え、これら一対のアーム部４が表示部３をＸ方向の両側から支持する構成を例示した。しかしながら、本発明は、これに限らない。例えば、１つのアーム部４を備える構成としてもよい。この際、アーム部４は、表示部３のＸ方向における略中央と接続されていてもよく、Ｘ方向における一端側に接続されていてもよい。このような構成では、虚像表示装置１を構成する部品点数を減らすことができ、軽量化を図ることができる。なお、表示部３を一対のアーム部４で両側から支持する構成では、１箇所で支持するよりも、表示部３を安定的に支持することができる。
【００９６】
上記実施形態では、表示部３は、左眼用光学装置３１Ｌと、右眼用光学装置３１Ｒとを備え、これら一対の光学装置３１がフレーム部３２によって一体的に固定され、１対のアーム部４によって一体的に回動される構成を例示した。しかしながら、本発明はこれに限らない。例えば、右眼用光学装置３１Ｒは、使用者から見て右側のアーム部４によって、左眼用光学装置３１Ｌは、使用者から見て左側のアーム部４によって、個別に回動可能に構成されてもよい。
【００９７】
上記実施形態では、表示部３は、左眼用光学装置３１Ｌと、右眼用光学装置３１Ｒとを備える構成を例示した。しかしながら、本発明はこれに限らない。すなわち、左眼用光学装置３１Ｌ及び右眼用光学装置３１Ｒのうちのいずれか一方を備える構成を採用してもよい。この場合、表示部３を１つのアーム部４のみで支持する構成、例えば、左眼用光学装置３１Ｌを左側のアーム部４のみで支持する構成としてもよく、１対のアーム部４で支持する構成としてもよい。
【００９８】
上記実施形態では、アーム部４は、使用者が視認する際の視方向と略直交するＸ軸に平行な回動軸Ｒ２を中心に回動可能に構成された。しかしながら、本発明はこれに限らない。すなわち、ヘッドバンド部２との接続部位を中心として回動可能とする各種の構成を採用してもよい。
例えば、１つのアーム部４で表示部３を支持する構成や、上述のように左側のアーム部４で左眼用光学装置３１Ｌを、右側のアーム部４で右眼用光学装置３１Ｒを個別に支持する構成において、Ｙ軸に平行な回動軸を中心にアーム部４を回動可能としてもよい。
また、例えば、ＺＸ面に沿い、かつ、使用者ＵＳの視方向と交差する回動軸を中心にアーム部４を回動可能としてもよい。
【００９９】
上記実施形態では、本体部としてのヘッドバンド部２は、略半円形状（略Ｕ字状）に形成されていた。しかしながら、本発明はこれに限らない。すなわち、ヘッドバンド部２は、使用者の頭部（頭部の中心軸を中心とする周方向に沿い、かつ、両眼を通る線より上の部位）に沿って配置可能に構成されていればよく、例えば、少なくとも一部に頭部に沿った円弧状の内面を有する構成でもよい。また、例えば、前額部に相当する部分と側頭部に対応する部位とが互いに略直交する構成でもよい。このように、ヘッドバンド部２（本体ケース２１）は、バンド２２によって頭部に沿って配置可能であれば、その外形は特に制限されない。
【０１００】
また、ヘッドバンド部２は、固定部としてバンド２２を有するとした。しかしながら、本発明はこれに限らない。すなわち、アーム部を介して本体部に接続された表示部によって表示された虚像が使用者によって視認される位置に本体部を固定できれば、固定部の構成は問わない。例えば、固定部が、帽子又はヘルメットのように、使用者の頭部（詳しくは、頭部における上部分）の少なくとも一部を覆う形状及び構成であってもよい。
具体的には、固定部の構成として、固定部位を覆って装着されるヘッドキャップ型や、固定部位に沿う複数のバンドが頭頂部において交差する交差バンド型や、固定部位の周囲を囲み配置されるベルト型の構成を採用してもよい。また、固定部は、使用者の前後方向や、左右方向から、固定部位を挟むように当接される２以上の当接部材と、当該当接部材を連結する連結部と、を備える構成であってもよい。
【０１０１】
上記実施形態では、ヘッドバンド部２との接続部位を中心としてアーム部４を回動可能とし、表示部３の位置を調整可能とする構成を例示した。しかしながら、本発明はこれに限らない。例えば、アーム部４が可動部を備え、表示部３の位置を調整可能な構成を採用してもよい。また、アーム部４が、ヘッドバンド部２に対して固定されて回動可能とされず、かつ、可動部も備えない構成、すなち、ヘッドバンド部２に対して表示部３の所定の位置や角度に設定された構成としてもよい。
【０１０２】
上記実施形態では、移動機構５として、表示部３側に設けられたガイドレール５１と、アーム部４側に設けられたスライド部材５２とを備える構成を例示した。しかしながら、本発明はこれに限らない。すなわち、ガイドレール５１がアーム部４側に、スライド部材５２が表示部３側に設けられてもよい。
また、移動機構５は、ガイドレール５１に沿ってスライド部材５２を摺動させる構成に限らず、表示部３とアーム部４とを相対的に移動させることで、ヘッドバンド部２に対して表示部３を接離させることができる移動機構であればよい。例えば、表示部３に接続されたアーム部４が、本体部としてのヘッドバンド部２に対してＹ方向に沿って移動可能に構成されていてもよい。
【０１０３】
上記実施形態では、撮像部２３は、Ｘ方向に平行な回動軸Ｒ１を中心に回動されることにより、ＹＺ面内、すなわち図１における上下方向で撮像方向を調整可能に構成されていた。しかしながら、本発明はこれに限らない。すなわち、上下方向以外の他の方向、例えば左右方向に撮像方向を調整可能に構成してもよいし、上下方向及び左右方向に撮像方向を調整可能に構成してもよい。また、撮像部２３の撮像方向が固定されていてもよい。また、撮像部２３を設けなくてもよい。
【０１０４】
上記実施形態では、導光部材３１３Ｌ，３１３Ｒは、それぞれ固定されていた。しかしながら、本発明はこれに限らない。例えば、Ｘ方向に沿う回動軸を中心として、導光部材３１３Ｌ，３１３Ｒをそれぞれ独立して、或いは、連動して、使用者とは反対側に回動可能に構成してもよい。この場合、当該回動軸を、導光部材３１３におけるＹ方向側又はＹ方向とは反対側に位置するように構成することにより、導光部材３１３を回動させて、使用者ＵＳの視方向から退避させることができる。
【０１０５】
上記実施形態では、制御基板２４が、ヘッドバンド部２に設けられる構成を例示した。しかしながら、本発明はこれに限らない。例えば、制御基板２４は、表示部３やアーム部４に設けられていてもよい。
上記実施形態では、ケーブルＣＢがヘッドバンド部２の内部を引き回され、ケーブルＣＲがアーム部４の内部を引き回された後、ヘッドバンド部２の内部を引き回されて制御基板２４に接続される構成を例示した。しかしながら、本発明はこれに限らない。例えば、ケーブルＣＢ，ＣＲが、ヘッドバンド部２やアーム部４の外側を引き回された構成としてもよい。
【０１０６】
上記実施形態では、使用者による各種入力操作を受け付けるコントローラーが接続され、当該コントローラーからの入力に応じて、制御基板２４により虚像表示装置１が制御されていた。しかしながら、本発明はこれに限らない。
例えば、コントローラーが接続される構成において、虚像表示装置１（画像表示装置）とコントローラーとのうちの一方が、使用者の操作に応じた操作情報を取得する機能と、画像情報を取得して当該画像情報に応じて表示部３を駆動させる機能と、電力を供給する機能の少なくともいずれかを有し、他方が、残りの機能を有するように構成してもよい。
また、虚像表示装置１（画像表示装置）が、コントローラーを介して画像供給装置（ＰＣ等）に接続されてもよく、コントローラーを介さずに当該画像供給装置に直接接続されてもよい。このような構成において、虚像表示装置１は、画像供給装置における画像表示部分として用いられ、虚像表示装置１の各種動作は、画像供給装置によって制御される構成としてもよい。なお、この場合、画像供給装置が、虚像表示装置１を駆動させる電力を供給してもよい。
また、虚像表示装置１（例えば、ヘッドバンド部２や表示部３）にバッテリーや、画像処理装置等の制御装置が配置されてもよく、更に、メモリーカード等のスロットが設けられていてもよい。更に、虚像表示装置１に、使用者の操作を受け付ける操作部を設けてもよく、タップ操作を検出可能な構成を設けてもよい。すなわち、コントローラーは無くてもよい。
【０１０７】
上記実施形態では、虚像表示装置として、シースルー型の虚像表示装置１を例示した。しかしながら、本発明はこれに限らない。すなわち、外界を観察できない非透過型の虚像表示装置や、外界を撮像する撮像素子による撮像画像を表示するビデオシースルー型の虚像表示装置に対しても、本発明を適用できる。
【０１０８】
上記実施形態において、虚像表示装置１において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
【０１０９】
また、本発明はＬＣＤにより光を変調して画像光を生成する構成に限定されない。例えば、ＭＥＭＳ（Micro Electro Mechanical System）ミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像生成部２０は、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。
【０１１０】
また、図９に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図９に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０又は制御装置３００内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置３００に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置３００に形成された構成が重複して虚像表示装置１に形成されていてもよい。例えば、図９に示す制御部１４０が制御装置３００と虚像表示装置１との両方に形成されていてもよいし、制御装置３００に形成された制御部１４０と虚像表示装置１に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。
【符号の説明】
【０１１１】
１…虚像表示装置、３…表示部、４…アーム部（連結部）、５…移動機構（連結部、可動部）、２０…画像生成部、２０Ｌ…画像生成部、２０Ｒ…画像生成部、２１…本体ケース、２２…バンド、２３…撮像部、２５…回動軸部（連結部、可動部）、３１…光学装置、３１Ｌ…左眼用光学装置、３１Ｒ…右眼用光学装置、４１…第１端部、５１…ガイドレール、５２…スライド部材、１００…ＨＭＤ（表示装置）、１２０…記憶部、１２１…キャリブレーションデータ、１４０…制御部、１６０…画像処理部、１７０…表示制御部、１８１…撮像制御部、１８２…位置検出制御部、１８３…ＡＲ表示制御部、２３１…ステレオカメラ、２３６…回動軸部（連結部、可動部）、３００…制御装置、３０２…トラックパッド、３１３…導光部材、３１３Ｌ…導光部材、３１３Ｒ…導光部材、Ａ…撮像範囲、Ｍ…鏡、ＯＢ…対象物、Ｒ１…回動軸、Ｒ２…回動軸、ＵＳ…使用者、ＶＲ…視野。
【図１】
2016219897.tif 000003
【図２】
2016219897.tif 000004
【図３】
2016219897.tif 000005
【図４】
2016219897.tif 000006
【図５】
2016219897.tif 000007
【図６】
2016219897.tif 000008
【図７】
2016219897.tif 000009
【図８】
2016219897.tif 000010
【図９】
2016219897.tif 000011
【図１０】
2016219897.tif 000012
【図１１】
2016219897.tif 000013