(57)【要約】【課題】利便性のよい頭部装着型情報入出力装置、及び頭部装着型情報入出力方法を提供することを目的としている。【解決手段】操作部により操作可能な操作画像を含む表示画像を表示する表示部と、表示部に表示されている操作画像を操作可能な操作部と、ユーザーの眼を含む領域の撮像画像を撮像する撮像部と、操作部の操作により操作画像が選択されたとき、ユーザーの視線に基づいて操作するためのパラメータを撮像画像に基づいて取得する制御部と、を備える。【選択図】図２
2014021708.tif 000002
【特許請求の範囲】
【請求項１】
操作部により操作可能な操作画像を含む表示画像を表示する表示部と、
前記表示部に表示されている前記操作画像を操作可能な操作部と、
ユーザーの眼を含む領域の撮像画像を撮像する撮像部と、
前記操作部の操作により前記操作画像が選択されたとき、ユーザーの視線に基づいて操作するためのパラメータを前記撮像画像に基づいて取得する制御部と、
を備えることを特徴とする頭部装着型情報入出力装置。
【請求項２】
前記制御部は、
前記撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記パラメータを取得する
ことを特徴とする請求項１に記載の頭部装着型情報入出力装置。
【請求項３】
ユーザーの眼の近傍に前記表示部を保持する保持部と、
前記表示部に設けられ、前記ユーザーの眼の近傍を照明する複数の照明部と、
を備え、
前記制御部は、
前記ユーザーと前記表示部との位置関係に応じて、前記複数の照明部の点灯状態を制御し、前記撮像画像に基づいて、前記照明部がユーザーの眼に照射した光の反射光を検出し、検出した結果に基づいて、前記ユーザーの視線を検出し、検出した結果に基づいて前記パラメータを取得する
ことを特徴とする請求項１または請求項２に記載の頭部装着型情報入出力装置。
【請求項４】
前記パラメータは、前記表示画像上における前記操作画像の表示位置に基づく第１座標、及び前記撮像画像上のユーザーの視線に基づく第２座標であり、
前記制御部は、
前記操作部により前記操作画像が操作されているとき、前記第１座標と前記第２座標を取得し、取得した前記第１座標と前記第２座標とに基づいて前記ユーザーの視線による操作のキャリブレーションを行う
ことを特徴とする請求項１から請求項３のいずれか１項に記載の頭部装着型情報入出力装置。
【請求項５】
前記制御部は、
前記表示画像上に表示されている操作画像が、前記ユーザーの視線により選択された場合、前記操作画像に予め定められている処理を実行する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の頭部装着型情報入出力装置。
【請求項６】
前記表示画像は、自頭部装着型情報入出力装置の使用を許可するためのパスワードの入力を行うための画像である
ことを特徴とする請求項１から請求項５のいずれか１項に記載の頭部装着型情報入出力装置。
【請求項７】
前記表示画像は、自頭部装着型情報入出力装置で動作するアプリケーションの選択を行うためのメニュー画像または各種設定を行うための画像である
ことを特徴とする請求項１から請求項６のいずれか１項に記載の頭部装着型情報入出力装置。
【請求項８】
前記アプリケーションは、当該頭部装着型情報入出力装置内、ネットワークを介して接続されている装置内、及びネットワーク上のいずれか１つで実行される
ことを特徴とする請求項７に記載の頭部装着型情報入出力装置。
【請求項９】
前記表示画像は、前記表示画内の少なくとも２つの位置に配置されている前記操作画像を含む
ことを特徴とする請求項１から請求項８のいずれか１項に記載の頭部装着型情報入出力装置。
【請求項１０】
前記少なくとも２つの位置に配置されている前記操作画像のうち２つの前記操作画像は、前記表示画像内の対角位置に配置されている
ことを特徴とする請求項９に記載の頭部装着型情報入出力装置。
【請求項１１】
前記制御部は、
取得した前記第１座標と前記第２座標との組み合わせに基づいて前記ユーザーの視線による操作のキャリブレーションを行う
ことを特徴とする請求項４に記載の頭部装着型情報入出力装置。
【請求項１２】
前記制御部は、
取得した前記第１座標と前記第２座標との組み合わせが、予め定められている個数以下の場合、前記表示画像を変更する
ことを特徴とする請求項１１に記載の頭部装着型情報入出力装置。
【請求項１３】
前記制御部は、
前記撮像画像における前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーの眼の画像が右眼の画像であるのか左眼の画像であるのかを判別し、判別した結果に基づいて、前記撮像画像全体から予め定められている領域の画像を抽出し、前記抽出した領域の画像に基づいて、前記パラメータを取得する
ことを特徴とする請求項１から請求項１２のいずれか１項に記載の頭部装着型情報入出力装置。
【請求項１４】
前記制御部は、
前記撮像画像における前記ユーザーの片眼を含む領域の画像、加速度センサーが検出した検出値のいずれかに基づいて、自頭部装着型情報入出力装置の使用形態を判別し、判別した結果に基づいて、前記表示画像の表示状態を切り替える
ことを特徴とする請求項１から請求項１２のいずれか１項に記載の頭部装着型情報入出力装置。
【請求項１５】
頭部装着型情報入出力装置における頭部装着型情報入出力方法であって、
表示部が、操作部により操作可能な操作画像を含む表示画像を表示する手順と、
操作部が、前記表示部に表示されている前記操作画像を操作する手順と、
撮像部が、ユーザーの眼を含む領域の撮像画像を撮像する手順と、
制御部が、前記操作部の操作により前記操作画像が選択されたとき、ユーザーの視線に基づいて操作するためのパラメータを前記撮像画像に基づいて取得する手順と、
を含むことを特徴とする頭部装着型情報入出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型情報入出力装置、及び頭部装着型情報入出力方法に関する。
【背景技術】
【０００２】
近年、眼鏡タイプのヘッドマウントディスプレイが提案されている。このようなヘッドマウントディスプレイにおいて、ユーザーの眼の近傍にセンサーを配置して、ユーザーの視線がどの方向を向いているのかを検出する技術が提案されている。しかしながら、使用の都度、ヘッドマウントディスプレイとユーザーとの眼の位置関係のズレが生じることがある。このようなズレが生じた場合、ユーザーの目線の正確な測定が難しいという問題があった。
【０００３】
この問題解決のために、例えば特許文献１では、視線検出の補正パラメータを取得するためにキャリブレーションモードが設けられている。そして、特許文献１では、ユーザーが、モード設定ダイヤルをキャリブレーションモードに設定して、補正値を取得することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−３１３４４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、同一のユーザーがヘッドマウントディスプレイを使用する場合であっても、装置とユーザーの眼との位置関係が変わると、正しい視線を検出ができない。このため、ユーザーが装置を使う都度、キャリブレーションモードに設定して、キャリブレーションし直さなければならなかった。従って、特許文献１に記載のヘッドマウントディスプレイは、使いにくく、利便性が悪いという問題があった。
【０００６】
本発明は、上記の事情に鑑み成されたものであって、利便性のよい頭部装着型情報入出力装置、及び頭部装着型情報入出力方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様に係る頭部装着型情報入出力装置は、操作部により操作可能な操作画像を含む表示画像を表示する表示部と、前記表示部に表示されている前記操作画像を操作可能な操作部と、ユーザーの眼を含む領域の撮像画像を撮像する撮像部と、前記操作部の操作により前記操作画像が選択されたとき、ユーザーの視線に基づいて操作するためのパラメータを前記撮像画像に基づいて取得する制御部と、を備えることを特徴としている。
【０００８】
上記目的を達成するため、本発明の一態様に係る頭部装着型情報入出力方法は、頭部装着型情報入出力装置における頭部装着型情報入出力方法であって、表示部が、操作部により操作可能な操作画像を含む表示画像を表示する手順と、操作部が、前記表示部に表示されている前記操作画像を操作する手順と、撮像部が、ユーザーの眼を含む領域の撮像画像を撮像する手順と、制御部が、前記操作部の操作により前記操作画像が選択されたとき、ユーザーの視線に基づいて操作するためのパラメータを前記撮像画像に基づいて取得する手順と、を含むことを特徴としている。
としている。
【発明の効果】
【０００９】
本発明によれば、頭部装着型情報入出力装置は、利便性を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態のヘッドマウントディスプレイの斜視図である。
【図２】第１実施形態に係るヘッドマウントディスプレイを背面側から見た斜視図である。
【図３】第１実施形態に係るディスプレイ本体の水平断面図である。
【図４】第１実施形態に係るヘッドバンドの動作説明図である。
【図５】第１実施形態に係るヘッドマウントディスプレイの装着形態（第１表示モード）を示す図である。
【図６】第１実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
【図７】第１実施形態に係る眼球照明ライトの点灯と消灯を説明する図である。
【図８】第１実施形態に係る表示部の構成及び光学系を説明するための表示部の断面図である。
【図９】第１〜第３観察状態のそれぞれにおける表示領域の違いを説明する図である。
【図１０】第１観察状態における観察範囲と撮像範囲を説明する図である。
【図１１】第１観察状態における撮像画像の一例を説明する図である。
【図１２】第２観察状態における撮像画像の一例を説明する図である。
【図１３】第２観察状態における観察範囲と撮像範囲を説明する図である。
【図１４】第３観察状態における撮像画像の一例を説明する図である。
【図１５】第３観察状態における観察範囲と撮像範囲を説明する図である。
【図１６】眼の正面に表示部を配置して眼を含む周辺の画像を撮像する例を説明する図である。
【図１７】第１実施形態に係る眼の下側に表示部を配置して眼を下から撮像する例を説明する図である。
【図１８】第１実施形態に係る撮像素子の画角と選択範囲を説明する図である。
【図１９】第１実施形態に係る撮像領域と選択領域を説明する図である。
【図２０】第１実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。
【図２１】第１実施形態に係るヘッドマウントディスプレイの機能ブロック図である。
【図２２】第１実施形態に係る処理部の機能ブロック図である。
【図２３】第１実施形態に係るＨＭＤの電源オン状態後に行う動作のフローチャートである。
【図２４】第１実施形態に係る左右の眼の検出処理手順のフローチャートである。
【図２５】右眼観察形態の場合の撮像範囲Ｓの撮像画像の一例を説明する図である。
【図２６】左眼観察形態の場合の撮像範囲Ｓの撮像画像の一例を説明する図である。
【図２７】左眼観察形態における撮像画像の一例を説明する図である。
【図２８】第１実施形態に係るＨＭＤの装着ガイドの処理手順のフローチャートである。
【図２９】第１実施形態に係るＨＭＤの眼球照明ライトの選択処理手順のフローチャートである。
【図３０】第１実施形態に係る「注視点検出のためのキャリブレーション」との比較例としてのキャリブレーション例について説明する図である。
【図３１】第１実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。
【図３２】第１実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。
【図３３】第１実施形態に係る右眼観察形態における眼球照明ライトの点灯、消灯を説明する図である。
【図３４】第１実施形態に係る表示部の位置と眼球照明ライトの関係を説明する図であり、ユーザーの顔を水平正面から見た図である。
【図３５】第１実施形態に係るパスワード入力画面の一例である。
【図３６】第１実施形態に係るメニュー画面の一例を示す図である。
【図３７】第１実施形態に係るユーザーに入力を促す画面の一例である。
【図３８】第１実施形態に係る視線入力のアプリケーションの画面の説明を行う図である。
【図３９】第２実施形態に係るヘッドマウントディスプレイの装着形態（第２表示モード、待避モード）を示す図である。
【図４０】第２実施形態に係る表示部の位置と眼球照明ライトの関係を説明する図であり、ユーザーの顔を水平正面から見た図である。
【図４１】第２実施形態に係るＨＭＤの眼球照明ライトの選択処理手順のフローチャートである。
【図４２】第３実施形態に係る眼球照明ライトの配置を説明する図である。
【図４３】第３実施形態に係る表示部の位置と眼球照明ライトの関係を説明する図であり、ユーザーの顔を水平正面から見た図である。
【図４４】第４実施形態に係る光学系を説明するための表示部の断面図である。
【図４５】第４実施形態に係る観察範囲と撮像範囲を説明する図である。
【発明を実施するための形態】
【００１１】
本実施形態に係るヘッドマウントディスプレイ（頭部装着型情報入出力装置）は、ユーザーの眼を照明するための複数の照明部を、表示部の近傍に備える。ヘッドマウントディスプレイは、これら複数の照明部の点灯状態を、ユーザーと表示部との位置関係に応じて制御する。すなわち、ヘッドマウントディスプレイは、ユーザーと表示部との位置関係に応じて、点灯させる照明部を選択する。これにより、ヘッドマウントディスプレイは、表示部がユーザーの眼に対して下側、上側又は外側のいずれに配置された場合でも、ユーザーの観察している視線や注視点を、検出することができる。
以下、情報出力装置をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。
【００１２】
以下、本発明の実施形態について図面を参照しながら説明する。
以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ、ヘッドマウントディスプレイの各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。
【００１３】
［第１実施形態］
図１は、本実施形態に係るヘッドマウントディスプレイ（頭部装着装置、以下、ＨＭＤともいう）１の斜視図である。図２は、本実施形態に係るヘッドマウントディスプレイ１を背面側から見た斜視図である。図３は、本実施形態に係るディスプレイ本体２０の水平断面図である。図４は、本実施形態に係るヘッドバンドの動作説明図である。図５は、本実施形態に係るヘッドマウントディスプレイの装着形態（第１表示モード）を示す図である。
【００１４】
ＨＭＤ１は、ディスプレイ本体２０と、ユーザーの頭部に装着されディスプレイ本体２０を支持するヘッドバンド４０と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のＨＭＤ１は、図５に示すように、両眼どちらでも使用可能である。図５（Ａ）には、ユーザーが右眼（右目）で表示部６０を見ている状態、図５（Ｂ）には左眼（左目）で見ている状態が示されている。
また、図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。
【００１５】
以下、ＨＭＤ１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。
【００１６】
装置本体部２１は、概略板状の筐体２１Ａ（図３参照）を有する。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。
【００１７】
装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４と、集音マイク２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８はディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることによりＨＭＤ１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。
【００１８】
装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー２３と、オーディオコネクター２６と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。
【００１９】
耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば、図６に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２はヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。
【００２０】
心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの眼の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
【００２１】
装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５はＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）デバイスの接続端子である。本実施形態では、例えば不図示のリモコン（リモートコントローラー）が接続される。
操作スイッチ３０（操作部）は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は映像入出力端子である。
【００２２】
図３に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体２０の各部と電気的に接続されている。
【００２３】
装置本体部２１の外面に露出するタッチスイッチ３４（操作部）の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。
【００２４】
ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。２つの平面部を垂直に貫くように連結孔３１が形成されている。連結孔３１は軸方向視で六角形状に形成されている。連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることによりディスプレイ本体２０とヘッドバンド４０とが連結される。
【００２５】
ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図５（Ａ）に示す右眼で画像を観察する形態と、図５（Ｂ）に示す左眼で画像を観察する形態との切替機能が実現される。
【００２６】
またヘッドバンドヒンジ３２はボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの眼や耳に対する位置を調整することができる。
【００２７】
ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、ＨＭＤ１の装着時にユーザーの顔の表面に当接可能とされている。バッテリー３３は一次電池、二次電池のいずれであってもよい。
【００２８】
表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４が設けられている。また、図２に示すように、ファインダー開口部６７の形状は、長方形である。
表示部６０の筐体面には、眼球照明ライト１６６ａ〜１６６ｄが、ファインダー開口部６７の近傍に備えられている。図２では、眼球照明ライト１６６ａ及び１６６ｂは、ファインダー開口部６７の長辺の一方に沿った位置であって、ファインダー開口部６７の隅の近傍に備えられている。また、眼球照明ライト１６６ｃ及び１６６ｄは、ファインダー開口部６７の長辺の他方に沿った位置であって、ファインダー開口部６７の隅の近傍に備えられている。
【００２９】
眼球照明ライト１６６ａ〜１６６ｄは、例えば赤外線の波長領域の光を放射するＬＥＤ（発光ダイオード）である。眼球照明ライト１６６ａ〜１６６ｄは、ユーザーと表示部６０との位置関係に応じて、点灯または消灯される。以下では、眼球照明ライト１６６ａ〜１６６ｄを、眼球照明ライト１６６と総称する。
【００３０】
図３に示すように、表示部６０は、ディスプレイヒンジ６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。
【００３１】
装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面２１ａに、傾斜面２１ａの法線方向（図３のＹ’軸方向）に突出するようにして設けられている。
【００３２】
表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。本実施形態では、ディスプレイヒンジ６１が装置本体部２１の傾斜面２１ａに設けられており、表示部６０が内側に湾曲した形状を有している。
【００３３】
また、ディスプレイヒンジ６１がボールジョイントであることから、表示部６０は、Ｙ’軸回りの回転面に対して直交する方向の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部６７の位置調整が容易になる。表示部６０と装置本体部２１との間隔を大きくすれば、表示部６０の揺動幅を大きくすることができる。
【００３４】
ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板２９と表示部６０の各部とが電気的に接続される。
【００３５】
表示部６０の内部には、バックライト６２と、表示パネル６３と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２（撮像部）とが設けられている。なお、表示部６０の光学系の構成については、後述する。
【００３６】
カメラ６４は、例えば５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。カメラ６４は、その撮像素子の受光面に結像した画像（光学像）を撮像する。カメラ６４は、例えば、ユーザーにとっての正面方向を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
【００３７】
前方ライト６８は、例えばＬＥＤライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮影する際の照明装置として用いてもよい。
撮像素子７２は、その受光面に結像した画像（光学像）を撮像する。撮像素子７２は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
【００３８】
また、図３では図示を省略したが、本実施形態に係る表示部６０にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト６８の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング（指標の表示）が可能である。
【００３９】
次に、ヘッドバンド４０について、図２及び図４を参照しつつ説明する。
ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。
【００４０】
第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。
【００４１】
第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。
【００４２】
また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。
【００４３】
ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。
【００４４】
ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。
【００４５】
この構成により、第２ヘッドバンド４４は、回動機構５６によって第１ヘッドバンド４３から離れる方向に回動付勢される一方、回動機構５７によって第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は第１ヘッドバンド４３に対して所定の角度となるように保持される。したがって、回動機構５６、５７は、ヘッドバンド４０における角度保持機構として機能する。
【００４６】
次に、以上の構成を備えたＨＭＤ１におけるヘッドバンドの動作等について、図４、図５を参照しつつ説明する。以下、ユーザーにとっての右側を「ユーザーの右側」と称する。また、ユーザーにとっての左側を「ユーザーの左側」と称する。また、ユーザーにとっての上側を「ユーザーの上側」と称する。また、ユーザーにとっての下側を「ユーザーの下側」と称する。また、ユーザーにとっての時計回り方向を「時計回り方向」と称する。また、ユーザーにとっての反時計回り方向を「反時計回り方向」と称する。
【００４７】
図５に示したように、本実施形態のＨＭＤ１は、図５（Ａ）に示す右眼観察形態と、図５（Ｂ）に示す左眼観察形態を切り替えて使用することができる。ここで、右眼観察形態とは、ユーザーが右眼で表示部６０を観察する形態である。また、左眼観察形態とは、ユーザーが左眼で表示部６０を観察する形態である。以下、図５（Ａ）及び図５（Ｂ）示した形態、すなわち、ユーザーから見てファインダー開口部６７が横長に配置される形態を、第１表示モードと称する。
【００４８】
例えば、右眼観察形態から左眼観察形態へ切り替えるには、まず、ヘッドバンド４０に連結されたディスプレイ本体２０を、ヘッドバンドヒンジ３２（図２を参照）の回転軸回り（図５では、Ａ方向）に１８０°程度回転させる。さらに、ヘッドバンド４０において、回動機構５６及び５７（図４を参照）の軸回りに第２ヘッドバンド４４を揺動させることで、第２ヘッドバンド４４の位置と第１ヘッドバンド４３の位置との前後関係を入れ替える。この操作により、図５（Ｂ）に示すように、ユーザーの左眼側にディスプレイ本体２０が配置され、且つ、第２ヘッドバンド４４がユーザーの後頭部側に配置された左眼観察形態に、ＨＭＤ１は切り替えられる。
【００４９】
右眼観察形態では、右眼の近傍にある眼球照明ライト１６６ａ及び１６６ｂが点灯し、眼球照明ライト１６６ｃ及び１６６ｄが消灯する。一方、左眼観察形態では、左眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄが点灯し、眼球照明ライト１６６ａ及び１６６ｂが消灯する。
【００５０】
本実施形態では、図４に示すように、第１ヘッドバンド４３の円弧高さｒ１を、第２ヘッドバンド４４の円弧高さｒ２よりも小さくしている。これにより、第２ヘッドバンド４４を第１ヘッドバンド４３と交差させるように移動させても、互いに干渉することなく円滑に前後を入れ替えることができる。
図４に示す円弧高さｒ１は、同軸に配置された回動機構５６、５７の回転軸Ｌの中央位置Ｃから第１ヘッドバンド４３までの距離の最大値である。また円弧高さｒ２は、回転軸Ｌの中央位置Ｃから第２ヘッドバンド４４までの距離の最大値である。
【００５１】
なお、第１ヘッドバンド４３の円弧高さｒ１を第２ヘッドバンド４４の円弧高さｒ２よりも大きくし、第２ヘッドバンド４４を第１ヘッドバンド４３の内側で揺動させる構成としてもよい。
【００５２】
図６は、本実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有する。
【００５３】
コネクター１０１はケーブル１０２の一方の端部に設けられている。コネクター１０１は、一般的な４極φ３．５ｍｍのミニプラグである。４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐され、分岐されたケーブルの先端に第１スピーカー１０３が設けられている。ケーブル１０２の他方の端部には、第２スピーカー１０４と集音マイク１０５とが設けられている。複数のクリップ１０６は、ケーブル１０２上に所定の間隔で配置されている。
【００５４】
ステレオイヤホン１００は、コネクター１０１をディスプレイ本体２０のオーディオコネクター２６に接続して使用される。ステレオイヤホン１００が接続されると、ディスプレイ本体２０の耳元スピーカー２３と、表示部６０の通話マイク３７は無効化される。また表示部６０の前方スピーカー７０も必要に応じて無効化される。そして、ステレオイヤホン１００の第１スピーカー１０３、第２スピーカー１０４、及び集音マイク１０５が有効化される。
【００５５】
ステレオイヤホン１００の第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着され、第２スピーカー１０４は第１スピーカー１０３と反対側の耳に装着される。このとき、ケーブル１０２は、クリップ１０６によって第２ヘッドバンド４４に固定することができる。
【００５６】
また、ステレオイヤホン１００の集音マイク１０５と、ディスプレイ本体２０において筐体２１Ａの外側面に設けられた集音マイク２４とにより、ステレオ録音が可能である。例えば、図５（Ａ）に示すようにディスプレイ本体２０が右眼側に配置されているとすれば、ディスプレイ本体２０の集音マイク２４はユーザーの右側の音を収集し、左耳に装着された集音マイク１０５はユーザーの左側の音を収集する。
また、右眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から右チャンネルの音声が出力され、第２スピーカー１０４からは左チャンネルの音声が出力される。
【００５７】
一方、図５（Ｂ）に示すようにユーザーの左眼側にディスプレイ本体２０が配置されている場合には、ディスプレイ本体２０の集音マイク２４がユーザーの左側の音を収集し、右耳に装着された集音マイク１０５がユーザーの右側の音を収集する。左眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から左チャンネルの音声が出力され、第２スピーカー１０４からは右チャンネルの音声が出力される。
【００５８】
次に、眼球照明ライト１６６ａ〜１６６ｄの点灯と消灯について説明する。
図７は、本実施形態に係る眼球照明ライト１６６の点灯と消灯を説明する図である。図７（Ａ）は、右眼観察形態における眼球照明ライト１６６の点灯と消灯を説明する図である。図７（Ｂ）は、左眼観察形態における眼球照明ライト１６６の点灯と消灯を説明する図である。図７（Ａ）及び図７（Ｂ）において、ユーザーの顔の正面方向を、ＨＺと表記する。
【００５９】
図７（Ａ）に示した例では、表示部６０は、右眼の斜め下に配置されている。また、正面方向ＨＺと表示部６０の画面の法線とは、角度αを成している。ＨＭＤ１は、眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼に近い側の眼球照明ライトを選択し、選択した眼球照明ライトを点灯させる。一方、ＨＭＤ１は、選択した以外の眼球照明ライト、すなわち、ユーザーの眼から遠い側の眼球照明ライトを消灯させる。
【００６０】
図７（Ａ）では、眼球照明ライト１６６ａ及び１６６ｂは、正面方向ＨＺから角度α１だけ下側に配置されている。一方、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α２だけ下側に配置されている。ここで、角度α１は、角度αより小さく、角度α２は、角度αより大きい。つまり、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの右眼の近くに配置されている。
【００６１】
この場合、ＨＭＤ１は、眼球照明ライト１６６ａ及び１６６ｂを点灯させ、且つ、眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。この点灯状態で、撮像素子７２は、ユーザーの右眼の周りを撮像する。以下、ユーザーの右眼の周りが撮像された画像を、「右眼の周辺画像」という。
【００６２】
なお、右眼の周辺画像には、右眼の画像、右眉毛の画像、顔の一部（頭、髪の毛等）の画像が含まれてもよい。また、左眼の周辺画像には、左眼の画像、左眉毛の画像、顔の一部（頭、髪の毛等）が含まれてもよい。以下、右眼の周辺画像、及び左眼の周辺画像を、「眼の周辺画像」と総称する。
【００６３】
図７（Ａ）に示した例では、ユーザーの右眼から遠い側の眼球照明ライト１６６ｃ及び１６６ｄは、ユーザーの頬が邪魔になり、ユーザーの右眼を照明できないこともある。したがって、ＨＭＤ１は、ユーザーの右眼から遠い側の眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。これにより、ＨＭＤ１は、消費電力を低減させることができる。
【００６４】
一方、図７（Ｂ）では、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α３だけ下側に配置されている。一方、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α４だけ下側に配置されている。ここで、角度α３は、角度αより小さく、角度α４は、角度αより大きい。つまり、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの左眼の近くに配置されている。
【００６５】
この場合、ＨＭＤ１は、眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、且つ、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。この点灯状態で、撮像素子７２は、ユーザーの左眼の周りを撮像する。以下、ユーザーの左眼の周りが撮像された画像を、「左眼の周辺画像」という。
【００６６】
図７（Ｂ）に示した例では、ユーザーの左眼から遠い側の眼球照明ライト１６６ａ及び１６６ｂは、ユーザーの頬が邪魔になり、ユーザーの左眼を照明できないこともある。したがって、ＨＭＤ１は、ユーザーの左眼から遠い側の眼球照明ライト１６６ａ及び１６６ｂを消灯させる。これにより、ＨＭＤ１は、消費電力を低減させることができる。
【００６７】
つまり、ＨＭＤ１は、ユーザーの眼と表示部６０との位置関係に応じて、眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼をより正面から照明することができる眼球照明ライトを点灯させ、それ以外の眼球照明ライトを消灯させる。
【００６８】
次に、表示部６０の構成及び光学系を説明する。
図８は、本実施形態に係る表示部６０の構成及び光学系を説明するための表示部６０の断面図である。図８に示すように、本実施形態の表示部６０は、バックライト６２、表示パネル６３、第１プリズム６５ａ、第２プリズム６５ｂ、反射ミラー６６、ファインダー開口部６７、結像レンズ７１、撮像素子７２、１／４波長板７５を含んで構成されている。図８において、符号Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎは、各々、光線を表す。
【００６９】
まず、表示部６０の構成を説明する。
プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと第２プリズム６５ｂとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第１プリズム６５ａの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル６３が設けられている。表示パネル６３の背面に表示パネル６３を透過照明するバックライト６２が配置されている。第１プリズム６５ａの他方の面に対向する位置に反射ミラー６６が配置されている。反射ミラー６６は、ファインダー開口部６７のほぼ正面に位置する。
【００７０】
第２プリズム６５ｂの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部６７に配置されたファインダー接眼面である。第２プリズム６５ｂの他方の面に対向する位置には結像レンズ７１を介して撮像素子７２が対向配置されている。
【００７１】
次に、表示部６０の光学系を説明する。
表示部６０において、表示パネル６３に表示された画像は、第１プリズム６５ａ、反射ミラー６６、第２プリズム６５ｂを介してファインダー開口部６７から射出され、ユーザーに観察される。また、ファインダー開口部６７を見ている画像は、第２プリズム６５ｂ及び結像レンズ７１を介して撮像素子７２上に結像される。
なお、撮像素子７２を介して取得された撮像画像は、ユーザーの視線の方向や瞬き、表情の解析、表示部６０の姿勢の解析に用いる。撮像画像には、眼の周辺画像が含まれている。なお、バックライト６２は、撮像素子７２による眼の周辺画像を撮像する際の補助照明としても利用されてもよい。
【００７２】
バックライト６２が照射した光は、表示パネル６３を透過して、第１プリズム６５ａに入射される。このとき、表示パネル６３の液晶の特性上、バックライト６２が照射した光が偏光され、偏光された光線ＨのＳ偏光が第１プリズム６５ａに入射される。
【００７３】
光線Ｈは、第１プリズム６５ａの裏面６５ｄに設けられた空気層の影響により全反射し、光線Ｉとして第１プリズム６５ａと第２プリズム６５ｂの接合面６５ｃに入射する。ここで２つのプリズムの接合面６５ｃには、Ｓ偏光が反射し、Ｐ偏光が透過する偏光反射膜が蒸着されている。ここで、光線Ｈは、Ｓ偏光であるため、接合面６５ｃで反射して光線Ｊとなる。光線Jは、裏面６５ｄに入射角０度で入射されるため、裏面６５ｄを透過して１／４波長板７５に入射される。
【００７４】
光線Ｊは、空気層を通った後に１／４波長板７５を透過することで、進行方向に対して右回りの円偏光となる。そして反射ミラー６６で反射した光線Ｋは、反射によって左回りの円偏光となる。そして、光線Ｋは、１／４波長板７５を再び透過し、Ｐ偏光となる。
光線Ｋは、Ｐ偏光に変換されたため、接合面６５ｃを透過できるので、ファインダー開口部６７を通過できる。このような構成により、ユーザーは、表示パネル６３上に表示された画像データを、ファインダー開口部６７越に観察できる。
【００７５】
一方、ファインダー開口部６７から入射した光線Ｌは、接合面６５ｃで反射してＳ偏光の光線Ｍに変換される。光線Ｍは、第２プリズム６５ｂにおける前面６５ｅの空気層で全反射して光線Ｎになる。光線Ｎは、結像レンズ７１により集光され、集光した光線Ｎが撮像素子７２に入射する。このような構成により、ユーザーの眼の前面に、ファインダー開口部６７が配置された場合、撮像素子７２には、ユーザーの眼の周辺画像（光学像）が結像する。
【００７６】
次に、右眼観察形態で、ファインダー開口部６７を介してユーザーが観察する画像と、撮像素子７２により撮像される画像とについて説明する。
なお、図１０、図１３及び図１５では、光学的に等価になるように、反射ミラー６６（図８を参照）は、凸レンズに置き換えられている。また、図１０、図１３、及び図１５において、一点鎖線ＣＴは、結像レンズ７１の光軸を表している。
【００７７】
以下、表示部６０が、ユーザーの眼から所定距離内に配置されている状態を、「第１観察状態」という。
図９は、第１〜第３観察状態のそれぞれにおける表示領域の違いを説明する図である。第１観察状態では、表示部６０がユーザーの眼から所定距離内に配置されているので、表示パネル６３の全表示領域は、ユーザーから観察可能である。したがって、表示パネル６３は、この全表示領域に画像を表示させることができる。すなわち、表示パネル６３の全表示領域が、表示領域Ｓとなる。
【００７８】
以下、表示領域Ｓの横の長さを、Ｓｗと表記する。また。表示領域Ｓの縦の長さを、Ｓｈと表記する。また、以下では、一例として、Ｓｗは８００画素、Ｓｈは６００画素として説明を続ける。また、表示領域Ｔの縦の長さを、Ｔｈと表記する。また、表示領域Ｔの横の長さを、Ｔｗと表記する。また、表示領域Ｕの縦の長さを、Ｕｈと表記する。また、表示領域Ｕの横の長さを、Ｕｗと表記する。
【００７９】
図１０は、第１観察状態における観察範囲と撮像範囲を説明する図である。観察範囲６７ａにユーザーの眼がある場合、ファインダー開口部６７を介して、ユーザーは、表示パネル６３の全表示領域に相当する表示領域Ｓを観察することができる。また、観察範囲６７ａは、反射ミラー６６（図１０では、凸レンズ）の光軸上では、ファインダー開口部６７から距離Ｐまでの範囲にある。一方、撮像素子７２が撮影することができる撮影範囲６７ｃは、観察範囲６７ａを含んでいる。つまり、撮像素子７２は、観察範囲６７ａにユーザーの眼がない場合でも、撮影範囲６７ｃにユーザーの眼があれば、ユーザーの眼を眉毛なども含めて撮像することができる。
【００８０】
図１１は、第１観察状態における撮像画像の一例を説明する図である。図１１の略中心には、撮像素子７２によりユーザーの眼が撮像されている。この場合、図９（Ａ）を用いて説明したように、眼球照明ライト１６６ａ及び１６６ｂが点灯している。右眼観察形態の場合、図１１における＋Ｚ側が鉛直上方向、−Ｚ側が鉛直下方向、＋Ｘ側がユーザーの左側、−Ｘ側がユーザーの右側となる。なお、左眼観察形態の場合、表示部６０が１８０度反転されているので、右眼観察形態と比較して、眼の周辺画像は左右上下が反転することになる。
【００８１】
図１１において、符号６０１Ｒは、右眼の画像を示す符号であり、符号６０２Ｒは、右眉毛の画像を示す符号である。符号６０４Ａは、眼球照明ライト１６６ａ（図２を参照）による輝点の画像を示す符号であり、符号６０４Ｂは、眼球照明ライト１６６ｂ（図２を参照）による輝点の画像を示す符号である。また、符号Ｌ４１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。例えば、第１観察状態において、撮像素子７２の解像度が、横方向（Ｘ軸方向）に６４０画素である場合、画像における眼の幅Ｌ４１は、３５０画素程度である。
【００８２】
図１１では、ユーザーの眼と眉毛の距離が幅Ｌ４１以下なので、撮像画像には、適切な範囲が撮像されているといえる。このように、ユーザーの眼を下側から撮影することは、有効である。
このように、第１観察状態では、ユーザーが正面を見る際、ファインダー開口部６７が邪魔にならない。また、後述するように、第１観察状態では、撮像素子７２による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、ＨＭＤ１は、ユーザーの視線方向を検出することができる。
【００８３】
以下、ユーザーの眼が、第１観測状態と比較して表示部６０から離れている状態を、「第２観察状態」という。
次に、第２観察状態について、図９、図１２、及び図１３を用いて説明する。
【００８４】
図１２は、第２観察状態における撮像画像の一例を説明する図である。符号６０１Ｒ１は、右眼の画像を示す符号であり、符号６０２Ｒ１は、右眉毛の画像を示す符号である。符号６０４Ｃは、眼球照明ライト１６６ａによる輝点の画像を示す符号であり、符号６０４Ｄは、眼球照明ライト１６６ｂによる輝点の画像を示す符号である。また、符号Ｌ７１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。
第２観察状態では、ユーザーの眼が表示部６０から離れているので、第１観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅Ｌ７１が、第１観察状態におけるユーザーの眼の幅Ｌ４１以下（例えば、３００画素以下）である場合、ＨＭＤ１は、ユーザーが表示部６０から眼を離していると判定する。
【００８５】
図１３は、第２観察状態における観察範囲と撮像範囲を説明する図である。図１３では、ユーザーの眼ｅｙｅは、反射ミラー６６（図１３では、凸レンズ）の光軸上で、ファインダー開口部６７から距離Ｐ以上距離Ｐ２以内の位置に在り、第１観察状態における観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無い。このため、ユーザーは、表示領域Ｓ（図９を参照）の一部しか観察することができない。
【００８６】
そこで、第２観察状態では、ＨＭＤ１は、縮小率ηで縮小した画像を、表示領域Ｔ（図９を参照）に表示させる。第２観察状態において、表示領域Ｔに表示される画像の縮小率η（第１観察状態との比率）は、次式（１）により示される。
【００８７】
η  ＝  Ｌ７１／Ｌ４１  ・・・（１）
【００８８】
例えば、ユーザーの眼の幅Ｌ４１（図１１を参照）が３５０画素であるのに対して、Ｌ７１（図１２を参照）が２２０画素である場合、ＨＭＤ１は、約０．６３倍（＝（Ｌ７１／Ｌ４１）＝（Ｔｈ／Ｓｈ）＝（Ｔｗ／Ｓｗ））に縦横をそれぞれ縮小した画像を、表示パネル６３の表示領域Ｔに表示させる。表示領域Ｔに表示された画像（光学像）の全体は、ファインダー開口部６７の縁に遮られることなく、ユーザーの眼に届く。なお、第２観察状態において、ＨＭＤ１は、眼球照明ライト１６６の輝度を、第１観察状態におけるその輝度と比較して高くしてもよい。
【００８９】
以下、表示部６０とユーザーの眼との相対位置が、第２観測状態と比較して左右いずれかの方向にずれている状態を、「第３観察状態」という。
次に、第３観察状態について、図９、図１４、及び図１５を用いて説明する。
図１４は、第３観察状態における撮像画像の一例を説明する図である。第３観察状態では、第２観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルＶ１だけずれて撮像されているとする。
【００９０】
符号６０１Ｒ２は、右眼の画像を示す符号であり、符号６０２Ｒ２は、右眉毛の画像を示す符号である。符号６０４Ｅは、眼球照明ライト１６６ａによる輝点の画像を示す符号であり、符号６０４Ｆは、眼球照明ライト１６６ｂによる輝点の画像を示す符号である。また、一点鎖線で示した６０５Ａは、ユーザーの眼の位置がずれていない場合に撮像される眼球の外形画像を表す。また、符号６０５Ｂは、ユーザーの眼が光軸中心にある場合の眼球の画像を表す。
【００９１】
図１５は、第３観察状態における観察範囲と撮像範囲を説明する図である。図１５では、ユーザーの眼ｅｙｅは、観察範囲６７ｅ内、すなわち、ファインダー開口部６７から距離Ｐ以上離れ、且つ、光軸ＣＴから内側にＶ１のＸ成分量（＝Ｖ１ｘ）だけずれている位置に在る。観察範囲６７ｅに在るユーザーの眼は、第１観察状態における観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無いので、表示領域Ｓ（図９を参照）の一部しか観察することができない。
【００９２】
そこで、第３観察状態では、ＨＭＤ１は、ユーザーから表示画像の全体が観察できるように、所定の縮小率（＝（Ｕｈ／Ｓｈ）＝（Ｕｗ／Ｓｗ））で画像を縮小する。また、ＨＭＤ１は、この縮小した画像を、表示領域Ｕ（図９を参照）に表示させる。ここで、ＨＭＤ１は、表示領域Ｓ（図９を参照）における表示領域Ｕの位置を、ユーザーの眼の位置ずれ量及び方向に応じて定める。第３観察状態では、表示領域Ｕは、表示領域Ｓの右上に定められている。
【００９３】
ここで、結像レンズ７１及び撮像素子７２から成る撮像系の記録画素数は、例えば、横６４０画素、縦４８０画素であるとする。また、結像レンズ７１及び撮像素子７２から成る撮像系の画角は、横６０度、縦４５度であるとする。この場合、１画素当たりの画角は、約０．０９４度となる。
【００９４】
したがって、ユーザーの眼の位置の水平方向のずれ量（ベクトルＶ１のＸ成分量）が、例えば、３０画素であれば、ユーザーの眼の位置は、４．７度（＝３０画素×０．０９４度）ほどずれていることになる。表示領域Ｓ（図９を参照）の水平方向（Ｓｗ：８００画素）の視野角が、例えば、３５度であれば、ＨＭＤ１は、表示パネル６３の中心から、１０８画素分（＝Ｓｗ×４．７度÷３５度）だけ、水平方向右に表示領域Ｕの位置を定める。ＨＭＤ１は、垂直方向についても同様に、所定画素数だけずらした位置に表示領域Ｕを定める。
【００９５】
図１４及び図１５では、ＨＭＤ１は、表示領域Ｕの水平方向Ｕｗが５００画素、縦方向Ｕｈが３７５画素となるまで画像を縮小し、表示領域Ｓの中心から水平方向右に１０８画素、且つ、ベクトルＶ１のｚ成分量（＝Ｖ１ｚ）に対応する前記所定画素数だけ垂直方向上にずらした位置に、表示領域Ｕを定める。表示領域Ｕには、表示領域Ｕと同じ縮小率で縮小された画像が表示される。これにより、ユーザーの眼ｅｙｅが光軸上からずれた場合でも、ＨＭＤ１は、画像の全体が見えるよう、その画像を表示することができる。
【００９６】
ＨＭＤ１は、撮像画像から、例えば、眼の輪郭の画像を抽出し、抽出した眼の輪郭の画像の位置に基づいて、眼の位置ずれ量及び方向（ベクトルＶ１）を検出する。ここで、眼の位置ずれ量及び方向の検出は、撮像画像から眼球の画像を抽出し、抽出した眼球の輪郭画像のずれ量に基づいて、その眼の位置ずれ量及び方向を検出してもよい。また、ＨＭＤ１は、眼球照明ライトＬＥＤ１６６ａ〜１６６ｄ（図２を参照）を適宜点灯させ、それらの眼球照明ライトが投射した光によるスポットを、ユーザーの眼球上で測定することで、ベクトルＶ１を検出するようにしてもよい。
【００９７】
上述したように、ユーザーの眼が表示部６０から離れている、又は、光軸からずれている場合でも、ＨＭＤ１では、ユーザーと表示部６０との位置関係に応じて、ユーザーが画像の全領域を観察可能となるように、表示部６０に画像を表示することができる。なお、表示領域を定めるタイミングは、注視点検出のためのキャリブレーション処理（後述）の前後のいずれでもよい。
【００９８】
次に、表示部６０の配置と、ユーザーの眼の撮像について説明する。
図１６は、眼の正面に表示部６０を配置して、眼を含む周辺の画像を撮像する例を説明する図である。図１７は、本実施形態に係る眼の下側に表示部６０を配置して、眼を下から撮像する例を説明する図である。
【００９９】
図１６及び図１７において、符号Ｌ１１は、ユーザーの下瞼から眉毛までの距離を表している。また、図１６及び図１７において、距離Ｌ１１は、４０［ｍｍ］である。また、図１６及び図１７において、ユーザーの顔を横から見た場合における、上下方向をＺ軸方向と、前後方向をＹ軸方向と称する。
【０１００】
図１６に示すように、眼の正面に表示部６０を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、幅Ｌ１１以上（例えば、幅Ｌ３１）を撮像できるまで、表示部６０の結像レンズ７１を、ユーザーの顔から遠ざける必要がある。ここで、幅Ｌ３１は、例えば、７０［ｍｍ］である。幅Ｌ３１の範囲が撮像される場合、ユーザーの眼から結像レンズ７１の中心まで、距離Ｌ２１だけ離される必要がある。ここで、距離Ｌ２１は、例えば８５［ｍｍ］である。
【０１０１】
なお、距離Ｌ２１は、図８に示した光学系において、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長も含んでいる。仮に、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長の合計が２０［ｍｍ］であるとすると、ユーザーの顔からＹ軸方向に６５（＝８５−２０）［ｍｍ］だけ、表示部６０を遠ざける必要がある。
【０１０２】
従って、眼の正面に表示部６０を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、表示部６０は、ユーザーの顔から遠ざけられた位置に配置される必要がある。
【０１０３】
一方、図１７に示すように、眼の下側に表示部６０が配置された場合、ユーザーの下瞼から眉毛までの距離Ｌ１１の範囲を撮像するためには、幅Ｌ６１の撮像範囲を撮像する必要がある。ここで、下から煽るように撮像しているため、幅Ｌ６１は、図１６に示した幅Ｌ３１より短い。例えば、幅Ｌ６１は、２０［ｍｍ］である。この撮像範囲２０［ｍｍ］を確保するために必要な撮影距離（距離Ｌ５１）は、例えば、４５［ｍｍ］である。
【０１０４】
図１６と同様に、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長の合計が２０［ｍｍ］である場合、表示部６０は、ユーザーの顔から２５［ｍｍ］だけ遠ざけられる。また、Ｙ軸方向に対して表示部６０が角度β傾けてられている場合、顔から結像レンズ７１までのＹ軸方向の距離は、４５［ｍｍ］にｃｏｓβが乗算された値となる。
【０１０５】
ＨＭＤ１は、眼の下に配置された表示部６０が、眼の周辺画像を撮像できるので（図１７を参照）、表示部６０が眼の正面に配置された場合と比較して（図１６を参照）、顔から表示部６０までの距離が短い。これにより、ＨＭＤ１は、大型化してしまうことがない。また、ＨＭＤ１は、表示部６０がユーザーの正面に配置されないため、表示部６０がユーザーの正面視野を遮ることもない。さらに、ＨＭＤ１は、表示部６０がユーザーの顔の近傍に配置されることも可能なので、例えば、狭い作業空間などにおいて、表示部６０が邪魔になることもない。
【０１０６】
また、ＨＭＤ１は、表示部６０が眼の下に配置された場合、表示部６０が眼の正面に配置された場合と比較して（図１６を参照）、眼球照明ライト１６６の輝度を低くしてもよい。これにより、ＨＭＤ１は、消費電力を低減させることができる。
【０１０７】
次に、右眼観察形態と左眼観察形態との切り替えに伴う、撮像素子７２の設置角度の調整について説明する。
図１８は、本実施形態に係る撮像素子７２の画角と選択範囲を説明する図である。図１８（Ａ）は、右眼観察形態における撮像素子７２の画角と選択範囲を説明する図である。図１８（Ｂ）は、左眼観察形態における撮像素子７２の画角と選択範囲を説明する図である。なお、図１８（Ａ）及び図１８（Ｂ）では、第１ヘッドバンド４３、第２ヘッドバンド４４、装置本体部２１等は、図示が省略されている。
【０１０８】
図１９は、本実施形態に係る撮像領域と選択領域を説明する図である。図１９（Ａ）は、ヘッドバンドヒンジ３２（図２を参照）が揺動された場合における、撮像素子７２（図３を参照）による撮像領域を説明する図である。また、図１９（Ｂ）は、撮像領域から選択された選択領域を説明する図である。ここで、符号Ｐは、撮像素子７２が撮像可能な範囲を示す符号である。また、撮像素子７２は、例えば、４対３のアスペクト比を有する。
【０１０９】
右眼観察形態の場合、第１表示モード（図５（Ａ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１８（Ａ）及び図１９（Ｂ）に示すように、符号Ｐで示した領域（以下、「撮像領域Ｐ」という）のうち、符号Ｑで示された領域（以下、「選択領域Ｑ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、右眼観察形態において、眉毛まで含めて右眼の画像データを適切に取り込むことができる。
【０１１０】
一方、左眼観察形態の場合、第１表示モード（図５（Ｂ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１８（Ｂ）及び図１９（Ｂ）に示すように、撮像領域Ｐのうち、符号Ｒで示された領域（以下、「選択領域Ｒ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、左眼観察形態において、眉毛まで含めて左眼の画像データを適切に取り込むことができる。
【０１１１】
また、ＨＭＤ１は、右眼観察形態又は左眼観察形態のいずれであるかを、加速度センサー１３２が検出した検出値（後述）の代わりに、撮像素子７２による撮像画像に基づいて適切に判定することができる。なお、右眼観察形態又は左眼観察形態のいずれであるかを判別する方法は、後述する。
【０１１２】
図２０は、本実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。撮像素子７２の本体７２ａには、回転軸７２ｂが固定されている。この回転軸７２ｂに対しては、ダイヤル７２ｃが設けられている。ユーザーは、ダイヤル７２ｃを回動可能範囲で回動（図２０では、Ｄ方向）にさせることで、回転軸７２ｂを軸として、撮像素子７２をチルトさせることができる。
【０１１３】
結像レンズ７１が上を向く方向にチルトされた場合、選択領域Ｑ（図１９（Ｂ）を参照）は、撮像領域Ｐにおける上側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｑで撮像することができる。一方、結像レンズ７１の下を向く方向にチルトされた場合、選択領域Ｒ（図１９（Ｂ）を参照）は、撮像領域Ｐの下側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｒで撮像することができる。
【０１１４】
なお、ＨＭＤ１は、ダイヤル７２ｃにより、撮像領域Ｑ又は選択領域Ｒの位置を微調節することも可能である。また、撮像素子７２による撮像画像が表示部６０に表示された場合、ユーザーは、表示部６０に表示されている撮像画像を観察しながら、表示部６０と眼の位置関係に応じて、撮像素子７２の撮像領域を選択することができる。この結果、ＨＭＤ１は、範囲が適切になるよう撮像された撮像画像を用いて、ＨＭＤ１の位置合わせ（後述）、及び注視点検出のためのキャリブレーションの精度を高めることができる。
【０１１５】
次に、ＨＭＤ１の機能ブロックについて説明する。
図２１は、本実施形態に係るヘッドマウントディスプレイ１の機能ブロック図である。
ＨＭＤ１には、処理部１２３を中心として種々の電気回路が備えられている。処理部１２３は、ＣＰＵ（中央演算装置：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ＨＭＤ１の各種回路と接続されるとともに、ＨＭＤ１を総合的に制御する。
【０１１６】
バッテリー３３は、電力を電源回路１２０に供給する。
電源回路１２０は、バッテリー３３から供給された電力を、処理部１２３の制御によりＨＭＤ１の各部に供給する。
【０１１７】
本実施形態の場合、処理部１２３には、エンコーダー１２９及びデコーダー１２１、電源回路１２０、操作スイッチ３０、フラッシュメモリー１２２、ＢＬドライバ１２６、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発信器７３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７、メモリー１２７、メインスイッチ２８、タッチスイッチ３４、眼球照明ライト１６６ａ〜１６６ｄが接続されている。
【０１１８】
エンコーダー１２９は音声信号及び画像信号を所定方式の音声データ及び画像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。
【０１１９】
エンコーダー１２９には、集音マイク２４及び通話マイク３７から入力される音声信号、カメラ６４から入力される画像信号、オーディオコネクター２６から入力される音声信号、ビデオコネクター２７から入力される画像信号、及び、眼の周辺画像を撮影する撮像素子７２の画像信号が入力される。エンコーダー１２９に入力された音声信号及び画像信号は音声データ及び画像データにエンコードされた後、処理部１２３に入力される。入力された音声データ及び画像像データは、処理部１２３による再生動作に用いられたり、フラッシュメモリー１２２に記録される。
【０１２０】
デコーダー１２１は、音声データ及び画像データを音声信号及び画像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。ＬＣＤドライバ１２５は液晶パネル用の駆動制御装置であり、表示パネル３６及び表示パネル６３に接続されている。スピーカーアンプ１６２は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。
【０１２１】
画像データを再生する場合、フラッシュメモリー１２２に記録された画像データ、あるいはエンコーダー１２９から入力される画像データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された画像データは、画像信号にデコードされた後、ＬＣＤドライバ１２５を介して表示パネル３６、６３に供給される。そして、画像信号が入力された表示パネル３６又は表示パネル６３に画像データに基づく画像が表示される。また、デコーダー１２１からビデオコネクター２７に出力される画像信号は、ビデオコネクター２７を介して外部機器に出力される。
【０１２２】
また画像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。ＢＬドライバ１２６は、バックライト用の駆動制御装置であり、バックライト３５及びバックライト６２に接続されている。処理部１２３は、ＢＬドライバ１２６に駆動信号を送信し、ＢＬドライバ１２６はバックライト３５、６２を個々に点灯させる。
【０１２３】
音声データを再生する場合、フラッシュメモリー１２２に記録された音声データ、あるいはエンコーダー１２９から入力される音声データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ１６２を介して耳元スピーカー２３及び前方スピーカー７０のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー２３又は前方スピーカー７０から音声が出力される。また、デコーダー１２１からオーディオコネクター２６に出力される音声信号は、オーディオコネクター２６を介してステレオイヤホン１００に出力される。
【０１２４】
本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０からは左右の音声信号が合成された音が発せられる。
【０１２５】
一方、ステレオイヤホン１００に音声信号が出力される場合、第１スピーカー１０３及び第２スピーカー１０４のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態のＨＭＤ１は左右両用であるため、装着位置に応じてステレオイヤホン１００への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体２０が右眼に装着されている場合には、第１スピーカー１０３に右チャンネル、第２スピーカー１０４に左チャンネルの音が出力される。ディスプレイ本体２０が左眼に装着されている場合には第１スピーカー１０３に左チャンネル、第２スピーカー１０４に右チャンネルの音が出力される。
【０１２６】
メモリー１２７には、処理部１２３によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ２８や、画面内でのポインティング操作を行うための操作スイッチ３０、あるいはタッチ操作により各種操作を行うタッチスイッチ３４がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部１２３へ出力される。処理部１２３は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
【０１２７】
ＢＴ通信回路１３０は、他の機器とのＢｌｕｅｔｏｏｔｈ（登録商標）通信を行うための通信回路である。ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（ＩＥＥＥ  ８０２．１１）を行うための通信回路である。３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。
【０１２８】
加速度センサー１３２は、ＨＭＤ１の傾き検出に用いられる。加速度センサー１３２は、例えば３軸センサーであり、重力加速度を検出する。加速度センサー１３２は、例えば、装置本体部２１内に取り付けられている。
【０１２９】
以下、加速度センサー１３２の座標は、地表に直立したユーザーがＨＭＤ１を頭に装着している場合における、ユーザーにとっての上下方向をＺ軸方向、左右方向をＸ軸方向、前後方向をＹ軸方向とする。また、加速度センサー１３２は、右眼観察形態の場合にＺ軸方向の検出値が負値となり、左眼観察形態の場合にＺ軸方向の検出値が正値となるように、取り付けられている。
【０１３０】
地磁気センサー１３３は、ＨＭＤ１の方角検出に用いられる。角速度センサー（ジャイロセンサー）１３４は、ＨＭＤ１の回転検出に用いられる。ＧＰＳセンサー１３５はＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を利用した測位検出に用いられる。温湿度センサー１３６は、環境の温度、湿度の検出に用いられる。心拍数センサー１３７は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。
【０１３１】
図２２は、本実施形態に係る処理部１２３の機能ブロック図である。処理部１２３は、入力検出部３０１、制御部３０２、記憶部３０３、眼球照明部３０４、音声調整部３０５、画像切替部３０６、画像表示部３０７、及び送受信部３０８を備えている。図２２では、ＷｉＦｉ通信回路１３１及び３Ｇ／ＬＴＥ通信回路１３８（図２１を参照）を、「通信インタフェース（１３１、１３８）」と総称する。
【０１３２】
入力検出部３０１は、タッチスイッチ３４上で行われた操作の種類を判別し、判別した結果に基づく制御信号を、制御部３０２、画像切替部３０６、及び送受信部３０８に出力する。タッチスイッチ３４上で行われた操作の種類とは、発信の指示、及び受信の指示等である。入力検出部３０１は、タッチスイッチ３４上の所定の領域がタッチされた場合、タッチされた領域に基づいて、これらの操作の種類を判別する。
【０１３３】
制御部３０２は、加速度センサー１３２が検出した検出値、及び撮像素子７２による撮像画像の少なくとも一方に基づいて、右眼観察形態又は右眼観察形態を判別する。ここで、制御部３０２は、撮像素子７２による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、撮像画像に映っているユーザーの眼が、左右どちらの眼の画像であるか（右眼観察形態又は右眼観察形態）を判別する。
【０１３４】
制御部３０２は、判別した結果に基づいて、眼球照明ライト１６６の点灯及び消灯を制御する。また、制御部３０２は、判別した結果に基づいて、オーディオコネクター２６に接続されているステレオイヤホン１００に出力する音声を制御する。また、制御部３０２は、判別した結果に基づいて、表示部６０から投影する画像を制御する。
【０１３５】
制御部３０２は、入力検出部３０１が出力する制御信号と、撮像画像とに基づいて、注視点検出のためのキャリブレーション（補正）を行う。制御部３０２は、注視点検出のためのキャリブレーションにより生成した関係式、及び情報を、記憶部３０３に記憶させる。以下、この生成した関係式、及び情報を、「視線に基づいて操作するためのパラメータ」という。なお、注視点検出のためのキャリブレーションについては、後述する。
【０１３６】
制御部３０２は、表示部６０の配置が適切であるか否かを、撮像画像に基づいて判別する。制御部３０２は、ユーザーの顔に対する表示部６０の相対位置が適切でない場合、表示部６０を適切な方向にずらすようにアナウンスする音声を、音声調整部３０５を介して耳元スピーカー２３から出力させる。なお、このような位置合わせの処理については、後述する。
【０１３７】
記憶部３０３には、制御部３０２が生成した、視線に基づいて操作するためのパラメータが記憶されている。
【０１３８】
眼球照明部３０４は、制御部３０２の制御に基づいて、眼球照明ライト１６６ａ〜１６６ｄを、点灯または消灯させるように駆動する。
【０１３９】
音声調整部３０５には、エンコーダー１２９が出力する音声データ（ＨＭＤ１のユーザーの音声データ）、送受信部３０８が出力する受信信号が入力される。音声調整部３０５は、送受信部３０８が出力する受信信号から、他の端末のユーザーの音声データ（以下、他端末の音声データともいう）を抽出する。音声調整部３０５は、制御部３０２が出力する装着状態を示す情報に基づいて、エンコーダー１２９が出力する音声データ（ＨＭＤ１のユーザーの音声データ）、又は、他の端末のユーザーの音声データに基づく音声を、ステレオイヤホン１００の左右どちらのスピーカーに出力するのかを選択し、左右のスピーカーの各音量等を調整する。
【０１４０】
画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを取得する。画像切替部３０６は、取得した画像データの表示モードを、制御部３０２が出力した装着状態を示す情報に基づいて切り替え、切り替えた表示モードで、画像データを画像表示部３０７に出力する。ここで、表示モードとは、例えば、第１表示モード又は第２表示モードである。
【０１４１】
画像切替部３０６は、送受信部３０８が出力した受信信号から、画像切替信号を抽出する。画像切替部３０６は、画像切替信号が抽出できた場合、抽出した画像切替信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを、画像表示部３０７に出力する。また、画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、エンコーダー１２９から出力された画像データ、またはフラッシュメモリー１２２から読み出した画像データの解像度を変換し、変換した画像データを画像表示部３０７に出力する。
画像切替部３０６は、パスワード設定画面、及びメニュー画面等を、制御部３０２の指示に応じて表示パネル６３に表示させる。
画像切替部３０６は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識された観察形態に応じて表示部６０に表示するための画像を回転させる角度（（以下、表示角度という）例えば、０度、９０度、１８０度、２７０度）を切り替える。これにより、画像切替部３０６は、ユーザーの姿勢がいかようにあっても、表示部６０とユーザーの眼との関係に応じて、表示部６０に表示する画像の表示方向を適切に切り替えて表示することができる。なお、観察形態は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識される。具体的には、右眼観察形態のときの画像の表示角度を０度とした場合及び左眼観察形態のときの画像の表示角度を１８０度とした場合、制御部３０２は、右眼観察形態のときの画像の表示角度を０度に切り替え、左眼観察形態のときの画像の表示角度を１８０度に切り替える。
【０１４２】
画像表示部３０７には、画像切替部３０６が出力した画像データが入力される。画像表示部３０７は、入力されたこれらの画像データに基づき、表示パネル６３に表示する画像データを生成する。画像表示部３０７は、生成した画像データを、送受信部３０８、ビデオコネクター２７、及びＬＣＤドライバ１２５に出力する。
【０１４３】
送受信部３０８は、入力検出部３０１が出力した制御信号に基づき、画像表示部３０７が出力した画像データを、通信インタフェース（１３１、１３８）を介して送信する。送受信部３０８は、通信インタフェース（１３１、１３８）を介して受信した受信信号を、画像切替部３０６に出力する。
【０１４４】
このように、本実施形態の頭部装着型情報入出力装置（ＨＭＤ１）は、操作部により操作可能な操作画像を含む表示画像を表示する表示部（表示部６０、表示パネル６３）と、表示部に表示されている操作画像を操作可能な操作部（操作スイッチ３０、タッチスイッチ３４）と、ユーザーの眼を含む領域の撮像画像を撮像する撮像部（撮像素子７２）と、操作部の操作により操作画像が選択されたとき、ユーザーの視線に基づいて操作するためのパラメータを撮像画像に基づいて取得する制御部（制御部３０２）と、を備える。
このような構成により、後述するように、ユーザーは、表示部６０に表示された表示画像に含まれる操作画像を、操作部（操作スイッチ３０、タッチスイッチ３４）を操作して選択する。そして、制御部３０２は、この操作画像が操作部により操作されているときの撮像画像に基づいて、ユーザーの視線に基づいて操作するためのパラメータを撮像画像に基づいて取得する。この結果、注視点検出のためのキャリブレーションを行うことができる。
なお、ユーザーの眼の近傍に表示部６０を保持する保持部には、ヘッドパット４６、ヘッドバンド４０、連結ピン４１、ディスプレイ本体２０、ディスプレイ本体２０の連結孔３１等が含まれる。
【０１４５】
次に、ＨＭＤ１の動作について説明する。図２３は、本実施形態に係るＨＭＤ１の電源オン状態後に行う動作のフローチャートである。
（ステップＳ１）処理部１２３は、ＨＭＤ1のシステムの起動の完了を待って、システムの起動が完了したらステップＳ２に進む。なお、起動とは、メインスイッチ２８が操作されてＨＭＤ1がコールドスタートする場合、ならびにＨＭＤ1が所定時間使われなかった場合などにスリープ状態に至り、その後、タッチスイッチ３４などを操作された場合、ウォームスタートした場合などである。
【０１４６】
（ステップＳ２）処理部１２３は、ユーザーが左右、どちらの眼でＨＭＤ１の表示部６０を観察しているか検出する処理（以下、左右の眼の検出処理という）を行う。なお、この「左右の眼の検出処理」の詳細な処理は、後述する。処理部１２３は、検出した結果に基づいて、表示部６０に表示する画像の向きを切り替える。
【０１４７】
（ステップＳ３）処理部１２３は、ＨＭＤ１の表示部６０が正しい装着位置に装着されるようにガイドを行う処理（以下、装着ガイドの処理という）を行う。なお、「装着ガイドの処理」の詳細な処理は、後述する。
【０１４８】
（ステップＳ４）処理部１２３は、点灯させる眼球照明ライト１６６と、消灯させる眼球照明ライトを選択する処理（以下、眼球照明ライトの選択処理という）を行う。なお、「眼球照明ライトの選択処理」の詳細な処理は後述する。
【０１４９】
（ステップＳ５）処理部１２３は、注視点検出のためのキャリブレーションを行う。なお、注視点検出のためのキャリブレーションの詳細な処理については、後述する。
【０１５０】
次に、「左右の眼の検出処理」手順について説明する。
図２４は、本実施形態に係る左右の眼の検出処理手順のフローチャートである。
【０１５１】
（ステップＳ１０１）処理部１２３の制御部３０２は、加速度センサー１３２が検出した検出値において、Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いか否かを判別する。Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いと判別された場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２に進む。Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強くないと判別された場合（ステップＳ１０１；Ｎｏ）、ステップＳ１０３に進む。
【０１５２】
（ステップＳ１０２）Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いと判別された場合、表示部６０は、図５（Ａ）または図５（Ｂ）に示したような第１表示モードの装着形態である。このため、制御部３０２は、加速度センサー１３２の検出値に基づいて、右眼観察形態であるか左眼観察形態であるのかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
【０１５３】
（ステップＳ１０３）Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強くないと判別された場合、ユーザーが寝ているか仰向けの状態であるため、制御部３０２は、撮像素子７２を駆動する。
図２５は、右眼観察形態の場合の撮像範囲Ｐの撮像画像の一例を説明する図である。図２６は、左眼観察形態の場合の撮像範囲Ｐの撮像画像の一例を説明する図である。
制御部３０２は、観察形態を判別するために、図１９で説明した撮像領域Ｐを使って、眼の周辺画像を撮像素子７２により撮像する。例えば、撮像画像は、図５（Ａ）に示した第１表示モードかつ右眼観察形態で使用されるときの撮像画像（以下、第１右眼画像という）を基準としている。このため、図２５に示すように、第１右眼画像６１０Ｒは、正立画像である。図２５に示すように、第１右眼画像６１０Ｒでは、右眼の画像６０１Ｒ３に対して、右眉毛の画像６０２Ｒ３が＋Ｚ方向にある。
一方、図２６に示すように、第１表示モードかつ左眼観察形態で使用されるときの眼の周辺画像（以下、第１左眼画像という）６１０Ｌは、倒立画像である。図２６に示すように、第１左眼画像６１０Ｌでは、左眼の画像６０１Ｌに対して、右眉毛の画像６０２Ｌが−Ｚ方向にある。
【０１５４】
（ステップＳ１０４）図２４に戻って、制御部３０２は、撮像画像から眉毛の画像が抽出可能であるか否かを判別する。眉毛の画像が抽出可能であると判別された場合（ステップＳ１０４；Ｙｅｓ）、ステップＳ１０５に進む。例えば、表示部６０が眼に近い場合、または化粧等によって眉毛の判別が難しい場合など、眉毛の画像を抽出ができないと判別された場合（ステップＳ１０４；Ｎｏ）、ステップＳ１０６に進む。なお、制御部３０２は、例えばパターンマッチングの技術を用いて、眉毛の画像を抽出する。
例えば、ユーザーが右眼観察形態で使用している場合、選択領域Ｑ（図１９（Ａ）を参照）に撮像された画像は、図１１に示すような画像になる。一方、ユーザーが左眼観察形態で使用している場合、選択領域Ｒ（図２０（Ｂ）を参照）に撮像された画像は、図２７に示すような画像になる。図２７は、左眼観察形態における撮像画像の一例を説明する図である。なお、図２７では、選択領域Ｒの画像を１８０度回転させて示してある。このため、図２７の−Ｚ側がユーザーの上側、＋Ｚ側がユーザーの下側、−Ｘ側がユーザーの左側、＋Ｘ側がユーザーの右側となる。また、図２７において、符号６０１Ｌ１は、左眼の画像であり、符号６０２Ｌ１は、左眉毛の画像である。
なお、ステップＳ１０１〜Ｓ１０８の処理中、制御部３０２は、眼球照明ライト１６６を点灯させておいても、消灯させておいてもよい。ステップＳ１０１〜Ｓ１０８の処理中、制御部３０２は、バックライト６２を点灯させておいてもよい。
【０１５５】
（ステップＳ１０５）眉毛の画像が撮像画像から抽出可能である場合、制御部３０２は、眉毛の画像と眼の画像との位置や、眉毛の形状から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、撮像画像が、ユーザーの右眼の画像であるか左眼の画像であるかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
例えば、図２５に示したように、眼球の画像に対して眉毛の画像が、＋Ｚ方向にあると判別した場合、制御部３０２は、ユーザーが右眼で表示部６０を観察している右眼観察形態であると判別する。一方、図２６に示したように、眼球の画像に対して眉毛の画像が、−Ｚ方向にあると判別した場合、制御部３０２は、ユーザーが左眼で表示部６０を観察している左眼観察形態であると判別する。
【０１５６】
（ステップＳ１０６）眉毛の画像が撮像画像から抽出可能ではない場合、制御部３０２は、瞬きでの瞼の挙動から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、ユーザーの右眼であるか左眼であるかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
例えば、瞬きは上瞼が動くことから、瞼が図１１において＋Ｚ方向から−Ｚ方向へ移動し、すぐに−Ｚ方向から＋Ｚ方向へ戻った場合、制御部３０２は、ユーザーが右眼で表示部６０を観察している右眼観察形態であると判別する。また、瞼の移動開始方向ならびに戻り方向がこの逆となった場合、制御部３０２は、ユーザーが左眼で表示部６０を観察している左眼観察形態であると判別する。
以上のように、本実施形態によれば、ユーザーが横方向に寝ている様な場合にも、加速度センサー１３２が検出した重力の方向にたよらずに、眉毛や瞼の動きを検出することでユーザーが観察している眼の方向を判別できる。
【０１５７】
（ステップＳ１０７）ステップＳ１０６までの判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合、制御部３０２は、撮像素子７２が撮像した撮像領域Ｐから選択領域Ｑを選択し、ステップＳ１０８へ進む。一方、ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、撮像領域Ｐから選択領域Ｒを選択し、ステップＳ１０８へ進む。
【０１５８】
（ステップＳ１０８）ステップＳ１０６までの判別結果に基づいて、右眼観察形態であると判別された場合、画像切替部３０６は、表示部６０の表示方向を右眼用に設定する。また、ステレオイヤホン１００が接続されている場合、音声調整部３０５は、第１スピーカー１０３を右耳用に、第２スピーカー１０４を左耳用になるようステレオ音声出力の左右を設定する。
一方、左眼観察形態であると判別された場合、画像切替部３０６は、表示部６０の表示方向を左眼用に設定する。なお、左眼用の表示方向とは、右眼用の表示顔面を１８０度回転させて上下反転させる方向である。また、ステレオイヤホン１００が接続されている場合、音声調整部３０５は、第１スピーカー１０３を左耳用に、第２スピーカー１０４を右耳用になるようステレオ音声出力の左右を設定する。
【０１５９】
なお、ステップＳ１０１〜Ｓ１０６において、右眼観察形態であるか否かを、加速度センサー１３２の検出値、撮像画像に基づいて判別する例を説明したが、右眼観察形態であるか否かの判定方法は、これに限られない。
例えば、ＨＭＤ１は、ディスプレイ本体２０に取り付けられている不図示のスイッチ等により検出するようにしてもよい。むろんユーザーが、手動で右眼観察形態または左眼観察形態に設定してもよい。
【０１６０】
次に、「装着ガイドの処理」手順について説明を行う。
図２８は、本実施形態に係るＨＭＤ１の装着ガイドの処理手順のフローチャートである。なお、以下の説明では、表示パネル６３を、ＬＣＤ６３と称する。この処理は、ユーザーがＨＭＤ１を使用、ＬＣＤ６３の表示が行われているときに、適宜この処理を行って、ユーザーにＬＣＤ６３のずれを補正するように注意を促しても良い。あるいは、タッチスイッチ３４等の操作により、位置合わせを行うようユーザーが指示したときに行うようにしてもよい。
【０１６１】
本実施形態では、図１８（Ａ）及び図１８（Ｂ）で説明したように、ユーザーの眼の斜め下に撮像素子７２を備えている表示部６０が配置される。このため、撮像素子７２は、図１７に示したように、ユーザーの眼の周りの画像を斜め下から撮像する。しかしながら、表示部６０と眼との間隔が適切でない場合、及び表示部６０の画面中心と眼の中心とがずれている場合、ユーザーはＬＣＤ６３に表示されている画像を適切に観測できない。このため、本実施形態では、制御部３０２が、撮像素子７２が撮像した画像に基づいて、ユーザーの眼の位置に対して表示部６０の位置がずれていることを検出して、ユーザーにアナウンスする。
【０１６２】
（ステップＳ２０１）制御部３０２は、例えば、パターンマッチングの技術を用いて、眼の画像を抽出する。制御部３０２は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合（ステップＳ２０１；Ｙｅｓ）、ステップＳ２０２へ進み、ユーザーが左眼観察形態で使用していると判別された場合（ステップＳ２０１；Ｎｏ）、ステップＳ２１４へ進む。
【０１６３】
（ステップＳ２０２）制御部３０２は、撮像画像（例えば、図１１を参照）に基づいて、ユーザーの眼の位置が＋Ｘ方向にずれているか否かの判別を行う。ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合（ステップＳ２０２；Ｙｅｓ）、ステップＳ２０３に進む。ユーザーの眼の位置が＋Ｘ方向にずれていないと判別した場合（ステップＳ２０２；Ｎｏ）、ステップＳ２０４に進む。
【０１６４】
（ステップＳ２０３）ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合、ユーザーの眼に対して表示部６０が、ユーザーの右側にずれていることになる。このため、このような場合、処理部１２３は、ユーザーへ表示部６０をユーザーの左側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１６５】
（ステップＳ２０４）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｘ方向にずれているか否かを判別する。ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合（ステップＳ２０４；Ｙｅｓ）、ステップＳ２０５に進む。ユーザーの眼の位置が−Ｘ方向にずれていないと判別された場合（ステップＳ２０４；Ｎｏ）、ステップＳ２０６に進む。
【０１６６】
（ステップＳ２０５）ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの右側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１６７】
（ステップＳ２０６）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が＋Ｚ方向にずれているか否かを判別する。ユーザーの眼が＋Ｚ方向にずれていると判別された場合（ステップＳ２０６；Ｙｅｓ）、ステップＳ２０７に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２０６；Ｎｏ）、ステップＳ２０８に進む。
【０１６８】
（ステップＳ２０７）ユーザーの眼の位置が＋Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの上側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１６９】
（ステップＳ２０８）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｚ方向にずれている否かを判別する。ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合（ステップＳ２０８；Ｙｅｓ）、ステップＳ２０９に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２０８；Ｎｏ）、ステップＳ２１０に進む。
【０１７０】
（ステップＳ２０９）ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの下側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１７１】
（ステップＳ２１０）制御部３０２は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより大きいか否かを判別する。ユーザーの眼の画像が所定の大きさより大きいと判別された場合（ステップＳ２１０；Ｙｅｓ）、ステップＳ２１１に進む。ユーザーの眼の画像が所定の大きさより大きくないと判別された場合（ステップＳ２１０；Ｎｏ）、ステップＳ２１２に進む。例えば、制御部３０２は、眼の画像を抽出し、抽出した画像に基づいて、眼の幅を抽出する。制御部３０２は、抽出した眼の幅が所定の大きさより大きいか否かを判別する。
【０１７２】
（ステップＳ２１１）ユーザーの眼の画像が所定の大きさより大きいと判別された場合、ユーザーの眼が表示部６０に近すぎると推定されるので、処理部１２３は、表示部６０を眼から離すように耳元スピーカー２３からアナウンスを行う。
【０１７３】
（ステップＳ２１２）制御部３０２は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより小さいか否かを判別する。ユーザーの眼の画像が所定の大きさより小さいと判別された場合（ステップＳ２１２；Ｙｅｓ）、ステップＳ２１３に進む。ユーザーの眼の画像が所定の大きさより小さくないと判別された場合（ステップＳ２１２；Ｎｏ）、装着状態の判定処理を終了する。
【０１７４】
（ステップＳ２１３）ユーザーの眼の画像が所定の大きさより小さいと判別された場合、ユーザーの眼が表示部６０から遠すぎると推定されるので、処理部１２３は、表示部６０を眼に近づけるように耳元スピーカー２３からアナウンスを行う。
【０１７５】
（ステップＳ２１４）ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、撮像画像（例えば、図２７を参照）に基づいて、ユーザーの眼の位置が＋Ｘ方向にずれているか否かの判別を行う。ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合（ステップＳ２１４；Ｙｅｓ）、ステップＳ２１５に進む。ユーザーの眼の位置が＋Ｘ方向にずれていないと判別された場合（ステップＳ２１４；Ｎｏ）、ステップＳ２１６に進む。
【０１７６】
（ステップＳ２１５）ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合、ユーザーの眼に対して表示部６０が、ユーザーの左側にずれていることになる。このため、このような場合、処理部１２３は、ユーザーへ表示部６０をユーザーの右側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１７７】
（ステップＳ２１６）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｘ方向にずれているか否かを判別する。ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合（ステップＳ２１６；Ｙｅｓ）、ステップＳ２１７に進む。ユーザーの眼の位置が−Ｘ方向にずれていないと判別された場合（ステップＳ２１６；Ｎｏ）、ステップＳ２１８に進む。
【０１７８】
（ステップＳ２１７）ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの左側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１７９】
（ステップＳ２１８）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が＋Ｚ方向にずれているか否かを判別する。ユーザーの眼の位置が＋Ｚ方向にずれていると判別された場合（ステップＳ２１８；Ｙｅｓ）、ステップＳ２１９に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２１８；Ｎｏ）、ステップＳ２２０に進む。
【０１８０】
（ステップＳ２１９）ユーザーの眼の位置が＋Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの下側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１８１】
（ステップＳ２２０）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｚ方向にずれている否かを判別する。ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合（ステップＳ２２０；Ｙｅｓ）、ステップＳ２２１に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２２０；Ｎｏ）、ステップＳ２１０に進む。
【０１８２】
（ステップＳ２２１）ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの上側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
ステップＳ２２１処理後、処理部１２３は、ステップＳ２１１からＳ２１３を行い、ＨＭＤ１の装着ガイドの処理を終了する。
【０１８３】
次に、眼球照明ライトの選択処理について説明する。図２９は、本実施形態に係るＨＭＤ１の眼球照明ライトの選択処理手順のフローチャートである。
【０１８４】
（ステップＳ４０１）制御部３０２は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合（ステップＳ４０１；Ｙｅｓ）、ステップＳ４０２へ進み、ユーザーが左眼観察形態で使用していると判別された場合（ステップＳ４０１；Ｎｏ）、ステップＳ４０３へ進む。
【０１８５】
（ステップＳ４０２）ユーザーが右眼観察形態で使用していると判別された場合、制御部３０２は、眼球照明ライト１６６ａ及び１６６ｂを選択し、選択した結果を眼球照明ライト選択設定として記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。
【０１８６】
（ステップＳ４０３）ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを選択し、選択した結果を眼球照明ライト選択設定として記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。
【０１８７】
以上のように、本実施形態のＨＭＤ１は、表示部６０とユーザーとの位置関係に応じて、眼球照明ライト１６６ａ〜１６６ｄを選択して点灯させるようにした。この結果、本実施形態のＨＭＤ１は、眼球を照明するライトを適宜選択可能としたことにより、使用者の眼を的確に照明できるとともに、消費電力を抑えることが可能となった。
【０１８８】
ここで、第１実施形態との比較例について説明する。
図３０は、第１実施形態に係る「注視点検出のためのキャリブレーション」との比較例としてのキャリブレーションの実例（以下、「キャリブレーション比較例」という）について説明する図である。以下に、ユーザーがＨＭＤ１を用いて、仮に、キャリブレーション比較例を行う場合について説明する。
図３０において、画像４００Ａは、表示パネル６３上に表示される画像である。ユーザーの視線入力により表示部６０上の操作を行う場合、ＨＭＤ１は、装着される毎に、視線の座標と表示パネル６３上の座標とを検出し、視線の座標と表示パネル６３上の座標とのキャリブレーションを行う必要がある。なお、視線入力による操作とは、例えば、表示パネル６３上にソフトウェア・キーボードを表示し、そのキーを視線に基づいて入力する操作等である。
このような視線操作では、ユーザーの視線と、表示パネル上の位置が一致している必要がある。このため、図３０に示したように、ＨＭＤ１は、画像４００Ａの四隅及び中央に、順次、白丸４１０ａから白丸４１０ｅを表示する。ユーザーは、表示された白丸の位置に視線を合わせる。ＨＭＤ１は、表示位置と、視線とのずれを無くすように、視線を撮像する撮像素子７２によるカメラ座標系と、表示パネル６３上の座標系とをキャリブレーションする。この処理により、ユーザーの視線と、表示パネル６３上に表示される情報との位置がキャリブレーションされる。
キャリブレーション比較例においては、このようなキャリブレーションを、ユーザーが、キャリブレーション設定を選択して、例えば頭部に装着する都度行う必要がある。このようなキャリブレーションは、ユーザーにとって、手続きが面倒であり、利便性が悪かった。
一方、本実施形態に係るＨＭＤ１では、キャリブレーション比較例のようにユーザーがキャリブレーション設定を行うのではなく、後述するように表示パネル６３に表示される情報を操作しているときに、視線（注視点）に基づいて操作するためのパラメータを取得し、注視点検出のためのキャリブレーションを行う。
【０１８９】
次に、注視点検出のキャリブレーションの詳細について説明を行う。
図３１及び図３２は、本実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。図３３は、本実施形態に係る右眼観察形態における眼球照明ライト１６６の点灯、消灯を説明する図である。図３４は、本実施形態に係る表示部６０の位置と眼球照明ライト１６６の関係を説明する図であり、ユーザーの顔を水平正面から見た図である。
なお、以下では、図７（Ａ）、図７（Ｂ）、及び図３４に示すように、右眼観察形態かつ眼の下に表示部６０が配置されている状態、または左眼観察形態かつ眼の下に表示部６０が配置されている状態を検出して、注視点検出のためのキャリブレーションを行う例について説明する。
【０１９０】
図３４において、一点鎖線で示した位置６００ａ〜６００ｂは、表示部６０が配置される位置の例である。以下の処理で説明するように、ＨＭＤ１は、位置６００ａに表示部６０がある場合、眼の近傍にある眼球照明ライト１６６ａ及び１６６ｂを点灯させ、他を消灯させる。一方、ＨＭＤ１は、位置６００ｂに表示部６０がある場合、眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、他を消灯させる。
【０１９１】
（ステップＳ５０１）制御部３０２は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用しているか否かを判別する。制御部３０２は、ユーザーが右眼観察形態で使用していると判別された場合（ステップＳ５０１；Ｙｅｓ）、ステップＳ５０２に進み、ユーザーが右眼観察形態で使用していないと判別された場合（ステップＳ５０１；Ｎｏ）、ステップＳ５０３に進む。
【０１９２】
（ステップＳ５０２）右眼観察形態であると判別された場合、制御部３０２は、記憶部３０３に記憶されている眼球照明ライトの選択設定を読み出す。次に、制御部３０２は、読み出したる眼球照明ライトの選択設定に基づいて、眼球照明部３０４を介して眼球照明ライト１６６ａと１６６ｂを点灯する。
図３３に示すように、ユーザー右眼の下に表示部６０を配置して観察する場合、眼球照明ライト１６６ｃと１６６ｄは、極めて頬の近傍に配置されることになるために眼球を照明できない。このため、本実施形態では、図３４の位置６００ａに示すように、眼球照明部３０４は、眼球照明ライト１６６ｃ、及び１６６ｄは消費電力を下げるために消灯する。
【０１９３】
（ステップＳ５０３）左眼観察形態であると判別された場合、制御部３０２は、記憶部３０３に記憶されている眼球照明ライトの選択設定を読み出す。次に、制御部３０２は、読み出したる眼球照明ライトの選択設定に基づいて、眼球照明部３０４を介して、図３４の位置６００ｂに示すように、眼球照明ライト１６６ｃと１６６ｄを点灯する。眼球照明部３０４は、消費電力を下げるために、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。
以上の処理により、本実施形態のＨＭＤ１は、ユーザーの眼と表示部６０との位置関係に応じて眼球を照明するライトの選択が適宜行うことが可能となる。さらに、本実施形態のＨＭＤ１は、使用しない眼球照明ライト１６６を消灯することで効率的な省電力対策が可能となっている。
【０１９４】
（ステップＳ５０４）画像切替部３０６は、ステップＳ５０２またはＳ５０３終了後、図３５に示すようなパスワード入力画面（表示画像）を、ＬＣＤ６３に表示する。これは一般に普及しているモバイル用途のＰＣや携帯電話で用いられている、ユーザーが設定したパスワードを入力するもので、他人が使用することを防ぐことを目的にしている。
図３５は、本実施形態に係るパスワード入力画面４００ｅの一例である。図３５において、パスワード入力画面４００ｅの長手方向をＸ軸方向、短手方向をＺ軸方向とする。図３５に示すように、ＬＣＤ６３上には、ＡからＺまでのアルファベット・キー（操作画像）４６１、記号キー（操作画像）４６２、シフトキー（操作画像）４６３、１０キー切り替えキー（操作画像）４６４、スペースキー（操作画像）４６５、決定（Ｄｏｎｅ）キー（操作画像）４６６、入力された文字を表示する領域４６７、及びカーソル４６８が表示される。また、図３５において、符号Ｄｘは、Ｘ軸方向の座標、符号Ｄｚは、Ｚ軸方向の座標を表す。
【０１９５】
表示画像とは、ＬＣＤ６３に表示される画像であり、図３５に示したパスワード入力画面、後述するメニュー画面等である。また、操作画像とは、表示画像上に表示され、ユーザーが操作部（操作スイッチ３０、タッチスイッチ３４）により選択可能な、各々のキー画像、各々のボタン画像、各々のアイコン画像、カーソル画像等である。上述のように、これらの表示画像は、表示されたことに応じて、ユーザーが操作部を操作して、操作画像の選択を行うことを促す画像を含んでいる。
【０１９６】
（ステップＳ５０５）図３１に戻って、制御部３０２は、パラメータのサフィックス（文字列）となる「ｉ」をゼロに初期化する。
【０１９７】
（ステップＳ５０６）制御部３０２は、サフィックス「ｉ」に１を加算する。
【０１９８】
（ステップＳ５０７）制御部３０２は、撮像素子７２が撮像した撮像画像（含む映像）を取得する。次に、制御部３０２は、取得した撮像画像に基づいて、眼球に照射されている眼球照明ライト１６６ａ〜１６６ｄによる輝点の座標（第２座標）（Ｅｘ（ｉ），Ｅｚ（ｉ））を取得する。第２座標は、眼球の回動動作、すなわち視線の方向に１対１で対応する座標である。
【０１９９】
制御部３０２が取得した撮像画像は、例えば図１１である。図１１に示すように、眼球照明ライト１６６aによる輝点６０４Ａ、及び眼球照明ライト１６６ｂによる輝点６０４Ｂが画像に映っており、この輝点が眼球の運動に連動して移動する。すなわち、眼球が左側に動く場合、輝点６０４Ａ及び６０４Ｂは、＋Ｘ側へ移動する。また、眼球が左側に動く場合、同輝点は、−Ｘ側へ移動する。また、眼球が上方に動く場合、輝点は、＋Ｚ側へ移動し、眼球が下方向に動く場合、輝点が−Ｚ側に移動する。この眼球の動きは、ＬＣＤ６３内の表示で何処を注視するかによって、ＬＣＤ６３内の位置と輝点の位置が一義的に決定される。
【０２００】
図３５のパスワード入力画面４００ｅにおいて、カーソル４６８が表示される。カーソル４６８は、ユーザーが操作スイッチ３０を上下左右に倒して操作することで、カーソル４６８の位置を上下左右に動かすことが可能となっている。そして、図３５に示すように、例えばパスワードの一文字として「Ｐ」が選択された場合、カーソル４６８が「Ｐ」の文字の所に移動され、さらに操作スイッチ３０が押圧されて、「Ｐ」の文字が入力される。
この操作スイッチ３０が押圧される直前において、ユーザーは、「Ｐ」の文字を注視している確率が非常に高いので、このときの眼の輝点の座標を取り込む。なお、制御部３０２は、図１１における２つの輝点６０４Ａの座標（Ｘａ，Ｚａ）、輝点６０４Ｂの座標（Ｘｂ，Ｚｂ）の平均を取った値を用いて、パスワード１文字目を注視したときの眼の輝点のＸ軸及びＹ軸の測定値Ｅｘ（１）、Ｅｚ（１）を、次式（２）及び次式（３）のように算出する。
【０２０１】
Ｅｘ（１）＝  （Ｘａ＋Ｘｂ）／２  ・・・（２）
【０２０２】
Ｅｚ（１）＝  （Ｚａ＋Ｚｂ）／２  ・・・（３）
【０２０３】
制御部３０２は、算出した測定値の座標（Ｅｘ（ｉ），Ｅｚ（ｉ））を、記憶部３０３に記憶させる。
【０２０４】
（ステップＳ５０８）図３１に戻って、制御部３０２は、文字が表示されているＬＣＤ６３上の座標（第１座標）である（Ｄｘ（ｉ），Ｄｚ（ｉ））を取得する。例えば図３５において「Ｐ」の文字が選択された場合、制御部３０２は、文字「Ｐ」の座標が取得し、パスワード１文字目の座標として（Ｄｘ（１）、Ｄｚ（１））を取得する。このように、第１座標は、ＬＣＤ６３に表示される表示画像内における操作画像の座標である。また、操作画像には、各々、予め定められている基準点が記憶部３０３に記憶されているようにしてもよい。予め定められている基準点は、例えば操作画像の角（左上、右上、左下、または右下）、操作画像の中心等である。制御部３０２は、選択された操作画像に予め定められている基準点の座標を取得する。または、制御部３０２は、文字「Ｐ」におけるカーソル４６８の矢印の先端の基準点を座標の代わりに取得し、取得した座標を第１座標としてもよい。
【０２０５】
（ステップＳ５０９）制御部３０２は、ユーザーにより設定されているパスワードの認証が完了したか否かを判別する。パスワードの認証が完了したと判別した場合（ステップＳ５０９；Ｙｅｓ）、ステップＳ５１０に進む。パスワードの認証が完了していないと判別した場合（Ｓ５０９；Ｎｏ）、ステップＳ５０６からＳ５０９を繰り返す。
なお、ステップＳ５０７からＳ５０９において、複数のパスワードの文字が選ばれることで眼の輝点の測定座標である（Ｅｘ（ｉ），Ｅｚ（ｉ））、そしてＬＣＤ６３上の文字の位置座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））の値が得られる。また、パスワードの入力が終わったとユーザーが判別した場合、ユーザーは、操作スイッチ３０でＤｏｎｅキー４６６を選択して押す。このとき、制御部３０２は、Ｄｏｎｅキー４６６の座標も取得する。
【０２０６】
（ステップＳ５１０）ステップＳ３１２までのパスワードの入力作業によって、眼の輝点の測定値と、これに対応する文字の位置情報が得られる。このため、この後は、取得した輝点の座標を測定すれば、ユーザーがＬＣＤ６３上のどこを注視しているのかが分かるようになる。すなわち、これらの処理により、視線入力による操作が可能になる。そこで、制御部３０２は、この測定値（Ｅｘ，Ｅｚ）に基づいて、表示位置（Ｄｘ，Ｄｚ）を求める関数式を、次式（４）及び次式（５）のように生成する。
【０２０７】
Ｄｘ  ＝  Ｆ１（Ｅｘ、Ｅｚ）  ・・・（４）
【０２０８】
Ｄｚ  ＝  Ｆ２（Ｅｘ、Ｅｚ）  ・・・（５）
【０２０９】
式（４）及び（５）において、Ｆ１は、Ｄｘと（Ｅｘ、Ｅｚ）の関数、Ｆ２は、Ｄｚと（Ｅｘ、Ｅｚ）の関数である。次に、制御部３０２は、生成した式（４）及び（５）を、記憶部３０３に記憶させる。
【０２１０】
（ステップＳ５１１）パスワードの入力が完了したことを受け、画像切替部３０６は、図３６に示すようなメニューのアイコンを表示する。
図３６は、本実施形態に係るメニュー画面（表示画像）４００ｆの一例を示す図である。図３６に示した例では、メニュー画面４００ｆに９つのアイコン（操作画像）４７１から４７９、及びカーソル（操作画像）４８０が表示されている。例えば、アイコン４７１は、動画撮像の指示を示すアイコンである。なお、アイコン４７１から４７９、各々をアプリケーションと称する。また、これらの中でアイコン４７１は、視線によって入力する機能を有するアプリケーションであることから、特に視線入力アプリケーションと称する。
なお、このアイコン４７１が表す動画撮影を行うアプリケーションでは、カメラ６４で動画撮影ならびに記録を行うとともに、後述するように画面に表示されるマーカーの移動や、ボタンの操作を視線入力で行うことが可能となっている。
初期状態では、図３６に示したように、アイコン４７１の位置に、カーソル４８０が表示される。
【０２１１】
なお、図３６のメニュー画面は、例えば、処理部１２３の制御を司るＯＳ（オペレーションシステム）において、各種設定を行うメニュー画面（表示画像）であってもよい。各種設定を行うメニュー画面とは、例えば、表示パネル６３の輝度調整、表示パネル６３のコントラスト調整、日時設定、スタンバイ状態にするか否かの設定等の各種設定ボタン（またはアイコン、キー等）が表示されている画面である。
また、メニュー画面４００ｆにアイコンが表示されるアプリケーションは、ＨＭＤ１内部で実行されるアプリケーションに限られない。例えば、アイコンが表示されるアプリケーションは、通信を行っている通話相手が使用しているＨＭＤ、ＰＣで実行されるアプリケーションであってもよい。また、アイコンが表示されるアプリケーションは、インターネット等のネットワーク上で実行される、例えばＷｅｂ（ウェブ）アプリケーション等であってもよい。
【０２１２】
（ステップＳ５１２）図３１に戻って、制御部３０２は、メニュー画面において、操作スイッチ３０により手動操作でアイコン４７１が選択されたか否かを判別する。操作スイッチ３０により手動操作でアイコン４７１が選択されていないと判別した場合（ステップＳ５１２；Ｎｏ）、ステップＳ５１３に進む。操作スイッチ３０により手動操作でアイコンが選択されたと判別した場合（ステップＳ５１２；Ｙｅｓ）、丸Ｃ（図３２、ステップＳ５１９）に進む。
【０２１３】
（ステップＳ５１３）制御部３０２は、アイコン４７１以外のアプリケーションが選択されたか否かを判別する。アイコン４７１以外のアプリケーションが選択されたと判別された場合（ステップＳ５１３；Ｙｅｓ）、ステップＳ５１４に進み、制御部３０２は、ユーザーの行うメニュー操作の中で、さらに視線入力の精度を高めるべくキャリブレーションを行う。アイコン４７１以外のアプリケーションが選択されていないと判別された場合（ステップＳ５１３；Ｎｏ）、ステップＳ５１２に戻る。
【０２１４】
（ステップＳ５１４）アイコン４７１以外のアプリケーションが選択されたと判別された場合、制御部３０２は、サフィックス「ｉ」に１を加算する。
【０２１５】
（ステップＳ５１５）制御部３０２は、撮像画像を取得する。次に、制御部３０２は、取得した撮像画像に基づいて、眼球に照射されている眼球照明ライト１６６ａ〜１６６ｄによる輝点の座標（Ｅｘ（ｉ），Ｅｚ（ｉ））を取得する。
【０２１６】
（ステップＳ５１６）制御部３０２は、選択されたアイコンが表示されているＬＣＤ６３上の座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））を取得する。
【０２１７】
（ステップＳ５１７）制御部３０２は、自部に記憶されている関係式（４）及び（５）を再計算して、再計算して生成した関係式を、記憶部３０３に記憶させる。
【０２１８】
（ステップＳ５１８）制御部３０２は、選択されたアプリケーション（またはメニュー）を実行する。アプリケーション実行後、ステップＳ５１１に戻る。
すなわち、制御部３０２は、操作スイッチ３０などによってアイコン、チェックボックス等が選択される毎に、輝度の座標を取得し、かつ関係式（４）及び（５）を再計算することで、注視点検出のためのキャリブレーションを行う。なお、メニュー画面４００ｆを含め、各種アプリケーションが実行される中で、アイコンやチェックボックスなどの選択がなされる度に、そのアイコンやチェックボックスを注視点として、注視点検出のためのキャリブレーションを逐次行ってもよい。
【０２１９】
（ステップＳ５１９）図３２に移って、操作スイッチ３０により手動操作でアイコン４７１が選択されたと判別した場合、制御部３０２は、サフィックス「ｉ」に１を加算する。
【０２２０】
（ステップＳ５２０）制御部３０２は、選択されたアイコンが表示されているＬＣＤ６３上の座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））を取得する。
【０２２１】
（ステップＳ５２１）制御部３０２は、自部に記憶されている関係式（４）及び（５）を再計算して、再計算して生成した関係式を、記憶部３０３に記憶させる。
【０２２２】
（ステップＳ５２２）制御部３０２は、視線入力のアプリを実行する前に、注視点検出のためのキャリブレーションが十分に行われたか否かの判別をする。具体的には、例えばパスワードの登録が一文字であれば、キャリブレーションが十分に行われたとは言えない可能性がある。例えば、少なくとも、パスワード入力画面４００ｅ、またはメニュー画面４００ｆにおいて、異なる２つの位置の注視点検出が行われた場合、制御部３０２は、キャリブレーションが十分に行われたと判別する。なお、異なる２つの位置は、パスワード入力画面４００ｅ、またはメニュー画面４００ｆ内の対角位置に配置されている位置である。
キャリブレーションが十分に行われたと判別された場合（ステップＳ５２２；Ｙｅｓ）、ステップＳ５２７に進む。キャリブレーションが十分に行われていないと判別された場合（ステップＳ５２２；Ｎｏ）、ステップＳ５２３に進む。
【０２２３】
（ステップＳ５２３〜Ｓ５２６）制御部３０２は、画像切替部３０６を介して、図３７に示すような再度、ユーザーの入力を促す文章を提示する。制御部３０２は、図３７に示す画面（表示画像）を追加で提示し、この画面をユーザーが操作するとき、ＬＣＤ６３上の座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））、及び眼球照明ライト１６６ａ〜１６６ｄによる輝点の座標（Ｅｘ（ｉ），Ｅｚ（ｉ））を取得して、注視点検出のためのキャリブレーションを行う。
図３７は、本実施形態に係るユーザーに入力を促す画面の一例である。図３７に示すように、画面４００ｇには、文字列「視線入力モードを使いますか？」４８１、「はい」ボタン（操作画像）４８２、及び「いいえ」ボタン（操作画像）４８３が表示されている。
例えば、図３７において、「はい」ボタン４８２が視線入力により選択された場合、図３５において、Ｄｏｎｅキー４６６、図３６において動画撮像の指示のアイコン４７１がすでに選択されているため、画面の互いにはなれた３箇所のボタン（またはキー、アイコン）が押されたことになり、ある程度信頼のおけるキャリブレーションが完了したことになる。そして、制御部３０２は、ステップＳ５１９からＳ５２１と同様の処理を、ステップＳ５２３からＳ５２６の処理で行い、（Ｄｘ，Ｄｚ）を求める関数式が導き出す。
【０２２４】
なお、入力用の表示とは、図３５における各キー（４６１〜４６６）、図３６における各アイコン４７１〜４７９、図３７における各ボタン（４８２、４８３）等である。ここで、キャリブレーションが不足している位置が画面内にある場合、Ｄｏｎｅキー４６６は、表示位置を適宜変更し、キャリブレーションが必要とされる位置に表示されてもよい。
【０２２５】
（ステップＳ５２７）図３２に戻って、制御部３０２は、画像切替部３０６を介して、カメラ６４が撮像した画像を、図３８に示すように、ＬＣＤ６３に表示する。
図３８は、本実施形態に係る視線入力のアプリケーションの画面４００ｈの説明を行う図である。図３８に示した例では、画面４００（表示画像）ｈには、撮像された画像４９１、マーカー（操作画像）４９２、「終了ボタン」（操作画像）４９３、「記録ボタン」（操作画像）４９４、及び「メニューボタン」（操作画像）４９５が表示されている。マーカー４９２は、ユーザーが画像４９１において、必要な位置を指し示すマーカーである。「終了ボタン」４９３は、アプリケーションを終了させ、図３６に示したメニュー画面４００ｆに戻るボタンである。また、「記録ボタン」４９４は、カメラ６４が撮像した画像信号を、フラッシュメモリー１２２に記録開始するボタンである。「メニューボタン」４９５は、このアプリケーション固有の設定を行うための不図示のメニューを表示させるためのボタンである。
なお、ＨＭＤ１が、他の端末と通信中の場合、撮像された画像４９１は、送受信部３０８を介して、他の端末に送信される。
本実施形態のＨＭＤ１は、画面４００ｈに示すように、ユーザーが観察しつつカメラ６４で撮影している画像において、商品４９６をカーソルで指し示す画像を他の端末に送信することで、商品４９６について具体的に相手に伝えることが可能となっている。
【０２２６】
（ステップＳ５２８）図３２に戻って、制御部３０２は、ユーザーがボタン４９３から４９５を操作スイッチ３０で選択したか否かを判別する。ユーザーがボタン４９３から４９５を操作スイッチ３０で選択したと判別した場合（ステップＳ５２８；Ｙｅｓ）、ステップＳ５３５に進む。ユーザーがボタン４９３から４９５を操作スイッチ３０で選択していないと判別した場合（ステップＳ５２８；Ｎｏ）、ステップＳ５２９に進む。
【０２２７】
（ステップＳ５２９）ユーザーがボタン４９３から４９５を操作スイッチ３０で選択していないと判別した場合、制御部３０２は、ユーザーの眼における輝点の座標（Ｅｘ，Ｅｚ）を取得する。次に、制御部３０２は、取得した座標と、式（４）及び（５）の関数を用いて、ユーザーがどこを注視しているのかを算出する。
【０２２８】
（ステップＳ５３０）制御部３０２は、算出した座標の位置に、マーカー４９２を表示する。
なお、ＨＭＤ１は、マーカー４９２の画像が重畳された画像として、他の端末に対して送信する。そして、ユーザーが注視点を動かせばマーカー４９２も動くことから、ハンズフリーで他の端末のユーザーへ、注視点を伝えることが可能となっている。
【０２２９】
（ステップＳ５３１）制御部３０２は、マーカー４９２が、ボタン４９３、４９４、及び４９５の上にあるか否かを判別する。マーカー４９２が、ボタン４９３、４９４、及び４９５の上にあると判別された場合（ステップＳ５３１；Ｙｅｓ）、ステップＳ５３２に進む。マーカー４９２が、ボタン４９３、４９４、及び４９５の上にないと判別された場合（ステップＳ５３１；Ｎｏ）、ステップＳ５２８に戻る。
【０２３０】
（ステップＳ５３２）マーカー４９２が、ボタン４９３、４９４、及び４９５の上にあると判別された場合、制御部３０２は、撮像画像に基づいて、ユーザーの瞼が短時間に２回連続して瞑られたか否かを判別する。なお、制御部３０２は、パターンマッチングの技術や画像の特徴量による画像比較の技術を用いて判別を行う。ユーザーの瞼が短時間に２回連続して瞑られたと判別された場合（ステップＳ５３２；Ｙｅｓ）、ステップＳ５３３に進む。ユーザーの瞼が短時間に２回連続して瞑られていないと判別された場合（ステップＳ５３２；Ｎｏ）、ステップＳ５２８に戻る。
【０２３１】
（ステップＳ５３３）ユーザーの瞼が短時間に２回連続して瞑られたと判別された場合、制御部３０２は、瞬き２回によって「終了ボタン」４９３が選択されたか否かを判別する。瞬き２回によって「終了ボタン」４９３が選択されたと判別された場合（ステップＳ５３３；Ｙｅｓ）、丸Ｄ（図３１、Ｓ５１１）に進む。瞬き２回によって「終了ボタン」４９３が選択されず、すなわち、その他のボタンが選択されたと判別された場合（ステップＳ５３３；Ｎｏ）、ステップＳ５３４に進む。
【０２３２】
（ステップＳ５３４）瞬き２回によって「終了ボタン」４９３が選択されていないと判別された場合、制御部３０２は、選択されたボタンに対応した操作を行い、ステップＳ５２８に戻る。
【０２３３】
（ステップＳ５３５〜Ｓ５３８）ユーザーがボタン４９３から４９５を操作スイッチ３０で選択したと判別された場合、制御部３０２は、ボタン４９３から４９５の座標と、ユーザーの眼の輝点を元に、ステップＳ５３５からＳ５３８の処理を行って、注視点検出のキャリブレーションを行う。
【０２３４】
（ステップＳ５３９）制御部３０２は、操作スイッチ３０により「終了ボタン」４９３が選択されたか否かを判別する。操作スイッチ３０により「終了ボタン」４９３が選択されたと判別された場合（ステップＳ５３９；Ｙｅｓ）、丸Ｄ（図３１、Ｓ５１１）に進む。操作スイッチ３０により「終了ボタン」４９３が選択されていないと判別された場合（ステップＳ５３９；Ｎｏ）、ステップＳ５４０に進む。
【０２３５】
（ステップＳ５４０）操作スイッチ３０により「終了ボタン」４９３が選択されず、すなわち、その他のボタンが選択されたとていない判別された場合、制御部３０２は、選択されたボタンに対応した操作を行い、ステップＳ３３１に戻る。
【０２３６】
以上のように、ユーザーは、表示パネル６３に表示された表示画像に含まれる操作画像の操作を操作部（操作スイッチ３０、タッチスイッチ３４）により行う。実施形態のＨＭＤ１は、操作部により操作が行われているとき、表示部６０に表示されている表示画像に含まれる操作画像を注視している撮像画像を取得する。そして、実施形態のＨＭＤ１は、ユーザーの視線に基づいて操作するためのパラメータである、操作された操作画像に基づく第１座標と撮像画像に基づく第２座標とを取得する。そして、実施形態のＨＭＤ１は、取得した第１座標と第２座標との組み合わせに基づいて、注視点検出のためのキャリブレーションを自動的に行う。
このため、実施形態のＨＭＤ１では、ユーザーがキャリブレーション設定をメニュー等から選択して行わなくても、単に表示画像に含まれる操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。また、実施形態のＨＭＤ１では、従来のように、図３０に示したような注視点検出のためのキャリブレーション用の画像をユーザーに注視させて行う、注視点検出のためのキャリブレーションを行わなくても、単に表示画像に含まれる操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。この結果、本実施形態によれば、利便性を向上することができる。
さらに、実施形態のＨＭＤ１では、表示画像に含まれている操作画像が、パスワード入力画像のようにユーザーが操作する必然性のある画像である。ユーザーが操作する必然性のある画像であるため、ユーザーは、この操作画像を操作部で操作する。そして、実施形態のＨＭＤ１は、このように操作画像が選択されたときに第１座標と第２座標とを、自動的に取得している。
このため、実施形態のＨＭＤ１では、単に表示画像に含まれる操作する必然性のある操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。また、実施形態のＨＭＤ１では、従来のように注視点検出のためのキャリブレーションを行わなくても、単に表示画像に含まれる操作する必然性のある操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。この結果、本実施形態によれば、利便性を向上することができる。
【０２３７】
また、実施形態のＨＭＤ１では、視線入力のアプリケーションを開始する前であっても、ならびに同アプリケーションを実行中であっても、操作部の操作によって操作画像が選択されたとき毎に、注視点検出のための計算式のキャリブレーションを行う。この結果、実施形態のＨＭＤ１によれば、ユーザーが操作部を操作したタイミングで注視点検出のためのキャリブレーションを、操作画像が選択されたとき毎に自動的に行うため、高い精度で視線入力が可能になっている。また、この注視点検出のためのキャリブレーションにおいて、上述したように、本実施形態のＨＭＤ１では、ユーザーの片眼を含む領域の画像を用いて行い、両眼を含む画像を撮影する必要がないため、ＨＭＤ１を小型化できる。
また、本実施形態のＨＭＤ１では、「眼球照明ランプの選択処理」で設定された眼球照明ライト１６６を点灯及び消灯することで、ユーザーの眼に適切な光線を照射することができる。このため、注視点検出のためのキャリブレーションを精度良く行うことができる。
【０２３８】
なお、本実施形態において表示画像の例として、パスワード入力画像、メニュー画像を説明したがこれに限られない。表示画像は、ユーザーが操作部を操作して、操作画像の選択を促す画像であればよい。また、操作画像も、ユーザーが操作部を操作して、該操作画像の選択を促す画像であればよい。
また、図３２のステップＳ５２２で、キャリブレーションが十分でないと判別された場合、表示画像に表示されている操作画像の表示位置を変更して表示するようにしてもよく、操作画像の大きさを変更して表示するようにしてもよい。あるいは、操作画像を含む新たな表示画像をＬＣＤ６３に表示するようにしてもよい。
【０２３９】
なお、図９〜図１５を用いて説明したように、注視点検出のためのキャリブレーションの前に、画像の大きさを縮小させ、位置を移動させた場合、例えば、選択した表示領域Ｔに、パスワード入力画面４００ｅ、メニュー画面４００ｆ等を縮小して表示するようにしてもよい。また、注視点検出のためのキャリブレーションを行った後に、画像の大きさを縮小させ、位置を移動させた表示して視線入力を行う場合、表示位置、及び画像の縮小率に基づいて、記憶部３０３に記憶されている関係式の値を補正することで座標を変換するようにしてもよい。
【０２４０】
なお、処理部１２３は、ユーザーの眼の位置を撮像画像に基づいて検出する場合、眼球照明ライト１６６を点灯させてもよい。また、処理部１２３は、ユーザーの眼が表示部６０から離れた場合（図１２及び図１４を参照）、表示領域の縮小率を算出するために、輝点６０４Ａ及び輝点６０４Ｂの間隔（図１１を参照）と、輝点６０４Ｃ及び輝点６０４Ｄの間隔（図１２を参照）との比を測定する。
この処理により、図９に示すところの表示領域Ｓを表示領域Ｔに縮小することで、処理部１２３は、ユーザーが表示全体を見渡せるようにすることが可能である。さらに、輝点６０４Ａと輝点６０４Ｂとの中間の位置よりも、輝点６０４Ｅと輝点６０４Ｆ（図１４を参照）との中間の位置がずれていると判別される場合、処理部１２３は、ユーザーの眼がベクトルＶ１だけずれていることがわかる。このようにして、処理部１２３の画像切替部３０６（図２２を参照）は、図９における表示領域Ｔを、表示領域Ｕまでシフトさせることが可能となっている。
【０２４１】
なお、本実施形態では、注視点検出のためのキャリブレーションに、図３５に示したパスワード入力画面等を用いる例を説明したが、これに限られない。操作スイッチ３０により選択可能なキー、ボタン、アイコン等を、表示パネル６３に表示させるようにしてもよい。この場合においても、従来技術とは異なり、キャリブレーションのためだけの表示ではなく、ユーザーが操作を行う必然性がある操作に関するキー、ボタン、アイコン等を表示する。ユーザーは、操作時に、これらのキー、ボタン、アイコン等を注視している確率が非常に高いので、操作時の撮像画像に基づいて、注視点検出のためのキャリブレーションを行うことができる。
【０２４２】
［第２実施形態］
第２実施形態では、表示部６０の位置６００ａ及び位置６００ｂ（第１実施形態の図３４を参照）を含む、表示部６０の多くの位置について、眼球照明ライト１６６の点灯及び消灯を切り替える例を説明する。
【０２４３】
図３９は、本実施形態に係るヘッドマウントディスプレイ（第２表示モード、待避モード）の装着形態を示す図である。図３９では、装置本体部２１は、ユーザーの左右の眼を仮想的に結んだ線を含むＸＹ平面に対して、角度αだけ下側に傾いた姿勢となっている。
【０２４４】
図３９（Ａ）は、右眼観察形態の第１表示モードから、表示部６０を時計回り方向に９０度回転させた装着形態を示す図である。この装着形態を、第２表示モードと称する。第２表示モードでは、表示部６０の先端部が上側に位置するよう、表示部６０は、収容部６１ａ及び球状部６１ｂを回転軸として、Ｙ’軸回り（図３を参照）で時計回り方向に９０度だけ回転される。これにより、表示部６０及びファインダー開口部６７は、ユーザー側から見ると、Ｚ軸方向に縦長に配置される。また、表示パネル６３は、アスペクト比が縦長の画像を表示する。
【０２４５】
つまり、第２表示モードでは、表示部６０の表示パネル６３に表示される画像は、ユーザーの右眼に対して、斜め右前方向の位置に表示されることになる。また、第２表示モードでは、右眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄが点灯し、眼球照明ライト１６６ａ及び１６６ｂが消灯する。
【０２４６】
図３９（Ｂ）は、右眼観察形態の第１表示モードから、表示部６０を反時計回り方向に９０度回転させた装着形態を示す図である。この装着形態を、待避モードと称する。待避モードでは、表示部６０の先端部が下側に位置するよう、収容部６１ａ及び球状部６１ｂを回転軸として、表示部６０をＹ’軸回り（図３を参照）で９０度だけ反時計回り方向に回転される。これにより、表示部６０及びファインダー開口部６７は、ユーザーの右眼の視野から待避することになる。また、待避モードでは、眼球照明ライト１６６ａ〜１６６ｄは、全て消灯してもよい。
【０２４７】
第１表示モード、第２表示モード、及び待避モードにおいて、表示部６０の回転軸は共通である。このため、第２表示モード又は待避モードから、表示部６０を９０度回転させれば、第１表示モードに戻すことができる。すなわち、ユーザーは、ＨＭＤ１を外したり、装置本体部２１の角度を変えたりせずに、表示部６０をユーザーの右眼の視野から待避させたり、観察位置に戻したりすることができる。
【０２４８】
なお、図３９（Ａ）及び図３９（Ｂ）に示した例では、右眼観察形態の第１表示モードから、表示部６０を縦に配置させる例を説明したが、図５（Ｂ）に示した左眼観察形態の第１表示モードからも同様に、表示部６０を縦に配置させることができる。すなわち、左眼観察形態の第１表示モードから、収容部６１ａ及び球状部６１ｂを中心軸として、ＸＺ平面で反時計回り方向に９０度だけ、表示部６０を回転させることで、ユーザーは、左眼観察形態の第２表示モードに、ＨＭＤ１を切り替え可能である。同様に、右眼観察形態の第１表示モードから、収容部６１ａ及び球状部６１ｂを中心軸として、Ｙ’軸回り（図３を参照）で時計回り方向に９０度だけ、表示部６０を回転させることで、ユーザーは、左眼観察形態の待避モードに、ＨＭＤ１を切り替え可能である。
【０２４９】
制御部３０２は、加速度センサー１３２が検出した検出値、及び撮像素子７２による撮像画像に基づいて（図２２を参照）、右眼観察形態又は右眼観察形態と、第１表示モード、第２表示モード又は待避モードとを判別する。ここで、制御部３０２は、撮像素子７２による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、右眼観察形態又は右眼観察形態と、第１表示モード、第２表示モード又は待避モードとを判別する。また、制御部３０２は、撮像素子７２による撮像画像にユーザーの眼球が撮像されていない場合、待避モードであると判別する。
【０２５０】
図４０は、本実施形態に係る表示部６０の位置と眼球照明ライト１６６の関係を説明する図であり、ユーザーの顔を正面から水平に見た場合の図である。図４０において、一点鎖線の四角形で示された位置６００ａ〜６００ｈは、表示部６０が配置される位置の例である。
【０２５１】
＜第１表示モード＞
位置６００ａは、ユーザーの右眼の下側に、横向きに配置されている表示部６０の位置である。また、位置６００ｂは、ユーザーの左眼の下側に、横向きに配置されている表示部６０の位置である。また、位置６００ｃは、ユーザーの右眼の上側に、横向きに配置されている表示部６０の位置である。また、位置６００ｄは、ユーザーの左眼の上側に、横向きに配置されている表示部６０の位置である。
【０２５２】
＜第２表示モード＞
位置６００ｅは、ユーザーの右眼の右側に、縦向きに配置されている表示部６０の位置である。また、位置６００ｆは、ユーザーの左眼の左側に、縦向きに配置されている表示部６０の位置である。
【０２５３】
ＨＭＤ１の制御部３０２（図２２を参照）は、位置６００ａ、６００ｄ又は６００ｆのいずれかに表示部６０がある場合、この位置でユーザーの眼のより近傍に位置する眼球照明ライト１６６ａ及び１６６ｂを点灯させ、眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。一方、位置６００ｂ、６００ｃ又は６００ｅのいずれかに表示部６０がある場合、この位置でユーザーの眼のより近傍に位置する眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。
【０２５４】
このように、制御部３０２は、ファインダー開口部６７の隅の近傍（予め定められた距離以内）に配置されている眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼をより正面から照射する眼球照明ライトが点灯するように、ユーザーと表示部６０との位置関係に応じて点灯状態を制御する。
【０２５５】
＜待避モード＞
位置６００ｇは、ユーザーの右眼の右下側に、縦向きに配置されている表示部６０の位置である。また、位置６００ｈは、ユーザーの左眼の左下側に、縦向きに配置されている表示部６０の位置である。
位置６００ｇ及び６００ｈの位置に表示部６０がある場合、制御部３０２は、眼球照明ライト１６６ａ〜１６６ｄを、全て消灯させる。
【０２５６】
次に、注視点検出のためのキャリブレーション時、点灯させる眼球照明ライトを選択する選択処理について説明する。
図４１は、本実施形態に係るＨＭＤ１の眼球照明ライトの選択処理手順のフローチャートである。
【０２５７】
（ステップＳ６０１）制御部３０２は、眼球照明部３０４を介して、眼球照明ライト１６６ａ及び１６６ｂを点灯させる。次に、制御部３０２は、撮像素子７２を駆動して撮像画像を取得し、取得した撮像画像を記憶部３０３に記憶させる。
【０２５８】
（ステップＳ６０２）制御部３０２は、眼球照明部３０４を介して、眼球照明ライト１６６ａ及び１６６ｂを消灯させ、眼球照明ライト１６６ｃ及び１６６ｄを点灯させる。次に、制御部３０２は、撮像素子７２を駆動して撮像画像を取得し、取得した撮像画像を記憶部３０３に記憶させる。
【０２５９】
（ステップＳ６０３）制御部３０２は、ステップＳ６０１で記憶させた撮像画像を読み出し、読み出した撮像画像から、眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の画像を抽出する。次に、制御部３０２は、抽出した輝点の画像の輝度を算出する。次に、制御部３０２は、ステップＳ６０２で記憶させた撮像画像を読み出し、読み出した撮像画像から、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の画像を抽出する。次に、制御部３０２は、抽出した輝点の画像の輝度を算出する。
次に、制御部３０２は、眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高いか否かを判別する。眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高いと判別された場合（ステップＳ６０３；Ｙｅｓ）、ステップＳ６０４に進む。眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高くないと判別された場合（ステップＳ６０３；Ｎｏ）、ステップＳ６０５に進む。
【０２６０】
（ステップＳ６０４）眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高いと判別された場合、制御部３０２は、眼球照明ライト１６６ａ及び１６６ｂを選択し、選択した結果を記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。
【０２６１】
（ステップＳ６０５）眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高くないと判別された場合、制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを選択し、選択した結果を記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。
【０２６２】
第２実施形態においても、注視点検出のためのキャリブレーション時、図３１のステップＳ５０２又はＳ５０３の代わりに、上述したようにユーザーと表示部６０との位置関係に応じて眼球照明ライト１６６の点灯と消灯を制御する。
また、上述したように、眼球照明ライト１６６の輝度に基づいて、眼球照明ライト１６６を制御するようにしたので、本実施形態のＨＭＤ１は、ユーザーの眼と表示部６０との位置関係に応じて眼球を照明するライトの選択が適宜行うことが可能となる。さらに、本実施形態のＨＭＤ１は、使用しない眼球照明ライト１６６を消灯することで、効率的な省電力対策が可能となっている。
【０２６３】
なお、本実施形態では、眼球照明ライト１６６の輝度と、ユーザーと表示部６０との位置関係とに応じて、眼球照明ライト１６６の点灯及び消灯を制御する例を説明したが、眼球照明ライト１６６の点灯及び消灯を制御する例は、これに限られない。例えば、制御部３０２は、取得した撮像画像と記憶部３０３に記憶されている判別用画像とを、パターンマッチングにより比較し、比較した結果に基づいて、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６の点灯と消灯を制御するようにしてもよい。
【０２６４】
以上のように、本実施形態のＨＭＤ１は、ユーザーの眼に対してユーザーの下側もしくは上側や外側に表示部６０が配置された場合であっても、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６の点灯と消灯を制御する。この結果、本実施形態のＨＭＤ１は、ユーザーと表示部６０との位置関係に応じて、ユーザーの眼に適切な眼球照明ライト１６６の光による輝点に基づいてユーザーの視点を精度良く検出できるので、注視点検出のためのキャリブレーションを精度良く行うことができる。
また、本実施形態のＨＭＤ１は、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６を消灯できるので、消費電力を削減することができる。
【０２６５】
なお、表示部６０がユーザーの顔の正面にあり、眼球照明ライト１６６ａ〜１６６ｄの全てがユーザーの水平視線からほぼ等距離な位置にあると判別される場合、ＨＭＤ１は、原理的にはどの眼球照明ライト１６６を点灯してもよい。しかしながら、通常は眼の上方向には、天井の照明や空や太陽などがあり、これらの光源による輝点が眼球上に存在する可能性がある。そして、これらの輝点と眼球照明ライト１６６の輝点とが識別がしづらくなることから、表示部６０がユーザーの顔のほぼ正面にあると判別される場合、ＨＭＤ１は、眼の鉛直下方向に配置された眼球照明ライト１６６を点灯するように制御を行うようにしてもよい。
【０２６６】
［第３実施形態］
第１〜第２実施形態では、表示部６０を含むファインダー開口部６７の長辺の近傍に眼球照明ライト１６６ａ〜１６６ｄを備える例を説明したが（図２を参照）、眼球照明ライト１６６ａ〜１６６ｄを備える例は、これに限られない。すなわち、眼球照明ライト１６６は、ファインダー開口部６７の短辺の近傍に配置されてもよい。
【０２６７】
図４２は、本実施形態に係る眼球照明ライト１６６ｅ〜１６６ｈの配置を説明する図である。図４２に示すように、表示部６０の表面には、４つの眼球照明ライト１６６ｅ〜１６６ｈが、ファインダー開口部６７の２つの短辺に沿って、各々２個ずつ設けられている。眼球照明ライト１６６ｅ〜１６６ｈは、例えば、赤外線を放射するＬＥＤである。
【０２６８】
図４３は、本実施形態に係る表示部６０の位置と眼球照明ライト１６６ｅ〜１６６ｈの関係を説明する図であり、ユーザーの顔を水平正面から見た図である。図４３において、一点鎖線で示した四角６００ａ〜６００ｈは、図４０と同様に、表示部６０が配置される位置の例である。
【０２６９】
図４３に示すように、位置６００ａ、６００ｄ又は６００ｆのいずれかの位置に表示部６０がある場合、ＨＭＤ１の制御部３０２は、眼の近傍にある眼球照明ライト１６６ｅ及び１６６ｆを点灯させ、眼の近傍にない他の眼球照明ライトを消灯させる。
一方、位置６００ｂ、６００ｃ又は６００ｅのいずれかの位置に表示部６０がある場合、制御部３０２は、眼の近傍にある眼球照明ライト１６６ｇ及び１６６ｈを点灯させ、眼の近傍にない他の眼球照明ライトを消灯させる。
さらに、位置６００ｇ又は６００ｈの位置に表示部６０がある場合、制御部３０２は、全ての眼球照明ライト１６６が消灯される。
すなわち、本実施形態においても、制御部３０２は、ユーザーと表示部６０との位置関係に応じて、ユーザーの眼をより正面から照射する眼球照明ライト１６６が点灯するように制御する。言い換えると、制御部３０２は、ユーザーと表示部６０との位置関係に応じて、ファインダー開口部６７の対向する２辺の近傍に配置されている照明部（眼球照明ライト１６６ｅ〜１６６ｈ）を点灯させる。
【０２７０】
本実施形態の処理部１２３の構成は、第１実施形態の図２３と同様である。また、本実施形態における眼球照明ライト１６６の選択処理は、図４１に示したステップＳ６０１〜Ｓ６０４と同様に行う。あるいは、取得した撮像画像と記憶部３０３に記憶されている判別用画像とを、パターンマッチングにより比較し、比較した結果に基づいて、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６の点灯と消灯を制御するようにしてもよい。
【０２７１】
第３実施形態においても、注視点検出のためのキャリブレーション時、図３１のステップＳ５０２又はＳ５０３の代わりに、上述したようにユーザーと表示部６０との位置関係に応じて眼球照明ライト１６６の点灯と消灯を制御する。
【０２７２】
以上のように、本実施形態では、眼球照明ライト１６６ｅ〜１６６ｈを、表示部６０のファインダー開口部６７の短辺の近傍に、短辺毎に２個ずつ設けるようにした。この場合においても、第２実施形態と同様に、ユーザーと表示部６０の位置関係に応じて、眼球照明ライト１６６ｅ〜１６６ｈの点灯及び消灯を切り替えることで、ユーザーの眼を含む領域に適切に光線を照射することができる。この結果、本実施形態のＨＭＤ１は、ユーザーと表示部６０との位置関係に応じて、ユーザーの眼に適切な眼球照明ライト１６６の光による輝点に基づいてユーザーの視点を精度良く検出できるので、注視点検出のためのキャリブレーションを精度良く行うことができる。
【０２７３】
［第４実施形態］
次に、表示部がシースルー光学系の場合について説明する。
第１〜第３実施形態との差異は、表示部６０の構成のみである。
図４４は、本実施形態に係る本実施形態に係る光学系を説明するための表示部６０ａの断面図である。図８と同じ機能の部材には同じ番号を設けてあるので説明は省略する。
【０２７４】
図４４に示すように、本実施形態の表示部６０ａは、バックライト６２、表示パネル６３、第１プリズム６５ａ、第２プリズム６５ｂ、反射ミラー６６、ファインダー開口部６７、結像レンズ７１、撮像素子７２、１／４波長板７５、偏光板９０、凹レンズ９１、１／４波長板９２、液晶９３、偏光板９４、開口部９５を含んで構成されている。図４４において、符号Ｈ、Ｉ、Ｊ、Ｋ、Ｏ、Ｔは、各々、光線を表し、符号Ｓは、ユーザーの眼から出た光束を表す。
【０２７５】
図４４に示すように、ユーザーの前面の景色は、光線Ｏとなって開口部９５に入射する。次に、光線Ｏは、開口部９５を抜けて、偏光板９４を透過する。次に、光線Ｏは、Ｓ偏光のみが透過する。
次に、光線Ｏは、液晶９３に入射する。なお、光線Ｏは、液晶９３の働きにより偏光方向が変わる。すなわち、液晶９３に通電した場合（オン状態）、光線Ｏは、液晶９３に入射したＳ偏光がＰ偏光となって、１／４波長板９２に入射する。次に、光線Ｏは、１／４波長板９２の働きにより左回りの偏光となる。
【０２７６】
本実施形態において反射ミラー６６は、半透過タイプとなっており、例えば、５０％の光線を透過し、５０％の光を反射する。反射ミラー６６が、５０％の光線を透過するとして以下を説明する。この結果、光線Ｏの５０％が、１／４波長板７５に入射する。
なお、凹レンズ９１は、反射ミラー６６を構成する凸レンズとペアとなって、パワーゼロの平行平板となるようにするための部材である。
【０２７７】
次に、光線Ｏは、１／４波長板７５の作用で、Ｐ偏光となり、第１プリズム６５ａに入射する。次に、光線Ｏは、接合面６５ｃをそのまま透過して、第２プリズム６５ｂを透過して偏光板９０に入射する。偏光板９０は、Ｐ偏光を透過するように構成されている。
以上の構成により、ユーザーによって外界の画像（開口部９５を通して見る画像）が、表示パネル６３から投影される画像とともに観察可能となっている。
【０２７８】
次に、外界の画像を消し、表示パネル６３から投影される画像のみを観察する場合について説明する。
図４４において、液晶９３を無通電の状態（オフ状態）にすると、光線Ｏは、液晶９３により光線Ｏの偏光方向が変化されない。このため、光線Ｏは、偏光板９４でＳ偏光となる。次に、光線Ｏは、そのままが１／４波長板９２に入射する。次に、光線Ｏは、１／４波長板の働きにより右回りの偏光となる。
【０２７９】
次に、反射ミラー６６を透過した光線Ｏの５０％が、１／４波長板７５に入射する。次に、光線Ｏは、１／４波長板７５の作用で、Ｓ偏光となる。次に、Ｓ偏光になった光線Ｏは、第１プリズム６５ａに入射する。接合面６５ｃに設けられた偏光反射膜は、Ｓ偏光を反射する。この結果、ユーザーの眼に外界の光線が、入射しない。
【０２８０】
このように、液晶９３のオン状態とオフ状態の切り替えによって、外界の画像をファインダー内に透過して使用者によって観察可能か否かを制御することが可能である。なお、液晶９３のオン状態とオフ状態の切り替えは、例えば処理部１２３が行う。
【０２８１】
図４４において、偏光板９０の働きは、反射ミラー６６によってユーザーが自分の眼を拡大して観察しないように配置している。ユーザーが自分の眼を拡大して観察しない理由について、説明する。
ユーザーの眼から出た光束Ｓは、偏光板９０でＰ偏光のみが透過し、第２プリズム６５ｂ、接合面６５ｃ、第１プリズム６５ａを透過して、１／４波長板７５に入射する。ここで、光線Ｓは、１／４波長板７５の作用により左回りの円偏光となり、反射ミラー６６で光線Ｔとして反射される。次に、光線Ｔは、反射によって右回りの円偏光となり、１／４波長板７５を透過する際にＳ偏光となる。
次に、光線Ｔは、第１プリズム６５ａを透過して接合面６５ｃに入射する。ここで、接合面６５ｃはＳ偏光を反射して透過しない。従って、ユーザーの眼には、自分自身の眼からでた光束が入射することはなく、表示画面中に自分の眼が見えることは無い。
【０２８２】
また、眼の周辺画像を撮影するための結像レンズ７１ならびに撮像素子７２は、ファインダー開口部６７に隣接して設けられている。このため、結像レンズ７１ならびに撮像素子７２系の光線は、第２プリズム６５ｂを透過せずに、直接ユーザーの眼の近傍を撮影可能となっている。
【０２８３】
図４５は、本実施形態に係る観察範囲と撮像範囲を説明する図である。図４５において、符号６７ａは、表示パネル６３から投影された画像の観察範囲を表している。符号６７ｂは、撮像素子７２の撮像範囲を表している。
また、図４５は、図１０等と同様に、反射ミラー６６を凸レンズに置き換えて、等価的に表した図である。
【０２８４】
図４５において、結像レンズ７１の焦点距離は、反射ミラー６６の焦点距離より短く作られている。このため、図４４を紙面とは垂直に断面を切り取った場合、図４５で示すように、ユーザーの眼を含むその周囲の様子が撮影可能となっている。
なお、図４５において、結像レンズ７１ならびに撮像素子７２は、反射ミラー６６の光学中心とはオフセットしている。しかしながら、ユーザーは、表示部６０ａを眼の正面ではなく、口元の方向へ下げることでファインダー開口部６７から眼を十分に離すことが可能となっており、図４５に示すようにユーザーの眼は観察距離Ｌ８１の位置にある。このため、ユーザーが表示パネル６３を観察している場合、本実施形態によれば、撮像素子７２は、問題なくユーザーの眼ならびにその周囲を撮影可能となっている。
【０２８５】
上述した構成を備えることで、ユーザーの眼を含む撮像を行い、第１〜第３実施形態と同様に、撮像素子７２が撮像した画像に基づいて、ＨＭＤ１の装着状態、視線キャリブレーションを行うことができるシースルー光学系の表示部を備えるヘッドマウントディスプレイを提供することができる。
なお、第４実施形態においても、第１、第３実施形態で説明したように、眼球照明ライトを、ファインダー開口部６７の４辺のうち、対向する２辺の近傍に各々配置するようにしてもよい。
【０２８６】
第４実施形態においても、注視点検出のためのキャリブレーション時、図３１のステップＳ５０２又はＳ５０３の代わりに、ユーザーと表示部６０ａとの位置関係に応じて眼球照明ライト１６６の点灯と消灯を制御する。これにより、本実施形態のＨＭＤ１は、表示部６０ａがシースルー光学系であっても、ユーザーと表示部６０との位置関係に応じて、ユーザーの眼に適切な眼球照明ライト１６６の光を照射することができる。この結果、本実施形態のＨＭＤ１は、ユーザーと表示部６０との位置関係に応じて、ユーザーの眼に適切な眼球照明ライト１６６の光による輝点に基づいてユーザーの視点を精度良く検出できるので、注視点検出のためのキャリブレーションを精度良く行うことができる。
【０２８７】
なお、第１〜第４実施形態では、ヘッドマウントディスプレイの例として、右眼観察形態と左眼観察形態を切り替えて使用できるヘッドマウントディスプレイの例を説明したが、これに限られない。例えば、右眼観察形態専用、または左眼観察形態専用のヘッドマウントディスプレイであってもよい。この場合、本実施形態で説明した処理の内、右眼観察形態、または左眼観察形態に関する処理のみを行うようにしてもよい。
【０２８８】
また、第１〜第４実施形態において、図２及び図４２では、表示部６０及びファインダー開口部６７が長方形である例を示したが、表示部６０及びファインダー開口部６７は、正方形、楕円形、円形等であってもよい。表示部６０及びファインダー開口部６７が、このような形状であっても、複数の眼球照明ライトを、図２または図４２に示したように、ファインダー開口部６７の４辺のうち、対向する２辺の近傍に各々配置するようにしてもよい。
【０２８９】
なお、第１〜第４実施形態では、眼球照明ライト１６６ａ〜１６６ｄ、または１６６ｅ〜１６６ｈを、例えば図２または図４２に示したように、ファインダー開口部６７の上下または左右に、各々２個ずつ設ける例を説明したが、これに限られない。例えば、ファインダー開口部６７の上下または左右に、各々１個ずつ設けるようにしてもよい、ファインダー開口部６７の上下または左右に、各々３個以上ずつ設けるようにしてもよい。
さらに、眼球照明ライト１６６ａ〜１６６ｄを設ける位置は、図２に示したようなファインダー開口部６７の上下でなくてもよい。ユーザーの眼球に照射できる位置であればよく、例えば、眼球照明ライト１６６ａ〜１６６ｄは、ファインダー開口部６７の内側の上下に設けるようにしてもよい。すなわち、ユーザーが、ＨＭＤ１をユーザーの眼の近傍に表示部６０が配置したとき、眼球照明ライト１６６ａ〜１６６ｄのいずれかがユーザーの眼の近傍に配置されればよい。このため、眼球照明ライト１６６ａ〜１６６ｄは、ファインダー開口部６７が配置された表示部６０の一面の範囲、または、ファインダー開口部６７の内側の範囲に配置されるようにしてもよい。また、表示部６０が配置されるユーザーの眼の近傍とは、例えば、図４０または図４３に示した位置６００ａ〜６００ｆのように、ユーザーの眼の下、上、外側等であり、撮像素子７２によりユーザーの眼の周辺画像を撮像できる範囲であればよい。
【０２９０】
なお、第１〜第４実施形態では、右眼観察形態であるか左眼観察形態であるかを、加速度センサー１３２の検出値、または撮像素子７２が撮像した画像を用いる例を説明したが、これに限られない。例えば、眼球照明ライト１６６ａ〜１６６ｄに受光部を備えるタイプを使用し、各眼球照明ライト１６６ａ〜１６６ｄによる反射光を検出するようにしてもよい。例えば、右眼観察形態の場合、図３３に示したように、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの眼のより正面に配置される。このため、眼球照明ライト１６６ｃ及び１６６ｄによる反射光の輝度は、眼球照明ライト１６６ａ及び１６６ｂによる反射光の輝度よりも低い。
このように、処理部１２３は、各眼球照明ライト１６６ａ〜１６６ｄによる反射光を検出し、検出した結果に基づいて観察形態を判別するようにしてもよい。
【０２９１】
また、撮像素子７２は、所定の時間間隔で、撮像画像を撮像してもよい。この場合、処理部１２３は、メインスイッチ２８をオフ状態にせずに、ユーザーがヘッドマウントディスプレイを頭部から外しているのか否かを、撮像素子７２が撮像した画像に基づいて判別するようにしてもよい。メインスイッチ２８をオフ状態にせずに、所定の時間以上、ユーザーがヘッドマウントディスプレイを頭部から外していると判別した場合、処理部１２３は、カメラ６４及び撮像素子７２による撮像を、停止させてもよい。また、処理部１２３は、眼球照明ライト１６６ａ〜１６６ｄを消灯させてもよい。さらに、処理部１２３は、省電力状態になるように、各通信回路等を制御するようにしてもよい。なお、これらの制御を行うか否かは、例えば、タッチスイッチ３４を操作することにより、ユーザーが設定してもよい。
または、処理部１２３は、ヘッドマウントディスプレイが頭部から外されているか否かを、例えば、心拍数センサー１３７の検出値に基づいて判別するようにしてもよい。
さらに、処理部１２３は、装置本体部２１がヘッドバンド４０に装着されていないことを検出スイッチ（不図示）が検出した場合、装置本体部２１が頭部から外されていると判別し、眼球照明ライト１６６ａ〜１６６ｄを全て消灯させてもよい。
これにより、処理部１２３は、ヘッドマウントディスプレイの消費電力を低減させることができる。
【０２９２】
なお、第１〜第４実施形態では、ヘッドマウントディスプレイの例として単眼タイプについて説明したが、ヘッドマウントディスプレイは、両眼タイプでもよい。この場合、処理部１２３は、撮像素子７２が撮像した画像に基づいて、例えば、図３６に示したように眼の上の位置６００ｃ及び６００ｄに表示部が配置されている状態か、眼の下の位置６００ａ及び６００ｂに表示部が配置されている状態かを判別するようにしてもよい。処理部１２３は、判別した結果に基づいて、左右の眼に対応した表示部に各々設けられている眼球照明ライト１６６の点灯または消灯を制御するようにしてもよい。
【０２９３】
また、眼球照明ライト１６６及び撮像素子７２は、ヘッドマウントディスプレイが両眼タイプの場合、左右それぞれの表示部のうち、片方の表示部６０だけに設けられてもよいし、両方の表示部６０に設けられてもよい。片方の表示部６０だけに、眼球照明ライト１６６を設けてもよい理由は、人が物を見る場合、一般的に、両眼の眼球が同じ方向を向くからである。
【０２９４】
なお、第１〜第４実施形態では、撮像画像の例として、図１１、図１２、図１４、図２５、図２６、及び図２７に示したように、ユーザーの片眼を含む領域が撮像された例を説明したがこれに限られない。すなわち、第１〜第４実施形態では、ユーザーの片眼を含む領域を、ユーザーの両目のうちの一方の眼の領域を含む領域を例として説明した。
撮像画像には、ユーザーの他方の眼を含む領域が含まれていてもよい。この場合、制御部３０２は、撮像画像において占める面積が多い方の眼の画像領域を抽出して、抽出した画像領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。あるいは、制御部３０２は、撮像画像において眼球の画像が撮像画像の中心により近い方の眼の画像領域を抽出して、抽出した画像領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。
【０２９５】
なお、第１〜第４実施形態では、ＨＭＤ１は、図２１に示した機能を備える例を説明したが、全ての機能を備えていなくてもよい。用途に応じて、例えば、温湿度センサー１３６、心拍数センサー１３７等を備えなくてもよい。逆に、ＨＭＤ１は、必要に応じて、図２２に示した以外の他の機能部を備えるようにしてもよい。
【０２９６】
なお、第１〜第４実施形態では、ディスプレイ本体２０をヘッドバンド４０に装着して使用する例を説明したが、これに限られない。ユーザーは、ディスプレイ本体２０をヘッドバンド４０に装着せずに、用途に応じて単体で使用してもよい。
【０２９７】
なお、本発明の技術範囲は上記の実施形態に限定されるものではない。上記の実施形態で説明した要件のうち少なくとも１つの要件は、省略される場合がある。上記の実施形態で説明した各要件は、適宜、組み合わせることができる。
【０２９８】
なお、上述のＨＭＤ１は、内部にコンピュータシステム（例えば、処理部１２３）を有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリーやＯＳ、周辺機器等のハードウェアを含むものである。
【０２９９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０３００】
１…ヘッドマウントディスプレイ、２０…ディスプレイ本体、２６…オーディオコネクター、３４…タッチスイッチ、６０…表示部、６３…表示パネル（表示部）、６４…カメラ、７２…撮像素子（撮像部）、１００…イヤホン、１０３…第１スピーカー、１０４…第２スピーカー、１２１…デコーダー、１２３…処理部、１３１…ＷｉＦｉ通信回路、１３２…加速度センサー、１３３…地磁気センサー、１３７…心拍数センサー、１３８…３Ｇ／ＬＴＥ通信回路、１６６ａ〜１６６ｈ…眼球照明ライト、３０１…入力検出部、３０２…制御部、３０３…記憶部、３０４…眼球照明部、３０５…音声調整部、３０６…画像切替部、３０７…画像表示部、３０８…送受信部、６００ａ〜６００ｈ…位置
【図１】
2014021708.tif 000003
【図２】
2014021708.tif 000004
【図３】
2014021708.tif 000005
【図４】
2014021708.tif 000006
【図５】
2014021708.tif 000007
【図６】
2014021708.tif 000008
【図７】
2014021708.tif 000009
【図８】
2014021708.tif 000010
【図９】
2014021708.tif 000011
【図１０】
2014021708.tif 000012
【図１１】
2014021708.tif 000013
【図１２】
2014021708.tif 000014
【図１３】
2014021708.tif 000015
【図１４】
2014021708.tif 000016
【図１５】
2014021708.tif 000017
【図１６】
2014021708.tif 000018
【図１７】
2014021708.tif 000019
【図１８】
2014021708.tif 000020
【図１９】
2014021708.tif 000021
【図２０】
2014021708.tif 000022
【図２１】
2014021708.tif 000023
【図２２】
2014021708.tif 000024
【図２３】
2014021708.tif 000025
【図２４】
2014021708.tif 000026
【図２５】
2014021708.tif 000027
【図２６】
2014021708.tif 000028
【図２７】
2014021708.tif 000029
【図２８】
2014021708.tif 000030
【図２９】
2014021708.tif 000031
【図３０】
2014021708.tif 000032
【図３１】
2014021708.tif 000033
【図３２】
2014021708.tif 000034
【図３３】
2014021708.tif 000035
【図３４】
2014021708.tif 000036
【図３５】
2014021708.tif 000037
【図３６】
2014021708.tif 000038
【図３７】
2014021708.tif 000039
【図３８】
2014021708.tif 000040
【図３９】
2014021708.tif 000041
【図４０】
2014021708.tif 000042
【図４１】
2014021708.tif 000043
【図４２】
2014021708.tif 000044
【図４３】
2014021708.tif 000045
【図４４】
2014021708.tif 000046
【図４５】
2014021708.tif 000047