(57)【要約】【課題】ユーザーの頭部に装着されたＨＭＤの姿勢に係わらず、ユーザーが表示部を左右のいずれの眼で観察しているかを認識することを可能にする情報入出力装置、情報入出力方法を提供することを目的とする。【解決手段】画像を表示する表示部と、ユーザーの眼を含む領域の撮像画像を撮像する撮像部と、撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、ユーザーが表示部に表示される画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する制御部と、を備える。【選択図】図２１
2014021272.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
ユーザーの眼を含む領域の撮像画像を撮像する撮像部と、
前記撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーが前記表示部に表示される画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する制御部と、
を備えることを特徴とする情報入出力装置。
【請求項２】
前記制御部は、
前記ユーザーの片眼を含む領域の画像から眉毛の画像と、前記眉毛の画像の近傍にある眼の画像とを抽出し、抽出した前記眉毛の画像と前記眼の画像との位置関係に基づいて、前記表示部の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する
ことを特徴とする請求項１に記載の情報入出力装置。
【請求項３】
前記制御部は、
複数の前記ユーザーの片眼を含む領域の画像に基づいて瞼の動きを検出し、検出した該瞼の動きに基づいて、前記表示部に表示される画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する
ことを特徴とする請求項１または請求項２に記載の情報入出力装置。
【請求項４】
前記制御部は、
前記表示部に表示される画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に基づいて、前記表示部が表示する画像を変更する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の情報入出力装置。
【請求項５】
前記撮像部の撮像範囲は、前記表示部に表示される画像を観察できる観察範囲より広い
ことを特徴とする請求項１から請求項４のいずれか１項に記載の情報入出力装置。
【請求項６】
前記制御部は、
前記撮像画像に含まれる前記ユーザーの片眼を含む領域の画像及び前記表示部に表示される画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に基づいて、前記表示部を観察する前記ユーザーの眼と前記表示部との位置関係を検出し、検出した結果に基づいて前記表示部の位置を変更することを示す情報を出力する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報入出力装置。
【請求項７】
前記制御部は、
前記表示部の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に基づいて前記撮像画像内における画像領域を選択し、選択した前記画像領域の画像に基づいて前記表示部を観察する前記ユーザーの眼と前記表示部との位置関係を検出し、検出した結果に基づいて前記表示部の位置を変更することを示す情報を出力する
ことを特徴とする請求項６に記載の情報入出力装置。
【請求項８】
音声を出力する音声出力部
を備え、
前記制御部は、
前記表示部を観察する眼に対する前記表示部の位置のずれが解消される方向に前記表示部の位置の変更を促す音声を前記音声出力部に出力する
ことを特徴とする請求項６または請求項７に記載の情報入出力装置。
【請求項９】
情報入出力装置の情報入出力方法であって、
撮像部が、ユーザーの眼を含む領域の撮像画像を撮像する手順と、
制御部が、前記撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーが表示部に表示される画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する手順と、
を含むことを特徴とする情報入出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報入出力装置、及び情報入出力方法に関する。
【背景技術】
【０００２】
片眼タイプのヘッドマウントディスプレイ（ＨＭＤ：Head Mount Display）は、表示部の左右の取り付け位置が変更できるようになっているものがある。しかし、表示部の左右の取り付け位置を変更することによって表示部の上下が反転してしまう。そこで、表示部の左右の取り付け位置の変更を表示部の重力センサーにより検知し、ＨＭＤは、自動的に表示画像の上下を反転させるようにしたものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１８９７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１のように重力センサーを利用する場合、状況によっては、表示部の左右の取り付け位置の変更を正しく検知することが難しいという問題がある。具体的には、頭部にＨＭＤを装着した状態でユーザーが寝そべって仰向けや横向きになっている姿勢の場合、ＨＭＤの本体も上向きや横向きの状態となる。この状況では、重力センサーの検知する軸方向が、ＨＭＤ本体の上下方向と一致せずに、ＨＭＤ本体の前後方向と一致することとなる。このような状態では、ＨＭＤは、重力センサーにより表示部の取り付けが左右のいずれであるのかを認識することはできない。
【０００５】
本発明は、上記の事情に鑑み成されたものであって、ユーザーの頭部に装着されたＨＭＤの姿勢に係わらず、ユーザーが表示部を左右のいずれの眼で観察しているかを認識することを可能にする情報入出力装置、情報入出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様としての情報入出力装置は、画像を表示する表示部と、ユーザーの眼を含む領域の撮像画像を撮像する撮像部と、前記撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーが前記表示部に表示される画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する制御部と、を備えることを特徴としている。
【０００７】
上記目的を達成するため、本発明の一態様としての情報入出力方法は、情報入出力装置の情報入出力方法であって、撮像部が、ユーザーの眼を含む領域の撮像画像を撮像する手順と、制御部が、前記撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーが表示部に表示される画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する手順と、を含むことを特徴としている。
【発明の効果】
【０００８】
本発明によれば、ユーザーの頭部に装着されたＨＭＤの姿勢に係わらず、ユーザーが表示部を左右のいずれの眼で観察しているかを認識できる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態のヘッドマウントディスプレイの斜視図である。
【図２】第１実施形態に係るヘッドマウントディスプレイを背面側から見た斜視図である。
【図３】第１実施形態に係るディスプレイ本体の水平断面図である。
【図４】第１実施形態に係るヘッドバンドの動作説明図である。
【図５】第１実施形態に係るヘッドマウントディスプレイの装着形態を示す図である。
【図６】第１実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
【図７】第１実施形態に係る表示部の構成及び光学系を説明するための表示部の断面図である。
【図８】第１〜第３観察状態のそれぞれにおける表示領域の違いを説明する図である。
【図９】第１観察状態における観察範囲と撮像範囲を説明する図である。
【図１０】第１観察状態における撮像画像の一例を説明する図である。
【図１１】第２観察状態における撮像画像の一例を説明する図である。
【図１２】第２観察状態における観察範囲と撮像範囲を説明する図である。
【図１３】第３観察状態における撮像画像の一例を説明する図である。
【図１４】第３観察状態における観察範囲と撮像範囲を説明する図である。
【図１５】眼の正面に表示部を配置して眼を含む周辺の画像を撮像する例を説明する図である。
【図１６】第１実施形態に係る眼の下側に表示部を配置して眼を下から撮像する例を説明する図である。
【図１７】第１実施形態に係る撮像素子の画角と選択範囲を説明する図である。
【図１８】第１実施形態に係る撮像領域と選択領域を説明する図である。
【図１９】第１実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。
【図２０】第１実施形態に係るヘッドマウントディスプレイの機能ブロック図である。
【図２１】第１実施形態に係る処理部の機能ブロック図である。
【図２２】第１実施形態に係るＨＭＤの電源オン状態後に行う動作のフローチャートである。
【図２３】第１実施形態に係る左右の眼の検出処理手順のフローチャートである。
【図２４】右眼観察形態の場合の撮像範囲Ｓの撮像画像の一例を説明する図である。
【図２５】左眼観察形態の場合の撮像範囲Ｓの撮像画像の一例を説明する図である。
【図２６】左眼観察形態における撮像画像の一例を説明する図である。
【図２７】第１実施形態に係るＨＭＤの装着ガイドの処理手順のフローチャートである。
【図２８】第２実施形態に係る光学系を説明するための表示部の断面図である。
【図２９】第２実施形態に係る観察範囲と撮像範囲を説明する図である。
【発明を実施するための形態】
【００１０】
本実施形態に係るヘッドマウントディスプレイ（情報入出力装置）は、ユーザーの眼を照明するための複数の照明部を、表示部の近傍に備える。ヘッドマウントディスプレイは、これら複数の照明部の点灯状態を、ユーザーと表示部との位置関係に応じて制御する。すなわち、ヘッドマウントディスプレイは、ユーザーと表示部との位置関係に応じて、点灯させる照明部を選択する。これにより、ヘッドマウントディスプレイは、表示部がユーザーの眼に対して下側、上側又は外側のいずれに配置された場合でも、ユーザーの観察している視線や注視点を、検出することができる。
以下、情報出力装置をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。
【００１１】
以下、本発明の実施形態について図面を参照しながら説明する。
以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ、ヘッドマウントディスプレイの各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。
【００１２】
［第１実施形態］
図１は、本実施形態に係るヘッドマウントディスプレイ（頭部装着装置（または情報入出力装置）、以下、ＨＭＤともいう）１の斜視図である。図２は、本実施形態に係るヘッドマウントディスプレイ１を背面側から見た斜視図である。図３は、本実施形態に係るディスプレイ本体２０の水平断面図である。図４は、本実施形態に係るヘッドバンドの動作説明図である。図５は、本実施形態に係るヘッドマウントディスプレイの装着形態を示す図である。
【００１３】
ＨＭＤ１は、ディスプレイ本体２０と、ユーザーの頭部に装着されディスプレイ本体２０を支持するヘッドバンド４０と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のＨＭＤ１は、図５に示すように、両眼どちらでも使用可能である。図５（Ａ）には、ユーザーが右眼（右目）で表示部６０を見ている状態、図５（Ｂ）には左眼（左目）で見ている状態が示されている。
また、図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。
【００１４】
以下、ＨＭＤ１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。
【００１５】
装置本体部２１は、概略板状の筐体２１Ａ（図３参照）を有する。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。
【００１６】
装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４と、集音マイク２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８はディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることによりＨＭＤ１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。
【００１７】
装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー（音声出力部）２３と、オーディオコネクター（音声出力部）２６と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。
【００１８】
耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば、図６に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２はヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。
【００１９】
心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの眼の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
【００２０】
装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５はＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）デバイスの接続端子である。本実施形態では、例えば不図示のリモコン（リモートコントローラー）が接続される。
操作スイッチ３０は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は映像入出力端子である。
【００２１】
図３に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体２０の各部と電気的に接続されている。
【００２２】
装置本体部２１の外面に露出するタッチスイッチ３４の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。
【００２３】
ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。２つの平面部を垂直に貫くように連結孔３１が形成されている。連結孔３１は軸方向視で六角形状に形成されている。連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることによりディスプレイ本体２０とヘッドバンド４０とが連結される。
【００２４】
ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図５（Ａ）に示す右眼で画像を観察する形態と、図５（Ｂ）に示す左眼で画像を観察する形態との切替機能が実現される。
【００２５】
またヘッドバンドヒンジ３２はボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの眼や耳に対する位置を調整することができる。
【００２６】
ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、ＨＭＤ１の装着時にユーザーの顔の表面に当接可能とされている。バッテリー３３は一次電池、二次電池のいずれであってもよい。
【００２７】
表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４が設けられている。また、図２に示すように、ファインダー開口部６７の形状は、長方形である。
【００２８】
図３に示すように、表示部６０は、ディスプレイヒンジ６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。
【００２９】
装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面２１ａに、傾斜面２１ａの法線方向（図３のＹ’軸方向）に突出するようにして設けられている。
【００３０】
表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。本実施形態では、ディスプレイヒンジ６１が装置本体部２１の傾斜面２１ａに設けられており、表示部６０が内側に湾曲した形状を有している。
【００３１】
また、ディスプレイヒンジ６１がボールジョイントであることから、表示部６０は、Ｙ’軸回りの回転面に対して直交する方向の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部６７の位置調整が容易になる。表示部６０と装置本体部２１との間隔を大きくすれば、表示部６０の揺動幅を大きくすることができる。
【００３２】
ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板２９と表示部６０の各部とが電気的に接続される。
【００３３】
表示部６０の内部には、バックライト６２と、表示パネル６３と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２（撮像部）とが設けられている。なお、表示部６０の光学系の構成については、後述する。
【００３４】
カメラ６４は、例えば５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。カメラ６４は、その撮像素子の受光面に結像した画像（光学像）を撮像する。カメラ６４は、例えば、ユーザーにとっての正面方向を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
【００３５】
前方ライト６８は、例えばＬＥＤライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮影する際の照明装置として用いてもよい。
撮像素子７２は、その受光面に結像した画像（光学像）を撮像する。撮像素子７２は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
【００３６】
また、図３では図示を省略したが、本実施形態に係る表示部６０にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト６８の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング（指標の表示）が可能である。
【００３７】
次に、ヘッドバンド４０について、図２及び図４を参照しつつ説明する。
ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。
【００３８】
第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。
【００３９】
第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。
【００４０】
また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。
【００４１】
ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。
【００４２】
ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。
【００４３】
この構成により、第２ヘッドバンド４４は、回動機構５６によって第１ヘッドバンド４３から離れる方向に回動付勢される一方、回動機構５７によって第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は第１ヘッドバンド４３に対して所定の角度となるように保持される。したがって、回動機構５６、５７は、ヘッドバンド４０における角度保持機構として機能する。
【００４４】
次に、以上の構成を備えたＨＭＤ１におけるヘッドバンドの動作等について、図４、図５を参照しつつ説明する。以下、ユーザーにとっての右側を「ユーザーの右側」と称する。また、ユーザーにとっての左側を「ユーザーの左側」と称する。また、ユーザーにとっての上側を「ユーザーの上側」と称する。また、ユーザーにとっての下側を「ユーザーの下側」と称する。また、ユーザーにとっての時計回り方向を「時計回り方向」と称する。また、ユーザーにとっての反時計回り方向を「反時計回り方向」と称する。
【００４５】
図５に示したように、本実施形態のＨＭＤ１は、図５（Ａ）に示す右眼観察形態と、図５（Ｂ）に示す左眼観察形態を切り替えて使用することができる。ここで、右眼観察形態とは、ユーザーが右眼で表示部６０を観察する形態である。また、左眼観察形態とは、ユーザーが左眼で表示部６０を観察する形態である。
【００４６】
例えば、右眼観察形態から左眼観察形態へ切り替えるには、まず、ヘッドバンド４０に連結されたディスプレイ本体２０を、ヘッドバンドヒンジ３２（図２を参照）の回転軸回り（図５では、Ａ方向）に１８０°程度回転させる。さらに、ヘッドバンド４０において、回動機構５６及び５７（図４を参照）の軸回りに第２ヘッドバンド４４を揺動させることで、第２ヘッドバンド４４の位置と第１ヘッドバンド４３の位置との前後関係を入れ替える。この操作により、図５（Ｂ）に示すように、ユーザーの左眼側にディスプレイ本体２０が配置され、且つ、第２ヘッドバンド４４がユーザーの後頭部側に配置された左眼観察形態に、ＨＭＤ１は切り替えられる。
【００４７】
本実施形態では、図４に示すように、第１ヘッドバンド４３の円弧高さｒ１を、第２ヘッドバンド４４の円弧高さｒ２よりも小さくしている。これにより、第２ヘッドバンド４４を第１ヘッドバンド４３と交差させるように移動させても、互いに干渉することなく円滑に前後を入れ替えることができる。
図４に示す円弧高さｒ１は、同軸に配置された回動機構５６、５７の回転軸Ｌの中央位置Ｃから第１ヘッドバンド４３までの距離の最大値である。また円弧高さｒ２は、回転軸Ｌの中央位置Ｃから第２ヘッドバンド４４までの距離の最大値である。
【００４８】
なお、第１ヘッドバンド４３の円弧高さｒ１を第２ヘッドバンド４４の円弧高さｒ２よりも大きくし、第２ヘッドバンド４４を第１ヘッドバンド４３の内側で揺動させる構成としてもよい。
【００４９】
図６は、本実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有する。
【００５０】
コネクター１０１はケーブル１０２の一方の端部に設けられている。コネクター１０１は、一般的な４極φ３．５ｍｍのミニプラグである。４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐され、分岐されたケーブルの先端に第１スピーカー１０３が設けられている。ケーブル１０２の他方の端部には、第２スピーカー１０４と集音マイク１０５とが設けられている。複数のクリップ１０６は、ケーブル１０２上に所定の間隔で配置されている。
【００５１】
ステレオイヤホン１００は、コネクター１０１をディスプレイ本体２０のオーディオコネクター２６に接続して使用される。ステレオイヤホン１００が接続されると、ディスプレイ本体２０の耳元スピーカー２３と、表示部６０の通話マイク３７は無効化される。また表示部６０の前方スピーカー７０も必要に応じて無効化される。そして、ステレオイヤホン１００の第１スピーカー１０３、第２スピーカー１０４、及び集音マイク１０５が有効化される。
【００５２】
ステレオイヤホン１００の第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着され、第２スピーカー１０４は第１スピーカー１０３と反対側の耳に装着される。このとき、ケーブル１０２は、クリップ１０６によって第２ヘッドバンド４４に固定することができる。
【００５３】
また、ステレオイヤホン１００の集音マイク１０５と、ディスプレイ本体２０において筐体２１Ａの外側面に設けられた集音マイク２４とにより、ステレオ録音が可能である。例えば、図５（Ａ）に示すようにディスプレイ本体２０が右眼側に配置されているとすれば、ディスプレイ本体２０の集音マイク２４はユーザーの右側の音を収集し、左耳に装着された集音マイク１０５はユーザーの左側の音を収集する。
また、右眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から右チャンネルの音声が出力され、第２スピーカー１０４からは左チャンネルの音声が出力される。
【００５４】
一方、図５（Ｂ）に示すようにユーザーの左眼側にディスプレイ本体２０が配置されている場合には、ディスプレイ本体２０の集音マイク２４がユーザーの左側の音を収集し、右耳に装着された集音マイク１０５がユーザーの右側の音を収集する。左眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から左チャンネルの音声が出力され、第２スピーカー１０４からは右チャンネルの音声が出力される。
【００５５】
次に、表示部６０の構成及び光学系を説明する。
図７は、本実施形態に係る表示部６０の構成及び光学系を説明するための表示部６０の断面図である。図７に示すように、本実施形態の表示部６０は、バックライト６２、表示パネル６３、第１プリズム６５ａ、第２プリズム６５ｂ、反射ミラー６６、ファインダー開口部６７、結像レンズ７１、撮像素子７２、１／４波長板７５を含んで構成されている。図８において、符号Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎは、各々、光線を表す。
【００５６】
まず、表示部６０の構成を説明する。
プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと第２プリズム６５ｂとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第１プリズム６５ａの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル６３が設けられている。表示パネル６３の背面に表示パネル６３を透過照明するバックライト６２が配置されている。第１プリズム６５ａの他方の面に対向する位置に反射ミラー６６が配置されている。反射ミラー６６は、ファインダー開口部６７のほぼ正面に位置する。
【００５７】
第２プリズム６５ｂの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部６７に配置されたファインダー接眼面である。第２プリズム６５ｂの他方の面に対向する位置には結像レンズ７１を介して撮像素子７２が対向配置されている。
【００５８】
次に、表示部６０の光学系を説明する。
表示部６０において、表示パネル６３に表示された画像は、第１プリズム６５ａ、反射ミラー６６、第２プリズム６５ｂを介してファインダー開口部６７から射出され、ユーザーに観察される。また、ファインダー開口部６７を見ている画像は、第２プリズム６５ｂ及び結像レンズ７１を介して撮像素子７２上に結像される。
なお、撮像素子７２を介して取得された撮像画像は、ユーザーの視線の方向や瞬き、表情の解析、表示部６０の姿勢の解析に用いる。撮像画像には、眼の周辺画像が含まれている。なお、バックライト６２は、撮像素子７２による眼の周辺画像を撮像する際の補助照明としても利用されてもよい。
【００５９】
バックライト６２が照射した光は、表示パネル６３を透過して、第１プリズム６５ａに入射される。このとき、表示パネル６３の液晶の特性上、バックライト６２が照射した光が偏光され、偏光された光線ＨのＳ偏光が第１プリズム６５ａに入射される。
【００６０】
光線Ｈは、第１プリズム６５ａの裏面６５ｄに設けられた空気層の影響により全反射し、光線Ｉとして第１プリズム６５ａと第２プリズム６５ｂの接合面６５ｃに入射する。ここで２つのプリズムの接合面６５ｃには、Ｓ偏光が反射し、Ｐ偏光が透過する偏光反射膜が蒸着されている。ここで、光線Ｈは、Ｓ偏光であるため、接合面６５ｃで反射して光線Ｊとなる。光線Jは、裏面６５ｄに入射角０度で入射されるため、裏面６５ｄを透過して１／４波長板７５に入射される。
【００６１】
光線Ｊは、空気層を通った後に１／４波長板７５を透過することで、進行方向に対して右回りの円偏光となる。そして反射ミラー６６で反射した光線Ｋは、反射によって左回りの円偏光となる。そして、光線Ｋは、１／４波長板７５を再び透過し、Ｐ偏光となる。
光線Ｋは、Ｐ偏光に変換されたため、接合面６５ｃを透過できるので、ファインダー開口部６７を通過できる。このような構成により、ユーザーは、表示パネル６３上に表示された画像データを、ファインダー開口部６７越に観察できる。
【００６２】
一方、ファインダー開口部６７から入射した光線Ｌは、接合面６５ｃで反射してＳ偏光の光線Ｍに変換される。光線Ｍは、第２プリズム６５ｂにおける前面６５ｅの空気層で全反射して光線Ｎになる。光線Ｎは、結像レンズ７１により集光され、集光した光線Ｎが撮像素子７２に入射する。このような構成により、ユーザーの眼の前面に、ファインダー開口部６７が配置された場合、撮像素子７２には、ユーザーの眼の周辺画像（光学像）が結像する。
【００６３】
次に、右眼観察形態で、ファインダー開口部６７を介してユーザーが観察する画像と、撮像素子７２により撮像される画像とについて説明する。
なお、図９、図１２及び図１４では、光学的に等価になるように、反射ミラー６６（図７を参照）は、凸レンズに置き換えられている。また、図９、図１２、及び図１４において、一点鎖線ＣＴは、結像レンズ７１の光軸を表している。
また、以下の説明では、撮像画像には、ユーザーの片眼を含む領域の画像が含まれている場合を説明する。以下、ユーザーの右眼の周りが撮像された画像を、「右眼の周辺画像」といい、ユーザーの左眼の周りが撮像された画像を、「左眼の周辺画像」という。また、右眼の周辺画像には、右眼の画像、右眉毛の画像、顔の一部（頭、髪の毛等）の画像が含まれてもよい。また、左眼の周辺画像には、左眼の画像、左眉毛の画像、顔の一部（頭、髪の毛等）が含まれてもよい。以下、右眼の周辺画像、及び左眼の周辺画像を、「眼の周辺画像」と総称する。
【００６４】
以下、表示部６０が、ユーザーの眼から所定距離内に配置されている状態を、「第１観察状態」という。
図８は、第１〜第３観察状態のそれぞれにおける表示領域の違いを説明する図である。第１観察状態では、表示部６０がユーザーの眼から所定距離内に配置されているので、表示パネル６３の全表示領域は、ユーザーから観察可能である。したがって、表示パネル６３は、この全表示領域に画像を表示させることができる。すなわち、表示パネル６３の全表示領域が、表示領域Ｓとなる。
【００６５】
以下、表示領域Ｓの横の長さを、Ｓｗと表記する。また。表示領域Ｓの縦の長さを、Ｓｈと表記する。また、以下では、一例として、Ｓｗは８００画素、Ｓｈは６００画素として説明を続ける。また、表示領域Ｔの縦の長さを、Ｔｈと表記する。また、表示領域Ｔの横の長さを、Ｔｗと表記する。また、表示領域Ｕの縦の長さを、Ｕｈと表記する。また、表示領域Ｕの横の長さを、Ｕｗと表記する。
【００６６】
図９は、第１観察状態における観察範囲と撮像範囲を説明する図である。観察範囲６７ａにユーザーの眼がある場合、ファインダー開口部６７を介して、ユーザーは、表示パネル６３の全表示領域に相当する表示領域Ｓを観察することができる。また、観察範囲６７ａは、反射ミラー６６（図９では、凸レンズ）の光軸上では、ファインダー開口部６７から距離Ｐまでの範囲にある。一方、撮像素子７２が撮影することができる撮影範囲６７ｃは、観察範囲６７ａを含んでいる。つまり、撮像素子７２は、観察範囲６７ａにユーザーの眼がない場合でも、撮影範囲６７ｃにユーザーの眼があれば、ユーザーの眼を眉毛なども含めて撮像することができる。
【００６７】
図１０は、第１観察状態における撮像画像の一例を説明する図である。図１０の略中心には、撮像素子７２によりユーザーの眼が撮像されている。右眼観察形態の場合、図１０における＋Ｚ側が鉛直上方向、−Ｚ側が鉛直下方向、＋Ｘ側がユーザーの左側、−Ｘ側がユーザーの右側となる。なお、左眼観察形態の場合、表示部６０が１８０度反転されているので、右眼観察形態と比較して、眼の周辺画像は左右上下が反転することになる。
【００６８】
図１０において、符号６０１Ｒは、右眼の画像を示す符号であり、符号６０２Ｒは、右眉毛の画像を示す符号である。また、符号Ｌ４１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。例えば、第１観察状態において、撮像素子７２の解像度が、横方向（Ｘ軸方向）に６４０画素である場合、画像における眼の幅Ｌ４１は、３５０画素程度である。
【００６９】
図１０では、ユーザーの眼と眉毛の距離が幅Ｌ４１以下なので、撮像画像には、適切な範囲が撮像されているといえる。このように、ユーザーの眼を下側から撮影することは、有効である。
このように、第１観察状態では、ユーザーが正面を見る際、ファインダー開口部６７が邪魔にならない。また、後述するように、第１観察状態では、撮像素子７２による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、ＨＭＤ１は、ユーザーの視線方向を検出することができる。
【００７０】
以下、ユーザーの眼が、第１観測状態と比較して表示部６０から離れている状態を、「第２観察状態」という。
次に、第２観察状態について、図８、図１１、及び図１２を用いて説明する。
【００７１】
図１１は、第２観察状態における撮像画像の一例を説明する図である。符号６０１Ｒ１は、右眼の画像を示す符号であり、符号６０２Ｒ１は、右眉毛の画像を示す符号である。また、符号Ｌ７１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。
第２観察状態では、ユーザーの眼が表示部６０から離れているので、第１観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅Ｌ７１が、第１観察状態におけるユーザーの眼の幅Ｌ４１以下（例えば、３００画素以下）である場合、ＨＭＤ１は、ユーザーが表示部６０から眼を離していると判定する。
【００７２】
図１２は、第２観察状態における観察範囲と撮像範囲を説明する図である。図１２では、ユーザーの眼ｅｙｅは、反射ミラー６６（図１２では、凸レンズ）の光軸上で、ファインダー開口部６７から距離Ｐ以上距離Ｐ２以内の位置に在り、第１観察状態における観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無い。このため、ユーザーは、表示領域Ｓ（図８を参照）の一部しか観察することができない。
【００７３】
そこで、第２観察状態では、ＨＭＤ１は、縮小率ηで縮小した画像を、表示領域Ｔ（図８を参照）に表示させる。第２観察状態において、表示領域Ｔに表示される画像の縮小率η（第１観察状態との比率）は、次式（１）により示される。
【００７４】
η  ＝  Ｌ７１／Ｌ４１  ・・・（１）
【００７５】
例えば、ユーザーの眼の幅Ｌ４１（図１０を参照）が３５０画素であるのに対して、Ｌ７１（図１１を参照）が２２０画素である場合、ＨＭＤ１は、約０．６３倍（＝（Ｌ７１／Ｌ４１）＝（Ｔｈ／Ｓｈ）＝（Ｔｗ／Ｓｗ））に縦横をそれぞれ縮小した画像を、表示パネル６３の表示領域Ｔに表示させる。表示領域Ｔに表示された画像（光学像）の全体は、ファインダー開口部６７の縁に遮られることなく、ユーザーの眼に届く。
【００７６】
以下、表示部６０とユーザーの眼との相対位置が、第２観測状態と比較して左右いずれかの方向にずれている状態を、「第３観察状態」という。
次に、第３観察状態について、図８、図１３、及び図１４を用いて説明する。
図１３は、第３観察状態における撮像画像の一例を説明する図である。第３観察状態では、第２観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルＶ１だけずれて撮像されているとする。
【００７７】
符号６０１Ｒ２は、右眼の画像を示す符号であり、符号６０２Ｒ２は、右眉毛の画像を示す符号である。また、一点鎖線で示した６０５Ａは、ユーザーの眼の位置がずれていない場合に撮像される眼球の外形画像を表す。また、符号６０５Ｂは、ユーザーの眼が光軸中心にある場合の眼球の画像を表す。
【００７８】
図１４は、第３観察状態における観察範囲と撮像範囲を説明する図である。図１４では、ユーザーの眼ｅｙｅは、観察範囲６７ｅ内、すなわち、ファインダー開口部６７から距離Ｐ以上離れ、且つ、光軸ＣＴから内側にＶ１のＸ成分量（＝Ｖ１ｘ）だけずれている位置に在る。観察範囲６７ｅに在るユーザーの眼は、第１観察状態における観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無いので、表示領域Ｓ（図８を参照）の一部しか観察することができない。
【００７９】
そこで、第３観察状態では、ＨＭＤ１は、ユーザーから表示画像の全体が観察できるように、所定の縮小率（＝（Ｕｈ／Ｓｈ）＝（Ｕｗ／Ｓｗ））で画像を縮小する。また、ＨＭＤ１は、この縮小した画像を、表示領域Ｕ（図８を参照）に表示させる。ここで、ＨＭＤ１は、表示領域Ｓ（図８を参照）における表示領域Ｕの位置を、ユーザーの眼の位置ずれ量及び方向に応じて定める。第３観察状態では、表示領域Ｕは、表示領域Ｓの右上に定められている。
【００８０】
ここで、結像レンズ７１及び撮像素子７２から成る撮像系の記録画素数は、例えば、横６４０画素、縦４８０画素であるとする。また、結像レンズ７１及び撮像素子７２から成る撮像系の画角は、横６０度、縦４５度であるとする。この場合、１画素当たりの画角は、約０．０９４度となる。
【００８１】
したがって、ユーザーの眼の位置の水平方向のずれ量（ベクトルＶ１のＸ成分量）が、例えば、３０画素であれば、ユーザーの眼の位置は、４．７度（＝３０画素×０．０９４度）ほどずれていることになる。表示領域Ｓ（図８を参照）の水平方向（Ｓｗ：８００画素）の視野角が、例えば、３５度であれば、ＨＭＤ１は、表示パネル６３の中心から、１０８画素分（＝Ｓｗ×４．７度÷３５度）だけ、水平方向右に表示領域Ｕの位置を定める。ＨＭＤ１は、垂直方向についても同様に、所定画素数だけずらした位置に表示領域Ｕを定める。
【００８２】
図１３及び図１４では、ＨＭＤ１は、表示領域Ｕの水平方向Ｕｗが５００画素、縦方向Ｕｈが３７５画素となるまで画像を縮小し、表示領域Ｓの中心から水平方向右に１０８画素、且つ、ベクトルＶ１のｚ成分量（＝Ｖ１ｚ）に対応する前記所定画素数だけ垂直方向上にずらした位置に、表示領域Ｕを定める。表示領域Ｕには、表示領域Ｕと同じ縮小率で縮小された画像が表示される。これにより、ユーザーの眼ｅｙｅが光軸上からずれた場合でも、ＨＭＤ１は、画像の全体が見えるよう、その画像を表示することができる。
【００８３】
ＨＭＤ１は、撮像画像から、例えば、眼の輪郭の画像を抽出し、抽出した眼の輪郭の画像の位置に基づいて、眼の位置ずれ量及び方向（ベクトルＶ１）を検出する。ここで、眼の位置ずれ量及び方向の検出は、撮像画像から眼球の画像を抽出し、抽出した眼球の輪郭画像のずれ量に基づいて、その眼の位置ずれ量及び方向を検出してもよい。
【００８４】
上述したように、ユーザーの眼が表示部６０から離れている、又は、光軸からずれている場合でも、ＨＭＤ１では、ユーザーと表示部６０との位置関係に応じて、ユーザーが画像の全領域を観察可能となるように、表示部６０に画像を表示することができる。
【００８５】
次に、表示部６０の配置と、ユーザーの眼の撮像について説明する。
図１５は、眼の正面に表示部６０を配置して、眼を含む周辺の画像を撮像する例を説明する図である。図１６は、本実施形態に係る眼の下側に表示部６０を配置して、眼を下から撮像する例を説明する図である。
【００８６】
図１５及び図１６において、符号Ｌ１１は、ユーザーの下瞼から眉毛までの距離を表している。また、図１５及び図１６において、距離Ｌ１１は、４０［ｍｍ］である。また、図１５及び図１６において、ユーザーの顔を横から見た場合における、上下方向をＺ軸方向と、前後方向をＹ軸方向と称する。
【００８７】
図１５に示すように、眼の正面に表示部６０を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、幅Ｌ１１以上（例えば、幅Ｌ３１）を撮像できるまで、表示部６０の結像レンズ７１を、ユーザーの顔から遠ざける必要がある。ここで、幅Ｌ３１は、例えば、７０［ｍｍ］である。幅Ｌ３１の範囲が撮像される場合、ユーザーの眼から結像レンズ７１の中心まで、距離Ｌ２１だけ離される必要がある。ここで、距離Ｌ２１は、例えば８５［ｍｍ］である。
【００８８】
なお、距離Ｌ２１は、図７に示した光学系において、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長も含んでいる。仮に、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長の合計が２０［ｍｍ］であるとすると、ユーザーの顔からＹ軸方向に６５（＝８５−２０）［ｍｍ］だけ、表示部６０を遠ざける必要がある。
【００８９】
従って、眼の正面に表示部６０を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、表示部６０は、ユーザーの顔から遠ざけられた位置に配置される必要がある。
【００９０】
一方、図１６に示すように、眼の下側に表示部６０が配置された場合、ユーザーの下瞼から眉毛までの距離Ｌ１１の範囲を撮像するためには、幅Ｌ６１の撮像範囲を撮像する必要がある。ここで、下から煽るように撮像しているため、幅Ｌ６１は、図１５に示した幅Ｌ３１より短い。例えば、幅Ｌ６１は、２０［ｍｍ］である。この撮像範囲２０［ｍｍ］を確保するために必要な撮影距離（距離Ｌ５１）は、例えば、４５［ｍｍ］である。
【００９１】
図１５と同様に、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長の合計が２０［ｍｍ］である場合、表示部６０は、ユーザーの顔から２５［ｍｍ］だけ遠ざけられる。また、Ｙ軸方向に対して表示部６０が角度β傾けてられている場合、顔から結像レンズ７１までのＹ軸方向の距離は、４５［ｍｍ］にｃｏｓβが乗算された値となる。
【００９２】
ＨＭＤ１は、眼の下に配置された表示部６０が、眼の周辺画像を撮像できるので（図１６を参照）、表示部６０が眼の正面に配置された場合と比較して（図１５を参照）、顔から表示部６０までの距離が短い。これにより、ＨＭＤ１は、大型化してしまうことがない。また、ＨＭＤ１は、表示部６０がユーザーの正面に配置されないため、表示部６０がユーザーの正面視野を遮ることもない。さらに、ＨＭＤ１は、表示部６０がユーザーの顔の近傍に配置されることも可能なので、例えば、狭い作業空間などにおいて、表示部６０が邪魔になることもない。
【００９３】
次に、右眼観察形態と左眼観察形態との切り替えに伴う、撮像素子７２の設置角度の調整について説明する。
図１７は、本実施形態に係る撮像素子７２の画角と選択範囲を説明する図である。図１７（Ａ）は、右眼観察形態における撮像素子７２の画角と選択範囲を説明する図である。図１７（Ｂ）は、左眼観察形態における撮像素子７２の画角と選択範囲を説明する図である。なお、図１７（Ａ）及び図１７（Ｂ）では、第１ヘッドバンド４３、第２ヘッドバンド４４、装置本体部２１等は、図示が省略されている。
【００９４】
図１８は、本実施形態に係る撮像領域と選択領域を説明する図である。図１８（Ａ）は、ヘッドバンドヒンジ３２（図２を参照）が揺動された場合における、撮像素子７２（図３を参照）による撮像領域を説明する図である。また、図１８（Ｂ）は、撮像領域から選択された選択領域を説明する図である。ここで、符号Ｐは、撮像素子７２が撮像可能な範囲を示す符号である。また、撮像素子７２は、例えば、４対３のアスペクト比を有する。
【００９５】
右眼観察形態の場合（図５（Ａ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１７（Ａ）及び図１８（Ｂ）に示すように、符号Ｐで示した領域（以下、「撮像領域Ｐ」という）のうち、符号Ｑで示された領域（以下、「選択領域Ｑ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、右眼観察形態において、眉毛まで含めて右眼の画像データを適切に取り込むことができる。
【００９６】
一方、左眼観察形態の場合（図５（Ｂ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１７（Ｂ）及び図１８（Ｂ）に示すように、撮像領域Ｐのうち、符号Ｒで示された領域（以下、「選択領域Ｒ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、左眼観察形態において、眉毛まで含めて左眼の画像データを適切に取り込むことができる。
【００９７】
また、ＨＭＤ１は、右眼観察形態又は左眼観察形態のいずれであるかを、加速度センサー１３２が検出した検出値（後述）の代わりに、撮像素子７２による撮像画像に基づいて適切に判定することができる。なお、右眼観察形態又は左眼観察形態のいずれであるかの判別する方法は、後述する。
【００９８】
図１９は、本実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。撮像素子７２の本体７２ａには、回転軸７２ｂが固定されている。この回転軸７２ｂに対しては、ダイヤル７２ｃが設けられている。ユーザーは、ダイヤル７２ｃを回動可能範囲で回動（図１９では、Ｄ方向）にさせることで、回転軸７２ｂを軸として、撮像素子７２をチルトさせることができる。
【００９９】
結像レンズ７１が上を向く方向にチルトされた場合、選択領域Ｑ（図１８（Ｂ）を参照）は、撮像領域Ｐにおける上側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｑで撮像することができる。一方、結像レンズ７１の下を向く方向にチルトされた場合、選択領域Ｒ（図１８（Ｂ）を参照）は、撮像領域Ｐの下側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｒで撮像することができる。
【０１００】
なお、ＨＭＤ１は、ダイヤル７２ｃにより、撮像領域Ｑ又は選択領域Ｒの位置を微調節することも可能である。また、撮像素子７２による撮像画像が表示部６０に表示された場合、ユーザーは、表示部６０に表示されている撮像画像を観察しながら、表示部６０と眼の位置関係に応じて、撮像素子７２の撮像領域を選択することができる。この結果、ＨＭＤ１は、範囲が適切になるよう撮像された撮像画像を用いて、ＨＭＤ１の位置合わせ（後述）、及び注視点検出のためのキャリブレーションの精度を高めることができる。
【０１０１】
次に、ＨＭＤ１の機能ブロックについて説明する。
図２０は、本実施形態に係るヘッドマウントディスプレイ１の機能ブロック図である。
ＨＭＤ１には、処理部１２３を中心として種々の電気回路が備えられている。処理部１２３は、ＣＰＵ（中央演算装置：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ＨＭＤ１の各種回路と接続されるとともに、ＨＭＤ１を総合的に制御する。
【０１０２】
バッテリー３３は、電力を電源回路１２０に供給する。
電源回路１２０は、バッテリー３３から供給された電力を、処理部１２３の制御によりＨＭＤ１の各部に供給する。
【０１０３】
本実施形態の場合、処理部１２３には、エンコーダー１２９及びデコーダー１２１、電源回路１２０、操作スイッチ３０、フラッシュメモリー１２２、ＢＬドライバ１２６、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発信器７３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７、メモリー１２７、メインスイッチ２８、タッチスイッチ３４が接続されている。
【０１０４】
エンコーダー１２９は音声信号及び画像信号を所定方式の音声データ及び画像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。
【０１０５】
エンコーダー１２９には、集音マイク２４及び通話マイク３７から入力される音声信号、カメラ６４から入力される画像信号、オーディオコネクター２６から入力される音声信号、ビデオコネクター２７から入力される画像信号、及び、眼の周辺画像を撮影する撮像素子７２の画像信号が入力される。エンコーダー１２９に入力された音声信号及び画像信号は音声データ及び画像データにエンコードされた後、処理部１２３に入力される。入力された音声データ及び画像像データは、処理部１２３による再生動作に用いられたり、フラッシュメモリー１２２に記録される。
【０１０６】
デコーダー１２１は、音声データ及び画像データを音声信号及び画像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。ＬＣＤドライバ１２５は液晶パネル用の駆動制御装置であり、表示パネル３６及び表示パネル６３に接続されている。スピーカーアンプ１６２は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。
【０１０７】
画像データを再生する場合、フラッシュメモリー１２２に記録された画像データ、あるいはエンコーダー１２９から入力される画像データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された画像データは、画像信号にデコードされた後、ＬＣＤドライバ１２５を介して表示パネル３６、６３に供給される。そして、画像信号が入力された表示パネル３６又は表示パネル６３に画像データに基づく画像が表示される。また、デコーダー１２１からビデオコネクター２７に出力される画像信号は、ビデオコネクター２７を介して外部機器に出力される。
【０１０８】
また画像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。ＢＬドライバ１２６は、バックライト用の駆動制御装置であり、バックライト３５及びバックライト６２に接続されている。処理部１２３は、ＢＬドライバ１２６に駆動信号を送信し、ＢＬドライバ１２６はバックライト３５、６２を個々に点灯させる。
【０１０９】
音声データを再生する場合、フラッシュメモリー１２２に記録された音声データ、あるいはエンコーダー１２９から入力される音声データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ１６２を介して耳元スピーカー２３及び前方スピーカー７０のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー２３又は前方スピーカー７０から音声が出力される。また、デコーダー１２１からオーディオコネクター２６に出力される音声信号は、オーディオコネクター２６を介してステレオイヤホン１００に出力される。
【０１１０】
本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０からは左右の音声信号が合成された音が発せられる。
【０１１１】
一方、ステレオイヤホン１００に音声信号が出力される場合、第１スピーカー１０３及び第２スピーカー１０４のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態のＨＭＤ１は左右両用であるため、装着位置に応じてステレオイヤホン１００への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体２０が右眼に装着されている場合には、第１スピーカー１０３に右チャンネル、第２スピーカー１０４に左チャンネルの音が出力される。ディスプレイ本体２０が左眼に装着されている場合には第１スピーカー１０３に左チャンネル、第２スピーカー１０４に右チャンネルの音が出力される。
【０１１２】
メモリー１２７には、処理部１２３によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ２８や、画面内でのポインティング操作を行うための操作スイッチ３０、あるいはタッチ操作により各種操作を行うタッチスイッチ３４がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部１２３へ出力される。処理部１２３は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
【０１１３】
ＢＴ通信回路１３０は、他の機器とのＢｌｕｅｔｏｏｔｈ（登録商標）通信を行うための通信回路である。ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（ＩＥＥＥ  ８０２．１１）を行うための通信回路である。３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。
【０１１４】
加速度センサー１３２は、ＨＭＤ１の傾き検出に用いられる。加速度センサー１３２は、例えば３軸センサーであり、重力加速度を検出する。加速度センサー１３２は、例えば、装置本体部２１内に取り付けられている。
【０１１５】
以下、加速度センサー１３２の座標は、地表に直立したユーザーがＨＭＤ１を頭に装着している場合における、ユーザーにとっての上下方向をＺ軸方向、左右方向をＸ軸方向、前後方向をＹ軸方向とする。また、加速度センサー１３２は、右眼観察形態の場合にＺ軸方向の検出値が負値となり、左眼観察形態の場合にＺ軸方向の検出値が正値となるように、取り付けられている。
【０１１６】
地磁気センサー１３３は、ＨＭＤ１の方角検出に用いられる。角速度センサー（ジャイロセンサー）１３４は、ＨＭＤ１の回転検出に用いられる。ＧＰＳセンサー１３５はＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を利用した測位検出に用いられる。温湿度センサー１３６は、環境の温度、湿度の検出に用いられる。心拍数センサー１３７は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。
【０１１７】
図２１は、本実施形態に係る処理部１２３の機能ブロック図である。処理部１２３は、入力検出部３０１、制御部３０２、記憶部３０３、眼球照明部３０４、音声調整部３０５、画像切替部３０６、画像表示部３０７、及び送受信部３０８を備えている。図２１では、ＷｉＦｉ通信回路１３１及び３Ｇ／ＬＴＥ通信回路１３８（図２０を参照）を、「通信インタフェース（１３１、１３８）」と総称する。
【０１１８】
入力検出部３０１は、タッチスイッチ３４上で行われた操作の種類を判別し、判別した結果に基づく制御信号を、制御部３０２、画像切替部３０６、及び送受信部３０８に出力する。タッチスイッチ３４上で行われた操作の種類とは、発信の指示、及び受信の指示等である。入力検出部３０１は、タッチスイッチ３４上の所定の領域がタッチされた場合、タッチされた領域に基づいて、これらの操作の種類を判別する。
【０１１９】
制御部３０２は、加速度センサー１３２が検出した検出値、及び撮像素子７２による撮像画像の少なくとも一方に基づいて、右眼観察形態又は右眼観察形態を判別する。ここで、制御部３０２は、撮像素子７２による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、撮像画像に映っているユーザーの眼が、左右どちらの眼の画像であるか（右眼観察形態又は右眼観察形態）を判別する。制御部３０２は、判別した結果を記憶部３０３に記憶させる。なお、このような左右の眼の検出処理については後述する。
【０１２０】
制御部３０２は、判別した結果に基づいて、オーディオコネクター２６に接続されているステレオイヤホン１００に出力する音声を制御する。また、制御部３０２は、判別した結果に基づいて、表示部６０から投影する画像を制御する。
【０１２１】
制御部３０２は、表示部６０の配置が適切であるか否かを、撮像画像に基づいて判別する。制御部３０２は、ユーザーの顔に対する表示部６０の相対位置が適切でない場合、表示部６０を適切な方向にずらすようにアナウンスする音声を、音声調整部３０５を介して耳元スピーカー２３から出力させる。なお、このような位置合わせの処理については、後述する。
【０１２２】
記憶部３０３には、制御部３０２が左右どちらの眼の画像であるか判別した結果が記憶されている。
【０１２３】
音声調整部３０５には、エンコーダー１２９が出力する音声データ（ＨＭＤ１のユーザーの音声データ）、送受信部３０８が出力する受信信号が入力される。音声調整部３０５は、送受信部３０８が出力する受信信号から、他の端末のユーザーの音声データ（以下、他端末の音声データともいう）を抽出する。音声調整部３０５は、制御部３０２が出力する装着状態を示す情報に基づいて、エンコーダー１２９が出力する音声データ（ＨＭＤ１のユーザーの音声データ）、又は、他の端末のユーザーの音声データに基づく音声を、ステレオイヤホン１００の左右どちらのスピーカーに出力するのかを選択し、左右のスピーカーの各音量等を調整する。
【０１２４】
画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを取得する。画像切替部３０６は、取得した画像データの表示モードを、制御部３０２が出力した装着状態を示す情報に基づいて切り替え、切り替えた表示モードで、画像データを画像表示部３０７に出力する。ここで、表示モードとは、例えば、第１表示モード又は第２表示モードである。
【０１２５】
画像切替部３０６は、送受信部３０８が出力した受信信号から、画像切替信号を抽出する。画像切替部３０６は、画像切替信号が抽出できた場合、抽出した画像切替信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを、画像表示部３０７に出力する。また、画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、エンコーダー１２９から出力された画像データ、またはフラッシュメモリー１２２から読み出した画像データの解像度を変換し、変換した画像データを画像表示部３０７に出力する。
画像切替部３０６は、パスワード設定画面、及びメニュー画面等を、制御部３０２の指示に応じて表示パネル６３に表示させる。
画像切替部３０６は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識された観察形態に応じて表示部６０に表示するための画像を回転させる角度（（以下、表示角度という）例えば、０度、９０度、１８０度、２７０度）を切り替える。これにより、画像切替部３０６は、ユーザーの姿勢がいかようにあっても、表示部６０とユーザーの眼との関係に応じて、表示部６０に表示する画像の表示方向を適切に切り替えて表示することができる。なお、観察形態は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識される。具体的には、右眼観察形態のときの画像の表示角度を０度とした場合及び左眼観察形態のときの画像の表示角度を１８０度とした場合、制御部３０２は、右眼観察形態のときの画像の表示角度を０度に切り替え、左眼観察形態のときの画像の表示角度を１８０度に切り替える。
【０１２６】
画像表示部３０７には、画像切替部３０６が出力した画像データが入力される。画像表示部３０７は、入力されたこれらの画像データに基づき、表示パネル６３に表示する画像データを生成する。画像表示部３０７は、生成した画像データを、送受信部３０８、ビデオコネクター２７、及びＬＣＤドライバ１２５に出力する。
【０１２７】
送受信部３０８は、入力検出部３０１が出力した制御信号に基づき、画像表示部３０７が出力した画像データを、通信インタフェース（１３１、１３８）を介して送信する。送受信部３０８は、通信インタフェース（１３１、１３８）を介して受信した受信信号を、画像切替部３０６に出力する。
【０１２８】
次に、ＨＭＤ１の動作について説明する。図２２は、本実施形態に係るＨＭＤ１の電源オン状態後に行う動作のフローチャートである。
（ステップＳ１）処理部１２３は、ＨＭＤ1のシステムの起動の完了を待って、システムの起動が完了したらステップＳ２に進む。なお、起動とは、メインスイッチ２８が操作されてＨＭＤ1がコールドスタートする場合、ならびにＨＭＤ1が所定時間使われなかった場合などにスリープ状態に至り、その後、タッチスイッチ３４などを操作された場合、ウォームスタートした場合などである。
【０１２９】
（ステップＳ２）処理部１２３は、ユーザーが左右、どちらの眼でＨＭＤ１の表示部６０を観察しているか検出する処理（以下、左右の眼の検出処理という）を行う。なお、この「左右の眼の検出処理」の詳細な処理は、後述する。処理部１２３は、検出した結果に基づいて、表示部６０に表示する画像の向きを切り替える。
【０１３０】
（ステップＳ３）処理部１２３は、ＨＭＤ１の表示部６０が正しい装着位置に装着されるようにガイドを行う処理（以下、装着ガイドの処理という）を行う。なお、「装着ガイドの処理」の詳細な処理は、後述する。
【０１３１】
次に、「左右の眼の検出処理」手順について説明する。
図２３は、本実施形態に係る左右の眼の検出処理手順のフローチャートである。
【０１３２】
（ステップＳ１０１）処理部１２３の制御部３０２は、加速度センサー１３２が検出した検出値において、Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いか否かを判別する。Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いと判別された場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２に進む。Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強くないと判別された場合（ステップＳ１０１；Ｎｏ）、ステップＳ１０３に進む。
【０１３３】
（ステップＳ１０２）Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いと判別された場合、表示部６０は、図５（Ａ）または図５（Ｂ）に示したような装着形態である。このため、制御部３０２は、加速度センサー１３２の検出値に基づいて、右眼観察形態であるか左眼観察形態であるのかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
【０１３４】
（ステップＳ１０３）Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強くないと判別された場合、ユーザーが寝ているか仰向けの状態であるため、制御部３０２は、撮像素子７２を駆動する。
図２５は、右眼観察形態の場合の撮像範囲Ｐの撮像画像の一例を説明する図である。図２６は、左眼観察形態の場合の撮像範囲Ｐの撮像画像の一例を説明する図である。
制御部３０２は、観察形態を判別するために、図１８で説明した撮像領域Ｐを使って、眼の周辺画像を撮像素子７２により撮像する。例えば、撮像画像は、図５（Ａ）に示した右眼観察形態で使用されるときの撮像画像（以下、第１右眼画像という）を基準としている。このため、図２５に示すように、第１右眼画像６１０Ｒは、正立画像である。図２５に示すように、第１右眼画像６１０Ｒでは、右眼の画像６０１Ｒ３に対して、右眉毛の画像６０２Ｒ３が＋Ｚ方向にある。
一方、図２６に示すように、左眼観察形態で使用されるときの眼の周辺画像（以下、第１左眼画像という）６１０Ｌは、倒立画像である。図２６に示すように、第１左眼画像６１０Ｌでは、左眼の画像６０１Ｌに対して、右眉毛の画像６０２Ｌが−Ｚ方向にある。
【０１３５】
（ステップＳ１０４）図２４に戻って、制御部３０２は、撮像画像に含まれるユーザーの片眼を含む領域の画像から眉毛の画像が抽出可能であるか否かを判別する。眉毛の画像が抽出可能であると判別された場合（ステップＳ１０４；Ｙｅｓ）、ステップＳ１０５に進む。例えば、表示部６０が眼に近い場合、または化粧等によって眉毛の判別が難しい場合など、眉毛の画像を抽出ができないと判別された場合（ステップＳ１０４；Ｎｏ）、ステップＳ１０６に進む。なお、制御部３０２は、例えばパターンマッチングの技術を用いて、眉毛の画像を抽出する。なお、制御部３０２は、撮像画像からユーザーの片眼を含む領域の画像を抽出し、抽出したユーザーの片眼を含む領域の画像から眉毛の画像を抽出するようにしてもよい。
例えば、ユーザーが右眼観察形態で使用している場合、選択領域Ｑ（図１８（Ａ）を参照）に撮像された画像は、図１０に示すような画像になる。一方、ユーザーが左眼観察形態で使用している場合、選択領域Ｒ（図１８（Ｂ）を参照）に撮像された画像は、図２７に示すような画像になる。図２７は、左眼観察形態における撮像画像の一例を説明する図である。なお、図２７では、選択領域Ｒの画像を１８０度回転させて示してある。このため、図２７の−Ｚ側がユーザーの上側、＋Ｚ側がユーザーの下側、−Ｘ側がユーザーの左側、＋Ｘ側がユーザーの右側となる。また、図２７において、符号６０１Ｌ１は、左眼の画像であり、符号６０２Ｌ１は、左眉毛の画像である。
【０１３６】
（ステップＳ１０５）眉毛の画像が撮像画像から抽出可能である場合、制御部３０２は、眉毛の画像と眼の画像との位置や、眉毛の形状から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、撮像画像が、ユーザーの右眼の画像であるか左眼の画像であるかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
例えば、図２５に示したように、眼球の画像に対して眉毛の画像が、＋Ｚ方向にあると判別した場合、制御部３０２は、ユーザーが右眼で表示部６０を観察している右眼観察形態であると判別する。一方、図２６に示したように、眼球の画像に対して眉毛の画像が、−Ｚ方向にあると判別した場合、制御部３０２は、ユーザーが左眼で表示部６０を観察している左眼観察形態であると判別する。
このように、制御部３０２は、例えば、撮像画像に含まれるユーザーの片眼を含む領域の画像から眉毛の画像と眼球（眼）の画像を抽出し、抽出した眉毛の画像と眼球（眼）の画像との位置関係に基づいて、右眼観察形態と左眼観察形態とのうちいずれかであるかを判別する。そして、制御部３０２は、判別した結果に基づいて、表示部６０に表示されている画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。例えば、制御部３０２は、右眼観察形態であると判別した場合、ユーザーは、表示部６０に表示されている画像を右眼で観察していると認識する。なお、眉毛の画像と眼球（眼）の画像との位置関係とは、上述したように、眼球の画像に対して眉毛の画像が＋Ｚ方向にある位置関係、又は眼球の画像に対して眉毛の画像が−Ｚ方向にある位置関係である。
【０１３７】
（ステップＳ１０６）眉毛の画像が撮像画像から抽出可能ではない場合、制御部３０２は、瞬きでの瞼の挙動から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、ユーザーの右眼であるか左眼であるかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
例えば、瞬きは上瞼が動くことから、瞼が図１０において＋Ｚ方向から−Ｚ方向へ移動し、すぐに−Ｚ方向から＋Ｚ方向へ戻った場合、制御部３０２は、ユーザーが右眼で表示部６０を観察している右眼観察形態であると判別する。また、瞼の移動開始方向ならびに戻り方向がこの逆となった場合、制御部３０２は、ユーザーが左眼で表示部６０を観察している左眼観察形態であると判別する。この場合、制御部３０２は、例えば複数のユーザーの片眼を含む領域の画像から各々、上瞼の画像を抽出し、抽出した各々の上瞼の画像に基づいて、表示部６０に表示されている画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。
以上のように、本実施形態によれば、ユーザーが横方向に寝ている様な場合にも、加速度センサー１３２が検出した重力の方向にたよらずに、眉毛や瞼の動きを検出することでユーザーが観察している眼の方向を判別できる。
【０１３８】
（ステップＳ１０７）ステップＳ１０６までの判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合、制御部３０２は、撮像素子７２が撮像した撮像領域Ｐから選択領域Ｑを選択し、ステップＳ１０８へ進む。一方、ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、撮像領域Ｐから選択領域Ｒを選択し、ステップＳ１０８へ進む。
【０１３９】
（ステップＳ１０８）ステップＳ１０６までの判別結果に基づいて、右眼観察形態であると判別された場合、画像切替部３０６は、表示部６０の表示方向を右眼用に設定する。また、ステレオイヤホン１００が接続されている場合、音声調整部３０５は、第１スピーカー１０３を右耳用に、第２スピーカー１０４を左耳用になるようステレオ音声出力の左右を設定する。
一方、左眼観察形態であると判別された場合、画像切替部３０６は、表示部６０の表示方向を左眼用に設定する。なお、左眼用の表示方向とは、右眼用の表示顔面を１８０度回転させて上下反転させる方向である。また、ステレオイヤホン１００が接続されている場合、音声調整部３０５は、第１スピーカー１０３を左耳用に、第２スピーカー１０４を右耳用になるようステレオ音声出力の左右を設定する。
【０１４０】
なお、ステップＳ１０１〜Ｓ１０６において、右眼観察形態であるか否かを、加速度センサー１３２の検出値、撮像画像に基づいて判別する例を説明したが、右眼観察形態であるか否かの判定方法は、これに限られない。
例えば、ＨＭＤ１は、ディスプレイ本体２０に取り付けられている不図示のスイッチ等により検出するようにしてもよい。むろんユーザーが、手動で右眼観察形態または左眼観察形態に設定してもよい。
【０１４１】
なお、図２６では、撮像画像に含まれるユーザーの片眼を含む領域の画像から抽出された眉毛の画像と眼の画像との位置関係、または瞬きに応じた瞼の挙動に基づいて表示部６０の画像を観察している眼を認識する例を説明したがこれに限られない。制御部３０２は、眉毛の画像と眼の画像との位置関係を示す情報と、瞬きでの瞼の挙動との両方の情報に基づいて、表示部６０の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識するようにしてもよい。また、制御部３０２は、ユーザーの片眼を含む領域の画像に基づいて眼の形状から表示部６０の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識してもよい。この場合、制御部３０２は、例えば抽出した眼の画像において、目尻又は目頭が左右どちら側に位置しているかを、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて判別する。そして、制御部３０２は、判別した結果に基づいて表示部６０の画像を観察している眼を認識する。また、制御部３０２は、ユーザーの片眼を含む領域の画像から二重瞼の画像が抽出できた場合、抽出した二重瞼の画像と、瞳の画像との位置関係に基づいて、表示部６０の画像を観察している眼を認識するようにしてもよい。
【０１４２】
次に、「装着ガイドの処理」手順について説明を行う。
図２７は、本実施形態に係るＨＭＤ１の装着ガイドの処理手順のフローチャートである。なお、以下の説明では、表示パネル６３を、ＬＣＤ６３と称する。この処理は、ユーザーがＨＭＤ１を使用、ＬＣＤ６３の表示が行われているときに、適宜この処理を行って、ユーザーにＬＣＤ６３のずれを補正するように注意を促しても良い。あるいは、タッチスイッチ３４等の操作により、位置合わせを行うようユーザーが指示したときに行うようにしてもよい。
【０１４３】
本実施形態では、図１７（Ａ）及び図１７（Ｂ）で説明したように、ユーザーの眼の斜め下に撮像素子７２を備えている表示部６０が配置される。このため、撮像素子７２は、図１６に示したように、ユーザーの眼の周りの画像を斜め下から撮像する。しかしながら、表示部６０と眼との間隔が適切でない場合、及び表示部６０の画面中心と眼の中心とがずれている場合、ユーザーはＬＣＤ６３に表示されている画像を適切に観測できない。このため、本実施形態では、制御部３０２が、撮像素子７２が撮像した画像に基づいて、ユーザーの眼の位置に対して表示部６０の位置がずれていることを検出して、ユーザーにアナウンスする。なお、制御部３０２は、表示部６０の位置に対してユーザーの眼の位置がずれているか否かの判別を、撮像画像から選択した選択領域（画像領域）Ｑ又はＲの画像を用いて行ってもよく、または撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて行ってもよい。以下の説明では、制御部３０２が、撮像画像から選択した選択領域Ｑ又はＲの画像を用いて、表示部６０の位置に対してユーザーの眼の位置がずれているか否かの判別を行う例を説明する。このため、以下の説明において、撮像画像とは、ステップＳ１０７（図２４参照）において選択された選択領域Ｑ又はＲの画像である。
【０１４４】
（ステップＳ２０１）制御部３０２は、例えば、パターンマッチングの技術を用いて、眼の画像を抽出する。制御部３０２は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合（ステップＳ２０１；Ｙｅｓ）、ステップＳ２０２へ進み、ユーザーが左眼観察形態で使用していると判別された場合（ステップＳ２０１；Ｎｏ）、ステップＳ２１４へ進む。
【０１４５】
（ステップＳ２０２）制御部３０２は、撮像画像（例えば、図１０を参照）に基づいて、ユーザーの眼の位置が＋Ｘ方向にずれているか否かの判別を行う。ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合（ステップＳ２０２；Ｙｅｓ）、ステップＳ２０３に進む。ユーザーの眼の位置が＋Ｘ方向にずれていないと判別した場合（ステップＳ２０２；Ｎｏ）、ステップＳ２０４に進む。
【０１４６】
（ステップＳ２０３）ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合、ユーザーの眼に対して表示部６０が、ユーザーの右側にずれていることになる。このため、このような場合、処理部１２３は、ユーザーへ表示部６０をユーザーの左側にずらすように、例えば耳元スピーカー２３からアナウンス（告知）を行う。
【０１４７】
（ステップＳ２０４）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｘ方向にずれているか否かを判別する。ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合（ステップＳ２０４；Ｙｅｓ）、ステップＳ２０５に進む。ユーザーの眼の位置が−Ｘ方向にずれていないと判別された場合（ステップＳ２０４；Ｎｏ）、ステップＳ２０６に進む。
【０１４８】
（ステップＳ２０５）ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの右側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１４９】
（ステップＳ２０６）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が＋Ｚ方向にずれているか否かを判別する。ユーザーの眼が＋Ｚ方向にずれていると判別された場合（ステップＳ２０６；Ｙｅｓ）、ステップＳ２０７に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２０６；Ｎｏ）、ステップＳ２０８に進む。
【０１５０】
（ステップＳ２０７）ユーザーの眼の位置が＋Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの上側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１５１】
（ステップＳ２０８）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｚ方向にずれている否かを判別する。ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合（ステップＳ２０８；Ｙｅｓ）、ステップＳ２０９に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２０８；Ｎｏ）、ステップＳ２１０に進む。
【０１５２】
（ステップＳ２０９）ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの下側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１５３】
（ステップＳ２１０）制御部３０２は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより大きいか否かを判別する。ユーザーの眼の画像が所定の大きさより大きいと判別された場合（ステップＳ２１０；Ｙｅｓ）、ステップＳ２１１に進む。ユーザーの眼の画像が所定の大きさより大きくないと判別された場合（ステップＳ２１０；Ｎｏ）、ステップＳ２１２に進む。例えば、制御部３０２は、眼の画像を抽出し、抽出した画像に基づいて、眼の幅を抽出する。制御部３０２は、抽出した眼の幅が所定の大きさより大きいか否かを判別する。
【０１５４】
（ステップＳ２１１）ユーザーの眼の画像が所定の大きさより大きいと判別された場合、ユーザーの眼が表示部６０に近すぎると推定されるので、処理部１２３は、表示部６０を眼から離すように耳元スピーカー２３からアナウンスを行う。
【０１５５】
（ステップＳ２１２）制御部３０２は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより小さいか否かを判別する。ユーザーの眼の画像が所定の大きさより小さいと判別された場合（ステップＳ２１２；Ｙｅｓ）、ステップＳ２１３に進む。ユーザーの眼の画像が所定の大きさより小さくないと判別された場合（ステップＳ２１２；Ｎｏ）、装着状態の判定処理を終了する。
【０１５６】
（ステップＳ２１３）ユーザーの眼の画像が所定の大きさより小さいと判別された場合、ユーザーの眼が表示部６０から遠すぎると推定されるので、処理部１２３は、表示部６０を眼に近づけるように耳元スピーカー２３からアナウンスを行う。
【０１５７】
（ステップＳ２１４）ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、撮像画像（例えば、図２６を参照）に基づいて、ユーザーの眼の位置が＋Ｘ方向にずれているか否かの判別を行う。ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合（ステップＳ２１４；Ｙｅｓ）、ステップＳ２１５に進む。ユーザーの眼の位置が＋Ｘ方向にずれていないと判別された場合（ステップＳ２１４；Ｎｏ）、ステップＳ２１６に進む。
【０１５８】
（ステップＳ２１５）ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合、ユーザーの眼に対して表示部６０が、ユーザーの左側にずれていることになる。このため、このような場合、処理部１２３は、ユーザーへ表示部６０をユーザーの右側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１５９】
（ステップＳ２１６）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｘ方向にずれているか否かを判別する。ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合（ステップＳ２１６；Ｙｅｓ）、ステップＳ２１７に進む。ユーザーの眼の位置が−Ｘ方向にずれていないと判別された場合（ステップＳ２１６；Ｎｏ）、ステップＳ２１８に進む。
【０１６０】
（ステップＳ２１７）ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの左側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１６１】
（ステップＳ２１８）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が＋Ｚ方向にずれているか否かを判別する。ユーザーの眼の位置が＋Ｚ方向にずれていると判別された場合（ステップＳ２１８；Ｙｅｓ）、ステップＳ２１９に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２１８；Ｎｏ）、ステップＳ２２０に進む。
【０１６２】
（ステップＳ２１９）ユーザーの眼の位置が＋Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの下側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
【０１６３】
（ステップＳ２２０）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｚ方向にずれている否かを判別する。ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合（ステップＳ２２０；Ｙｅｓ）、ステップＳ２２１に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２２０；Ｎｏ）、ステップＳ２１０に進む。
【０１６４】
（ステップＳ２２１）ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの上側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
ステップＳ２２１処理後、処理部１２３は、ステップＳ２１１からＳ２１３を行い、ＨＭＤ１の装着ガイドの処理を終了する。
なお、オーディオコネクター２６にステレオイヤホン１００が接続されている場合、処理部１２３は、接続されているステレオイヤホン１００からアナウンスを行う。
【０１６５】
以上のように、本実施形態の情報入出力装置（ＨＭＤ１）は、画像を表示する表示部（表示部６０、表示パネル６３）と、ユーザーの眼を含む領域の撮像画像を撮像する撮像部（撮像素子７２）と、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて、ユーザーが表示部の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する制御部３０２と、を備える。
この構成により、本実施形態のＨＭＤ１は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて、表示部６０の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。一例として、本実施形態のＨＭＤ１は、ユーザーの片眼を含む領域の画像から抽出した眉毛の画像と眼球（眼）の画像との位置関係に基づいて、ユーザーが表示部６０の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。また、本実施形態のＨＭＤ１は、複数の撮像画像から瞼の画像を抽出し、抽出した瞼の複数の画像に基づいて、表示部６０に表示されている画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。なお、表示部６０の画像とは、表示部６０の表示パネル６３が表示する画像である。
この結果、ユーザーの頭部に装着されたＨＭＤの姿勢に係わらず、ユーザーが表示部６０の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識できるＨＭＤ１を実現できる。また、本実施形態のＨＭＤ１は、表示部６０の画像を観察している眼を判別するために、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよいため、自装置の大型化を抑えることができる。
さらに、本実施形態のＨＭＤ１は、このように表示部６０の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に応じて、表示部６０に表示する画像の表示角度を変更する。この結果、本実施形態のＨＭＤ１によれば、ユーザーは、ユーザーの頭部に装着されたＨＭＤ１の姿勢に係わらず、適切な表示角度で表示部６０に表示されている画像を観察できる。
【０１６６】
また、本実施形態のＨＭＤ１は、まず「左右の眼の検出処理」を行い、その後「左右の眼の検出処理」の判別結果に基づいて「装着ガイドの処理」を行う。
これにより、本実施形態のＨＭＤ１は、「左右の眼の検出処理」により表示部６０の画像を観察している眼が右眼と左眼とのうちいずれであるかを認識しているため、表示部６０を観察するユーザーの眼に対する表示部６０の位置が、右方向と左方向とのうちいずれかにずれているのかを正しく判別できる。または、本実施形態のＨＭＤ１は、表示部６０を観察するユーザーの眼に対する表示部６０の位置が、上方向または下方向のどちらにずれているのかを正しく判別できる。この結果、本実施形態のＨＭＤ１は、表示部６０を観察する前記ユーザーの眼に対する表示部６０の位置のずれが解消される方向に表示部６０の位置を変更（修正）するようにユーザーに適切に告知（アナウンス）できる。ユーザーはこの告知に基づいて、ユーザーの眼に対する表示部６０の位置を適切に調整できる。この結果、本実施形態によれば、ユーザーは、表示部６０に表示されている画像を適切に観察することができる。
【０１６７】
さらに、本実施形態のＨＭＤ１は、「左右の眼の検出処理」の判別結果に基づいて、選択された撮像範囲ＱまたはＲ（図１８参照）の画像を選択する。すなわち、本実施形態のＨＭＤ１は、画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に基づいて、撮像画像から「装着ガイドの処理」に用いるユーザーの眼の領域を含む画像を選択する。そして、本実施形態のＨＭＤ１は、選択された撮像範囲の画像を用いて「装着ガイドの処理」を行う。この結果、本実施形態のＨＭＤ１は、適切に選択された領域の画像に基づいてユーザーに適切に告知することができる。この告知内容は、表示部６０を観察する前記ユーザーの眼に対する表示部６０の位置のずれが解消される方向に表示部６０の位置を変更することを示す情報である。
また、本実施形態のＨＭＤ１は、ユーザーの片眼の領域を含む画像に基づいて「装着ガイドの処理」を行うため、ユーザーの顔全体またはユーザーの両眼の領域を含む画像を撮像しなくてもよい。この結果、本実施形態によれば、自装置の大型化を抑えることができる。
【０１６８】
［第２実施形態］
次に、表示部がシースルー光学系の場合について説明する。
第１実施形態との差異は、表示部６０の構成のみである。
図２８は、本実施形態に係る本実施形態に係る光学系を説明するための表示部６０ａの断面図である。図７と同じ機能の部材には同じ番号を設けてあるので説明は省略する。
【０１６９】
図２８に示すように、本実施形態の表示部６０ａは、バックライト６２、表示パネル６３、第１プリズム６５ａ、第２プリズム６５ｂ、反射ミラー６６、ファインダー開口部６７、結像レンズ７１、撮像素子７２、１／４波長板７５、偏光板９０、凹レンズ９１、１／４波長板９２、液晶９３、偏光板９４、開口部９５を含んで構成されている。図２８において、符号Ｈ、Ｉ、Ｊ、Ｋ、Ｏ、Ｔは、各々、光線を表し、符号Ｓは、ユーザーの眼から出た光束を表す。
【０１７０】
図２８に示すように、ユーザーの前面の景色は、光線Ｏとなって開口部９５に入射する。次に、光線Ｏは、開口部９５を抜けて、偏光板９４を透過する。次に、光線Ｏは、Ｓ偏光のみが透過する。
次に、光線Ｏは、液晶９３に入射する。なお、光線Ｏは、液晶９３の働きにより偏光方向が変わる。すなわち、液晶９３に通電した場合（オン状態）、光線Ｏは、液晶９３に入射したＳ偏光がＰ偏光となって、１／４波長板９２に入射する。次に、光線Ｏは、１／４波長板９２の働きにより左回りの偏光となる。
【０１７１】
本実施形態において反射ミラー６６は、半透過タイプとなっており、例えば、５０％の光線を透過し、５０％の光を反射する。反射ミラー６６が、５０％の光線を透過するとして以下を説明する。この結果、光線Ｏの５０％が、１／４波長板７５に入射する。
なお、凹レンズ９１は、反射ミラー６６を構成する凸レンズとペアとなって、パワーゼロの平行平板となるようにするための部材である。
【０１７２】
次に、光線Ｏは、１／４波長板７５の作用で、Ｐ偏光となり、第１プリズム６５ａに入射する。次に、光線Ｏは、接合面６５ｃをそのまま透過して、第２プリズム６５ｂを透過して偏光板９０に入射する。偏光板９０は、Ｐ偏光を透過するように構成されている。
以上の構成により、ユーザーによって外界の画像（開口部９５を通して見る画像）が、表示パネル６３から投影される画像とともに観察可能となっている。
【０１７３】
次に、外界の画像を消し、表示パネル６３から投影される画像のみを観察する場合について説明する。
図２８において、液晶９３を無通電の状態（オフ状態）にすると、光線Ｏは、液晶９３により光線Ｏの偏光方向が変化されない。このため、光線Ｏは、偏光板９４でＳ偏光となる。次に、光線Ｏは、そのままが１／４波長板９２に入射する。次に、光線Ｏは、１／４波長板の働きにより右回りの偏光となる。
【０１７４】
次に、反射ミラー６６を透過した光線Ｏの５０％が、１／４波長板７５に入射する。次に、光線Ｏは、１／４波長板７５の作用で、Ｓ偏光となる。次に、Ｓ偏光になった光線Ｏは、第１プリズム６５ａに入射する。接合面６５ｃに設けられた偏光反射膜は、Ｓ偏光を反射する。この結果、ユーザーの眼に外界の光線が、入射しない。
【０１７５】
このように、液晶９３のオン状態とオフ状態の切り替えによって、外界の画像をファインダー内に透過して使用者によって観察可能か否かを制御することが可能である。なお、液晶９３のオン状態とオフ状態の切り替えは、例えば処理部１２３が行う。
【０１７６】
図２８において、偏光板９０の働きは、反射ミラー６６によってユーザーが自分の眼を拡大して観察しないように配置している。ユーザーが自分の眼を拡大して観察しない理由について、説明する。
ユーザーの眼から出た光束Ｓは、偏光板９０でＰ偏光のみが透過し、第２プリズム６５ｂ、接合面６５ｃ、第１プリズム６５ａを透過して、１／４波長板７５に入射する。ここで、光線Ｓは、１／４波長板７５の作用により左回りの円偏光となり、反射ミラー６６で光線Ｔとして反射される。次に、光線Ｔは、反射によって右回りの円偏光となり、１／４波長板７５を透過する際にＳ偏光となる。
次に、光線Ｔは、第１プリズム６５ａを透過して接合面６５ｃに入射する。ここで、接合面６５ｃはＳ偏光を反射して透過しない。従って、ユーザーの眼には、自分自身の眼からでた光束が入射することはなく、表示画面中に自分の眼が見えることは無い。
【０１７７】
また、眼の周辺画像を撮影するための結像レンズ７１ならびに撮像素子７２は、ファインダー開口部６７に隣接して設けられている。このため、結像レンズ７１ならびに撮像素子７２系の光線は、第２プリズム６５ｂを透過せずに、直接ユーザーの眼の近傍を撮影可能となっている。
【０１７８】
図２９は、本実施形態に係る観察範囲と撮像範囲を説明する図である。図２９において、符号６７ａは、表示パネル６３から投影された画像の観察範囲を表している。符号６７ｂは、撮像素子７２の撮像範囲を表している。
また、図２９は、図９等と同様に、反射ミラー６６を凸レンズに置き換えて、等価的に表した図である。
【０１７９】
図２９において、結像レンズ７１の焦点距離は、反射ミラー６６の焦点距離より短く作られている。このため、図２８を紙面とは垂直に断面を切り取った場合、図２９で示すように、ユーザーの眼を含むその周囲の様子が撮影可能となっている。
なお、図２９において、結像レンズ７１ならびに撮像素子７２は、反射ミラー６６の光学中心とはオフセットしている。しかしながら、ユーザーは、表示部６０ａを眼の正面ではなく、口元の方向へ下げることでファインダー開口部６７から眼を十分に離すことが可能となっており、図２９に示すようにユーザーの眼は観察距離Ｌ８１の位置にある。このため、ユーザーが表示パネル６３を観察している場合、本実施形態によれば、撮像素子７２は、問題なくユーザーの眼ならびにその周囲を撮影可能となっている。
【０１８０】
第２実施形態のＨＭＤ１は、第１実施形態のＨＭＤ１の場合と同様に、まず「左右の眼の検出処理」を行う。「左右の眼の検出処理」において、本実施形態のＨＭＤ１は、第１実施形態と同様にユーザーの片眼を含む領域の画像に基づいて、表示部６０ａの画像を観察している眼の認識を行う。この結果、ユーザーの頭部に装着されたＨＭＤ１の姿勢に係わらず、ユーザーが表示部６０ａの画像を観察している眼が右眼と左眼とのうちいずれであるかを認識できるＨＭＤ１を実現できる。これにより、本実施形態のＨＭＤ１によれば、ユーザーは、ユーザーの頭部に装着されたＨＭＤ１の姿勢に係わらず、適切な表示角度で表示部６０ａに表示されている画像を観察できる。
【０１８１】
また、第２実施形態のＨＭＤ１は、第１実施形態と同様に、表示部６０ａの画像を観察している眼の認識した結果に基づいて、「装着ガイドの処理」に基づいて告知することができる。この結果、第２実施形態のＨＭＤ１は、第１実施形態と同様に、ユーザーは、表示部６０ａに表示されている画像を適切に観察することができる。
また、本実施形態のＨＭＤ１は、表示部６０ａの画像を観察している眼を認識するため、顔全体または両眼の領域を含む撮像画像の撮像を行わなくてすむ。このため、装置が大型化しない。この結果、本実施形態のＨＭＤ１では、装置が大型化せずに表示部６０ａの画像を観察している眼を認識できるシースルー光学系の表示部６０ａを備えるヘッドマウントディスプレイを提供することができる。
【０１８２】
なお、第１及び第２実施形態では、ヘッドマウントディスプレイの例として、右眼観察形態と左眼観察形態を切り替えて使用できるヘッドマウントディスプレイの例を説明したが、これに限られない。例えば、右眼観察形態専用、または左眼観察形態専用のヘッドマウントディスプレイであってもよい。この場合、本実施形態で説明した処理の内、右眼観察形態、または左眼観察形態に関する処理のみを行うようにしてもよい。
また、第１、及び第２実施形態では、ヘッドマウントディスプレイの例として単眼タイプについて説明したが、ヘッドマウントディスプレイは、両眼タイプでもよい。
【０１８３】
なお、第１及び第２実施形態では、図５のように、眼の下の位置に表示部６０（または表示部６０ａ）を配置する例を説明したが、これに限られない。例えば、表示部６０（または表示部６０ａ）を眼の上（額と眼との間）に配置するようにしてもよい。あるいは、図５（Ａ）の右眼観察形態から、表示部６０（または表示部６０ａ）を時計回り方向に９０度回転させた装着形態で使用してもよく、右眼観察形態から、表示部６０（または表示部６０ａ）を反時計回り方向に９０度回転させたて表示部６０（または表示部６０ａ）を待避させた装着形態で使用してもよい。同様に、図５（Ｂ）に示した左眼観察形態から、表示部６０（または表示部６０ａ）を縦に配置させた装着形態で使用してもよい。
【０１８４】
なお、第１及び第２実施形態において、表示部６０（または表示部６０ａ）の画像を観察している眼を認識する際に、制御部３０２は、バックライト６２を点灯させるようにしてもよい。これにより、さらに撮像画像に含まれるユーザーの眼の領域を含む画像が鮮明になり、「左右の眼の検出処理」における演算処理が削減できる。または、制御部３０２は、バックライト６２を消灯させた撮像画像と、バックライト６２を点灯させた撮像画像の両方を用いて「左右の眼の検出処理」を行うようにしてもよい。この場合、制御部３０２は、撮像画像において、ユーザーの眼を含む領域がより鮮明な方を用いて、「左右の眼の検出処理」を行うようにしてもよい。
【０１８５】
なお、第１及び第２実施形態では、撮像画像の例として、図１０、図１１、図１３、図２４、図２５、及び図２６に示したように、ユーザーの片眼を含む領域が撮像された例を説明したがこれに限られない。撮像画像には、ユーザーの両眼を含む領域が撮像されていてもよく、またはユーザーの両眼のうち、片眼を含む領域のみならず、ユーザーの他の片眼を含む領域が撮像されていてもよい。
この場合、制御部３０２は、撮像画像において占める面積が多い方の眼の画像領域を抽出して、抽出した画像領域をユーザーの片眼を含む領域とする。そして、制御部３０２は、この抽出したユーザーの片眼を含む領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。あるいは、制御部３０２は、撮像画像において眼球の画像が撮像画像の中心により近い方の眼の画像領域を抽出して、抽出した画像領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。
また、制御部３０２は、眉毛の画像を抽出し、抽出した眉毛の画像の近傍にある眼の画像を抽出して、「左右の眼の検出処理」を行う。このように眉毛の画像の近傍にある眼の画像を抽出することで、本発明に係るＨＭＤ１では、ユーザーの片眼を含む領域の画像に、ユーザーの両眼のうち他の片眼の画像又はその眼に対応する眉毛の画像が含まれていても、ユーザーの片眼の画像およびその眼に対応する眉毛の画像を適切に抽出できる。この結果、本発明に係るＨＭＤ１では、ユーザーの片眼を含む領域に基づいて、表示部６０の画像を観察している眼が右眼と左眼とのいずれかであるかを適切に認識できる。
【０１８６】
また、撮像素子７２は、所定の時間間隔で、撮像画像を撮像してもよい。この場合、処理部１２３は、メインスイッチ２８をオフ状態にせずに、ユーザーがヘッドマウントディスプレイを頭部から外しているのか否かを、撮像素子７２が撮像した画像に基づいて判別するようにしてもよい。メインスイッチ２８をオフ状態にせずに、所定の時間以上、ユーザーがヘッドマウントディスプレイを頭部から外していると判別した場合、処理部１２３は、カメラ６４及び撮像素子７２による撮像を、停止させてもよい。さらに、処理部１２３は、省電力状態になるように、各通信回路等を制御するようにしてもよい。なお、これらの制御を行うか否かは、例えば、タッチスイッチ３４を操作することにより、ユーザーが設定してもよい。
または、処理部１２３は、ヘッドマウントディスプレイが頭部から外されているか否かを、例えば、心拍数センサー１３７の検出値に基づいて判別するようにしてもよい。
【０１８７】
なお、第１及び第２実施形態では、ＨＭＤ１は、図２０に示した機能を備える例を説明したが、全ての機能を備えていなくてもよい。用途に応じて、例えば、温湿度センサー１３６、心拍数センサー１３７等を備えなくてもよい。逆に、ＨＭＤ１は、必要に応じて、図２０に示した以外の他の機能部を備えるようにしてもよい。
【０１８８】
なお、第１及び第２実施形態では、ディスプレイ本体２０をヘッドバンド４０に装着して使用する例を説明したが、これに限られない。ユーザーは、ディスプレイ本体２０をヘッドバンド４０に装着せずに、用途に応じて単体で使用してもよい。
【０１８９】
なお、本発明の技術範囲は上記の実施形態に限定されるものではない。上記の実施形態で説明した要件のうち少なくとも１つの要件は、省略される場合がある。上記の実施形態で説明した各要件は、適宜、組み合わせることができる。
【０１９０】
なお、上述のＨＭＤ１は、内部にコンピュータシステム（例えば、処理部１２３）を有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリーやＯＳ、周辺機器等のハードウェアを含むものである。
【０１９１】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０１９２】
１…ヘッドマウントディスプレイ、２０…ディスプレイ本体、２６…オーディオコネクター、３４…タッチスイッチ、６０…表示部、６３…表示パネル（表示部）、６４…カメラ、７２…撮像素子（撮像部）、１００…イヤホン、１０３…第１スピーカー、１０４…第２スピーカー、１２１…デコーダー、１２３…処理部、１３１…ＷｉＦｉ通信回路、１３２…加速度センサー、１３３…地磁気センサー、１３７…心拍数センサー、１３８…３Ｇ／ＬＴＥ通信回路、３０１…入力検出部、３０２…制御部、３０３…記憶部、３０５…音声調整部、３０６…画像切替部、３０７…画像表示部、３０８…送受信部
【図１】
2014021272.tif 000003
【図２】
2014021272.tif 000004
【図３】
2014021272.tif 000005
【図４】
2014021272.tif 000006
【図５】
2014021272.tif 000007
【図６】
2014021272.tif 000008
【図７】
2014021272.tif 000009
【図８】
2014021272.tif 000010
【図９】
2014021272.tif 000011
【図１０】
2014021272.tif 000012
【図１１】
2014021272.tif 000013
【図１２】
2014021272.tif 000014
【図１３】
2014021272.tif 000015
【図１４】
2014021272.tif 000016
【図１５】
2014021272.tif 000017
【図１６】
2014021272.tif 000018
【図１７】
2014021272.tif 000019
【図１８】
2014021272.tif 000020
【図１９】
2014021272.tif 000021
【図２０】
2014021272.tif 000022
【図２１】
2014021272.tif 000023
【図２２】
2014021272.tif 000024
【図２３】
2014021272.tif 000025
【図２４】
2014021272.tif 000026
【図２５】
2014021272.tif 000027
【図２６】
2014021272.tif 000028
【図２７】
2014021272.tif 000029
【図２８】
2014021272.tif 000030
【図２９】
2014021272.tif 000031