(57)【要約】【課題】  正確な瞳位置を検出することができる眼検出装置を提供する。【解決手段】  眼の像を撮影する撮影手段（１）と、撮影手段により得られた撮影画像に基づいて眼内の瞳位置を検出する瞳検出手段（１０）とを有し、瞳検出手段は、複数の状態で撮影手段により得られた撮影画像に基づいて瞳位置を求める。【選択図】  図１
2006105889.tif 000002
【特許請求の範囲】
【請求項１】
眼の像を撮影する撮影手段と、
該撮影手段により得られた撮影画像に基づいて前記眼内の瞳位置を検出する瞳検出手段とを有し、
前記瞳検出手段は、複数の状態で前記撮影手段により得られた撮影画像に基づいて前記瞳位置を求めることを特徴とする眼検出装置。
【請求項２】
前記複数の状態は、前記眼の視線方向が互いに異なる状態を含むことを特徴とする請求項１に記載の眼検出装置。
【請求項３】
前記視線方向を定める指標を表示し、かつ該指標の表示位置を変化させる表示手段を有することを特徴とする請求項２に記載の眼検出装置。
【請求項４】
前記指標の表示位置と該表示位置に対応する前記瞳位置とに基づいて、前記視線方向又は前記眼の注視位置を求める視線検出手段をさらに有することを特徴とする請求項３に記載の眼検出装置。
【請求項５】
前記複数の状態は、前記眼に対する前記撮影手段の位置が撮影光軸方向において互いに異なる状態を含むことを特徴とする請求項１から４のいずれか１つに記載の眼検出装置。
【請求項６】
前記複数の状態は、前記撮影手段の撮影倍率が互いに異なる状態を含むことを特徴とする請求項１から４のいずれか１つに記載の眼検出装置。
【請求項７】
前記複数の状態は、前記眼に対する前記撮影手段の位置が撮影光軸に直交する方向において互いに異なる状態を含むことを特徴とする請求項１から４のいずれか１つに記載の眼検出装置。
【請求項８】
前記瞳検出手段は左右の眼のそれぞれにおける前記瞳位置を求め、
該瞳位置に基づいて前記左右の眼の間隔を求める眼幅検出手段をさらに有することを特徴とする請求項１から７のいずれか１つに記載の眼検出装置。
【請求項９】
請求項１から８のいずれか１つに記載の眼検出装置と、
画像を形成する画像形成素子と、
該画像形成素子からの光を観察者の眼に導く光学系と、
前記眼検出装置からの情報に基づいて前記光学系を前記眼に対して移動させる移動手段とを有することを特徴とする画像表示装置。
【請求項１０】
前記移動手段は、前記瞳位置と前記光学系の射出光軸の位置とが略一致するように前記光学系を移動させることを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
前記移動手段は、前記瞳位置と前記撮影画像中の基準位置との撮影光軸に直交する方向での差を求め、該差に基づいて前記光学系を移動させることを特徴とする請求項９又は１０に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば使用者の頭部に装着されるヘッドマウントディスプレイに搭載され、使用者の瞳位置を検出する眼検出装置に関するものである。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（以下、ＨＭＤと称す）を観察者が装着して映像を観察しようとした場合において、設計された表示光学系の光軸と観察者の視線方向が一致していなければ、映像の中心部を観察することはできても、映像の隅部を観察するために眼球を動かした場合に表示光学系の瞳径から外れてしまうことで映像がケラレたり、迫力のある映像を観察することができなくなるおそれがある。
【０００３】
また、ＨＭＤを、より多くの観察者に適応させようとするためには、表示光学系の瞳径をより大きくする必要があるが、この場合には瞳径を大きくした分だけ表示光学系が大型化してしまう。
【０００４】
ここで、観察者の瞳位置や視線方向を検出する手法として、数個のＩＲ（赤外線）を眼球に照射して、この反射光とプルキニエ像から視線方向を検知する技術等がある（例えば、特許文献１〜３参照）。
【０００５】
この検出方法では、検出するＩＲの反射光が必ず眼球の黒目領域内になければならず、ＨＭＤに対する観察者の眼球位置が限られた狭い範囲内（所定範囲内）にある必要がある。また、視線方向の検出に関して、プルキニエ像を検出できるのは眼球を左右に１５度程度の範囲で動かす必要がある。
【特許文献１】特開平５−６６３４０号公報（段落番号００１０、００１１、図６等）
【特許文献２】特開平６−２７６４５９号公報（段落番号００１０、図２等）
【特許文献３】特開２００１−１４２０２６号公報（段落番号００２６〜００２９）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、観察者は必ずしも定まった位置でＨＭＤを装着するとは限らない。また、ＨＭＤの装着状態において、ＨＭＤに対する観察者の眼球位置が、所定の範囲内にあるとは限らない。したがって、このような場合には、上述した従来の検出方法を用いても、観察者の瞳位置を正確に検出することはできない。
【０００７】
また、最近のＨＭＤは広画角化の傾向にあり、上述した従来の検出方法では検出範囲が制限され、広画角化に対応した検出を行うことができない。
【課題を解決するための手段】
【０００８】
本発明の眼検出装置は、眼の像を撮影する撮影手段と、該撮影手段により得られた撮影画像に基づいて前記眼内の瞳位置を検出する瞳検出手段とを有し、前記瞳検出手段は、複数の状態で前記撮影手段により得られた撮影画像に基づいて前記瞳位置を求めることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の状態での撮影によって得られた撮影画像を用いて瞳位置を求めることで、正確な瞳位置を検出することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施例について説明する。
【実施例１】
【００１１】
本発明の実施例１であるＨＭＤ（画像表示装置）について説明する。図１（Ａ）は、本実施例のＨＭＤの内部構成を側面側から見たときの概略図である。図１（Ｂ）は、上記内部構成を上面側から見たときの概略図である。
【００１２】
本実施例のＨＭＤでは、図１（Ｂ）に示すように、撮像素子の光軸と表示光学系の光軸とが同一面内に位置しており、観察者の瞳位置（視線軸の位置）に対する表示光学系の光軸位置（射出光軸の位置）の水平方向（図１（Ｂ）の左右方向）におけるずれを検知するものである。
【００１３】
１はＣＣＤセンサやＣＭＯＳセンサ等の撮像素子（撮影手段）、２は例えばＬＣＤ、ＬＣＯＳ、ＥＬ又はスキャン系等の画像形成素子（表示手段）、３は画像形成素子２に映像信号を送る駆動回路である。４は画像形成素子２での表示画像を拡大させる表示光学系であり、自由曲面プリズム等で構成されている。
【００１４】
５はＨＭＤを装着して映像を観察する観察者の眼球である。６は撮像素子１に到達する光束の光軸、７は表示光学系４の射出光軸（実線で示す）である。図１（Ｂ）に示すように、撮像素子１の光軸６と表示光学系４の射出光軸７とが同一面内に位置するように、撮像素子１および表示光学系４が配置されている。８は観察者の視線軸である。
【００１５】
１０はＨＭＤでの動作を制御するコントローラ（瞳検出手段）である。１１は第１の駆動ユニットであり、コントローラ１０からの指令を受けて撮像素子１を図１（Ａ）の左右方向（図１（Ｂ）の上下方向）に移動させる。１２は第２の駆動ユニット（移動手段）であり、コントローラ１０からの指令を受けて表示光学系４を図１（Ｂ）の左右方向（水平方向）に移動させる。
【００１６】
上述した構成において、画像形成素子２に形成された画像は、図１（Ａ）に示すように、表示光学系７の第１の面４ａを透過し、第２の面４ｂおよび第３の面４ｃで反射した後、第４の面４ｄから射出する。これにより、画像形成素子２からの光が、観察者の眼球５に導かれる。
【００１７】
人の眼球の黒目領域はφ１０ｍｍ程度が一般的である。本実施例では、図１（Ｂ）に示すように表示光学系４のアイレリーフが２０ｍｍの設計値であるとして、撮像素子１を、表示光学系４の外部であって、表示光学系４の水平方向における中心軸上に配置している。表示光学系４からの距離が２０ｍｍの位置での水平方向の撮影範囲を２０ｍｍに設定すれば、観察者がＨＭＤを装着した際に、観察者の瞳位置が設計値に対して水平方向に±５ｍｍだけずれていても眼球全体を撮像することができる。
【００１８】
本実施例のＨＭＤにおいて、観察者がＨＭＤを装着して、ＨＭＤに設けられた測定開始ボタン（不図示）を操作すると、観察者の眼球５に対して照明光が照射される。そして、眼球５の反射光は撮像素子１に到達するようになっているため、撮像素子１を用いて反射像の撮像動作が行われる。
【００１９】
観察者の眼球５に可視光の照明光を照射すると、観察者に不快感を与えることがあるため、本実施例では、可視領域以外の照明光である赤外光を照射している。
【００２０】
観察者の眼球の撮像動作を行う際には、表示光学系４の射出光軸７と観察者の視線軸８が図１（Ｂ）に示すように略平行になっている必要がある。射出光軸７および視線軸８が略平行になっていなければ、後述するように表示光学系４の射出光軸７の位置（以下、光軸位置と称す）と、検出された観察者の瞳位置とが略一致するように表示光学系４を移動させても、ずれが生じてしまうからである。
【００２１】
上述した測定開始ボタンを押すと、画像形成素子２には、図２に示すように表示領域内の右端ａに十字の指標が映し出される。そして、指標が位置ａから矢印で示す方向に細かい間隔でシフトし、例えば、位置ｂ、ｃの順で指標が表示される。
【００２２】
これにより、観察者に対して指標を眼で追いかけさせるようにしている。そして、観察者が眼で指標を追いかけている間、撮像素子１において眼球像が連続的に（指標の表示位置ごとに）撮像される。なお、動画によって上記指標を表示してもよいし、指標のシフト方向は図２の矢印で示す方向とは逆の方向であってもよい。
【００２３】
図３（Ａ）から図３（Ｃ）には、指標を追っているときの眼球５の状態を示している。
【００２４】
観察者の眼球５が左右方向（水平方向）のどちらか一方向に振られた状態、すなわち、観察者の視線軸８が表示光学系４の射出光軸７に対して略平行ではなく、射出光軸７に対して傾いている状態では、図３（Ａ）に示すように眼球５の黒目領域５ａのうち水平方向（射出光軸７と直交する方向）の距離（幅）がＬａとなる。
【００２５】
一方、観察者の視線軸８が表示光学系４の射出光軸７と略平行な状態では、図３（Ｂ）に示すように眼球５の黒目領域５ａのうち水平方向の距離（幅）がＬｂとなる。
【００２６】
また、眼球５が他方向の振られた状態、すなわち、観察者の視線軸８が表示光学系４の射出光軸７に対して略平行ではなく、射出光軸７に対して傾いている状態では、図３（Ｃ）に示すように、眼球５の黒目領域５ａのうち水平方向の距離（幅）はＬｃとなる。
【００２７】
図３（Ａ）および図３（Ｃ）に示す状態では、視線軸８が射出光軸７に対して傾いているため、距離Ｌａ、Ｌｃは、距離Ｌｂよりも短くなり、図３（Ｂ）に示す状態での距離Ｌｂが最大値となる。
【００２８】
本実施例では、撮像素子１による連続した撮像動作によって得られた複数の画像データから、眼球５が図３（Ｂ）に示す状態、すなわち、眼球５の黒目領域５ａの幅が最も大きくなる状態を特定する。そして、画像形成素子２上に、図３（Ｂ）に示す状態に対応した位置にある指標を再表示させる。表示した指標を観察者に再び観察させることで、観察状態にある眼球５に対して撮像動作を行う。この状態を第１の状態とする。
【００２９】
第１の状態での撮像動作によって得られた画像データから黒目領域５ａの両端を抽出して、この中心位置を瞳位置とする。ここで、瞳位置を検出する分解能は撮像素子１の分解能に依存する。例えば、瞳位置を０．１ｍｍの間隔で検出しようとすれば、上述したように水平方向の撮像範囲を２０ｍｍに設定しているため、撮像素子１の水平方向での分解能が２００（画素）以上あればよい。
【００３０】
本実施例では、撮像素子１の水平方向の分解能が４００であるとする。そして、図４に示すように撮像動作によって得られた画像の中心を原点（基準位置）とし、Ｘ座標を±２００とする。また、Ｘ方向（水平方向）において、原点に対する瞳位置のずれ量をＸａ１とする。
【００３１】
ここで、以下の（１）式から、ずれ量Ｘａ１を求めることができる。
【００３２】
【数１】
2006105889.tif 000003
【００３３】
撮像動作によって得られた眼球像は、観察者の眼球５がアイレリーフの設計値２０ｍｍに対応した位置にあるとしたときの像であるが、観察者が所望のアイレリーフの位置で表示光学系４を観察していない場合もある。この場合には、撮像した眼球像に倍率誤差（撮影倍率の誤差）が含まれていることになり、このときの瞳位置は所定のアイレリーフでの瞳位置に対してずれてしまうことがある。
【００３４】
したがって、上記ずれ（倍率誤差）を補正する必要がある。倍率誤差を補正する方法としては、撮像素子１を移動させることによって、眼球５と撮像素子１との間の距離を、撮像素子１の移動開始前の距離よりも長くする。すなわち、撮像素子１の移動開始前の光路長よりも光路長を長くすることによって撮像範囲を広げる方法がある。また、物理的に撮像素子１を移動させることができない場合には、撮像素子１を移動させたことと同じ光学作用が得られるように撮影倍率を変更してもよい。
【００３５】
以下、図５を用いて、観察状態にある瞳位置の実際のずれ量を求める動作と、該ずれ量に基づいて表示光学系４を駆動する動作について説明する。ここでは、撮像素子１を移動させる場合について説明する。
【００３６】
ステップＳ１において、コントローラ１０は、第１の駆動ユニット１１の駆動を制御することで、撮像素子１を眼球５から遠ざかる方向に所定量（ここでは、１０ｍｍ）だけ移動させる。これにより、表示光学系４から３０ｍｍ離れた位置において、撮像素子１による撮影範囲が４０ｍｍになるように変更される。
【００３７】
ステップＳ２において、コントローラ１０は駆動回路３の駆動を制御することで、画像形成素子２に指標を第１の状態と同じ位置で表示させ、観察者に指標を観察させる。この状態を第２の状態とする。
【００３８】
ステップＳ３では、第２の状態で撮像動作を行う。撮像素子１から読み出された信号はコントローラ１０に出力される。ステップＳ４において、コントローラ１０は、第２の状態での撮像動作によって得られた眼球像から、上記（１）式を用いてずれ量Ｘａ１’を求める。
【００３９】
ステップＳ５では、第１の状態でのずれ量Ｘａ１と第２の状態でのずれ量Ｘａ１’が異なっているか否かを判別する。ここで、ずれ量Ｘａ１、Ｘａ１’が互いに異なっている場合にはステップＳ６に進む。ずれ量Ｘａ１、Ｘａ１’が互いに異なる場合には、倍率誤差が生じていることになる。一方、ずれ量Ｘａ１、Ｘａ１’が異なっていなければ本フローを終了する。
【００４０】
ここで、倍率誤差が生じている場合の眼球５および撮像素子１の位置関係について、図６を用いて説明する。なお、図６では、表示光学系４を省略している。
【００４１】
図６において、Ａは、第１の状態における撮像素子１と眼球５との間の距離を示す。ここで、眼球５は、表示光学系４の設計値に相当する眼球位置にある。本実施例では、距離Ａが、上述したアイレリーフの設計値である２０ｍｍとなっている。
【００４２】
Ｂは、第２の状態における撮像素子１と眼球５との間の距離を示す。ここで、眼球５は、表示光学系４の設計値に相当する眼球位置にある。本実施例では、上述したように撮像素子１を眼球５から１０ｍｍだけ遠ざかる方向に移動させているため、距離Ｂが３０ｍｍとなっている。
【００４３】
Ｃは、表示光学系４の設計値に相当する眼球位置に対する、実際に観察者が映像を観察している眼球位置のずれ量を示す。
【００４４】
以下の（２）式に、既知の値であるＡ、Ｂ、Ｘａ１’、Ｘａ１の値を代入することで、倍率誤差が補正されたずれ量、すなわち、実際の観察状態における瞳位置のずれ量Ｘａ１”を求めることができる。これにより、正確な瞳位置を検出することができる。
【００４５】
【数２】
2006105889.tif 000004
【００４６】
図５のステップＳ６において、コントローラ１０は、ずれ量Ｘａ１”に基づいて第２の駆動ユニット１２の駆動を制御することで、観察者の瞳位置が表示光学系４の光軸位置と略一致するように表示光学系４を移動させる。そして、本フローを終了する。
【００４７】
上述したように、倍率誤差が生じていると判断した場合には、瞳位置の実際のずれ量Ｘａ１”に基づいて表示光学系４を駆動し、表示光学系４の光軸位置と瞳位置とを略一致させることで、観察者に対して画像形成素子２での表示画像をケラレることなく観察させることができる。
【００４８】
また、検出された正確な瞳位置に応じて表示光学系４を移動させるため、表示光学系４の瞳径を大きくする必要はなく、表示光学系４の大型化を抑制することができる。しかも、表示光学系４を備えたＨＭＤの大型化を抑制できるとともに、ＨＭＤの重量が増加するのを抑制できる。
【００４９】
一方、倍率誤差を補正するために、ＨＭＤの構成を以下に説明する構成としてもよい。すなわち、撮像素子１および表示光学系４を一体で移動できるように構成し、第１の状態にある撮像素子１および表示光学系４を水平方向に所定量移動させて、移動後の状態を第２の状態として撮像動作を行ってもよい。
【００５０】
ここで、図４に示す第１の状態から、例えば撮像素子１および表示光学系４を水平方向に３ｍｍだけ移動させて第２の状態とする。そして、第２の状態での撮像動作によって得られた眼球像が図７の状態であるとする。ずれ量Ｘｂ１は、上記（１）式を用いて求めることができる。
【００５１】
このとき、ずれ量Ｘｂ１、Ｘａ１の差が、撮像素子１および表示光学系４の移動量である３ｍｍでなければ、倍率誤差が生じていることになる。
【００５２】
撮像素子１および表示光学系４を水平方向に移動させた場合における撮像素子１および眼球５の位置関係について、図８を用いて説明する。なお、図８では、表示光学系４を省略している。
【００５３】
図８において、Ａは第１の状態における撮像素子１と眼球５との間の距離を示す。ここで、眼球５は、表示光学系４の設計値に相当する眼球位置にある。本実施例では、距離Ａが、上述したアイレリーフの設計値である２０ｍｍとなっている。
【００５４】
Ｃは、表示光学系４の設計値に相当する眼球位置に対する、実際に観察者が映像を観察している眼球位置のずれ量を示す。Ｄは撮像素子１の移動距離を示し、ここでは上述したように３ｍｍとなっている。
【００５５】
以下の（３）式に、既知の値であるＡ、Ｃ、Ｄ、Ｘａ１、Ｘｂ１の値を代入することで、倍率誤差が補正されたずれ量、すなわち、実際の観察状態における瞳位置のずれ量Ｘａ１”を求めることができる。
【００５６】
【数３】
2006105889.tif 000005
【００５７】
そして、ずれ量Ｘａ１”に基づいて、瞳位置が表示光学系４の光軸位置と略一致するように表示光学系４を移動させる。これにより、上述したのと同様に観察者は画像形成素子２での表示画像をケラレることなく観察することができる
なお、本実施例では、瞳位置の水平方向のずれ量を検出する場合について説明したが、本実施例と同様の検出方法を用いることで垂直方向（図１（Ａ）の上下方向）、言い換えれば、ＨＭＤの上下方向における瞳位置のずれを検出することもできる。
【実施例２】
【００５８】
次に、本発明の実施例２であるＨＭＤについて説明する。本実施例のＨＭＤは、観察者の視線方向を検知できるようになっている。
【００５９】
本実施例のＨＭＤの概略構成を図９に示す。図９（Ａ）は本実施例のＨＭＤの内部構成を側面側から見たときの概略図である。図９（Ｂ）は上記内部構成を上面側から見たときの概略図である。これらの図において、実施例１で説明した部材と同じ部材については同一符号を付して説明を省略する。
【００６０】
本実施例では、図９（Ａ）、（Ｂ）に示すように、撮像素子１の光軸６と表示光学系４の射出光軸７とが同一面内に位置し、かつ該面内において略平行となるように、表示光学系４に対して撮像素子１を配置している。
【００６１】
また、撮像素子１および表示光学系４は、駆動ユニット１３によって一体的に移動する構成になっている。駆動ユニット１３は、コントローラ１からの指令を受けて駆動する。
【００６２】
９は記憶回路であり、駆動回路３から画像表示素子２に出力される信号（指標の位置情報）と、撮像素子１の撮像データとを対応させて記憶する。
【００６３】
本実施例においても、実施例１と同様に、表示光学系４のアイレリーフの設計値を２０ｍｍとし、表示光学系４からの距離が２０ｍｍの位置における水平方向の撮像範囲を２０ｍｍとする。
【００６４】
観察者が本実施例のＨＭＤを装着した後に測定開始ボタン（不図示）を押すと、撮像素子１によって観察者の眼球像が撮像される。撮像動作を行う際には、表示光学系４の射出光軸７と観察者の視線軸８が略平行になっている必要がある。射出光軸７および視線軸８が略平行になっていなければ、後述するように表示光学系４の光軸位置を、検出した観察者の瞳位置に合わせてもずれが生じてしまうからである。
【００６５】
測定開始ボタンを押すと、図１０に示すように、画像形成素子２の表示面の右端ａに十字の指標が表示される。この指標は、図１０の矢印で示す方向に細かい間隔でシフトし、例えば、表示位置ｂ、ｃで表示される。指標が表示位置ｃまで移動すると、表示面の上側（図１０の上側）から下側に向かって、表示位置ｄ、ｂ、ｆの順で指標が表示される。
【００６６】
このように指標を表示することで、観察者に眼で指標を追いかけさせる。なお、指標は動画でもよく、表示面の右端から左端や、上端から下端に向かって連続的に指標を移動させることもできる。また、指標の表示順序や表示方向は適宜変更することができる。
【００６７】
観察者が表示された指標を眼で追いかけている間、眼球像を連続的に撮像する。また、図１１に示すように、連続した撮像動作によって得られた複数の眼球像のうち各眼球像の黒目領域５ａのうち水平方向における幅Ｌと、瞳中心を通る水平線ｌ１と画面中心線ｌ２との間の距離（ずれ量）Ｐとを、指標の位置情報に対応させて記憶回路９に記憶させておく。
【００６８】
図１２（Ａ）から図１２（Ｃ）には、指標を追っているときの眼球５の状態を示している。
【００６９】
観察者の眼球５が左右方向（水平方向）のどちらか一方向に振られた状態、すなわち、観察者の視線軸８が表示光学系４の射出光軸７に対して略平行ではなく、射出光軸７に対して傾いている状態では、図１２（Ａ）に示すように眼球５の黒目領域５ａのうち水平方向（射出光軸７と直交する方向）の距離（幅）がＬａとなる。
【００７０】
一方、観察者の視線軸８が表示光学系４の射出光軸７と略平行な状態では、図１２（Ｂ）に示すように眼球５の黒目領域５ａのうち水平方向の距離（幅）がＬｂとなる。
【００７１】
また、眼球５が他方向に振られた状態、すなわち、観察者の視線軸８が表示光学系４の射出光軸７に対して略平行ではなく、射出光軸７に対して傾いている状態では、図１２（Ｃ）に示すように、眼球５の黒目領域５ａのうち水平方向の距離（幅）はＬｃとなる。
【００７２】
図１２（Ａ）および図１２（Ｃ）に示す状態では、視線軸８が射出光軸７に対して傾いているため、距離Ｌａ、Ｌｃは、距離Ｌｂよりも短くなり、図１２（Ｂ）に示す状態での距離Ｌｂが最大値となる。
【００７３】
本実施例では、撮像素子１の連続した撮像動作によって得られた複数の画像データから、眼球５が図１２（Ｂ）に示す状態、すなわち、眼球５の黒目領域５ａの幅が最も大きくなる状態を特定する。そして、画像形成素子２上に、図１２（Ｂ）に示す状態に対応した位置にある指標を再表示させる。表示した指標を観察者に再び観察させることで、観察状態にある眼球５に対して撮像動作を行う。この状態を第１の状態とする。
【００７４】
第１の状態での撮像動作によって得られた画像データから黒目領域５ａの両端を抽出して、この中心位置を瞳位置とする。
【００７５】
また、垂直方向に関して、黒目領域５ａの上下の領域は瞼で隠れることが多く、撮像動作によって得られた黒目領域５ａの曲線の曲率半径から瞼で隠れている領域を補完し、上述した水平方向と同様の検出方法を行う。
【００７６】
垂直方向でのずれ量は水平方向の場合に比べて、ＨＭＤを装着する観察者に応じて個人差が大きくなる。本実施例では、ＨＭＤが観察者の見やすい位置の近傍に装着されているとして、微妙なずれを補正するために、図１１に示すずれ量Ｐに基づいて垂直方向における瞳位置のずれを検出する。
【００７７】
本実施例では、撮像素子１の水平方向の分解能が４００であるとする。そして、図１１に示すように撮像動作によって得られた画像の中心を原点とし、Ｘ座標を±２００とし、Ｙ座標を±２００とする。
【００７８】
ここで、実施例１に示す（１）式を用いることで、図１３に示すようにＸ方向（水平方向）におけるずれ量Ｘａ２と、Ｙ方向（垂直方向）におけるずれ量Ｙａ２を求めることができる。ずれ量Ｘａ２は、画像の中心（Ｘ＝０）に対する瞳位置のＸ方向におけるずれ量であり、ずれ量Ｙａ２は、画像中心（Ｙ＝０）に対する瞳位置のＹ方向におけるずれ量である。
【００７９】
撮像動作によって得られた眼球像は、観察者の眼球５がアイレリーフの設計値２０ｍｍに対応した位置にあるとしたときの像であるが、観察者が所望のアイレリーフの位置で表示光学系４を観察していない場合もある。この場合には、撮像した眼球像に倍率誤差が含まれていることになり、このときの瞳位置は所定のアイレリーフでの瞳位置に対してずれてしまうことがある。
【００８０】
したがって、上記ずれ（倍率誤差）を補正する必要がある。倍率誤差を補正する方法としては、実施例１で説明した方法がある。
【００８１】
本実施例では、撮像素子１を例えば１０ｍｍだけ眼球５から遠ざかる方向に移動させて、表示光学系４から３０ｍｍ離れた位置における撮像範囲が４０ｍｍになるように変更する。そして、画像形成素子２に指標を第１の状態と同じ位置で表示させ、観察者に指標を観察させる。この状態を第２の状態とする。
【００８２】
そして、第２の状態で撮像動作を行う。第２の状態での撮像動作によって得られた眼球像から、実施例１に示す（１）式を用いてずれ量Ｘａ２’を求める。ここで、第１の状態でのずれ量Ｘａ２と第２の状態でのずれ量Ｘａ２’が互いに異なる場合には、倍率誤差が生じていることになる。
【００８３】
このようにずれ量が異なる場合には、実施例１に示す（２）式を用いることで、倍率誤差を補正したずれ量、すなわち、実際の観察状態における瞳位置のずれ量Ｘａ２”を求める。
【００８４】
一方、Ｘ方向に関して倍率誤差が生じている場合には、Ｙ方向に関しても倍率誤差が生じているため、Ｘ方向でのずれ量を求めた場合と同様にして、（１）式および（２）式を用いることで、Ｙ方向に関して倍率誤差を補正したずれ量、すなわち、実際の観察状態における瞳位置のＹ方向でのずれ量Ｙａ２”を求める。
【００８５】
そして、コントローラ１０は、求められたずれ量Ｘａ２”、Ｙａ２”に基づいて駆動ユニット１３の駆動を制御することで、観察者の瞳位置が表示光学系４の光軸位置と略一致するように、表示光学系４（撮像素子１を含む）をＸ方向およびＹ方向に移動させる。これにより、画像形成素子２での表示画像を観察者にケラレることなく観察させることが可能になる。また、表示光学系４を移動させるため、瞳径を大きくするために表示光学系４全体を大型化させる必要はなくなる。
【００８６】
また、本実施例では、観察者の瞳位置を検出する際に観察者が指標を注視して追いかけている眼球像と指標の位置情報を対応付けて記憶回路９に記憶させている。
【００８７】
このデータは表示光学系４が初期状態（第１の状態）にあるときのデータであるため、瞳位置および表示光学系の光軸位置を略一致させるために表示光学系４をＸ方向およびＹ方向に移動させた量に基づいて、上記データを補正する。
【００８８】
そして、瞳位置および表示光学系４の光軸位置を略一致させた後も、連続的に観察者の眼球像を撮像して、図１１に示すように黒目領域５ａの幅Ｌとずれ量Ｐを検出する。コントローラ（視線検出手段）１０は、検出したデータと、上記補正後のデータとを照らし合わせることで、画像形成素子２の表示領域のうち観察者がどの位置を注視しているかを検出することができる。
【００８９】
そして、観察者がＨＭＤを装着するたびに眼球像の撮像を行うことで、記憶回路９内のデータを書き換える。これにより、眼球の大きさなどの個人差による影響を受けることなく注視点又は視線方向を検出することが可能である。
【００９０】
そして、検出した注視点又は視線方向軸が表示光学系４の光軸と略一致するように表示光学系４を移動させる。これにより、画像表示素子２での表示画像がケラレることなく観察者に観察させることができる。
【実施例３】
【００９１】
次に、本発明の実施例３であるＨＭＤについて説明する。本実施例のＨＭＤでは、観察者の両眼それぞれに対応させて画像表示素子や表示光学系等が設けられており、観察者の眼幅を検出できるようになっている。
【００９２】
図１４（Ａ）は、本実施例のＨＭＤの内部構成を側面側から見たときの概略図である。図１４（Ｂ）は、上記内部構成を上面側から見たときの概略図である。これらの図において、実施例１、２で説明した部材と同じ部材については同一符号を用い、詳細な説明は省略する。
【００９３】
ここで、撮像素子１は表示光学系４に対して、撮像素子１の光軸６と表示光学系４の射出光軸７とが同一面内に位置するように配置されている。なお、上記構成に加えて、実施例２と同様に、光軸６と射出光軸７とが上記面内において略平行となるように、撮像素子１および表示光学系４を配置してもよい。
【００９４】
本実施例では、左右の眼に対応した各画像形成素子２の駆動を１つの駆動回路３で行っているが、画像形成素子毎に駆動回路を設けてもよい。
【００９５】
人の眼幅は５５ｍｍから７５ｍｍ程度の幅であり、一般的には６５ｍｍ程度が最も多いと言われている。また、眼球の黒目領域はφ１０ｍｍ程度が一般的である。
【００９６】
従って、例えば左右の眼幅を６５ｍｍとしておき、表示光学系４のアイレリーフの設計値を２０ｍｍとし、各撮像素子１を各表示光学系４の水平方向における中心軸上に配置する場合、表示光学系４からの距離が２０ｍｍの位置における水平方向の撮像範囲を３０ｍｍに設定すれば、ＨＭＤを装着した観察者の瞳位置が設計値に対して水平方向に±１０ｍｍだけずれていても眼球全体を撮像することができる。
【００９７】
観察者が本実施例のＨＭＤを装着して、ＨＭＤに設けられた測定開始ボタン（不図示）を操作すると、観察者の眼球５に照明光が照射され、反射光が撮像素子１に到達することで、撮像素子１において撮像動作が行われる。
【００９８】
ここで、観察者の眼球５に可視光の照明光を照射すると、観察者に不快感を与えることがあるため、本実施例では、可視領域以外の照明光である赤外光を照射している。
【００９９】
瞳位置を検出する場合において、無限遠を観察した状態の瞳位置でなければ左右の眼球に輻輳がついており、左右の瞳位置の間隔から算出する観察者の眼幅も誤差を含んだ値になる。また、後述するように、検出した観察者の瞳位置に表示光学系４の光軸位置を合わせても、表示光学系４の射出光軸７および観察者の視線軸８がずれている可能性がある。
【０１００】
本実施例のＨＭＤにおいて、観察者が測定開始ボタンを押すと、左眼用および右眼用の画像形成素子２には、図１５に示すように、十字の指標が表示領域内の右端ａに表示される。この指標は、図１５の矢印で示す方向に向かって細かな間隔でシフトし、表示位置ｂ、ｃの順に表示される。これにより、観察者に指標を眼で追いかけさせるようにしている。
【０１０１】
なお、動画表示によって指標を連続的に移動させることもできるし、指標のシフト方向を適宜設定することもできる。
【０１０２】
本実施例では、指標を移動させている間に、眼球像を連続的に撮像する。
【０１０３】
図１６（Ａ）から図１６（Ｃ）には、指標を追っているときの右眼の眼球５の状態を示している。
【０１０４】
観察者の眼球５が無限遠方向ではなく左右方向のどちらか一方向に振られた状態、すなわち、観察者の視線軸８が表示光学系４の射出光軸７に対して略平行ではなく、射出光軸７に対して傾いている状態では、図１６（Ａ）に示すように眼球５の黒目領域５ａのうち水平方向（射出光軸７と直交する方向）の距離（幅）がＬａとなる。
【０１０５】
一方、観察者が無限遠方向を観察しており、観察者の視線軸８が表示光学系４の射出光軸７と略平行な状態では、図１６（Ｂ）に示すように眼球５の黒目領域５ａのうち水平方向の距離（幅）がＬｂとなる。
【０１０６】
また、眼球５が他方向に振られた状態、すなわち、観察者の視線軸８が表示光学系４の射出光軸７に対して略平行ではなく、射出光軸７に対して傾いている状態では、図１６（Ｃ）に示すように、眼球５の黒目領域５ａのうち水平方向の距離（幅）はＬｃとなる。
【０１０７】
図１６（Ａ）、（Ｃ）に示す状態では、視線軸８が射出光軸７に対して傾いているため、距離Ｌａ、Ｌｃは、距離Ｌｂよりも短くなり、図１６（Ｂ）に示す状態での距離Ｌｂが最大値となる。
【０１０８】
本実施例では、撮像素子１の連続した撮像動作によって得られた複数の画像データから、眼球５が図１６（Ｂ）に示す状態、すなわち、眼球５の黒目領域５ａの幅が最も大きくなる状態を特定する。そして、画像形成素子２上に、図１６（Ｂ）に示す状態（無限遠での観察状態）に対応した位置にある指標を再表示させる。表示した指標を観察者に再び観察させることで、観察状態にある眼球５に対して撮像動作を行う。この状態を第１の状態とする。
【０１０９】
第１の状態での撮像動作によって得られた画像データ（眼球像）から黒目領域５ａの両端を抽出して、この中心位置を瞳位置とする。
【０１１０】
ここで、瞳位置を検出する分解能は撮像素子１の分解能に依存する。例えば、瞳位置を０．１ｍｍの間隔で検出しようとすれば、上述したように水平方向の撮像範囲を３０ｍｍに設定しているため、撮像素子１の水平方向での分解能が３００（画素）以上あればよい。
【０１１１】
本実施例では、撮像素子１の水平方向の分解能が６００であるとする。そして、図１７に示すように撮像動作によって得られた画像の中心を原点とし、Ｘ座標を±３００とする。また、Ｘ方向（水平方向）において、原点に対する右眼の瞳位置のずれ量をＸｃ１とする。また、Ｘ方向において、原点に対する左眼の瞳位置のずれ量をＸｄ１とする。
【０１１２】
ずれ量Ｘｃ１、Ｘｄ１は、実施例１に示す（１）式を用いて求めることができる。
【０１１３】
撮像動作によって得られた眼球像は、観察者の眼球５がアイレリーフの設計値２０ｍｍに対応した位置にあるとしたときの像であるが、観察者が所望のアイレリーフの位置で表示光学系４を観察していない場合もある。この場合には、撮像した眼球像に倍率誤差が含まれていることになり、このときの瞳位置は所定のアイレリーフでの瞳位置に対してずれてしまうことがある。
【０１１４】
したがって、上記ずれ（倍率誤差）を補正する必要がある。倍率誤差を補正する方法としては、撮像素子１を移動させることによって、眼球５と撮像素子１との間の距離を、撮像素子１の移動開始前の距離よりも長くする。すなわち、撮像素子１の移動開始前の光路長よりも光路長を長くすることによって撮像範囲を広げる方法がある。また、物理的に撮像素子１を移動させることができない場合には、撮像素子１を移動させたことと同じ光学作用が得られるように撮影倍率を変更してもよい。
【０１１５】
本実施例では、撮像素子１を例えば１０ｍｍだけ眼球５から遠ざかる方向に移動させて、表示光学系４から３０ｍｍ離れた位置における撮像範囲が４０ｍｍになるように変更する。そして、画像形成素子２に指標を第１の状態と同じ位置で表示させ、観察者に指標を観察させる。この状態を第２の状態とする。
【０１１６】
そして、第２の状態で撮像動作を行う。第２の状態での撮像動作によって得られた右眼および左眼の眼球像から、実施例１に示す（１）式を用いてずれ量Ｘｃ１’、Ｘｄ１’を求める。ここで、第１の状態でのずれ量Ｘｃ１、Ｘｄ１と第２の状態でのずれ量Ｘｃ１’、Ｘｄ１’が互いに異なる場合には、倍率誤差が生じていることになる。
【０１１７】
このように倍率誤差が生じている場合には、実施例１に示す（２）式を用いることで、実際の観察状態でのずれ量Ｘｃ１”、Ｘｄ１”、すなわち、倍率誤差を補正したずれ量を求める。
【０１１８】
一方、倍率誤差を補正するために、以下に説明する構成としてもよい。すなわち、実施例２と同様に、撮像素子１および表示光学系４を一体で移動できるように構成し、第１の状態にある撮像素子１および表示光学系４を水平方向に所定量移動させて、移動後の状態を第２の状態として撮像動作を行ってもよい。
【０１１９】
例えば、図１７に示す状態にある左眼用および右眼用の表示光学系４それぞれを、該中心位置から外側に１．５ｍｍずつ移動させて、眼幅を６８ｍｍに変更した後に撮像した眼球像が図１８の状態であるとする。このとき、実施例１に示す（１）式を用いて算出したずれ量Ｘｅ１およびずれ量Ｘｃ１の差が１．５ｍｍでなかったり、ずれ量Ｘｆ１およびずれ量Ｘｄ１の差が１．５ｍｍでなかったりした場合には、倍率誤差が生じていることになる。
【０１２０】
このように倍率誤差が生じている場合には、コントローラ（眼幅検出手段）１０は、実施例１に示す（３）式を用いることで、倍率誤差が補正されたずれ量、すなわち、実際の観察状態での瞳位置のずれ量を求めることができる。これにより、正確な瞳位置（眼幅）を検出することができる。
【０１２１】
第１の状態では、左眼用および右眼用の表示光学系４の間隔を６５ｍｍとして測定を行っているため、ずれ量Ｘｃ１”、Ｘｄ１”から観察者の眼幅を算出することができる。また、表示光学系４を移動させた後の第２の状態では、表示光学系４の間隔が６８ｍｍであるため、実施例１に示す（３）式を用いてずれ量Ｘｅ１”、Ｘｆ１”を算出することで眼幅を求めることもできる。
【０１２２】
倍率誤差を補正することによって、左眼および右眼のそれぞれにおいて、観察者の瞳位置に対する表示光学系４の射出光軸７の正確なずれ量を検出することができる。そして、検出したずれ量に基づいて、各瞳位置と各表示光学系４の光軸位置とが略一致するように、各表示光学系４（又は表示光学系および撮像素子）を移動させることで、観察者は画像形成素子２での表示画像をケラレることなく観察することができる。
【実施例４】
【０１２３】
次に、本発明の実施例４であるＨＭＤについて説明する。本実施例のＨＭＤは、観察者の両眼それぞれに対応させて画像表示素子や表示光学系が設けられており、観察者の注視点方向（視線方向）を検知できるものである。
【０１２４】
図１９（Ａ）は、本実施例のＨＭＤの内部構成を側面側から見たときの概略図である。図１９（Ｂ）は、上記内部構成を上面側から見たときの概略図である。これらの図において、実施例１や実施例２で説明した部材と同じ部材については同一符号を用い、詳細な説明は省略する。
【０１２５】
撮像素子１は表示光学系４に対して、撮像素子１の光軸６と表示光学系４の射出光軸７とが同一面内に位置し、かつ該面内において略平行となるように、配置されている。また、撮像素子１および表示光学系４は、駆動ユニット１３によって一体となって移動可能となっている。
【０１２６】
本実施例において、記憶回路９には、駆動回路３から画像表示素子２に出力される信号（指標の位置情報）と、撮像素子１の撮像データとが対応して記憶されている。
【０１２７】
ここで、左右の眼幅を６５ｍｍとしておき、表示光学系３のアイレリーフの設計値を２０ｍｍとし、各撮像素子１を各表示光学系４の左右方向における中心軸上に配置する場合には、表示光学系３からの距離が２０ｍｍの位置における水平方向の撮像範囲を３０ｍｍに設定しておく。
【０１２８】
本実施例では、左眼および右眼に対応した各画像形成素子２を１つの駆動回路３で駆動している。また、１つの記憶回路９が設けられている。なお、画像形成素子毎に駆動回路３や記憶回路９を設けてもよい。
【０１２９】
瞳位置を検出する場合、無限遠を観察した状態の瞳位置でなければ左右の眼球に輻輳がついており、左右の瞳位置の間隔から算出する観察者の眼幅も誤差を含んだ値になる。また、後述するように、検出した観察者の瞳位置に表示光学系４の光軸位置を合わせても表示光学系４の射出光軸７と観察者の視線軸８がずれてしまう可能性がある。
【０１３０】
観察者が本実施例のＨＭＤを装着した後に、ＨＭＤに設けられた測定開始ボタン（不図示）を操作すると、左眼用および右眼用の各画像形成素子２には、図２０に示すように表示画面の右端ａに十字の指標が表示される。この指標は、矢印で示す方向に細かい間隔でシフトし、表示位置ｂ、ｃの順に表示される。また、表示位置ｃまで指標が移動した後は、表示位置ｄで指標が表示され、表示位置ｄ、ｂ、ｆの順に表示される。
【０１３１】
このように指標の位置をシフトさせることで、観察者に指標を眼で追いかけさせる。なお、動画表示によって指標を連続的に移動させることもできるし、指標の移動方向を適宜設定することもできる。
【０１３２】
観察者が表示された指標を眼で追いかけている間、眼球像を連続的に撮像する。また、連続した撮像動作によって得られた複数の眼球像のうち各眼球像の黒目領域のうち水平方向における幅Ｌと、瞳中心を通る水平線ｌ１と画面中心線ｌ２との間の距離（ずれ量）Ｐと（図２１参照）を、指標の位置情報に対応させて記憶回路９に記憶させておく。
【０１３３】
図２２（Ａ）から図２２（Ｃ）には、指標を追っているときの右眼の眼球５の状態を示している。
【０１３４】
観察者の眼球５が無限遠方向ではなく左右方向のどちらか一方向に振られた状態、すなわち、観察者の視線軸８が表示光学系４の射出光軸７に対して略平行ではなく、射出光軸７に対して傾いている状態では、図２２（Ａ）に示すように眼球５の黒目領域のうち水平方向（射出光軸７と直交する方向）の距離（幅）がＬａとなる。
【０１３５】
一方、観察者が無限遠方向を観察しており、観察者の視線軸８が表示光学系４の射出光軸７と略平行な状態では、図２２（Ｂ）に示すように眼球５の黒目領域のうち水平方向の距離（幅）がＬｂとなる。
【０１３６】
また、眼球５が他方向に振られた状態、すなわち、観察者の視線軸８が表示光学系４の射出光軸７に対して略平行ではなく、射出光軸７に対して傾いている状態では、図２２（Ｃ）に示すように、眼球５の黒目領域のうち水平方向の距離（幅）はＬｃとなる。
【０１３７】
図２２（Ａ）および図２２（Ｃ）に示す状態では、視線軸８が射出光軸７に対して傾いているため、距離Ｌａ、Ｌｃは、距離Ｌｂよりも短くなり、図２２（Ｂ）に示す状態での距離Ｌｂが最大値となる。
【０１３８】
本実施例では、撮像素子１の連続した撮像動作によって得られた複数の画像データから、眼球５が図２２（Ｂ）に示す状態、すなわち、眼球５の黒目領域の幅が最も大きくなる状態を特定する。そして、画像形成素子２上に、図２２（Ｂ）に示す状態（無限遠での観察状態）に対応した位置にある指標を再表示させる。表示した指標を観察者に再び観察させることで、観察状態にある眼球５に対して撮像動作を行う。この状態を第１の状態とする。
【０１３９】
第１の状態での撮像動作によって得られた画像データから黒目領域の両端を抽出して、この中心位置を瞳位置とする。
【０１４０】
また、垂直方向に関して、黒目領域の上下の領域は瞼で隠れることが多く、撮像動作によって得られた黒目領域の曲線の曲率半径から瞼で隠れている領域を補完し、上述した水平方向と同様の検出方法を行う。
【０１４１】
垂直方向でのずれ量は水平方向の場合に比べて、ＨＭＤを装着する観察者に応じて個人差が大きくなる。本実施例では、ＨＭＤが観察者の見やすい位置の近傍に装着されているとして、微妙なずれを補正するために、図２１に示すずれ量Ｐに基づいて垂直方向における瞳位置のずれを検出する。
【０１４２】
ここで、瞳位置を検出する分解能は撮像素子１の分解能に依存する。例えば、瞳位置を０．１ｍｍの間隔で検出しようとすれば、上述したように水平方向の撮像範囲を３０ｍｍに設定しているため、撮像素子１の水平方向での分解能が３００（画素）以上あればよい。また、垂直方向に関しても同様である。
【０１４３】
本実施例では、撮像素子１の水平方向の分解能が６００であるとする。そして、図２３に示すように撮像動作によって得られた画像の中心を原点とし、Ｘ座標を±３００とし、Ｙ座標を±２００とする。
【０１４４】
ここで、実施例１に示す（１）式を用いることで、図２３に示すように、右眼におけるＸ方向（水平方向）のずれ量Ｘｃ２およびＹ方向（垂直方向）のずれ量Ｙｃ２を求めることができる。ずれ量Ｘｃ２は、画像の中心（Ｘ＝０）に対する右眼の瞳位置のＸ方向におけるずれ量であり、ずれ量Ｙｃ２は、画像中心（Ｙ＝０）に対する右眼の瞳位置のＹ方向におけるずれ量である。
【０１４５】
同様に、実施例１に示す（１）式を用いることで、図２３に示すように、右眼におけるＸ方向（水平方向）のずれ量Ｘｄ２およびＹ方向（垂直方向）のずれ量Ｙｄ２を求めることができる。ずれ量Ｘｄ２は、画像の中心（Ｘ＝０）に対する右眼の瞳位置のＸ方向におけるずれ量であり、ずれ量Ｙｄ２は、画像中心（Ｙ＝０）に対する右眼の瞳位置のＹ方向におけるずれ量である。
【０１４６】
撮像動作によって得られた眼球像は、観察者の眼球５がアイレリーフの設計値２０ｍｍに対応した位置にあるとしたときの像であるが、観察者が所望のアイレリーフの位置で表示光学系４を観察していない場合もある。この場合には、撮像した眼球像に倍率誤差が含まれていることになり、このときの瞳位置は所定のアイレリーフでの瞳位置に対してずれてしまうことがある。
【０１４７】
したがって、上記ずれ（倍率誤差）を補正する必要がある。倍率誤差を補正する方法としては、撮像素子１を移動させることによって、眼球５と撮像素子１との間の距離を、撮像素子１の移動開始前の距離よりも長くする。すなわち、撮像素子１の移動開始前の光路長よりも光路長を長くすることによって撮像範囲を広げる方法がある。また、物理的に撮像素子１を移動させることができない場合には、撮像素子１を移動させたことと同じ光学作用が得られるように撮影倍率を変更してもよい。
【０１４８】
本実施例では、撮像素子１を例えば１０ｍｍだけ眼球５から遠ざかる方向に移動させて、表示光学系４から３０ｍｍ離れた位置における撮像範囲が４０ｍｍになるように変更する。そして、画像形成素子２に指標を第１の状態と同じ位置で表示させ、観察者に指標を観察させる。この状態を第２の状態とする。
【０１４９】
そして、第２の状態で撮像動作を行う。第２の状態での撮像動作によって得られた右眼および左眼の眼球像から、実施例１に示す（１）式を用いてずれ量Ｘｃ２’、Ｘｄ２’を求める。ここで、第１の状態でのずれ量Ｘｃ２、Ｘｄ２と第２の状態でのずれ量Ｘｃ２’、Ｘｄ２’が互いに異なる場合には、倍率誤差が生じていることになる。
【０１５０】
このように倍率誤差が生じている場合には、実施例１に示す（２）式を用いることで、実際の観察状態でのずれ量Ｘｃ２”、Ｘｄ２”、すなわち、倍率誤差を補正したずれ量を求める。第１の状態では、左眼用および右眼用の表示光学系４の間隔を６５ｍｍとして測定を行っているため、ずれ量Ｘｃ２”、Ｘｄ２”から観察者の眼幅を算出することができる。
【０１５１】
一方、Ｘ方向に関して倍率誤差が生じている場合には、Ｙ方向に関しても倍率誤差が生じているため、Ｘ方向でのずれ量を求めた場合と同様にして、（１）式および（２）式を用いることで、Ｙ方向に関して倍率誤差を補正したずれ量、すなわち、実際の観察状態における瞳位置のＹ方向でのずれ量Ｙｃ２”、Ｙｄ２”を求める。
【０１５２】
倍率誤差を補正することによって、左眼および右眼のそれぞれにおいて、観察者の瞳位置に対する表示光学系４の射出光軸７の正確なずれ量を検出することができる。そして、検出したずれ量Ｘｃ２”、Ｙｃ２”やずれ量Ｘｄ２”、Ｙｄ２”に基づいて、各瞳位置と各表示光学系４の光軸位置とが略一致するように、各表示光学系４（又は表示光学系および撮像素子）をＸ方向およびＹ方向に移動させることで、観察者は画像形成素子２での表示画像をケラレることなく観察することができる。
【０１５３】
また、本実施例では、観察者の瞳位置を検出する際に観察者が指標を注視して追いかけている眼球像と指標の位置情報を対応付けて記憶回路９に記憶させている。
【０１５４】
このデータは表示光学系４が初期状態（第１の状態）にあるときのデータであるため、瞳位置および表示光学系の光軸位置を略一致させるために表示光学系４をＸ方向およびＹ方向に移動させた量に基づいて、上記データを補正する。
【０１５５】
そして、瞳位置および表示光学系４の光軸位置を略一致させた後も、連続的に観察者の眼球像を撮像して、図２１に示すように黒目領域５ａの幅Ｌとずれ量Ｐを検出する。この検出したデータと、上記補正後のデータとを照らし合わせることで、画像形成素子２の表示領域のうち観察者の左眼および右眼がどの位置を注視しているかを検出することができる。これにより、観察者の注視点を検出することができる。
【０１５６】
そして、観察者がＨＭＤを装着するたびに眼球像の撮像を行うことで、記憶回路９内のデータを書き換える。これにより、眼球の大きさなどの個人差による影響を受けることなく注視点又は視線方向を検出することが可能である。
【０１５７】
そして、検出した注視点又は視線方向軸が表示光学系４の光軸と略一致するように表示光学系４を移動させる。これにより、画像表示素子２での表示画像がケラレることなく観察者に観察させることができる。
【０１５８】
なお、本発明は、ＨＭＤを用いたＭＲ(Mixed Reality)技術に適用することができる。すなわち、現実空間をミラー部材を介して直接見て仮想空間と重ねる機能、又は現実空間をビデオカメラで撮影して仮想空間と合成して表示する機能を備えたＨＭＤに適用することができる。
【図面の簡単な説明】
【０１５９】
【図１】本発明の実施例１であるＨＭＤの概略構成を示す側面図（Ａ）および上面図（Ｂ）である。
【図２】実施例１のＨＭＤにおける指標の表示状態を説明する図である。
【図３】実施例１における眼球の観察状態を示す図（Ａ〜Ｃ）である。
【図４】実施例１において、瞳位置のずれ量を示す図である。
【図５】実施例１における表示光学系の駆動動作を示すフローチャートである。
【図６】実施例１において、倍率誤差が生じたときの瞳位置のずれ量を説明する図である。
【図７】実施例１において、撮像素子を移動させた後の瞳位置のずれ量を示す図である。
【図８】実施例１において、倍率誤差が生じたときの瞳位置のずれ量を説明する図である。
【図９】本発明の実施例２であるＨＭＤの概略構成を示す側面図（Ａ）および上面図（Ｂ）である。
【図１０】実施例２のＨＭＤにおける指標の表示状態を説明する図である。
【図１１】実施例２において、瞳位置のずれ量を示す図である。
【図１２】実施例２における眼球の観察状態を示す図（Ａ〜Ｃ）である。
【図１３】実施例２において、瞳位置のずれ量を示す図である。
【図１４】本発明の実施例３であるＨＭＤの概略構成を示す側面図（Ａ）および上面図（Ｂ）である。
【図１５】実施例３のＨＭＤにおける指標の表示状態を説明する図である。
【図１６】実施例３における眼球の観察状態を示す図（Ａ〜Ｃ）である。
【図１７】実施例３において、瞳位置のずれ量を示す図である。
【図１８】実施例３において、瞳位置のずれ量を示す図である。
【図１９】本発明の実施例４であるＨＭＤの概略構成を示す側面図（Ａ）および上面図（Ｂ）である。
【図２０】実施例４のＨＭＤにおける指標の表示状態を説明する図である。
【図２１】実施例４において、瞳位置のずれ量を説明する図である。
【図２２】実施例４における眼球の観察状態を示す図（Ａ〜Ｃ）である。
【図２３】実施例４において、瞳位置のずれ量を示す図である。
【符号の説明】
【０１６０】
１  撮像素子（撮影手段）
２  画像形成素子
３  駆動回路
４  表示光学系
５  観察者の眼球
６  撮像素子の光軸
７  表示光学系の光軸
８  観察者の視線軸
９  記憶回路
【図１】
2006105889.tif 000006
【図２】
2006105889.tif 000007
【図３】
2006105889.tif 000008
【図４】
2006105889.tif 000009
【図５】
2006105889.tif 000010
【図６】
2006105889.tif 000011
【図７】
2006105889.tif 000012
【図８】
2006105889.tif 000013
【図９】
2006105889.tif 000014
【図１０】
2006105889.tif 000015
【図１１】
2006105889.tif 000016
【図１２】
2006105889.tif 000017
【図１３】
2006105889.tif 000018
【図１４】
2006105889.tif 000019
【図１５】
2006105889.tif 000020
【図１６】
2006105889.tif 000021
【図１７】
2006105889.tif 000022
【図１８】
2006105889.tif 000023
【図１９】
2006105889.tif 000024
【図２０】
2006105889.tif 000025
【図２１】
2006105889.tif 000026
【図２２】
2006105889.tif 000027
【図２３】
2006105889.tif 000028