(57)【要約】【課題】ユーザーの視界内に重畳される映像の視認性をより向上させることができる表示装置を提供する。【解決手段】ユーザーの視界内に映像を重ねて表示する表示手段と、ユーザーの眼で反射された光による反射像を撮像する撮像手段と、撮像手段により撮像された反射像に基づいてユーザーの視線方向および焦点距離を検出する検出手段と、検出手段により検出された視線方向および焦点距離に基づいて、ユーザーの視界内における外界の注視点を算出する注視点算出手段と、注視点算出手段により算出された注視点と、検出手段により検出された視線方向とに基づいて、表示手段によりユーザーの視界内に表示される映像の位置および映像面の向きを補正する映像補正手段と、を有する。【選択図】図７
2016208062.tif 000002
【特許請求の範囲】
【請求項１】
外界を見るユーザーの視界内に映像を重ねて表示する表示手段と、
ユーザーの眼で反射された光による反射像を撮像する撮像手段と、
前記撮像手段により撮像された前記反射像に基づいてユーザーの視線方向および焦点距離を検出する検出手段と、
前記検出手段により検出された前記視線方向および前記焦点距離に基づいて、ユーザーの視界内における外界の注視点を算出する注視点算出手段と、
前記注視点算出手段により算出された前記注視点と、前記検出手段により検出された前記視線方向とに基づいて、前記表示手段によりユーザーの視界内に表示される前記映像の位置および映像面の向きを補正する映像補正手段と、
を有することを特徴とする表示装置。
【請求項２】
前記映像補正手段は、前記映像を、前記注視点算出手段により算出された前記注視点の位置に、前記検出手段により検出された前記視線方向に対して前記映像の映像面が垂直に表示されるように補正することを特徴とする請求項１に記載の表示装置。
【請求項３】
ユーザーの眼に赤外光を照射する光照射手段をさらに有し、
前記検出手段は、前記光照射手段により前記眼に照射された前記赤外光の反射光による前記反射像に基づいて前記視線方向および焦点距離を検出することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記撮像手段により撮像された前記反射像に基づいてユーザーごとに予め計測された眼の水晶体の厚さと前記焦点距離との関係を保存する保存手段をさらに有し、
前記検出手段は、前記撮像手段により撮像された前記反射像に基づいて前記水晶体の厚さを計測し、計測された前記水晶体の厚さと、前記保存手段に保存されたユーザーごとに予め計測された前記水晶体の厚さと前記焦点距離との関係とに基づいて、前記焦点距離を検出することを特徴とする請求項１〜３のいずれか一項に記載の表示装置。
【請求項５】
外界を見るユーザーの視界内に映像を重ねて表示する段階（ａ）と、
ユーザーの眼で反射された光による反射像を撮像する段階（ｂ）と、
前記段階（ｂ）において撮像された前記反射像に基づいてユーザーの視線方向および焦点距離を検出する段階（ｃ）と、
前記段階（ｃ）において検出された前記視線方向および前記焦点距離に基づいて、ユーザーの視界内における外界の注視点を算出する段階（ｄ）と、
前記段階（ｄ）において算出された前記注視点と、前記段階（ｃ）において検出された前記視線方向とに基づいて、前記段階（ａ）においてユーザーの視界内に表示される前記映像の位置および映像面の向きを補正する段階（ｅ）と、
を有することを特徴とする表示方法。
【請求項６】
前記段階（ｅ）は、前記映像を、前記段階（ｄ）において算出された前記注視点の位置に、前記段階（ｃ）において検出された前記視線方向に対して前記映像の映像面が垂直に表示されるように補正することを特徴とする請求項５に記載の表示方法。
【請求項７】
ユーザーの眼に赤外光を照射する段階（ｆ）をさらに有し、
前記段階（ｃ）は、前記段階（ｆ）において前記眼に照射された前記赤外光の反射光による前記反射像に基づいて前記視線方向および焦点距離を検出することを特徴とする請求項５または６に記載の表示方法。
【請求項８】
前記段階（ｂ）において撮像された前記反射像に基づいてユーザーごとに予め計測された眼の水晶体の厚さと前記焦点距離との関係を保存する段階（ｇ）をさらに有し、
前記段階（ｃ）は、前記段階（ｂ）において撮像された前記反射像に基づいて前記水晶体の厚さを計測し、計測された前記水晶体の厚さと、前記段階（ｇ）において保存されたユーザーごとに予め計測された前記水晶体の厚さと前記焦点距離との関係とに基づいて、前記焦点距離を検出することを特徴とする請求項５〜７のいずれか一項に記載の表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイを含む表示装置および映像表示方法に関する。
【背景技術】
【０００２】
外界を直視しているユーザーの視野に映像を重畳して表示可能な透過型のヘッドマウントディスプレイ（以下、「ＨＭＤ」）と称する）が知られている。ＨＭＤは、通常、外界に重畳される映像の表示位置が固定されているため、ユーザーが直視する外界の注視点と外界に重畳された映像との間で視覚的に距離差が生じ、ユーザーは、外界と映像を交互に見る際に焦点距離を常に変えなければならないため目に負担がかかる。
【０００３】
透過型のＨＭＤにおいて、ユーザーが外界と映像を交互に見る際に焦点距離を変える必要をなくすことにより目に負担がかかることを防止する従来技術としては下記特許文献１に示すようなものがある。すなわち、ユーザーにより入力される画像の表示態様の変更指示をトリガーにして、外界を撮影するカメラによる映像に基づいて外界の対象物までの焦点距離を検出し、検出された焦点距離に合わせるように外界に重畳させる映像の表示位置を制御する。これにより、ユーザーが映像を注視するときの映像の視認性を向上するとともに、ユーザーが映像を注視せず外界のみを注視しているときの、ユーザーの動き等に起因する画像の表示位置の変動を抑制してユーザーの不快感および疲労感を低減するというものがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１３９９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来技術は、ユーザーによる外部からの入力が必要となるため煩雑であり、かつ焦点距離を検出するために外界を広画角で撮影するための高画角カメラが必要になるため装置サイズおよびコストの低減を困難にしているという問題がある。また、焦点距離を検出するためのカメラがＨＭＤに固定されるため、頭を動かさずに視線のみを移動させる場合に焦点距離の高精度な検出が困難になるとともに映像画面の向きが視線の向きと対向しなくなることにより映像の視認性が低下するという問題がある。
【０００６】
本発明は、このような問題を解決するためになされたものである。すなわち、ユーザーの眼で反射された光による反射像を撮影し、撮影された反射像に基づいてユーザーの視線方向および焦点距離を検出し、検出されたユーザーの視線方向および焦点距離に基づいてユーザーの視界内における外界の注視点を算出する。そして、算出された注視点と検出された視線方向とに基づいて、ユーザーの視界内に表示される映像の位置および映像面方向を補正する。これにより、ユーザーの視線方向および注視点を簡易かつ高精度に計測可能とし、視線方向および注視点に基づいて表示される映像の位置および映像面の向きを補正することで映像の視認性をより向上させることができる表示装置および表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の上記課題は、以下の手段によって解決される。
【０００８】
（１）外界を見るユーザーの視界内に映像を重ねて表示する表示手段と、ユーザーの眼で反射された光による反射像を撮像する撮像手段と、前記撮像手段により撮像された前記反射像に基づいてユーザーの視線方向および焦点距離を検出する検出手段と、前記検出手段により検出された前記視線方向および前記焦点距離に基づいて、ユーザーの視界内における外界の注視点を算出する注視点算出手段と、前記注視点算出手段により算出された前記注視点と、前記検出手段により検出された前記視線方向とに基づいて、前記表示手段によりユーザーの視界内に表示される前記映像の位置および映像面の向きを補正する映像補正手段と、を有する表示装置。
【０００９】
（２）前記映像補正手段は、前記映像を、前記注視点算出手段により算出された前記注視点の位置に、前記検出手段により検出された前記視線方向に対して前記映像の映像面が垂直に表示されるように補正する上記（１）に記載の表示装置。
【００１０】
（３）ユーザーの眼に赤外光を照射する光照射手段をさらに有し、前記検出手段は、前記光照射手段により前記眼に照射された前記赤外光の反射光による前記反射像に基づいて前記視線方向および焦点距離を検出する上記（１）または（２）に記載の表示装置。
【００１１】
（４）前記撮像手段により撮像された前記反射像に基づいてユーザーごとに予め計測された眼の水晶体の厚さと前記焦点距離との関係を保存する保存手段をさらに有し、前記検出手段は、前記撮像手段により撮像された前記反射像に基づいて前記水晶体の厚さを計測し、計測された前記水晶体の厚さと、前記保存手段に保存されたユーザーごとに予め計測された前記水晶体の厚さと前記焦点距離との関係とに基づいて、前記焦点距離を検出する上記（１）〜（３）のいずれかに記載の表示装置。
【００１２】
（５）外界を見るユーザーの視界内に映像を重ねて表示する段階（ａ）と、ユーザーの眼で反射された光による反射像を撮像する段階（ｂ）と、前記段階（ｂ）において撮像された前記反射像に基づいてユーザーの視線方向および焦点距離を検出する段階（ｃ）と、前記段階（ｃ）において検出された前記視線方向および前記焦点距離に基づいて、ユーザーの視界内における外界の注視点を算出する段階（ｄ）と、前記段階（ｄ）において算出された前記注視点と、前記段階（ｃ）において検出された前記視線方向とに基づいて、前記段階（ａ）においてユーザーの視界内に表示される前記映像の位置および映像面の向きを補正する段階（ｅ）と、を有する表示方法。
【００１３】
（６）前記段階（ｅ）は、前記映像を、前記段階（ｄ）において算出された前記注視点の位置に、前記段階（ｃ）において検出された前記視線方向に対して前記映像の映像面が垂直に表示されるように補正する上記（５）に記載の表示方法。
【００１４】
（７）ユーザーの眼に赤外光を照射する段階（ｆ）をさらに有し、前記段階（ｃ）は、前記段階（ｆ）において前記眼に照射された前記赤外光の反射光による前記反射像に基づいて前記視線方向および焦点距離を検出する上記（５）または（６）に記載の表示方法。
【００１５】
（８）前記段階（ｂ）において撮像された前記反射像に基づいてユーザーごとに予め計測された眼の水晶体の厚さと前記焦点距離との関係を保存する段階（ｇ）をさらに有し、前記段階（ｃ）は、前記段階（ｂ）において撮像された前記反射像に基づいて前記水晶体の厚さを計測し、計測された前記水晶体の厚さと、前記段階（ｇ）において保存されたユーザーごとに予め計測された前記水晶体の厚さと前記焦点距離との関係とに基づいて、前記焦点距離を検出する上記（５）〜（７）のいずれかに記載の表示装置。
【発明の効果】
【００１６】
ユーザーの眼で反射された光による反射像を撮影し、撮影された反射像に基づいてユーザーの視線方向および焦点距離を検出し、検出されたユーザーの視線方向および焦点距離に基づいてユーザーの視界内における外界の注視点を算出する。そして、算出された注視点と検出された視線方向とに基づいて、ユーザーの視界内に表示される映像の位置および映像面方向を補正する。これにより、ユーザーの視線方向および注視点を簡易かつ高精度に計測可能とし、視線方向および注視点に基づいて表示される映像の位置および映像面の向きを補正することで映像の視認性をより向上させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係るＨＭＤを含む表示システムを模式的に示す外観図である。
【図２】図１に示す表示システムに含まれるＨＭＤをＩ−Ｉ'線において切断した断面図である。
【図３】図１に示す表示システムに含まれるＨＭＤのブロック図である。
【図４】ユーザーの視界内に重畳される映像の映像面の位置を調節する補正を行うための構成の例を説明するための説明図である。
【図５】表示システムの本体部のブロック図である。
【図６】水晶体の厚さと焦点距離とを対応させるキャリブレーションの説明図である。
【図７】ユーザーの視界内に表示される映像の位置および映像面の向きの補正方法を示す説明図である。
【図８】ユーザーの視線方向と焦点距離が変動したときにユーザーの視界内に表示される補正後の映像の映像面のイメージを示す説明図である。
【図９】外界と映像が重畳されているユーザーの視界のイメージを示す説明図である。
【図１０】本発明の実施形態に係る表示方法のフローチャートを示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施形態に係る表示装置および表示方法について詳細に説明する。なお、以下の説明において映像には画像の概念を含むものとする。
【００１９】
図１は、本発明の実施形態に係るＨＭＤを含む表示システムを模式的に示す外観図である。図２は、図１に示す表示システムに含まれるＨＭＤをＩ−Ｉ'線において切断した断面図である。図３は、図１に示す表示システムに含まれるＨＭＤのブロック図である。
【００２０】
図１に示すように、表示システム１は、表示装置を構成するＨＭＤ１０、および本体部２０を有する。
【００２１】
図１および図２に示すように、ＨＭＤ１０は、制御ボックス１０Ａ、透明板１６、支持部材１７、鼻当て１８、および連結部１９を有して構成される。そして、このような構成要素により、ＨＭＤ１０は、図３に示すように、演算制御部１１、記憶部１０Ｓ、通信部１５、表示部１４、照明部１２、および撮像部１３の各ブロックによる機能を有する。これらの各ブロックはバス１０Ｂを介して相互に接続されている。表示部１４、透明板１６、支持部材１７、および鼻当て１８はそれぞれ左右対称となるように２つずつ設けられている。演算制御部１１、記憶部１０Ｓ、通信部１５、表示部１４、照明部１２、および撮像部１３は制御ボックス１０Ａ内に設けられている。
【００２２】
演算制御部１１は、検出手段、注視点算出手段、および映像補正手段を構成する。演算制御部１１は、プログラムに基づいて通信部１５、表示部１４、照明部１２、および撮像部１３を制御するとともに、各種データの演算および処理を行う。演算制御部１１は、例えば、マイクロコンピュータにより構成されることができる。
【００２３】
記憶部１０Ｓは保存手段を構成する。記憶部１０Ｓは、演算制御部１１が各部を制御するためのプログラムや、ユーザーごとに予め測定された、水晶体の厚さと焦点距離との関係を保存する。
【００２４】
通信部１５は、本体部２０とＨＭＤ１０との間で相互に通信を行うためのインターフェースであり、ＩＥＥＥ８０２．１１、ＢＬＵＥＴＯＯＴＨ（登録商標）等の無線通信インターフェースを利用することができる。
【００２５】
表示部１４は、透明板１６とともに表示手段を構成する。表示部１４は、透明板１６を介して外界を見るユーザーの視界内に重畳される映像を表示する。表示部１４は、例えば液晶ディスプレイ、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ディスプレイ、または有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイにより構成されることができる。なお、左右対象に設けられた表示部１６にそれぞれ左眼用映像と右眼用映像とが表示されることにより、ユーザーの視界内に重畳される映像を三次元映像とすることができる。
【００２６】
表示部１４は、前後に移動可能に設けられることができる。これにより、ユーザーの視界内に重畳される映像の映像面の位置を調節する補正（以下、「映像の位置の補正」を称する）を行うことができる。ユーザーの視線方向および焦点距離を検出し、これらから注視点を算出し、注視点の位置に映像が表示されるように映像の位置の補正を行うことにより、ユーザーは外界と映像を交互に見る際に焦点距離を変える必要がなくなるため、目にかかる負担を抑制することができる。なお、映像の位置の補正は、透過率可変ガラスを利用することにより行ってもよい。透過率可変ガラス（以下、「調光ガラス」と称する）は、印加される電圧により光の透過率を変化させる素子であり、例えば、ＬｉＮｂＯ3の単結晶を使用することができる。
【００２７】
図４は、ユーザーの視界内に重畳される映像の映像面の位置を調節する補正を行うための構成の例を説明するための説明図である。
【００２８】
図４のＡ１およびＡ２は、表示部１４が表示する映像の光がユーザーの眼に到達するまでの光路に調光ガラス１４１が設けられ、調光ガラス１４１に電圧が印加されることにより映像の位置の補正を行う場合の説明図である。このような構成により映像の位置の補正を行う場合は、表示部１４は透明板１６に固定されていてもよい。
【００２９】
図４のＡ１およびＡ２には、それぞれ調光ガラス１４１に電圧を印加する前と後のユーザーの視界内に重畳される映像の位置が実線ａと点線ｂで示されている。このように、調光ガラス１４１に印加する電圧の大きさを調整することにより、ユーザーの視界内に重畳される映像の位置の補正を行うことができる。
【００３０】
図４のＢは、表示部１４が前後に移動可能に設けられる構成とすることにより、映像の位置の補正を行う場合の説明図である。表示部１４がユーザーの眼ＵＥに近づいたときと遠のいたときにユーザーの視界内に重畳される映像の表示位置が実線ａと点線ｂで示されている。このように、表示部１４を前後に移動させることにより、ユーザーの視界内に重畳される映像の位置の補正を行うことができる。
【００３１】
なお、後述するように、ユーザーの視界内に重畳される映像は、さらに映像面の向きが調整される補正（以下、「映像面方向の補正」と称する）がなされる。映像面方向の補正は、表示部１４が回転可能に設けられ、表示部１４の回転角が調整されることにより行うことができる。また、調光ガラス１４１に印加する電圧の大きさを部分的に変化させることにより、映像面方向の補正が行われてもよい。
【００３２】
照明部１２は、透明板１６とともに光照射手段を構成する。照明部１２は、赤外光を発生し、透明板１６を介してユーザーの眼に赤外光を照射する。
【００３３】
撮像部１３は、透明板１６とともに撮像手段を構成する。撮像部１３は、照明部１２によりユーザーの眼に照射され、ユーザーの眼で反射された赤外光による反射光を、透明板１６を介して反射像として受光し、電気信号に変換する。これにより、撮像部１３は、ユーザーの眼により反射された赤外光による反射像を撮像する。撮像部１３は、例えば、赤外光を検知可能なＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラにより構成されることができる。
【００３４】
透明板１６は、外界の光を透過させるとともに、表示部１４に表示された映像の光をユーザーの眼まで到達させることにより、外界を見るユーザーの視界内に表示部１４に表示された映像を重ねて表示させる。また、透明板１６は、照明部１２が発生させた赤外光をユーザーの眼まで到達させることによりユーザーの眼に赤外光を照射させる。さらに、透明板１６は、照明部１２によりユーザーの眼に照射された赤外光のユーザーの眼による反射光を撮像部１３まで到達させことにより、ユーザーの眼で反射された光による反射像を撮像部１３に撮像させる。
【００３５】
図２に示すように、例えば、全反射プリズムを母材とする透明板１６の内部に、ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ  Ｏｐｔｉｃａｌ  Ｅｌｅｍｅｎｔ）１６１、１６２が２つ設けられることができる。ＨＯＥ１６１、１６２は、赤外光を選択的に反射し、可視光に対してはハーフミラーとなるように設計されている。すなわち、ＨＯＥ１６１、１６２は、一方の面（第１面）に入射した可視光は透過させ、他方の面（第２面）に入射した可視光は反射する。一方、赤外光については、ＨＯＥ１６１、１６２は、第１面および第２面のどちらの面に入射した光も反射させる。
【００３６】
ＨＯＥ１６１は、表示部１４側に第１面が、照射部１２側に第２面が向くように設けられている。これにより、ＨＯＥ１６１は、表示部１４により表示され第１面に入射された映像の光を透過させるとともに、照明部１２が発生しまたはユーザーの眼ＵＥにより反射され第２面に入射された赤外光を反射させる。
【００３７】
ＨＯＥ１６２は、外界側に第１面が、ユーザーの眼ＵＥ側に第２面が向くように設けられている。これにより、ＨＯＥ１６２は、第１面に入射される外界の光をユーザーの眼ＵＥの側に透過させる。また、ＨＯＥ１６２は、ＨＯＥ１６１を透過し、透明板１６の全反射プリズムと空気との境界面で反射されることによりＨＯＥ１６２の第２面に到達した映像の光をユーザーの眼ＵＥの側に反射させる。その結果、外界を見るユーザーの視界内に表示部１６に表示された映像が重ねて表示される。
【００３８】
また、ＨＯＥ１６２は、照射部１１が発生し、ＨＯＥ１６１により反射され、透明板１６の全反射プリズムと空気との境界面で反射されることによりＨＯＥ１６２の第２面に到達した赤外光を、ユーザーの眼ＵＥ側に反射させることでユーザーの眼ＵＥに照射させる。また、ＨＯＥ１６２は、ユーザーの眼ＵＥに照射され、ユーザーの眼ＵＥにより反射された赤外光を第２面において反射させる。ＨＯＥ１６２により反射された赤外光は、透明板１６の全反射プリズムと空気との境界面で反射されることによりＨＯＥ１６１の第２面に到達し、ＨＯＥ１６１の第２面で撮像部１３の側に反射され、撮像部１３により反射像として撮像される。
【００３９】
支持部材１７は、端部が湾曲した棒状の部材であり、一端において透明板１６を支持し、他端においてユーザーの側頭部と耳部との間で支持される。
【００４０】
鼻当て１８は、透明板１６に取付けられ、ユーザーの鼻部により支持される。
【００４１】
連結部１９は、一対の透明板１６を連結する。
【００４２】
図５は、表示システムの本体部のブロック図である。本体部は、例えば、パーソナルコンピュータにより構成されることができる。
【００４３】
図５に示すように、本体部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２０４、操作部２０５、表示部２０６および通信部２０７を備えており、これらは信号をやり取りするためのバス２０８を介して相互に接続される。
【００４４】
ＣＰＵ２０１は、プログラムに従って上記各部の制御や各種の演算処理を行う。
【００４５】
ＲＡＭ２０２は、作業領域として一時的にプログラムやデータを記憶する。
【００４６】
ＲＯＭ２０３は、各種プログラムや各種データを格納する。
【００４７】
ＨＤＤ２０４は、オペレーティングシステムその他の各種プログラムや、ＨＭＤ１０に送信され、ユーザーの視界内において外界に重ねて表示されるための映像のデータを格納する。
【００４８】
操作部２０５は、例えばマウスといったポインティングデバイスやキーボードを含み、各種の操作、入力を行うために使用される。
【００４９】
表示部２０６は、例えば液晶ディスプレイであり、各種の情報を表示する。
【００５０】
通信部２０７は、ＨＭＤ１０と相互に通信するためのインターフェースである。
【００５１】
表示システム１はＨＭＤ１０と本体部２０とを有する上記構成により、次のように作用する。
【００５２】
ＨＭＤ１０は、本体部２０により送信される映像を通信部１５により受信すると、表示部１４に受信した映像を表示する。表示部１４により表示された映像の光が、透明板１６内に設けられたＨＯＥ１６１を透過し、ＨＯＥ１６２により反射されることにより、透明板１６を介してユーザーの眼ＵＥに到達する。これにより、外界を見るユーザーの視界内に映像が重なって表示される。
【００５３】
ＨＭＤ１０の照明部１２が発生した赤外光が、ＨＯＥ１６１により反射され、さらにＨＯＥ１６２により反射されることにより、透明板１６を介してユーザーの眼ＵＥに到達する。これにより、ユーザーの眼ＵＥが赤外光により照射されると、赤外光はユーザーの眼ＵＥにより反射される。ユーザーの眼ＵＥにより反射された赤外光は、ＨＯＥ１６２により反射され、さらにＨＯＥ１６１により反射され、透明板１６を介して撮像部１３に到達することにより、ユーザーの眼ＵＥにより反射された赤外光による反射像が撮像部１３により撮像される。演算制御部１１は、撮像部１３により撮像された赤外光による反射像に基づいてユーザーの視線方向および焦点距離を検出する。
【００５４】
ユーザーの視線方向は、例えば次のように検出されることができる。すなわち、ユーザーの角膜表面における点光源の赤外光の反射光であるプルキニエ像と、反射像に現れた瞳孔中心との距離は眼球方向の変化に伴い変化する。このため、ユーザーごとに予め計測された当該距離と視線方向との関係に基づき、現在の当該距離に対応する視線方向を算出することによりユーザーの視線方向を検出することができる。
【００５５】
また、ユーザーの焦点距離は、例えば次のように検出されることができる。すなわち、反射像としてプルキンエ−サンソン（Ｐｕｒｋｉｎｊｅ−Ｓａｎｓｏｎ）像を撮像し、ユーザーの眼ＵＥの水晶体の前面からの反射像と、水晶体の後面からの反射像との距離を計測することにより水晶体の厚さを求めることができる。焦点距離の調節は、水晶体の厚さを変化させることにより行われる。従って、水晶体の厚さの変化に基づいてユーザーの焦点距離を検出することができる。ただし、水晶体の厚さと焦点距離との関係はユーザーごとに異なるため、焦点距離を検出する際は、予めユーザーごとに水晶体の厚さと焦点距離とを対応させるキャリブレーションがなされる。
【００５６】
図６は、水晶体の厚さと焦点距離とを対応させるキャリブレーションの説明図である。
【００５７】
図６には、焦点距離が短い順に焦点距離ａ、焦点距離ｂ、焦点距離ｃの場合のそれぞれのユーザーの眼ＵＥの水晶体ＥＣの厚さが図示され、水晶体の厚さと焦点距離との関係を示す対応表が示されている。図６に示すように、短い焦点距離から長い焦点距離になるに従い、水晶体ＥＣの厚さが薄くなる。従って、水晶体ＥＣの厚さを計測することにより、水晶体ＥＣの厚さと予め計測された水晶体ＥＣの厚さと焦点距離との対応表とを対比することにより、ユーザーの焦点距離を検出することができる。水晶体ＥＣの厚さと焦点距離との対応表はユーザーごとに記憶部１０Ｓに保存される。
【００５８】
演算制御部１１は、検出された視線方向および焦点距離に基づいてユーザーの視界内における外界の注視点を算出する。ユーザーの注視点は、ユーザーの眼ＵＥから視線方向に焦点距離だけ離れた点であるため、検出された視線方向および焦点距離に基づく演算により算出されることができる。さらに、演算制御部１１は、算出された注視点と視線方向とに基づいて、表示部１４によりユーザーの視界内に表示される映像の位置および映像面の向きを補正する。当該映像が、演算制御部１１により算出されたユーザーの注視点の位置に、ユーザーの視線に対して画像面が垂直になるように表示される補正がなされることで、ユーザーの焦点位置の変動を抑止して疲労感を抑制するとともに、ユーザーによる映像の視認性を向上できる。
【００５９】
図７は、ユーザーの視界内に表示される映像の位置および映像面の向きの補正方法を示す説明図である。
【００６０】
図７のＡは、ユーザーの眼ＵＥの視線方向が正面のときの視線方向Ｖａを示す図であり、図７のＢは、ユーザーの眼ＵＥの視線方向が正面の状態から右回りに角度θをなす方向に変化したときのユーザーの眼ＵＥの視線方向Ｖｂを示す図である。図７のＣは、ユーザーの眼ＵＥの視線方向が正面のときの焦点距離ａと、視線方向が正面の状態から右回りに角度θをなす方向に変化したときの焦点距離ｃと、角度θとに基づいてユーザーの視界内に表示される映像の位置および映像面の向きの補正する方法を示す図である。
【００６１】
図７のＡに示す状態である、ユーザーの眼ＵＥの視線方向が正面のときの視線方向Ｖａおよび焦点距離ａが演算制御部１１により検出される。そして、図７のＢに示す状態である、ユーザーの眼ＵＥの視線方向が正面の状態から右回りに角度θをなす方向のときの視線方向Ｖｂおよび焦点距離ｃが演算制御部１１により検出される。角度θは、演算制御部１１により視線方向が検出されることにより検出される。
【００６２】
演算制御部１１は、距離ａおよび距離ｂを三角関数の定理を利用して下記式により算出することができる。
【００６３】
ａ＝ｃ＊ｃｏｓθ、ｂ＝ｃ＊ｓｉｎθ
演算制御部１１は、まず、（ａ）ユーザーの眼ＵＥの位置Ａを始点として、視線方向Ｖａの方向に距離ａだけ映像面を移動させることにより注視点Ｂに映像面を移動する。次に、演算制御部１１は、（ｂ）視線方向Ｖａに対し垂直右方向に距離ｂだけ映像面を移動させる。さらに、演算制御部１１は、（ｃ）映像面が視線方向Ｖｂに対し垂直になるように映像面を角度θだけ回転させる。これにより、表示部１４により表示される映像が、演算制御部１１により算出されたユーザーの注視点の位置に、ユーザーの視線に対して画像面が垂直になるように表示される補正がなされる。
【００６４】
図８は、ユーザーの視線方向と焦点距離が変動したときにユーザーの視界内に表示される補正後の映像の映像面のイメージを示す説明図である。
【００６５】
図８に示すように、ユーザーの注視点Ｆ１の位置に、ユーザーの視線Ｖ１に対して画像面Ｐ１が垂直になるように補正された映像が表示される。そして、ユーザーの視線方向および注視点が、それぞれＶ２およびＦ２に変動すると、ユーザーの注視点Ｆ２の位置に、ユーザーの視線Ｖ２に対して画像面Ｐ２が垂直になるように補正された映像が表示される。
【００６６】
図９は、外界と映像が重畳されているユーザーの視界のイメージを示す説明図である。
【００６７】
図９のＡは、外界と映像が重畳されているユーザーＵの視界のイメージを示し、図９のＢは、ユーザーＵを含む外界のイメージを示す鳥瞰図である。
【００６８】
図９のＡ、Ｂに示すように、ユーザーＵが見ている外界の視界内には、会議の参加者の一人であるＡ氏ＭＡ、同じく会議の参加者であるＢ氏ＭＢ、および机Ｄが存在している。ユーザーＵの視界内においては、ユーザーＵの視線方向がＡ氏ＭＡに向いているときは、Ａ氏ＭＡのプロファイルが映像ＰＡとして、映像ＰＡの映像面がユーザーＵの注視点において視線方向と垂直となるように補正されて表示される。また、ユーザーＵの視線方向がＢ氏ＭＢに向いているときは、Ｂ氏ＭＢのプロファイルが映像ＰＢとして、映像ＰＢの映像面がユーザーＵの注視点において視線方向と垂直となるように補正されて表示される。
【００６９】
図１０は、本発明の実施形態に係る表示方法のフローチャートを示す図である。本フリーチャートは、例えば、ＨＭＤ１０にインストールされたプログラムにより実施されることができる。
【００７０】
ＨＭＤ１０の通信部１５により本体部１０により送信される映像が受信されると、表示部１４により表示された映像の光が、透明板１６を介してユーザーの眼ＵＥに到達することにより、外界を見るユーザーの視界内に映像が重なって表示される（Ｓ１００１）。
【００７１】
照明部１２により発生された赤外光が透明板１６を介してユーザーの眼ＵＥに照射されると、ユーザーの眼ＵＥにより反射された赤外光による反射像が撮像部１３により撮像される。そして、撮像部１３により撮像された反射像に基づいて、演算制御部１１によりユーザーの視線方向および焦点距離が検出され（Ｓ１００２）、さらに検出された視線方向および焦点距離に基づいてユーザーの視界内における外界の注視点が算出される（Ｓ１００３）。
【００７２】
演算制御部１１は、算出された注視点と視線方向とに基づいて、映像の位置において視線方向に対し映像の映像面が垂直に表示されるように映像を補正する（Ｓ１００４）。
【００７３】
ステップＳ１００２〜ステップＳ１００４は、通信部１５により本体部２０から映像を受信されなくなるまで継続される（Ｓ１００５）。
【００７４】
本実施形態は、以下の効果を奏する。
【００７５】
ユーザーの眼で反射された光による反射像を撮影し、撮影された反射像に基づいてユーザーの視線方向および焦点距離を検出し、検出されたユーザーの視線方向および焦点距離に基づいてユーザーの視界内における外界の注視点を算出する。そして、算出された注視点と検出された視線方向とに基づいて、ユーザーの視界内に表示される映像の位置および映像面方向を補正する。これにより、ユーザーの視線方向および注視点を簡易かつ高精度に計測可能とし、視線方向および注視点に基づいて表示される映像の位置および映像面の向きを補正することで映像の視認性をより向上させることができる。
【００７６】
さらに、表示される映像を、注視点の位置に、視線方向に対して映像の映像面が垂直に表示されるように補正することにより、映像の視認性をより向上させるための映像の補正を最適化することができる。
【００７７】
さらに、眼に照射された赤外光の反射光による反射像に基づいて視線方向および焦点距離を検出することにより、映像の位置および映像面の向きを高精度に補正し映像の視認性をより向上させることができる。
【００７８】
ユーザーごとに予め計測された水晶体の厚さと焦点距離との関係を保存し、撮像された反射像に基づいて計測した眼の水晶体の厚さと、前記関係とに基づいて焦点距離を検出することにより、ＨＭＤが異なるユーザーにより使用されても、同様に映像の視認性を向上させることができる。
【００７９】
以上、本発明の実施形態に係る表示装置および表示方法について説明したが、本発明は上述した実施形態に限定されるものではない。
【００８０】
例えば、上述した実施形態においては、例として、ＨＭＤと本体とが別体として表示システムが構成されているが、本体の持つ機能がＨＭＤに組み込まれることによりＨＭＤのみによって表示システムが構成されてもよい。その際、本体のＣＰＵの機能はＨＭＤの演算制御部により実現され、本体のＲＡＭ、ＲＯＭおよびＨＤＤによる機能はＨＭＤの記憶部により実現されることができる。
【００８１】
また、視線方向および焦点距離の検出は、上述した実施形態以外のあらゆる方法を用いることができる。例えば、視線方向は楕円パラメータを利用して検出してもよい。
【００８２】
また、上述した実施形態においては、赤外光を用いて視線方向および焦点距離を検出しているが、視線方向および焦点距離が検出可能な他の波長の光が用いられてもよい。
【００８３】
また、例えば、上述した実施形態においてプログラムにより実現する機能の一部または全部が、回路等のハードウェアに置き替えられてもよい。
【符号の説明】
【００８４】
１    表示システム、
１０    ＨＭＤ、
１０Ａ    制御ボックス、
１２    照明部、
１３    撮像部、
１４    表示部、
１６    透明板、
２０    本体部、
１６１    ＨＯＥ、
１６２    ＨＯＥ。
【図１】
2016208062.tif 000003
【図２】
2016208062.tif 000004
【図３】
2016208062.tif 000005
【図４】
2016208062.tif 000006
【図５】
2016208062.tif 000007
【図６】
2016208062.tif 000008
【図７】
2016208062.tif 000009
【図８】
2016208062.tif 000010
【図９】
2016208062.tif 000011
【図１０】
2016208062.tif 000012