(57)【要約】ヘルメットのような頭部装着型デバイスに取り付けるためのディスプレイアセンブリ（１０５）は、ユーザの視野内に位置する部分反射面と、部分反射面を介してユーザに向けて光を投影するためのディスプレイプロジェクタ（４０，５０，２００）と、ユーザの目を追跡する際に使用するためのセンサ（６０，２１０）と、視野内に位置する部分反射画像化面（１２０，２２０，２２５）とを有する。センサは、部分反射画像化面によって反射された目の画像を形成する光を受けるように位置合わせされ、画像はアイトラッキングに使用される。反射された画像を使用することによって、カメラ位置は、視野をクリアに保つこと、目の前から直接画像を撮ること、ヘルメットの重量とサイズおよび不均衡を制限すること、という潜在的に矛盾する要求（conflicting needs）を改善するように配置され得る。バイザは、部分反射面として使用され得る。ＩＲ照明は、ディスプレイプロジェクタによって提供され得る。【選択図】図７
2021507301.tif 000002
【特許請求の範囲】
【請求項１】
頭部装着型デバイスに取り付けるためのディスプレイアセンブリであって、
前記デバイスのユーザの視野内に位置する部分的に反射性でかつ透明な表面と、
前記ディスプレイアセンブリの装着者に向けての前記部分反射面による反射のために前記部分反射面上に光を投影するためのディスプレイプロジェクタと、
前記ユーザの目を追跡する際に使用するためのセンサと
を有し、
前記センサは、前記装着者の少なくとも片方の目の画像を形成する光を受けるように位置合わせされ、前記画像を形成する前記光は、前記センサに向けて前記部分反射面によって反射され、前記画像は、アイトラッキングに使用される、
ディスプレイアセンブリ。
【請求項２】
前記頭部装着型デバイスのバイザの内面は、前記部分反射面を形成する、請求項１に記載のディスプレイアセンブリ。
【請求項３】
前記ディスプレイに干渉することなく、前記ユーザの前記目を照明するための不可視照明源を有する、請求項１または２に記載のディスプレイアセンブリ。
【請求項４】
前記不可視照明源は、前記ディスプレイプロジェクタを備える、請求項４に記載のディスプレイアセンブリ。
【請求項５】
前記ディスプレイプロジェクタは、前記ディスプレイへの割込みを前記ユーザが感知できないように、前記不可視照明出力を前記ディスプレイ出力と時間的にインターリーブするように配置される、請求項４〜６のうちのいずれか一項に記載のディスプレイアセンブリ。
【請求項６】
前記センサは、前記目から反射された前記不可視照明を選択的に感知するために、前記インターリーブすることと同期される、請求項７に記載のディスプレイアセンブリ。
【請求項７】
前記ディスプレイプロジェクタは、可視フレームのシーケンシャルフレームディスプレイを備え、前記インターリーブすることは、前記シーケンスの前記可視フレームのうちの異なるものの間で前記不可視照明出力を出力することを備える、請求項７または８に記載のディスプレイアセンブリ。
【請求項８】
前記不可視照明は、不可視赤外線（ＩＲ）出力を備える、請求項４に従属する場合の請求項１〜７のうちのいずれか一項に記載のディスプレイアセンブリ。
【請求項９】
前記センサに結合され、アイトラッキングインジケーションを出力するように構成されたアイトラッキング分析器を備え、前記ディスプレイアセンブリは、前記アイトラッキング分析器に結合され、前記アイトラッキングインジケーションにしたがって前記ディスプレイを生成するように構成された出力ディスプレイ生成部を備える、請求項１〜８のうちのいずれか一項に記載のディスプレイアセンブリ。
【請求項１０】
使用中に、前記センサが、前記頭部装着型デバイスのブロー上で前記装着者の前記視野の上方に位置するように配置される、請求項１〜９のうちのいずれか一項に記載のディスプレイアセンブリ。
【請求項１１】
各目に対して１つのアイトラッキングセンサを有する、請求項１〜１０のうちのいずれか一項に記載のディスプレイアセンブリ。
【請求項１２】
前記アイトラッキングセンサの視野が前記ディスプレイの光路からオフセットされるように配置される、請求項１〜１１のうちのいずれか一項に記載のディスプレイアセンブリ。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ユーザの目を追跡することに関し、特に、ヘッドアップディスプレイ（ＨＵＤ）のようなディスプレイのための頭部装着型デバイスを装着しているユーザに対して実行されるそのような追跡に関する。
【背景技術】
【０００２】
アイトラッキングにより、システムは、ユーザの頭部におけるユーザの目の位置を監視することができるため、視覚方向を算出することができる。このようなシステムは、特に、ユーザの視野に画像を投影するために透明部品を使用するヘッドアップディスプレイに関連して有用である。例えば、パイロットの視界にデータをオーバーレイし得るか、または暗視システムを使用して、暗い自然の景色の上に拡張ビューを投影し得る。
【０００３】
ディスプレイを有する頭部装着型デバイスは、ユーザの頭部が動いたとしても透明部品がユーザの目の前に配置されるようにユーザのヘルメット（または他のヘッドピース）に取り付けられているシステムである。そのようなディスプレイは、ユーザの目の前に配置された光学部品（optics）の特定のセットを使用し得るか、または画像を投影するためのバイザを使用し得る。
【０００４】
ユーザの目を追跡するためのシステムは、従来、ユーザの目の画像を取得するためにユーザの顔の方を向いているカメラを使用する。次いで、画像処理システムは、この画像から目の位置を抽出することができるため、ユーザの視線方向を算出することができる。すべての条件で性能を確保するために、顔が赤外線（ＩＲ）源およびＩＲカメラで照明され得る。瞳孔はＩＲ波長を吸収するため暗く見えるのに対して、強膜はＩＲ波長を反射するため明るく見える。
【０００５】
しかしながら、顔の方を向いているカメラを有する照明システムは、いくつかの欠点を有する。カメラおよび光源の最適な位置は、顔の正面であり、したがって、ユーザの視覚を不明瞭にする。また、ＩＲ照明が含まれておらず、したがって、パイロットのケースでは、コックピットから漏出し得、これは検出の観点から不利である。
【０００６】
したがって、ヘルメット装着型ＨＵＤとともに使用するためのアイトラッキングシステムが必要である。
【０００７】
以下で説明される実施形態は、既知のシステムの欠点のうちのいずれかまたはすべてを解決するインプリメンテーションに限定されない。
【発明の概要】
【０００８】
この発明の概要は、以下の発明を実施するための形態でさらに説明される概念の選択を簡略化された形式で紹介するために提供される。この発明の概要は、本願の主題の重要な特徴または本質的な特徴を識別するように意図されておらず、本願の主題の範囲を決定する際に助けになるものとして使用されるようにも意図されていない。頭部装着型デバイスに取り付けるためのディスプレイアセンブリであって、デバイスのユーザの視野内に位置する部分的に反射性でかつ透明な表面と、ディスプレイアセンブリの装着者に向けての部分反射面による反射のために部分反射面に光を投影するためのディスプレイプロジェクタとを有するディスプレイアセンブリが提供される。ユーザの目を追跡する際に使用するためのセンサも存在し、このセンサは、装着者の少なくとも片方の目の画像を形成する光を受けるように位置合わせされ、画像を形成する光は、センサに向けて部分反射面によって反射され、画像は、アイトラッキングに使用される。
【０００９】
特定の実施形態では、部分反射画像化面を形成する頭部装着型デバイスのバイザの内面のような他の特徴が追加され得る。ディスプレイアセンブリの別のそのような追加の特徴は、ディスプレイに干渉することなく、ユーザの目を照明するための不可視照明源（source of non-visible illumination）である。別のそのような追加の特徴は、ディスプレイプロジェクタを備える不可視照明源である。
【００１０】
別のそのような追加の特徴は、ディスプレイプロジェクタが、ディスプレイへの割込みをユーザが感知できないように、不可視照明出力をディスプレイ出力と時間的にインターリーブするように配置されることである。別のそのような特徴は、センサが、目から反射された不可視照明を選択的に感知するために、インターリーブすることと同期されることである。
【００１１】
別のそのような追加の特徴は、可視フレームのカラーシーケンシャルフレームディスプレイを備えるディスプレイプロジェクタであり、インターリーブすることは、シーケンスの可視フレームのうちの異なるものの間で不可視照明出力を出力することを備える。別のそのような追加の特徴は、赤外線（ＩＲ）出力を備える不可視照明である。別のそのような追加の特徴は、センサに結合され、アイトラッキングインジケーションを出力するように構成されたアイトラッキング分析器であり、ディスプレイアセンブリは、アイトラッキング分析器に結合され、アイトラッキングインジケーションにしたがってディスプレイを生成するように構成された出力ディスプレイ生成部を備える。別の追加の特徴は、使用中に、センサが、頭部装着型デバイスのブロー（brow）上で装着者の視野の上方に位置していることである。各目に対して１つのアイトラッキングセンサが存在することができる。アイトラッキングセンサの視野は、ディスプレイの光路からオフセットされ得る。
【００１２】
本発明の実施形態は、例として、以下の図面を参照して説明されるであろう。
【図面の簡単な説明】
【００１３】
【図１】図１は、片側の画像化および照明のための光路を示す、実施形態の正面図を示す。
【図２】図２は、対応する側面図を示す。
【図３】図３は、ＩＲ照明がインターリーブされているフレームのタイムチャートを示す。
【図４】図４は、実施形態の概略図を示す。
【図５】図５は、ディスプレイおよび画像化のための単一の部分反射面を有する同様の実施形態の概略図を示す。
【図６】図６は、照明を有する同様の実施形態の概略図を示す。
【図７】図７は、ディスプレイ生成部に供給するアイトラッキング分析を有する同様の実施形態の概略図を示す。
【発明を実施するための形態】
【００１４】
本発明のさらなる詳細、態様、および実施形態は、図面を参照して、ほんの一例として説明されるであろう。図中の要素は、簡略化および明瞭化のために例示されおり、必ずしも一定の縮尺で描かれていない。それぞれの図面には、理解を容易にするために同様の参照番号が含まれている。
【００１５】
前置きとして、現在のアイトラッキング技術に関するいくつかの問題が示されるであろう。それらは、赤外光（ＩＲ）で目を照明し、カメラを使用して、瞳孔（これはＩＲを吸収するため暗く見える）と強膜（これはＩＲを反射するため白く見える）とのコントラスト差を決定することでユーザの瞳孔の位置を追跡する。仮にこのようなシステムがバイザ投影型ディスプレイに含まれていた場合、照明およびカメラの理想的な位置が、投影ディスプレイ光学経路に沿って位置するため、目を正しく照明および画像化することが困難になる。この問題に対処するために、ディスプレイ投影に使用されるような部分反射面が、アイトラッキングカメラの光路にも使用され得ることが今や認識されている。いくつかの例では、これは、以下で説明するように、バイザ投影型ディスプレイアーキテクチャが組み込まれ得る。アイトラッキングへの参照は、注視の方向および動きだけでなく、焦点距離、目の疲労、ストレスを示す特性、注意レベル、病気、等の目の任意の特性を追跡することを包含することが意図される。アプリケーションには、パイロット、車両オペレータ、機械制御オペレータのようなユーザに提供されるディスプレイシステムが含まれることができる。加えて、ゲームアプリケーション内で使用されるディスプレイシステムおよびトレーニングまたは人間分析に使用されるシミュレータもまた、アイトラッキングシステムを組み込み得る。
【００１６】
図１は、ある実施形態に係る、ディスプレイアセンブリを有する、ユーザ２０によって装着されている頭部装着型デバイスの部品、これはバイザ３０を含む、の正面図を示す。ディスプレイアセンブリは、ヘルメットに取り付けられ、ディスプレイプロジェクタ５０を有する。ディスプレイプロジェクタ５０は、ユーザの右目に投影するためのものである。ユーザの左目には、図示されないさらなるプロジェクタが設けられている。ディスプレイプロジェクタ５０はまた、アイトラッキングセンサ６０によって使用するための目の照明が必要とされる場合、そのような照明を提供するように配置される。いくつかの例では、十分に明るい場合または十分な周辺光がある場合、あるいは別個の照明源がヘルメット内の他の場所（例えばヘルメットの縁）に設けられている場合、照明は、他の方法で、例えばディスプレイによって、提供されることができるため、これは、すべてのケースで必須というわけではない。
【００１７】
照明のための光路７０が示されており、これは、ディスプレイプロジェクタ５０のＩＲ出力部からバイザ上の部分反射面９０に、そしてそこから右目１００に延びている。アイトラッキングセンサ６０によって取り込まれる画像のための別の光路１１０が示されており、これは、右目１００からバイザの内側の部分反射面１２０に延びており、そしてそこからセンサ６０へと反射する。ディスプレイ、照明、およびセンサによって取り込まれる画像のための対応する光路は、左目については、明確にするために示されていないが、それらは、右目について示されているものに対応する。片目用ディスプレイを有することが可能である。光路が、示されるように中心線を横切ることは必須ではなく、他の配置も実現可能であるが、これは、その配置をよりコンパクトに保つのに役立つことができる。センサ画像光路が、示されるようにディスプレイ光路からオフセットされることは必須ではない。光路のいずれかまたはすべてを反射するための部分反射面としてバイザの内面を使用することは必須ではなく、他の部分反射面が設けられ得る。他の光学機器、例えば前向きセンサ、が組み込まれることができる。バイザまたは他の部分反射面は、格納式または固定式であることができる。
【００１８】
同じ配置の側面図が図２に示される。適宜、対応する参照番号が使用されている。これは、照明のための光路がバイザの内側のような部分反射面９０からどのように反射されるかおよびセンサによって取り込まれる画像のための光路が、この例では照明光路から垂直および水平にどのようにオフセットされるかをより明確に示す。例えば、精度を改善するために平均化または選択されることができる、注視方向の異なる測定値を提供するために、異なる画像および異なるグリントが検出されることを可能にするための、同じ源（source）または複数の源のいずれかからの１つよりも多くの角度から、複数の照明経路が存在することができる。
【００１９】
理解されるであろうように、ディスプレイプロジェクタの異なる部分からの光は、必要とされる画像を目において作成するために、ユーザの目まで異なる光路を辿るであろう。異なる色または波長は、それらが空間オフセットを伴って配置される場合、異なる経路を辿り得、すなわち、ディスプレイプロジェクタの異なる部分が、例えば、異なる四分円、より高い分解能の中央ディスプレイ、およびより低い分解能の周辺部分のような、結果として生じるディスプレイの異なる空間エリアを生成するように配置されるということであり得る。
【００２０】
ディスプレイプロジェクタは、発光ダイオード（ＬＥＤ）またはレーザダイオードのような光学光源と、ＬＣＤ、ＬＣＯＳ、またはＤＭＤデバイスのようなコンパニオンディスプレイデバイスとから構成され得る。加えて、自発光型ディスプレイ源は、別個の光学光源を必要とすることなく使用され得る。ディスプレイプロジェクタはまた、ディスプレイデバイスからディスプレイバイザに向けて画像を投影するための光学素子から構成され得る。次いで、投影された光は、ディスプレイバイザから反射され、所与の焦点距離で画像としてユーザに提示される。水平軸および垂直軸におけるバイザ表面の曲率は、光学設計において、所望の画像がユーザの目に提示されるのを達成するために役割を果たすことができる。光学システムの射出瞳は、ユーザの目と一致する定義された設計アイポイントに位置合わせされる。
【００２１】
したがって、図１および２は、頭部装着型デバイスに装着するためのディスプレイアセンブリであって、デバイスのユーザの視野内に位置する部分的に反射性でかつ透明な表面と、ディスプレイアセンブリの装着者に向けての部分反射面による反射のために部分反射面上に光を投影するためのディスプレイプロジェクタと、ユーザの目を追跡する際に使用するためのセンサとを有するディスプレイアセンブリの例を示す。このアセンブリでは、センサは、装着者の少なくとも片方の目の画像を形成する光を受けるように位置合わせされ、画像を形成する光は、センサに向けて部分反射面によって反射され、画像は、アイトラッキングに使用される。
【００２２】
反射した画像をセンサに使用させることには複数の利点が存在し得る。第１に、ユーザの外界の視野は、目の近くまたは目の周りに位置するセンサハードウェアの影響を受けず、代わりに、センサハードウェアが、ヘルメットの縁のより近くに位置することができ、ゆえに、外界の不明瞭さをほとんどまたは全くもたらさない。第２に、アイトラッキングセンサの光路は、図２において強調表示されているように、目線の下からユーザの目の画像を取り込むように最適化され得る。アイトラッキングカメラが目の上に位置する典型的なアイトラッキングシステムは、ユーザが下方を見るとき、ユーザの眼瞼または睫毛によって不明瞭にされるため目の瞳孔がもはや可視ではないという事実により、影響を受ける。対照的に、図２において強調表示されたインプリメンテーションは、ユーザが下方を見るとき、目の瞳孔が依然として可視であり、ユーザの眼瞼または睫毛によって不明瞭にされないという利点を有する。これは、通常、アイトラッキングカメラをユーザの目の前および下に位置させなければ不可能であり、この場合も、ユーザの外界の視野に影響を与えるであろう。最後に、カメラハードウェアがユーザの頭部のより近くに統合され得るため、このハードウェアの余分な質量によって生じる不均衡がより良好に補正されてユーザの快適性を高めることができる。
【００２３】
バイザを部分反射面として使用すると示されているが、部分反射面は、ヘッドアップディスプレイの「close to the eye」光学部品に組み込まれるなど、他の場所にあってもよい。部分反射面は、投影されるディスプレイに光を反射するためおよびセンサに画像を反射するために、平面または曲面または１つより多くの面で構成された面によってインプリメントされ得る。ヘルメットのバイザの内面が部分反射面として使用される場合、部品の数が低減されるため、重量およびコストの低減ならびに不均衡の低減という利点が存在する。
【００２４】
示されるディスプレイアセンブリはまた、ディスプレイに干渉することなく、ユーザの目を照明するための不可視照明源を有する例を表す。照明を目に向けても反射させることは、照明源が、視野の外に保たれ、かつ、照明ハードウェアの余分な質量によって生じる不均衡がより良好に補正されてユーザの快適性を高めることができるようにユーザの頭部のより近くに統合されるのにさらに役立つという利点を有することができる。
【００２５】
これらの図に示されるディスプレイアセンブリはまた、不可視照明源がディスプレイプロジェクタによって部分的または完全に提供されるものの例を表す。照明のためにディスプレイプロジェクタを使用することによって、低減されたハードウェア、したがって、より少ない質量およびより少ない不均衡という利点があり得、ディスプレイがユーザの目と位置合わせされなければならないという事実により、各ユーザに対して照明源のさらなる別個の調節または位置合わせはない。
【００２６】
示されるディスプレイアセンブリは、使用中にセンサ６０がヘルメットのブロー上で視野の上方に位置するように配置されたものの例である。これは、良好な画像を提供し、最小限の追加重量でセンサに剛性アンカ（rigid  anchor）を提供することができる。示されるディスプレイアセンブリは、各目に対して１つのセンサを有するものの例である。これは、より正確なアイトラッキングを可能にするのに役立つことができる。示されるディスプレイアセンブリは、センサの視野がディスプレイの光路からオフセットされるように配置されたものの例である。これの利点は、センサの反射からのユーザの視界内のあらゆる干渉が低減されることができ、センサの視界がディスプレイの光路から受ける干渉がより少なくなり得ることである。
【００２７】
図３は、時間がチャートを横切って流れるタイムチャートを示し、これは、ディスプレイのためのビデオ信号にフレームのシーケンスがどのように提供されることができるかを示し、各フレームは、フレーム間にギャップを伴ったいくつかのサブフレームで構成される。示されるように、赤色のサブフレーム１７０の後に緑色のサブフレーム１８０が続き、その後に、背景の景観との鮮鋭度（distinctness）を高めるために別の緑色のサブフレームが続くか、または完全なＲＧＢディスプレイが望まれる場合には青色のサブフレームが続き得る。フレーム間のギャップには、ＩＲサブフレーム１９０がインターリーブされる。これは、ギャップの全部または一部を埋めることができる。典型的に、フレームレートは、ディスプレイの持続性にも依存して、ユーザが感知できない程度に十分に高い、例えば、６０Ｈｚよりも高い。
【００２８】
動作中、ディスプレイプロジェクタがカラーシーケンシャルである場合、それは、ディスプレイ生成部からビデオ信号を受信し、ユーザに順次表示される別々の赤色、緑色、および青色のサブフレームを、ＩＲで照明する追加のサブフレームとともに、出力することができる。これは、ＬＥＤまたはレーザベースのディスプレイのような任意のタイプの可視波長出力チップと並んで位置し得る任意のタイプのＩＲ出力チップによってインプリメントされ得る。そのようなＩＲサブフレームは、画像コンテンツを有さないであろう−駆動信号は、ディスプレイの射出瞳がＩＲサブフレーム中にＩＲ光で全体的に照明されるように、単純にディスプレイ上の平坦な「全ピクセル」を表し得る。結果として、ディスプレイの射出瞳がユーザの目を照明するため、目は、ＩＲサブフレームのアクティブ化期間中、ＩＲ光で照明される。したがって、目は、センサによって取り込まれた画像に基づいて、アイトラッキングのための後の画像処理におけるより良好な精度のために、予測可能な照明レベルで適切に照明され得る。
【００２９】
特に、ディスプレイのためのバイザが、部分的に反射性であり得、ディスプレイシステムのための電動光学素子として利用されるため、同じ内面はまたアイトラッキングセンサとともに使用され得る。センサは、ディスプレイバイザから反射されたユーザの目の画像を取り込み得る。その結果として、センサが、邪魔にならないようにヘルメットのブローの近くに置かれ得るため、ユーザの視野の不明瞭さを引き起こさない。全体として、バイザディスプレイシステムがユーザの目の位置に位置合わせされるように、このディスプレイシステムがユーザごとにカスタムフィットされる場合、付随するアイトラッカシステムも位置合わせされるであろう。
【００３０】
ゆえに、示されるディスプレイアセンブリは、ディスプレイプロジェクタが、ディスプレイへの割込みをユーザが感知できないように、不可視照明出力をディスプレイ出力と時間的にインターリーブするように配置されるものの例である。ディスプレイプロジェクタが両方の機能を実行することを可能にすることによって、ハードウェアを、したがって質量も、節約することができる。このインターリーブは、フレーム間のインターリーブ、または多色の例では色間のインターリーブ、または、ことによると、例えばラスタ走査ディスプレイタイプの場合には、ライン間のギャップにおけるインターリーブを含む様々な方法でインプリメントされることができる。
【００３１】
示されるディスプレイアセンブリは、目から反射された不可視照明を選択的に感知するために、センサがインターリーブすることと同期されることができるものである。これは、非ＩＲ照明フレーム中に目から反射されたディスプレイ出力の変動の望ましくない感知からの干渉、これは、例えば、注視の方向または他のアイトラッキング結果を決定するために画像を解釈することをより困難にし得る、をセンサが低減することを可能にすることでの利点を提供することができる。
【００３２】
ゆえに、示されるディスプレイアセンブリは、ディスプレイプロジェクタがカラーシーケンシャルフレームディスプレイを提供することができるものの例であり、インターリーブすることは、シーケンスの可視フレームのうちの異なるものの間で不可視照明出力を出力することを備えることができる。これは、ディスプレイの中断がほとんどなしに、および、ディスプレイハードウェアにおけるタイミングの変更がほとんどなしに、比較的単純なインターリーブを可能にするという利点を提供することができる。上述したように、不可視照明は、赤外線（ＩＲ）出力を備えることができる。
【００３３】
上の例は、カラーシーケンシャルディスプレイフレームがどのように配置され得るかの単なる１つの配置であり、ＲＧＢフレームは、時間的にさらに離間され得、後続のディスプレイフレームサイクルが始まる前に大きな時間ギャップがあり得る。画像がユーザに提示されるとき、ＲＧＢサブフレームの時間的分離が極めて小さいためサブフレームが結合され、そのため、ユーザはフルカラー（ＲＧＢ）画像を知覚する。
【００３４】
カラーシーケンシャルフレームレートは、ＲＧＢサブフレームが利用可能なサブフレームタイムスパンの１００％を満たさないことを確実にするように変更され得る（すなわち、各色が、割り当てられたタイムスパンの一部分のみのためにそのサブフレームのみを照明するか、または各カラー照明サブフレームが、時間的に離間され得る）という事実により、照明がアクティブでなく、画像がユーザに提示されないとき、ディスプレイシステムのデューティサイクルに時間的な「ギャップ」が存在する。これらのギャップ内で、投影システムは、目がＩＲ光で照明され得るように、追加の赤外線サブフレームを照明および提示することができる。これはユーザによって見られないため、提示されるディスプレイコンテンツに干渉しない。
【００３５】
このＩＲサブフレームは、ディスプレイデューティサイクルの一部（proportion）の間、ユーザの目を照明する。このＩＲは、アイトラッキングのために使用され得る。ヘルメットのブローの近くまたはそれ内にセンサを設置することによって、バイザから反射した、目からの逆の画像経路が収集され、画像化され得る。
【００３６】
このセンサモジュールは、それがユーザの視線から外れて、不明瞭さを提示しないように、戦略的に配置され得る。その配置はまた、投影システムから目への光路を回避することができ、ゆえに、表示される画像に干渉しないであろう。これは、いくつかの市販の既存の「near to eye」アイトラッカと対照的であり、ここにおいて、ＩＲ照明およびセンサシステムの両方が目の前または目の周りに位置し、シースルーヘルメット搭載ディスプレイと併せて使用されるとき、前述の問題に苦しむであろう。
【００３７】
図４は、明確にするために、ヘルメットを示すことなく、ディスプレイアセンブリ１０５の実施形態の概略側面図を示す。ディスプレイアセンブリは、ディスプレイプロジェクタ２００と、アイトラッキングのためのセンサ２１０と、部分反射面とを含み、部分反射面は、両方ともユーザの目２４０の視野内にある、わずかに異なる配向を有するセクション２２０、２３０から形成され得る。ディスプレイプロジェクタには、例えば、外部（または内部）信号発生器（図示せず）からのビデオ信号のようなディスプレイ入力信号が供給される。部分反射面セクション２２０は、ディスプレイプロジェクタの光路（破線の矢印で示される）を反射するものと示される。これは、同じく破線の、部分反射面２２０を通過する矢印によって示される、ユーザの視野ＦＯＶ内にある。アイトラッキングセンサ２１０は、同じく破線の矢印で示され、同じくユーザの視野内で部分反射面セクション２３０によって反射される光路に沿って、目から画像を受け取る。アイトラッキングセンサは、様々な方法でディスプレイプロジェクタと連携して動作されることができる。例えば、それは、ディスプレイのフレームレートと、または、照明がディスプレイプロジェクタによって提供される場合にはそれのインターリーブと同期されることができる。センサの出力は、上述されてきたように、様々な方法でディスプレイに影響を及ぼすために結合されることができる注視または他の目の特性を追跡するために使用され得る。
【００３８】
図５は、図４のものと同様の概略図を示す。適宜、対応する参照番号が使用されている。このケースでは、部分反射面２２５は、曲面として示されているが、平面としてインプリメントされることもできる。この曲率は、反射の何らかの集束を可能にするように選択されることができ、これにより、センサは、別個の集束レンズを必要とするのを回避することができる。これにより、簡略化、重量およびコストの低減という利点を得ることができる。
【００３９】
図６は、図５のものと同様の概略図を示す。適宜、対応する参照番号が使用されている。このケースでは、アイトラッキングのためのより良好な画像を可能にするために、目を照明するための照明源２５０が存在する。ディスプレイ光路におよび画像化光路に使用される部分反射面２２５は、ここでは照明用光路にも使用され、曲面として示されているが、平面としてインプリメントされることもできる。
【００４０】
示されるディスプレイアセンブリはまた、単一の部分反射面として照明面が表示面（display surface）に組み込まれているものの例を表す。ディスプレイと照明の両方に同じ反射面を使用することによって、簡略化、重量およびコストの低減、ならびに、１つの位置合わせがディスプレイおよび照明の両方をカバーするため異なるユーザに対する位置合わせがより単純になるという利点を得ることができる。これはまた、ディスプレイ、画像化、および照明に同じ反射面を使用する例を表す。
【００４１】
図７は、図５と同様の概略図を示す。適宜、対応する参照番号が使用されている。このケースでは、ディスプレイアセンブリ１０５は、目を照明するための照明源２５０と、アイトラッキング分析器２７０と、ディスプレイ生成部２６０とを有する。アイトラッキング分析器は、センサから画像を受け取り、この画像からアイトラッキング情報を導出するために結合される。これは、この情報にしたがってディスプレイ信号を生成するディスプレイ生成部に結合される。このディスプレイ信号は、例えばビデオ信号として、ディスプレイプロジェクタに供給される。例として、ディスプレイ信号は、ビューア（viewer）の注視の方向のようなアイトラッキング情報に基づいて変更され得る。例えば、ディスプレイプロジェクタによって作成された表示された情報は、ディスプレイの視野のあちこちで（about）、ビューアの注視の方向を追従するであろう。
【００４２】
ゆえに、この図７は、センサに結合され、アイトラッキングインジケーションを出力するように構成されたアイトラッキング分析器を備えるディスプレイアセンブリの例を示し、ディスプレイアセンブリは、アイトラッキング分析器に結合され、アイトラッキングインジケーションにしたがってディスプレイを生成するように構成された出力ディスプレイ生成部を備える。アイトラッキングにしたがってディスプレイを生成することによって、可能な利点は、例えば、ユーザが見ている場所により多くの情報を入れるように、またはユーザが見ているエリアを整理する（declutter）ように、または例えば異なる部分における情報の強調もしくはテキストのサイズをユーザが見ている場所にしたがって変更するように、ディスプレイが最適化されることができることである。アイトラッキングインジケーションは、目の位置または動き、焦点距離、ストレスレベル、疲労レベル、等に関する情報を含むことができる。ディスプレイアセンブリのこれらの機能のうちのいくつかは、重量を最小限に抑えるためにヘルメットから離れて実行され得るが、それが制限付きの制約ではないアプリケーションでは、ヘルメットに取り付けられた部品にそれらを含めることに利点があり得る。したがって、ヘルメットに取り付けるためのディスプレイアセンブリへの参照は、これらの機能のためのプロセッサのようないくつかの部品がヘルメットに取り付けられていないディスプレイアセンブリを包含することが意図される。
【００４３】
上のインターリーブされたシーケンシャル照明システムへのより複雑でない可能な代替として、常にＩＲ光を目に照射するように、一定のＩＲ照明チャネルが光学システムに組み込まれ得る。干渉フィルタ、すなわち、ＲＧＢ透過、ＩＲ反射コーティングを有するミラー、が、ディスプレイの光路に沿ってＩＲ光を折り畳み、結合するために使用されることができる。これは、ディスプレイプロジェクタまたはＲＧＢ信号が表示されるタイミングの任意の部分を変更する必要性を回避するという利益を有するであろう。このミラーは、ユーザの視野内に、またはユーザの視野外のディスプレイプロジェクタの近くに位置することができる。これは、画像生成光学／ハードウェアシステム内にＩＲ照明を統合することの代替案を表す。追加の部分反射面が存在するため、これは、より多くのハードウェアを含み、そのため重量がより多いが、何らかの方法でＩＲ光をインターリーブすることに対処するためにディスプレイプロジェクタを変更することを必要としないという利益を有する。これは、設計および開発コストを低減するか、または既存のヘルメット搭載ディスプレイシステムもしくは他の頭部装着型デバイスを適合させ易くし得る。
【００４４】
代替的な実施形態は、球形、円筒形、またはトロイダル（toroidal）であり、通常、目の中心に対して対称軸を有し、１００ｍｍ〜２００ｍｍの曲率半径を、またはユーザの頭部の前に好都合にかつコンパクトに適合することができる場合には他の半径を有する、バイザまたは他の部分反射面を含むことができる。センサが、集束システムおよびセンサを有するカメラの一部であり得るのに対して、バイザが十分に良好な集束を提供するように湾曲している場合、センサ部だけが使用され得ることにも留意されたい。いくつかの実施形態では、アイトラッキングは、ディスプレイ光による照明の結果として生じる目の画像を使用することができる。（上述したような）不可視ＩＲは、典型的に、追跡のための目の高コントラスト画像のために十分な照明を与えることができるが、代替的な実施形態では、不可視照明の代わりにまたはそれとともに、照明のために可視ディスプレイからの、緑色のような１つの成分を使用することが可能である。
【００４５】
本発明は、いくつかの実施形態に関連して説明されてきたが、それは、本明細書に記載される特定の形態に限定されるように意図されない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。追加的に、特徴は、特定の実施形態に関連して説明されるように見うけられ得るが、当業者であれば、説明される実施形態の種々の特徴が、本発明にしたがって組み合わせられ得ることを認識するであろう。特許請求の範囲では、「備える（comprising）」という用語は、他の要素またはステップの存在を除外しない。
【００４６】
さらに、特許請求の範囲における特徴の順序は、特徴が実行されなければならない任意の特定の順序を意味せず、特に、方法の請求項における個々のステップの順序は、ステップがこの順序で実行されなければならないことを意味しない。むしろ、ステップは、任意の適切な順序で実行され得る。加えて、単数の参照は複数を除外しない。ゆえに、「a」、「an」、「第１の」、「第２の」、等への参照は、複数を除外しない。特許請求の範囲では、「備える（comprising）」または「含む（including）」という用語は、他の要素の存在を除外しない。
【図１】
2021507301.tif 000003
【図２】
2021507301.tif 000004
【図３】
2021507301.tif 000005
【図４】
2021507301.tif 000006
【図５】
2021507301.tif 000007
【図６】
2021507301.tif 000008
【図７】
2021507301.tif 000009
【国際調査報告】
2021507301.tif 000010
2021507301.tif 000011
2021507301.tif 000012