(57)【要約】ヒトの目（１５０）の熟視方向を得るための装置（１００）は、導光光学素子（ＬＯＥ）（１２０）を含み、導光光学素子（ＬＯＥ）（１２０）は、目（１５０）に対向して展開した対の平行面（１０４ａ）（１０４ｂ）を持っている。１組の部分的反射面（１４５）などの内結合構成はＬＯＥ（１２０）に関連づけられ、ＬＯＥ内で広がるように面（１０４ａ）に入射光の一部を内結合するために構成される。ＬＯＥ（１２０）に関連づけられた集光光学部（１０６）は、ＬＯＥ内で広がる平行光線の組を捕らえられた光の集束ビームに変換する。集束ビームは光学センサ（１２５）によって感知される。処理システム（１０８）は、目の現在の熟視方向を得るために、光学センサ（１２５）からの信号を処理する。ＬＯＥの隙間を組み合わせる影響にもかかわらず、網膜像は、有効に光学センサに集光するようにもたらされた唯一の画像情報として回復することができる。【選択図】図５
2020504832.tif 000002
【特許請求の範囲】
【請求項１】
ヒトの目の熟視方向を得るための装置であって、
前記装置は、
（ａ）透明材料から形成され、内面反射によって光をガイドするために対の平行面を有する導光光学素子（ＬＯＥ）であって、前記平行面の１つが目に対して対向して展開された導光光学素子（ＬＯＥ）；
（ｂ）前記ＬＯＥに関連した内結合構成であって、前記ＬＯＥの内部で広がるように内結合領域内の前記平行面の１つで入射光の広がりを内結合するように構成された内結合構成；
（ｃ）前記ＬＯＥに関連づけられ、前記ＬＯＥの内で広がる平行光線のセットを捕らえられた光の集束ビームに変換するために構成された集光部；
（ｄ）前記捕らえられた光を感知するために展開された光学センサ；及び
（ｅ）少なくとも１つのプロセッサーを含む処理システムであって、当該処理システムは前記光学センサに電気的に関連付けられ、目の現在の熟視方向を得るために前記光学センサからの信号を処理するように構成された処理システム
を含み、
前記内結合構成は前記ＬＯＥ内で広がる光線を生成するように構成され、各光線は対応する入射光線の入射方向を示す方向を有し、複数の離間した平行な入射光線が、前記ＬＯＥ内で広がる単一光線に組み合わせられてなる
ことを特徴とするヒトの目の熟視方向を得るための装置。
【請求項２】
前記内結合構成は複数の部分的反射面を含み、前記複数の部分的反射面は平行面に対してＬＯＥ内で傾斜して展開されてなる請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項３】
前記内結合構成は、前記平行面の１つに関連付けられた回折光学素子を含む請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項４】
前記光学センサは４つのコドラント・センサーを含む請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項５】
前記光学センサは複数の画素検出部を含み、前記処理システムは約１０４もの画素検出部からの出力を処理する請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項６】
前記内結合領域の方向から目を照射するために展開された照射配列を更に含む請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項７】
前記照射配列はＬＯＥへ照射を導入するように構成され、その結果、前記照明が前記対の平行面で反射によって前記ＬＯＥ内で広がり、前記内結合構成によって目の方へ結合される請求項６に記載のヒトの目の熟視方向を得るための装置。
【請求項８】
透明材料から形成された照射導光素子をさらに含み、内面反射によって光をガイドするために対の平行面を持っており、前記照明光ガイド素子は前記ＬＯＥと重複する関係をとる際に展開され、前記照明配列は照明光ガイド素子へ照明を導入するように構成され、その結果、前記照明が対の平行面で反射によって前記照明光ガイド素子内で広がり、前記外結合構成によって目の方に結合され、当該外結合構成は照明光ガイド素子に関連づけられる請求項６に記載のヒトの目の熟視方向を得るための装置。
【請求項９】
前記照射配列は前記処理システムに関連付けられ、前記処理システムは、パルス持続時間をもつ照射パルスを生成するために照射配列を作動し、前記処理システムは前記光学センサから得られた信号を処理し、前記光学センサから得られた信号は、前記パルス持続時間中に捕らえられた入射光に対応する請求項６に記載のヒトの目の熟視方向を得るための装置。
【請求項１０】
通過帯域スペクトルフィルターをさらに含み、与えられた範囲外の波長の光が前記光学センサに到達するのを妨害するように展開され、前記照射配列は、主として与えられた範囲内の照射を生成する請求項６に記載のヒトの目の熟視方向を得るための装置。
【請求項１１】
前記与えられた範囲の波長は、電磁放射スペクトルの非可視域内にある請求項１０に記載のヒトの目の熟視方向を得るための装置。
【請求項１２】
前記照射配列は複数の別々に制御された照射画素を含み、前記処理システムは目の網膜の選択された領域に対応する方向に沿って選択的に照射するように光学センサに達してから前記照射画素を選択的に作動させる請求項６に記載のヒトの目の熟視方向を得るための装置。
【請求項１３】
目の熟視方向の進行中の追跡の間、網膜の前記選択された領域は目の視神経円板を含む領域である請求項１２に記載のヒトの目の熟視方向を得るための装置。
【請求項１４】
前記処理システムは、目の網膜からの反射に対応する強度分布のセンターを得るために前記光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項１５】
前記処理システムは目の網膜の少なくとも１つの顕著な特徴の位置を検知するために、前記光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項１６】
前記処理システムは目の網膜中の血管のパターンを追跡するために、前記光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項１７】
平行にされた画像を前記ＬＯＥに導入するように前記ＬＯＥに結合された画像プロジェクタをさらに含み、その結果、平行にされた画像が前記ＬＯＥ内の内面反射によって広がり、内結合構成によって目に向かって前記ＬＯＥの外に結合される請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項１８】
前記画像プロジェクタは前記処理システムに関連付けられ、前記処理システムは、パルス持続時間をもつ照射パルスを生成するために前記画像プロジェクタを作動させ、前記処理システムは、前記パルス持続時間中に捕らえられた入射光に対応する光学センサから得られた信号を処理する請求項１７に記載のヒトの目の熟視方向を得るための装置。
【請求項１９】
前記処理システムは投影された画像の選択されたサブセクションに一致するように前記パルスを生成し、その結果、前記パルスが投影された画像の認知に寄与する請求項１８に記載のヒトの目の熟視方向を得るための装置。
【請求項２０】
ユーザーであるヒトの頭に対して装置を支持するための支持構成をさらに含み、その結果、ユーザーの第１の目に対向して前記ＬＯＥが展開され、
前記装置は、
（ａ）透明材料から形成され、内面反射によって光をガイドするために対の平行面を持っている第２の目の導光光学素子（ＬＯＥ）であって、前記平行面の一つが、ユーザーの第２の目に対向して展開された第２の目の導光光学素子（ＬＯＥ）；
（ｂ）前記第２の目のＬＯＥに関連づけられた内結合構成であって、前記ＬＯＥの内部で広がるように内結合領域内の平行面の１つで入射光の広がりを内結合するように構成された内結合構成；
（ｃ）前記第２の目のＬＯＥに関連づけられた集光光学部であって、
ＬＯＥ内で広がる平行光線の組を捕らえられた光の集束ビームに変換するために構成された集光光学部；および
（ｄ）前記捕らえられた光を感知するために展開された第２の目の光学センサであって、前記処理システムは第２の目の光学センサに電気的に関連づけられ、ユーザーの目の現在の熟視方向を得るために、前記光学センサの両方からの信号を処理ように構成されてなる請求項１に記載のヒトの目の熟視方向を得るための装置。
【請求項２１】
次の工程を含む方法であって：
（ａ）請求項１〜２０のうちのいずれかの装置を提供する工程；および
（ｂ）目の現在の熟視方向を得るために、光学センサからの信号を処理する工程、を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は目の追跡に関するものであって、特に目の追跡器と、導光光学素子によるレチナールイメージング（ｒｅｔｉｎａｌ  ｉｍａｇｉｎｇ）に基づいてヒトの目の熟視方向を追跡するための対応する方法に関し、とりわけニアアイディスプレイ（ｎｅａｒ−ｅｙｅ  ｄｉｓｐｌａｙ）の一部として統合に適しているものに関する。
【背景技術】
【０００２】
ニアアイディスプレイあるいはヘッドアップ・ディスプレイのための光学配置は観測者の目が位置する領域（アイモーションボックス（ｅｙｅ  ｍｏｔｉｏｎ  ｂｏｘ））をカバーする大きな隙間を必要とする。コンパクトな装置を実装するために、画像は、大きな隙間を生成するために増加する小開口を有する小さな光学画像ジェネレーター（プロジェクタ）によって広がる。
【０００３】
１次元での隙間増加のアプローチは、透明材料を平行に対向させたスラブに基づいて開発され、該スラブ内で画像が内面反射によって進む。画像・ウェーブフロントの一部は、傾斜して角度を付けられた部分的な反射器の使用、あるいはスラブの１つの表面上での回折光学素子の使用のいずれかによって、スラブの外側に結合される。そのようなスラブは、本明細書において「導光光学素子」、「光の送信する基板」あるいは「導光路」と言う。そのような隙間増加の原理は、図１−４に概略的に例証される。
【０００４】
図１は、内面反射によって光をガイドするために１対の平行な表面（２６）、（２６Ａ）を有する導光光学素子（２０）を示す。投影画像（１８）は、ビームをまたがるサンプル光線（１８Ａ）、（１８Ｂ）および（１８Ｃ）を含む照射（１８）のビームによって、本明細書において概略的に表わされるように、導光光学素子に結合され、反射光線（２８）を生成するように第１の反射面（１６）によって本明細書において概略的に例証されるように、反射光線は、また光線（３０）を生成して、基板内の内面反射によって閉じ込められる。画像は、平行な表面（２６）、（２６Ａ）に対して傾斜した角度で一連の部分反射面（２２）に進入しながら、繰り返された内面反射によって基板に沿って広がり、そこで、画像強度の一部が、光線（４８Ａ）、（４８Ｂ）として基板の外で結合されるように反射される。ゴースト像を生じさせる望まれない反射を最小限にするために、部分的に反射する表面（２２）は、好ましくは投射角の第１の範囲に対し低反射率を有するようにコーティングされ、その間に図２Ａおよび２Ｂで例証されるように例えば投射角の第２の範囲のために所要の部分的な反射率を有し、そこで、部分的に反射面（３４）に対して垂線に対する僅かな傾斜をもつ光線（３２）が、外で結合する反射光線を生成するために分割され（図２Ａ）、同時に（直角線に対して）高い傾きの光線（３６）（図２Ｂ）が、無視できる反射で伝達される。
【０００５】
図３は、画像の外で結合するために回折光学素子（２３）を使用して実装された対応する構成を例証し、本明細書に示された例において、画像（１８）の中で結合される別の回折光学素子（１７）を例証する。当該技術で知られているように、回折光学素子は、基板の上部又は下部表面のいずれかの上で展開され得る。
【０００６】
両方の場合で、投影された画像（１８）は平行にされた画像である、即ち各画素は観測者から遠いシーンからの光と等価な対応する角度で平行光線のビームによって表わされる。本明細書において画像は、画像中の単一の点、典型的には画像の重心、に対応する光線によって単純に表される、しかし実際には、この中央のビームの各サイドへの角度の範囲を含み、角度の対応する範囲で基板内に内結合され（ｃｏｕｐｌｅｄ  ｉｎ）、同様に対応する角度で外結合され（ｃｏｕｐｌｅｄ  ｏｕｔ）、それによって観測者の目（２４）に対して異なる方向に到達する画像の部分に対応する視野を作成する。
【０００７】
図１および３の隙間の増加が図面の左右方向に対応して、１次元に沿って生じる。ある場合には、同様のアプローチが図４で示されるように二次元に採用される。この場合、第１の導光路（２０ａ）は内結合の反射器（１６ａ）と、部分的に反射する外結合の表面（２２ａ）を有し、光学の入力を内結合反射器（１６ｂ）と部分的に反射する外結合面（２２ｂ）をもつ第２の導光路（２０ｂ）に提供し、このように、入力光線（９０）によって表わされる画像は、二次元で拡張した出力隙間を提供するために、二次元で連続的に増加する。本明細書において、外結合用の部分的に反射する表面を使用して説明したが、拡張の１つあるいは両方が回折光学素子を使用して実行され得る。
【０００８】
隙間増加によって達成される比較的大出力隙間は、複数に離間して分割される各入力画像光線において生じることは注目されるだろう。図１および３において、これは、入力光線（１８Ａを分割することで得られる複数の外結合光線（４８Ａ）、および入力光線（１８Ｂの分割により得られる複数の外結合光線（４８Ｂ）によって表わされる。同じことが図４の２次元の拡張について同じことが言える。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の一態様は目の追跡器および導光光学素子によるレチナールイメージングに基づいたヒトの目の熟視方向を追跡するための対応する方法を提供し、ニアアイディスプレイの一部として統合に特に適している。
【課題を解決するための手段】
【００１０】
本発明の実施形態の教示によれば、ヒトの目の熟視方向を得るための装置が提供され、当該装置は、
（ａ）透明材料から形成され、内面反射によって光をガイドするために対の平行な面を有する導光光学素子（ＬＯＥ）であって、前記平行な面の１つが目に対して対向して展開された導光光学素子（ＬＯＥ）；
（ｂ）前記ＬＯＥに関連づけられた内結合構成であって、前記ＬＯＥの内部で広がるように内結合領域内の平行な面の１つで入射光の広がりを内結合するように構成された内結合構成；
（ｃ）前記ＬＯＥに関連づけられ、前記ＬＯＥの内で広がる平行光線のセットを捕らえられた光の集束ビームに変換するために構成された集光部；
（ｄ）捕らえられた光を感知するために展開された光学センサ；および
（ｅ）少なくとも１つのプロセッサーを含む処理システムであって、前記処理システムは光学センサに電気的に関連づけられ、目の現在の熟視方向を得るために、前記光学センサからの信号を処理するように構成され、前記内結合構成は前記ＬＯＥ内で広がる光線を生成するように構成され、各光線は対応する入射光線の入射方向を示す方向を有し、複数の離間した平行な入射光線が、前記ＬＯＥ内で広がる単一光線に組み合わせられてなる処理システム
を含んでいる。
【００１１】
本発明の実施形態のさらなる特徴によれば、前記内結合構成は、平行な面に対して前記ＬＯＥ内で傾斜して展開された複数の部分的は反射面を含む。
【００１２】
本発明の実施形態のさらなる特徴によれば、内結合構成は、平行な面のうちの１つに関連した回折光学素子を含む。
【００１３】
本発明の実施形態のさらなる特徴によれば、光学センサは４つのコドラント・センサーを含む。
本発明の実施形態のさらなる特徴によれば、光学センサは複数の画素検出部を含み、前記処理システムは約１０４もの画素ピクセル検出部からの出力を処理する。
【００１４】
本発明の実施形態のさらなる特徴によれば、内結合領域の方向から目を照射するために展開した照射配列がさらに提供される。
【００１５】
本発明の実施形態のさらなる特徴によれば、照射協定は照射がペアの平行面で反射によってＬＯＥの内に繁殖し、内結合構成によって目の方へ連結されるように、ＬＯＥへ照射を導入するように構成される。
【００１６】
前記照射配列は前記ＬＯＥへ照射を導入するように構成され、その結果、照射が対の平行面で反射によって前記ＬＯＥ内で広がり、内結合構成によって目の方へ結合される。
【００１７】
本発明の実施形態のさらなる特徴によれば、照射光ガイド素子がさらに提供され、該照射光ガイド素子は透明材料および内面反射によって光をガイドするために対の平行面を有し、前記照射光ガイド素子は前記ＬＯＥとの関係を重複させる際に展開され、前記照射配列は照射光ガイド素子へ照射を導入するように構成され、その結果、照射が対の平行面で反射によって照射光ガイド素子内で広がり、外結合構成によって目の方に結合され、当該外結合構成は照射光ガイド素子に関連づけられる。
【００１８】
本発明の実施形態のさらなる特徴によれば、照射配列は処理システムに関連付けられ、前記処理システムはパルス持続時間をもつ証明パルスを生成するために照射配列を始動し、前記処理システムはパルス持続時間中に捕らえられた入射光に対応する光学センサから得られた信号を処理する。
【００１９】
本発明の実施形態のさらなる特徴によれば、与えられた波長の外側の波長の光が光学センサに到達しないように妨害するために、通過帯域スペクトルフィルターが提供され、照射配列は、主として波長の与えられた範囲内の照射を生成する。
【００２０】
本発明の実施形態のさらなる特徴によれば、波長の与えられた範囲は、電磁放射スペクトルの非可視域内にある。
【００２１】
本発明の実施形態のさらなる特徴によれば、照射配列は複数の別々に制御された照射画素を含み、前記処理システムは選択的に目の網膜の選択された部位に対応する指示に沿って選択的に明るくなるように照射画素を始動させる。
【００２２】
本発明の実施形態のさらなる特徴によれば、目熟視方向の進行中の追跡の間に、網膜の選択された領域は目の視神経円板を含む領域である。
【００２３】
本発明の実施形態のさらなる特徴によれば、前記処理システムは目の網膜からの反射に対応する強度分布の中心を引き出す、光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する。
【００２４】
本発明の実施形態のさらなる特徴によれば、前記処理システムは目の網膜の少なくとも１つの顕著な特徴の位置を検知するために、光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する。
【００２５】
本発明の実施形態のさらなる特徴によれば、前記処理システムは目の網膜中の血管のパターンを追跡するために、光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する。
【００２６】
本発明の実施形態のさらなる特徴によれば、ＬＯＥへ平行にされた画像を導入するように該ＬＯＥに結合された画像プロジェクタがさらに提供され、その結果、平行にされた画像が前記ＬＯＥ内の内部反射によって広がり、内結合構成によって目の方に前記ＬＯＥの外に結合される。
【００２７】
本発明の実施形態のさらなる特徴によれば、前記画像プロジェクタは前記処理システムに関連付けられ、前記処理システムは、パルス持続時間をもつ照射パルスを生成するために画像プロジェクタを始動させ、前記処理システムは、パルス持続時間中に捕らえられた入射光に対応する光学センサから得られた信号を処理する。
【００２８】
本発明の実施形態のさらなる特徴によれば、前記処理システムは投影画像の選択されたサブセクションに一致するようにパルスを生成し、その結果、パルスが投影画像の認識に寄与する。
【００２９】
本発明の実施形態のさらなる特徴によれば、ユーザーであるヒトの頭に対して装置を支持するための支持構成がさらに提供され、その結果ＬＯＥがユーザーの第１の目に対向させて展開される。前記装置は、
（ａ）透明材料から形成された第２の目の導光素子（ＬＯＥ）であって、当該第２の目の導光素子（ＬＯＥ）は、内部反射によって光をガイドするために対の平行面を有し、前記平行面の１つがユーザーの第２の目と対向して展開されてなる第２の目の導光素子（ＬＯＥ）；
（ｂ）前記第２の目のＬＯＥに関連づけられた内結合構成であって、前記ＬＯＥ内で広がるように内結合領域内の前記平行面の一つで入射光の広がりを内結合させるように構成された内結合構成；
（ｃ）前記第２の目のＬＯＥに関連づけられた集光部であって、前記ＬＯＥの内で広がる平行光線のセットを捕らえられた光の集束ビームに変換するように形成されてなる集光部；及び
（ｄ）捕らえられた光を感知するために展開された第２の目の光学センサ
を更に備え、
前記処理システムは第２の目の光学センサに電気的に関連づけられ、ユーザーの目の現在の熟視方向を得るために、光学センサの両方からの信号を処理するように構成されている。
【００３０】
また、本発明の実施形態の教示に従って方法が提供され、当該方法は、
（ａ）上記の変形例のいずれかによって装置を提供する工程；及び
（ｂ）目の現在の熟視方向を得るために光学センサからの信号を処理する工程
を含んでいる。
【図面の簡単な説明】
【００３１】
本発明の典型的な実施形態は、添附図面に関して、あくまでも一例として本明細書に記載される。
【図１】ニアアイディスプレイで使用するための、部分的に反射面を使用する上述の先行技術の導光光学素子の概略側面図である。
【図２Ａ】図１の先行技術のディスプレイで使用される部分的反射面の選択的角度の反射特性の概略図である。
【図２Ｂ】図１の先行技術のディスプレイで使用される部分的反射面の選択的角度の反射特性の概略図である。
【図３】ニアアイディスプレイで使用するために、回折光学素子を使用する上述した先行技術の導光光学素子の概略側面図である。
【図４】図１のものに類似した２つの導光光学素子の組み合わせに基づいた上述の先行技術の光学隙間拡張配列の概略等角図である。
【図５】ニアアイディスプレイに組み付けられたヒトの目の熟視方向を追跡するための本発明の実施形態に従って構築され動作する装置の部分概略等角図である。
【図６Ａ】第１の好ましい実施形態による図５の装置の光学構造の概略側面図である。
【図６Ｂ】第１の好ましい実施形態による図５の装置の光学構造の概略正面図である。
【図７Ａ】第２の好ましい実施形態による図５の装置の光学構造の概略側面図である。
【図７Ｂ】第２の好ましい実施形態による図５の装置の光学構造の概略正面図である。
【図８】光学信号および光学バックグランドノイズの様々なソースを例証する本発明の装置の概略図である。
【図９Ａ】カメラへの光学通路に沿った光学信号の連続する強度損失を例証する概略フロー図である。
【図９Ｂ】カメラへの光学通路に沿った光学バックグランドノイズの連続強度損失を例証する概略フロー図である。
【図１０】通常の画像チャネルと追跡照射チャネルの間の画像データの細別を空間的に例証する概略図である。
【図１１】通常の画像チャネルと追跡照射チャネルの間の画像データの一時的な細別を例証する概略図である。
【図１２】本発明の一態様による目の追跡のために選択的な照射を提供する過程を例証するフロー・チャートである。
【図１３】追跡アルゴリズムで使用される様々な候補の特徴を示すヒトの目の眼底の画像である。
【図１４】視神経円板を通過する面において窩からの角度の関数としてヒトの目の中の桿体光受容体と錐体光受容体の数の変化を例証するグラフである。
【図１５】スペクトルの可視光領域及び赤外領域の波長の関数としてヒトの網膜の反射率の変化を例証するグラフである。
【図１６】ヒトの目の異なる種類の錐体光受容体および桿体光受容体の波長応答を例証するグラフである。
【図１７Ａ】更に好ましい実施形態による図５の装置の光学構造の概略側面図である。
【図１７Ｂ】更に好ましい実施形態による図５の装置の光学構造の概略正面図である。
【図１８Ａ】また更に好ましい実施形態による図５の装置の光学構造の概略側面図である。
【図１８Ｂ】またさらに好ましい実施形態による図５の装置の光学構造の概略正面図である。
【図１８Ｃ】さらなる変形実施形態を例証する図１８Ｂに類似した図である。
【図１９】図５の装置で使用するために組み合わされた可視画像プロジェクタ、赤外線照射及び画像システムの光学構造の概略正面図である。
【図２０】図５の装置で使用するための更なる変形例によって組み合わされた可視画像プロジェクタ、赤外線照射及び画像システムの光学構造のさらなる概略正面図である。
【図２１Ａ】異なる入射角に対する鏡のような反射および拡散する反射の幾何学的特徴を例証するヒトの目の概略側面図である。
【図２１Ｂ】角度の関数として網膜からの照射の反射における変化（瞳孔のオフセットを変化させて変更される）を例証する理論計算に基づいたグラフである。
【図２１Ｃ】実験データに基づいた図２１Ｂに類似したグラフである。
【図２１Ｄ】照射波長の関数として網膜の反射率の変化を例証するグラフである。
【図２２】角度選択的な追跡照射の場合に図５の装置の目の追跡サブシステムによって得られた追跡画像の概略図である。
【図２３】さらに好ましい実施形態による図５の装置の光学構造の側面図であり、専用導光光学素子が網膜像のサンプリング用に設けられる。
【発明を実施するための形態】
【００３２】
本発明の実施形態は、導光光学素子によるレチナール画像に基づいたヒトの目の熟視方向を追跡する装置、及び対応する方法を提供し、ニアアイディスプレイの一部としての統合に特に適している。
【００３３】
本発明による目の追跡装置の原理および動作は、図面および添付の明細書を参照して更に理解され得る。
【００３４】
ここで図面を参照すると、図５−２３は、ヒトの目（１５０）の熟視方向を得るために本発明の種々の実施形態に従って構築され、動作する一般的に（１００）で示された装置の構造及び動作の種々の態様を例証している。
【００３５】
はじめに、多くの応用、とりわけヘッドアップ・ディスプレイあるいはニアアイディスプレイのコンテキストにおいて、ユーザーの熟視方向を決定するために目の追跡配列を提供することは有用である。目の追跡を行なうための共通の１つのアプローチは、目の画像をサンプリングすることであり、典型的には、画像内の瞳孔の位置を決定する目的とし、それによって目の配向を得る。
【００３６】
目の追跡のために画像をサンプリングする図１又は３のものに類似した原理で動作する導光光学素子を採用することは特に有利だろう。しかしながら入力画像から出力画像までの１対多数の関係は、図１および３を参照して記載されているが、逆方向のサンプリング光における多数対１の逆関係を引き起こす。特に、画像のサンプリングのために逆方向で図１又は３の隙間増加配列を使用することは、システムの視野の異なる部分から基板上への複数の平行光線の入射の重ね合わせを行なうだろう。参照符号（４８Ａ）が付された多数の光路の逆に対応する光路に沿って到達する光は、すべて光線（１８Ａ）の反転路に沿った出力光線に組み合わせられ、また、光線（４８Ｂ）の反転路に沿った類似の多数の入射光線は、光線（１８Ｂ）の反転路に組み合わせられる。更に集光光学部が画像センサ上で導光光学素子によって捕らえられた光を集光させるために使用される場合、全視界から平行光線光路に沿って基板に投影したすべての捕らえられた光は、組み合わされて、単一の画素センサに落ちる。角膜、鞏膜、まぶたおよび顔面の組織の表面からの光が、典型的には全方向に散乱する（Ｌａｍｂｅｒｔｉａｎ  ｒｅｆｌｅｃｔｉｏｎ）ので、視野の表面はすべて典型的には画像のすべての画素に対する放射に寄与する。これらの理由で、導光光学素子に投射する光からの画像を分解しようとするのは実現可能であると一般に考えられなかった。
【００３７】
本発明は、上記の難題にもかかわらず、本明細書に記載するように、導光光学素子によって捕らえられた光からの目の熟視方向の決定に有効であることが分かった装置および方法を提供する。具体的には、本発明の特に好ましい実施形態は、ヒトの目（１５０）の熟視方向を得るための装置（１００）を提供し、この装置（１００）は透明材料から形成され、内部反射によって光をガイドするために、対の平行面（１０４ａ）、（１０４ｂ）を有する導光光学素子（ＬＯＥ）（１２０）を含んでいる。ＬＯＥ（１２０）は目（１５０）に対向する平行面（１０４ａ）のうちの１つで展開される。１組の部分的な反射面（１４５）などの内結合構成は、ＬＯＥ（１２０）に関連付けられ、ＬＯＥの内部で広がるように内結合領域内の面（１０４ａ）で入射する光の一部を内結合するように構成される。集光光学部（１０６）はＬＯＥ（１２０）に直接的に又は間接的に関連づけられ、ＬＯＥ（１２０）内で広がる、捕捉光を受け入れ、ＬＯＥ内で広がる平行光線の組を捕捉光の集束ビームに変換する。集光光学部（１０６）は好ましくは光学センサあるいは「カメラ」（１２５）に統合され、光学センサあるいは「カメラ」（１２５）は捕捉光を感知するために展開される。少なくとも１つのプロセッサーを含む処理システム（１０８）は電気的に光学センサ（１２５）に関連付けられ、目の現在の熟視方向を得るために光学センサ（１２５）からの信号を処理するように構成される。
【００３８】
内結合構成は如何なる内結合配列であり得る。該内結合配列は、ＬＯＥ内の内部反射を介して広がる角度に対する入射放射の一部をそらし、各光線は、入射光線に対応する入射方向を示す方向を有する。適切な内結合構成は図示されるような１組の部分反射面（１４５）および回折光学素子を含んでいる。
【００３９】
上述されるように、動作の逆（センサー）モードでは複数の離間した平行入射光線がＬＯＥ内で広がる単一光線に組み合わせられることはＬＯＥの隙間増加構成の固有の特徴である。しかしながら、網膜のイメージングについては、平行光線の結合は、画像の導出を排除しない。特に離れたシーン（あるいは離れたシーンと等価な平行投影画像）に焦点を置いた目のために、接眼レンズは、もし存在するなら如何なる矯正眼鏡レンズと共に、網膜に焦点を置いた画像を生成する。遠距離場の画像を形成するために、接眼レンズ（及び存在するなら、矯正眼鏡レンズ）によって網膜の表面から反射された如何なる光も有効に平行にされることになり、網膜像の各特徴は光の平行光線のビームに対応する。したがって、網膜像は保存されている。なぜなら平行光線はＬＯＥによって集光され、縮小された隙間に向けられ、光学センサ（１２５）に向けて集光光学部（１０６）によって集光されるからである。感知された画像データは、目の近距場外表面からの多くの散乱光および周囲の組織を含むが、近距離場照射は、角度空間内で大雑把には一様に分布される、それによって、サンプリングされた画像中のフラットなバックグランドノイズを生成する。網膜の反射画像による、変調および（または）特徴だけが、画像内でコントラストを生成し、それによって、観測者の現在の熟視方向の測定を促進する。これらおよび他の本発明の特徴は次の詳細な説明からより明確になるだろう。
【００４０】
ここで特に図６Ａおよび６Ｂを参照すると、これは、本発明の装置（１００）の限定しない１つの典型的な実施形態を示し、光学的な隙間増加を採用するニアアイディスプレイ配列を通じて追跡が実行される。図示されるような構成はつぎの２つの導光光学素子の組み合わせに基づく。即ち、第１の次元（図６Ｂで示されるような左から右）でプロジェクタの画像隙間を拡張する第１のＬＯＥ（１１０）、および第２の次元（本明細書で例証されるように頂部から底部）で画像隙間を拡張する第２のＬＯＥ（１２０）である。画像プロジェクタ（１０２）は、ＬＯＥ（１１０）への偏光選択的なビーム分割器（ＰＢＳ）１０５を通って光を投影する（実線の矢で示される）。本明細書で例証されるような実施形態の限定されない１つの特に好ましい組み合わせにおいて、ＬＯＥ（１１０）は「２Ｄ導光路」であり、それは相互に直角の２対の表面を有することを意味し、該２対の表面は、ＬＯＥ（１１０）に沿って画像が広がるように二次元で画像をガイドするように機能する。ＬＯＥ（１２０）は「ＩＤ導光路」であり、「スラブ型導光路」を定義する１対の平行な主表面を有することを意味し、該「スラブ型導光路」は１次元で画像をガイドする。図７Ａおよび７Ｂの中で例証されるような他の実施形態で、装置（１００）はたった１つの導光路（ＬＯＥ１２０）を使用して実装され得る。本明細書で例証されるような後者の場合は、傾けられたプロジェクタ内結合構成を採用する。ニアアイディスプレイのコンテキストでのそのような導光構成及び内結合（目の追跡なし）は、様々な文献で見つけることができ、国際公開第ＷＯ２０１５／１６２６１１号公報および国際特許出願第ＰＣＴ／ＩＬ２０１７／０５１０２８号（この出願は本出願の出願日の時点で公開されておらず、先行技術を構成しない）を含み、前記文献は本明細書においてあたかも完全に言及されるかのように全体が組込まれている。本明細書に例証された典型的な実施形態は、主として図６Ａおよび６Ｂの２つの導光路の実施形態に言及し、この実施形態はより複雑な実施形態であり、一方、単一の導光路実施のより単純な構造を実装するために要求される変形は、当業者には自明であろう。
【００４１】
ＬＯＥ（１１０）からＬＯＥ（１２０）への画像の結合は本明細書で示されるが、一連の内部で部分的に反射する表面（あるいは「ファセット」）（１４０）によって実行されるように示され、部分的に反射する表面（あるいは「ファセット」）（１４０）はＬＯＥ（１１０）の１つ又は両方の対の平行面に対して傾斜した角度で展開される。観測者の目に向かって第２のＬＯＥ（１２０）の外に連結されることが達成されるが、これは内部で部分的に反射する表面（「ファセット」）（１４５）の第２の組を使用することで達成され、内部で部分的に反射する表面（「ファセット」）（１４５）の第２の組は、図６Ａおよび７Ａの側面図で最も理解されるように、その基板の平行面に対する傾斜角度で展開される。当該技術で知られているように、ＬＯＥの１つ又は両方のファセットは、回折光学素子と取り替えられ得る。網膜（１２０）上の集中した画像を生成するために、プロジェクタ画像の結合された光は、対眼レンズ（１１５）（シーン補正が必要とされる場合は眼鏡レンズ（１１７）の援助と共に）によって集中する。
【００４２】
本発明の典型的な実施形態によれば、ニアアイディスプレーシステムは、観測者の網膜に存在するパターンをイメージングにより、観測者の目の視線を得る。その観測は導光路（１２０）および（１１０）を介して実行され、導光路（１２０）および（１１０）は、この場合観測者の目に画像を投影するために使用されたものと同じ導光路である。パターンの位置およびそれらの運動は、目の現在の視線および運動を示す。そのようなパターンは、図１３に示された網膜の画像で示される。血管（１５２）はパターンを生成し、該パターンは適切な画像処理命令によって実装された、適切な標準あるいは専用追跡アルゴリズムによって追跡することができ、画像処理命令は処理システム（１０８）によって実行される。窩（１５５）は、観測の方向を決定し、視神経円板（あるいは「盲点」）（１５７）は神経と血管が互いに近寄る特有の追跡することができる点である。
【００４３】
光のうちのいくつかは、レンズ（１１５）によって網膜の後ろに反射され（鎖線の矢として表された）、該レンズ（１１５）は、光を平行ビームに有効に平行にし、プロジェクタからの光が辿るのと同じ光路に沿って後ろに広がる。光の有効部分は失われる（さらに以下に記載される）、しかし説明の明確性のために、追跡に役立つ部分だけが示される。反射光の一部は導光路（１２０）に内結合される（ｃｏｕｐｌｅｄ−ｉｎ）ようにファセット（１４５）によってそらされ、導光路（１１０）に外結合される（ｃｏｕｐｌｅｄ−ｏｕｔ）ようにファセット（１４０）でそらされ、カメラ（１２５）へのＰＢＳ（１０５）によって反射される。いくつかの実施形態では、偏光スクランブラー（図示せず）がＰＢＳ（１０５）の前に置かれる。カメラ（１２５）は、プロジェクタ（１０２）に無限に相似して集光され、それによって、網膜の画像はカメラで生成される。
【００４４】
イメージングプロセスに役割を果たす照射の種々のソースは、図８に概略的に描かれる。導光路（１２０）は観測者（１００１）の目に対向して展開され、これはシーンの観測者の目が導光路を通過することを意味すること。外部光源（００２）破線の矢）は導光路と観測者を照射する。この外部光は連続的で、背景放射として光学系に入り込む。光学系（実線の矢）によって発生した光は観測者の網膜（１２１）および顔を照射する。網膜からの反射（一点鎖線の矢）は、関心のある信号であり、一方、非網膜組織表面からの反射（二点鎖線の矢）は、追加の背景放射であり、追加の背景放射は、システムの照射パターンと強度相関している。システム内の如何なる内部散乱は、観測者の顔から散乱した光と同じ特徴を有する。
【００４５】
すべての背景照射は、網膜画像の質を劣化させるノイズを引き起こす。本発明の態様に従って、外部照射源（１００２）の効果を弱めるために、短い光のパルス（好ましくは、１ｍｓ未満）が使用され、カメラはこの短い照射持続時間の間のみ光を統合するために同期される。このように、連続的な背景照射は非常に抑えられる。追加的に、あるいは代替的に、通過帯域スペクトルのフィルターは、波長の与えられた範囲外の波長の光を妨害するために展開されることができ、波長の与えられた範囲内で、目の追跡照射は光学センサに達することから生成される。
【００４６】
目の検出に必要な光の量を得るために、照射反射によって引き起こされる背景光の評価に従う（図８の二点鎖線の矢）。この評価、および本明細書において示された動作原理および計算値の他のすべての検討は、発明についてのより十分な理解を提供する目的でのみ与えられる、しかし、特許請求の範囲において明示的に記載された以外の方法で、本発明を限定してはならない。特に本明細書で示された如何なる特定の計算あるいは値が、後に不正確であること、或いは誤っていることが分かった場合、そのような事実は、本明細書に記載されたとおりの本発明の有用性を否定するものではない。
【００４７】
正常な背景表面は、パイ・ステラジアンまで光を反射する（表面がＬａｍｂｅｒｔｉａｎ  ｒｅｆｌｅｃｔｉｏｎに接近する反射光配分を生成する低い光表面であると仮定している）、一方、瞳孔はフラッシュ撮影中にしばしば観測される「赤目」効果に対応する方向性の反射を生成し、光学系背後から光学系内に受け取った光を反射する。従って、網膜から受け取られた光の強度は等価な背景表面より強い。さらに、近い「背景」表面からの照射が存在しない間、網膜からの画像はカメラ（１２５）の画像面で集光される。これは、背景に由来した網膜の画像と画像コンテンツを区別する能力を高める。
【００４８】
図９Ａおよび９Ｂは、目から追跡カメラ（１２５）までの背景照射のためのリターンパスの光エネルギー損失を表す。
【００４９】
明るい光の中のヒトの目の瞳孔は約４ｍｍ２である、一方、アイボックス（画像が見える領域であり、システムによって照射された領域に対応し、背景反射を生成する領域）が、およそ４００ｍｍ２であり得る。照射の量および散乱係数が信号と背景の両方に対してほぼ同じであると仮定すると、信号に対する反射した背景の比はＲ＝２ｘ１００＝２００である。（アイボックス内の外部組織が網膜の組織より約２倍反射し得ると仮定する。）次の方程式は、ショットのイズが制限されたカメラを仮定して、あらかじめ定められたＳＮＲの必要な信号を示す：
【００５０】
【数１】
2020504832.tif 000003
【００５１】
したがって、５つの必要とされるＳＮＲに対して、光子の要求される数は次式で表される。
【００５２】
【数２】
2020504832.tif 000004
【００５３】
ここで、「特徴」は、定義されたＳＮＲで検知される画素あるいはパターンで有り得る。
【００５４】
この計算では、他のバックグラウンド光がシステムに入り込まないと仮定された。したがって、本発明によれば、導光路端（図１の（１２６））は、好ましくは吸収するか、あるいは吸収筐体内に存在する。これは、光導波路中で広がると、背景放射がエネルギーを失うことを保証する、これは網膜からの信号と同じ方法で、エネルギーを獲得しない。
【００５５】
光学系に沿ったエネルギー透過率は、１つの制限しない例において以下のように近似することができる：
【００５６】
＊ファセット（１４５）のうちの１つを介して導光路（１２０）に２０％結合された、
＊（追加のファセット等を経て）導光路（１２０）に沿った透過率５０％、
＊（存在する場合）ファセット（１４０）を介して上部導光路（１１０）に２０％結合される、
＊導光路（１１０）に沿った透過率５０％、
＊ＰＢＳ（１０５）を介するなどしてカメラ（１２５）に５０％結合
＊カメラ（１２５）の光伝送および量子効率５０％。
【００５７】
上記のすべて透過率２．５ｅ−３での結果。変調伝達関数（ＭＴＦ）および内部散乱のような他の性能低下因数は、透過率２．５ｅ−４を引き起こすために１０の別の因数として近似することができる。
【００５８】
導光路（１１０）が存在しない実施形態では、透過率はより高く、そして、上記の評価を使用すると、約２．５ｅ−３になるであろう。
【００５９】
すべてのフレームの統合時間の間、ほぼ５０００／２．５ｅ−４＝２ｅ７の光子を受け取ることになる。３  ｅ−１９Ｊ（赤）の光子エネルギーについては、これは、ほぼ６ｅ−１２［Ｊ／統合時間／特徴／］、あるいは１ミリ秒の統合時間用の６／ｎＷ／特徴／である。これは実用的な照度である。
【００６０】
もし網膜の選択された部分だけが、以下にさらに検討される本発明の特定の実施形態（及びアイボックスの他の領域に達する光線の対応する選択された方向）で提案されたとおりに照射されるならば、背景散乱は大幅に縮小される。
【００６１】
目の追跡照射が観測者の投影された虚像の認識を混乱させないことを保証するように注意すべきである。多くのアプローチは下記の１つ以上を含む表示された画像の混乱を回避するために使用され得る。
【００６２】
＊低い強度を使用する；
＊投影された画像の一部として追跡照射を組み合わせる；
＊網膜の無感覚又は無関係の領域に向けられた選択的な追跡照射；
＊目が無感覚な波長で機能するが、光学部は送信することができ、カメラは検知することができるように追跡照射波長を選択する。
つぎのものは各々別々に提案される。
【００６３】
低い強度：
【００６４】
このアプローチによれば、高度に敏感で、低い内部雑音を有するカメラを使用することが好ましく、それによって低照度強度でさえ良好なＳＮＲを備えた網膜の有効なイメージングを可能にする。これは、十分に低い強度追跡照射の使用を可能にし、観測者はその照射に気づかないだろう。
強度は、上述したＳＮＲ計算を更に満たすべきである。
【００６５】
照明を組み合わせること：
【００６６】
目の追跡照射は投影画像の一部として組込まれ得る。照射は、画像投影の間に、あるいは図１０に描かれるような個別のタイムスロットに存在し得る。この例において、タイムスロット「ａ」の間での画像プロジェクトは、見当たらない領域、或いは抑えられた領域を備えた画像を投影する。この照明は、比較的長い持続時間（例えば約１０ミリ秒）になりえる。タイムスロット「ｂ」の間で、相補的な画像はより長いパルス、より高い強度で短いパルス（例えば約１ミリ秒の持続時間）として照射され、画像プロジェクトを完了することに加えて目の追跡照射として役立つ。右手の画像は、２つの照射期間を統合する脳によって知覚されるものを表わす。相補的な画像は、色分解のうちのいずれか１つ、あるいは表示色の組み合わせであり得、そして任意の選択された位置あるいは画像内の位置に存在し得る。この照射のための好ましい「パターン制御」の１つの例が以下に述べられる。
【００６７】
図１０の表現がプロジェクタの画像面に関するものであり、かつ網膜上に形成された画像であることは注目されるべきである。導光路内で、およびアイボックス内の導光路を出る光において、角画素は、特定の角度の方向を持つ広い平行ビームに対応する。図１０に概略的に例証されるような選択的なパターンの使用、タイムスロット「ｂ」は、視野内の少数の選択された角度方向での照射に対応する。
【００６８】
照射パターン制御：
【００６９】
特に画像発生器（１０２）（図６Ｂ又は７Ｂにおいて）が目の追跡照射を生成するために使用される場合、網膜上の照射パターンを便利なように制御することは可能であり、それによって、関心領域だけを照射し知覚された画像に対する混乱を減少する。そうするために、照射の時系列は画像投影タイミングと組み合わせるべきである。そのような実施形態の時間管理の一例は図１１に描かれる。特定の実施形態では、１組の発光源はカラーをすべて生成するために順に活性化される。各光源がそれぞれ照射しているとき、変調行列（ＬＣＯＳ、ＬＣＤあるいはＭＥＭＳ）はこのカラーの必要な画像を生成する。すべての画素の変調と共に速いシーケンスの個々のソースの組み合わせは、観測者の網膜上の細胞によって知覚されるように、画像中のすべての画素の必要なカラーを生成する。本発明の特定の実施形態によれば、追加の時間スロットは、照射のシーケンスへ導入される（アイトラッカーパルスと記載されている）。このタイムスロットでは、ソース（カラー）、あるいはソースおよび（または）専用視標追跡波長ソース（以下に説明される）の組み合わせの１つは、短いパルスとして活性化され、網膜の単に必要な部分だけを照射するために、照射パターンは変調器によって決定される。処理システム（１０８）は、このパルス時間中にのみ光電子を統合するために目追跡カメラ（１２５）を作動する。
【００７０】
この選択された照射パターンは背景ノイズを著しく縮小する、なぜなら、追跡される網膜の選択された領域が完全に照射されるからである。しかし、アイボックス領域に広がって送達される放射線のトータル量は、画像において「能動的である」画素の割合に従って縮小される。
【００７１】
照射パターンは網膜上の関心のある特定の箇所にのみ集中させることができる、例えば視神経円板（図１３中の「ブラインドスポット」（１５７））において集光させることができる。視神経円板は光に対して最小の感知性の血管がパターン化する特性を有する。観測者の実際の視線は、この先端部からの角度のオフセットとして計算される。実際の視線を引き出し追跡する、限定されない、特に好ましい方法は、図１２に描かれる。最初の３ステップは、網膜パターンを写像し、追跡する特徴を決定する最初のセットアップ過程である。その一方で後のステップは連続的な追跡プロセスを表わしている。具体的には、工程（２１０）において、画像マーカーは、初期設定中に観測者が見るために、観測者に表示される。観測者がマーカーに目を向けている間、眼底（網膜の可視部）は、短いパルス（工程（２１２））によって完全に照らされ、眼底の完全な画像が得られた。その後、典型的には視神経円板および窩（工程（２１４））を含む追跡することができる特徴を識別するために、この画像は処理システム（１０８）によって処理される。その後、視点方向の進行中の追跡は以下のように進む。選択された関心領域（ＲＯＩ）は選択的に照射され、典型的には、図１０および１１（工程（２１６））に関して上述されるように照射順序により、画像は対応する照射パルス（工程（２１８））中にサンプリングされる。生じる画像は目標のカレントラインを決定するために処理され（工程（２２２））、目標のこの得られたラインは照射サイクルの後のサイクルの間に関心領域の位置を更新する（工程（２２４））ために使用され、追跡プロセスは工程（２１６）に戻る。追跡測定の頻度は、目の運動の速度の大きさと比較されると仮定し、この更新処理は典型的には連続的な追跡を維持するのに有効であり、随意に別の目からの追跡情報に組み合わされた。視線の方向が変わるように、照射領域も変わる。関心領域の更新は、最後のサンプリングされた画像から決定されるように「現在の」熟視方向によって実行され得るか、あるいは、特定の場合に、従来の２つ以上の測定間の目の運動に基づいた予測的な外挿法を使用し得る。追跡が失敗する場合、照射領域の大きさは一時的に増加され得る場合があり、ついで、追跡することができる特徴が回復される。
【００７２】
本発明の特定の特に好ましい実施形態によれば、目の追跡配列は被験者の両方の目を同時に追跡するために二重にされる。２つの目の追跡具（ｅｙｅ  ｔｒａｃｋｅｒ）からのデータを組み合わせることによって、追跡の増強された安定性および連続性を達成することは可能であり得る。例えば、目が移動している間、視神経円板（１５７）は一方ではなく他方の目の追跡具で見え、他方の追跡具では見えない。盲点の追跡を使用する追跡アルゴリズムが使用される場合、両方の目のための同時の追跡は、１つの目の追跡具だけが盲点を追跡することができる期間を通じて追跡が連続的に維持されることを可能にする。
【００７３】
波長選択：
図１４−１６を参照すると、スペクトル感度も目の追跡照射中に目の刺激を最小限にするために使用することができる。図１４で示されるように、桿状体細胞は主として周縁視覚の役割をし、窩には存在しない。図１６にグラフ「Ｒ」によって示されるように、桿状体細胞は赤（６２０ナノメートル以上）に比較的無感覚である。周辺の領域の中にある錐状体の減少数は、桿状体ほど低い光源レベルに敏感ではない。したがって本発明の特定の実施形態によれば、目の追跡用の赤色光によって周辺の網膜（即ち、窩以外）を照射することは望ましい。
【００７４】
網膜からの反射が可視波長でよりも赤外線において実質的により高いことは図１５のグラフから明白である。７００ｎｍで、反射は可視の赤のほとんど２倍である。したがって、可視の赤外線（６５０−７５０ｎｍの間、最も好ましくは６８０−７２０ｎｍの間）の干渉縞にある波長を使用することは有利であり得る。なぜなら、光学系内で分散することが縮小され、導光路のオプティカルコーティングには可視光線のようにほとんど同じ反射率を有しているからであり、目がこれらの波長に無感覚である。
【００７５】
より長い波長（例えば、９００ｎｍ）を可視範囲よりも６倍まで多くの反射率を有し、そして、本発明に従って使用することができる。しかしながら、これは、オプティカルコーティングの最適化を必要とするが、様々な表面の必要とされる反射率が目の追跡具の波長に適することを保証するためである。
【００７６】
赤外線照射が目の追跡具に使用される場合、赤外線照射の提供に対する様々なオプションがある。可視波長に近い近赤外線の波長が使用される場合、赤外線照射は、従来の可視画像投影配列での４番目の「色」として例えばＬＣＯＳモジュレーターを使用して、組み合わせられ得る。パターン化された照射が赤外線のより長い波長に対して望まれる場合、典型的にはディジタル光処理（ＤＰＬ）デバイスが好ましい。パターン化しない照射については、典型的には専用の照射ソースが画像プロジェクタと無関係に提供される。図１７Ａ−２０は、本発明による装置に対する特定の実施形態のオプションを例証し、光学系にＩＲ照射を組み入れている。
【００７７】
まず図１７Ａおよび１７Ｂを参照すると、これらの図は一実施形態に関するものであり、近赤外線ソースのエキストラ「カラー」のような可視画像投影配列への統合によって、近赤外線照射が送達される。プロジェクタの詳細は示されないが、当業者には自明であろう。目の検出カメラは、この場合上部の導光路（１１０）に隣接して設置され、その結果、図６ＢのＰＢＳ（１０５）は必要とされない。この構成は、ＬＯＥ（１１０）の内部ファセット（１４０）が光を上方へ結合するという事実に基づいており、この光は左から右に広がる。この構成では、散乱の伝達を最小限にするために偏光子（１２６）を導入することが可能である。
【００７８】
図１８Ａおよび１８Ｂは、導光路（１１０）へとビーム分割器（３０４）（それは例えば５０／５０ビーム分割器あるいはＰＢＳであり得る）を通して画像プロジェクタ（１０２）（以下、ＩＲと言うＩＲまたはＶＩＳであり得る）の出力と異なる波長がある発光源（３０２）が、光を送信する更なる構成を例証する。（ＩＲまたはＶＩＳでありえ、以下ＩＲという）画像プロジェクタ（１０２）の出力と異なる波長を有する発光源（３０２）を経て光を導光路（１１０）へ伝達する（ビーム分割器（３０４）は、例えば５０／５０ビーム分割器あるいはＰＢＳであり得る）。第１のファセット（３０６）は、画像プロジェクタ（１０２）から可視光線のすべてあるいは大部分を伝達するように設計されている。しかし、目の追跡具のためにＩＲ光に対して反射する。図６Ａおよび６Ｂに記載されているように、ＩＲ照射光は目の後ろに広がる。その後、ＩＲ照射光は参照符号（３０６）によってビーム分割器（３０４）に反射され、撮像カメラ１２５に伝送される。
【００７９】
図１８Ｃで、戻り光（破線の矢）は、反射されず、この導光路によってガイドされて、導光路（１１０）を通じて力の伝達によって撮像カメラ１２５へ直接反射される。これはより広い受信光学部（図７Ａおよび７Ｂのように単一の導光投影配列の中で使用される配列に類似している）を必要とし得、及び／又はプロジェクタより小さな受光アイボックスを有し得る。図２１Ａ−２１Ｃを参照して更に以下に述べられるように、（画像プロジェクタと異なり）目からの反射が軸芯から離れる角度で存在する場合があるので、典型的には、より小さなアイボックスは受け入れ可能である。照射は、画像プロジェクタから、あるいは図示されるような専用の照明器（３０２）からであり得る。
【００８０】
図１９は、可視（ＶＩＳ）画像投影と共にＩＲ照射を導入するために投射システム（１０２）の可能な実施形態の詳細を概略的に示す。ＶＩＳ＿ＬＥＤ（４００）からの光は、光導波路（４０２）（均一性を増強するための任意の機能）を経て、照明光学系（４０４）を経て、ビーム分割器（４０６）経て、ＬＣＯＳ（４０８）上に達する。ＬＣＯＳが１つの画素毎にカラーフィルタを埋め込んでいる場合、システムに光導波路はなく、照射は白色ＶＩＳ＿ＬＥＤによる。目の追跡用のＩＲ＿  ＬＥＤ（４１０）は、二色分割器（４１２）によって導入される。ＩＲ＿ＬＥＤは、順にあるいはＶＩＳ＿ＬＥＤと同時に照射する。
【００８１】
図２０は図６Ｂで示される構成に対応する更なるオプションを例証する。この場合、参照符号（１０２）は画像投影光学部（詳細に示されない）である。また、参照符号（１０５）はビーム分割器である。しかしながら、この場合、参照符号（１０５）は、好ましくはプロジェクタから可視光線を伝達するが、目の追跡システムからのＩＲ光を反射する二色ビーム分割器である。明確に、反対の特性を備えた二色のビーム分割器は伝達された方向にＩＲ追跡システムを備えた等価の構成を構築するために使用することができる。
【００８２】
目の追跡システム用のＩＲ照射はＩＲ＿ＬＥＤ（５００）によって生成され、光は二色分割器（１０５）上でビーム分割器（５０２）（５０／５０ビーム分割器又はＰＢＳであり得る）を通過し、そして、導光路（ビーム分割器（１０５）に隣接しているが、この図面の中で示されない）上で反射される。反射光（破線の矢）は反転路を追随し、ＩＲカメラ（１２５）上でビーム分割器（５０２）を通過する。
【００８３】
実施形態にここまで記載され、網膜の詳細な特徴が追跡されるが、本発明の特定の実施形態は代替の追跡技術である。図２１Ｂおよび２１Ｃの中で例証されるように、網膜からの反射は典型的には反射する構成部品およびディフューザーの両方を含んでいる。図２１Ａの目（２００）の単純化モデルは、網膜（２０１）のセンターに垂直に入射する軸芯上の光線を示す。強い正反射（２０２）は入射ひとみによって反射され、したがって、この反射は強く外部的に検知される。しかしながら、光が軸芯から離れた角度（２０４）で網膜に入射するとき、正反射（２０６）は瞳孔を出ず、および、拡散反射だけが瞳孔（破線の矢としてマークされた）を出る。これは外部的に検知されるはるかに弱い信号である。
【００８４】
図２１Ｂのグラフは結合した反射強度を概略的に示す。正反射構成部品（可変振幅Ａであると特徴付けられた）は角度依存であるが（本明細書では瞳位置と記載された）、拡散反射は大雑把には一定である（振幅Ｂであると見なされた）。図２１Ｃおよび２１Ｄのグラフは、反射の構成部品のための実験の測定および波長依存性を示す。これらの実験によれば、反射の半値全幅（ＦＷＨＭ）はほぼ２ｍｍの瞳孔移動（大雑把には〜１０°に対応する）である。検出の実際の分解は次のように近似することができる：
【００８５】
【数３】
2020504832.tif 000005
【００８６】
ＳＮＲが１０〜１００の範囲にある場合があるので、目の配向分解は１°から０．１°である。正確な配向検出のための信号処理が知られている。その一例は、Ｙ．Ｄａｎｚｉｇｅｒによる"Ｓａｍｐｌｉｎｇ−ｂａｌａｎｃｅｄ  ｉｍａｇｉｎｇ  ｓｙｓｔｅｍ  ｕｔｉｌｉｚｉｎｇ  ｗｈｉｔｅｎｉｎｇ  ｍａｔｃｈｅｄ  ｆｉｌｔｅｒ"と題するもので、Ａｐｐｌｉｅｄ  Ｏｐｔｉｃｓ、Ｖｏｌ．  ４９，  Ｉｓｓｕｅ  １７，ｐｐ．３３３０−３３３７（２０１０）に掲載された。
【００８７】
したがって、目から本発明の導光路へ戻る反射強度のエンベロープが角度制限されることは理解される。目の配向を決定するために、この特性は本発明の特定の実施形態に従って使用される（パターン検出から独立している）。
【００８８】
本発明のこの態様によれば、好ましくは、全視野が照射され、部分だけが目によって反射される。図２２は反射された視野を概略的に表し、円は網膜の強い正反射を表わし、環境が弱く反映されている。
したがって、網膜パターンは、この円内に非常に目に見えるだろう。しかし外側ではそれほど明瞭でない（破線で表された）。この発明によれば、目の配向は、パターン、および高い反射の「エンベロープ」の移動として観測されるだろう。
【００８９】
典型的には広範囲なセンサマトリックスを必要とする上述したパターン検出と異なり、本明細書で記載された種類の包絡線検波ははるかに低い解像度を必要とし、および４つのコドラントあるいは「直交位相」検出器あるいは１０４未満、典型的には、わずか５０ｘ５０画素という画素数の低いピクセル計算検出器を使用して実行され得るが、これは光コンピューターマウスにおいて共通である。実施形態のこのグループのために、光学センサ（１２５）を展開させることは、特定の場合には有利であり得る。光学センサ（１２５）はわずかに画像の焦点をずらすために焦光光学系（１０６）の焦点面から僅かに移動され、それによってピクシレーション関連の結果を弱めるか回避する。センサ素子の数の低減は、高速の図形処理の使用を認め、次に跡プロセスの応答速度に寄与する。
【００９０】
ここまで記載された実施例は一つの導光路で目の追跡照射とイメージングを組み合わせたが、それが２つの別個の導光路間のこれらの２つの機能を分割するのにある場合には有利であることが注目されるべきである。具体的には、特定の場合には、目に達する前に、目の追跡具照射の内部散乱が受光カメラを飽和状態にするのに十分な後方散乱線を生じさせるかもしれないという危険性がある。この問題の回避することへの１つのアプローチは、滑らかなコーティングあるいは導光路面上にガラス層を導入するなどして伝達する導光路の照明の後方散乱を最小限にすることである。代替のアプローチは図２３に概略的に例証される。ここで伝達機能と受光機能は２つの導光路間で細分される。
【００９１】
具体的には、図２３の例示的な実施形態では、増加したニアアイディスプレイ（２５０）は目を照射する画像を送達する如何なるタイプであり得る。この側面図の例証では、２Ｄ導光路および１Ｄ導光路の組み合わせを採用するものとして示され、すべて、部分的に反射するファセットに基づいているが、上述した追加のオプションもすべて本実施形態に当てはまる。この図では、一点鎖線の矢は、組み合わされた伝達／受光導光路を飽和することができる１つの散乱点（多数あってもよい）を表わす。
【００９２】
前述のとおり、照射は可視照射によっても、あるいは近赤外線によっても可能である。
本明細書で例証された実施形態では、目からの反射光は、照射導光素子とは異なる平行導光路（２５５）によって集光される（側面図で示される）。この場合、両方の導光光学素子は、上述された通り、透明材料から形成され、内部反射によって光をガイドするために対の平行面を持って、観測者の目に対向して重複させて展開される。
【００９３】
反射光（破線の矢として描かれた）は、照射導光路（２５０）を通過し（照射導光路は、観測者が実際の世界を見ることを可能にするために殆ど透明にして実施される）、受光導光路（２５５）に至る。またこの導光路はほとんど透明である、しかし、この導光路は、また導光路中への放射線の一部を結合させるための結合機構（ファセット又は回折）を含んでいる。反射画像はこの導光路（２５５）内で広がり、上記した組み合わせシステムで記載したのと殆ど同じやり方で、受光器よって集光される。
【００９４】
ここで少し図５に戻ると、本明細書で例証された特定の限定されない実施形態によれば、装置（１００）は、観測者の耳と係合するサイドアーム（６００）を備えたメガネ形状係数で実施される、しかしヘルメットに取り付けるなど他の形状係数は明確に本発明の範囲内にある。当該技術で知られているように、処理システム（１０８）は、任意の適切なタイプの処理ハードウェア及び／又はソフトウェアを使用して実施することができ、種々の専用グラフィックス・プロセッサー、ディスプレイドライバ、及び任意の適切な動作システムの下で動作し、適切なソフトウェアモジュールあるいはファームウェアモジュールを実行する汎用プロセッサーの如何なる組み合わせも含むが、それらに限定されない。処理システム（１０８）は、典型的には、情報およびグラフィックコンテンツの双方向の転送用のＬＡＮ及び／又はＷＡＮデバイスを備えた有線又は無線の通信を可能にするための種々の揮発性のデータ記憶要素及び種々の通信要素を含んでいる。そのような装置は適切な電力原から動力が供給される。当該動力源はバッテリーの如何なる組み合わせであり得、及び／又は外部動力源が設けられ得、ケーブル（６０４）を介して接続された電力源（６０２）として構成され、本明細書において概略的に例証される。バッテリー電源が使用される場合、バッテリーはメガネかヘルメット実装構造体の一部として構成され得る。
【００９５】
本発明の目の追跡が目の角度方向（即ち、熟視方向あるいは「視線」）を基本的に決定することであることは注目される。しかしほとんどの実施形態において、目がＬＯＥの適用範囲の有効アイボックスにとどまる限り、装置に対する目の空間位置に本質的に無感覚である。そのようなものとして、前記装置は、メガネ型デバイス又はヘッド・マウント型デバイス及び／又は他の装着可能なデバイスは大きな利点がある。何故なら、頭とのシステムの正確で反復可能な位置合わせを保証することは必ずしも実現可能ではなく及び／又は、使用中にシステムが目に対していくぶん移動し得るからである。
【００９６】
上述のとおり、メガネ構造の一方の側の部分図として本明細書では例証したが、デバイス全体が、単眼或いは両眼の画像投影および追跡を提供し得、双眼鏡は、特に単眼及び両眼の両方にとって特に好ましく、装置が両眼であると、様々な処理要素および電力供給要素は２つの追跡システムによって随意に共有され得る、そして上記されるように、追跡情報は追跡の増強された安定性および連続性を提供するために、好ましくは融合される。
【００９７】
添付の特許請求の範囲は多数項従属なしに記載された。これは単にそのような多数項従属を許可しない国の管轄権の方式的な要件に適合させるために行ったのである。多数項を従属して請求項を与えることにより意味づけられる特徴のあらゆる組み合わせは、明示的に着想され、本発明の一部と考えられるべきことは注目されるべきである。
【００９８】
上記の説明が単に例として役立つように意図され、他の多くの実施形態が、添付の特許請求の範囲で定義されるような本発明の範囲内で可能であることが認識されるだろう。
【図１】
2020504832.tif 000006
【図２Ａ】
2020504832.tif 000007
【図２Ｂ】
2020504832.tif 000008
【図３】
2020504832.tif 000009
【図４】
2020504832.tif 000010
【図５】
2020504832.tif 000011
【図６Ａ】
2020504832.tif 000012
【図６Ｂ】
2020504832.tif 000013
【図７Ａ】
2020504832.tif 000014
【図７Ｂ】
2020504832.tif 000015
【図８】
2020504832.tif 000016
【図９Ａ】
2020504832.tif 000017
【図９Ｂ】
2020504832.tif 000018
【図１０】
2020504832.tif 000019
【図１１】
2020504832.tif 000020
【図１２】
2020504832.tif 000021
【図１３】
2020504832.tif 000022
【図１４】
2020504832.tif 000023
【図１５】
2020504832.tif 000024
【図１６】
2020504832.tif 000025
【図１７Ａ】
2020504832.tif 000026
【図１７Ｂ】
2020504832.tif 000027
【図１８Ａ】
2020504832.tif 000028
【図１８Ｂ】
2020504832.tif 000029
【図１８Ｃ】
2020504832.tif 000030
【図１９】
2020504832.tif 000031
【図２０】
2020504832.tif 000032
【図２１Ａ】
2020504832.tif 000033
【図２１Ｂ】
2020504832.tif 000034
【図２１Ｃ】
2020504832.tif 000035
【図２１Ｄ】
2020504832.tif 000036
【図２２】
2020504832.tif 000037
【図２３】
2020504832.tif 000038
【国際調査報告】
2020504832.tif 000039
2020504832.tif 000040
2020504832.tif 000041
2020504832.tif 000042