(57)【特許請求の範囲】
【請求項１】
ユーザの２つの眼球の画像を使用して、前記２つの眼球に関する角膜中心の配置および瞳孔中心の配置を決定する工程と、
前記角膜中心の配置および前記瞳孔中心の配置に基づいて、前記ユーザの２つの眼球に関する各眼球の光軸を決定する工程と、
第１の時刻における前記ユーザの２つの眼球に関する光軸に基づいて、前記ユーザの第１の三次元注視点を決定する工程と、
拡張現実ヘッドセットのディスプレイ上に仮想オブジェクトを表示する工程と、
前記ユーザの第１の三次元注視点が前記仮想オブジェクトに関連付けられている位置に合致するという決定に応答して、前記ディスプレイの不透明度をある増加速度で増加させることによって、前記仮想オブジェクトの視認性を増加させるように前記ディスプレイの透明性を調整する工程であって、前記仮想オブジェクトに関連付けられている位置は、前記拡張現実ヘッドセットのディスプレイに関連付けられている深度とは異なる深度を有する、工程と、
前記第１の時刻よりも後の第２の時刻における前記ユーザの２つの眼球に関する光軸に基づいて、前記ユーザの第２の三次元注視点を決定する工程と、
前記ユーザの第２の三次元注視点が前記仮想オブジェクトに関連付けられている位置に合致しないという決定に応答して、前記ディスプレイの不透明度をある減少速度で減少させることによって、前記仮想オブジェクトの視認性を減少させるように前記ディスプレイの透明性を調整する工程であって、前記減少速度は、前記増加速度よりも速い、工程と、
を備える方法。
【請求項２】
前記第１の三次元注視点および前記第２の三次元注視点は、前記ユーザの２つの眼球の視軸に基づいて決定され、前記視軸は、前記光軸に対応する、請求項１に記載の方法。
【請求項３】
前記仮想オブジェクトの視認性を増加させるように表示されている前記仮想オブジェクトの視認性の属性を調整する工程をさらに備える、請求項１に記載の方法。
【請求項４】
前記仮想オブジェクトの視認性の前記属性は、前記仮想オブジェクトの透明度を含む、請求項３に記載の方法。
【請求項５】
前記仮想オブジェクトの視認性の前記属性は、前記仮想オブジェクトの輝度を含む、請求項３に記載の方法。
【請求項６】
前記仮想オブジェクトの視認性の前記属性は、前記仮想オブジェクトの配置を含む、請求項３に記載の方法。
【請求項７】
前記仮想オブジェクトの視認性の前記属性は、前記仮想オブジェクトの大きさを含む、請求項３に記載の方法。
【請求項８】
拡張現実ヘッドセットのディスプレイと、
ユーザの２つの眼球の画像を使用して、前記２つの眼球に関する角膜中心の配置および瞳孔中心の配置を決定する工程と、
前記角膜中心の配置および前記瞳孔中心の配置に基づいて、前記ユーザの２つの眼球に関する各眼球の光軸を決定する工程と、
第１の時刻における前記ユーザの２つの眼球に関する光軸に基づいて、前記ユーザの第１の三次元注視点を決定する工程と、
前記ディスプレイ上に仮想オブジェクトを表示する工程と、
前記ユーザの第１の三次元注視点が前記仮想オブジェクトに関連付けられている位置に合致するという決定に応答して、前記ディスプレイの不透明度をある増加速度で増加させることによって、前記仮想オブジェクトの視認性を増加させるように前記ディスプレイの透明性を調整する工程であって、前記仮想オブジェクトに関連付けられている位置は、前記拡張現実ヘッドセットのディスプレイに関連付けられている深度とは異なる深度を有する、工程と、
前記第１の時刻よりも後の第２の時刻における前記ユーザの２つの眼球に関する光軸に基づいて、前記ユーザの第２の三次元注視点を決定する工程と、
前記ユーザの第２の三次元注視点が前記仮想オブジェクトに関連付けられている位置に合致しないという決定に応答して、前記ディスプレイの不透明度をある減少速度で減少させることによって、前記仮想オブジェクトの視認性を減少させるように前記ディスプレイの透明性を調整する工程であって、前記減少速度は、前記増加速度よりも速い、工程と、
を行うように構成された、ハードウェア実装されたアイ・トラッキング・モジュールと、を備えるシステム。
【請求項９】
前記第１の三次元注視点および前記第２の三次元注視点は、前記ユーザの２つの眼球の視軸に基づいて決定され、前記視軸は、前記光軸に対応する、請求項８に記載のシステム。
【請求項１０】
前記ハードウェア実装されたアイ・トラッキング・モジュールは、前記仮想オブジェクトの視認性を増加させるように表示されている前記仮想オブジェクトの視認性の属性を調整する工程を行うようにさらに構成される、請求項８に記載のシステム。
【請求項１１】
前記仮想オブジェクトの視認性の前記属性は、前記仮想オブジェクトの透明度、前記仮想オブジェクトの輝度、前記仮想オブジェクトの配置、および前記仮想オブジェクトの大きさのうちの少なくとも１つを含む、請求項１０に記載のシステム。
【請求項１２】
少なくとも１つのプロセッサと、
コンピュータ可読媒体上でアクセス可能な実行可能な命令であって、実行されたときに、前記少なくとも１つのプロセッサに、
ユーザの２つの眼球の画像を使用して、前記２つの眼球に関する角膜中心の配置および瞳孔中心の配置を決定する工程と、
前記角膜中心の配置および前記瞳孔中心の配置に基づいて、前記ユーザの２つの眼球に関する各眼球の光軸を決定する工程と、
第１の時刻における前記ユーザの２つの眼球に関する光軸に基づいて、前記ユーザの第１の三次元注視点を決定する工程と、
拡張現実ヘッドセットのディスプレイ上に仮想オブジェクトを表示する工程と、
前記ユーザの第１の三次元注視点が前記仮想オブジェクトに関連付けられている位置に合致するという決定に応答して、前記ディスプレイの不透明度をある増加速度で増加させることによって、前記仮想オブジェクトの視認性を増加させるように前記ディスプレイの透明性を調整する工程であって、前記仮想オブジェクトに関連付けられている位置は、前記拡張現実ヘッドセットのディスプレイに関連付けられている深度とは異なる深度を有する、工程と、
前記第１の時刻よりも後の第２の時刻における前記ユーザの２つの眼球に関する光軸に基づいて、前記ユーザの第２の三次元注視点を決定する工程と、
前記ユーザの第２の三次元注視点が前記仮想オブジェクトに関連付けられている位置に合致しないという決定に応答して、前記ディスプレイの不透明度をある減少速度で減少させることによって、前記仮想オブジェクトの視認性を減少させるように前記ディスプレイの透明性を調整する工程であって、前記減少速度は、前記増加速度よりも速い、工程と、を備える処理を行なわせる、システム。
【請求項１３】
前記第１の三次元注視点および前記第２の三次元注視点は、前記ユーザの２つの眼球に関する視軸に基づいて決定され、前記視軸は、前記光軸に対応する、請求項１２に記載のシステム。
【請求項１４】
前記実行可能な命令は、実行されたとき、前記少なくとも１つのプロセッサに、
前記ディスプレイ上の既知の位置にキャリブレーション・ターゲットを表示させる工程と、
前記ユーザが前記キャリブレーション・ターゲットを見るに際し、前記キャリブレーション・ターゲットと前記ユーザの２つの眼球に関する前記光軸との間の角度オフセットを決定する工程であって、前記角度オフセットは、水平方向におけるオフセットを表すアルファ角度および垂直方向におけるオフセットを表すベータ角度とを含む、工程と、
決定された前記光軸に前記角度オフセットを適用して視軸を決定する工程と、
を備える処理をさらに行わせる、請求項１３に記載のシステム。
【請求項１５】
前記ディスプレイの既知の位置にキャリブレーション・ターゲットを表示する工程と、
前記ユーザが前記キャリブレーション・ターゲットを見るに際し、前記ユーザの２つの眼球の視軸と前記光軸との間の角度オフセットを決定する工程であって、前記角度オフセットは、水平方向におけるオフセットを表すアルファ角度および垂直方向におけるオフセットを表すベータ角度とを含む、工程と、
決定された前記光軸に前記角度オフセットを適用して視軸を決定する工程と、をさらに備える、請求項２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般にアイ・トラッキングを使用するユーザ・インタフェースおよび制御に関し、より詳細には、眼球輻輳に基づいてディスプレイ視認性を調整するためのシステムおよび方法に関する。
【背景技術】
【０００２】
いくつかの例示的な実施形態が、限定ではなく例として、添付の図面の図に示されている。
【図面の簡単な説明】
【０００３】
【図１】いくつかの実施形態による、眼球輻輳に基づいてディスプレイ視認性を調整することが可能なドッキング・デバイスに結合された例示的なコンピューティング・デバイスのデバイス図。
【図２】いくつかの実施形態による、眼球輻輳に基づいてディスプレイ視認性を調整することが可能なドッキング・デバイスに結合されたコンピューティング・デバイスの別の例のデバイス図。
【図３Ａ】いくつかの実施形態による、眼球輻輳に基づいてディスプレイ視認性を調整することが可能な例示的なコンピューティング・デバイスのデバイス図。
【図３Ｂ】いくつかの実施形態による、眼球輻輳に基づいてディスプレイ視認性を調整することが可能な例示的なコンピューティング・デバイスのデバイス図。
【図４】いくつかの実施形態による、眼球輻輳に基づいてディスプレイ視認性を調整するための例示的なシステム・アーキテクチャのブロック図。
【図５】いくつかの実施形態による、眼球輻輳に基づいてディスプレイ視認性を調整するために使用されるデータの例示的なフローのブロック図。
【図６Ａ】いくつかの実施形態による、ディスプレイに対するアイ・トラッキング技術を示す概略図。
【図６Ｂ】いくつかの実施形態による、ディスプレイに対するアイ・トラッキング技術を示す概略図。
【図７Ａ】いくつかの実施形態による、眼球輻輳を示す概略図。
【図７Ｂ】いくつかの実施形態による、眼球輻輳を示す概略図。
【図８Ａ】いくつかの実施形態による、車両内での眼球輻輳を示す概略図。
【図８Ｂ】いくつかの実施形態による、車両内での眼球輻輳を示す概略図。
【図９Ａ】いくつかの実施形態による、車両内でヘッドアップ・ディスプレイを修正することを示す概略図。
【図９Ｂ】いくつかの実施形態による、車両内でヘッドアップ・ディスプレイを修正することを示す概略図。
【図１０】いくつかの実施形態による、眼球輻輳に基づいてディスプレイ視認性を調整する例示的な方法のフローチャート。
【図１１】いくつかの実施形態による、本明細書で説明される手法のうちのいずれか１つまたは複数を機械に実行させるための命令のセットが実行され得る例示的な形におけるコンピュータ・システムの機械のブロック図。
【発明を実施するための形態】
【０００４】
用語の解説
この文脈における「ディスプレイ」は、視覚情報のための出力デバイスに及ぶ。ディスプレイ技術には、ＣＳＴＮ、ＴＦＴ、ＴＦＤ、またはＯＬＥＤがあり得る。また、タッチスクリーン・ディスプレイのタイプも複数あり、たとえば静電容量式および抵抗膜式があ
る。ディスプレイ・デバイスとしては、視覚的または触覚的な形での情報の提示のための出力デバイスがある。
【０００５】
この文脈における「ＨＵＤ」は、ヘッドアップ・ディスプレイ（ｈｅａｄ−ｕｐ  ｄｉｓｐｌａｙまたはｈｅａｄｓ−ｕｐ  ｄｉｓｐｌａｙ）に及び、ユーザが通常の視点から目をそらすことを必要とせずにデータを提示する任意の透過型ディスプレイを含む。
【０００６】
説明
眼球輻輳に基づいてディスプレイ視認性を調整する例示的なシステムおよび方法が説明される。以下の説明では、説明の目的で、例示的な実施形態の完全な理解を提供するために多数の具体的な詳細が説明されている。しかしながら、この技術はこれらの具体的な詳細がなくても実施され得ることが、当業者には明らかであろう。
【０００７】
例示的な実施形態としては、アイ・トラッキング情報を使用して、透過型ディスプレイ（たとえば、ヘッドアップ・ディスプレイまたはヘッドマウント・ディスプレイ）上に表示される情報がユーザにとって読みやすいべきかどうかを決定するアイ・トラッキング・システムがある。アイ・トラッキング・システムが、ユーザがディスプレイ上の情報を見ていないことを検出すると、情報は、より透明にされる。ユーザがディスプレイを見ると、情報の提示（およびディスプレイ環境）は、ユーザがディスプレイ上の情報を容易に眺めることを可能にするように強調され得る。
【０００８】
アイ・トラッキング情報は、ディスプレイ上のオブジェクトと対話するために使用され得る。たとえば、ユーザが特定の時間の量にわたってディスプレイ上の特定のオブジェクトを見ていることを検出すると、より多くの情報がディスプレイ上に現れるように、コマンドが起動されてよい。ヘッドアップ・ディスプレイ（ＨＵＤ）は、さまざまなシナリオで使用されてよい（たとえば、自動車のフロントガラス上に投影される、または、ユーザが眼球の前に着用しているヘッドマウント・スクリーン上に投影される）。いくつかの例示的な実施形態では、情報は、ユーザがディスプレイ越しに「現実世界」を見ることができるように、透過型ディスプレイ上に提示される。たとえば、自動車のフロントガラス上に提示されるヘッドアップ・ディスプレイは、速度、ＲＰＭ、ナビゲーション方向などのような情報をドライバに提供し得る。フロントガラス上に情報を提示することによって、ユーザがナビゲーション方向または他の自動車情報をチェックするために道路から目をそらすことが防止される。
【０００９】
しかしながら、ユーザが現実世界のオブジェクト（物）を見ている間、ヘッドアップ・ディスプレイ上に置かれる情報がユーザの邪魔になるまたはユーザの気を散らすことがある。自動車のヘッドアップ・ディスプレイの場合、フロントガラス上に表示される情報が、ドライバが道路、他の自動車、および歩行者に焦点を合わせているとき、気を散らせることがあり、安全性上のリスクをもたらすことすらある。
【００１０】
本明細書で説明される例示的な実施形態は、ユーザが現実世界のオブジェクトを見ているときは、情報が非常に薄い様式で（たとえば、ほとんど見えないように）提示され、ディスプレイに提示される情報をユーザが見るときは、情報が強調され得るように、アイ・トラッキング情報を「ディスプレイ」と組み合わせることによって、この問題に対処しようとする。情報を強調するさまざまな様式としては、（ディスプレイを見ていないときは、ほとんど透明であるのとは対照的に）情報の表示の不透明度を増加させること、（ぼやけているのとは対照的に）表示をより焦点を合わせるものにすること、（たとえば１つの隅に折り畳まれるのとは対照的に）インタフェースを拡張すること、テキストがより読みやすいように色を変更することなどがあり得る。
【００１１】
たとえば、ユーザが、フロントガラス上に表示されたＨＵＤ上に情報を提示することができる自動車を運転中の場合、システムが、ユーザがその上の道路またはオブジェクトを見ていることを検出したとき、ＨＵＤは、いずれの情報の表示を終了してもよいし、任意の情報を大部分は透明に表示してもよい。このようにして、ユーザはＨＵＤによって気が散らされない。ユーザがフロントガラスを見るとき、システムは、（たとえば、ユーザの注視の注視点を算出することおよび／または三次元空間内でのユーザの眼球の輻輳点を分析することによって）そのイベントを検出し、関連情報を表示してもよいし、ユーザがそのような情報を見る助けとなるために、表示されている情報の不透明度を増加させてもよい。ドライバが再び道路を見ると、ヘッドアップ・ディスプレイ上の情報は、ドライバの気が散らないように、フェードアウトする。
【００１２】
さらなる実施形態は、透過型ディスプレイを有する眼鏡をユーザが着用することを企図するものである。システムは、使用することによってユーザがいつディスプレイを注視しているか（たとえば、眼球輻輳）を検出し得る。眼球輻輳情報は、ユーザの注視の焦点を決定するために、スクリーン上の注視点情報と組み合わされ得る。
【００１３】
例示的な実施形態は、仮想現実環境内でも適用され得る。たとえば、バーチャル・リアリティ・ヘッドセットは、ユーザの眼球運動をリアル・タイムで追跡するためにアイ・トラッキング・システムを含み得る。上記で説明される類似の方法により、システムが、ユーザがその情報を見ていることを検出するとき、仮想シーン内に表示される情報は強調され得る。
【００１４】
コンピューティング・デバイスのユーザは、ユーザの眼球運動を通して、コンピューティング・デバイス上に表示されたオブジェクトおよびアプリケーションと対話し、制御し得る。コンピューティング・デバイス上またはコンピューティング・デバイスに結合されたデバイス上のカメラによってキャプチャされたユーザの目または顔の画像は、アイ・トラッキング・アルゴリズムおよび注視検出アルゴリズムなどのコンピュータビジョン・アルゴリズムを使用して分析され得る。たとえば、キャプチャされた画像は、ユーザの目または顔の特徴に関する情報を抽出するように処理され得る。次いで、コンピューティング・デバイスは、抽出された情報を使用して、ユーザの眼球の配置および向きを決定し、ユーザの注視情報を推定し得る。ユーザの注視情報は、ユーザがどこを見ているかについての推定であり、ユーザの視線、注視点、ユーザの注視の輻輳の深度などの情報があり得る。ユーザの注視点は、ユーザが焦点を合わせる、三次元空間内の点であり、ユーザの眼球の視軸が交差する点として定義される。ユーザの視線は、ユーザからユーザの注視点への方向を定義するベクトルである。視線は、注視点において視軸によって形成される角度を２等分し、視軸と同じ平面にある。ユーザの注視の輻輳の深度は、視線に沿って測定される、ユーザから注視点までの距離である。「焦点の深度」という用語と「輻輳の深度」という用語は、互換的に使用され得る。
【００１５】
たとえば、コンピューティング・デバイスは、焦点の深度を推定することができ得る。焦点の深度は、ユーザが（たとえば、ユーザに近いスクリーンまたはより遠いオブジェクトに）焦点を合わせている平面に相当し得る。たとえば、同じ方向にある複数の平面が利用可能なとき、焦点の平面は、焦点の深度をユーザからの平面の距離に合致させることによって識別され得る。焦点の深度が、距離をいずれの平面にも正確に合致させないとき、最も近い合致する平面が使用されてよい。ユーザがどこを見ているかについての推定は、特定の動作を実行するように、１つまたは複数のオブジェクト、アプリケーションなどに指示するために使用され得る。１つのそのような動作は、スクリーン上の情報の視認性（たとえば、薄暗さ、輝度、透明度、不透明度、半透明性、汚れ、明瞭性、大きさ、または配置の属性）を修正することである。たとえば、スクリーン上のコンテンツは、ユーザがそれを透かして見ている間は、より透明であってよく、ユーザがそれに焦点を合わせてい
る間は、より不透明であってよい。別の例として、コンテンツは、ユーザが他の場所を見ている間は、小さく、スクリーンの１つの隅に配置されてよく、次いで、ユーザがその隅を見ると、スクリーンの中央に移動され、大きくされてよく、次いで、ユーザが再びスクリーン越しに、後ろにあるものを見たとき、その本来の位置および大きさに回復されてよい。
【００１６】
ユーザ・キャリブレーション工程は、ユーザに関連付けられたキャリブレーション・パラメータを計算するためにユーザがコンピューティング・デバイスを使用し始めたとき、実施されてよい。これらのキャリブレーション・パラメータは、ユーザの眼球の配置を正確に決定し、ユーザが見ている、ユーザからの距離を推定するために考慮に入れられてよい。キャリブレーション・パラメータは、空間内の三次元（３Ｄ）ベクトル（たとえば、視線）として、ユーザの各眼球に対する注視の方向を決定するためにも考慮に入れられてよい。そのような場合、カメラ・パラメータ、カメラに対するスクリーンの配置などのハードウェア外形についての情報が必要とされることがある。
【００１７】
図１は、アイ・トラッキング制御を行うことが可能なドッキング・デバイス１０４に結合されたコンピューティング・デバイス１０２を備える例示的な組み合わされたデバイス１００のデバイス図である。アイ・トラッキング制御は、ユーザの眼球活動を追跡することに基づいた、デバイスの制御、またはデバイス上で実行されるソフトウェアに及ぶ。たとえば、ユーザの眼球の位置または動きに基づいて、スクリーン上のオブジェクトが移動可能であり、テキストが入力可能であり、視認性属性が修正可能であり、ユーザ・インタフェースが対話可能であり、以下同様である。視認性属性は、スクリーンもしくはディスプレイの視認性またはスクリーンもしくはディスプレイ上の任意のアイテムもしくはオブジェクトに影響を与えることができる任意の属性である。したがって、視認性属性は、ディスプレイ上に提示される情報の属性であってもよいし、ディスプレイ自体の属性であってもよい。ディスプレイがＨＵＤであるとき、情報が表示されるガラスの不透明度、一例として、ディスプレイ自体の属性。例示的な視認性属性としては、透明度、半透明性、不透明度、コントラスト、輝度、大きさ、色などがある。コンピューティング・デバイス１０２は、限定するものではないが、スマート・フォン、携帯情報端末（ＰＤＡ）、携帯電話、コンピューティング・タブレット、電子リーダ、テレビジョン、ラップトップ、デスクトップ・コンピュータ、ディスプレイ・デバイス、ヘッドマウント・ディスプレイなどを含む、任意のタイプのコンピューティング・デバイスであってよい。アイ・トラッキング制御中、コンピューティング・デバイス１０２は、コンピューティング・デバイス１０２を片手で保持することによって、両手で保持することによって、またはコンピューティング・デバイス１０２がスタンド上にある、もしくは表面上に載置されている間、ユーザによって使用されてよい。いくつかの実施形態では、コンピューティング・デバイス１０２は、車両（たとえば、自動車、ボート、または航空機）内に搭載される。コンピューティング・デバイス１０２のスクリーンは、可変の半透明性を有してよい。
【００１８】
ドッキング・デバイス１０４は、コンピューティング・デバイス１０２上のユニバーサル・シリアル・バス（ＵＳＢ）ポート、コンピューティング・デバイス１０２上のマイクロＵＳＢポートなどを通してなどの任意のやり方で、コンピューティング・デバイス１０２に結合され得る。図１のドッキング・デバイス１０４はコンピューティング・デバイス１０２の下部に示されているが、ドッキング・デバイス１０４はコンピューティング・デバイス１０２に対する任意の適切な場所に配置されてよく、取り付けられてもよいし（たとえば、直接的な電気コネクタを介して接続される）、取り付けられなくてもよい（たとえば、ブルートゥース（登録商標）または無線ネットワークを経由して通信する）ことが、当業者には理解されるであろう。ドッキング・デバイス１０４は、カメラ・モジュール１０８と、１つまたは複数の発光ダイオード（ＬＥＤ）１０６とを含み得る。説明の目的で、本明細書における説明は、引き続きＬＥＤ１０６に及ぶ。しかしながら、ＬＥＤ１０
６のうちの１つまたは複数の代わりに、任意の適切な発光源が使用されてよい（たとえば、赤外線（ＩＲ）レーザ）。
【００１９】
ドッキング・デバイス１０４は、ドッキング・デバイス１０４内で任意のやり方で適切な位置に設置され得る（たとえば、ユーザの顔の方を向くように、ある角度に傾けられる）任意の数の赤外線ＬＥＤ１０６を含み得る。いくつかの実施形態では、１つまたは複数のＬＥＤ１０６は、１つまたは複数のカメラがフレームをとらえている（ｇｒａｂ）とき、１つまたは複数のＬＥＤがオンにされ、そうでない場合はオフにされるようなやり方で、１つまたは複数のカメラと同期され得る。いくつかの実施形態では、移動が検出されなかった場合、またはドッキング・デバイス１０４もしくはコンピューティング・デバイス１０２がスリープ・モードに入った場合、ＬＥＤはオフにされ得る。
【００２０】
いくつかの実施形態では、ドッキング・デバイス１０４は、適切なタイプの赤外線パス・フィルタ（たとえば、アクティブ、機械的、ハイパス、バンドパスなど）も含み得る。いくつかの実施形態では、赤外線パス・フィルタは、波長が８００ｎｍを下回る光をブロックし、波長が８００ｎｍを上回る光を許可するハイパス・フィルタである。いくつかの実施形態では、赤外線バンド・パス・フィルタは、波長が８００から９００ｎｍの間の光のみがカメラ・モジュール１０８の１つまたは複数のカメラに入ることを許可し得る。
【００２１】
カメラ・モジュール１０８は、ドッキング・デバイス１０４内で任意のやり方で任意の適切な位置に設置された（たとえば、ユーザの顔の方を向くように、ある角度に傾けられる）１つまたは複数の前を向いたカメラを含んでよく、ユーザの目または顔の画像をキャプチャするために使用され得る。いくつかの実施形態では、コンピューティング・デバイス１０２上のカメラは、ステレオ・モードのカメラ・モジュール１０８と組み合わせて使用される。いくつかの実施形態では、カメラ・モジュール１０８は、適切なフレーム・レート（たとえば、１秒あたり３０フレームの高解像度）で実行される白黒（たとえば、モノクロ）センサ、カラー（たとえば、ＲＧＢ）センサ、またはＩＲ−ＲＧＢセンサ、赤外線ブロック・フィルタがなく、適切な視野（たとえば、単一のフレームでユーザの目の両方をキャプチャし、ユーザの頭部が移動すると予想される領域を包含するのに十分なほど大きい）および被写界深度（たとえば、モバイル・デバイスの場合は約３０〜８０ｃｍ、およびテレビジョンの場合は約２〜５メートル）を有するレンズなどのうちの任意の１つまたは複数を含んでよい。カメラ・モジュール１０８内の１つまたは複数のカメラは、１つまたは複数のカメラがユーザの顔の方へ傾けられるように位置決めされ得る。
【００２２】
アイ・トラッキング制御ソフトウェアは、カメラ・モジュール１０８によって撮影された画像を分析して、ユーザがコンピューティング・デバイス１０２のディスプレイのどこを見ているかについてのスクリーン座標（ｘ，ｙ）を提供し得る。これらの座標は、任意の数のアプリケーションのために使用され得る（たとえば、スクロールする、オブジェクトを移動させる、アイコンを選択する、ゲームをするなど）。アイ・トラッキング制御ソフトウェアは、ユーザが見ている深度（たとえば、ｚ値）をさらに決定し得る。深度に基づいて、スクリーン以外の平面（たとえば、第２のスクリーンまたは道路）が識別され得、この平面内の座標（ｘ，ｙ）が決定され得る。たとえば、ユーザの焦点は、第１のスクリーンに隣接するまたはその後ろの第２のスクリーン上にあってよい。別の例として、運転中のユーザの焦点は、ユーザの自動車のすぐ前にある道路上、自動車のはるか前のある距離のところ、対向する車の流れを含む車線内などにあってよい。平面内の座標に加えて平面の識別は、任意の数のアプリケーションのために使用され得る（たとえば、第２のスクリーン上のソフトウェア・アプリケーションを制御すること、運転者の焦点があまりにも長い間道路から離れている場合に警告を生成すること、車両のヘッドライトの方向を進めることなど）。
【００２３】
図２は、アイ・トラッキング制御を行うことが可能なドッキング・デバイス２０４に結合されたコンピューティング・デバイス２０２の別の例のデバイス図２００である。図２に示される例は、図１に示される例と同様に動作してよく、図１のために説明された特徴の任意の１つまたはそれらの特徴の組み合わせを組み込んでよい。しかしながら、図２は、（カメラ・モジュール１０８がドッキング・デバイス１０４と統合される代わりに）ドッキング・デバイス２０４がＬＥＤ２０６と統合されてよく、コンピューティング・デバイス２０２のカメラ・モジュール２０８が使用されてよいことを示す。ＵＳＢ、マイクロＵＳＢポート、または知的所有権を持つポートを使用して、コンピューティング・デバイス２０２をドッキング・デバイス２０４と結合させるいくつかの実施形態では、コンピューティング・デバイス２０２のカメラが画像をキャプチャするために使用されるので、図２に示される構成によって、カメラからの画像のより高速の転送が可能になり得る。アイ・トラッキング制御のための１つまたは複数の前を向いたカメラは、１つまたは複数の前を向いたカメラおよび後ろを向いたカメラを同時に使用しながら、使用され得る。
【００２４】
図３Ａ〜図３Ｂは、アイ・トラッキング制御を行うことが可能な例示的なコンピューティング・デバイスのデバイス図である。図３Ａに示される例は、図１に示される例と同様に動作し得、図１のために説明された特徴の任意の１つまたはそれらの特徴の組み合わせを組み込んでよい。しかしながら、ＬＥＤおよびカメラ・モジュールは、（ドッキング・デバイスの一部である代わりに）コンピューティング・デバイスに統合される。次に、コンピューティング・デバイスは、別の車両または機器（たとえば、冷蔵庫、自動食器洗い機、洗濯機、または乾燥機）に統合され得る。
【００２５】
図３Ｂは、コンピューティング・デバイスのスクリーンに取り付けられていないアイ・トラッキング・デバイスを示す。いくつかの実施形態では、アイ・トラッキング・デバイスのハードウェア要素は、別の車両、機器などに統合され得る。たとえば、１つまたは複数のカメラおよびＬＥＤは、車両のダッシュボードに統合され、コンピューティング・デバイスに接続されてよい。
【００２６】
図４は、アイ・トラッキング制御を行うための例示的なシステム・アーキテクチャ４００のブロック図である。システム・アーキテクチャ４００の構成要素４０２〜４１２のうちの任意の１つまたは複数は、コンピューティング・デバイスの制御処理ユニット（ＣＰＵ）、コンピューティング・デバイスのグラフィックス処理ユニット（ＧＰＵ）、コンピューティング・デバイスの専用チップ、クラウド・ベースのコンピューティング・デバイス、またはこれらの任意の組み合わせの上で実行されてよい。いくつかの実施形態では、システム・アーキテクチャ４００の構成要素４０２〜４１２のうちの任意の１つまたは複数は、専用チップ上で実行されるソフトウェアを含んでよい。ソフトウェアは、（たとえば、オペレーティング・システム（ＯＳ）の一部として、ウェブ・ブラウザ内などで）バックグラウンド処理として実行されてよく、他のアプリケーションがアクセスすることができるアプリケーション・プログラミング・インタフェース（ＡＰＩ）４０４を提供してよい。ＡＰＩ４０４は、イベントを発生させて、または任意の他の類似のメカニズムを使用して、ユーザがスクリーン上または三次元空間内のどこを見ているかについての情報を他のアプリケーションに送ってもよい。いくつかの実施形態では、これらのアプリケーションは、異なるコンピューティング・デバイス上で実行されてよい。
【００２７】
システム・アーキテクチャ４００は、異なる層に分割され得る。ハードウェア層は、それぞれのハードウェア（たとえば、カメラ、赤外線照明など）に対応し得るカメラ・モジュール４１４と赤外線照明モジュール４１６とを含み得る。カメラ層は、たとえば、カメラを起動する、画像をとらえる、カメラの性質を制御するなどのカメラ動作を実行するために１つまたは複数のカメラと通信することを担当し得るカメラ制御モジュール４１０を含み得る。この層は、ユーザの眼球の追跡を改善しエネルギー消費量を最小にするために
アイ・トラッキング・ソフトウェアによって光がオンにされるように１つまたは複数のカメラと赤外線放射体を同期させ得るカメラ・光同期モジュール４１２も含み得る。いくつかの実施形態では、カメラ層は、カメラ・トリガ出力の頻度で赤外線ＬＥＤを発光させる（ｓｔｒｏｂｅ）ように構成され得る。
【００２８】
カメラ層は、アイ・トラッキング層またはアイ・トラッキング・エンジンに画像を配布し得る。アイ・トラッキング層では、注視推定モジュール４０６が、顔の配置、眼球領域の配置、瞳孔中心、瞳孔の大きさ、角膜反射の配置、目頭および目尻、虹彩中心、虹彩の大きさなどのような特徴を見つけるように、画像を処理し得る。これらの特徴は、ユーザの注視点を計算することを担当し得る注視推定段階において、眼球検出およびトラッキング・モジュール４０８によって使用され得る。ユーザの注視点は、ユーザが見ているディスプレイ上の配置、ユーザが見ている別の平面上の配置、ユーザが見ている三次元上の点、またはユーザが見ている平面であってよい。注視推定モジュール４０６はまた、ユーザの眼球の光軸および視軸を計算し、ユーザの特定の特徴に基づいて計算のキャリブレーションを行う。
【００２９】
ＡＰＩ層は、アイ・トラッキング層と眼球注視情報を使用するアプリケーション（たとえば、ＯＳ  ＡＰＩ、眼球注視情報を用いるゲームなど）との間の通信に使用され得る。ＡＰＩモジュール４０４は、注視点の座標、ユーザの眼球の三次元配置、瞳孔の大きさ、眼球間の距離、頭部の方向、頭部の移動などの、アイ・トラッキング層によって計算されたデータを送り得る。ＡＰＩモジュール４０４はまた、（たとえば、アイ・トラッキング・エンジンを開始または停止する、特定の情報について問い合わせるなどのための）アプリケーションからアイ・トラッキング層へのコマンドを受け取り得る。アプリケーション・モジュール４０２は、アイ・トラッカーのＡＰＩモジュール４０４に接続し、任意の適切な目的（たとえば、アプリまたはゲームを制御する、視覚的挙動試験のために眼球データを記録する、スクリーン上の情報の透明度を調整する、ディスプレイを薄暗くするまたはオフにする、ヘッドライトの方向を制御するなど）のために眼球注視情報を使用し得る。
【００３０】
図５は、アイ・トラッキング制御を行うために使用されるデータの例示的なフローのブロック図である。１つまたは複数のカメラおよび赤外線ＬＥＤ照明モジュール５０２は、ユーザの画像をキャプチャし得る。眼球特徴検出モジュール５０４は、キャプチャされたデータを使用して、眼球特徴（たとえば、眼球、瞳孔、虹彩、角膜反射の配置および向きなど）を検出し得る。検出された眼球特徴を使用して、注視推定モジュール５０６は、ユーザの注視点または視線を推定し得、次いで、ユーザの注視点または視線が、眼球制御モジュール５０８を通してアプリケーションの側面を制御するために使用され得る。いくつかの実施形態では、注視推定モジュール５０６は、検出された眼球特徴と組み合わせてキャリブレーション・パラメータのセットを使用して、ユーザの注視点または視線を推定し得る。
【００３１】
いくつかの例示的な実施形態では、キャリブレーション工程は、ユーザがアイ・トラッキング機能を初めて使用するとき、自動的に行われる。他の例示的な実施形態では、キャリブレーション工程は、ユーザの要求時のみに実行される。キャリブレーション工程は、ユーザに固有のキャリブレーション・パラメータ（たとえば、光軸と視軸との間の垂直オフセットおよび水平オフセット）、またはディスプレイ座標系、深度座標系、もしくは別の平面の座標系に対して画像座標系上の眼球特徴をマップするマッピング機能のパラメータを計算する。次いで、これらのキャリブレーション・パラメータならびに顔および眼球の情報は、ユーザがスクリーンもしくは平面上のどこを見ているかまたはユーザの視線を注視推定アルゴリズムによって推定するために用いられ得る。ユーザに固有のキャリブレーション・パラメータを計算するために、任意の適切なキャリブレーション工程が使用さ
れてよい。ユーザに固有のキャリブレーション・パラメータとしては、光角と視角との間のオフセット、角膜曲率半径、角膜中心と瞳孔中心との間の距離、画像座標系から別の座標系にマップするマッピング機能などの任意の関連パラメータがあり得る。
【００３２】
推定注視点の確度を維持しながらユーザが動き回ることに対応するために、ディスプレイの大きさ、ディスプレイに対する１つまたは複数のカメラの配置および相対角度、光源の配置、固有カメラ・パラメータなどを含む、三次元空間内のハードウェア構成要素の相対的大きさ、配置、および特性がわかるように、ハードウェアによりキャリブレーションが行われた設定が使用され得る。
【００３３】
図６Ａおよび図６Ｂは、ディスプレイに対するアイ・トラッキング技術を示す概略図である。図６Ａでは、Ｏは座標系ＸＹＺの中心であり、Ｏに対する１つまたは複数のカメラと１つまたは複数の光源の両方の配置Ｌは既知である。
【００３４】
いくつかの実施形態では、上記で説明されたように、アイ・トラッキング・システムがスクリーンに組み込まれ、またはスクリーン上の特定の場所に搭載される。いくつかの他の実施形態では、アイ・トラッキング・システムの構成要素（たとえば、１つまたは複数のカメラおよび１つまたは複数の光源）が、自動車のダッシュボード、ヘッドマウント・ディスプレイ、ヘルメットなどのような別の要素に統合される。
【００３５】
ユーザ・キャリブレーション工程中、１つまたは複数のオブジェクトがスクリーン上に表示され得、ユーザは、これらのオブジェクトが表示されているとき、これらを見ることがある。２つ以上のキャリブレーションオブジェクトが任意の所与の時間に表示される場合、システムは、たとえば、ユーザがオブジェクトを見ているとき、キャリブレーションオブジェクトがたどる経路を眼球がたどる経路と比較することによって、ユーザがどれを見ているかを識別し得る。いくつかの実施形態では、スクリーンの隅などのディスプレイの一部分、光源などを見るようにユーザが指示されたとき、ユーザ・キャリブレーションが起こることがある。キャリブレーションオブジェクトが表示されている間、眼球情報は、アイ・トラッキング・ソフトウェアによってキャプチャされる。この眼球情報としては、瞳孔中心、瞳孔楕円、角膜反射、目頭および目尻、顔の特徴などがあり得る。瞳孔中心は、検出された瞳孔の中心にある点である。瞳孔楕円は、（円形）瞳孔の画像内の楕円形の表現である。瞳孔楕円の離心率は、ユーザの注視の方向とカメラから眼球への線との間の角度に関連する。角膜反射は、角膜からの反射光である。光源とカメラとの関係が既知のとき、瞳孔中心に対して測定される光源の角膜反射の位置は、注視方向を識別するために使用可能である。キャリブレーション工程中、眼球の焦点の深度は、ディスプレイのところにあると仮定され（または測定され）得る。この情報は、ｚ軸（ユーザからの距離）に沿ってアイ・トラッキングのキャリブレーションを行うために使用可能である。
【００３６】
いくつかの実施形態では、ユーザが、アイ・トラッキング・システム・キャリブレーションに関連しないタスクを実行している間、キャリブレーション工程が行われる。たとえば、ユーザがデバイスを初めて設定してよく、そうする間、アイ・トラッキング・ソフトウェアがキャリブレーションを行ってもよい。
【００３７】
いくつかの実施形態では、ユーザ眼球パラメータのキャリブレーションは必要ではなく、注視点または視線は画像データのみから算出される。
図６Ｂは、視軸または光軸が算出され、ディスプレイ平面と交わり得るように、原点Ｏに対して三次元空間内で計算される眼球特徴を示す。画像面上での角膜反射の配置ｇは、１つまたは複数のカメラに対する三次元空間内の光源の配置Ｌおよびカメラの固有パラメータと組み合わせて使用し、三次元空間内の角膜中心の配置Ｃを計算することができる。たとえば、光線は、角膜を介して各光源Ｌから各カメラまでトレース可能である。各光源
カメラ・ペアは、別個の光線を提供し、角膜の表面上の点を識別する。これらの点の間を三角測量することによって、角膜曲率半径とＣの配置の両方を決定可能である。より多くのカメラまたは光源が使用されるとき、測定の確度が増加可能である。
【００３８】
画像面上の瞳孔中心の配置ｐは、三次元空間内の角膜中心の配置Ｃ、眼球および空気の光学的性質、ならびにカメラの固有パラメータと組み合わせて使用して、三次元空間内の瞳孔中心の配置Ｅを計算することができる。たとえば、カメラは瞳孔の画像をキャプチャするが、瞳孔は角膜の後ろにあり、光は角膜と空気の合わせ目で屈折させられるので、角膜の中心の実際の位置は、画像によって直接的に示される位置と異なる。したがって、瞳孔中心の見掛けの位置は、この屈折を考慮に入れるように調整される。
【００３９】
三次元空間内の瞳孔中心の配置Ｅおよび角膜中心の配置Ｃは、光軸と呼ばれるベクトルを定義する。視軸としても知られ得る視線は、光軸が十分な確度を提供しない場合にユーザ・キャリブレーションによって算出可能である、光軸に対する角度オフセットを有する。ｘ方向およびｙ方向における角度オフセットは、アルファおよびベータとして知られており、通常、水平方向に約５°、垂直方向に１．５°であるが、これらの値は個人的なものであり、したがって、ユーザごとに算出される必要がある。
【００４０】
アルファおよびベータは、ディスプレイ上と三次元空間内の両方において既知の位置に表示される一連のキャリブレーション・ターゲットを見るようにユーザに求め、キャリブレーション・ターゲットとスクリーン平面上の光軸の対応する交点との間のオフセットを算出することによって算出され得る。
【００４１】
視軸がわかると、光線は、スクリーン平面と交わることができる。この交差は、ユーザが見ているスクリーン上の注視座標を提供する。角膜曲率半径または瞳孔中心と角膜中心との間の距離のような他の眼球パラメータも、（角膜中心ならびにしたがって光軸および視軸のより良い推定により）スクリーン上の注視座標の算出の確度を改善するために、ユーザ・キャリブレーション工程中に計算可能である。そうでない場合、平均値が使用可能である（たとえば、角膜曲率半径に対して７．８ｍｍ）。
【００４２】
図７Ａおよび図７Ｂは、いくつかの実施形態による、眼球輻輳を示す概略図である。図７Ａは、２つの眼球の視軸に沿って向けられる光線を示す。光線はほぼ平行であり、平面（たとえば、ディスプレイの平面、モニタの平面、フロントガラスの平面など）を越えて任意の距離のところに集束する。したがって、眼球が平面に焦点を合わせないことが決定可能である。図７Ｂも、２つの眼球の視軸に沿って向けられる光線を示す。光線は、平面上の１点に集束する。したがって、眼球が平面に焦点を合わせることが決定可能である。上記で図６Ａおよび図６Ｂに関して説明された方法は、図７Ａおよび図７Ｂにおいて各眼球の視軸または光軸を決定するために使用可能である。
【００４３】
別の例として、三次元注視点を識別することは、ユーザのための仮想三次元世界を作り出すために各眼球に対して１つのスクリーンを提供する仮想現実ヘッドセットと組み合わせて使用可能である。アプリケーション４０２は、識別された三次元注視点に対応する仮想世界内の点を識別することができる。ユーザの焦点を得ている仮想世界内の点または関連付けられたオブジェクトの識別に基づいて、さまざまなアクションがアプリケーション４０２によって取られ得る。たとえば、遠くのアイテムに焦点を合わせると、ユーザのキャラクタがアイテムまたはカメラの方へ歩行し、アイテムをズームインする可能性がある。近くのアイテムに焦点を合わせると、キャラクタが、アイテムを捕捉またはアイテムと対話する可能性がある。判読しがたい記号に焦点を合わせると、たとえば、記号のディスプレイ解像度を増加させることによって、記号を大きくすることによって、または別の方法で、記号に関連付けられたツールチップとして可視領域の下部に沿ってサブタイトルを
使用して、判読しやすいように記号上にテキストを表示する可能性がある。さらに、複数のそのような方法が同時に使用されてよい。
【００４４】
さらに別の例として、三次元注視点が、現実世界ならびに現実世界の上に表示または投影される仮想オブジェクトの両方のビューを提供する拡張現実ヘッドセットと組み合わせて使用される。ユーザの注視点に基づいて、アプリケーション４０２は、ユーザが現実世界を見ているのか仮想オブジェクトを見ているのかを決定し得、さまざまなアクションが取られ得る。たとえば、ユーザが現実世界を見ている場合、ディスプレイはより透明になってよい。ユーザが仮想オブジェクトに焦点を合わせる場合、ディスプレイがより不透明になってもよいし、オブジェクトが強調されてもよい。
【００４５】
図８Ａおよび図８Ｂは、いくつかの実施形態による、車両内の眼球輻輳を示す概略図である。図８Ａは、２つの眼球の視軸に沿って向けられる光線を示す。光線はほぼ平行であり、車両のフロントガラスを越えて任意の距離のところに集束する。したがって、注視推定モジュール４０６は、眼球がフロントガラスに焦点を合わせていないと決定することができる。図８Ｂも、２つの眼球の視軸に沿って向けられる光線を示す。光線は、フロントガラス上の１点に集束する。したがって、注視推定モジュール４０６は、眼球がフロントガラスに焦点を合わせていると決定することができる。上記で図６Ａおよび図６Ｂに関して説明された方法は、図８Ａおよび図８Ｂにおいて各眼球の視軸または光軸を決定するために使用可能である。
【００４６】
図９Ａおよび図９Ｂは、いくつかの実施形態による、車両内でヘッドアップ・ディスプレイ（ＨＵＤ）９１０を修正することを示す概略図である。図９Ａの挿入図は、ユーザの注視点が道路上にあることを示す。したがって、フロントガラス上のＨＵＤ９１０（左矢印および「７５０メートル」を示す）は、ほとんど完全に透明である。図９Ｂの挿入図は、ユーザの注視点がフロントガラス上にあることを示す。したがって、フロントガラス上のＨＵＤ９１０は、不透明度を増加させている。
【００４７】
図１０は、いくつかの実施形態による、眼球輻輳に基づいてディスプレイ透明度を調整する例示的な方法１０００のフローチャートである。眼球輻輳を検出する前に、ユーザ固有アイ・トラッキング・キャリブレーションが実行され得る。たとえば、本願明細書に援用する、２０１４年２月１４日に出願された「アイ・トラッキング・キャリブレーションのシステムおよび方法（Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｏｆ  Ｅｙｅ  Ｔｒａｃｋｉｎｇ  Ｃａｌｉｂｒａｔｉｏｎ）」という名称の米国特許出願第１４／１８０，９７４号に記載されているシステムおよび方法を使用することによって。
【００４８】
動作１０１０では、情報がＨＵＤ上に表示される。ＨＵＤは、別のビューと同時に眺められるように設計されたディスプレイである。たとえば、ＨＵＤは、（たとえば、図９Ａおよび図９Ｂに示されるように）フロントガラスまたは他の半反射性（ｓｅｍｉ−ｒｅｆｌｅｃｔｉｖｅ）表面上に投影可能である、ユーザが透かして見ることができる透明なＬＣＤスクリーン上に表示可能である、ユーザの眼球の近くの小型不透明スクリーン上に表示可能である、などである。１つの例示的な実施形態では、運転者のフロントガラス上のＨＵＤは、車両の速度、エンジンのＲＰＭ、および所定の目的地に到着するために曲がる次の曲がり角、のうちの１つまたは複数を表示する。
【００４９】
三次元空間内のユーザの注視点が動作１０２０において決定される。上記で図６Ｂに関して説明されたアルゴリズムは、ユーザの注視点を決定するために使用され得る。ユーザがＨＵＤを見ている場合（動作１０３０）、視認性の高い情報がＨＵＤ上に表示される（動作１０５０）。たとえば、情報の輝度または不透明度が増加可能である。ユーザがＨＵＤを見ていない場合、情報がより薄く表示される（動作１０４０）。たとえば、情報は、
薄暗くされてもよいし、より透明に描画されてもよい。
【００５０】
情報の視認性は、三次元空間内でのユーザの注視点の継続的または反復的な算出に基づいて、継続的または反復的に調整可能である。たとえば、ユーザがＨＵＤを見ている可能性があるという決定（または推定）に基づいて、情報の不透明度が増加され得る。次いで、ユーザがＨＵＤから目をそらしているまたはＨＵＤ越しに見ている可能性があるという決定（または推定）に基づいて、情報の不透明度が減少され得る。いくつかの例示的な実施形態では、視認性属性の固定値が使用される。たとえば、ユーザがＨＵＤを見ている間は、輝度のあらかじめ設定された値が使用可能であり、ユーザがＨＵＤを見ていない間は、異なる現在の輝度の値が使用可能である。他の例示的な実施形態では、視認性属性は、ユーザが一方の条件または他方の条件を満たす時間の量に基づいて変化する。たとえば、ユーザが長期間にわたってＨＵＤから目をそらした後、ＨＵＤの視認性は、最小にされてもよいし、最小値に設定されてもよい（たとえば、最小輝度、最小不透明度、最小明瞭性、最小コントラスト、またはそれらの任意の適切な組み合わせを有してよい）。次いで、ユーザがＨＵＤを見た後、ＨＵＤの視認性は、最大視認性に到達する（たとえば、最大輝度、最大不透明度、最大明瞭性、最大輝度、またはそれらの任意の適切な組み合わせ）まで、あらかじめ設定された割合で増加され得る。同様に、ユーザが再びＨＵＤから目をそらしたとき、視認性は、最小視認性に戻るまで、あらかじめ設定された割合で減少され得る。あらかじめ設定された割合は、異なってよい。たとえば、不透明度の増加の割合は、満足な効果をもたらすために、緩やかであってよいが、不透明度の減少の割合は、ユーザの視野内で何が起こってもそれに対してユーザがすばやく反応することを可能にするために、急速であってよい。調整される属性の最小値および最大値は、絶対値（たとえば、システムによって提供されることが可能な最小値および最大値）であってもよいし、恣意的な所定の値（たとえば、システムによって構成される、ユーザによって構成される、管理者によって構成される、など）であってもよい。調整される属性の最小値および最大値は、外部要因、たとえば周囲の照明に依存してよい。たとえば、最大輝度は、夜間条件下ではより低い値を、昼間条件下では高い値を有してよい。
【００５１】
本明細書で説明される方法およびシステムは、特にヒューマンマシン（すなわち、人間用車両）・インタフェースに関して、既存の方法およびシステムに勝る技術的な利点を提供し得る。たとえば、ＨＵＤ上に高い視認性で表示される情報は、ユーザが他の視認アイテムに焦点を合わせるとき、ユーザの気を散らせることがある。ユーザがよそに焦点を合わせているときＨＵＤの視認性を減少させることによって、ユーザの気が散ることは減少可能である。ユーザが車両を運転中または操縦中であるときなどのいくつかの場合では、気が散ることが減少することによって、安全性が改善される。
【００５２】
いくつかの実施形態では、方法は、ユーザの２つの眼球に関する注視情報に基づいてユーザの焦点の深度を決定する工程、ディスプレイ上にオブジェクトを表示する工程、および／またはユーザの焦点の深度に基づいて、ディスプレイ上に表示されるオブジェクトの視認性を調整する工程を含み得る。
【００５３】
いくつかの実施形態では、ユーザの２つの眼球に関する注視情報に基づいた焦点の深度の決定は、ユーザの各眼球の視軸または光軸を決定する工程を含み得る。
いくつかの実施形態では、オブジェクトの視認性の調整は、オブジェクトの視認性の属性を調整する工程を含み得る。
【００５４】
いくつかの実施形態では、オブジェクトの視認性の調整は、ユーザの焦点の深度に基づいて表示され得る。
いくつかの実施形態では、オブジェクトの視認性の属性は、オブジェクトの透明度を含み得る。
【００５５】
いくつかの実施形態では、オブジェクトの視認性の属性は、オブジェクトの輝度を含み得る。
いくつかの実施形態では、オブジェクトの視認性の属性は、オブジェクトの配置を含み得る。
【００５６】
いくつかの実施形態では、オブジェクトの視認性の属性は、オブジェクトの大きさを含み得る。
いくつかの実施形態では、オブジェクトの視認性の調整は、ディスプレイの属性を調整する工程を含み得る。
【００５７】
いくつかの実施形態では、このディスプレイはヘッドアップ・ディスプレイであり、ディスプレイの属性はディスプレイの透明度を含み得る。
本明細書では、ロジックまたはいくつかの構成要素、モジュール、もしくはメカニズムを含む特定の実施形態が説明される。モジュールは、ソフトウェア・モジュール（たとえば、機械可読媒体上または送信信号内で具体化されるコード）またはハードウェア・モジュールのどちらかを構成し得る。ハードウェア・モジュールは、特定の動作を実行することが可能な有形ユニットであり、特定のやり方で構成または配置され得る。例示的な実施形態では、１つもしくは複数のコンピュータ・システム（たとえば、スタンドアロン・コンピュータ・システム、クライアント・コンピュータ・システム、またはサーバ・コンピュータ・システム）またはコンピュータ・システムの１つもしくは複数のハードウェア・モジュール（たとえば、プロセッサまたはプロセッサのグループ）は、本明細書で説明される特定の動作を実行するように動作するハードウェア・モジュールとして、ソフトウェア（たとえば、アプリケーションまたはアプリケーション部分）によって構成され得る。
【００５８】
さまざまな実施形態では、ハードウェア・モジュールは、機械的または電子的に実装され得る。たとえば、ハードウェア・モジュールは、特定の動作を実行するように（たとえば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）などの特殊目的プロセッサとして）永続的に構成された専用回路またはロジックからなり得る。ハードウェア・モジュールは、ソフトウェアによって特定の動作を実行するように一時的に構成されたプログラマブル・ロジックまたはプログラマブル回路（たとえば、汎用プロセッサまたは他のプログラマブル・プロセッサ内に包含される）も備える。ハードウェア・モジュールを機械的に実装するか、専用の永続的に構成された回路内で実装するか、または一時的に構成された（たとえば、ソフトウェアによって構成された）回路内で実装するかについての判断は、コストおよび時間に関する考慮事項によって下され得ることが理解されるであろう。
【００５９】
したがって、「ハードウェア・モジュール」という用語は、特定のやり方で動作するまたは本明細書で説明された特定の動作を実行するように物理的に構築された、永続的に構成された（たとえば、ハードワイヤード）、または一時的に構成された（たとえば、プログラムされた）エンティティであるとしても、有形のエンティティを包含するように理解されるべきである。ハードウェア・モジュールが一時的に構成された（たとえば、プログラムされた）実施形態を考えると、ハードウェア・モジュールの各々は、いかなる時間にも構成またはインスタンス化される必要はない。たとえば、ハードウェア・モジュールが、ソフトウェアを使用して構成された汎用プロセッサを備える場合、その汎用プロセッサは、それぞれの異なるハードウェア・モジュールとして異なる時間に構成されてよい。したがって、ソフトウェアは、たとえば、特定のハードウェア・モジュールをある時間に構成し、異なるハードウェア・モジュールを異なる時間に構成するようにプロセッサを構成してよい。
【００６０】
ハードウェア・モジュールは、他のハードウェア・モジュールに情報を提供し、他のハードウェア・モジュールから情報を受信することができる。したがって、説明されたハードウェア・モジュールは、通信可能に結合されているとみなされてよい。そのようなハードウェア・モジュールのうちの複数が同時に存在する場合、通信は、ハードウェア・モジュールを接続する信号送信によって（たとえば、適切な回路およびバスを経由して）達成され得る。複数のハードウェア・モジュールが異なる時間に構成またはインスタンス化された実施形態では、そのようなハードウェア・モジュール間の通信は、たとえば、複数のハードウェア・モジュールがアクセスできるメモリ構造内での情報の記憶および取り出しによって、達成され得る。たとえば、１つのハードウェア・モジュールは、動作を実行し、その動作の出力を、そのハードウェア・モジュールが通信可能に結合されたメモリ・デバイスに記憶し得る。次いで、さらなるハードウェア・モジュールが、後で、そのメモリ・デバイスにアクセスして、記憶された出力を取り出し、処理し得る。ハードウェア・モジュールはまた、入力デバイスまたは出力デバイスとの通信を開始することがあり、リソース（たとえば、情報の集合）に対して動作することができる。
【００６１】
本明細書で説明される例示的な方法のさまざまな動作は、関連動作を実行するように（たとえば、ソフトウェアによって）一時的に構成されたまたは永続的に構成された１つまたは複数のプロセッサによって、少なくとも部分的に実行され得る。一時的に構成されていようと永続的に構成されていようと、そのようなプロセッサは、１つまたは複数の動作または機能を実行するように動作する、プロセッサ実装されたモジュールを構成し得る。本明細書で言及されるモジュールは、いくつかの例示的な実施形態では、プロセッサ実装されたモジュールからなってよい。
【００６２】
同様に、本明細書で説明される方法は、少なくとも部分的にプロセッサ実装されてよい。たとえば、方法の動作のうちの少なくともいくつかは、１つまたは複数のプロセッサまたはプロセッサ実装されたモジュールによって実行されてよい。動作のうちのいくつかの実行は、単一の機械内に常駐するだけでなく、いくつかの機械にまたがって展開される、１つまたは複数のプロセッサにわたって分散されてよい。いくつかの例示的な実施形態では、１つまたは複数のプロセッサは、単一の場所内（たとえば、自宅環境内、オフィス環境内、またはサーバ・ファームとして）に配置され得るが、他の実施形態では、プロセッサは、いくつかの場所にまたがって分散されてよい。
【００６３】
１つまたは複数のプロセッサはまた、「クラウド・コンピューティング」環境内での、または「サービスとしてのソフトウェア」（ＳａａＳ：ｓｏｆｔｗａｒｅ  ａｓ  ａ  ｓｅｒｖｉｃｅ）としての、関連動作の実行をサポートするように動作してもよい。たとえば、動作のうちの少なくともいくつかは、コンピュータのグループによって（プロセッサを含む機械の例として）実行されてよく、これらの動作は、ネットワーク（たとえば、インターネット）を介して、および１つまたは複数の適切なインタフェース（たとえば、ＡＰＩ）を介して、アクセス可能である。
【００６４】
例示的な実施形態は、デジタル電子回路内で実装されてもよいし、コンピュータ・ハードウェア、ファームウェア、ソフトウェアの中で実装されてもよいし、それらの組み合わせで実装されてもよい。例示的な実施形態は、コンピュータ・プログラム製品、たとえば、データ処理装置、たとえば、プログラマブル・プロセッサ、コンピュータ、または複数のコンピュータによる実行のために、またはその動作を制御するために、情報キャリア内、たとえば機械可読媒体内で有形に具体化されるコンピュータ・プログラムを使用して実装されてもよい。
【００６５】
コンピュータ・プログラムは、コンパイルされた言語またはインタプリタ処理された（ｉｎｔｅｒｐｒｅｔｅｄ）言語を含む任意の形のプログラミング言語で記述されてよく、
コンピュータ・プログラムは、スタンドアロン・プログラムとして、またはモジュール、サブルーチン、もしくはコンピューティング環境内での使用に適した他のユニットとして、を含む任意の形で展開可能である。コンピュータ・プログラムは、１つのサイトにおいて、１つのコンピュータ上で、もしくは複数のコンピュータ上で実行される、または複数のサイトにまたがって分散され、通信ネットワークによって相互接続されるように展開可能である。
【００６６】
例示的な実施形態では、動作は、入力データに対して動作し、出力を生成することによって機能を実行するために、コンピュータ・プログラムを実行する１つまたは複数のプログラマブル・プロセッサによって実行され得る。方法の動作はまた、特殊目的論理回路（たとえば、ＦＰＧＡまたはＡＳＩＣ）によって実行可能であり、例示的な実施形態の装置は、特殊目的論理回路として実施可能である。
【００６７】
コンピューティング・システムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、一般に互いから遠隔にあり、一般的には、通信ネットワークを通して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いに対するクライアント−サーバ関係を有するコンピュータ・プログラムによって生じる。プログラマブル・コンピューティング・システムを展開する実施形態では、ハードウェア・アーキテクチャとソフトウェア・アーキテクチャの両方が検討を必要とすることが理解されるであろう。具体的には、永続的に構成されたハードウェア（たとえば、ＡＳＩＣ）内で特定の機能を実施するべきか、一時的に構成されたハードウェア（たとえば、ソフトウェアとプログラマブル・プロセッサの組み合わせ）内で実施するべきか、永続的に構成されたハードウェアと一時的に構成されたハードウェアの組み合わせで実施するべきかの選定は、設計上の選定であってよいことが理解されるであろう。以下では、さまざまな例示的な実施形態において展開され得るハードウェア・アーキテクチャ（たとえば、機械）およびソフトウェア・アーキテクチャについて記載する。
【００６８】
図１１は、本明細書で説明される手法のうちのいずれか１つまたは複数を機械に実行させるための命令が実行され得る例示的な形におけるコンピュータ・システム１１００の機械のブロック図である。代替実施形態では、機械は、スタンドアロン・デバイスとして動作し、または他の機械に接続（たとえば、ネットワーク化）されてよい。ネットワーク展開では、機械は、サーバ−クライアント・ネットワーク環境内でサーバ・マシンまたはクライアント・マシンとして動作してもよいし、ピア・ツー・ピア（または分散）ネットワーク環境内でピア・マシンとして動作してもよい。マシンは、パーソナル・コンピュータ（ＰＣ）、タブレットＰＣ、セット・トップ・ボックス（ＳＴＢ）、ＰＤＡ、セルラー電話、ウェブ機器、ネットワーク・ルータ、スイッチもしくはブリッジ、またはそのマシンが取るべき行動を指定する（逐次的または別の方法の）命令を実行することが可能な任意の機械であってよい。さらに、単一のマシンが示されているが、「マシン」という用語は、本明細書で説明される手法のうちの任意の１つまたは複数を実行するために命令の１つのセット（または複数のセット）を個々にまたは共同で実行するマシンの任意の集合も含むように解釈されるものとする。
【００６９】
例示的なコンピュータ・システム１１００は、プロセッサ１１０２（たとえば、ＣＰＵ、ＧＰＵ、または両方）と、メイン・メモリ１１０４と、スタティック・メモリ１１０６とを含み、これらはバス１１０８を介して互いに通信する。コンピュータ・システム１１００は、ビデオ・ディスプレイ・デバイス１１１０（たとえば、液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ））をさらに含み得る。コンピュータ・システム１１００はまた、英数字入力デバイス１１１２（たとえば、キーボード）と、ユーザ・インタフェース（ＵＩ）・ナビゲーション・デバイス１１１４（たとえば、マウスまたはタッチ・センシティブ・ディスプレイ）と、ディスク・ドライブ・ユニット１１１６と、信号生成デバ
イス１１１８（たとえば、スピーカ）と、ネットワーク・インタフェース・デバイス１１２０とを含む。
【００７０】
ディスク・ドライブ・ユニット１１１６は、本明細書で説明される手法または機能のうちの任意の１つまたは複数を具体化するまたはこれによって使用される１つまたは複数の命令のセットおよびデータ構造（たとえば、ソフトウェア）１１２４を記憶する機械可読媒体１１２２を含む。命令１１２４はまた、コンピュータ・システム１１００によるその実行中に、メイン・メモリ１１０４内、スタティック・メモリ１１０６内、またはプロセッサ１１０２内に、完全にまたは少なくとも部分的に常駐してよく、メイン・メモリ１１０４とプロセッサ１１０２はまた、機械可読媒体を構成する。
【００７１】
機械可読媒体１１２２は、例示的な１実施形態では単一の媒体であるように示されているが、「機械可読媒体」という用語は、１つまたは複数の命令またはデータ構造を記憶する単一の媒体または複数の媒体（たとえば、集中データベースもしくは分散データベース、または関連付けられたキャッシュおよびサーバ）を含んでよい。「機械可読媒体」という用語はまた、機械による実行のための命令を記憶、符号化、または運搬することが可能であり、この技術の手法のうちの任意の１つもしくは複数を機械に実行させる、またはそのような命令によって使用されるもしくは関連付けられるデータ構造を記憶、符号化、もしくは運搬することが可能である、任意の有形媒体を含むように解釈されるものとする。したがって、「機械可読媒体」という用語は、限定するものではないが、ソリッドステート・メモリ、光学式媒体、および磁気媒体を含むように解釈されるものとする。機械可読媒体の具体例としては、例として、半導体メモリ・デバイス、たとえば、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュ・メモリ・デバイスを含む不揮発性メモリ、内部ハード・ディスクおよびリムーバブル・ディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤ−ＲＯＭディスクおよびＤＶＤ−ＲＯＭディスクがある。
【００７２】
命令１１２４は、伝送媒体を使用して、通信ネットワーク１１２６を経由してさらに送信または受信され得る。命令１１２４は、ネットワーク・インタフェース・デバイス１１２０およびいくつかの周知の転送プロトコルのいずれか１つ（たとえば、ＨＴＴＰ）を使用して送信され得る。通信ネットワークの例としては、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、携帯電話ネットワーク、基本電話（ＰＯＴＳ：Ｐｌａｉｎ  Ｏｌｄ  Ｔｅｌｅｐｈｏｎｅ）ネットワーク、および無線データ・ネットワーク（たとえば、ＷｉＦｉネットワークおよびＷｉＭＡＸネットワーク）がある。「伝送媒体」という用語は、機械による実行のための命令を記憶、符号化、または運搬することが可能であり、そのようなソフトウェアの通信を行うためのデジタル通信信号またはアナログ通信信号または他の無形媒体を含む任意の無形媒体を含むように解釈されるものとする。
【００７３】
本発明の主題について、特定の例示的な実施形態を参照しながら説明してきたが、本発明の範囲から逸脱することなく、これらの実施形態に対してさまざまな修正および変更が行われ得ることは明らかである。したがって、明細書および図面は、制限する意味ではなく説明の意味でみなされるべきである。本発明の一部を形成する添付の図面は、限定としてではなく例として、主題が実施され得る特定の実施形態を示す。図示の実施形態は、当業者が本明細書で開示される教示を実施することを可能にするほど十分詳細に説明される。本開示の範囲から逸脱することなく、構造上および論理上の置き換えおよび変更がなされ得るように、他の実施形態が使用され、それから導き出されてよい。したがって、この詳細な説明は、限定的な意味で解釈されるべきではなく、さまざまな実施形態の範囲は、添付の特許請求の範囲が権利を与えられる等価物の全範囲とともに、そのような特許請求の範囲のみによって、定義される。
【図１】
0006628793.tif 000002
【図２】
0006628793.tif 000003
【図３Ａ】
0006628793.tif 000004
【図３Ｂ】
0006628793.tif 000005
【図４】
0006628793.tif 000006
【図５】
0006628793.tif 000007
【図６Ａ】
0006628793.tif 000008
【図６Ｂ】
0006628793.tif 000009
【図７Ａ】
0006628793.tif 000010
【図７Ｂ】
0006628793.tif 000011
【図８Ａ】
0006628793.tif 000012
【図８Ｂ】
0006628793.tif 000013
【図９Ａ】
0006628793.tif 000014
【図９Ｂ】
0006628793.tif 000015
【図１０】
0006628793.tif 000016
【図１１】
0006628793.tif 000017