(57)【要約】【課題】コンピューティング・デバイスのユーザは、ユーザの眼の動きによってコンピューティング・デバイスと対話することができる。【解決手段】コンピューティング・デバイスのカメラによって捕捉されたユーザの眼または顔の画像が、アイ・トラッキングおよび注視検出アルゴリズムなどのコンピュータ・ビジョン・アルゴリズムを使用して分析され得る。コンピューティング・デバイスの使用中に、ユーザを照明する１つまたは複数のライトまたはユーザを観察するカメラが、遮断されるようになることがある。デバイスは、注視検出をデバイスによって実行するのに必要であるものよりも多くのライトまたはカメラを備えることができる。過剰装備のデバイスでは、遮断が検出されるまで、追加のライトまたはカメラは休止状態のままであってもよい。カメラまたはライトが遮断されるようになったことに応じて、休止状態のライトまたはカメラが作動され得る。【選択図】なし【特許請求の範囲】
【請求項１】
光源のセットと、
カメラのセットと、
光源の前記セットに対して動作可能に結合されたプロセッサであって、
光源の前記セットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さく、作動された光源の前記サブセットは第１のストロボ周波数でストロボされる、工程と、
第１の光源から発せられる光がユーザの眼に達していないと決定する決定工程であって、前記第１の光源は作動された光源の前記サブセットに含まれる、工程と、
前記決定に基づいて、前記第１の光源から発せられる光の量を減少させ、光源の前記セットの第２の光源を作動させる工程であって、前記第２の光源は作動された光源の前記サブセットに含まれておらず、前記第１の光源から発せられる前記光の量を減少させる工程は前記第１の光源を第２のストロボ周波数でストロボする工程を含み、前記第２のストロボ周波数は前記第１のストロボ周波数未満である、工程と、
前記カメラのうちの１つ以上によって捕捉された画像において前記第２のストロボ周波数を検出する工程と、
前記第２のストロボ周波数の検出に応答して、前記第１の光源を前記第１のストロボ周波数でストロボする工程と、を含む動作を実行するように構成されている、プロセッサと、を備えるシステム。
【請求項２】
前記第１の光源から発せられる前記光が前記ユーザの前記眼に達していないという前記決定は、前記第１の光源の近くの近接センサに基づく、請求項１に記載のシステム。
【請求項３】
前記決定工程は、
前記ユーザの前記眼の第１の画像を前記ユーザの前記眼の第２の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第１の光源からの反射が前記第１の画像に存在し、かつ前記第２の画像に存在しないと決定する工程と、を含む、請求項１に記載のシステム。
【請求項４】
前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源を非作動にする工程をさらに含む、請求項１に記載のシステム。
【請求項５】
前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源の強度を減少させる工程をさらに含む、請求項１に記載のシステム。
【請求項６】
前記動作は、前記第２のストロボ周波数の検出に応答して、前記第２の光源から発せられる光の量を減少させる工程をさらに含む、請求項１に記載のシステム。
【請求項７】
前記動作は、
前記光源の各々の優先順位を計算する工程と、
作動された光源の前記サブセットに含まれない前記光源のうちの最も高い優先順位を有する光源を前記第２の光源として選択する工程と、をさらに含む、請求項１に記載のシステム。
【請求項８】
前記動作は、
光源の前記セットを収容するデバイスが回転されていると検出することに応答して、前記光源の各々の前記優先順位を更新する工程をさらに含む、請求項７に記載のシステム。
【請求項９】
方法であって、
光源のセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さく、作動された光源の前記サブセットは第１のストロボ周波数でストロボされる、工程と、
ユーザの眼の第１の画像を前記ユーザの前記眼の第２の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる第１の光源からの反射が前記第１の画像に存在し、かつ前記第２の画像に存在しないと決定する工程と、
前記決定に基づいて、マシンのプロセッサが、前記第１の光源から発せられる光の量を減少させ、光源の前記セットの第２の光源を作動させる工程であって、前記第２の光源は作動された光源の前記サブセットに含まれておらず、前記第１の光源から発せられる前記光の量を減少させる工程は前記第１の光源を第２のストロボ周波数でストロボする工程を含み、前記第２のストロボ周波数は前記第１のストロボ周波数未満である、工程と、
カメラのうちの１つ以上によって捕捉された画像において前記第２のストロボ周波数を検出する工程と、
前記第２のストロボ周波数の検出に応答して、前記第１の光源を前記第１のストロボ周波数でストロボする工程と、を備える方法。
【請求項１０】
前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源を非作動にする工程をさらに含む、請求項９に記載の方法。
【請求項１１】
前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源の強度を減少させる工程をさらに含む、請求項９に記載の方法。
【請求項１２】
前記第１の光源に基づいて前記第２の光源を識別する工程をさらに備える、請求項９に記載の方法。
【請求項１３】
前記第２のストロボ周波数の検出に応答して、前記第２の光源から発せられる光の量を減少させ、前記第１の光源を復帰させる工程と、をさらに備える、請求項９に記載の方法。
【請求項１４】
命令を記憶する非一時的な機械可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに
光源のセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さく、作動された光源の前記サブセットは第１のストロボ周波数でストロボされる、工程と、
作動された光源の前記サブセットに含まれる第１の光源からの光の反射がカメラに達していないと決定する決定工程と、
前記決定に基づいて、前記第１の光源から発せられる光の量を減少させ、光源の前記セットの第２の光源を作動させる工程であって、前記第２の光源は作動された光源の前記サブセットに含まれておらず、前記第１の光源から発せられる前記光の量を減少させる工程は前記第１の光源を第２のストロボ周波数でストロボする工程を含み、前記第２のストロボ周波数は前記第１のストロボ周波数未満である、工程と、
前記カメラによって捕捉された画像において前記第２のストロボ周波数を検出する工程と、
前記第２のストロボ周波数の検出に応答して、前記第１の光源を前記第１のストロボ周波数でストロボする工程と、
を含む動作を実行させる、媒体。
【請求項１５】
前記第１の光源から発せられる前記光の量を減少させる工程は、前記第１の光源を非作動にする工程を含む、請求項１４に記載の機械可読記憶媒体。
【請求項１６】
前記第１の光源からの光の反射が前記カメラに達していないと決定する工程は、
ユーザの眼の第１の画像を前記ユーザの前記眼の第２の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第１の光源からの反射が前記第１の画像に存在し、かつ前記第２の画像に存在しないと決定する工程と、を含む、請求項１４に記載の機械可読記憶媒体。
【請求項１７】
前記決定工程は、前記光源の近くの近接センサに基づく、請求項１４に記載の機械可読記憶媒体。
【請求項１８】
前記第１の光源からの前記光が前記カメラに達していないと決定する前記工程は、
前記カメラによって撮られた第１の画像を前記カメラによって撮られた第２の画像と比較する工程と、
前記比較に基づいて、ユーザの眼が前記第１の画像に存在し、かつ前記第２の画像に存在しないと決定する工程と、
を含む、請求項１４に記載の機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、アイ・トラッキングを利用するユーザ・インタフェースおよび制御装置に関し、より具体的には、アイ・トラッキング・システムの使用中に発光ダイオード（ＬＥＤ）出力またはカメラ入力を調節するためのシステムおよび方法に関する。
【背景技術】
【０００２】
ユーザの注視は、ユーザの眼（アイ）または顔の画像に存在する眼の情報に基づいてユーザの注視の場所を決定するアイ・トラッキング技術を使用して決定され得る。不十分な照明または画像品質は、誤ったアイ・トラッキングをもたらすことがある。
【図面の簡単な説明】
【０００３】
【図１】いくつかの例示の実施形態による、動的カメラまたはＬＥＤ動作を可能にする例示のコンピューティング・デバイスのデバイス図。
【図２】いくつかの例示の実施形態による、動的カメラまたはＬＥＤ動作のための例示のシステム・アーキテクチャのブロック図。
【図３】いくつかの例示の実施形態による、動的アイ・トラッキングキャリブレーションで使用されるデータの例示の流れのブロック図。
【図４Ａ】いくつかの実施形態による、ディスプレイに関連してアイ・トラッキング技術を示す概略図。
【図４Ｂ】いくつかの実施形態による、ディスプレイに関連してアイ・トラッキング技術を示す概略図。
【図５】いくつかの例示の実施形態による、動的ＬＥＤ動作の例示のプロセスの流れ図。
【図６】いくつかの例示の実施形態による、動的ＬＥＤ動作の例示のプロセスの流れ図。
【図７】いくつかの例示の実施形態による、動的カメラ動作の例示のプロセスの流れ図。
【図８】いくつかの例示の実施形態による、動的カメラ動作の例示のプロセスの流れ図。
【図９】いくつかの例示の実施形態による、本明細書で論じられる手法のうちの任意の１つまたは複数をマシンに実行させるための１組の命令が実行され得るコンピュータ・システムの例示の形態のマシンのブロック図。
【発明を実施するための形態】
【０００４】
いくつかの例示の実施形態が、添付図面の図に限定ではなく例として示されている。
動的カメラまたはＬＥＤ動作のための例示のシステムおよび方法が記述される。以下の記述では、説明のために、数多くの特定の詳細が、例示の実施形態の徹底的な理解を提供するために述べられる。しかしながら、当業者には、本技術がこれらの特定の詳細なく実施され得ることが、明らかであろう。
【０００５】
コンピューティング・デバイスのユーザは、ユーザの眼の動きによってコンピューティング・デバイスと対話し、コンピューティング・デバイスに表示されたオブジェクトおよびアプリケーションを制御することができる。コンピューティング・デバイスのカメラまたはコンピューティング・デバイスに対して結合されたデバイスのカメラによって捕捉されたユーザの眼または顔の画像は、アイ・トラッキング−注視検出アルゴリズムなどのコンピュータ・ビジョン・アルゴリズムを使用して分析され得る。次いで、コンピューティング・デバイスは、抽出された情報を使用して、ユーザの眼の場所および方位を決定し、かつユーザの注視場所を評価することができる。ユーザの注視場所は、ユーザがどこを見ているか（例えば、ユーザに対する３次元（３Ｄ）空間における、およびユーザが見ている場所）の評価であり、ユーザの視線、注視点、ユーザの注視の収束の深さ、またはそれらの任意の好適な組合せなどの情報を含むことができる。画像の捕捉を容易にするために、デバイスによって制御されたライト（例えば、ＬＥＤ）がユーザの顔を照明するのに使用されてもよい。例えば、捕捉された画像は、ユーザの眼または顔の特徴に関連する情報を抽出するために処理され得る。
【０００６】
コンピューティング・デバイスの使用中に、注視検出器によって受け取られる画像の品質に影響を与える事象が生じることがある。例えば、ユーザを照明する１つまたは複数のライトが遮断されるようになり、それによって、ユーザの眼の捕捉された画像の品質が低下することがある。別の例として、ユーザの画像を捕捉する１つまたは複数のカメラが遮断されるようになり、注視検出器が利用できるデータの量が減少することがある。
【０００７】
ライトまたはカメラの遮断が、ライトまたはカメラの近くの近接センサの使用によって、ライトまたはカメラの近くの光センサによって、１つまたは複数のカメラによって捕捉された１つまたは複数の画像の分析によって、またはそれらの任意の好適な組合せによって検出され得る。デバイスは、アイ・トラッキングを実行するのに必要であるよりも多くのライトまたはカメラを備えることができる。例えば、特別なデバイスで２つのライトおよび１つのカメラがアイ・トラッキングを実行するのに必要とされることがあるが、デバイスは、４つのライトおよび２つのカメラを備えることがある。過剰装備のデバイスでは、遮断が検出されるまで、追加のライトまたはカメラは休止状態のままであってもよい。例えば、システムは、特別な光源からの光がユーザの眼に達していないことを検出することができる。カメラまたはライトが遮断されるようになったことに応じて、休止状態のライトまたはカメラは作動され得る。このようにして、注視検出品質の低下が、部分的にまたは全面的に緩和され得る。
【０００８】
図１は、アイ・トラッキング制御を容易にし、アイ・トラッキング・システムの使用の間ライト出力またはカメラ入力を調節することができる例示のコンピューティング・デバイスのデバイス図である。アイ・トラッキング制御が記述の全体にわたって記述されるが、例示のコンピューティング・デバイスは、ユーザが眼でコンピューティング・デバイスを制御することなくユーザの眼の動きを記録するために受動的に使用され得る（例えば、有用性研究を促進するために、または車両の運転者の眠気レベルを決定するために）ことを当業者は理解するであろう。アイ・トラッキング制御は、ユーザの眼の活動をトラッキングすることに基づいて、デバイス、またはデバイスで動作するソフトウェアの制御を参照する。例えば、ユーザの眼の位置または運動に基づいて、スクリーン上のオブジェクトが移動され得る、テキストが入力され得る、ユーザ・インタフェースが対話され得る、など。
【０００９】
コンピューティング・デバイスは、限定はしないが、スマートフォン、携帯情報端末（ＰＤＡ）、モバイル・フォン、コンピューティング・タブレット、電子リーダ、テレビ、ラップトップ、デスクトップ・コンピュータ、ディスプレイ・デバイス、ヘッドマウント・ディスプレイ、バーチャル・リアリティ・ヘッドセット、拡張現実ヘッドセットなどを含む任意のタイプのコンピューティング・デバイスとすることができる。いくつかの例示の実施形態では、コンピューティング・デバイスは、車両（例えば、自動車、ボート、もしくは航空機）、または電気器具（例えば、冷蔵庫、テレビ、ゲーム・コンソールなど）に一体化されるかまたは装着される。アイ・トラッキング制御中、コンピューティング・デバイスは、片手、両手でコンピューティング・デバイスを保持することによってユーザによって使用されてもよく、コンピューティング・デバイスがスタンド上にあるかまたは表面上に載っている間に使用されてもよく、コンピューティング・デバイスがユーザの頭に装着されている間に使用されてもよい。
【００１０】
コンピューティング・デバイスは、カメラＣと、１つまたは複数のＬＥＤとを含むことができる。図１の例では、４つのＬＥＤ  Ｌ１〜Ｌ４が表されている。説明の目的のために、本明細書の議論は、ＬＥＤ  Ｌ１〜Ｌ４を引き続き参照する。しかしながら、任意の適切な発光源（例えば、赤外線（ＩＲ）レーザ）が、ＬＥＤ  Ｌ１〜Ｌ４のうちの１つまたは複数の代わりに使用されてもよい。
【００１１】
コンピューティング・デバイスは、任意の数のＬＥＤ  Ｌ１〜Ｌ４（例えば、ＩＲ  ＬＥＤ）を含むことができ、それらは、好適な場所に任意の方法でコンピューティング・デバイス内に置かれてもよい。いくつかの例示の実施形態では、１つまたは複数のＬＥＤは、カメラの１つまたは複数がフレームを捉えているときＬＥＤのうちの１つまたは複数がオンにされ、そうでない場合はオフにされるように１つまたは複数のカメラと同期され得る。いくつかの例示の実施形態では、動きが所定の期間内に検出されなかった場合、またはコンピューティング・デバイスがスリープ・モードに入る場合、ＬＥＤはオフにされ得る。
【００１２】
アイ・トラッキング制御ソフトウェアは、カメラＣによって撮られた画像を分析して、ユーザがコンピューティング・デバイスのディスプレイのどこを見ているかを示すスクリーンに対する座標（ｘ，ｙ，ｚまたはｘ，ｙ）を提供することができる。これらの座標は、任意の数のアプリケーション（例えば、スクロール、オブジェクトの移動、アイコンの選択、ゲームのプレイ、分析のためのデータの収集など）で使用され得る。
【００１３】
図２は、アイ・トラッキング制御およびそのキャリブレーションを容易にするための例示のシステム・アーキテクチャ２００のブロック図である。システム・アーキテクチャ２００の構成要素２０２〜２２０のうちの任意の１つまたは複数は、ハードウェア・モジュール（例えば、コンピューティング・デバイスの適切に構成された中央処理装置（ＣＰＵ）、またはコンピューティング・デバイスのＣＰＵとグラフィック処理装置（ＧＰＵ）との組合せ）を使用して実装され得る。いくつかの例示の実施形態では、システム・アーキテクチャ２００の構成要素２０２〜２２０のうちの任意の１つまたは複数は、専用チップで動作するソフトウェアを含むことができる。ソフトウェアは、バックグラウンド・プロセスとして（例えば、ウェブ・ブラウザなどにおけるオペレーティング・システム（ＯＳ）の一部として）動作することができ、他のアプリケーションがアクセスできるアプリケーション・プログラミング・インタフェース（ＡＰＩ）２０４を備えることができる。ＡＰＩ２０４は、アラートを送る（例えば、イベントを発生させる）か、または何か他の同様の機構を使用して他のアプリケーションに対して注視情報を送ることができる。
【００１４】
システム・アーキテクチャ２００は、異なる層に分割され得る。ハードウェア層は、それぞれのハードウェア（例えば、カメラ、赤外線照明など）に対応することができるカメラ・モジュール２１８および赤外線照明モジュール２２０を含むことができる。カメラ層は、例えば、カメラの始動、画像の取り込み、カメラ特性の制御などのようなカメラ動作を実行するために、１つまたは複数のカメラとの通信を担当することができるカメラ制御モジュール２１４を含むことができる。この層は、カメラ−ライト同期モジュール２１６をさらに含むことができ、カメラ−ライト同期モジュール２１６は１つまたは複数のカメラと赤外線発光器とを同期させ、その結果、ライトがアイ・トラッキング・ソフトウェアによって制御されて、ユーザの眼のトラッキングを改善し、エネルギー消費を最小にすることができる。いくつかの例示の実施形態では、カメラ層は、カメラ・トリガ出力の周波数で赤外線ＬＥＤをストロボするように構成され得る。
【００１５】
カメラ層は、アイ・トラッキング層に対して画像を送出することができる。アイ・トラッキング層において、眼検出−トラッキング・モジュール２０８は画像を処理して、顔の場所、眼の領域の場所、瞳孔の中心、瞳孔のサイズ、角膜の反射の場所、目じり、虹彩の中心、虹彩のサイズなどのような特徴を見いだすことができる。この特徴を使用して、異なるユーザ・メトリック（例えば、車両の運転者の眠気）を決定することができる。さらに、これらの特徴は、注視評価段階において注視評価モジュール２０６によって使用される可能性があり、注視評価モジュール２０６は、眼検出−トラッキング・モジュール２０８によって計算された特徴を使用して、ユーザの注視点または視線を計算することを担当することができる。ユーザの注視点は、ユーザが見ているディスプレイ上の場所、ユーザが見ている別の面上の場所、ユーザが見ている３次元の点、またはユーザが見ている面であり得る。注視評価モジュール２０６は、さらに、光軸および視軸、３Ｄ空間における角膜の中心および瞳孔の場所などのようなユーザの眼の特定の特徴を計算することができる。これらの特徴は、さらに、所与のディスプレイまたは面上の注視点を計算するために利用され得る。
【００１６】
動的制御モジュール２１０は、センサ情報を処理して、遮断されたライトまたはカメラを検出し、適切な反応を引き起こす。例えば、眼検出−トラッキング・モジュール２０８は、ライトに対応する輝きが消失したと決定することができる。動的制御モジュール２１０は、対応するライトを非作動にし、別の非作動のライトを選択し、赤外線照明モジュール２２０を介して別の非作動のライトを作動させることによって、輝きの消失に応答することができる。別の例として、カメラの近くの近接センサは、カメラが覆われたことを検出することができる。センサに応答して、動的制御モジュール２１０は、非作動にされたカメラを選択し、それをカメラ制御モジュール２１４またはカメラ・モジュール２１８を介して作動させることができる。
【００１７】
ＡＰＩ層は、アイ・トラッキング層と、眼の注視の情報（例えば、眼の注視の情報を利用するＯＳ層またはゲーム）を使用するアプリケーション２０２との間の通信に使用され得る。ＯＳ２１２は、図２において、アイ・トラッキング層とカメラ層との間に介在するように示されているが、いくつかの例示の実施形態では、相対位置が逆転され、アイ・トラッキング層がＯＳ２１２とカメラ層との間に介在する。ＡＰＩモジュール２０４は、注視点の座標、ユーザの眼の３Ｄ場所、瞳孔のサイズ、眼の間の距離、頭の方位、頭の動きなどのようなアイ・トラッキング層によって計算されたデータを送ることができる。ＡＰＩモジュール２０４は、さらに、アイ・トラッキング層へのアプリケーションからのコマンド（例えば、アイ・トラッキング・エンジンを始動または停止する、特定の情報を照会する、ユーザが見ることができる視覚要素の場所およびサイズをエンジンに通知する、またはそれらの任意の好適な組合せのための）を受け入れることができる。アプリケーション・モジュール２０２およびＯＳ２１２は、アイ・トラッカのＡＰＩモジュール２０４に対して接続し、任意の好適な目的（例えば、アプリケーションまたはゲームを制御する、視覚的挙動研究のために眼のデータを記録する、スクリーン上における情報の透明度を調節する、またはそれらの任意の好適な組合せを行う）のために眼の注視の情報を使用することができる。
【００１８】
図３は、アイ・トラッキング制御およびそのキャリブレーションを容易にするために使用されるデータの例示の流れのブロック図である。カメラ−赤外線照明モジュール３０２は、１つまたは複数のカメラ、周囲光、発せられた可視光、発せられた赤外光、またはそれらの任意の好適な組合せを使用して、ユーザの画像を捕捉する（例えば、ユーザの顔または片眼もしくは両眼の写真を撮る）ことができる。眼の特徴検出モジュール３０４は、捕捉された画像データを使用して、眼の特徴（例えば、眼、瞳孔、虹彩、角膜の反射、またはそれらの任意の好適な組合せの場所および方位）を検出することができる。検出された眼の特徴を使用して、注視評価モジュール３０６は、ユーザの注視点または視線を評価することができ、次いで、それを使用して、眼制御モジュール３０８によってアプリケーションの態様を制御することができる。
【００１９】
図４Ａおよび図４Ｂは、ディスプレイに関連してアイ・トラッキング技術を示す概略図である。図４Ａにおいて、Ｏは座標系ＸＹＺの中心であり、Ｌ１−ｎは光源である。いくつかの実施形態では、Ｏに対する１つまたは複数のカメラおよび１つまたは複数の光源Ｌ１−ｎの場所は既知である。いくつかの実施形態では、Ｏに対するスクリーンＳの場所は既知である。いくつかの実施形態では、焦点距離、光学的中心などを含むいくつかのカメラパラメータは既知である。既知のパラメータを使用して、未知の値が決定され得る。
【００２０】
いくつかの実施形態では、上述のように、アイ・トラッキング・システムはスクリーンに組み込まれるか、またはスクリーンの特定の場所に装着される。いくつかの他の実施形態では、アイ・トラッキング・システムの構成要素（例えば、１つまたは複数のカメラおよび１つまたは複数の光源）は、自動車ダッシュボード、ヘッド・マウンテッド・ディスプレイ、バーチャル・リアリティ・ヘッドセット、またはヘルメットなどの別の要素に一体化される。
【００２１】
アイ・トラッキング・システムは、瞳孔の中心、瞳孔の楕円、角膜の反射、目じり、顔の方位などを含むユーザの眼および顔の特徴に関する情報を捕捉することができる。瞳孔の中心は、検出された瞳孔の中心の点である。瞳孔の楕円は、（円形の）瞳孔の画像における楕円形の表現である。瞳孔の楕円の離心率は、ユーザの注視の方向と、カメラから眼までのラインとの間の角度に関連する。角膜の反射は、角膜からの反射光である。光源ＬとカメラＯとの間の関係が既知である場合、瞳孔の中心を基準にして測定されたときの光源の角膜反射の位置を使用して、注視方向を識別することができる。光源ＬとカメラＯとの間の関係が既知でない場合、ユーザの注視点は、補間法、交差比に基づいた方法、またはそれらの任意の好適な組合せなどの非ハードウェアキャリブレーション技法を使用して計算され得る。
【００２２】
図４Ｂは、視軸が計算され表示面と交差され得るように、３Ｄ空間において原点Ｏに対して計算される眼の特徴を示す。画像平面上の角膜の反射の場所Ｇを、１つまたは複数のカメラに対する３Ｄ空間における光源の場所Ｌおよびカメラの固有パラメータと組み合わせて使用して、３Ｄ空間における角膜の中心Ｃの場所を計算することができる。例えば、光線は、各光源Ｌから各カメラまで角膜を介して辿り得る。各光源・カメラ対が別個の光線を提供し、角膜の表面上の点を識別する。これらの点の間の三角測量を行うことによって、角膜半径とＣの場所の両方が決定され得る。より多くのカメラまたは光源が使用されると、測定の確度が向上され得る。
【００２３】
画像平面上の瞳孔の中心の場所ｐは、３Ｄ空間における瞳孔の中心の場所Ｅを計算するために、３Ｄ空間における角膜の中心の場所Ｃと、眼および空気の光学的特性と、カメラの固有パラメータとを組み合わせて使用され得る。例えば、カメラは、瞳孔の画像を捕捉するが、角膜の中心の実際の位置は、瞳孔が角膜の後ろにあり、光が角膜と空気との間の接合部で屈折されるので、画像によって直接示される位置と異なる。したがって、瞳孔の中心の見かけの位置は、この屈折を考慮に入れるように調節される。
【００２４】
瞳孔の中心Ｅの場所および３Ｄ空間における角膜の中心Ｃの場所は、光軸と呼ばれるベクトルを定義する。視軸としても知られている実際の視線は、光軸に対して角度オフセットを有し、アルファおよびベータとして知られており、通常、水平に約５°および垂直に１．５°である。アルファおよびベータは、人ごとに異なる値を取ることがあり、それゆえに、ユーザ単位で計算され得る。
【００２５】
アルファとベータの両方は、ユーザがコンピューティング・デバイス上のいくつかの視覚的要素と対話している間に明示的にまたは非明示的に行うことができるキャリブレーションプロセスを介して計算することができる。
【００２６】
ひとたび視軸が分かれば、光線がスクリーン平面と交差され得る。その交差点によって、ユーザが見ているスクリーン上の注視座標が与えられる。角膜半径、または瞳孔の中心と角膜の中心との間の距離のような他の眼のパラメータが、さらに、ユーザキャリブレーションプロセスの間に計算されて、スクリーン上の注視座標の計算の確度が改善され得る（角膜の中心のより良好な評価、それゆえに、光軸および視軸のより良好な評価の理由から）。そうでなければ、平均値が使用され得る（例えば、角膜半径に対して７．８ｍｍ）。
【００２７】
前記ユーザキャリブレーション中にキャリブレーションされるべき未知のものの全セットは、眼のパラメータ（例えば、光軸と視軸アルファおよびベータとの間のオフセット、角膜半径Ｒｃ、瞳孔の中心と角膜の中心との間の距離ｈ、屈折率ｎなど）、およびハードウェア・パラメータ（例えば、３Ｄ空間におけるアイ・トラッキング・デバイスの場所に対するスクリーンＳの場所および方位、ならびにスクリーン・サイズ（幅ｗ，高さｈ））などの任意の未知の情報を含むことができる。キャリブレーションの前に分かっている情報は、１つまたは複数のカメラＬ１〜Ｌｎに対する光源の場所、１つまたは複数のカメラのカメラパラメータ（例えば、焦点距離、光学的中心など）などを含むことができる。
【００２８】
いくつかの例示の実施形態では、スクリーン・サイズ（ｗ，ｈ）は、既知であることがあり、またはソフトウェアによって（例えば、オペレーティング・システムＡＰＩによって）プログラム的に得られ、事前に分かっている情報として使用されることがある。いくつかの実施形態では、眼のパラメータのうちのいくつかは、未知のものの次元空間を縮小するために一定の値を取ることができる。
【００２９】
図５は、いくつかの例示の実施形態による、動的ＬＥＤ動作の例示のプロセス５００の流れ図である。プロセス５００の動作５１０〜５４０は、限定ではなく例として、図２に示された構成要素またはモジュールによって実行されるとして記述される。
【００３０】
動作５１０において、アイ・トラッキングが、デバイスの光源のサブセットを使用して始められる。例えば、図１のＬ３およびＬ４が、赤外線照明モジュール２２０によって有効にされ得る。
【００３１】
デバイスの使用中に、動的制御モジュール２１０は、動作５２０において、有効なライトのうちの１つが遮断されていることを検出することができる。例えば、デバイス１００を保持しているユーザが、Ｌ３の上に親指を置くことがあり、それは、Ｌ３のすぐ隣のデバイスの近接センサによって検出される。別の例として、ユーザは眼鏡をかけていることがあり、眼鏡のフレームがＬ３から発せられた光を遮断することがある。システムは、カメラによって捕捉された画像を分析することによってこの状況を検出することができる。
【００３２】
動的制御モジュール２１０は、動作５３０において、遮断されたライトを減らす。この例を続けると、ライトＬ３は減らされる。ライトを減らすと、電力消費が低減され、発熱が低減され、または両方が行われ得る。いくつかの例示の実施形態では、ライトＬ３を減らすことは、ライトＬ３を完全にオフにすることによって、ライトＬ３の強度を減少させることによって、ライトＬ３のストロボ周波数を減少させることによって、またはそれらの任意の好適な組合せによって達成される。
【００３３】
動作５４０において、動的制御モジュール２１０は、遮断されていないライトを作動させる。利用可能なライトは、互いに代替品として優先順位をつけられ得る。例えば、デバイスの右下角のＬ３は、第１の代替品としてＬ２（右上）、第２の代替品としてＬ４（左下）、および第３の代替品としてＬ１（左上）を有することができる。この場合、Ｌ４は既にオンであるので、Ｌ２が、遮断されたＬ３の代替品として選択されることになる。Ｌ２がやはり遮断されている場合、Ｌ１が選択されることになる。
【００３４】
いくつかの例示の実施形態では、ライトは、対でまたはより大きいセットで取り扱われる。例えば、ライトＬ３およびＬ４は１つの対を形成することができ、ライトＬ１およびＬ２は別の対を形成することができる。Ｌ３またはＬ４のいずれかが遮断されると、Ｌ３とＬ４の両方が無効になり、Ｌ１とＬ２の両方が有効になる。対になったライトでは、ライトを個別に取り扱うことが、代替策（ｆａｌｌｂａｃｋ  ｐｏｓｉｔｉｏｎ）となり得る。例えば、Ｌ３およびＬ４がオンでＬ１およびＬ２がオフである構成から始まり、Ｌ３が遮断されると、Ｌ１とＬ２の両方が利用可能かどうか確かめるためチェックが行われる。利用可能である場合、Ｌ３およびＬ４は無効にされ、Ｌ１およびＬ２が有効にされる。いずれの対も非遮断でない（例えば、Ｌ３およびＬ２が遮断されている）場合、個々のライトＬ４およびＬ１が使用され得る（例えば、Ｌ１が、Ｌ３に対する最も高い優先順位の非遮断の代替品であるので）。
【００３５】
各ライトの優先順位は、いくつかのメトリック（例えば、各ライトの場所、デバイスの方位、デバイスに対するユーザの相対的方位、各ライトの遮られる確率、トラッキングの品質、注視評価の確度、画像中のノイズ、またはそれらの任意の好適な組合せ）に基づいて計算され得る。優先順位は、ユーザがデバイスを使用するとき更新されてもよい。例えば、ユーザがポートレート・モードでデバイスを使用しており、デバイスをランドスケープ・モードで使用するためにデバイスを９０度回転する場合、各ライトの優先順位が更新されてもよい。
【００３６】
遮断されたライトをモニタするプロセスは、デバイスの動作の間続くことができ、図５において、動作５４０が完了した後、制御流れが動作５２０に戻ることによって表されている。
【００３７】
図６は、いくつかの例示の実施形態による、動的ＬＥＤ動作の例示の方法の流れ図である。プロセス６００の動作５１０〜６７０は、限定ではなく例として、図２に示された構成要素またはモジュールによって実行されるとして記述される。プロセス６００の動作５１０〜５４０は、図５に関して上述されている。
【００３８】
動作６５０において、動的制御モジュール２１０は、遮断されたライトがもはや遮断されていないと決定する。その決定に応答して、以前に遮断されていたライトが再度有効にされ（動作６６０）、その代替品はオフにされる（動作６７０）。これは、より高い優先順位のライトの遮断解除を反映することができる。例えば、最も高い優先順位のライト構成がＬ３およびＬ４をオンにしている場合、Ｌ３またはＬ４のいずれかが遮断される（動作５２０において検出される）と、異なるライト構成が使用されることになる（動作５３０および５４０において設定される）。次いで、Ｌ３が遮断されなくなると、Ｌ３は再度有効にされ、Ｌ３の代替品のライトは無効にされるかまたは減らされる（動作６５０〜６７０）。遮断されたライトまたは遮断されていないライトをモニタするプロセスは、デバイスの動作の間続くことができ、図６において、動作６７０が完了した後制御流れが動作５２０に戻ることによって表されている。
【００３９】
光源の遮断解除は近接センサによって決定されてもよい。例えば、ユーザの親指がライトＬ３の近くの近接センサによってライトＬ３を遮断しているとして検出された場合、近接センサは、後で、親指が取り除かれたこと、およびライトが遮断されていないと決定することができる。
【００４０】
いくつかの例示の実施形態では、減らされた光源の遮断解除は画像分析によって決定される。例えば、ライトＬ３がそのストロボ周波数を減少させることによって減らされた場合、眼から反射しているライトＬ３によって発生される輝きは、ひとたびライトＬ３がもはや遮断されなくなると、減少したストロボ周波数と同期して再び現われることになる。したがって、輝きが再び現われると、ライトＬ３のストロボ周波数は正常値に復帰され得る（例えば、動作６６０において）。
【００４１】
図７は、いくつかの例示の実施形態による、動的カメラ動作の例示のプロセス７００の流れ図である。プロセス７００の動作７１０〜７４０は、限定ではなく例として、図２に示された構成要素またはモジュールによって実行されるとして記述される。
【００４２】
動作７１０において、アイ・トラッキングが、デバイスのカメラのサブセットを使用して始められる。例えば、図１のデバイスは、カメラ・モジュール２１８によって有効にされているスクリーンの上方のカメラＣと、アイ・トラッキングが始まると無効にされているスクリーンの下方の第２のカメラＣ２（図示せず）とを有する。
【００４３】
デバイスの使用中に、動的制御モジュール２１０は、動作７２０において、有効なカメラのうちの１つが遮断されていることを検出することができる。例えば、デバイス１００を保持しているユーザが、Ｃの上に親指を置くことがあり、それは、Ｃのすぐ隣のデバイスの近接センサによって検出される。別の例として、遮断されたカメラの検出は、Ｃによって捕捉された２つの画像を比較することによって実行され得る。Ｃによって捕捉された第１の画像がユーザの眼を示しており、Ｃによって捕捉された第２の画像が示していない場合、システムは、カメラＣが遮断されていると結論付けることができる。
【００４４】
動的制御モジュール２１０は、動作７３０において、遮断されたカメラの電力消費を低減する。この例を続けると、カメラＣはオフにされる。カメラをオフにすると、電力消費が低減され、発熱が低減され、ＣＰＵ使用率が低減され、またはその任意の組合せが行われ得る。いくつかの例示の実施形態では、遮断されたカメラは完全にはオフにされるのではなく、スタンバイなどの低電力モードに構成されるか、またはより低い解像度およびフレームレートで画像を捕捉し、それによって、オン状態への移行をより速くするように設定される。
【００４５】
動作７４０において、動的制御モジュール２１０は、遮断されていないカメラを作動させる。利用可能なカメラは、互いに代替品として優先順位がつけられ得る。例えば、Ｃは、第１の代替品としてＣ２と、第２の代替品として第３のカメラＣ３（図示せず）とを有することができる。この場合、Ｃ２も遮断されていない限り、Ｃ２はＣに対して有効にされ得る。
【００４６】
いくつかの例示の実施形態では、カメラは、対でまたはより大きいセットで取り扱われる。図５において対になったライトに関して上述された方法は、カメラにも使用され得る。
【００４７】
遮断されたカメラをモニタするプロセスは、デバイスの動作の間続くことができ、図７において、動作７４０が完了した後、制御流れが動作７２０に戻ることによって表されている。
【００４８】
図８は、いくつかの例示の実施形態による、動的カメラ動作の例示のプロセス８００の流れ図である。プロセス８００の動作７１０〜８７０は、限定ではなく例として、図２に示された構成要素またはモジュールによって実行されるとして記述される。プロセス８００の動作７１０〜７４０は、図７に関して上述されている。
【００４９】
動作８５０において、動的制御モジュール２１０は、遮断されたカメラがもはや遮断されていないと決定する。その決定に応答して、以前に遮断されていたカメラが再度有効にされ（動作８６０）、その代替品はオフにされるか、またはさもなければ低電力モードに置かれる（動作８７０）。これは、より高い優先順位のカメラの遮断解除を反映することができる。例えば、最も高い優先順位のカメラがＣである場合、Ｃが遮断される（動作７２０において検出される）と、異なるカメラ構成が使用されることになる（動作７３０および７４０において設定される）。次いで、Ｃが遮断されなくなる（例えば、Ｃの近くの近接センサによって検出される）と、Ｃは再度有効にされ、Ｃのための代替品のカメラは無効にされることになる（動作８５０〜８７０）。遮断されたカメラまたは遮断されていないカメラをモニタするプロセスは、デバイスの動作の間続くことができ、図８において、動作８７０が完了した後、制御流れが動作７２０に戻ることによって表されている。
【００５０】
カメラは、前記カメラに対するユーザの方位に起因して遮断されることがある。例えば、ユーザは頭を回転させることがあり、カメラはユーザの眼への視線を有しないことがある（例えば、視界がユーザの目蓋によって遮断されることがある）。システムは、１つまたは複数のカメラによって提供された１つまたは複数の画像でこの状況を検出することができ、それに応じて、前記カメラをオフにし、ユーザに対してより良好な方位を有する異なるカメラをオンにすることができる。例えば、デバイスの右側のカメラが遮断された場合、デバイスの左側のカメラが作動され得る。
【００５１】
本明細書で記述する方法およびシステムは、既存の方法およびシステムを上回る利点を提供することができる。例えば、カメラおよび光源の動的制御は、光源またはカメラが遮断される場合でさえ、構成要素が遮断されている（例えば、タッチスクリーンと対話するときユーザの手または親指によって）場合を検出し、異なる構成要素にシームレスに対して切り替えることよって、アイ・トラッキング・セッションが続くようにするができる。別の例示として、十分なだけの遮断されていない構成要素が利用可能でないと決定すると、アイ・トラッキング機能の自動停止を可能にし、それによって、バッテリ消費を低減する。さらなる別の例として、利用可能な（すなわち、遮断されていない）ものからの構成要素の最適な組合せを使用すると、アイ・トラッキング品質ならびに注視評価確度を改善することができる。
【００５２】
いくつかの例示の実施形態は、論理部もしくはいくつかの構成要素、モジュール、または機構を含むように本明細書において記述される。モジュールは、ソフトウェア・モジュール（例えば、機械可読媒体においてまたは伝送信号において具現化されるコード）またはハードウェア・モジュールのいずれかを構成することができる。ハードウェア・モジュールは、いくつかの動作を実行することができる有形のユニットであり、特定の方法で構成または配列され得る。例示の実施形態では、１つまたは複数のコンピュータ・システム（例えば、スタンド・アロン、クライアント、またはサーバ・コンピュータ・システム）またはコンピュータ・システムの１つまたは複数のハードウェア・モジュール（例えば、１つのプロセッサまたは一群のプロセッサ）は、本明細書で記述するようないくつかの動作を実行するように動作するハードウェア・モジュールとしてソフトウェア（例えば、アプリケーションまたはアプリケーション部分）によって構成されてもよい。
【００５３】
様々な例示の実施形態では、ハードウェア・モジュールは、機械的にまたは電子的に実装され得る。例えば、ハードウェア・モジュールは、いくつかの動作を実行するために恒久的に構成された専用回路または論理部（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）などの専用プロセッサとして）を含むことができる。ハードウェア・モジュールは、いくつかの動作を実行するためにソフトウェアによって一時的に構成されるプログラマブル論理部または回路（例えば、汎用プロセッサまたは他のプログラマブル・プロセッサ内に包含されるような）をさらに含むことができる。機械的に、専用および恒久的に構成された回路で、または一時的に構成された回路（例えば、ソフトウェアによって構成された）でハードウェア・モジュールを実装するという決定は、コストおよび時間の考慮によって推進され得ることが理解されよう。
【００５４】
したがって、「ハードウェア・モジュール」という用語は、有形のエンティティを包含すると理解されるべきであり、特定の方法で動作するかまたは本明細書に記述するいくつかの動作を実行するために、物理的に構築されるか、恒久的に構成される（例えば、ハードワイヤード）か、または一時的に構成される（例えば、プログラムされる）エンティティである。ハードウェア・モジュールが一時的に構成される（例えば、プログラムされる）実施形態を考えると、ハードウェア・モジュールの各々は、時間内の任意の１つのインスタンスにおいて構成されるかまたはインスタンス化される必要はない。例えば、ハードウェア・モジュールがソフトウェアを使用して構成された汎用プロセッサを含む場合、汎用プロセッサは異なる時間にそれぞれの異なるハードウェア・モジュールとして構成され得る。したがって、ソフトウェアは、例えば、時間のあるインスタンスに特別なハードウェア・モジュールを構成し、時間の異なるインスタンスに異なるハードウェア・モジュールを構成するようにプロセッサを構成することができる。
【００５５】
ハードウェア・モジュールは、他のハードウェア・モジュールに情報を提供し、他のハードウェア・モジュールから情報を受け取ることができる。したがって、記述されるハードウェア・モジュールは、通信可能に結合されていると見なされ得る。多数のそのようなハードウェア・モジュールが同時に存在する場合、通信は、ハードウェア・モジュールを接続する信号伝送によって（例えば、適切な回路およびバスを介して）達成され得る。多数のハードウェア・モジュールが異なる時間に構成されるかまたはインスタンス化される例示の実施形態において、そのようなハードウェア・モジュール間の通信は、例えば、多数のハードウェア・モジュールがアクセスするメモリ構造における情報の記憶および取出によって達成され得る。例えば、あるハードウェア・モジュールが、動作を実行し、その動作の出力を、あるハードウェア・モジュールが通信可能に結合されたメモリ・デバイスに記憶することができる。次いで、さらなるハードウェア・モジュールが、後で、メモリ・デバイスにアクセスして、記憶された出力を取り出して処理することができる。ハードウェア・モジュールは、さらに、入力または出力デバイスとの通信を開始することができ、リソース（例えば、情報の集合）上で動作することができる。
【００５６】
本明細書に記述される例示の方法の様々な動作は、関連する動作を実行するために一時的に構成される（例えば、ソフトウェアによって）かまたは恒久的に構成される１つまたは複数のプロセッサによって少なくとも部分的に実行され得る。一時的に構成されようと、または恒久的に構成されようと、そのようなプロセッサは、１つまたは複数の動作または機能を実行するように動作するプロセッサ実装モジュールを構成することができる。本明細書で参照されるモジュールは、いくつかの例示の実施形態において、プロセッサ実装モジュールを含むことができる。
【００５７】
同様に、本明細書に記述される方法は、少なくとも部分的にプロセッサ実装されてもよい。例えば、方法の動作のうちの少なくともいくつかは、１つまたは複数のプロセッサまたはプロセッサ実装モジュールによって実行され得る。動作のうちのいくつかについての性能は、１つまたは複数のプロセッサの間に分散され、単一のマシン内に常駐するだけではなく、いくつかのマシンにわたって配備されてもよい。いくつかの例示の実施形態では、１つまたは複数のプロセッサは、単一の場所に（例えば、家庭環境、オフィス環境内に、またはサーバ・ファームとして）配置されてもよく、一方、他の例示の実施形態では、プロセッサは、いくつかの場所にわたって分散されてもよい。
【００５８】
１つまたは複数のプロセッサは、さらに、「クラウド・コンピューティング」環境において、または「サービスとしてのソフトウェア」（ＳａａＳ）として、関連する動作の性能をサポートするように動作することができる。例えば動作のうちの少なくともいくつかは、一群のコンピュータ（プロセッサを含むマシンの例のような）によって実行されてもよく、これらの動作は、ネットワーク（例えば、インターネット）を介して、および１つまたは複数の適切なインタフェース（例えば、ＡＰＩ）を介してアクセス可能である。
【００５９】
例示の実施形態は、デジタル電子回路で、コンピュータ・ハードウェア、ファームウェア、ソフトウェアで、またはそれらの組合せで実装され得る。例示の実施形態は、コンピュータ・プログラム製品、例えば、情報キャリアで、例えば、データ処理装置、例えば、プログラマブル・プロセッサ、コンピュータ、もしくは多数のコンピュータで実行するためのまたはその動作を制御するための機械可読媒体で有形に具現化されたコンピュータ・プログラムを使用して実装され得る。
【００６０】
コンピュータ・プログラムは、コンパイラ型言語またはインタープリタ型言語を含む任意形態のプログラミング言語で書かれることが可能であり、スタンドアロン・プログラムとして、またはモジュール、サブルーチン、もしくはコンピュータ環境で使用するのに好適な他のユニットとして含む任意の形態で配備され得る。コンピュータ・プログラムは、１つのサイトにおいて１つのコンピュータでもしくは多数のコンピュータで実行されるか、または多数のサイトにわたって分散され、通信ネットワークによって相互接続されるように配備され得る。
【００６１】
例示の実施形態では、動作が、コンピュータ・プログラムを実行する１つまたは複数のプログラマブル・プロセッサによって実行されて、入力データで動作し出力を発生することによって機能を実行することができる。方法の動作は、さらに、専用論理回路（例えば、ＦＰＧＡまたはＡＳＩＣ）によって実行されてもよく、例示の実施形態の装置は、専用論理回路（例えば、ＦＰＧＡまたはＡＳＩＣ）として実装されてもよい。
【００６２】
コンピューティング・システムは、クライアントとサーバとを含むことができる。クライアントおよびサーバは、一般に、互いに遠く離れており、典型的には通信ネットワークを通して対話する。クライアントとサーバとの関係は、それぞれのコンピュータで動作し、互いにクライアント−サーバ関係を有するコンピュータ・プログラムによって生じる。プログラマブル・コンピューティング・システムを配備する例示の実施形態では、ハードウェア・アーキテクチャとソフトウェア・アーキテクチャの両方が考慮を必要とすることを理解されよう。具体的には、恒久的に構成されたハードウェア（例えば、ＡＳＩＣ）で、一時的に構成されたハードウェア（例えば、ソフトウェアとプログラマブル・プロセッサとの組み合わせ）で、または恒久的に構成されたハードウェアと一時的に構成されたハードウェアとの組み合わせでいくつかの機能を実装すべきかの選択は、設計上の選択とすることができることを理解されよう。以下に、様々な例示の実施形態において配備され得るハードウェア（例えば、マシン）およびソフトウェア・アーキテクチャが記載される。
【００６３】
図９は、本明細書で論じる手法のうちの任意の１つまたは複数をマシンに実行させるための命令が実行され得るコンピュータ・システム９００の例示の形態のマシンのブロック図である。代替の例示の実施形態では、マシンは、スタンド・アロン・デバイスとして動作するか、または他のマシンに対して接続されてもよい（例えば、ネットワーク化されてもよい）。ネットワーク化された配備では、マシンは、サーバークライアント・ネットワーク環境におけるサーバまたはクライアント・マシンの能力で、またはピア・ツー・ピア（または分散型）ネットワーク環境におけるピアー・マシンとしてのとして動作することができる。マシンは、パーソナル・コンピュータ（ＰＣ）、タブレットＰＣ、セットトップ・ボックス（ＳＴＢ）、ＰＤＡ、携帯電話、ウェブ機器、ネットワーク・ルータ、スイッチもしくはブリッジ、またはそのマシンによってなされるべき処置を指定する命令（逐次的なまたはその他の）を実行することができる任意のマシンとすることができる。さらに、単一のマシンのみが示されているが、「マシン」という用語は、さらに、本明細書で論じられた手法のうちの任意の１つまたは複数を実行するために１組（または多数の組）の命令を個別にまたは共同で実行するマシンの任意の集合を含むように解釈されるものとする。
【００６４】
例示のコンピュータ・システム９００は、プロセッサ９０２（例えばＣＰＵ、ＧＰＵ、または両方）、メイン・メモリ９０４、およびスタティック・メモリ９０６を含み、それらはバス９０８を介して互いに通信する。コンピュータ・システム９００は、映像表示デバイス９１０（例えば、液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ））をさらに含むことができる。コンピュータ・システム９００は、英数字入力デバイス９１２（例えば、キーボード）、ユーザ・インタフェース（ＵＩ）・ナビゲーション・デバイス９１４（例えば、マウスまたはタッチ・センシティブ・ディスプレイ）、ディスク・ドライブ・ユニット９１６、信号発生デバイス９１８（例えば、スピーカ）、およびネットワーク・インタフェース・デバイス９２０をさらに含む。
【００６５】
ディスク・ドライブ・ユニット９１６は、本明細書に記述された手法または機能のうちの任意の１つまたは複数によって具現化するかまたは利用される１つまたは複数の組の命令およびデータ構造（例えば、ソフトウェア）９２４が記憶された機械可読媒体９２２を含む。命令９２４は、さらに、コンピュータ・システム９００による命令９２４の実行の間、メイン・メモリ９０４内に、スタティック・メモリ９０６内に、またはプロセッサ９０２内に完全にまたは少なくとも部分的に常駐することができ、メイン・メモリ９０４およびプロセッサ９０２はさらに機械可読媒体を構成する。
【００６６】
機械可読媒体９２２は例示の実施形態では単一の媒体であるように示されているが、「機械可読媒体」という用語は、１つまたは複数の命令またはデータ構造を記憶する単一の媒体または多数の媒体（例えば、集中型もしくは分散型データベース、または関連づけられるキャッシュおよびサーバ）を含むことができる。「機械可読媒体」という用語は、さらに、マシンによって実行され、本技術の手法のうちの任意の１つまたは複数をマシンに実行させる命令を記憶し、符号化し、または搬送することができるか、あるいはそのような命令によって利用されるかまたはそのような命令に関連づけられるデータ構造を記憶し、符号化し、または搬送することができる任意の有形の媒体を含むように解釈されるものとする。したがって、「機械可読媒体」という用語は、限定はしないが、固体メモリと、光学および磁気媒体とを含むように解釈されるものとする。機械可読媒体の特定の例は、不揮発性メモリを含み、例として、半導体メモリ・デバイス、例えば、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリ・デバイス；内部ハード・ディスクおよび取外し可能ディスクなどの磁気ディスク；光磁気ディスク；ならびにＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスクを含む。
【００６７】
命令９２４は、さらに、伝送媒体を使用して通信ネットワーク９２６を通して送受信されてもよい。命令９２４は、ネットワーク・インタフェース・デバイス９２０と、いくつかのよく知られている転送プロトコル（例えば、ＨＴＴＰ）のうちの任意の１つとを使用して伝送され得る。通信ネットワークの例は、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、モバイル電話ネットワーク、単純旧式電話（ＰＯＴＳ）ネットワーク、およびワイヤレス・データ・ネットワーク（例えば、ＷｉＦｉおよびＷｉＭＡＸネットワーク）を含む。「伝送媒体」という用語は、マシンによる実行のための命令を記憶し、符号化し、または搬送することができる任意の無形の媒体を含むように解釈されるものであり、そのようなソフトウェアの通信を容易にするためのデジタルもしくはアナログ通信信号または他の無形の媒体を含む。
【００６８】
本発明の主題が特定の例示の実施形態を参照して記述されたが、様々な変形および変更が、本発明の範囲から逸脱することなく、これらの実施形態に行われ得ることは明らかであろう。したがって、明細書および図面は、限定の意味ではなく例示の意味で考えられるべきである。本明細書の一部を形成する添付図面は、限定ではなく例証の目的で、主題が実践され得る特定の実施形態を示す。図示の例示の実施形態は、当業者が本明細書で開示された教示を実践することができるように十分に詳細に記述されている。他の実施形態が、利用され、本開示から引き出される可能性があり、その結果、構造的および論理的な置換および変更が本開示の範囲から逸脱することなく行われ得る。それゆえに、この詳細な記述は限定の意味に解釈されるべきではなく、様々な実施形態の範囲は、単に、添付の特許請求の範囲によって、そのような特許請求の範囲が権利を与えられる均等物の全領域とともに定義される。
【００６９】
以下の列挙される例は、本明細書で論じられた方法、機械可読媒体、およびシステム（例えば、装置）の様々な例示の実施形態を定義する。
例１。光源のセットと、
光源の前記セットに対して動作可能に結合されたプロセッサであって、
光源の前記セットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
第１の光源からの光がユーザの眼に達していないと決定する決定工程であって、前記第１の光源は作動された光源の前記サブセットに含まれる、工程と、
前記決定に基づいて、前記第１の光源から発せられる光の量を減少させ、光源の前記セットの第２の光源を作動させる工程であって、前記第２の光源は光源の作動された前記サブセットに含まれない、工程と、を含む動作を実行するように構成されている、プロセッサと、を備えるシステム。
【００７０】
例２。前記第１の光源からの前記光が前記ユーザの前記眼に達していないという前記決定は、前記第１の光源の近くの近接センサに基づく、例１に記載のシステム。
例３。前記決定工程は、
前記ユーザの前記眼の第１の画像を前記ユーザの前記眼の第２の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第１の光源からの反射が前記第１の画像に存在し、かつ前記第２の画像に存在しないと決定する工程と、を含む、例１または２に記載のシステム。
【００７１】
例４。前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源を非作動にする工程を含む、例１乃至３のいずれかに記載のシステム。
例５。前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源の強度を減少させる工程を含む、例１乃至３のいずれかに記載のシステム。
【００７２】
例６。前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源のストロボの周波数を減少させる工程を含む、例１〜３または５のいずれかに記載のシステム。
【００７３】
例７。前記動作は、
減少された前記第１の光源からの光が前記ユーザの前記眼に達していると決定する工程と、
前記決定に基づいて、マシンのプロセッサが、前記第２の光源から発せられる光の量を減少させ、前記第１の光源を復帰させる工程と
をさらに含む、例１〜６のいずれかに記載のシステム。
【００７４】
例８。コンピュータに実装された方法であって、
光源のセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
ユーザの眼の第１の画像を前記ユーザの前記眼の第２の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第１の光源からの反射が前記第１の画像に存在し、かつ前記第２の画像に存在しないと決定する工程と、
前記決定に基づいて、前記第１の光源から発せられる光の量を減少させ、光源の前記セットの第２の光源を作動させる工程であって、前記第２の光源は光源の作動された前記サブセットに含まれない、工程と、を備える方法。
【００７５】
例９。前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源を非作動にする工程を含む、例８に記載の方法。
例１０。前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源の強度を減少させる工程を含む、例８に記載の方法。
【００７６】
例１１。前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源のストロボの周波数を減少させる工程を含む、先行する例８または１０に記載の方法。
【００７７】
例１２。前記第１の光源に基づいて前記第２の光源を識別する工程をさらに備える、例８〜１１のいずれかに記載の方法。
例１３。ユーザの眼の第３の画像を前記ユーザの前記眼の第４の画像と比較する工程と、
前記比較に基づいて、減少された前記第１の光源からの反射が前記第３の画像に存在せず、かつ前記第４の画像に存在すると決定する工程と、
前記決定に基づいて、マシンのプロセッサが、前記第２の光源から発せられる光の量を減少させ、前記第１の光源を復帰させる工程と、をさらに備える、例８〜１２のいずれかに記載の方法。
【００７８】
例１４。命令を記憶する機械可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに請求項８〜１３のいずれか一項に記載の方法を実行させる、媒体。
【００７９】
例１５。請求項８乃至１３のいずれか一項に記載の方法を実行するように構成されている１つまたは複数のプロセッサを備えるシステム。
例１６。コンピュータに実装された方法であって、
光源のセットと、
光源の前記セットに対して動作可能に結合されたプロセッサであって、
光源の前記セットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
第１の光源からの光がユーザの眼に達していないと決定する決定工程であって、前記第１の光源は作動された光源の前記サブセットに含まれる、工程と、
前記決定に基づいて、前記第１の光源から発せられる光の量を減少させ、光源の前記セットの第２の光源を作動させる工程であって、前記第２の光源は光源の作動された前記サブセットに含まれない、工程と、を含む動作を実行するように構成されている、プロセッサと、を備えるシステム。
【００８０】
例１７。前記第１の光源からの前記光が前記ユーザの前記眼に達していないという前記決定は、前記第１の光源の近くの近接センサに基づく、例１６に記載の方法。
例１８。前記決定工程は、
前記ユーザの前記眼の第１の画像を前記ユーザの前記眼の第２の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第１の光源からの反射が前記第１の画像に存在し、かつ前記第２の画像に存在しないと決定する工程と、を含む、例１６または１７に記載の方法。
【００８１】
例１９。前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源を非作動にする工程を含む、例１６〜１８のいずれかに記載の方法。
例２０。前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源の強度を減少させる工程を含む、例１６〜１８のいずれかに記載の方法。
【００８２】
例２１。前記第１の光源から発せられる前記光の量を減少させる前記工程は、前記第１の光源のストロボの周波数を減少させる工程を含む、例１６〜１８または２０のいずれかに記載の方法。
【００８３】
例２２。前記動作は、
減少された前記第１の光源からの光が前記ユーザの前記眼に達していると決定する工程と、
前記決定に基づいて、マシンのプロセッサが、前記第２の光源から発せられる光の量を減少させ、前記第１の光源を復帰させる工程と
をさらに含む、例１６〜２１のいずれかに記載の方法。
【００８４】
例２３。命令を記憶する機械可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに請求項１６〜２２のいずれか一項に記載の方法を実行させる、媒体。
【００８５】
例２４。命令を記憶する機械可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに
カメラのセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
光源からの光の反射が第１のカメラに達していないと決定する工程であって、前記第１のカメラは作動された前記カメラのサブセット含まれる、工程と、
前記決定に基づいて、前記第１のカメラのエネルギー消費を低減し、カメラの前記セットの第２のカメラを作動させる工程であって、前記第２のカメラはカメラの作動された前記サブセットに含まれない、工程と、を含む動作を実行させる、媒体。
【００８６】
例２５。前記第１のカメラの前記エネルギー消費を低減する前記工程は、前記第１のカメラを非作動にする工程を含む、例２４に記載の機械可読記憶媒体。
例２６。前記第１のカメラの前記エネルギー消費を低減する前記工程は、前記第１のカメラによる画像捕捉の頻度を低減する工程を含む、例２４に記載の機械可読記憶媒体。
【００８７】
例２７。前記第１のカメラの前記エネルギー消費を低減する前記工程は、前記第１のカメラによって捕捉される画像の解像度を低下させる工程を含む、例２４または例２６に記載の機械可読記憶媒体。
【００８８】
例２８。光源からの光の反射が第１のカメラに達していないと決定する前記工程は、
ユーザの眼の第１の画像を前記ユーザの前記眼の第２の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第１の光源からの反射が第１の画像に存在し、かつ第２の画像に存在しないと決定する工程と、を含む、例２４乃至２７のいずれかに記載の機械可読記憶媒体。
【００８９】
例２９。前記光源からの前記光の反射が前記第１のカメラに達していないという前記決定は、前記光源の近くの近接センサに基づく、例２４乃至２８のいずれかに記載の機械可読記憶媒体。
【００９０】
例３０。前記光源からの前記光が前記第１のカメラに達していないと決定する前記工程は、
前記第１のカメラによって撮られた第１の画像を前記第１のカメラによって撮られた第２の画像と比較する工程と、
前記比較に基づいて、ユーザの眼が前記第１の画像に存在し、かつ前記第２の画像に存在しないと決定する工程と、を含む、例２４乃至２９のいずれかに記載の機械可読記憶媒体。
【００９１】
例３１。コンピュータに実装された方法であって、
カメラのセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
光源からの光の反射が第１のカメラに達していないと決定する工程であって、前記第１のカメラは作動された前記カメラのサブセット含まれる、工程と、
前記決定に基づいて、前記第１のカメラのエネルギー消費を低減し、カメラの前記セットの第２のカメラを作動させる工程であって、前記第２のカメラはカメラの作動された前記サブセットに含まれない、工程と、を備える方法。
【００９２】
例３２。前記第１のカメラの前記エネルギー消費を低減する前記工程は、前記第１のカメラを非作動にする工程を含む、例３１に記載の方法。
例３３。前記第１のカメラの前記エネルギー消費を低減する前記工程は、前記第１のカメラによる画像捕捉の頻度を低減する工程を含む、例３１に記載の方法。
【００９３】
例３４。前記第１のカメラの前記エネルギー消費を低減する前記工程は、前記第１のカメラによって捕捉される画像の解像度を低下させる工程を含む、例３１または例３３に記載の方法。
【００９４】
例３５。光源からの光の反射が第１のカメラに達していないと決定する前記工程は、
ユーザの眼の第１の画像を前記ユーザの前記眼の第２の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第１の光源からの反射が第１の画像に存在し、かつ第２の画像に存在しないと決定する工程と、を含む、例３１乃至３４のいずれかに記載の方法。
【００９５】
例３６。前記光源からの前記光の反射が前記第１のカメラに達していないという前記決定は、前記光源の近くの近接センサに基づく、例３１乃至３５のいずれかに記載の方法。
例３７。前記光源からの前記光が前記第１のカメラに達していないと決定する前記工程は、
前記第１のカメラによって撮られた第１の画像を前記第１のカメラによって撮られた第２の画像と比較する工程と、
前記比較に基づいて、ユーザの眼が前記第１の画像に存在し、かつ前記第２の画像に存在しないと決定する工程と、を含む、例３１乃至３６のいずれかに記載の方法。
【００９６】
例３８。例３１乃至３７のいずれかに記載の方法を実行するように構成されている１つまたは複数のプロセッサを備えるシステム。
【図１】
2019067425.tif 000002
【図２】
2019067425.tif 000003
【図３】
2019067425.tif 000004
【図４Ａ】
2019067425.tif 000005
【図４Ｂ】
2019067425.tif 000006
【図５】
2019067425.tif 000007
【図６】
2019067425.tif 000008
【図７】
2019067425.tif 000009
【図８】
2019067425.tif 000010
【図９】
2019067425.tif 000011
【手続補正書】
【提出日】平成30年12月17日(2018.12.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法において、
ユーザの眼の画像を捕捉するようにカメラのセットのサブセットを作動させる工程であって、作動されるカメラの前記サブセットは前記セットよりも小さい、工程と、
前記ユーザの注視点を決定するために、捕捉された前記画像に対しアイ・トラッキングを実行する工程と、
カメラの前記セットにおいて作動されるカメラの前記サブセットに含まれる第１のカメラが遮断されたと決定する第１決定工程と、
前記第１決定工程に応じて、前記第１のカメラの電力消費を低減する電力消費低減工程および前記ユーザの前記眼の画像を捕捉するようにカメラの前記セットにおいて作動されるカメラの前記サブセットに含まれない第２のカメラを動作させる工程と、を備える方法。
【請求項２】
前記第１決定工程は、前記第１のカメラの隣の近接センサを用いて遮断を検出する工程を含む、請求項１に記載の方法。
【請求項３】
前記第１決定工程は、前記第１のカメラの隣の光センサを用いて遮断を検出する工程を含む、請求項１に記載の方法。
【請求項４】
前記第１決定工程は、
前記第１のカメラを用いて、前記ユーザの前記眼を含む第１の画像を捕捉する画像捕捉工程と、
前記画像捕捉工程の後、前記第１のカメラを用いて第２の画像を捕捉する工程と、
前記ユーザの前記眼が前記第２の画像に存在するか否かを決定するために前記第１の画像を前記第２の画像と比較する工程と、
前記ユーザの前記眼が前記第２の画像に存在しないと決定することに応じて、前記第１のカメラが遮断されたと決定する工程と、を含む、請求項１に記載の方法。
【請求項５】
前記電力消費低減工程は、前記第１のカメラをオフにする工程を含む、請求項１に記載の方法。
【請求項６】
前記電力消費低減工程は、前記第１のカメラを完全にはオフにせずに低電力モードに入るように前記第１のカメラを構成する工程を含む、請求項１に記載の方法。
【請求項７】
前記第１のカメラは、作動されることに応じて第１の解像度で画像を捕捉し、前記電力消費低減工程は、前記第１の解像度よりも低い第２の解像度で画像を捕捉するように前記第１のカメラを構成する工程を含む、請求項１に記載の方法。
【請求項８】
前記第１のカメラは、作動されることに応じて第１のフレームレートで画像を捕捉し、前記電力消費低減工程は、前記第１のフレームレートよりも低い第２のフレームレートで画像を捕捉するように前記第１のカメラを構成する工程を含む、請求項１に記載の方法。
【請求項９】
作動されるカメラの前記サブセットに含まれない前記カメラのうちの２つ以上に対しそれぞれの優先順位の値を割り当てる工程であって、前記第２のカメラは割り当てられた前記優先順位の値のうち最も高い優先順位の値を有する、工程をさらに備える、請求項１に記載の方法。
【請求項１０】
前記ユーザの前記眼の画像を捕捉するように前記第２のカメラを動作させた後、前記第２のカメラが遮断されたと決定する第２決定工程と、
第２決定工程に応じて、前記ユーザの前記眼の画像を捕捉するようにカメラの前記セットにおいて作動されるカメラの前記サブセットに含まれない第３のカメラを動作させる工程であって、前記第３のカメラは、割り当てられた前記優先順位の値のうち２番目に高い優先順位の値を有する、工程と、をさらに備える、請求項９に記載の方法。
【請求項１１】
前記第１のカメラがもはや遮断されていないと決定する遮断解除決定工程と、
前記遮断解除決定工程に応じて、前記第１のカメラを再度有効にし、前記第２のカメラの電力消費を低減する工程と、をさらに備える、請求項１に記載の方法。
【請求項１２】
コンピュータプログラム命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されるとき、前記プロセッサに
ユーザの眼の画像を捕捉するようにカメラのセットのサブセットを作動させる工程であって、作動されるカメラの前記サブセットは前記セットよりも小さい、工程と、
前記ユーザの注視点を決定するために、捕捉された前記画像に対しアイ・トラッキングを実行する工程と、
カメラの前記セットにおいて作動されるカメラの前記サブセットに含まれる第１のカメラが遮断されたと決定する第１決定工程と、
前記第１決定工程に応じて、前記第１のカメラの電力消費を低減し、前記ユーザの前記眼の画像を捕捉するようにカメラの前記セットにおいて作動されるカメラの前記サブセットに含まれない第２のカメラを動作させる工程と、を含む動作を実行させる、コンピュータ可読記憶媒体。
【請求項１３】
前記第１決定工程は、前記第１のカメラの隣の近接センサを用いて遮断を検出する工程を含む、請求項１２に記載のコンピュータ可読記憶媒体。
【請求項１４】
前記第１決定工程は、前記第１のカメラの隣の光センサを用いて遮断を検出する工程を含む、請求項１２に記載のコンピュータ可読記憶媒体。
【請求項１５】
前記第１決定工程は、
前記第１のカメラを用いて、前記ユーザの前記眼を含む第１の画像を捕捉する画像捕捉工程と、
前記画像捕捉工程の後、前記第１のカメラを用いて第２の画像を捕捉する工程と、
前記ユーザの前記眼が前記第２の画像に存在するか否かを決定するために前記第１の画像を前記第２の画像と比較する工程と、
前記ユーザの前記眼が前記第２の画像に存在しないと決定することに応じて、前記第１のカメラが遮断されたと決定する工程と、を含む、請求項１２に記載のコンピュータ可読記憶媒体。
【請求項１６】
前記動作は、
作動されるカメラの前記サブセットに含まれない前記カメラのうちの２つ以上に対しそれぞれの優先順位の値を割り当てる工程であって、前記第２のカメラは割り当てられた前記優先順位の値のうち最も高い優先順位の値を有する、工程をさらに含む、請求項１２に記載のコンピュータ可読記憶媒体。
【請求項１７】
前記動作は、
前記ユーザの前記眼の画像を捕捉するように前記第２のカメラを動作させた後、前記第２のカメラが遮断されたと決定する第２決定工程と、
第２決定工程に応じて、前記ユーザの前記眼の画像を捕捉するようにカメラの前記セットにおいて作動されるカメラの前記サブセットに含まれない第３のカメラを動作させる工程であって、前記第３のカメラは、割り当てられた前記優先順位の値のうち２番目に高い優先順位の値を有する、工程と、をさらに含む、請求項１６に記載のコンピュータ可読記憶媒体。
【請求項１８】
前記動作は、
前記第１のカメラがもはや遮断されていないと決定する遮断解除決定工程と、
前記遮断解除決定工程に応じて、前記第１のカメラを再度有効にし、前記第２のカメラの電力消費を低減する工程と、をさらに含む、請求項１２に記載のコンピュータ可読記憶媒体。
【請求項１９】
システムであって、
プロセッサと、
コンピュータプログラム命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記命令は、前記プロセッサによって実行されるとき、前記プロセッサに
ユーザの眼の画像を捕捉するようにカメラのセットのサブセットを作動させる工程であって、作動されるカメラの前記サブセットは前記セットよりも小さい、工程と、
前記ユーザの注視点を決定するために、捕捉された前記画像に対しアイ・トラッキングを実行する工程と、
カメラの前記セットにおいて作動されるカメラの前記サブセットに含まれる第１のカメラが遮断されたと決定する第１決定工程と、
前記第１決定工程に応じて、前記第１のカメラの電力消費を低減し、前記ユーザの前記眼の画像を捕捉するようにカメラの前記セットにおいて作動されるカメラの前記サブセットに含まれない第２のカメラを動作させる工程と、を含む動作を実行させるコンピュータ可読記憶媒体と、を備えるシステム。
【請求項２０】
前記動作は、
前記第１のカメラがもはや遮断されていないと決定する遮断解除決定工程と、
前記遮断解除決定工程に応じて、前記第１のカメラを再度有効にし、前記第２のカメラの電力消費を低減する工程と、をさらに含む、請求項１９に記載のシステム。