(57)【要約】  主に眼球運動に基づいてデバイス着用者の意図を識別するためのシステムおよび方法が提供される。当該システムは、アイトラッキングを実行して画面表示を制御する邪魔にならないヘッドウェア内に含まれてもよい。当該システムは、リモートアイトラッキングカメラ、リモートディスプレイおよび／または他の補助的な入力も利用してもよい。画面レイアウトは、高速眼球信号の形成および確実な検出を容易にするように最適化される。眼球信号の検出は、デバイス着用者による自発的な制御下にある生理学的な眼球運動の追跡に基づく。眼球信号の検出は、ウェアラブルコンピューティングおよび幅広いディスプレイデバイスに適合する動作をもたらす。
2017526078.tif 000002
【特許請求の範囲】
【請求項１】
検出器を用いて電子ディスプレイに対するユーザの片眼または両眼の動きに少なくとも部分的に基づいて前記ユーザの意図を判断するためにグラフィカルユーザインターフェイスを提供するための方法であって、
少なくとも１つの眼の視線がいつ前記ディスプレイ上のオブジェクトに向けられるかを特定するステップと、
前記オブジェクトから、動作に対応する前記ディスプレイ上の第１のアイコンを含むターゲット位置の方への前記少なくとも１つの眼のサッケード運動を特定するステップと、
前記サッケード運動後に前記少なくとも１つの眼の視線が前記ターゲット位置に着地したことを確認するステップと、
前記オブジェクト上の前記動作を実行するステップとを備える、方法。
【請求項２】
前記少なくとも１つの眼が前記ターゲット位置を固視する前、最中または後に、前記第１のアイコンは前記ディスプレイ上で視覚的に変更される、請求項１に記載の方法。
【請求項３】
前記第１のアイコンは、前記ターゲット位置における前記オブジェクトに対応する第２のアイコンと置換される、請求項１に記載の方法。
【請求項４】
前記第２のアイコンは、前記オブジェクトのサムネイルを備える、請求項３に記載の方法。
【請求項５】
前記第２のアイコンは、前記オブジェクトの類似物または一部を備える、請求項３に記載の方法。
【請求項６】
前記少なくとも１つの眼の視線が前記オブジェクトに向けられたことの視覚的確認を前記ディスプレイ上で提供するステップをさらに備える、請求項１に記載の方法。
【請求項７】
前記視覚的確認は、前記オブジェクトの周囲に少なくとも部分的に境界を表示することを備える、請求項６に記載の方法。
【請求項８】
前記視覚的確認は、前記オブジェクトを視覚的に修正することなく前記オブジェクトの周囲に少なくとも部分的に境界を表示することを備える、請求項６に記載の方法。
【請求項９】
サッケード運動を特定するステップは、眼球運動がいつ予め定められた閾値を超える速度を有するかを判断するために前記少なくとも１つの眼の動きをモニタリングし、それによって、前記眼球運動がサッケードであることを特定するステップを備える、請求項１に記載の方法。
【請求項１０】
前記眼球運動は、予め定められた閾値を超える期間または距離を有する、請求項９に記載の方法。
【請求項１１】
サッケード運動を特定するステップは、前記眼球運動の方向を判断し、前記眼球運動の速度および方向に基づいて、前記眼球運動の目的地が第１のターゲット位置であることを予測するステップをさらに備える、請求項９に記載の方法。
【請求項１２】
前記ディスプレイ上に複数の画像を表示するステップをさらに備え、前記オブジェクトは、前記画像のうちの第１の画像であり、第２のアイコンは、前記第１の画像のサムネイルであり、前記動作は、前記ディスプレイ上の前記複数の画像を前記第１の画像の拡大バージョンと置換することを備える、請求項１に記載の方法。
【請求項１３】
前記第１の画像の前記拡大バージョンに対する前記少なくとも１つの眼の動きをモニタリングし、前記少なくとも１つの眼の視線が前記拡大バージョンの第１の領域の方に向けられたことを特定し、前記第１の領域を前記ディスプレイの中心に位置決めするように前記第１の画像の前記拡大バージョンを移動させるステップをさらに備える、請求項１２に記載の方法。
【請求項１４】
前記ステップのうちの１つ以上は、処理ユニットによって実行される、請求項１から１３のいずれか１項に記載の方法。
【請求項１５】
ユーザの片眼または両眼の動きに少なくとも部分的に基づいて前記ユーザの意図を判断するためにグラフィカルユーザインターフェイスを提供するためのシステムであって、
前記ユーザの少なくとも１つの眼の動きをモニタリングするように構成された検出器と、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、
前記少なくとも１つの眼の視線がいつ前記ディスプレイ上のオブジェクトに向けられるかを特定し、
前記オブジェクトから、動作に対応する前記ディスプレイ上の第１のアイコンを含むターゲット位置の方への前記少なくとも１つの眼のサッケード運動を特定し、
前記サッケード運動後に前記少なくとも１つの眼の視線が前記ターゲット位置に着地したことを確認し、
前記オブジェクト上の前記動作を実行する、システム。
【請求項１６】
モバイル電子デバイスをさらに備え、前記ディスプレイは、前記モバイル電子デバイス上に設けられ、前記検出器は、前記ディスプレイ上にカメラを備え、前記カメラは、前記ディスプレイを閲覧するユーザが前記カメラの視野内になるように方向付けられる、請求項１５に記載のシステム。
【請求項１７】
ユーザの頭部に着用されるように構成されたヘッドギアをさらに備え、前記検出器は、前記ヘッドギアが着用されたときに前記ユーザの眼の方に方向付けられるように前記ヘッドギアに装着される、請求項１５に記載のシステム。
【請求項１８】
前記ディスプレイは、前記ヘッドギアが着用されたときに前記ユーザによって閲覧可能であるように前記ヘッドギアに装着される、請求項１７に記載のシステム。
【請求項１９】
前記ディスプレイは、前記ヘッドギアから遠く離れており、前記システムは、シーンカメラをさらに備え、前記シーンカメラは、前記ヘッドギアに装着され、前記ディスプレイが前記ユーザの正面に位置決めされたときに前記ディスプレイが前記シーンカメラの視野内になるように方向付けられる、請求項１７に記載のシステム。
【請求項２０】
前記処理ユニットは、前記第１のアイコンを前記ターゲット位置における前記オブジェクトに対応する第２のアイコンと置換するように構成される、請求項１５に記載のシステム。
【請求項２１】
前記第２のアイコンは、前記オブジェクトのサムネイルを備える、請求項１５に記載のシステム。
【請求項２２】
前記第２のアイコンは、前記オブジェクトの類似物または一部を備える、請求項１５に記載のシステム。
【請求項２３】
前記処理ユニットは、前記少なくとも１つの眼の視線が前記オブジェクトに向けられたことの視覚的確認を前記ディスプレイ上で提供するようにさらに構成される、請求項１５に記載のシステム。
【請求項２４】
前記視覚的確認は、前記オブジェクトの周囲に少なくとも部分的に境界を表示することを備える、請求項２３に記載のシステム。
【請求項２５】
前記視覚的確認は、前記オブジェクトを視覚的に修正することなく前記オブジェクトの周囲に少なくとも部分的に境界を表示することを備える、請求項２３に記載のシステム。
【請求項２６】
前記処理ユニットは、眼球運動がいつ予め定められた閾値を超える速度を有するかを判断するために前記少なくとも１つの眼の動きをモニタリングし、それによって、前記眼球運動がサッケードであることを特定することによって、サッケード運動を特定するようにさらに構成される、請求項１５に記載のシステム。
【請求項２７】
前記処理ユニットは、前記眼球運動が予め定められた閾値を超える期間または距離を有することを判断するようにさらに構成される、請求項２６に記載のシステム。
【請求項２８】
前記処理ユニットは、前記眼球運動の方向を判断し、前記眼球運動の速度および方向に基づいて、前記眼球運動の目的地が第１のターゲット位置であることを予測することによって、サッケード運動を特定するようにさらに構成される、請求項２６に記載のシステム。
【請求項２９】
前記処理ユニットは、前記ディスプレイ上に複数の画像を表示するようにさらに構成され、前記オブジェクトは、前記画像のうちの第１の画像であり、第２のアイコンは、前記第１の画像のサムネイルであり、前記動作は、前記ディスプレイ上の前記複数の画像を前記第１の画像の拡大バージョンと置換することを備える、請求項１５に記載のシステム。
【請求項３０】
前記処理ユニットは、前記第１の画像の前記拡大バージョンに対する前記少なくとも１つの眼の動きをモニタリングし、前記眼の視線が前記拡大バージョンの第１の領域の方に向けられたことを特定し、前記第１の領域を前記ディスプレイの中心に位置決めするように前記第１の画像の前記拡大バージョンを移動させるようにさらに構成される、請求項２９に記載のシステム。
【請求項３１】
ユーザの片眼または両眼の動きに少なくとも部分的に基づいて前記ユーザの意図を判断するためにグラフィカルユーザインターフェイスを提供するためのシステムであって、
前記ユーザの少なくとも１つの眼の動きをモニタリングするように構成された検出器と、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、
対応する前記ディスプレイ上の第１のアイコンを含む第１のターゲット位置の方への前記少なくとも１つの眼の第１のサッケード運動を特定し、
前記ディスプレイ上の前記第１のアイコンを、前記第１の位置とは異なる複数の第２の位置における複数の第２のアイコンと置換し、
前記サッケード運動後に前記少なくとも１つの眼の視線が前記ターゲット位置に着地したことを確認し、
その後、前記少なくとも１つの眼が前記複数の第２のターゲット位置のうちの１つの方への第２のサッケード運動を実行するか否かを判断するために前記少なくとも１つの眼をモニタリングする、システム。
【請求項３２】
ユーザの片眼または両眼の動きに少なくとも部分的に基づいて前記ユーザの意図を判断するためにグラフィカルユーザインターフェイスを提供するためのシステムであって、
ユーザの少なくとも１つの眼の動きをモニタリングするように構成された検出器と、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、
前記検出器を用いて第１のサンプルレートで前記少なくとも１つの眼の動きをモニタリングし、
前記ディスプレイ上の第１のターゲット位置の方への前記少なくとも１つの眼の第１のサッケード運動を特定し、
前記第１のサッケード運動中に前記検出器のサンプルレートを修正し、
前記第１のサッケード運動が完了したことを確認した後、前記第１のサンプルレートで前記少なくとも１つの眼の動きをモニタリングすることに戻る、システム。
【請求項３３】
前記処理ユニットは、前記ディスプレイ上の前記第１のターゲット位置の場所の予測を向上させるために前記第１のサッケード運動中にサンプルレートを増加させるように構成される、請求項３２に記載のシステム。
【請求項３４】
前記処理ユニットは、電力消費量を減少させるために前記第１のサッケード運動の少なくとも一部の間にサンプルレートを減少させるように構成される、請求項３２に記載のシステム。
【請求項３５】
ユーザの眼の動きに少なくとも部分的に基づいて前記ユーザの意図を判断するためにグラフィカルユーザインターフェイスを提供するためのシステムであって、
ユーザの少なくとも１つの眼の動きをモニタリングするように構成された検出器と、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、
前記ユーザが前記ディスプレイを閲覧している間に前記検出器の視野内の前記少なくとも１つの眼の動きをモニタリングし、
前記ディスプレイ上の第１の領域の方への第１の方向の前記少なくとも１つの眼の第１のサッケード運動を特定し、
前記第１のサッケード運動中に、前記少なくとも１つの眼のモニタリングを前記第１の領域に対応する前記視野の一部分に限定する、システム。
【請求項３６】
ユーザの片眼または両眼の動きに基づいて前記ユーザの意図を判断するためにグラフィカルユーザインターフェイスを提供するためのシステムであって、
ユーザの少なくとも１つの眼の動きをモニタリングするように構成された検出器と、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、
対応する前記ディスプレイ上の第１のアイコンを含む第１のターゲット位置の方への前記少なくとも１つの眼の第１のサッケード運動を特定し、
前記ディスプレイ上の前記第１のアイコンを、前記第１の位置とは異なる複数の第２の位置における複数の第２のアイコンと置換し、
前記サッケード運動後に前記少なくとも１つの眼の視線が前記ターゲット位置に着地したことを確認し、
その後、前記少なくとも１つの眼が前記複数の第２のターゲット位置のうちの１つの方への第２のサッケード運動を実行するか否かを特定するために前記少なくとも１つの眼をモニタリングする、システム。
【請求項３７】
前記処理ユニットは、
前記第１のターゲット位置から前記複数の第２の位置のうちの１つへの前記少なくとも１つの眼の第２のサッケード運動を特定し、
選択されたアイコンを特定するために、前記第２のサッケード運動の完了時に前記少なくとも１つの眼の視線が前記第２のターゲット位置のうちの１つに固定されたことを確認し、
前記選択されたアイコンに関連付けられる動作を実行する、ようにさらに構成される、請求項３６に記載のシステム。
【請求項３８】
前記処理ユニットは、前記少なくとも１つの眼の視線が前記第１のターゲット位置に固定される前に前記第１のアイコンを前記第１のターゲット位置から除去するように構成される、請求項３６に記載のシステム。
【請求項３９】
前記複数の第２のアイコンは、前記複数の第２の位置において実質的に静止したままである、請求項３６に記載のシステム。
【請求項４０】
検出器を用いて電子ディスプレイに対するユーザの片眼または両眼の動きに少なくとも部分的に基づいて前記ユーザの意図を判断するためにグラフィカルユーザインターフェイスを提供するための方法であって、
対応する前記ディスプレイ上の第１のアイコンを含む第１のターゲット位置の方への前記少なくとも１つの眼の第１のサッケード運動を特定するステップと、
前記ディスプレイ上の前記第１のアイコンを、前記第１の位置とは異なる複数の第２の位置における複数の第２のアイコンと置換するステップと、
前記サッケード運動後に前記少なくとも１つの眼の視線が前記ターゲット位置に着地したことを確認するステップと、
その後、前記少なくとも１つの眼が前記複数の第２のターゲット位置のうちの１つの方への第２のサッケード運動を実行するか否かを特定するために前記少なくとも１つの眼をモニタリングするステップとを備える、方法。
【請求項４１】
その後前記少なくとも１つの眼をモニタリングするステップは、
前記第１のターゲット位置から前記複数の第２の位置のうちの１つへの前記少なくとも１つの眼の第２のサッケード運動を特定するステップと、
選択されたアイコンを特定するために、前記第２のサッケード運動の完了時に前記少なくとも１つの眼の視線が前記第２のターゲット位置のうちの１つに固定されたことを確認するステップと、
前記選択されたアイコンに関連付けられる動作を実行するステップとを備える、請求項４０に記載の方法。
【請求項４２】
その後前記少なくとも１つの眼をモニタリングするステップは、
予め定められた時間内に前記少なくとも１つの眼が前記複数の第２のターゲット位置のうちのいずれも注視していないことを確認するために前記少なくとも１つの眼をモニタリングするステップと、
前記複数の第２のアイコンを除去するステップと、
前記第１のアイコンを前記第１のターゲット位置に表示するステップとを備える、請求項４０に記載の方法。
【請求項４３】
前記少なくとも１つの眼の視線が前記第１のターゲット位置に固定される前に、前記第１のアイコンは前記第１のターゲット位置から除去される、請求項４０に記載の方法。
【請求項４４】
前記複数の第２のアイコンは、前記複数の第２の位置において実質的に静止したままである、請求項４０に記載の方法。
【請求項４５】
予め定められた態様で前記複数の第２のアイコンを前記複数の第２の位置から移動させる、請求項４０に記載の方法。
【請求項４６】
前記少なくとも１つの眼が前記複数の第２のアイコンのうちの１つの動きを追従していることを特定するステップをさらに備える、請求項４５に記載の方法。
【請求項４７】
予め定められた時間または距離にわたって前記少なくとも１つの眼が前記複数の第２のアイコンのうちの前記１つの前記動きを追従したことを確認するステップと、
前記追従された第２のアイコンに関連付けられる動作を実行するステップとをさらに備える、請求項４６に記載の方法。
【請求項４８】
ユーザの片眼または両眼の動きに少なくとも部分的に基づいて前記ユーザの意図を判断するためにグラフィカルユーザインターフェイスを提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供する、システム。
【請求項４９】
前記ディスプレイは、前記ヘッドギアが着用されたときに前記ユーザによって閲覧可能であるように前記ヘッドギアに装着される、請求項４８に記載のシステム。
【請求項５０】
前記ディスプレイは、前記ヘッドギアから遠く離れており、前記システムは、シーンカメラをさらに備え、前記シーンカメラは、前記ヘッドギアに装着され、前記ディスプレイが前記ユーザの正面に位置決めされたときに前記ディスプレイが前記シーンカメラの視野内になるように方向付けられる、請求項４８に記載のシステム。
【請求項５１】
前記処理ユニットは、前記ヘッドギアに装着される、請求項４８に記載のシステム。
【請求項５２】
前記ヘッドギア上に無線送受信機をさらに備え、前記処理ユニットは、前記ヘッドギアから遠く離れており、前記送受信機によって無線で前記検出器およびディスプレイに接続される、請求項４８に記載のシステム。
【請求項５３】
前記検出器は、前記ヘッドギアに装着された１つ以上のカメラを備える、請求項４８に記載のシステム。
【請求項５４】
前記ヘッドギアが着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着された１つ以上の照明源をさらに備える、請求項４８に記載のシステム。
【請求項５５】
前記処理ユニットは、不随意または意図しない眼球運動を引き起こさないようにディスプレイ内に導入される人間視覚系の認知的特性を使用するように構成される、請求項４８に記載のシステム。
【請求項５６】
アイトラッキングアルゴリズムの動的な適応キャリブレーションを用いて、ユーザの片眼または両眼の動きに少なくとも部分的に基づいてグラフィカルユーザインターフェイスをサポートするアイトラッキングを可能にするためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ユーザが前記ユーザインターフェイスを使用している間に、前記ディスプレイ内のオブジェクトに関連付けられる視線データを抽出して前記キャリブレーションを動的に適合させて前記アイトラッキングアルゴリズムの精度を向上させる、システム。
【請求項５７】
ユーザの片眼または両眼の動きに少なくとも部分的に基づいてグラフィカルユーザインターフェイスを提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアがユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
広告であってもよい視覚的情報を含む所望のターゲットに前記ユーザの視線を誘導する、前記ディスプレイ上に表示される可動オブジェクトを表示する、システム。
【請求項５８】
アイトラッキングアルゴリズムのヒューリスティックな適合セットによって可能とされる、ユーザの片眼または両眼の動きに少なくとも部分的に基づいてグラフィカルユーザインターフェイスを提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアがユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
１つ以上のアイトラッキングアルゴリズムを選択、優先順位付けおよび／またはシーケンシング、ならびに実行して、前記グラフィカルユーザインターフェイスのオペレーションを可能にするのに十分な精度のアイトラッキングを可能にする、システム。
【請求項５９】
システムの性能を最適化するようにアイトラッキングによって可能とされるフォビエイテッドレンダリングを用いて、ユーザの片眼または両眼の動きに少なくとも部分的に基づいてグラフィカルユーザインターフェイスおよび一般的な人間とコンピュータとの対話を提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
アイトラッキング情報を用いて、ユーザインターフェイス画面、高分解能情報を有する画面および／または他の対話のコンテキストにおいて、適切な時に、中心窩注視点および他の所望の位置における分解能を上昇させる、システム。
【請求項６０】
ユーザの片眼または両眼の動きに少なくとも部分的に基づいて、感情を刺激するようなまたは人を引き付けるようなインタラクティブなレンダリングされたキャラクタエクスペリエンスを提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアがユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
アイトラッキング情報を用いて、レンダリングされたキャラクタの動作の挙動、前記キャラクタの身体、顔、眼、他のキャラクタの方への視線位置に対する応答、および環境を通知する、システム。
【請求項６１】
他の検知されたバイオメトリックデータ、環境データ、地理データ、時間データおよび状況データのコンテキストにおいて、ユーザの片眼または両眼の動きに少なくとも部分的に基づいて人間の行動パターンを特定し、分析し、予測し、共有し、人間の行動パターンに作用するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
他の検知または導出された個々のバイオメトリックデータ、個々の環境データ、個々の地理データ、個々の時間データおよび個々の状況データ、またはバイオメトリックデータ群、環境データ群、地理データ群、時間データ群および状況データ群と結合されるアイトラッキング情報を用いて、人間の行動パターンを特定し、分析し、予測し、共有し、および／または、人間の行動パターンに作用する、システム。
【請求項６２】
フォビエイテッドレンダリングされた画像のレンダリングの開始を加速させるためにサッケードの終了予測を組み入れる、ユーザの片眼または両眼の動きに少なくとも部分的に基づいてグラフィカルユーザインターフェイスおよび一般的な人間とコンピュータとの対話を提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
サッケードの開始時にアイトラッキング軌道情報を用いて、サッケードの中心窩終点をフォビエイテッドレンダリングの以前の開始位置として予測する、システム。
【請求項６３】
ユーザ入力の会話とアイトラッキングモードとを組み合わせて、眼および音声ベースの対話を可能にするためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器およびマイクロフォンを用いて前記ディスプレイ上の位置を特定し、メッセージングおよび電子メールを含む通信を開始、応答および編集するための、眼球制御と音声入力とを組み合わせたユーザインターフェイスを可能にする、システム。
【請求項６４】
サッケード、円滑追跡、ギャップ効果および変化の見落としに応答するために生体力学的、生物学的および／または認知的な眼および脳ベースの機能を利用する、ユーザの片眼または両眼の動きに少なくとも部分的に基づいてグラフィカルユーザインターフェイスおよび人間との対話を提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアがユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
グラフィック表示されたオブジェクト、眼球信号および表示の遷移の組み合わせによって、サッケード、円滑追跡を追跡および使用する、システム。
【請求項６５】
前記オブジェクト、眼球信号および／または遷移は、前記ギャップ効果および変化の見落としの使用を促す、請求項７２に記載のシステム。
【請求項６６】
前記オブジェクト、眼球信号および／または遷移は、特定の機能を有効にするまたは新たな情報を表示する記憶誘導性サッケードを可能にする情報を公開する、請求項７２に記載のシステム。
【請求項６７】
輻輳を含むユーザの片眼または両眼の動きに少なくとも部分的に基づいてグラフィカルユーザインターフェイスおよび一般的な人間とコンピュータとの対話を提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
輻輳を計算するアイトラッキング情報を用いて、両眼表示におけるさまざまな深さでのオブジェクトの表示がナビゲーションおよび人間とコンピュータとの対話をサポートすることを可能にする、システム。
【請求項６８】
深層学習および／または機械学習を通じて導出される他の検知されたバイオメトリックデータ、環境データ、地理データ、時間データおよび状況データのコンテキストにおいて、ユーザの片眼または両眼の動きに少なくとも部分的に基づいて人間の行動パターンを特定し、分析し、予測し、共有し、人間の行動パターンに作用するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
深層学習システム、機械学習システムまたはニューラルネットワークによって分析される他の検知または導出された個々のバイオメトリックデータ、個々の環境データ、個々の地理データ、個々の時間データおよび個々の状況データ、またはバイオメトリックデータ群、環境データ群、地理データ群、時間データ群および状況データ群と結合されるアイトラッキング情報を用いて、人間の行動パターンを特定し、分析し、予測し、共有し、および／または、人間の行動パターンに作用する、システム。
【請求項６９】
深層学習および／または機械学習を通じて導出される他の検知されたバイオメトリックデータ、環境データ、地理データ、時間データおよび状況データのコンテキストにおいて、ユーザの片眼または両眼の動きに少なくとも部分的に基づいて、ユーザ、複数のユーザ、個人または個人の集団の意図を判断するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
深層学習システム、機械学習システムまたはニューラルネットワークによって分析される他の検知または導出された個々のバイオメトリックデータ、個々の環境データ、個々の地理データ、個々の時間データおよび個々の状況データ、またはバイオメトリックデータ群、環境データ群、地理データ群、時間データ群および状況データ群と結合されるアイトラッキング情報を用いて、ユーザ、複数のユーザ、個人または個人の集団の前記意図を判断する、システム。
【請求項７０】
他の検知されたバイオメトリックデータ、環境データ、地理データ、時間データおよび状況データのコンテキストにおいて、ユーザの片眼または両眼の動きに少なくとも部分的に基づいて、個人に課される認知的負荷を管理するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアが前記ユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
他の検知または導出された個々のバイオメトリックデータ、個々の環境データ、個々の地理データ、個々の時間データおよび個々の状況データ、またはバイオメトリックデータ群、環境データ群、地理データ群、時間データ群および状況データ群と結合されるアイトラッキング情報を用いて、個人に対して課される前記認知的負荷を管理する、システム。
【請求項７１】
前記処理ユニットは、他のデバイスに作動的に結合され、前記デバイスのうちの１つ以上によってユーザに対して課される前記認知的負荷を管理するように前記デバイスのうちの１つ以上の挙動を指示する、請求項７０に記載のシステム。
【請求項７２】
ユーザの片眼または両眼の動きに少なくとも部分的に基づいて、オペレーションに必要な電力を制限するグラフィカルユーザインターフェイスおよび人間との対話を提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアがユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
アイトラッキングサンプリングレートまたは情報の表示を調整して、所与の表示またはユーザが特定の表示内で注視している領域のコンテンツに基づいて電力を減少させる、システム。
【請求項７３】
ユーザの片眼または両眼の動きに少なくとも部分的に基づいて、ユーザの視界内の他のデバイスと対話するグラフィカルユーザインターフェイスおよび人間との対話を提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアがユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
前記処理ユニットは、前記ユーザの視界内の他のデバイスに作動的に結合されて、前記ユーザが前記閲覧されたオブジェクトのうちの１つ以上を制御または対話することを可能にする、システム。
【請求項７４】
人間の光学生物学に基づいて低認知的負荷をサポートする視覚的情報を表示するグラフィカルユーザインターフェイスおよび人間との対話を、ユーザの片眼または両眼の動きに少なくとも部分的に基づいて提供するためのシステムであって、
ユーザの頭部に着用されるように構成されたヘッドギアと、
検出器とを備え、前記検出器は、前記ヘッドギアがユーザの少なくとも１つの眼の動きをモニタリングするために着用されたときに前記少なくとも１つの眼の方に方向付けられるように前記ヘッドギアに装着され、前記システムはさらに、
前記検出器に作動的に関連付けられる電子ディスプレイと、
前記検出器および電子ディスプレイに作動的に結合される処理ユニットとを備え、前記処理ユニットは、前記検出器を用いて前記ディスプレイ上の位置を特定し、前記ディスプレイ上に表示された情報を使用するための直観的なユーザインターフェイスを提供し、
自然な視覚選択をサポートする線幅および画素配置を有する視覚的情報を前記ディスプレイ上に表示する、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は、一般に、ユーザの意図を識別し（Discerning the Intent of a User：ＤＩＵ）、その後、オプションの補助入力サポートにより、主に眼を用いてコンピューティングデバイスおよび他のデバイスを制御して当該デバイスと対話するためのシステムおよび方法に関する。当該システムは、ヒューマン・マシン・インターフェイス（Human-Machine Interface：ＨＭＩ）、ウェアラブルコンピューティング、人間生理学、画像処理および深層学習の分野における技術を利用する。ＤＩＵは、ヘッドマウントディスプレイ（head-mounted display：ＨＭＤ）、リモートディスプレイおよび／または他のウェアラブルセンサもしくはアクチュエータに任意に関連付けられることができる邪魔にならないアイトラッキングヘッドウェアおよび／またはリモートアイトラッキングハードウェア内で実現可能である。当該システムは、ローカルまたはリモートコンピューティングデバイスを制御して当該デバイスと対話するための使いやすくて直感的でフレキシブルな入力メカニズムをユーザに提供することができる。
【背景技術】
【０００２】
背景
コンピュータマウス、ジョイスティックおよび他の手動トラッキングデバイスは、人間とマシンとの対話中に位置情報を指定するための広く普及しているツールである。ウェアラブルコンピューティングの出現により、例えば適切なオペレーションのために静止面を概して必要とするこのようなかさばって邪魔なデバイスは、身体に着用されるように設計された装置の携帯性とは両立しなくなっている。
【０００３】
ウェアラブルディスプレイデバイスは、ソニー、サムスン、オキュラス、カール・ツァイスによって製造されるようなバーチャルリアリティ（virtual reality：ＶＲ）ディスプレイ、グーグル（例えばＧｌａｓｓ（登録商標））およびビュージックスによって製造されるようなヘッドマウントディスプレイ（ＨＭＤ）、マイクロソフト、ビュージックスおよびディジレンズによって製造されるような拡張現実（augmented reality：ＡＲ）ディスプレイ、ならびに類似のデバイスを含む。このようなディスプレイを閲覧して位置情報を指定するために、アイトラッキングが使用可能である。しかし、通常の人間活動中は眼も広く使用される。
【０００４】
したがって、対話および制御のための入力データストリームとして眼球位置を使用する際の課題は、眼球運動に基づいてユーザの意図を識別する（ＤＩＵ）ことである。本明細書におけるシステムおよび方法の目的のうちの１つは、通常の日常活動に関連付けられる眼球運動と、スマートデバイスと対話して当該デバイスを制御することを目的とした、本明細書では「眼球信号」と称される意識的運動または随意運動とを区別することである。スマートデバイスは、一般にブルートゥース（登録商標）、ＮＦＣ、Ｗｉ−Ｆｉ、３Ｇなどのさまざまな無線プロトコルを介して他のデバイスまたはネットワークに接続される電子デバイスであり、当該電子デバイスは、ある程度インタラクティブにおよび自律的に動作することができる。
【０００５】
眼球信号トラッキングは、人間がマシンと通信することを可能にするマシンビジョンの分野におけるコンポーネントであると考えることができる。眼球信号は、「ジェスチャ」制御とは異なっている。なぜなら、眼球信号は、日常生活に関連付けられる絶え間ない眼球運動とは識別されなければならないからである。また、眼球信号は、ユーザの環境（例えば日光対暗闇）、注意散漫、疲労、精神状態、認知的負荷、病気、薬などの影響を受ける可能性がある。
【０００６】
眼球信号は、ジェスチャベースのＨＭＩを置換または補完するために使用されてもよい。現在のところ、ジェスチャ制御の最も一般的な形態は、顔、手または１本以上の指を追跡することを伴う。ＨＭＩジェスチャ制御の他の例は、両手、歩き方、全体的な身体的動作、脚、腕輪、指、指輪、ペンなどのモニタリングを伴う。「ジェスチャ制御」という用語は、タッチスクリーン、タブレット、および他の動作検知面またはタッチ検知面に向けられる動きを解釈するためにも適用されてきた。これらのデバイスを使用するほとんど全ての場合において、自発的な（すなわち意識的な）制御下であって通常の日常活動とは異なるジェスチャが行われ得る。
【０００７】
片眼または両眼を用いた眼球信号トラッキングは、特定の神経経路および運動神経の制御を伴う。６つの筋肉（上直筋、下直筋、外直筋、内直筋、上斜筋および下斜筋）が全ての形態の眼球運動を制御する。また、上眼瞼挙筋がまぶたの動きを制御する。これらの筋肉は、脳幹内の細胞核を有する３つの神経（動眼神経、外転神経および滑車神経）によって神経支配される。眼球運動の神経制御と結び付けられた筋肉付着点を含む眼球の構造は、眼球運動に対して解剖学的および生理学的制約（例えば、横軸、縦軸および回転軸における可動域、各次元における最大速度、静止したままでいる能力、動きの正確さなど）を課す。
【０００８】
眼球運動は、上昇、内方回旋（incyclotorsion）、内転、沈下、外旋、内旋および／または外転として分類される。盲目でない限り、眼は通常の日常活動を行うための必須の感覚であると考えられる。したがって、眼球信号を解釈するアルゴリズムは、眼球運動中にユーザの意図（例えば、動きが眼球信号の一部であるのか、何らかの他の機能を果たしているのか）を識別しなければならない。
【０００９】
また、眼球運動に特有の認知処理を考慮に入れることが非常に重要である。例えば、大半の人は、いかなる手がかりまたは手引きもなしに手で円運動を発生させることは比較的容易である。これは、眼を制御する能力とは際立って対照的である。視覚的な手がかりなしに片眼または両眼を用いて数回以上の円形回転を発生させることは困難であり、例えば追跡すべき参照視標を設けることなくこのような動きの半径を制御することはさらに一層困難である。実在または仮想の視覚的な手がかりを見ない状態での随意眼球運動は、困難であり、一般に不快感を生じさせる。どこを見ればいいかということに関する指図なしに単に「目をそらす」ように言われることは、不安を生じさせやすい可能性がある。
【００１０】
したがって、代替注視点を設けることなく単にオブジェクトから「目をそらす」ようにデバイス着用者に言うことにより、一般に実行可能であるが不快かつ一貫して繰返し可能でない動作が生じることになる。例えば主に近傍の（例えば屋内の）環境において目をそらすことは、より広範な（例えば屋外の）環境において目をそらすことと比較して、非常に異なる一連の眼球運動を生じさせやすい。特定の方向（例えば、左、右、上、下）に「目をそらす」および／または再び元の位置を閲覧するように指示されたときでさえ、このような眼球運動は、視覚的な手がかりなしでは一貫性を欠いたものになる。既存のアイトラッキング制御装置とは異なって、記憶誘導性サッケード眼球運動などの生理学的メカニズムを活用するためには、視覚的な手がかりは理想的には特定の視線位置に位置すべきである。
【００１１】
一方、眼および視覚野は、実在または仮想のオブジェクトが異なるパターンで動き回るときにそれらのオブジェクトを追跡するように精巧に設計されている。大半の人は、円形パターンで動く参照オブジェクト（例えばボールまたはカーソルの画像）を追跡することは容易である。（デバイスに知られている視線位置における）このような視覚的参照または手がかりを追従することによって、眼を用いてほとんどいかなる運動パターンも生じさせることが可能である。
【００１２】
同様の方向性に沿って、指または手ジェスチャの「スワイプ」または「スウィープ」動作は、マシン制御に用いられる１つのジェスチャタイプである。眼で「スウィープ」しようと試みた場合、実在または仮想のオブジェクトとともに眼が動かなければ、スウィープ経路内のいかなるオブジェクトもほとんどまたは全く認識されず、スウィープが開始された位置で起こったことを閲覧する能力は失われる。また、例えばデバイスユーザの周辺視野内で注目を引き付けたかもしれないオブジェクトに対する意図的な眼のスウィープと瞬間的な一瞥またはサッケードとを区別することは困難である。
【００１３】
これに加えて、眼の視界は、まぶたおよびまつ毛による正常機能中にしばしば遮られる。さらに、まぶたが眼の位置の視界を完全に遮るまばたきは、眼の表面の潤滑および水性環境を維持するための持続的機能として定期的に行われなければならない。まばたき継続時間（通常は０．３〜０．４秒間継続する）および速度は、疲労、注目、怪我、投薬、薬、アルコールおよび疾患の影響を受ける可能性がある。まばたきは、時間のうちの最大１０％までにわたって個人の視覚および眼の視界を遮る可能性がある。
【００１４】
したがって、個人が環境を視覚化して環境と対話する能力を保持しながら眼球運動から意図を識別するための新たなパラダイムが必要である。
【発明の概要】
【課題を解決するための手段】
【００１５】
概要
上記に鑑みて、本明細書では、１つ以上の眼の目的のある動きに実質的に基づいて１人以上のユーザのさまざまな意図または動作目的を実質的に連続的に識別するためのシステムおよび方法が提供される。
【００１６】
一局面において、例示的なコンピュータによって実行される方法は、片眼または両眼に参照光を投射するステップと、参照光の反射の変化をモニタリングするステップと、眼および／または光の画像データを処理して眼球位置または運動を判断するステップと、コンテキスト基準、生理学的基準、解剖学的基準および／または神経学的基準に対して眼球位置または運動データをフィルタリングするステップと、フィルタリングされた眼球位置または運動データからユーザの動作意図または目的を示す眼球信号を導出するステップと、上記眼球信号をアプリケーションまたは対話式デバイスと関連付けるステップと、上記眼球信号を１つ以上の制御命令と相関付けて、関連付けられたアプリケーションまたはデバイスを作動的に制御するステップと、関連付けられたアプリケーションまたはデバイスに眼球信号または制御命令を通信するステップと、ユーザの意図に従って適切な命令または機能をアプリケーションまたはデバイスに実行させるステップとを含み得る。
【００１７】
別の局面において、例示的なシステムは、光の反射の変化をモニタリングするための１つ以上のカメラまたは少なくとも１つのセンサと、１つ以上の処理ユニットと、非一時的なコンピュータ読取可能な媒体と、非一時的なコンピュータ読取可能な媒体に記憶されたプログラム命令とを含み得る。プログラム命令は、少なくとも１つのプロセッサによって実行可能であり得て、少なくとも１つのプロセッサは、片眼または両眼に参照光を投射し、参照光および／または周辺光の反射の変化をモニタリングし、眼および／または光の測定データを処理して眼球位置または運動を判断し、コンテキスト基準、生理学的基準、解剖学的基準および／または神経学的基準に対して眼球位置または運動データをフィルタリングし、フィルタリングされた眼球位置または運動データからユーザの動作意図または目的を示す眼球信号を導出し、上記眼球信号をアプリケーションまたはデバイスと関連付け、上記眼球信号を１つ以上の制御命令と相関付けて、関連付けられたアプリケーションまたはデバイスを作動的に制御し、関連付けられたアプリケーションまたはデバイスに眼球信号または制御命令を通信し、ユーザの意図に従って適切な命令または機能をアプリケーションまたはデバイスに実行させる。
【００１８】
代替的な実施例は、１つ以上の携帯デバイス（電話、タブレット、ウェブカメラ、ラップトップ、カメラ、ビデオカメラ、ノマディックデバイス、電子付属部品など）またはウェアラブルデバイス（例えば、眼鏡、時計、帽子、宝飾品、衣服、個人の装備品など）に配設されるかまたは組み込まれる１つ以上の照明源、カメラまたは他のセンサを含み得る。または、代替的な実施例は、同様に、他の電子デバイス（例えば、コンピュータ、セキュリティシステム、ホームオートメーション、電力管理システム、ＡＴＭ、ディスプレイ、テレビ、冷蔵庫、身元認証デバイス、電子カード読取機、端末デバイス、プロセス論理コントローラ、ネットワークルータ、無線アクセスポイント、キャッシュレジスタ、現金引出機など）、乗り物（例えば、車両コンソール／ダッシュボード、計器群、インフォテインメントシステム、鏡、座席、ハンドル、ドア、限定的な期間および／または特定の機能について作動的に結合される目的ベースのデバイスなど）または環境内の他の構造（例えば、標識、ウィンドウディスプレイ、売店、ドア、照明、通信システム、対話式乗り物、ゲーム機、競技会場など）に組み入れられ、１人以上のユーザに一般に近接して遠隔に位置決めされ、それによって、参照光画像、周辺光または構造化された光を１人以上のユーザの片眼または両眼、光の反射の変化をモニタリングするための１つ以上のカメラまたは少なくとも１つのセンサ、および１つ以上の処理ユニット、および非一時的なコンピュータ読取可能な媒体、および非一時的なコンピュータ読取可能な媒体に記憶されたプログラム命令に対して照射または配置してもよい。プログラム命令は、少なくとも１つのプロセッサによって実行可能であり得て、少なくとも１つのプロセッサは、片眼または両眼に参照光を投射し、光の反射の変化をモニタリングし、眼および／または光の画像データを処理して眼球位置または運動を判断し、コンテキスト基準、生理学的基準、解剖学的基準および／または神経学的基準に対して眼球位置または運動データをフィルタリングし、フィルタリングされた眼球位置または運動データからユーザの動作意図または目的を示す眼球信号を導出し、上記眼球信号をアプリケーションまたは対話式デバイスと関連付け、上記眼球信号を１つ以上の制御命令と相関付けて、関連付けられたアプリケーションまたはデバイスを作動的に制御し、関連付けられたアプリケーションまたはデバイスに眼球信号または制御命令を通信し、ユーザの意図に従って適切な命令または機能をアプリケーションまたはデバイスに実行させる。
【００１９】
別の実施例において、システムは、１つ以上の眼の表面上に配設されるコンタクトレンズ、または眼、眼窩内に移植されるかもしくは視神経および／もしくは筋肉に取り付けられて眼球位置および運動を追跡する生体力学もしくは生体電気センサなどのアイトラッキング装置を含み得る。当該センサは、１つ以上のプロセッサに作動的に結合され得て、非一時的なコンピュータ読取可能な媒体と、非一時的なコンピュータ読取可能な媒体に記憶されたプログラム命令とを含み得る。プログラム命令は、少なくとも１つのプロセッサによって実行可能であり得て、少なくとも１つのプロセッサは、１つ以上の生体力学センサから眼球位置または運動データを受信し、コンテキスト基準、生理学的基準、解剖学的基準および／または神経学的基準に対して眼球位置または運動データをフィルタリングし、フィルタリングされた眼球位置または運動データからユーザの動作意図または目的を示す眼球信号を導出し、上記眼球信号をアプリケーションまたは対話式デバイスと関連付け、上記眼球信号を１つ以上の制御命令と相関付けて、関連付けられたアプリケーションまたはデバイスを作動的に制御し、関連付けられたアプリケーションまたはデバイスに眼球信号または制御命令を通信し、ユーザの意図に従って適切な命令または機能をアプリケーションまたはデバイスに実行させる。
【００２０】
別の実施例によれば、検出器を用いて電子ディスプレイに対するユーザの眼の動きに基づいてグラフィカルユーザインターフェイスを提供するための方法が提供され、当該方法は、眼の視線がいつディスプレイ上のオブジェクトに向けられるかを特定するステップと、オブジェクトから動作に対応するディスプレイ上の第１のアイコンを含むターゲット位置の方への眼の運動を特定するステップと、第１のアイコンをターゲット位置におけるオブジェクトに対応する第２のアイコンと置換するステップと、運動後に眼の視線がターゲット位置に着地したことを確認するステップと、オブジェクト上の動作を実行するステップとを含む。
【００２１】
さらに別の実施例によれば、ユーザの眼の動きに基づいてグラフィカルユーザインターフェイスを提供するためのシステムが提供され、当該システムは、ユーザの眼の動きをモニタリングするように構成された検出器と、電子ディスプレイと、検出器および電子ディスプレイに作動的に結合される処理ユニットとを含み、処理ユニットは、眼の視線がいつディスプレイ上のオブジェクトに向けられるかを特定し、オブジェクトから動作に対応するディスプレイ上の第１のアイコンを含むターゲット位置の方への眼のサッケード運動を特定し、第１のアイコンをターゲット位置におけるオブジェクトに対応する第２のアイコンと置換し、サッケード運動後に眼の視線がターゲット位置に着地したことを確認し、オブジェクト上の動作を実行する。
【００２２】
さらに別の実施例によれば、検出器を用いて電子ディスプレイに対するユーザの眼の動きに基づいてグラフィカルユーザインターフェイスを提供するための方法が提供され、当該方法は、対応するディスプレイ上の第１のアイコンを含む第１のターゲット位置の方への眼の第１の運動を特定するステップと、ディスプレイ上の第１のアイコンを、第１の位置とは異なる複数の第２の位置における複数の第２のアイコンと置換するステップと、第１の運動後に眼の視線が第１のターゲット位置に着地したことを確認するステップと、その後、眼が複数の第２のターゲット位置のうちの１つの方への第２の運動を実行するか否かを特定するために眼をモニタリングするステップとを含む。
【００２３】
さらに別の実施例によれば、ユーザの眼の動きに基づいてグラフィカルユーザインターフェイスを提供するためのシステムが提供され、当該システムは、ユーザの眼の動きをモニタリングするように構成された検出器と、電子ディスプレイと、検出器および電子ディスプレイに作動的に結合される処理ユニットとを含み、処理ユニットは、対応するディスプレイ上の第１のアイコンを含む第１のターゲット位置の方への眼の第１の運動を特定し、ディスプレイ上の第１のアイコンを、第１の位置とは異なる複数の第２の位置における複数の第２のアイコンと置換し、第１のサッケード運動後に眼の視線が第１のターゲット位置に着地したことを確認し、その後、眼が複数の第２のターゲット位置のうちの１つの方への第２の運動を実行するか否かを特定するために眼をモニタリングする。
【００２４】
別の実施例において、眼の方に向けられる光の位置を制御するため、および／または、逆に眼から収集された光を空間的に選択するために、スイッチング可能なブラッグ格子またはＭＥＭＳ（微小電気機械システム）ミラーなどの他の光操舵メカニズムが使用されてもよく、それによって、画像を取得するための単一の供給源（例えば発光ダイオード）および／または検出器（例えばフォトダイオード）を含む照明源および／または検出源の数を減少させることができる。
【００２５】
別の実施例において、眼球画像データの照明および取得は、いわゆる「ホットミラー」、フラウンホーファレンズおよび／またはホログラフィックレンズ、または他の光学部品からの反射を用いて取込まれてもよい。
【００２６】
さらなる実施例において、１つ以上のオブジェクトを視野から除去して、オブジェクトを知覚するのに必要な認知処理を概して減少させるために、「ギャップ効果」の生理学的原理が使用されてもよく、ユーザの眼の「解放」および後続のターゲットの方へのより高速な動きを可能にする。
【００２７】
さらなる実施例において、特にターゲットが眼球信号動作のための目的地である場合には、以前に閲覧されたもしくは「なじみのある」オブジェクトまたは画面の領域の画像または「サムネイル」が、ターゲット目的地に表示されてもよい。
【００２８】
さらに他の実施例において、眼球信号「言語」に関連付けられる表示は、意図されていそうなターゲット位置の方に眼球運動を引き付けるステップ、または逆に、ユーザの注目を引き付けないように設計された方法を用いてターゲットを導入するステップを含み得る。
【００２９】
さらなる実施例において、注目を引き付けることのないようにゆっくりとまたは観察者が見ていないときに導入される視覚的変化をディスプレイまたは対話式デバイスに生じさせるために、「変化の見落とし」の生理学的原理が使用されてもよい。
【００３０】
別の実施例において、デバイスによって制御されるディスプレイは、視野の周中心窩および／または周辺領域内のターゲットの詳細を変更してもよく、新たなターゲットは、サッケード眼球運動の高速部分の間などの観察者が「盲目」であるときにまたはゆっくりと導入されてもよい。
【００３１】
さらなる実施例において、新たなターゲットは、グラフィックがユーザに対して視覚的に「訴えている（yell）」ときに注目を引き付ける１つ以上のオブジェクトの例えば輝度、透明度、色および／または動きを制御する技術を用いて導入されてもよく、広告の方にユーザの眼を向けさせることによってゲーム環境内でユーザの視覚的注目を誘導することを含み得て、または、重要な方法もしくは手順に直接さらすことによって教示し得る。
【００３２】
さらなる実施例において、システムは、デバイス着用者の両眼の位置を同時に測定する両眼デバイスを備え得て、両眼からの測定は、眼球輻輳または反対方向への両眼の動きを判断して、観察者からさまざまな距離のところに光景の単一の両眼表示を維持するために使用されてもよい。
【００３３】
さらに他の実施例において、オブジェクトは、デバイス着用者からさまざまな距離のところに現れる複数の二次元表示面によって表示され、その後選択されてもよい。
【００３４】
さらなる実施例において、「連続起動」眼球信号は、特定の眼球信号または眼球信号のシーケンスのコンテキストに基づく眼球運動コンポーネントを含む場合もあれば、除外する場合もあり、オブジェクトの集合体は、特定の動作に関連付けられてもよい。
【００３５】
別の実施例において、眼球信号は、ユーザの意図を伝えるための他のモダリティ、例えば随意頭部運動（例えば点頭）、または、手ジェスチャ、他の身体部分による動き、音声、スイッチ起動、顔の表情などを含む他のモダリティと組み合わせられてもよい。
【００３６】
さらに他の実施例において、追跡される眼球運動およびジオメトリ（例えば瞳孔拡張、抗サッケード）は、個人の生理学的状態および／または感情状態を実質的に連続的に識別するためにユーザによって閲覧されている実在または仮想のオブジェクトについての情報と組み合わせられてもよい。
【００３７】
他の実施例において、アルゴリズムフィルタは、実行されている特定のタイプの行動（例えば読書、点検）を識別するために使用され得るステレオタイプ的眼球運動パターンの存在を判断するために眼球運動（例えば、タイミング、方向、サッケードシーケンスなど）を評価してもよい。
【００３８】
さらに他の実施例において、環境内のさまざまなオブジェクト（例えば、バルブ、ドア、スイッチ、照明、インジケータ）の状態または（例えば、観察可能な標識、ＱＲ（すなわちクイックレスポンス）コード、バーコード、独自の形状のオブジェクトによって示される）特定の位置を特定および確認する目的でオブジェクトまたは動作を認識、地理的に位置決め、時刻刻印、注釈付け、および／またはアーカイブするために、「手順遵守」プロセスが使用されてもよい。
【００３９】
他の実施例において、眼球運動に基づいてコンテンツを表示するために可変ビデオフレームレートが使用されてもよく、ビデオレートを減少させて電力および計算リソースを節約することができ、または、ビデオレートを増加させて、文法的要素を迅速に起動したりターゲット要素を表示から除去したりする「ギャップ効果」などの方法を可能にし、それによって、修正的サッケードおよび／または新たなターゲットをより迅速に選択できるようにすることが不要になる。
【００４０】
他の実施例において、眼球運動、例えば目的のある眼球運動の弾道的開始である「サッケードの立ち上がり」を分析するために予測が使用されてもよく、当該予測は、サッケードが「着地する」ことになる時刻および最終的な位置を計算する目的で速度および方向が測定されてもよく、それによって、カメラおよび他の処理リソースに対する制御が可能になる。
【００４１】
さらなる実施例において、例えばまばたきの間、サッケードの最中、または眼がディスプレイもしくはいかなる対話式オブジェクトの方にも向けられていないときには、詳細なアイトラッキングは低減または一時的に排除されてもよく、それによって、電力消費量を減少させることができ、安全性を向上させることができ、または他のデバイスをイネーブルにすることができる。
【００４２】
さらなる実施例において、ディスプレイの透明度、輝度または他の特性は変更されてもよく、ユーザによって閲覧されるさまざまなオブジェクトは、サイズ、形状、色および／または動きの点で一致させられてもよく、それによって、現実世界と仮想世界との間でのディスプレイデバイス内の実質的に連続的な遷移を含む、１つ以上のウェアラブルまたはリモートディスプレイデバイス上の現実または仮想環境内の実在または仮想のオブジェクトの追跡が可能になる。
【００４３】
さらなる実施例において、１つ以上のディスプレイの分解能、コンテンツおよび／または他の特性を制御することによって観察者の視野のおよそ中心窩領域内のコンテンツのみに表示リソースを集中させるために、眼球信号が使用されてもよい。
【００４４】
さらなる実施例において、「深層学習」を含む機械学習技術は、眼球運動パターンおよび他の入力を、予測または予期される眼球位置に変換し、それにしたがってユーザディスプレイを適合させてもよく、個々のユーザの解剖学的および生理学的機能および制約へのシステム適合が可能になる。
【００４５】
さらなる実施例において、コンテンツおよびユーザエクスペリエンスに基づいて自己適応の態様でディスプレイ内の資料およびオブジェクトの表示速度を動的に制御するために、記憶誘導性サッケード眼球運動技術が使用されてもよく、それによって、最終的には眼球信号をはるかに高速で実行することが可能になる。
【００４６】
図面および例示的な実施例の詳細な説明において、本明細書に提示されているシステムおよび方法の局面および用途について以下で説明する。
【００４７】
本発明のより完全な理解は、以下の例示的な図に関連付けて検討したときに詳細な説明を参照することによって導出されることができる。図中、同様の参照番号は、図面全体を通して同様の要素または行為を指す。これらの例示的な実施例は、添付の図面に示されている。
【図面の簡単な説明】
【００４８】
【図１Ａ】２個から１個の選択（1-of-2 selection）を迅速に実行するために「ギャップ効果」を利用することを含む一連の眼球運動を示す。
【図１Ｂ】２個から１個の選択を迅速に実行するために「ギャップ効果」を利用することを含む一連の眼球運動を示す。
【図１Ｃ】２個から１個の選択を迅速に実行するために「ギャップ効果」を利用することを含む一連の眼球運動を示す。
【図１Ｄ】２個から１個の選択を迅速に実行するために「ギャップ効果」を利用することを含む一連の眼球運動を示す。
【図１Ｅ】２個から１個の選択を迅速に実行するために「ギャップ効果」を利用することを含む一連の眼球運動を示す。
【図２Ａ】眼球信号および閲覧された指に基づくユーザ選択の起動を示す。
【図２Ｂ】眼球信号および閲覧された指に基づくユーザ選択の起動を示す。
【図３】サッケード、マイクロサッケード、円滑追跡眼球運動および固視の分類を示すフローチャートである。
【図４】輻輳開散および前庭動眼眼球運動の分類を示すフローチャートである。
【図５】画像を閲覧するためにパンおよびズーム機能を実行する眼球信号メニューの一例である。
【図６】眼球信号メイン（すなわち最上位）メニューを示す。
【図７】低分解能視線追跡を必要とする眼球信号メインメニューの代替的なバージョンを示す。
【図８】ユーザ電子メールを閲覧して返答するために使用される眼球信号サブメニューの一例を示す。
【図９】眼球信号データ入力のために設計されたテンキーである。
【図１０】テキストのページの閲覧に対する眼球信号制御を示す一連のスクリーンショットである。
【図１１】眼による２個から１個の選択を行うために使用される表示されるオブジェクト（いわゆる「追跡オブジェクト」）の時間的なシーケンスを示す。
【図１２Ａ】眼によるＮ個（Ｎ＝２，３，４または５）から１個の選択を行うために使用可能な表示されるオブジェクトの一例を示す。
【図１２Ｂ】眼によるＮ個（Ｎ＝２，３，４または５）から１個の選択を行うために使用可能な表示されるオブジェクトの一例を示す。
【図１２Ｃ】眼によるＮ個（Ｎ＝２，３，４または５）から１個の選択を行うために使用可能な表示されるオブジェクトの一例を示す。
【図１２Ｄ】眼によるＮ個（Ｎ＝２，３，４または５）から１個の選択を行うために使用可能な表示されるオブジェクトの一例を示す。
【図１２Ｅ】眼によるＮ個（Ｎ＝２，３，４または５）から１個の選択を行うために使用可能な表示されるオブジェクトの一例を示す。
【図１２Ｆ】眼によるＮ個（Ｎ＝２，３，４または５）から１個の選択を行うために使用可能な表示されるオブジェクトの一例を示す。
【図１２Ｇ】眼によるＮ個（Ｎ＝２，３，４または５）から１個の選択を行うために使用可能な表示されるオブジェクトの一例を示す。
【図１２Ｈ】眼によるＮ個（Ｎ＝２，３，４または５）から１個の選択を行うために使用可能な表示されるオブジェクトの一例を示す。
【図１３Ａ−１３Ｅ】眼による４個から１個の選択を行うために使用可能なさまざまなグラフィックデザインおよび原理の一例を示す。
【図１４Ａ】眼球信号言語を用いてテキストをスクロールするために使用されるスクリーンショットおよびオーバーレイを示す。
【図１４Ｂ】眼球信号言語を用いてテキストをスクロールするために使用されるスクリーンショットおよびオーバーレイを示す。
【図１５Ａ−１５Ｃ】地図の閲覧中の眼球信号マルチレベルメニュー選択の一例を示す。
【図１６】眼球信号に基づいて動作を実行するためのステップのフロー図である。
【図１７】眼球信号言語を用いて「現実世界の」オブジェクトについての補足情報を検索および表示するためのステップのフロー図である。
【図１８】画像取得率のフレーム単位の制御についてのタイミング検討事項のうちのいくつかを示す。
【図１９Ａ】予想される眼球運動に基づく関心領域制御を示す。
【図１９Ｂ】予想される眼球運動に基づく関心領域制御を示す。
【図２０】サッケード眼球運動中にデバイスユーザが盲目である場合の、透明度を急速に変化させることによるオブジェクトの導入を示す。
【図２１】サッケード眼球運動中にデバイスユーザが盲目である場合の、透明度を徐々に変化させることによるオブジェクトの導入を示す。
【図２２】輝度をゆっくりと変化させることによるオブジェクトの導入を示す。
【図２３】複数のサッケード眼球運動中にデバイスユーザが盲目である場合の、透明度を変化させることによるオブジェクトの導入を示す。
【図２４】ユーザの意図を判断する神経網への入力としての時系列位置データの制御を示す。
【図２５】眼球信号言語メニューの各々に個々に対処するために初期隠れ層が分割されるセグメント化神経回路網の一例を示す。
【図２６Ａ】一連のサンプリングされた眼球位置を一連の眼球運動に変換するためのステップを示す。
【図２６Ｂ】一連のサンプリングされた眼球位置を一連の眼球運動に変換するためのステップを示す。
【図２６Ｃ】一連のサンプリングされた眼球位置を一連の眼球運動に変換するためのステップを示す。
【図２６Ｄ】一連のサンプリングされた眼球位置を一連の眼球運動に変換するためのステップを示す。
【図２６Ｅ】一連のサンプリングされた眼球位置を一連の眼球運動に変換するためのステップを示す。
【図２６Ｆ】一連のサンプリングされた眼球位置を一連の眼球運動に変換するためのステップを示す。
【図２６Ｇ】一連のサンプリングされた眼球位置を一連の眼球運動に変換するためのステップを示す。
【図２７】時系列眼球運動を意図を含むユーザ状態に変換することができる神経回路網アーキテクチャを示す。
【発明を実施するための形態】
【００４９】
例示的な実施例の詳細な説明
以下の説明には、説明の目的で、例示的な実施例のさまざまな局面について十分に理解してもらうために多数の具体的な詳細が記載されている。しかし、本明細書における装置、システムおよび方法はこれらの具体的な詳細がなくても実施可能であるということが、関連の技術分野における当業者によって理解されるであろう。本明細書における装置、システムおよび方法の範囲から逸脱することなく他の実施例が利用されてもよく、構造的および機能的変更がなされてもよい、ということが理解されるべきである。他の例では、例示的な実施例を曖昧にすることを回避するために、公知の構造およびデバイスはより一般的に示され、または説明されている。多くの場合、オペレーションの説明は、特にオペレーションがソフトウェアで実行される場合に、さまざまな形態を実現可能にするのに十分である。なお、開示されている実施例を適用できるさまざまな代替的な構成、デバイスおよび技術がある。実施例の全範囲は、以下に記載される例に限定されるものではない。
【００５０】
示されている実施例の以下の例では、その一部を構成し、さまざまな実施例を例示的に示す添付の図面を参照する。
【００５１】
本明細書では、片眼または両眼の動きに実質的に基づいてデバイス着用者の意図を実質的に連続的に識別するためのシステムおよび方法が提供される。本明細書におけるシステムおよび方法の一局面は、眼球運動の解剖学および生理学を特に考慮に入れて、視野内の光景を処理して当該光景に反応する（脳を含む）中枢神経系内のさまざまな経路において視覚的情報を処理することである。
【００５２】
デバイス局面および例
デバイスの一例として、装置は、邪魔にならないように遠隔に位置決めされてもよく、または、片眼または両眼を閲覧するためのヘッドウェアに装着されてもよい。また、装置は、例えば一般的な眼鏡のフレーム内に組み込まれるかもしくは取り付けられてもよく、または、グーグルグラス（登録商標）（グーグル）として知られているようないわゆるウェアラブルコンピューティングデバイスもしくはセンソモトリックインストゥルメンツ（SensoMotoric Instruments：ＳＭＩ）によって製造されるようなリモートアイトラッキングデバイス内に組み込まれてもよい。さらにまたは代替的に、眼球運動を追跡するための装置は、コンタクトレンズ内に含まれてもよく、またはコンタクトレンズと併用して動作されてもよい。さらに、当該装置は、動きを追跡するために、眼もしくは眼窩内で実現されてもよく、または、視神経および／もしくは筋肉に取り付けられてもよい。
【００５３】
さらなる例として、当該装置は、スマートフォン、タブレット、コンピュータ、スマートウォッチ内に組み込まれてもよく、または、コンピュータ、ディスプレイ、自動車ダッシュボード、標識を含むその他の遠隔のオブジェクトもしくは位置内に組み込まれてもよく、または、他の人によって着用されるウェアラブルデバイス内に組み込まれてもよい。これらの場合、眼の画像化は、一般に、ヘッドマウントウェアラブルデバイスと比較して眼からより遠い距離で行われる。ユーザがデバイスの一般的な方向を見ているときにこのような距離から眼球運動をモニタリングするために、１つ以上のカメラまたは検知デバイスが使用される。
【００５４】
特に伝送が個人情報、金銭的情報、法的情報および／または他の形態の高価値情報を含む可能性がある場合には、ウェアラブルデバイスおよび／または遠隔に位置するデバイスは、一般に、安全な通信を必要とする。
【００５５】
さらなる例において、眼の画像の照明および／または取得は、さまざまな導波路技術によって制御可能である。より具体的には、光が眼の方に向けられる際に光の出所の位置を制御するためおよび／または逆に眼から収集された光を空間的に選択するために、ディジレンズによって製造されるようなスイッチング可能なブラッグ格子（switchable Bragg grating：ＳＢＧ）、電気的にスイッチング可能な液晶格子、表面レリーフ格子（surface relief grating：ＳＲＧ）、スイッチング可能な導波路ディスプレイ、またはＭＥＭＳベースのミラー（すなわちビームステアリング）デバイスが使用されてもよい。この場合、単一の供給源（例えば発光ダイオード（light-emitting diode：ＬＥＤ））を含む少ない数の照明源および／または単一の検出器（例えばフォトダイオード）を含む少ない数の検出器を用いて、画像を照明および／または取得することができる。照明源は、非コヒーレントなものであってもよく（例えばＬＥＤ）、または（眼の安全確保のために）超低出力ダイオードレーザを含むコヒーレントなものであってもよい。空間分解能は、電子的に選択可能な導波路（例えば、ＳＢＧ、ＳＲＧ、液晶、ＭＥＭＳミラー）によって提供され得る。さらにまたは代替的に、照明および画像取込みは、いわゆる「ホットミラー」、フラウンホーファレンズ、マイクロレンズアレイ、導波路結合器、全内部反射（total internal reflection：ＴＩＲ）ホログラフィック導波路、および／または、ホログラフィックレンズもしくは他の光学部品の反射または屈折を伴ってもよい。
【００５６】
システムの局面は、眼の生理学および解剖学ならびに視覚野の認知的特性を考慮する眼球運動セットを備える眼球信号「言語」を含み得る。通常の日常活動中、眼は、随意行動も不随意行動も行うので、追跡可能である。このような実施例の一局面は、ユーザの眼が両方のタイプの動きをルーチン的に実行するときにユーザの意図を識別することである。これは、意図を伝えるために使用される随意運動と不随意眼球運動とを区別することを必然的に伴う。
【００５７】
随意運動は、通常の日常活動を行うことに関連付けられる場合もあれば、眼球信号「言語」に基づいて目的のある意図を伝えるために使用される場合もある。したがって、片眼または両眼のビデオ画像に基づいて意図を識別するためにアルゴリズム「フィルタ」および／または他のプログラミングアプローチが使用される。アルゴリズムは、ソフトウェア、ファームウェアにおいて符号化されてもよく、シリコンベースの論理デバイス内に組み込まれてもよく、またはこのようなアプローチの組み合わせであってもよい。また、処理は、ローカルで実行されてもよく、リモートで実行されてもよく、いわゆる「クラウドコンピューティング」を含むこのようなアプローチの組み合わせで実行されてもよい。
【００５８】
目的のある意図を伝え得る随意運動は、（眼の生理学に基づく）明確に定義された範囲の角速度および弾道プロファイルを有するサッケード、観察者からさまざまな距離のところを閲覧するために使用される輻輳開散運動、頭部の動きに関連付けられる前庭動眼眼球運動、および特定の（実在または仮想の）オブジェクトを追従するために使用される円滑追跡運動を含む。ユーザの意図を判断するためのさらなる情報は、瞳孔拡張、水晶体調節、まぶたの動き、顔面筋肉の動き、身体および頭部の動き、手の動き、関連のコンテキスト情報などの他の要因から判断されてもよい。
【００５９】
さらなる局面において、眼球信号「言語」および関連付けられる視覚的表示は、眼球信号をより直感的なものにするためのコンポーネントおよび／またはユーザが意図を伝えるための能力を迅速化するためのコンポーネントを含み得る。例えば、眼球信号「言語」は、意図された起動シーケンスを迅速に伝えるために、記憶誘導性サッケードを活用してもよい。同様に、オブジェクトを知覚するのに必要な認知処理の量を減少させ、それによって他のターゲットへと向かうより高速な動きのために眼を「解放する」（すなわちさらなる意図を伝える）ために、（視野からの１つ以上のオブジェクトの除去を含む）いわゆる「ギャップ効果」が使用されてもよい。
【００６０】
さらなる局面において、特にターゲットが眼球信号動作の目的地である場合には、以前に閲覧されたオブジェクトまたは画面の領域の画像または「サムネイル」が、例えばターゲット目的地に表示され得る。最近このサムネイルに「なじみがあること」（視覚野内の特定の形態の認識）により、オブジェクトを認識するための認知的負荷および時間が減少し、デバイスユーザがより迅速に後続の動作に遷移することが可能になる。特にサッケード後のオブジェクトからの固視中に、最近閲覧されたオブジェクトのコピーまたは類似物を表示することによっても、意図が確認され、不安が軽減され、および／または、ユーザの意図に由来するより心地よくかつ効果的な結果が促される。
【００６１】
さらに他の局面において、眼球信号「言語」に関連付けられる表示は、意図されていそうなターゲット位置の方に眼球運動を引き付けるステップ、または逆に、注目を引き付けないように設計された方法を用いてターゲットを導入するステップを含み得る。この戦略の根底にあるのは、眼を向けること、または、領域が色またはテクスチャの点で均一であるように見えるなどの観察すべきものが何もない位置を追跡することは、心理学的に不快であり、（特殊な訓練なしでは）しばしば生理学的に不可能であるという事実である。したがって、特定の眼球運動シーケンスにおけるターゲットが、注目を引き付けるように設計された態様で導入され得る。逆に、選択に利用可能でなければならないかもしれないがそれほど一般に使用されていないかまたは多数の可能な選択のうちの１つであるターゲットが、注目を引き付けない方法を用いて導入され得る。
【００６２】
さらなる局面において、眼球信号「言語」の一部であるターゲットは、人間視覚系の認知的特性を使用して、不随意のまたは意図せぬ眼球運動を引き起こさないように表示に導入されてもよい。これは、新たな潜在的ターゲットが導入されたときの当該ターゲットの方への不随意のまたは意図せぬ眼球運動による「故意でない起動」（すなわち偶発的動作を引き起こす眼球運動）なしに、ユーザが故意に意図を伝えることを可能にする。例えば、周辺視野内で詳細の変化を識別することは認知的に困難であるのに対して、背景に対するオブジェクトの輝度または動きの大きな変化は、眼の「注目」を引き付ける傾向がある。したがって、周辺視野内のターゲットの詳細は、注目を引き付けることなく変更可能である。「変化の見落とし」として知られているプロセスにおいて、ゆっくりとまたは観察者が見ていないとき（すなわち観察者が「盲目」であるとき）に変化が導入される場合、（注目を引き付ける）視覚的変化を識別することは困難である。したがって、さらなる実施例では、新たなターゲットは、ゆっくりと、または、サッケード眼球運動の高速部分の最中などの観察者が「盲目」であるときに導入され得る。
【００６３】
逆に、希望するなら、さらなる例において、新たなターゲットは、グラフィックがユーザに対して視覚的に「訴えている（yell）」ときに注目を引き付ける技術を用いて導入されてもよい。これは、ゲーム環境内でユーザの視覚的注目を誘導すること、（有料）広告の方にユーザの眼を向けさせること、または重要な方法もしくは手順に直接さらすことによって教示することを含み得る。
【００６４】
さらなる例において、システムは、デバイス着用者の両眼の位置を同時に測定する両眼デバイスを備え得る。両眼からの測定は、眼球輻輳または反対方向への両眼の動きを判断して、観察者からさまざまな距離のところに光景の単一の両眼表示を維持するために使用され得る。眼は、近くのオブジェクトを閲覧するために互いの方に回転する（すなわち収斂する）。逆に、眼は、より遠方のオブジェクトを閲覧するために互いから離れるように回転する（すなわち開散する）。
【００６５】
輻輳開散運動は、サッケード運動よりもはるかにゆっくりである（すなわち、２５°／秒までの角速度に限定される）が、観察者からの閲覧されるオブジェクトの距離を判断および追跡するために使用可能である。水平（すなわちＸ次元）および垂直（すなわちＹ次元）閲覧方向と観察者からの輻輳ベースの距離（すなわちＺ次元）とを組み合わせることにより、閲覧されるオブジェクトの三次元（３Ｄ）判断が可能になる。閲覧される実在または仮想のオブジェクトの（Ｘ，Ｙ，Ｚ）次元は、眼球信号作成および／またはオブジェクト選択中の三次元選択を可能にする。例えば、眼球信号は、すぐ近くを自発的に見ること（すなわちいわゆる「寄り目にすること」）を含み得る。オブジェクト選択は、デバイス着用者からさまざまな距離のところに出現する複数の二次元表示面によって表示され、その後選択され得る。
【００６６】
さらなる例示的な局面において、眼球信号「言語」は、特定の眼球信号または眼球信号のシーケンスのコンテキストに基づく眼球運動コンポーネントを含む場合もあれば、除外する場合もある。例えば、「連続起動」状態は、特定の動作に関連付けられ得るオブジェクトの集合体を指定するために使用されてもよい。「連続起動」中は、単に対象のオブジェクトを順番に見るだけでよいのに対して、「起動する」ためまたは各オブジェクトが何らかの形態の動作の対象であることを示すためには特定の眼球運動が実行される。
【００６７】
さらなる局面において、眼球信号は、ユーザの意図を伝えるための他のモダリティと組み合わせられてもよい。例えば、眼球信号は、眼球信号「言語」のコンポーネントとして随意頭部運動（例えば点頭）と組み合わせられてもよい。頭部の動きは、例えば加速度計を用いて、または外向きのカメラにおいて光景全体の動きを検出することによって、検出可能である。このモダリティでは、不随意眼球運動は、しばしば随意頭部運動（すなわちいわゆる前庭動眼運動）に関連付けられる。したがって、頭部の動きとは反対方向に反射的に起こる前庭動眼眼球運動は、随意頭部運動中の眼球信号制御内に含まれることができる。眼球信号言語と組み合わせられ得る他のモダリティは、手ジェスチャ、他の身体部分による動き、音声、スイッチ起動、顔の表情などを含む。
【００６８】
さらに他の局面において、個人の生理学的状態および／または感情状態を連続的に識別するために、追跡された眼球運動およびジオメトリが使用されてもよい。例えば、恐怖、関心などの感情状態または認知的負荷を識別するために、瞳孔拡張の程度が使用されてもよい。抗サッケード運動は、何か不快なものを閲覧していることの指標になり得る。例えば驚愕、魅了または関心を引き出すオブジェクトのクラスの指標は、ユーザによって閲覧されている実在または仮想のオブジェクトについての情報と組み合わせられると、識別可能である。このような情報は、例えば情報のその後の表示を適応させるために使用されてもよい。
【００６９】
他の局面において、実行されている特定のタイプの行動を識別するために、眼のステレオタイプ的運動パターンが使用されてもよい。例えば、読むプロセスが実行されていることを判断するために、サッケードおよび他の形態の眼球運動のタイミング、方向およびシーケンスが使用されてもよい。例えば、このようなステレオタイプ的眼球運動の存在を判断するアルゴリズムフィルタをその後に用いて、表示コンテンツ（例えばページめくり）を制御し、眼球信号言語要素に対してコンテキストを提供し、および／または、特定のコンテンツ（例えばチェックリスト）が閲覧および／または読まれたという記録を生成してアーカイブすることができる。
【００７０】
さらに他の例において、デバイス着用者は、特定のリスト、所定のシーケンスまたはチェックリスト内の全てのステップが確実に調査されるようにせざるを得ない。デバイス着用者の環境内のオブジェクトの状態（例えば、バルブ、ドア、スイッチ、照明、インジケータ）または（例えば、観察可能な標識、ＱＲ（すなわちクイックレスポンス）コード、バーコード、独自の形状のオブジェクトによって示される）特定の位置を特定するために、オブジェクト認識が使用されてもよい。特定されたオブジェクトまたは動作は、地理的に位置決めされ、時刻刻印され、注釈を付けられ、および／または、アーカイブされ得る。
【００７１】
チェックリスト内の特定のシーケンスが遵守されたことを保証することは、「手順遵守」と称される。修正動作を強制するために、チェックリスト内の特定のオブジェクトまたはステップの認識の欠如が使用されてもよい。手順遵守は、消防士、第一応答者、兵士、警察官、パイロット、安全検査官、石油掘削施設監督官、建築検査官および機械工などの規律において特に重要である。また、訓練、法的な検証、警察による科学捜査、ユーザによる条件付け、手順の最適化などを目的として、注視行動の厳密なシーケンスおよびパターンがアーカイブされ得る。
【００７２】
他の例において、眼球運動に基づいてコンテンツを表示するために、可変のビデオフレームレートが使用されてもよい。例えば、高速サッケード眼球運動の中心部分の最中は観察者が機能的に「盲目」であるということは、広く受け入れられている。したがって、この期間中に情報を表示することは、全く役に立たないであろう。このような期間中は、電力および／または計算リソースを節約するために表示の更新は一時停止されてもよく、または、「変化の見落とし」の生理学的原理を用いて注目を引き付けることなく新たな仮想オブジェクトが導入されてもよい。
【００７３】
一方、サッケードの開始時には、サッケードの着地ゾーンを予期するために高フレームレートが必要とされ得る。これは、例えば迅速に（例えばターゲット要素を知覚することさえ必要なく）文法的要素を起動するため、および／または、修正的サッケードを排除する目的でターゲット要素を表示から除去するため、および／または、いわゆる「ギャップ効果」を用いてより迅速に新たなターゲットを選択できるようにするために、使用され得る。
【００７４】
同様の方向性に沿って、さらなる局面において、カメラおよび他の処理リソースに対して「関心領域」制御を実行するために眼球運動が使用されてもよい。例えば、サッケード中、眼球運動は「弾道的」である。言い換えれば、サッケードが「着地する」時刻および位置は、サッケードの立ち上がり中の測定に基づいて計算可能である。サッケード中はカメラをオフにし、眼が着地したときにカメラを再びオンにすると、電力および計算リソースを節約することができる。また、最初は、（カメラの視野全体とは対照的に）眼が着地するだろうと予期される領域のみを１つ以上の眼球観察カメラによって検知するだけでよい。
【００７５】
同様に、円滑追跡眼球運動は、生理学的に限定された範囲の角速度で起こる。円滑追跡および他の眼球運動を追跡する際に、関心領域を生物学的に実現可能な範囲に制限するために生理学的制約が使用され得る。関心領域の制御は、（例えばＡＳＩＣ［すなわち特定用途向け集積回路］またはＦＰＧＡ［すなわちフィールドプログラマブルゲートアレイ］内で）分散型および／または専用の処理リソースを用いて高速計算によって実行された場合に特に効果的であり得る。ＡＳＩＣまたはＦＰＧＡの高速計算機能は、フレーム単位までのレートでの関心領域（およびフレームレート）の制御を可能にすることができる。
【００７６】
さらなる局面において、詳細なアイトラッキングに関連付けられるプロセスは、眼が表示またはいかなる対話式オブジェクトの方にも向けられていないときには、低減または一時的に排除されてもよい。このような技術を用いて、電力および他のリソースを減少させて安全性を向上させることができる。
【００７７】
さらなる例において、意図を識別するために眼を用いてオブジェクトを追跡する際に、追跡されるオブジェクトは、デバイスユーザの環境における実在のオブジェクトであってもよく、１つ以上のウェアラブルもしくはリモートディスプレイデバイス上に表示される仮想オブジェクトであってもよく、または、現実世界と仮想世界との間でのディスプレイデバイス内での実質的に連続的な遷移を含む実在のオブジェクトと仮想のオブジェクトとの組み合わせであってもよい。これは、例えば、拡張現実ディスプレイの透明度もしくは輝度を制御することによって、または、ディスプレイのエッジ付近のオブジェクトのサイズ、形状、色および／または動きを一致させることによって、実行され得る。
【００７８】
さらなる局面において、デバイスユーザの中心窩視界内で１つ以上のディスプレイの分解能、コンテンツおよび／または他の特性を制御するために視線追跡が使用されてもよい。人間の眼の生理学は、高分解能閲覧が網膜の内面の１．５ｍｍ幅の領域内の錐体視細胞受容体によって行われるというようなものである。これは、観察者の視野内のおよそ１°〜３°の角度範囲に対応する。視線追跡を用いると、リソースを節約することができ、視野の中心窩領域内のコンテンツに表示リソースを集中させることによって気をそらすようなコンテンツを回避することができる。
【００７９】
さらなる例において、眼球運動パターンおよび他の入力を変換してユーザの意図を識別するために、いわゆる「深層学習」を含む機械学習技術が使用されてもよい。深層学習は、（上記のように眼の６つの筋肉によって形成される）眼球運動の一般的パターンを眼球信号言語のコンポーネントとして認識するために使用され得る。意図を伝える「目的のある」眼球パターンを認識することに加えて、眼球運動パターンは、デバイス着用者の感情状態および生理学的状態を判断するためにも使用されてもよい。
【００８０】
同一の機械学習技術は、眼球位置を予測または予期して、それにしたがってユーザディスプレイを適合させるために使用されてもよい。これを用いて、眼球信号を大幅にスピードアップして、個々のユーザの解剖学的および生理学的能力および制約に適合させることができる。
【００８１】
さらなる局面において、ディスプレイ内のオブジェクトの表示タイミングを制御する際に、特定のデバイスユーザのパフォーマンスおよび／またはエクスペリエンスが考慮されてもよい。ユーザがデバイスオペレーションに精通するにつれて、眼球運動は速くなることができ、これは、例えば（サーチではなく）記憶誘導性のサッケード眼球運動により大きく依存するようになることによる。したがって、資料の表示速度は、自己適応の態様でユーザエクスペリエンスに基づき得て、最終的には眼球信号をはるかに高速で実行することが可能になる。
【００８２】
生理学的眼球運動
眼球信号「言語」およびシステムの基本的コンポーネントは、人間視覚処理の解剖学および生理学との明確な統合である。したがって、人間の眼球運動の生理学を理解することが必要である。
【００８３】
４つの基本的タイプの眼球運動、すなわち１）前庭動眼、２）輻輳開散、３）円滑追跡および４）サッケード、があると一般に認められている。各タイプの運動は、可動域、速度プロファイル、両眼が（異なる方向ではなく）対をなす動きをしているか否か、および、頭部または視野も動いているか否かなどのパラメータに基づいて区別可能である。各タイプの眼球運動には特異な神経回路が関与している。異なる眼球運動は、異なる程度の、不随意（すなわち反射）神経経路ではなく随意（すなわち意識的な制御）神経経路を伴う。眼球信号を識別するプロセス中は、意識的な意図を伝える眼の随意運動を特定できることが特に重要である。
【００８４】
前庭動眼運動は、頭部の回転と同一の角度であるが反対方向に眼を動かすことによって頭部の動きを補償する。これは、眼の高感度・高分解能中心窩領域に投影される外界の画像を安定化させる効果を有する。前庭動眼運動は、高速であり、半規管からの感覚入力に対して純粋に反射的である。前庭動眼運動は反射性の性質があるが、前庭動眼運動の検出は、（特に、例えば頭部とともに動く加速度計からの他の入力と結び付けられると）一般に随意である頭部の動きの絶対位置を間接的に識別するために使用可能である。
【００８５】
輻輳開散眼球運動は、各々の眼の中心窩領域を独立して位置合わせして、観察者からある程度離れて位置するオブジェクトを閲覧するするために使用される。他の眼球運動とは異なって、輻輳開散運動は非共同性であり、各々の眼は異なる方向に動く。そのため、結果として生じる輻輳角は、観察者と観察されているターゲットオブジェクトとの間の距離を推定するために使用可能である。中枢神経系内で、このプロセスは、後頭葉および吻側中脳網様体を必要とする。両眼の動きおよび位置を同時に測定することによって、閲覧者と観察されているターゲットオブジェクトとの間の距離を推定することが可能である。これは、例えば、ディスプレイまでの輻輳ベースの距離が、デバイス着用者がディスプレイ上の画像を閲覧していることの指標としての実際の距離に対応するか否かを含み得る。
【００８６】
円滑追跡眼球運動は、ゆっくりとした随意眼球運動であり、動いているターゲットオブジェクトの投影を眼の高分解能中心窩領域に集中させ続ける。したがって、円滑追跡運動の全体速度は、一般に、観察されている動いているターゲットの速度に対応する。大半の人は、動いているターゲットを実際に閲覧することなく円滑追跡運動を実行することは困難である。言い換えれば、観察者による実質的な特殊な訓練が行われていなければ、動いているターゲットを追跡する能力が無い状態で円滑追跡を開始しようとする試みは、単に観察者が１つ以上のサッケード運動を行うことになるだけである。
【００８７】
サッケード眼球運動は、眼の固視点を突然変化させる高速の動きである。サッケードは、一旦開始されるとサッケードによってカバーされる方向および距離がもっぱらサッケードの立ち上がりによって支配されるという意味で、「弾道的」である。言い換えれば、ターゲットの位置がサッケードの開始および／またはその実行中に変化したとしても、サッケード中は中間軌道修正は不可能である。サッケードは、人体が発生させる最速の動きであり、９００°／秒までの角速度に達する。
【００８８】
サッケードは、その速度プロファイルの観点でも「弾道的」である。予期せぬ刺激に反応して、サッケードの開始部分は約２００ミリ秒かかる。開始は、急加速の局面をもたらし、当該局面では、（他の弾道速度プロファイルと同様に）ピーク速度は移動距離におよそ比例する。サッケードの運動局面は、総移動角距離に応じて２０〜２００ミリ秒にわたって継続する。通常は、頭部が静止したままである限り、サッケードは、ねじり軸において眼を回転させることはない（すなわちいわゆるリスティングの法則）。およそ２０°よりも大きなサッケードは、人によって大きく異なるが、往々にして頭部の動きを伴う。
【００８９】
視野の方向が新たなターゲット位置に着地する際に急減速局面がある。非常に短い遅延の後に、大きなサッケードは、往々にして、ターゲット位置にさらに近付くための少なくとも１つのより小さな修正的サッケードを伴う。修正的サッケードは、ターゲットが見えなくなっても起こり得て、サッケード運動の予想される弾道的性質をさらにサポートする。しかし、修正的サッケードは、ターゲットが目に見えるままである場合により頻繁に起こる。
【００９０】
固視点の注意深い制御により、いかなる固視点もオフにすることによって運動以前のサッケード待ち時間を大幅に（半分に）減少させることができる。固視点をオフにすることは、閲覧者に対する通知として機能するように思われ、また固視点の維持に関連付けられる精神的処理を減少させるように思われる。新たなターゲット位置を固視するためにサッケード運動の前に固視点をオフにすることにより、視覚処理に「ギャップ」が残る。この状態は、「ギャップ効果」として知られている。
【００９１】
８０〜１２０ミリ秒の開始待ち時間を有する高速サッケードは、「ギャップ」状況の間により頻繁に起こる。ユーザの練習および訓練に加えて固視点およびターゲットの出現を注意深く制御することにより、直列的ターゲット選択の最大速度を大幅に上昇させることができる。記憶誘導性サッケードを利用できるようにターゲット位置を配置することにより、ターゲット選択の最大速度をさらに上昇させることができる。
【００９２】
図１Ａ〜図１Ｅは、基本的な「ギャップ効果」および２個から１個のメニュー選択プロセスを示す。デバイスユーザの視線１３３は、実在または仮想のオブジェクト１３０に向けられ得る。図１Ａに示されるように、眼球信号言語内の動作の選択の開始は、（サッケード眼球運動によって）経路１３１に沿って視線を起動アイコン１３２の方に向けることによって行われる。図１Ｂは、この経路に沿って向けられる視線１３３を示している。しかし、このとき、起動アイコン１３２は表示から除去されることができ、サッケード着地箇所１３５に観察すべきものが何もない場合には、間に合うように空隙１３５および「ギャップ」が残される。この「ギャップ」は、後続のターゲットを迅速に追跡するために視覚認知を解放する。
【００９３】
図１Ｂ〜図１Ｅに示されている例では、２つの新たなターゲット１３４，１３６が導入され、デバイスユーザが２つのターゲット１３４，１３６のうちの１つに視線を向けることによって２個から１個の選択をさらに行うことを可能にする。星印アイコン１３４は、サッケード着地箇所１３５の上方に導入され、平行四辺形アイコン１３６は、反対方向に導入される。図１Ｃに示されるように、視線１３３がオブジェクトのない箇所に着地すると、眼は容易に「解放されて」、２つの新たに導入されたオブジェクト１３４，１３６のうちの１つの選択を行う。
【００９４】
図１Ｄは、平行四辺形アイコン１３６の方に下向きに向けられた視線３３によって引き起こされる選択を示す。選択されたターゲット（図１Ｅ）１３６に到達すると、この特定のターゲットに関連付けられる動作が実行される。ギャップ効果は、眼がこの起動および／または選択シーケンスを行うのに必要な総時間を減少させることができる。
【００９５】
サッケードは、１）（ゆっくりとした）生理学的ドリフトおよびトレモアに加えて固視プロセスのコンポーネントであるより小さな運動（すなわちマイクロサッケード）と、２）外部環境を探索するために使用されるより大きなサッケード運動とにさらに細分されることができる。マイクロサッケードは、およそ０．２°未満の範囲にわたるもっぱら不随意の運動であり、当該範囲では、それらの厳密な生理学的役割は議論の余地がある。より大きなサッケード運動は、特に人が驚いたときには不随意であり得るが、観察者が外界を見渡す際には通常自発的な制御下にある。
【００９６】
生理学的ドリフト、トレモアおよび他のより小さな眼球運動の測定は、デバイス着用者の生理学的状態および精神状態を識別するためのコンポーネントとして使用されてもよい。これらの運動は、広範囲の病状（特に神経筋疾患）ならびに薬および他の化合物の効果を判断およびモニタリングする上で有益である。
【００９７】
また、サッケードは、それらの開始または意図に基づいて分類されることもできる。１）反射性サッケードは、周辺視覚系内であり得る外部事象の出現または消失によって引き起こされる。２）抗サッケードは、ターゲットオブジェクトから離れる眼球運動を伴う。３）走査性サッケードは、外部環境を意識的に閲覧して探索するための主要モデルである。４）記憶誘導性サッケードは、視覚的刺激がない状態でも個人の眼が記憶に残っている位置の方に動くことを可能にする。５）予測性サッケードは、時間的および／または空間的に予測される態様で、眼を動いているターゲットの方に向けた状態を保つことを助ける。
【００９８】
随意の走査性サッケード、記憶誘導性サッケードおよび予測性サッケードは、眼球信号言語内でユーザの意図を識別することを助けるのに有用であり得る。
【００９９】
眼球信号
例示的な実施例によれば、実質的に連続的または定期的に眼球信号を分類するためのシステムおよび方法が提供される。眼球信号は、ユーザによる意図の伝達に向けられる眼球運動で構成される。眼球信号のシーケンスは、その後、１つ以上のスマートデバイスによって実行される動作をもたらすことができる。
【０１００】
また、眼球信号は、他のウェアラブル入力デバイスから取得された補助情報に容易に結び付けられることができ、当該ウェアラブル入力デバイスは、スイッチ、マイクロフォン、ＧＰＳ（グローバルポジションシステム）デバイス、温度計、デバイスユーザの環境内の位置を検知するためのＲＦＩＤ（無線自動識別）標識オブジェクト、および／または、例えば指輪、ボタンもしくは腕輪に組み込まれる、動きを検知するための加速度計のうちの１つ以上などである。また、脳波記録法（electroencephalography：ＥＥＧ）、心電図（electrocardiogram：ＥＣＧ）、心拍数（パルスオキシメータによってまたは眼の画像内でなどの複数の方法で検知可能）、呼吸および他の動きをモニタリングするためのひずみゲージ、他のバイオメトリクス、および／または、身体の他の領域から発生するジェスチャをモニタリングするためのさらなるカメラのうちの１つ以上を用いて取得された情報にアプリケーションが結び付けられてもよい。
【０１０１】
以下の説明では、主に眼のみを用いたヒューマン・マシン制御に焦点を当てる。比較として、タブレットまたはタッチスクリーンを制御するために指を用いて発生させるジェスチャなどのジェスチャは、現代のコンピューティングデバイスにおいて広く普及している。もっぱら指ジェスチャを用いて多くのコンピューティングデバイス、特に携帯型のデバイスを完全に制御することが可能である。眼球信号法とは異なって、１本以上の指の動きは、完全に随意の性質があり、（コンピューティングデバイスによって検知可能な）画面にタッチするという物理的行為は、意図的でない画面タッチが時折行われることはあるが、デバイスユーザがコンピューティングデバイスを制御しようしている意図を表わす明らかな指標として使用可能である。それに反して、眼球信号を用いたコンピューティングデバイスの制御には、いくつかの独自の課題がある。
【０１０２】
１．眼は、常に動いており、日常生活のほとんど全ての局面に関する情報を取得する。特に、ディスプレイまたは網膜投影デバイスを閲覧するプロセス中は、眼を使用しなければならない。意図を識別するために、ディスプレイの閲覧および探索に使用される調査的眼球運動と故意の眼球信号とは区別しなければならない。
【０１０３】
２．「何もない」（すなわち、視覚的参照、エッジまたは手がかりがない）位置をいかなる期間も閲覧することは困難であり、不快である。同様に、追従すべき参照オブジェクトなしに特定のパターンで眼を動かすことは、（広範な訓練がなければ）困難である。したがって、眼球信号制御オペレーション中は、視野内での制御された動きとともにオブジェクトおよび境界のレイアウトが使用され得る。
【０１０４】
３．大半の随意眼球運動は、１）円滑追跡または２）サッケードとして分類されることができ、サッケードは、随意である場合もあれば、不随意である場合もある。各タイプの運動の制御には脳の異なる領域が関与する。また、各タイプの眼球運動には、厳然たる制約がある。例えば、円滑追跡は、およそ３０°／秒の角速度を超えることのないオブジェクトまたはエッジの追跡を伴わなければならない。この角速度を超えるターゲットオブジェクトを追跡しようと試みると、視野の周囲でオブジェクトを「追いかける」ために複数の短いサッケード運動が行われることになる。サッケードは、９００°／秒までの角速度で発生し得るが、一旦開始されると、たとえターゲットが移動したり消失したりしても、調整を行ってターゲット位置を修正することはできない。円滑追跡眼球運動とは対照的に、サッケードは、知覚なしに視野の領域を通り過ぎていく。眼球信号の検出中は、円滑追跡、サッケードおよび他の形態の眼球運動をアルゴリズム的に区別する（すなわちフィルタリングする）ことが特に重要である。
【０１０５】
４．中心窩の領域内で、眼は、表示または網膜投影内の非常に細かい詳細を知覚することができる。実際、通常の照明条件下では、眼は、レイリー基準に近い分解能で詳細を識別することができる。瞳孔直径が約３ミリメートルであると想定すると、これは、およそ０．０１３°の検出用角度分解能に対応する。これは、視線に関連付けられるアイトラッキングシステムとは対照的であり、当該アイトラッキングシステムは、最適な条件下でさえ、ユーザ知覚用分解能よりも少なくとも１桁大きい角度分解能測定値を生成し得る。眼球信号は、知覚力（すなわちディスプレイ画面上で知覚可能なオブジェクトの最小サイズ）と測定された視線追跡分解能（すなわち眼球信号形成中に確実に選択可能なオブジェクトの最小サイズ）との間のこの大きな不一致を考慮に入れなければならない。
【０１０６】
これらの課題により、他の形態のジェスチャ制御と比較して眼球信号を効率的に生成および検出するための独自の視覚的レイアウトおよび戦略が要求されることになる。
【０１０７】
一方、コンピュータマウス、ジョイスティックまたはタブレットなどのデバイスおよび何らかの形態の手ジェスチャ制御を使用する表示面と比較して、ヒューマン・マシン・インターフェイス（ＨＭＩ）メカニズムとして眼球信号を利用することには利点がある。
【０１０８】
１．眼を制御する筋肉は、人体内で最速の動きを生じさせることができる。したがって、戦略的に設計されたグラフィカルユーザインターフェイス（「ＧＵＩ」、本明細書における眼球信号システムおよび方法では「ｉＵｉ（登録商標）」と称される）により、高速眼球信号制御が可能になる。
【０１０９】
２．眼球信号制御の検知および作動コンポーネントは、眼球信号制御と調和させるために使用される生物学的「プロセッサ」（すなわち脳）から短い距離だけ離れたところに位置する同一の器官（すなわち眼および動きを制御するその６つの筋肉）内にある。ニューロン経路が短いことにより、適切に設計されたｉＵｉ（登録商標）ＧＵＩによる高速眼球信号制御がさらに可能になる。
【０１１０】
３．人間において、眼は、外部環境を検知するために使用される最高帯域幅の器官である。視線を用いて、当該環境において視覚化された現実世界のオブジェクトを正確に示して、その後、選択された動作と関連付けることが可能である。視線ベースの選択中、物理的観点または認知的観点から、他の感覚またはエフェクタ器官は関与する必要はない。例えば、眼球信号中に実在または仮想のオブジェクトを選択するためにいわゆる「視覚と手の協調」は不要である。
【０１１１】
４．アイウェアまたはヘッドウェアデバイス内に内蔵される眼球信号制御は、デバイス着用者だけでなく当座の環境内の人にとっても邪魔にならないものであり得る。眼球信号は、眼およびヘッドウェアに個別に関連付けられるもの以外の明らかな動き、音または目に見える明暗を伴わない。デバイスユーザに隣接している人は、眼球信号が利用されていることに全く気付かない可能性がある。
【０１１２】
眼球信号言語
眼球信号制御のためのパラダイムを説明するために、新たな用語に対して特有の意味を策定して割当てることが都合がよい。この専門用語は、眼球信号をより簡潔に説明することを可能にし、特に眼の神経制御または生理学的な動きに精通していない人にとってより有意義であろう。以下は、このような用語の一覧である。
【０１１３】
「インタラクタブル（interactable）」は、ディスプレイ内で閲覧可能な、アイコンと同様のものであり得る仮想オブジェクトである。アイコンは、ＧＵＩの分野におけるよく知られた概念であり、最小の表示領域内で意味を伝えるために使用され、選択可能であり得て、しばしば言語に依存しない。本願では、「インタラクタブル」は、インタラクタブル選択プロセスが片眼または両眼を必要とすること以外は、同様の目的で使用可能である。
【０１１４】
インタラクタブルの１つ形態は、注目を引き付けるおよび／または意味を伝える態様での実在のオブジェクトのタグ付けまたは標識付けを含む。例えば、拡張現実ディスプレイでは、１つ以上の英数字、ハロー（halo）、カーソル、矢印または他の記号は、特定のオブジェクト上の表示または特定のオブジェクトに隣接する表示内で重畳されてもよい。これらは、（仮想のアイコンと同一の一般的な態様で）眼球信号言語に含まれることができるようにオブジェクトに割当てられた特定の意味をデバイスユーザに対して示すことができる。例として、ハローが動作（例えばオンにすること）のオブジェクトであることができるように物理的な照明スイッチの周囲に配置されてもよく、または人の名前がその人の（実際の）顔に隣接して表示されてもよく、これにより、眼球信号言語を用いてテキストまたはメールをその人に送ることができるようになる。
【０１１５】
「セレクト（select）」は、眼を用いたオブジェクトの選択である。オブジェクトは、１）例えば表示に隣接して閲覧される、または（インタラクタブルに注釈を付けるために上記の同一の技術を用いて示される）透光性表示を介して閲覧される現実世界のエンティティであってもよい。これは、１つ以上の遠隔画面（ＴＶ、コンピュータディスプレイ、標識など）上で閲覧されるオブジェクトもしくはグラフィック、ホログラム、または他の遠隔の仮想のもしくは物理的な目に見える構造物も含む。オブジェクトは、２）外向きのカメラによって取込まれ、次いでリモートまたはウェアラブルであり得るディスプレイ上で閲覧または拡張される現実世界のエンティティであってもよく、または３）テキスティング、電子メール、地図、天気予報などに関連付けられるようなアプリケーションを開始するために使用される仮想オブジェクトなどの、ディスプレイデバイス上で閲覧される仮想オブジェクト（例えばインタラクタブル）であってもよい。
【０１１６】
デバイスユーザは自身の閲覧可能な環境を見渡すので、選択可能なオブジェクトは、通常、閲覧時に何らかの態様で強調または変更されて、視線方向を示す有益なユーザフィードバックをリアルタイムで提供する。「起動」インタラクタブル（以下の「ゴー（go）」を参照）に対するサッケード以前の最終的な閲覧位置が、「セレクト」の位置である。起動は、（選択された動作を実行するためにオブジェクトが必要とされる場合には、選択されたオブジェクト上で）動作を実行させる。「セレクト」という用語は、選択されたオブジェクトを指すために名詞として使用されてもよく、またはオブジェクトを選択するプロセスを示すために動詞として使用されてもよい。
【０１１７】
実施例において、眼球信号言語内の通常のシーケンスは、閲覧されているオブジェクトに動作を適用するというものである。言い換えれば、オブジェクトを指定した後に動作が指定される。眼球信号言語ではまれであるが、１つ以上のオブジェクトを指定する前に動作のコンポーネントを指定することが有利であろう。一例として、以下で説明する連続起動モードは、１つ以上のオブジェクト上で繰返し動作を実行することを可能にする。この場合、動作（または少なくとも動作の何らかのコンポーネント）は最初に指定され得る。
【０１１８】
「ルック（look）」は、サッケード眼球運動によって実在または仮想のオブジェクトから（すなわちサッケード立ち上がり位置から）別のオブジェクト（サッケード着地位置）に眼を動かすプロセスである。上記のように、サッケードは、高速の弾道的眼球運動である。「ルック」の随意性およびそれらの（必要に応じて）大きな角距離を迅速にカバーする潜在能力は、眼球信号制御の高速形成中は特に有益であり、重要である。
【０１１９】
ルックに関連付けられるサッケードは、反射性であってもよく、走査性であってもよく、または記憶誘導性であってもよい。ルックは、ターゲット位置に焦点を合わせるために大距離サッケード後に小さな修正的サッケードを含み得る。ルックの重要な特徴は、ルックの発生をリアルタイムでアルゴリズム的に識別し、その結果、ルックの経路内の（すなわち立ち上がりまたは着地箇所ではない）インタラクタブルまたは他のオブジェクトが選択されないようにすることができることである。ルックは、必ずしも互いに隣接していない２つのオブジェクトまたはプロセスを眼球信号の形成中に関連付けるまたは接続することを可能にする。
【０１２０】
「ゴー（go）」は、起動ターゲットである。「セレクト」から「ゴー」ターゲットを見ることは、選択または起動がユーザによって意図されていることを示す。「ゴー」インタラクタブルは、眼球信号形成中に記憶誘導性のルックを使用することができるように固定の（すなわち熟練したユーザに知られている）位置に位置してもよい。熟練したユーザは、選択または起動が望まれる場合以外は「ゴー」位置を閲覧しないようにすることを学習する。
【０１２１】
眼球信号言語における制御事象のシーケンスは、ジェスチャベースの制御システムとは大きく異なっている。眼は日常活動を行うために常に使用されており、サッケードおよび円滑追跡などの特定のタイプの運動のみを容易に実行するということがシステム設計内で明らかに受け入れられているので、違いが生じる。簡単に言えば、これは、「自然にすることを眼にさせる」原理であるということになる。
【０１２２】
ジェスチャベースのシステムとの１つの違いは、「オブジェクト」と「動作」とを結び付けるシーケンスである。他のシステムにおける多くのジェスチャシーケンスでは、動作（例えば、色の変更、削除）は、最初に指定され、次いで１つ以上のオブジェクトに適用される。眼球信号言語を用いる場合には、オブジェクトはいたるところで閲覧されることが認められている。動作を実行すべき場合には、当該動作は、サッケードまたはルーチン観察下のオブジェクトから動作シーケンスを開始させる位置を「ルック」すること（すなわち「ゴー」）によって開始される。類推として、オブジェクトが「名詞」または「主語」であり、動作が「動詞」であれば、眼球信号言語では、名詞／主語は動詞に先行する（すなわち、英語の一般的順序と同様である）。
【０１２３】
このシーケンスは、大半の眼球運動の調査性を活用する。我々は、「すべきことを見つける」ために眼を常に使用する。１）オブジェクトの発見、２）動作の選択、次いで３）動作が適用されるべきオブジェクトの再配置、のシーケンスは、眼球運動にとって無駄が多い。その代わりに、眼球信号言語では、動作は、現実世界または仮想世界において閲覧される「動作可能な」何かに（すなわち単一のサッケード眼球運動によって起動位置に）すぐに適用されることができる。
【０１２４】
実在または仮想のオブジェクトが「動作可能」であるという知識は、ユーザフィードバックの重要性を裏付ける。フィードバックは、デバイスユーザが「戸惑い」を覚えないようにするために非常に重要である。以下で説明するユーザフィードバックの例では、フィードバック自体が眼の通常動作と干渉しないことも重要である。したがって、例えば、動作可能な仮想オブジェクトの周囲の輪郭またはバーチャルリアリティシステム内の実在のオブジェクトの周囲のハローの特性（例えば、サイズ、厚み、位置、色）は、通常の眼球運動を邪魔または妨害しないように注意深く選択される。
【０１２５】
世界を閲覧する際のこれらの条件下で、熟練したデバイスユーザは、記憶に残っている位置に対して記憶誘導性サッケードを使用して、動作を開始させる。その時点で、さらなる画面プロンプトまたはオブジェクト除去は、（ミリ秒の範囲内で）非常に注意深くタイミングを合わせられ、（注目を引き付けるように、または注目を引き付けないように）制御されて、さらなる対話が実行されるときに眼を誘導または「保持」する。さらに、ミリ秒の時間枠で高速眼球運動が行われるので、快適な動作のために眼球信号動作フィードバックは同一の時間枠でなければならない。
【０１２６】
さらなる例示的な実施例において、ユーザは、いわゆる「寄り目」操作を実行することによって自発的「選択」または起動を示してもよい。顔の非常に近くにあるオブジェクトを観察しているのでない限り、寄り目にすることは、明らかに認識可能かつ自発的な動作である。これは、代替的な起動動作として眼球信号「言語」内に組み入れられることができる。しかし、頻繁に寄り目にすることは、厄介であると知覚される可能性がある。したがって、眼球信号言語は、寄り目にすることに対して、それほど使用されない動作を割当て得る。例えば、短時間の寄り目は、以前のメニュー選択に「戻る」ために使用されてもよく、長時間の寄り目操作は、デバイスを「ホーム」状態にリセットするために使用されてもよい。
【０１２７】
「追跡（pursuit）」は、起動または動作がユーザによって意図されていることを示すためのさらなるメカニズムである。「追跡」は、特に、人間の眼が円滑追跡を用いてオブジェクトを追従する能力に即して設計されている。「追跡」は、２つの機能モードのうちの１つにおいて使用され得る。２つの機能モードとは、１）Ｎ個から１個の選択が望まれる場合に、２つ以上のグラフィック要素が一定速度で径方向外向きに投影され、元のターゲット位置のおよそ中心位置から離れる、または、２）選択が必要とされない（起動のみである）場合には、ターゲット追跡インタラクタブル自体がその元の位置から離れ得る、というものである。ある期間および／または距離にわたって追跡オブジェクトを追従することにより、起動が引き起こされる。閾値時間および／または距離に達する前の円滑追跡から離れるサッケード（またはまれなケースでは、前庭動眼または輻輳開散）眼球運動は、起動なしに眼球運動シーケンスを終了させる。全ての運動は、円滑追跡の神経制御されたメカニズムによって閲覧できるように注意深く制御される（例えば、角速度は３０°／秒をはるかに下回るように維持される）。
【０１２８】
Ｎ個から１個の選択の場合、「追跡オブジェクト」という用語は、元のターゲット位置から外向きにコンベアの態様で円滑かつ連続的に移動する際にＮ個の個々のサブインタラクタブルまたはオブジェクトを説明するために使用される。選択された距離にわたって（恐らく時間も考慮して）Ｎ個の「追跡オブジェクト」のうちの１つを追従するプロセスは、Ｎ個（Ｎは投影された追跡オブジェクトの数である）から１個の選択および起動を行うユーザの意図を特定するために使用される。Ｎ個の状態から１個の状態の自発的なユーザの選択は、主に円滑追跡眼球運動の方向によって伝えられる。この区別は、ユーザの意図を識別して追跡オブジェクトを追従するために必要なフィルタリングおよび処理を簡略化する上で重要である。これは、セキュリティまたは他の制御のためにユーザの視線が特定の経路を追従していることをシステムが識別する必要があることとは対照的であり得る。本明細書で提案されているアプローチは、はるかに単純であり、広く適用可能である。
【０１２９】
円滑追跡によって単一の追跡インタラクタブルを追跡する際、２つの眼球信号制御モード、すなわち１）個別または２）連続、があり得る。個別モードの場合、選択された距離にわたって動いている追跡ターゲットが実質的に連続的に追従されると、起動基準が満たされ、デバイスは選択に応答する。連続モードでは、追跡インタラクタブル（すなわち、一般にその開始位置に対して）追従する際に眼によって追跡される距離は、（一般的なＧＵＩにおける「スライダ」制御と同様の）アルゴリズム制御に利用可能な実質的に連続的な「尺度」または物差しとして使用される。
【０１３０】
プログラム的に、連続モードは、指定の動作の途中での停止にも有用である。例えば、移動距離によっては、ユーザが追跡インタラクタブルから目をそらすと、ページは、読書アプリケーション内の部分的に移動した位置にとどまることができる。この動作は、ユーザの眼の「追跡のホッピング（hopping）」と称されることができ、これは、そうでなければユーザによる継続的なオブジェクトの追跡によって継続されるであろう何らかの行動の速度を落とすまたは停止させるためのものである。これは、自然な態様でのリアルタイムの粒状制御をユーザに対して提供する。このような場合、ユーザの眼が「ホップする」（すなわちサッケードとして移動する）先の特定のターゲットが提供され得る。ユーザが特定のターゲットを見なければならないという要件は、含まれる場合もあれば含まれない場合もある。
【０１３１】
円滑追跡中、眼（および関連付けられる追跡オブジェクト）が終点位置に到達すると、プログラムは、終点位置の領域が閲覧される限り、選択されたオペレーションを繰返し得る。プログラム的に、これは一般にループまたは繰返し構造と称される。ループまたは繰返しの数に関連する視覚的指標が、終点位置に表示され得る。これは、眼の滞留時間がユーザの意図を伝えるために重要な役割を果たすいくつかの例のうちの１つである。図１０の下部パネルに示される、テキストを読んでいる間に複数回のページめくりを制御するプロセスは、眼球固視によって制御される「ループ」または「繰返し」プロセスの一例である。
【０１３２】
追跡プロセス中に、ユーザが動いているインタラクタブルまたは追跡オブジェクトを追従しない場合、または十分な距離を横断する前にユーザが別の位置の方を見る場合には、起動は行われない。サッケード眼球運動とは対照的に、個人が円滑追跡中に追跡されているものを実質的に連続的に閲覧および知覚できることは、追跡ベースの眼球信号の重要な要素である。追跡オブジェクトは、追跡されなければ、起動されるとすぐに消失するか、または短時間／距離の後に消失もしくはフェードアウトし得る。特定の追跡オブジェクトが追跡されると、追跡されている追跡オブジェクト以外の全てのオブジェクトは、消失するか、フェードアウトするか、または透光性になるか、および／またはほとんど目に見えなくなり得る。
【０１３３】
さらなる実施例として、追跡オブジェクトは、水平（すなわちＸ方向）および垂直（すなわちＹ方向）軸によって規定される平面において動作可能であるだけでなく、デバイスユーザの焦点距離を判断するための方法が使用される第三次元（すなわちＺ方向）でも動作可能である。これらの方法は、両眼輻輳、または、眼を構成する左および／もしくは右の水晶体の曲率、厚みもしくは他のジオメトリの評価を含む。追跡オブジェクトは、デバイス着用者の方にまたはデバイス着用者から離れるように動くように見えるようにされ得る。デバイス着用者の意図は、デバイス着用者がＺ方向の仮想の動きを自発的に追従するか否かに基づいて推測され得る。
【０１３４】
また、Ｘ、ＹおよびＺ方向の任意の組み合わせにおける追跡オブジェクトの自発的な追跡の検出を組み合わせることも可能である。全ての利用可能な次元を用いると、追跡オブジェクト粒子は、全ての方向に「爆発する（explode）」ように見え、ユーザは、単一の粒子を追跡してＮ個から１個の選択を行うことができるようになる。
【０１３５】
「リビール（reveal）」は、ゴーとは異なって、セレクトが先行する必要はないが、「リビール」に関連する追跡オブジェクトからのルックが先行し得るターゲットインタラクタブルである。「リビール」インタラクタブルの特別な例は、「メインリビール」である。この「リビール」は、全ての（または大半の）画面上でユーザがアクセス可能な固定の（すなわち熟練したユーザに知られている）位置に配置され、例えば「ホーム」、「戻る」、「設定」および／または「メニュー」インタラクタブルへのアクセスを提供することができる。「メインリビール」インタラクタブルを閲覧すると、付加的なインタラクタブルがさらに「公開される」か、または既存の表示に重畳され得る。
【０１３６】
メインリビールの重要な局面は、ユーザがメインリビールの方を見ると公開されるインタラクタブルの表示の時間的制御である。公開されたインタラクタブルは、短時間だけ閲覧可能である。指定時間内に付加的な「リビール」インタラクタブルのうちの１つを（一般に見ることによって）閲覧できなければ、付加的なインタラクタブルはフェードアウトまたは消失し、選択が行われることはない。最初にメインリビールインタラクタブルを閲覧し、次いで一定の時間（一般に１秒未満）内に新たに公開されたターゲットインタラクタブルのうちの１つの方を「見る」ことによって、デバイスユーザの意図は識別される。
【０１３７】
以下でより詳細に説明するように、リビールは、さらなる選択および／または情報へのコンテキスト的アクセスを提供するのに特に有用である。メインリビールインタラクタブルは、いかなるさらなる選択情報も必要としないインタラクタブルを公開する。メインリビールから公開された「ホーム」または「戻る」インタラクタブルの方を見ることは、選択されたインタラクタブルをすぐに起動させる。
【０１３８】
通常はコンテキストに依存する（例えば表示の大半を占める画像を調査する）いくつかの例では、特定の量の「摩擦」が「戻る」インタラクタブルなどのいくつかのメニュー選択プロセスに追加され得る。これは、例えば視線選択領域をより小さなインタラクタブルに関連付けることによって実現可能である。コンテキスト依存のカスタマイゼーションは、特に高密度表示内で故意でない起動を回避するためのいくつかの戦略のうちの１つである。
【０１３９】
リビールは、それ自体がネストにされるか、または層状にされてもよく、新たに公開されたインタラクタブルは、他の（一般に異なる）リビールインタラクタブルによって置換される。このリビールアイコンのネスティングは、何層にもわたって継続し得る。各層において、選択されたリビールインタラクタブルは、「戻る」機能および関連付けられるグラフィックによって置換され得る。このスキームは、複数の「戻る」オペレーションが、以前に表示された層状のリビール層またはグループに潔く戻ることを可能にする。また、以下でより詳細に説明するように、ユーザは、メインリビールによって引き起こされる「ホーム」インタラクタブルを使用することによって最上位（すなわちホーム）メニューに常に戻ることができる。インタラクタブルのリビール層化およびコンテキスト依存表示は、眼をベースにした選択が利用できる表示スペースを最大限に利用する。
【０１４０】
「リビール」は、（いくつかのジェスチャベースのＧＵＩではしばしば「ツール」と称される）機能を選択するプロセスであり、当該機能は、（他の情報が適用に必要でなければ）その後すぐに適用され、または、メニューリビール機能が適用される位置またはオブジェクトがその後選択された後に適用され得る。
【０１４１】
別のタイプの「リビール」は、「メニューリビール」である。メニューリビールは、多数の可能な選択からある機能が選択されている場合に特に有用である。これは、「ホーム」および「戻る」を含む少数の頻繁に使用される選択が存在する状況において有用であるメインリビールとは対照的である。メインリビールとは異なって、メニューリビールおよび他のリビールは、時間に依存しない。
【０１４２】
典型的な（非メイン）リビール選択プロセスは、コンテキスト依存の公開されたインタラクタブルセットをメニューとして表示することによって開始し、最初の選択は、サイドバー間の中央表示領域を占めていたコンテンツ（例えば、絵、テキスト、アプリケーション）に依存し得る。メニュー項目は、この中央表示領域上への重ね合わせ（例えば、透光性または不透明）によってレイアウトされる。メニュー選択は、デバイスユーザによって（やはり時間的制約なしに）調査され得る。次いで、個々のメニューリビールは、上記の確立されたルック・アンド・ゴーシーケンスを用いて選択され得る。他の場合には、公開されたメニューインタラクタブルは、当該メニューインタラクタブルから、現実世界で閲覧されるオブジェクトなどの表示内のオブジェクトまたはその他の場所の方を「見る」ことによって起動されてもよい。
【０１４３】
このようなリビールステップにおける遷移は、満足のいくユーザエクスペリエンスにとって特に重要である。選択の不透明度を変化させること、および／または、眼が自然に新たな選択メニューの方を向くように表示のセグメントを移動させることは、このような遷移の例である。逆に、特に同時に複数の位置でオブジェクトが出現または消失することを含む突然の変化は、視環境では不快で疲れるものとして一般に知覚される。
【０１４４】
メニューリビール選択は、（多くの他のＧＵＩにおいてよく知られている）ドロップダウンメニューと同様のメニューの表示をもたらす。メニュー項目が選択されると、元の（すなわち選択された）メニューリビールを含んでいた領域は、すぐに「戻る」ボタンに変換され得て、ユーザは、選択を逆にすることができ、および／または、メニュー選択のプロセスを表わすツリー構造を上がることができる。
【０１４５】
サブメニュー選択プロセスは、何回も繰り返されることができ、ユーザは、（理論上は）無限に大きいものであり得る選択のプールから選択することができる。メニューおよびサブメニュー構造の戦略的な選択によって、（例えば画面スクロールを行う必要なく）限られた画面表示スペース内でインタラクタブルのコンテキスト依存表示を生じさせることが可能である。一旦メニューリビールが選択および起動されると、表示は（絵またはテキスト本文などの）元の状態に戻され、希望するなら、公開されたインタラクタブルによって表わされるオペレーション（例えば拡大）が適用および再適用され得る。
【０１４６】
広範囲の他のメニュー選択デバイスで利用されるＧＵＩにおいて広く普及しているツールは、いわゆる「ドラッグ・アンド・ドロップ」である。眼球信号言語は、眼球運動の生理学的制約のために異なる態様で「ドラッグ・アンド・ドロップ」機能に対処しなければならない。弾道的サッケードを用いて特定の経路に沿ってオブジェクトを「ドラッグする」ことは不可能である。同様に、円滑追跡は、（ユーザではなく）表示によって誘導されなければならない。これらは、ポインティングデバイスに対する明らかな自発的制御が存在する手持ち式コンピュータマウスなどの他の制御装置を用いて実行可能な動作とは対照的である。
【０１４７】
その代わりに、オブジェクトまたは領域のエッジは、眼球運動によって指定され得る。これは、エッジを識別する眼の先天的能力を活用する。また、これは、焦点（例えば格子、ドットのアレイまたは周期波形を含み得る）として機能するように適切な選択位置にエッジを設けるために注意深いユーザインターフェイスのレイアウトを必要とする。したがって、結果として生じる動作（すなわち起動されるとき）は、現在の眼による選択も１つ以上の以前の眼による選択も考慮に入れることができる。眼球信号を用いてこのプロセスを説明するために使用される（特徴的な）用語は、「ピック・アンド・プレース」である。
【０１４８】
表１は、このような眼球信号によって利用可能な機能またはプログラミング要素のうちのいくつかを要約している。これらの要素は、眼球信号に基づく外殻フレームワークを有するｉＵｉ  ＧＵＩ構造のためのアプリケーション開発者による「プリミティブ」またはビルディングブロックとして機能する。
【０１４９】
【表１】
2017526078.tif 000003
【０１５０】
眼球信号シーケンスの他の例示的な組み合わせは、１）フレームワークとして表示される格子上の交点の集合体の一連の見渡しを実行して、均一であると考えられる背景（眼球固視にとっては不利）に対して選択を可能にして最後の点からゴーを見ることによって、領域を選択することを含む。代替的に、１つのインタラクタブルから開始して、複数の点に沿って最終位置を見て、最終的にインタラクタブルを見ることにより選択が引き起こされ、当該選択は、複数領域の強調によって示される。眼球信号シーケンスの他の例示的な組み合わせは、２）テキストのある領域の選択中に、リビールを見て、公開された「テキスト選択」インタラクタブルを見て、選択の最初の語、任意に中間の語を見て、最後の語を見て、テキスト選択（または、「テキスト削除」、「テキスト置換」、または他のテキストによって動作可能なインタラクタブル）を見ることを含む。ユーザは、「テキスト置換」を「見る」と、選択された語についての表示上の即時置換を用いて、音声テキスト変換のためにマイクロフォンによって取込まれ得る置換語を話し得る。
【０１５１】
眼球言語の一般的な「文法」は、複数のアイトラッキングプラットフォームに適用可能である。眼球運動および対話パターンは、本明細書の他の箇所に記載されているシステムなどの邪魔にならないカメラを含むヘッドウェアベースのデバイスを用いて識別可能である。ヘッドウェアは、バーチャルリアリティディスプレイ、拡張現実ディスプレイおよび／もしくは他の近接場ディスプレイ、ならびに／または、ヘッドウェアから遠隔の１つ以上のディスプレイを含み得る。眼球運動およびパターンは、携帯電話、タブレット、ラップトップコンピュータおよびデスクトップコンピュータ内に組み込まれるものを含む頭部装着型でないカメラを用いても識別可能である。
【０１５２】
処理ユニットの「周辺に」あるアイトラッキングカメラも使用可能であり、当該アイトラッキングカメラは、ＵＳＢ（ユニバーサルシリアルバス）を介して、無線で（例えばＷｉ−Ｆｉまたはブルートゥースを介して）接続されるもの、車のダッシュボードに貼付されるもの、テレビまたは他のディスプレイの付近に装着されるもの、標識内に取り付けられるもの、および他の眼球画像化構成などである。眼球運動および対話パターンは、鏡面仕上げ面、選択された波長を反射する面（いわゆる「ホットミラー」）、光ファイバ画像誘導、レンズ、および片眼または両眼の画像を伝えることができる他の光学的構成からの反射に基づいて眼の領域を画像化するカメラからも識別可能である。ｉＵｉ  ＧＵＩ（ユーザインターフェイス）に含まれる文法および眼球信号は、これらのコンテキストのうちのいずれにおいても関連性があり、有用であり、および／または配備され得る。
【０１５３】
頭部の動きによって補完される眼球信号
眼球信号文法は、任意に、小さな頭部の動きまたは「点頭」によって拡張されてもよい。サッケードおよび円滑追跡と同様の態様で、随意頭部運動は、眼球運動の自然な（すなわち快適な）拡張機能である。実際、約２０°（この値は人によって大きく異なる）よりも大きな視線のシフトはいずれも、通常は頭部の動きに関連付けられる。これは、相当な意識的努力なしに日常活動中にルーチン的に起こり得る。サッケードに関連付けられる頭部の動きに関与する脳のさまざまな領域が研究され、例えば頭部の動きを生じさせる傾向の（あまり理解されていない）差は、年齢に応じてさまざまである。
【０１５４】
一般に、加速度計がウェアラブルデバイス内に組み込まれる。頭部装着型多軸加速度計の出力に基づく地球の重力場に対する加速度および向きは、相対的な頭部の動きについての情報を提供し得る。閲覧されたオブジェクトに参照付けられる頭部の絶対位置および動きは、視線方向および前庭動眼眼球運動の追跡と結び付けられると識別可能である。これは、頭部ジェスチャを眼球信号制御と統合するための手段を提供する。
【０１５５】
意図を伝えるために使用される小さな随意「点頭」は、１）動きの比較的小さな振幅、２）動きの速度、および３）眼が静止位置（例えば、インタラクタブル、実在または仮想のオブジェクト、エッジ、点）を閲覧している間の動きの性能に基づいて、一般的な頭部の動きと区別されることができる。これらの頭部の動きは、上記の４つの基本的タイプの眼球運動のうちの１つである前庭動眼眼球運動を活用する。
【０１５６】
上記のように、前庭動眼運動は、純粋に反射性であり、頭部の動きと同一の回転であるが反対方向に眼を動かす。これは、眼の中心窩領域上で外界の画像を安定化させるために使用される。したがって、前庭動眼運動自体は不随意であるが、前庭動眼運動を生じさせる頭部の動きは随意であり得る。したがって、このような頭部の動きは、ユーザの意図を伝えるための眼球信号言語における１つのコンポーネントとして使用可能である。
【０１５７】
いかにして点頭を用いて意図を伝えるかに関して個人に指示する際に、「鼻で指し示す」という表現を用いることが時には有用である。言い換えれば、オブジェクトを見たときに、鼻の方向にうなずく（すなわち眼を反対方向に動かす）と、鼻の動きの方向（例えば、左、右、上、下）に基づいて意図を伝えることができる。
【０１５８】
「点頭」は、その元の位置に戻る場合もあれば、追跡オブジェクトと同様の態様で（上記を参照）所与の方向に継続する場合もある。４つの方向、すなわち１）左方向、２）右方向、３）上方向または４）下方向、のうちの１つの方向の点頭を生じさせることが快適である。もう少し努力すると、以下の４つのさらなる方向、すなわち１）左上方向、２）右上方向、３）左下方向または４）右下方向、の点頭を生じさせることも可能である。点頭の「振幅」（すなわち動きの範囲）も、特定の動作の「振幅」の連続的に可変の制御として使用可能である。
【０１５９】
この柔軟性を備えていることにより、点頭は、複数の方法で認識され、眼球信号内に組み入れられることができる。第１に、点頭の存在は、「起動」の指標として使用可能である。このような随意頭部運動の存在は、動きの範囲、速度、方向およびユーザインターフェイスコンテキストに基づいて、他の頭部の動きからアルゴリズム的に区別またはフィルタリングされ得る（例えば図４を参照）。いくつかの眼球信号シーケンス中は、これは、「起動」シーケンスを実行するためのサッケードまたは他の眼球運動の必要性を無くすことができる。
【０１６０】
第２に、頭部の動きの方向は、Ｎ個から１個の選択を行うために使用可能であり、Ｎは、２つの方向と、上記の少なくとも８つの異なる方向、すなわち１）左方向、２）右方向、３）上方向、４）下方向、５）左上方向、６）右上方向、７）左下方向、または８）右下方向、との間の任意の値であってもよい。例えば、行事予定表を閲覧するために一回の点頭を用いて７日間の選択肢から１つの選択を行ってもよい。別の例として、上下の点頭によって「イエス」の返事を選択し、または左右への点頭によって「ノー」の返答を選択してもよい。
【０１６１】
第３に、点頭の振幅は、特定の動作の大きさ（すなわち非個別モード）を示すために使用可能である。例えば、点頭の方向および振幅の両方を用いて、画像、オブジェクトの大きなテーブルまたは地図上で「パン」機能を実行することができる。点頭の振幅が大きくなるにつれて、表示されるパン運動は大きくなる。
【０１６２】
第４に、点頭は、回転を含み得る。回転は、時計回りの方向である場合もあれば、反時計回りの方向である場合もある。ある程度まで、頭部の回転は、漸次的であり得る（すなわち大きかったり小さかったりし得る）。頭部の回転は、一般に眼の回転（リスティングの法則のコンポーネント）として十分に反映されることはないが、頭部に貼付されたカメラ、加速度計、または顔もしくは頭部を閲覧することができるリモートカメラにおける全体的な光景の回転を含む他の手段によって検出されることができる。
【０１６３】
第５に、点頭は、何回も繰り返されることができる。コンテキストによっては、これは、単一の動作を複数回繰返すため、または拡張メニューから（例えば８つの異なる点頭方向によって指定されるものを超える）動作の選択を示すために使用され得る。前者の例は、点頭が上下方向に行われる限り画像（例えば、絵、地図）上で繰返しズームインすることである。同様に、左右の点頭が繰返される限り、ズームアウトが実行され得る。他のコンテキストでは、例えば本を読んでいるときには、左右の点頭は、本のページをめくる方向（すなわち、左対右方向の最初の点頭）および速度（左右点頭の回数）を制御するために使用されてもよい。２回の上下点頭後の２回の左右点頭などの点頭ジェスチャの最も複雑なものは、それほど使用されないが重要である機能のために取っておくことができ。それによって、デバイスを低電力または「スリープ」モードにする。
【０１６４】
眼によって追跡されるオブジェクト信号
別の実施例において、仮想オブジェクト用いて動作を作動または開始させるという通常の役割を逆にしてもよい。例えば、外向きのカメラは、拡張された指がユーザの視野内で約１０°〜２０°の範囲にわたって移動するのを追跡し得る。実在のオブジェクトを追跡する際に、追跡インタラクタブルの追跡を支配する同一のアイトラッキング規則を適用することができる。例えば十分な範囲（すなわち、より誇張された動きを必要とする用途では１０°未満であるが、より一般的には１°未満）の指の動きの追跡が行われると、システムは、写真の動作（例えば撮影）を立ち上げることができる。どの動作が実行されるかを判断するために、指の属性（例えば、何を指しているか、曲げられているか否か）が使用されてもよい。
【０１６５】
デバイスユーザの視覚視野内での指（または、ポインタ、照明、レーザビーム、手持ち式オブジェクトなどの、ユーザによって制御可能なその他のオブジェクト）の配置および使用は、意図の識別に役立つことができる。例えば腕、手および指の動きは、（関連付けられない行動に関係している場合はあるが）純粋に随意である。したがって、眼を用いて、運ばれたり指し示されたりするオブジェクトおよび動きから意図を識別することが容易になる。また、実在および仮想のオブジェクトのさまざまな起動の役割に合わせて構成されると、デバイス内で電力消費量に差がある場合がある。環境内で閲覧されるオブジェクトを眼球信号と結び付けることは、有用な特徴であり、これについては以下でさらに説明する。
【０１６６】
環境内の実在のオブジェクトを見ることに加えて、ユーザは、環境内のディスプレイまたは画面において他の仮想オブジェクトを選択することが可能である。これらのディスプレイは、スマートウォッチ、健康管理機器の画面、（製造機器内の）工業用画面、テレビなどを含み得る。ユーザは、ウェアラブル画面またはこれらのリモート画面のうちのいずれかでディスプレイフィードバックを用いて眼球信号を実行することができる。
【０１６７】
図２Ａおよび図２Ｂは、眼によって追跡されたオブジェクト信号の一例を示す。この図では、デバイスユーザの視線位置は星印２３２によって示されている。特定の動作に関連付けられる実在または仮想のターゲットは、十字線２３０によって示されている。図２Ａに示されるように、指２３１が起動ターゲット２３０に偶然隣接したとしても、デバイスユーザが指２３１を特に見ない限り、起動は行われない。一方、図２Ｂに示されるように、ユーザが指２３１を見て、それが起動ターゲット２３０に近接していると、起動が行われる。
【０１６８】
音声によって補完される眼球信号
多様な眼球信号の容易さおよび効率は、コマンドシーケンスに音声を含めることによって大きく向上させることができる。検出およびユーザの音声を例えばテキストに書き換える機能は、眼球信号と併用されると特に有力な組み合わせである。ボーカライゼーションおよび／または他の形態のヒューマン・マシン制御は、眼球信号と自然に対話する。一般に、眼球信号の実行は、動作の形態およびいつ動作が行われるかを両方とも指定するために使用され得る。次いで、ボーカライゼーションは、このようなターゲット動作のために１つ以上の「対象」を供給し得る。
【０１６９】
これは、音声認識を用いていわゆる「テキストメッセージ」を生成し、次いで眼球信号とボーカライゼーションとの組み合わせを用いて当該メッセージに対して修正を加える例によって示されることができる。まず、ユーザの音声がテキストに書き換えられることをデバイスに示すために眼球信号が使用される。音声入力の開始も終了も眼球信号制御下にある。これは、語のいかなる組み合わせも書き換えることを可能にする。眼球信号の後続のシーケンスを用いて、修正または挿入のために、眼を用いてテキスト内の位置が指定され得る。上記と同様に、（修正をスペリングする可能性を含む）修正を声に出すことは、ボーカライゼーションと眼球信号とを同時に適用することによって制御される。
【０１７０】
相乗効果的な音声コマンド入力を用いた眼球信号制御は、単にコマンドの一部として実行されるオブジェクトを（信号ベースでないモードで）注視するまたは指し示すために眼を使用し得る音声制御とは異なっている。眼球信号ベースでない音声起動は、一般に、キーワードまたはキーフレーズの使用を必要とする。故意でない起動を回避するために、同じように聞こえるフレーズおよび／または近接する別の人が話す語は、故意でない音声起動のさらなる原因である。
【０１７１】
また、任意の形態の自由形式の言葉による入力（例えば電子メールメッセージのためのフレーズ）をデバイスに提供しているときには、自由形式の入力が終了したことを示す何らかのものが必要である。これは、しばしば、長時間の間合いまたは特定のキーワードもしくは音を検出することによって実現される。上記と同様に、これは、故意でない終了の対象となる。なぜなら、例えばスピーチにおける間合いは、単に話題について考えていることを示す場合があるからである。眼球信号の熟練したユーザは、起動または完了が望まれる場合にのみ起動または完了を表わす位置を単に見ることによって、故意でない起動を回避する。
【０１７２】
相乗効果的な音声入力を用いた眼球信号の利点を説明する別の方法は、１）すべきこと（すなわち動詞）および２）いつ動作を実行すべきかを両方とも指定するものとして眼球信号を取扱うことを含む。音声は、動作の実行を助けるためのデータ（すなわち対象）のさらなる源である。これは、デバイスが常に何らかの形態のアラートまたは動作フレーズ（すなわち動詞）を「聞いて」いなければならないもっぱら音声コマンドによる動作の開始とは対照的である。音声コマンド時に眼によって閲覧される位置またはオブジェクトは、補足的な入力になる。
【０１７３】
このような眼球信号によって呼び出される音声のフィルタリングは、周囲の音が高く発話がたまにしか行われない場合にも有用である。特にアイトラッキングシステムが低電力方法（下記）を利用して眼がいつ表示位置を注視するかを判断する際に、常に聞いているシステムは、単純な眼球信号によって起動されるシステムよりも多くの電力を消費する。
【０１７４】
眼球信号によって動作を指定することは、言葉による動作制御に関連付けられる曖昧さも回避する。眼球信号メニューを注意深く選択することにより、デバイスを特定の（すなわち曖昧でない）動作を実行することに向けることが可能になる。対照的に、「ジェーンを見つけて下さい」などの言葉によるコマンドを使用した要求は、「ジェーン」をテキスト本文内の語として見つけるのか、一組の画像内で顔認識を用いて見つけるのか、音声記録内の口頭での名前として見つけるのか、ジェーンが物理的にどこに位置しているのか、ジェーンについての体の寸法を表示するか否かなどをデバイスに知らせることはない。
【０１７５】
他のモダリティによって補完される眼球信号
他の実施例において、眼球信号は、デバイス動作を制御するための他の入力モダリティと組み合わせられてもよい。これらのモダリティは、振る、傾けるまたはそり返る（例えば、「イエス」、「ノー」、関心、驚き、熟考を示す）などの頭部の動き、筋肉の収縮および動き（眼／頭部／顔の方に向けて装着されたカメラによる）、適切な外向きのカメラによる手の動きおよびジェスチャ、適切な音声センサ、力センサまたはモーションセンサによる顎の動きおよび歯の噛み合わせ、ならびに、キーボード、マウスおよびタッチスクリーンなどの従来のコンピュータ入力デバイスを含み得る。
【０１７６】
眼球信号は、他のヒューマン・マシン制御モダリティと自然かつ相乗効果的に対話する。例えば、個人が指さしたり、照明スイッチを見て「オンにして下さい」と声に出したり、笑み（逆に、オフにするためにしかめ面をする）などの動作を実行したりすることを学習するために、訓練はほとんどまたは全く必要ない。眼を用いて指し示すことと動作の認識との組み合わせは、容易に理解され、他の状況に一般化されることができる。したがって、その後家またはオフィスを見渡して、例えば眉を上げてサーモスタットの方を向いて「温度を上げる」またはドアロックを見ながら「ドアを開けて下さい」と言うなどのコマンドの実行を開始することは、デバイスユーザにとって直感的になるであろう。視線を用いた制御は、通常のオペレーションおよび多数の他のデバイスの動作を向上させることができる。
【０１７７】
検知された情報の別の有力な組み合わせは、メイン動作ユニット（Action Unit：ＡＵ）のための一連の「コード」としてＦＡＣＳによって規定されるデータ、頭部の動き、眼球運動、（内向きカメラ、外向きカメラおよび慣性測定ユニットによって判断される顔の領域の）可視性状態、および肉眼的行動を収集することによって実現可能である。次いで、この情報は、時間的に同期された視線情報を統合されて、ユーザが何を注視しているかを正確に知るというさらなるコンテキストにおいて、感情状態およびユーザの意図に関する大量の情報を提供することができる。これは、さらに、ウェアラブルヘッドマウントディスプレイデバイスでローカルにまたは当該世界における任意のデバイスでリモートで動作を開始させることによってユーザの意図を動作に変換する目的をサポートする。
【０１７８】
随意眼球運動を識別するためのアルゴリズム「フィルタ」
眼球信号の形成中、アルゴリズムフィルタは、全ての基本的タイプの眼球運動、すなわち１）サッケード（記憶誘導性または視覚誘導性）、２）円滑追跡（適切な生理学的速度でのオブジェクトの追跡を含む）、３）輻輳開散（オブジェクト選択中に第三次元を生成するための両眼アイトラッキングによる）、４）前庭動眼（点頭選択を組み入れる）、の生理学的根拠を活用する。
【０１７９】
また、眼球信号を構成する一連の眼球運動中は、ギャップ効果を使用して、眼球運動を解放して眼球信号を迅速化する態様で、視野内のオブジェクトの出現を除去することができ、眼球動作を引き起こすターゲット位置が閲覧されると「なじみのある」サムネイルをユーザフィードバックとして表示することができ、これは視覚処理の低減およびさらなる動作へのより迅速な遷移を必要とし、変化の見落としに関連付けられる技術を使用して注目を引き付けることなくオブジェクトが導入され、オブジェクトは、視野を変更する際に視覚野によって生成される注目度合いを調整するように適合され（例えば、サイズ、輝度、背景に対する色、コントラスト、不透明度、詳細、反復画面位置）、オブジェクトのタイミングおよび特徴は、ユーザの視線方向ならびに関連付けられる中心窩視野、傍中心窩視野および周辺視野に依存する態様でさらに適合される。
【０１８０】
これらの生理学的概念は、眼球信号の形成中にオブジェクトがいつ、どこでおよびどのようにして視野に導入されるか、または視野から除去されるかを制御するためにも使用される。
【０１８１】
本明細書におけるシステムおよび方法の基礎をなしているのは、眼球運動の生理学的原理および制約である。上記のように、自発的な制御下で直接的または間接的に実行されることができる最も一般的なタイプの眼球運動は、１）サッケード、２）円滑追跡、３）輻輳開散、および４）前庭動眼である。一連の眼球画像から判断される眼球位置データを用いて、アルゴリズム「フィルタ」は、サッケードまたは円滑追跡眼球運動の存在をリアルタイムで特定および区別するように構成され得る。
【０１８２】
サッケードフィルタは、主にサッケードが高速であるという事実に依拠する。実際、上記のように、サッケードは、人体において最速の動きであり、角速度は、９００°／秒までである。サッケード速度プロファイルは弾道的であり、（約６０°の変位までは）ピーク速度は移動距離の線形関数である。例えば、１０°サッケードはおよそ３００°／秒の角速度を有するのに対して、３０°変位の場合のピーク角速度はおよそ５００°／秒である。
【０１８３】
本明細書におけるシステムおよび方法においてサッケードに基づいて眼球信号を実現する局面は、観察者の視野内のどこか２つの位置（すなわちサッケード立ち上がり位置およびサッケード着地位置）に位置する仮想または実在のオブジェクトを、当該２つの位置の間の視覚経路に沿ったオブジェクトによる干渉なしに、明確に連結または接続できることである。一連のサッケードを実行することによって、自発的なユーザ制御下で任意の数のオブジェクトまたは位置を論理的に接続して、意図を識別することができる。
【０１８４】
サッケード運動は、円滑追跡に関連付けられる最速運動よりも１桁速い。この速度差は、円滑追跡フィルタでは重要な違いである。また、円滑追跡眼球運動の全体的な方向および速度は、（観察者がこれを回避するための広範な訓練を受けていない限り）観察されているオブジェクトの速度プロファイルと一致しなければならない。したがって、円滑追跡は、速度に基づいてサッケードと容易に区別可能であり、表示されたオブジェクトまたは実在のオブジェクトの速度プロファイルと比較して一致が存在するか否かに基づいて他の眼球運動（すなわち輻輳開散および前庭動眼運動）と容易に区別可能である。
【０１８５】
より具体的には、ゆっくりと動くオブジェクトを閲覧しているときには、円滑追跡は、およそ１００ミリ秒の待ち時間の後にオブジェクトを密接に追従することによって認識され得る。一般に、円滑追跡は、約３０°／秒未満の角速度で認識されるが、特に水平方向においていくぶん高い速度が生じる場合がある。円滑追跡によって追従されることができるものよりも大きなオブジェクト移動速度では、当該環境においてオブジェクトを追跡するためにいわゆる「追い上げサッケード」が人間によって使用される。このサッケード−固視シーケンスは、全体的な速度およびサッケードシーケンスの開始／停止速度プロファイルに基づいて円滑追跡と容易に区別される。
【０１８６】
本明細書におけるシステムおよび方法において円滑追跡フィルタを実現する別の局面は、ユーザがいつ画面上の特定のオブジェクトを自発的に追従するかを明確に判断することができることである。画面上を動き回ることができるさまざまなオブジェクトに意味または目的を割当てることによって、（もしあれば）どのオブジェクトが追従されているかを測定することによりユーザの意図を識別することができる。このアプローチは、画面を動き回るＮ個の「追跡可能な」オブジェクトが存在する場合にＮ個から１個を選択する状態（または追跡するオブジェクトが無い状態）において特に有力である（例えば図１を参照）。
【０１８７】
図３は、サッケードおよび円滑追跡眼球運動を特定するためのアルゴリズム的アプローチを概略的に示す。３３０において眼の新たな画像が取得されると、それは３３１における眼の画像および／または戦略的測定値の先入先出し（first-in first-out：ＦＩＦＯ）バッファに追加される。３３２において、最古の画像および／または測定値は、３３１におけるＦＩＦＯバッファから廃棄される。３３３において、画像におけるアイトラッキングに基づいて眼球速度が測定される。３３４において眼球速度がサッケード運動のための最小閾値（一般に３０°／秒）よりも大きければ、３３５において、システムは、何らかの形態のサッケード運動が生じたことを知らせる。３３５において一般に中心窩視界内（すなわちおよそ１°〜３°以内）の距離にわたってサッケード運動が生じると、３３６において眼球運動はマイクロサッケードとして記録される。一方、３３５において眼が移動した角距離がこの範囲よりも大きければ、３３７において当該事象はサッケードとして登録される。
【０１８８】
３３４において眼球運動速度がサッケード運動のための閾値未満であり、３３８において（もしあれば）運動が中心窩視界内であれば、３３９において眼は基本的には静止しており、当該事象は固視として記録される。一方、３１０において実在または仮想のオブジェクトの速度および方向と一致する速度および方向で眼が動いていれば、３１１において変位は円滑追跡眼球運動として分類される。
【０１８９】
眼球信号の別のクラスは、両眼アイトラッキングを用いて検出される「輻輳開散」である。輻輳開散眼球運動が一般に反射性であるとしても、ユーザは、どのオブジェクト（すなわちさまざまな距離のところに位置決めされる）が閲覧されているかを自発的に制御することができる。したがって、ユーザの輻輳開散は間接的に制御される。
【０１９０】
輻輳開散信号は、（特に老眼などの症状により年をとるにつれて）一般に円滑追跡よりも速度が遅くなるが、オブジェクトと対話するための三次元パレットと連携したときに並はずれた柔軟性を提供する。輻輳開散制御は、ターゲットがなければ実現が困難であるが、大きい被写界深度（すなわち、同一の視線に沿った遠方オブジェクトに対して、窓ガラスのごみなどの近接オブジェクト）が存在する状況では、焦点距離がある程度意識的に制御される。
【０１９１】
重要なことに、両眼表示（すなわち１つの眼当たり１つの表示）で表示される一組のオブジェクトを考察することができ、そのため、オブジェクトは、（恐らく両眼で輻輳開散を追跡することによって制御される）注視焦点に出入りすることができ、その結果、ユーザは、平面上のオブジェクトを見たり追跡したりすることができ、さまざまな距離／深さで表示および知覚される平面上のオブジェクト間で「ズーム」することができる。輻輳開散運動は、およそ２５°／秒までの角速度に限定される。さまざまな深さにおける仮想オブジェクトの選択は、事実上、オブジェクト選択パレットに新たな次元を追加し、表示および／または選択／起動可能なオブジェクトの数を大きく増やす。
【０１９２】
一般に、前庭動眼眼球運動も、頭部の動きに反応して反射性であると考えられる。しかし、頭部の動き自体は、特にデバイスユーザがオブジェクトに集中しているときには往々にして随意である。したがって、ユーザの前庭動眼眼球運動は間接的に制御される。
【０１９３】
図４は、輻輳開散運動と前庭動眼運動とを見分けるためのアルゴリズム的アプローチを概略的に示す。輻輳開散運動の場合、右眼４３０ａおよび左眼４３０ｂからの眼球位置測定値を考慮しなければならない。（以前の眼球位置測定値（図示せず）と比較して）右眼の位置４３１ａまたは左眼の位置４３１ｂがデバイスユーザの中心窩視界内にあれば、輻輳開散運動または前庭動眼運動がさらに考慮されることはない。運動が中心窩視界を超える場合には、右眼４３３ａおよび左眼４３３ｂのために速度が計算される。同時に、４３２において、加速度計、シーンカメラ内の画像の全体的な動き、または他の方法を用いて、頭部位置が判断される。４３４において頭部位置が著しいものでなければ、さらなる比較は行われない。そうでなければ、４３５において、４３２における頭部位置に基づいて頭部速度が計算される。
【０１９４】
４３６において右眼および左眼が同一方向に動き、４３７においてこの方向が頭部の方向とは反対であり、動きの大きさの点で適切な対応関係を有している場合には、４３９において眼球運動は前庭動眼として分類される。４３６において右眼および左眼が反対方向に動き、およそ同一の動きの大きさを有している場合には、４３８において眼球運動は輻輳開散として分類される。
【０１９５】
ユーザの意図を表現する眼球運動をアルゴリズム的に特定するための別の戦略は、意図の伝達に関連付けられない眼球運動も同時に特定するというものである。これらの運動は、一旦特定されると、随意眼球運動を全体的に解釈する際に無視されたり、差し引かれたり、またはそうでなければ釈明されたりすることができる。例えば、高頻度の振動またはトレモア（生理的眼振）は、ほとんど全ての形態の固視に重畳される。これらの振動は、網膜受容体上の画像をシフトさせ、境界付近に新鮮な網膜受容体を補充し、０．１秒ごとに２つの隣接する中心窩錐体視細胞の間の距離をおよそ移動する。
【０１９６】
「通常の」（すなわち非病理学的）フィルタに加えて、アルゴリズムフィルタは、自発的な意図の伝達に関連付けられない病的眼球運動を区別および特定するようにも構成され得る。上記と同様に、これらの運動は、随意眼球運動を全体的に解釈する際に無視されたり、差し引かれたり、またはそうでなければ釈明されたりすることができる。例えば、３〜６サイクル／秒の振動は、パーキンソントレモアに関連付けられる。統合失調症は、眼筋の硬化および／または痙攣を引き起こす可能性がある。視覚的刺激の予見局面の間の注意欠陥多動性障害（attention deficit hyperactivity disorder：ＡＤＨＤ）の人の不随意眼球運動については、最近になって特徴付けられた。同様の方向性に沿って、アルコールを含む薬剤および他の薬は、眼球運動（およびまぶたの動き）に影響を及ぼす可能性があり、恐らくこのような条件の下では、目的のある眼球運動を識別するための１つ以上の基準を変更せざるを得ないであろう。
【０１９７】
また、てんかんまたは震とうに関連付けられる眼球運動パターンなどのいくつかの眼球運動パターンは、即座の治療の必要性または特定の投薬治療（例えばインスリン）の必要性を示し得る。当該デバイスは、医療支援を自動的に要請し、および／または、投薬治療もしくは他の処置が必要であることをユーザに知らせるためのステップを開始させることができる。通常の眼球運動と病的眼球運動とを識別するためのアルゴリズムフィルタは、個人の健康の長期的モニタリングにおいても重要な要素であり得る。これは、広範囲の神経筋疾患、眼科疾患または中枢神経系疾患、ならびに、年齢に応じた眼球運動および挙動の「通常」の進行をモニタリングすることを含み得る。
【０１９８】
本明細書におけるシステムおよび方法の別の特徴は、一般に（上記のように繰返し構造を実行する場合を除いて）意図を識別するために滞留時間または長時間のまばたきに頼らないことである。多くの市販のアイトラッキングシステムは、ユーザが意図を示すためにある時間にわたって仮想オブジェクトに焦点を合わせる（すなわち滞留）か、または選択プロセスの一部としてまばたきすることを必要とする。滞留は、知覚（約０．２５秒を必要とする）および焦点のメンテナンスを必要とする。多くの場合、滞留が生じたことの指標は、閲覧されている領域の拡大を伴う。これは、視覚野による知覚の間にさらなる心像処理を引き起こす。まばたきはさらに長い時間かかり、複雑な一連の筋肉収縮を必要とする。まばたきの最小時間は、約０．３〜０．４秒である。
【０１９９】
眼球信号コンポーネントが連結されて動作可能な選択肢が生成されるとき、遅延が蓄積して重大なものになる可能性がある。痙攣性眼球運動（およびぎくしゃくした表示）は不自然であると感じられ、不快感および不安を生じさせる。長期間の使用は、負担がかかって疲労を生じさせる。
【０２００】
読んでいる間にステレオタイプ的眼球運動パターンを識別するためのアルゴリズムフィルタ
デバイス着用者の意図を識別するためのさらなる実施例として、仮想または現実世界のオブジェクトを観察するコンテキストにおいてより複雑なパターンの眼球運動が分析され得る。デバイス着用者によって実行されているステレオタイプ的眼球動作を特定するために、眼球運動と結び付けられるシーケンスの知識および／または観察されたオブジェクトのＩＤが使用され得る。ユーザの意図を見分けるためのコンポーネントとして、シーケンスおよび閲覧されたオブジェクトのＩＤに加えて、動作が含まれ得る。このような動作および意図の識別は、個別モード（すなわち１つの期間にわたって）または連続モードで実行され得る。
【０２０１】
眼球運動によって特定されることができるステレオタイプ的眼球動作の一例は、テキストを読むことである。テキスト本文が表示されるとき、読むプロセスが実行されているという事実を識別するために、デバイス着用者によるサッケード運動および短時間の固視のシーケンスが使用され得る。平均して、英語を伴う一般的な読むプロセスの間、サッケード運動は、７〜９（範囲１〜２０）文字に２０〜４０ミリ秒かかる。固視は２００〜２５０ミリ秒継続し、毎秒およそ４回の読取サッケードを可能にする。（資料の難しさによっては）時間のうちのおよそ１０〜１５％の間、読者の眼は後戻りする（すなわち、以前に読んだ資料に戻る）。サッケードおよびそれに続く固視の一連の繰返されるシーケンスを自動的に特定するために、アルゴリズムフィルタが使用可能である。
【０２０２】
読むプロセスが行われているという事実を特定するために、スクリプトの位置および読みが実行される方向がさらに使用可能である。読むプロセスの特定は、ユーザインターフェイスにコンテキストを提供する。ユーザインターフェイスのコンポーネントは、その後、読みが実行されているという事実に基づいて変更され得る。例えば、読んでいる間、ページめくりまたはスクローリングは、表示境界に到達すると自動的に（すなわち特定のページめくりまたはスクロールコマンドシーケンスなしに）行われるようにされてもよい。
【０２０３】
さらに、読者集団のために観察および一般化された、または、個々の読者に特有であるように体系化されたサッケードシグネチャは、生徒のための学習プロファイルを向上させることができ、理解困難などの認知的事例に自動的に注目する（読む速度のレートおよび変動、後戻り、一時停止、ノートを作成することを含むページから目を離すこと（ここではこのようなアイトラッキング関連の観察およびノートの作成が使用され得る）、他の関連のコンテンツの相互参照、関心の喪失、強い関心、ビゴツキーの学習の近接領域および／または意図的な眼球運動（苛立ちによる眼球上転）に関連する）。視線情報は、頭部の動き（左右または上下に頭を振る）などの他の検知されたデータと結び付けられてもよく、および／または、デバイス着用者の関心領域に下線を引いたり強調したり拡張したりするための書込ツールの観察された使用と結び付けられてもよい。
【０２０４】
読むプロセス中にステレオタイプ的眼球運動を認識することによって、読む速度、読み飛ばされたかもしれないテキストおよび／または逆に長時間の注目を引き付けたテキストも特定されることができる。後戻りの回数、（さらなるセンサを用いた）サブボーカライゼーション、サッケード距離および固視時間は、資料への関心および資料の複雑さの両方の指標として使用され得る。これらは、デバイスユーザの関心（または無関心）を特定して特徴付けるためのコンポーネントとして使用され得る。このような特徴付けは、例えばサーチエンジン結果を調整し、命令セットの理解レベルを判断し、コンテンツ表示の速度を制御し、「後戻り」、流暢さなどのユーザの読む能力を索引付けするために使用され得る。
【０２０５】
ユーザインターフェイスにさらに磨きをかけるために、読まれているものの内容が使用され得る。例えば、表示されたテキスト内にハイパーリンクが存在しなければ、組み込まれたハイパーリンクを追従するようにメニュー選択を提供する必要はないであろう。同様に、テキスト本文内に画像が存在しなければ、画像をズームインするためのツールは必要ないであろう。不要なユーザインターフェイスツールをコンテキスト依存的に除外することは、故意でない起動を回避することに役立ち、メニュー選択を単純化することができる。
【０２０６】
一方、例えば一連の命令が読まれている場合には、それらの命令が読まれているときにそれらの命令に関連付けられるユーザインターフェイスツールを利用可能にすることが読者にとって有益であろう。多くの場合、他の箇所に記載されているように、これらのツールのためのターゲットを「目立たないように目に見える」ようにする（すなわち、注目を引き付けない態様で表示内に導入される）ことが妥当であろう。デバイス着用者が命令を読み続ける限り、このようなターゲットの形状および／または結果として生じる動作は、読まれているものに基づいて変更され得る。
【０２０７】
斜め読みも特異な眼球運動として認識されることができる。（例えば英語のスクリプトに目を通している間の）眼の後戻りが少なくかつ垂直方向の動きが高速であることが、斜め読みプロセスを特徴付ける。斜め読みプロセスの認識は、表示された情報の表示速度（例えばスクロールまたはページめくり速度）、レクサイルレベルおよび／または認知密度を制御するために使用され得る。
【０２０８】
読んでいる間のサッケード−固視シーケンスの一般的な方向およびタイミングは、読まれているスクリプトの形式および構造に強く依存する。例えば、英語、フランス語、ドイツ語およびイタリア語のスクリプトは、一般に左から右に読まれ、行の最後に到達すると、左端から始まる新たな行がその下に続いている。テキストの文および行は、さらに段落に編成され、段落は、各段落の最初および／または終わりにおいてテキスト内に意図的な隙間を含み得る。
【０２０９】
対照的に、アラビア語およびヘブライ語のスクリプトは、右から左に書かれる。中国語、日本語および韓国語のスクリプトの変形体は、水平方向または垂直方向に書かれることがある。日本語のテキストを読んでいる間は、日本語のテキストが表音文字（すなわち平仮名またはカタカナ）として書かれているか表意文字（すなわち漢字）として書かれているかに基づいて、サッケード運動のサイズおよびタイミングが異なる。したがって、テキストを読んでいることを検出するためのアルゴリズムフィルタは、さまざまなスクリプトを読んでいるときに存在するサッケード運動および固視のシーケンシャルな方向および正確なタイミングに合わせて調整されなければならない。
【０２１０】
表示されたテキストの内容がデバイスの制御の範囲内でなければ、デバイスユーザによる特定の焦点領域を特定するために視線追跡も使用され得る。このような領域は、標識、広告板、テレビ、リモートディスプレイモニタなどであってもよい。観察下の領域は、当該技術分野において周知の光学式文字認識（optical character recognition：ＯＣＲ）技術を用いても、希望するならリアルタイムで、デバイスによって「読まれる」ことができる。このようなテキストの内容は、スピーチなどの他の形態に変換されてもよく、および／または、別のときに検索されるようにアーカイブされてもよい。観察される特定のスクリプトおよびオブジェクト、観察のシーケンス、ならびに、特定されたスクリプトおよびオブジェクトに対する注目度合いの尺度を特定するために、デバイス着用者による視線パターンが使用され得る。
【０２１１】
オブジェクトを調査している間にステレオタイプ的眼球運動パターンを認識するためのフィルタ
他の例示的な実施例と同様の方向性に沿って、アルゴリズムフィルタは、写真または芸術作品などの画像の調査を検出するように開発され得る。画像を閲覧する際に走査経路を予測するためのモデルが開発されてきた。例えば顕著性が固視の期間に相関付けられるか否かに関して、これらのモデル含む文献では大いに議論が交わされている。しかし、実際の眼球運動とこれらの数学的モデルによって予測されるものとを相関付けることによって、アルゴリズムは、デバイス着用者の意図が画像内の特定のオブジェクトの詳細な調査であるか否かを特定するように開発されることができる。
【０２１２】
ここで、機械学習を伴うコンピュータビジョンは、画像の自動解釈を可能にして、画像内のオブジェクトを特定する。現在のところ、大規模コンピュータデータベースは、全てのオブジェクトを既知のオブジェクトまたはオブジェクトクラスとして自動的に視覚的に特定することができるように構成されている。
【０２１３】
一実施例は、オブジェクトのオブジェクト−視線データベースを備え、当該オブジェクトは、オブジェクト−視線データベースと相乗的な、グラフィックサポートされた眼球信号言語との眼球方式対話モデルによって、特定されたユーザによって検討可能、アクセス可能および制御可能な個々の虹彩認証された視線データまたは集合視線データにタグ付けされるか、索引付けされるか、またはそうでなければ関連付けられる。
【０２１４】
このようなシステムは、多くのコンテキストにおいて高価値を提供する。このシステムは、人間の考えおよび行動を、オブジェクトに関連付けられる視線パターンに関連付けるまたは推測して、ヒューマン・マシンインターフェイスの新たな生成を可能にする機会を提供する。
【０２１５】
ユーザによる静止画像内でのオブジェクトの調査を特定するための識別可能な眼球運動挙動の拡張機能は、現実世界またはビデオ画像内での動いているオブジェクトの追跡である。この場合、時間に応じて特定のオブジェクトの位置が分かるようになることは、オブジェクトがユーザによって積極的に閲覧されていることのさらなる確証を提供することができる。
【０２１６】
オブジェクト−視線データは、人によって閲覧される特定のオブジェクトまたは関連のオブジェクトのクラスのログが記録された視線データを有する個人について取込まれてもよい。また、オブジェクト−視線データは、同一のオブジェクト、同様のオブジェクトのインスタンスおよび／またはオブジェクトのクラスを観察するユーザについて集約されてもよい。
【０２１７】
このようなオブジェクト−視線データは、拡張現実またはバーチャルリアリティで使用される対話モデルによって可能とされる視線ベースのユーザインターフェイス内で使用され得る。また、このようなユーザインターフェイスは、多様であり、頭部の動き、手の動き、音声、および他の物理的または測定可能な脳によって生成される信号を組み入れることができる。
【０２１８】
眼球運動によってユーザの意図を動作に変換するこのような対話モデルは、オブジェクト−視線データベースに記憶された視線パターンのシグネチャによって可能とされる、または強化されることができる。これらのオブジェクト−視線シグネチャは、ユーザによって観察される特定のオブジェクトについて取込まれて分析され得る。オブジェクト−視線シグネチャは、特定のオブジェクトの最初の観察、後続の観察および／またはコンテキストデータによって分類可能である。また、オブジェクト−視線データは、同様のオブジェクトまたはオブジェクトのクラスについて取込まれて使用されてもよい。オブジェクトという用語は、任意の特定可能な画像、すなわち人、場所、もの、または任意の特定可能な一組の反射光線を指す。
【０２１９】
オブジェクト−視線シグネチャデータは、視覚的刺激を提供するシステム間で生じるダイアログを通知し、当該視覚的刺激は、エンターテイメント、ゲーム、情報、制御、行動変化、心理学的または生理学的治療、学習、創造力の向上、スポーツパフォーマンスの向上、論戦、通信などの分野において「拡張現実」画像としてユーザの物理的環境の視野上に重ねて表示される。
【０２２０】
拡張現実ディスプレイにグラフィック情報を表示する際、対話モデルは、どのような視覚的拡張を表示すべきか、それをいつ表示すべきか、およびユーザの視野内のどこにそれを表示すべきかを判断し得る。オブジェクトについてのユーザの上記のオブジェクト−視線シグネチャの知識は、拡張エンジンが望ましい視線パターンを実現するようにグラフィックを配置すること、または、拡張エンジンが対話モデルにおける眼球信号言語のコンポーネントとして望ましくない視線パターンを回避することを可能にする。
【０２２１】
拡張現実またはバーチャルリアリティ眼球方式対話モデルでは、特定の結果を実現するためにユーザが実行し得る意識的な動作、明確な動作、固視動作および追跡動作がある。例えば、ユーザは、オブジェクトを見て、次いでオブジェクトを起動するために起動要素を見てもよく、または、ユーザは、所定のパターンで動く動いているオブジェクトを追従して動作を開始させてもよい。システムは、ユーザの視野内にグラフィックを配置して、予測可能な視線パターンに基づいてユーザの意図を判断する。この実施例では、固視および追跡によって見分けることができ、かつ、一組のオブジェクトについての固視および追跡のユーザの自然な視線パターンとは異なる位置に静的および動的な起動グラフィックを配置するために、然るべきオブジェクト−視線シグネチャの知識が使用される。
【０２２２】
他のステレオタイプ的眼球運動パターンの生成および認識
スポーツでは、熟練したアスリートのオブジェクト−視線シグネチャは、身体活動の重要な瞬間に伴って生じる。例えば、テニスではサーブの前および最中において、バスケットボールではシュートの前および最中において、サッカーではパスの前および最中において、ゴルフではスイングの前および最中において、ならびに他のスポーツにおいて、熟練者に共通の要素を表示するためにこれらのオブジェクト−視線シグネチャは観察された。拡張現実（「ＡＲ」）環境では、グラフィックは、重要なターゲットオブジェクト、すなわちテニスボール、バスケットボールゴールリング、受取り手、ゴルフボールなどに対する適切な位置に配置され、熟練者の視線をまねるようにユーザの視線を誘導し得る。逆に、グラフィックは、ユーザの視線を他の位置からそらすように表示されてもよい。経時的にユーザのオブジェクト−視線シグネチャをモニタリングすることにより、システムがグラフィカルな対話を分析して発展させることが可能になり得る。適切な刺激は、さまざまな活動において初心者のスキルの向上を加速させることができる。
【０２２３】
ゲーム環境では、ゲームは、一般的には閲覧されない位置、頻繁に閲覧される位置、または予測可能なシーケンスで閲覧される位置のオブジェクト内の位置において「目立たないように目に見える」グラフィック要素を隠すように設計され得る。他のオブジェクトの導入は、特に注目を引き付けるように設計され得る。このようなグラフィックが閲覧されるとき、閲覧されないとき、またはシーケンスで閲覧されるときに、対話モデルおよびゲームによって動作が動作が行われ得る。既定の注視行動に基づいて、ポイントが付与されたり、ゲームプレーが変更されたりし得る。
【０２２４】
可動性が限られているもしくはない人、および／または、「固定されている」人を含む眼科もしくは神経疾患を患う人のニーズに対処することは、特別なニーズおよびパターン分析セットをもたらす。眼球信号言語および原理は、これらの特別な場合を満たすように適合されることができる。例えば、前庭動眼反射への依拠は除外されてもよい。他の形態の神経疾患は、左の眼球運動と右の眼球運動との間の同期を減少させる可能性がある。これらの場合には、輻輳開散は、通信コンポーネントとして除外され得る。複数の神経疾患は、動きに多重トレモアまたは振動を生じさせる。これらの動きは、デジタル的にフィルタリングされ得る。固定されているかもしれない人を含む高レベル脊髄切断者では、垂直方向の眼球運動への依存が大きくなる傾向がある。このような人に対応するために眼球信号アプローチの自己適応性が使用され得る。
【０２２５】
他の状況も眼球信号言語アプローチにおいて対処されてもよい。例えば、非常に若い者には、単純化された非テキストメニューが表示されてもよい。特に知覚（特に輝度または深さの変化への反応を含む）を伴う眼球信号ステップのタイミングは、高齢者に合わせられてもよい。色覚異常の可能性がある人に対応するために、選択を区別するための色の使用は、回避または除外され得る。
【０２２６】
認知的負荷の管理
オブジェクト−視線データベースに取込まれるコンテキスト依存視線パターンＩＤは、認知的負荷のデバイス管理を通知するために使用され得る。ＡＲディスプレイまたはバーチャルリアリティ（「ＶＲ」）環境において情報の表示を調整することは、認知的負荷管理の重要なコンポーネントである。例えば、時には、情報または情報にアクセスするためのオプションを物理的なまたは仮想のオブジェクト上に直接表示することが望ましい場合がある。またある時には、認知的負荷を管理するために、隠されたメニュー、または所定の動作セット（眼球信号、手ジェスチャ、頭部の動き、意図的または暗黙の脳波活動）後にユーザに公開され得る他のアフォーダンス、またはシステム／ユーザの刺激反応の交換を伴うシステムとのダイアログへの明示的なアクセスを提供することが望ましい場合がある。
【０２２７】
例えば、個人が緊急救助を行うことを考えてみる。この個人の意図は、情報を収集して行動計画を決定し、その後当該行動計画を制定することにもっぱら焦点が合わせられる。収集局面は、コンテキスト的に関連性がある特定の手順にアクセスおよび参照し、その結果、このような視覚的に表示された情報に焦点を合わせることを含み得る。
【０２２８】
当該システムは、炎上して逆さまになった自動車に閉じ込められた人について、ユーザが犠牲者を引っ張り出すのに数分しかないと判断し得て、状況（例えば、ガソリンタンクの位置、火炎温度）についての特定の情報が画面のある領域にポップアップとしてテキストで表示され得る。救助隊員の眼が、当該状況に精通していないことを示唆するパターンを証明すると、いくつかの画像を遮ることによって、または重要な領域のみを強調することによって、情報の表示は注意散漫を排除することができる。救助隊員が当該状況に熟練しているように思われると、情報の表示はより高密度および高速になり、救助隊員による知識および経験に基づいてより迅速な行動をサポートすることができる。
【０２２９】
熟練者／初心者コンテキスト情報および動作のやりとりのこのような例は、第一応答者、すなわち警察官、消防士、救急医療隊員、ＥＭＩ（すなわち救命士）から、インテリジェンスコミュニティのメンバー、軍隊までの幅広い範囲の状況および役割、および、外科医、アスリート（上記）、演者などの幅広い範囲の専門家にも適用される。
【０２３０】
ＡＲのシナリオで情報を表示するとき、当該情報は、さまざまなグラフィックの形態をとり得る。情報は、重ねて表示されたテキスト、記号、オブジェクトであってもよく、または、物理的なオブジェクトの表示の変化の形態であってもよく、当該変化は、グロー、オーラ、色もしくはテクスチャの変化、サイズの変化、あるオブジェクトと別のオブジェクトとの置換、または、上記のもののいずれかもしくはそれらの組み合わせの移動もしくは動的変化もしくは遷移などである。
【０２３１】
このような情報は、上記の行動のうちのいずれかをサポートする目的で、または単にデバイスユーザに通知する目的で提供される。このような情報の表示は、その使用目的を向上させるために然るべきオブジェクト−視線シグネチャと連係されてもよい。
【０２３２】
視覚的に表示された情報との対話をサポートするアフォーダンスの選択は、適切なユーザの意図を誘導および／または実現することに不可欠である。例えば、ある状況ではサッケード識別可能なアフォーダンスを使用することが最善であり、他の状況ではギャップ効果アフォーダンスを使用することが最善であり、さらに他の状況では追跡トラッキングアフォーダンスを使用することが最善であろう。いくつかのアプリケーションでは、動作に適切なオブジェクト上および／または付近にｉＵｉユーザインターフェイス眼球信号を配置することが重要であろう。例えば、適切なアフォーダンスを有する眼球信号は、自動的に生成され得て、オブジェクト上または隣接して配置されたダイナミックアフォーダンスを有するサッケードの派生シーケンス、オブジェクト−視線データベース内のデータが識別可能なサッケードパターンによる一般的な観察を示すＳ［ｄｉａａ］（動的な故意でない起動の回避を備える信号）、またはユーザの自然なサッケードシグネチャによって複製されることのないサッケードの特定のシーケンスを刺激する。したがって、Ｓ［ｄｉａａ］は、システムによって動的に生成および配置されることができる。
【０２３３】
他の感覚データと結び付けられたオブジェクト−視線のより複雑なシグネチャは、システムとユーザとの間の非常に広範なダイアログを導き出して、意図を実現し、認知的負荷を管理し、感情的に満足する経験を実現し、ヒューマン・マシン効率を向上させ、人間の心をＡＩエンティティと統合するなどのために使用され得る。インテリジェントで動的なダイアログの向上が生じ得る他のカテゴリは、エンターテイメント、ゲーム、情報、行動変化、心理学的または生理学的治療、学習、創造力の向上、スポーツパフォーマンスの向上、論戦、通信の向上などを含む。
【０２３４】
ユーザの心理の識別
さらなる実施例において、眼球運動および眼のさまざまな構成要素のジオメトリの変化に基づいて、さまざまな感情を識別することができる。例えば、認知的負荷および恐怖などの要因は、容易に検出可能な瞳孔拡張を引き起こし得る。デバイス着用者によって閲覧されているオブジェクトの知識と結び付けられると、意図をさらに識別することが可能である。例えば、クモまたはクモの絵を見ることが瞳孔拡張を生じさせる場合、デバイス着用者はクモを怖がっている（すなわちクモ恐怖症である）可能性があると結論付けることができる。一般に、人はいくつかの異なる恐怖症を有し得る。デバイス着用者によるさまざまな恐怖症を考慮することによって、例えばコンテンツを（例えば特に広告主によって）カスタマイズして、怖がる反応の誘発を回避することが可能である。
【０２３５】
同様に、瞳孔拡張が数式またはペットなどのオブジェクトの表示および閲覧によるものであれば、当該式に関連付けられる数学または閲覧された動物との関係に関心があると識別することができる。この場合、顕著性要因が当該式または動物に割当てられ得る。このような要因は、例えば特定の式もしくは動物または密接に関連する項目を検索することによってサーチを向上させるために使用され得る。
【０２３６】
瞳孔拡張が恐怖を生じさせるオブジェクトの閲覧から起こり得ることも周知である。したがって、このような曖昧さを解決するために、心拍数または特定のパターンの眼球運動（例えば以下で説明する抗サッケード運動）などの他の要因が含まれ得る。デバイスユーザの全身の状態および状況を分類するための多元的アプローチについて、以下でより詳細に説明する。
【０２３７】
逆に、さらなる例示的な実施例として、抗サッケード眼球運動は、特定のオブジェクトまたはオブジェクトのクラスからデバイス着用者の眼をそらすことに関連付けられる動きとして検出され得る。このような抗サッケード眼球運動および抗サッケード運動の対象である実在または仮想のオブジェクトの特定から、デバイスは、デバイス着用者によって回避される特定のオブジェクトおよび／またはオブジェクトのクラスを「学習する」ことができる。恐怖症と同様に、特定のデバイス着用者による抗サッケードに関連付けられるオブジェクトの表示は、希望するなら回避されてもよい。
【０２３８】
ユーザの心理を理解してｉＵｉ  ＧＵＩの挙動をサポートするためにオブジェクト−視線測定から引き出される他の解釈は、「目的のある」視線移動と「白昼夢」視線移動および他のログ記録された感覚またはコンテキストデータとを区別することを含む。
【０２３９】
例えば広告では、視線および閲覧されるオブジェクトのデータは、朝自動車で通勤しているときに牛乳を宣伝する広告板を注視する人について収集されてもよい。視線データはさらに、ユーザの行動（車中での話合い、通勤のための運転であるのか娯楽のための運転であるのか、朝食を食べたか否か、および牛乳をかけたシリアルを食べたか否か）および他の感覚データにより、時刻刻印され、位置刻印され、コンテキスト刻印されてもよい。視線−オブジェクトデータベースは、長期間にわたる所与の個人についての同様の詳細な視線データ、コンテキストデータ、感覚データなどとともに、観察される全てのオブジェクトで構成され得る。このようなログ記録された視線データの使用は、ユーザが関与し得る牛乳または特定のブランドに関連する情報をその後表示して、購買などの動作を刺激することに寄与することができる。
【０２４０】
光景のサーチに関連付けられる眼球運動のパターンは、当該光景の複雑さに強く依存する。「知覚期間」（すなわち有効な視覚領域）は、読みまたは光景の知覚と比較してサーチ眼球運動中に拡張される。サッケードは一般に短く、固視は、光景の特定の領域におけるより多くの不要反射像または密度により長くなる。また、言葉によって説明されているオブジェクトまたは考えられているオブジェクトを見る強い傾向がある。したがって、サーチ眼球運動（すなわち長いサッケードおよび短い固視）と対象のオブジェクトに関連付けられる眼球運動（すなわち長い固視およびクラスタ化されたサッケード）とを区別することが可能である。ユーザの視線方向と現実世界またはビデオ画像内の動いているオブジェクトの経路との間の高い相関関係は、特定の動いているオブジェクトの方へのユーザの注目を示している。
【０２４１】
さらなる実施例として、推論プロセスを向上させるために、機械学習または人工知能（artificial intelligence：ＡＩ）スキームにおいて、個人にとって魅力的または嫌悪的なオブジェクトおよびオブジェクトのクラスが集合的に使用され得る。例えば、データ検索を構造化するために、関心がある話題またはさらなる認知を強制する話題の知識が使用されてもよく、サーチエンジンは、高度な思考に役立つことになる。このシナリオでは、デバイス着用者は、サーチおよび情報表示の仕組みに知的リソースを費やすことのないリアルタイムの認知プロセスに集中することができる。好みは、過去の対話に基づいてデバイスに知られており、および／または、デバイスユーザによって選択および変更されるであろう。
【０２４２】
同様の方向性に沿って、眼球運動によって識別されるものを含む個人の関心および嫌悪は、アバターの行動に反映され得る。アバターは、個人の特定された特性のうちの１つ以上（全てを含む）を反映するように構成され得る。このような行動特性は、ゲーム、ロールプレイング、行動療法、個人の反応の予測などに使用され得る。
【０２４３】
上記のように、さまざまな感覚データは、視線およびオブジェクトデータベース内に維持され得て、ユーザの意図の識別にも有用であり得る。例えば、エックマンのＦＡＣＳによって解釈されるユーザの顔、顔の領域、皮膚の動きの領域を観察するカメラデータが、ユーザの感情を識別するために使用されてもよい。このようなカメラは、任意の形態のＨＭＤまたはディスプレイを持たないウェアラブルヘッドマウントデバイス内に配備され得る。ユーザの感情状態が識別され得ると、実在のリモートキャラクタのための仮想のキャラクタもしくはアバター、またはハイブリッドＡＩ／人間キャラクタは、このような感情的な通信に応答し得る。一実施例は、顔および／または眼が着用者のモニタリングされた感情状態および遷移を模倣または伝達するアバターの使用によるものであり得る。
【０２４４】
さらなる実施例として、意図と眼球運動および他の利用可能な入力とを識別するために、さまざまな分類アプローチが使用され得て、当該他の利用可能な入力は、例えば時刻、頭部の動き、ならびに視野内の実在および仮想の項目を含む。このようなユーザの意図の分類の主な問題点は、眼に関連付けられる動きが多くの異なる目的を有し得ることである。日常活動を行っている間に環境を見渡してより詳細に観察する上で眼が不可欠であるだけでなく、運動は、驚愕反応、いわゆる白昼夢、ジェスチャ、バランス、認知的負荷などにも関連付けられ得る。眼球運動は、ニュースを受取ったことに応答した眼球上転などの、環境の閲覧とはほとんど関係がない行動にさえ関連付けられ得る。
【０２４５】
眼球信号表示技術
さまざまな実施例において、眼球信号言語およびコマンドセットは、眼の付近にあるおよび眼から離れたところにある複数の異なるディスプレイデバイスおよび／または画像投影技術を用いて実行され得る。ヘッドウェアに装着されたディスプレイデバイスは、ＨＭＤ、ＡＲディスプレイ、ＶＲディスプレイなどを含み得る。ディスプレイデバイスは、着用者の視野の一部をカバーしてもよく、視野全体をカバーしてもよく、透光性であってもよく、または不透明であってもよい。ほとんどの場合眼から０．１〜０．５メートルの範囲内で使用されるディスプレイデバイスは、スマートフォン、ミニタブレット、拡大電話、ミニラップトップ、壁掛け式ディスプレイ（例えばサーモスタット）、クレジットカード読取機などを含む。ユーザの眼からおよそ０．５〜数メートルの距離のところで使用されるディスプレイデバイスは、コンピュータディスプレイモニタ、タブレット、ラップトップ、コンバーチブル、テレビ、キャッシュレジスタディスプレイなどを含む。スタジアム内の特大スクリーンまたは広告板などの大判ディスプレイデバイス（しばしば複数のディスプレイで構成される）との眼球信号を用いた対話さえある場合がある。
【０２４６】
当該システムは、ユーザによって閲覧可能なディスプレイデバイスを備え得る。ディスプレイデバイスは、ユーザの視覚がＶＲ眼鏡に見られるディスプレイなどのデバイス着用者の環境の全てまたは任意の部分を閲覧することを妨げ得る。代替的に、ディスプレイデバイスは、画面または投影された表示の全てまたは一部に透光性または半透明モードで情報を表示することによってデバイス着用者がユーザの環境の全てまたは一部を閲覧することを可能にし得る。このようなスキームは、一般に、ウェアラブルヘッドアップディスプレイデバイスおよびＡＲデバイス内で使用される。また、ディスプレイデバイスは、デバイス着用者から離れているが閲覧可能な位置に位置してもよい。ディスプレイは、１つ以上のディスプレイ画面、１つ以上の投影装置、標識などを含み得る。
【０２４７】
いくつかのディスプレイデバイスは、情報を表示するために限られた分解能（例えば標識）または面積（例えばスマートグラス）を有し得る。同様の考慮すべき事項は、ディスプレイモニタが小さい場合、および／または、ディスプレイモニタがユーザ／観察者から十分に離れて位置している場合に影響を及ぼす。
【０２４８】
眼球信号の画面レイアウト
低品質の画面レイアウト、一貫性のない反応、眼球運動の生理学を考慮に入れないこと、および長時間の遅延は、ユーザが眼球信号言語内のコンテキストを繰返し失うことを引き起こす可能性がある。視線追跡分解能、さまざまな眼球運動の遅延およびピーク速度、さまざまな閲覧領域（中心窩、傍中心窩および周辺）内で眼を「引き付ける」要素、インタラクタブルの形状および配置の一貫性などの要因、ならびに広範囲にわたる他の要因が、眼球信号と効果的に通信する能力に影響を及ぼす。
【０２４９】
例として、中心窩視野（約２°まで）および周中心窩視野に対して傍中心窩領域（視軸から約１０°まで）に位置する場合、「リビール」がコンテキスト維持をサポートする。±０．５°の視線精度で、または６×３（例えば図６を参照）もしくは５×３（例えば図７を参照）の型に対する一般的制約の範囲内で、およそ１６°の範囲をカバーする表示領域内の選択可能な領域、すなわちリビールは、例えば傍中心窩領域内のオブジェクト付近に配置されて、より視覚的なコンテキストを構築および維持することができる。
【０２５０】
本システムおよび方法のさらなる戦略は、インタラクタブルの戦略的配置およびグループ分けコンテキストである。例示的な実施例において、意図を伝えるためのいくつかのプロセスの間は、熟練したユーザは、オブジェクトを「知覚する」時間でさえ必要としない。例えば、（いつでも）メインメニューを示すホーム画面に戻るために、ユーザは、右上の特別なメインリビールインタラクタブル（図６〜図１０を参照）に対して記憶誘導性サッケードを実行し、次いですぐ下の公開された「ホーム」リビールに対して記憶誘導性サッケードをすぐに実行してもよい。これは、ホーム画面のメインメニューに戻るプロセスを完了させる。メインリビールインタラクタブルを実際に知覚する必要はなく、実際、最初のサッケードがそのターゲットに到達するとすぐに、または眼がインタラクタブルに到達する前に、インタラクタブルは消失し得て、後続のサッケードのために眼を「解放する」（すなわちいわゆるギャップ効果）。したがって、メインリビールインタラクタブルは、全てではないがほとんどのときに同一の場所に位置することになり、記憶誘導性サッケードの後に、知覚なしに第２のサッケードがすぐに実行される。
【０２５１】
いくつかの実施例におけるいくつかの状況では、ある期間にわたってターゲットの位置に画像を残しておくことが望ましい場合がある。この時間は、１）わずか数ミリ秒〜数十ミリ秒後の「フラッシュのような」除去を含む、ターゲットの意識があるが完全に知覚されているわけではない（すなわち、一般におよそ２００ミリ秒未満）というようなもの、２）ターゲット画像の知覚はあるが知覚に必要とされる以上に持続または「動き回る」ことがないというようなもの、３）眼が当該位置から離れ始めるまでターゲットの明らかな知覚があるというようなもの、または４）動作または何らかの他のオペレーションが実行されるまでターゲットが持続するというようなものであってもよい。
【０２５２】
対照的に、円滑追跡眼球運動のターゲットであるインタラクタブルは、動作が開始されて、その後生理学的円滑追跡のための最大値（３０°／秒）をはるかに下回る速度に維持される前に、最初に知覚されなければならない。知覚の領域内に最初に出現する追跡オブジェクトは、ターゲットインタラクタブルの構造（図１３を参照）の十分に近くに（例えば、十分１°〜３°の中心窩視界領域の範囲内に）、またはさらにはターゲットインタラクタブルの構造内に配置されると、サッケード運動の邪魔をすることを回避できる。（不要な時間を占める）サッケードは、例えば知覚の前に追跡オブジェクトが選択されたインタラクタブルからある距離だけ（例えば１°〜３°の中心窩視界領域外に）離れた場合に生じるように強制され得る。したがって、最初の表示のタイミング、運動が開始する前のあらゆる遅延、および運動の速度は全て、円滑追跡メカニズムを用いた眼球信号制御に不可欠である。タイミングは、予期される眼球運動の生理学を考慮に入れなければならず、経験の取得を含む各デバイスユーザに合わせて調整可能な自己適応型コンポーネントを最適に含む。
【０２５３】
また、追跡プロセスは、例えばウェイポイント停止および分岐（すなわち二方向分割）により非線形の態様で移動して選択および一般的な形状作成をさらに可能にし得るオブジェクトの追跡を含むように変更されてもよい。
【０２５４】
本システムおよび方法のさらなる戦略および実施例は、眼球運動シーケンスの終点位置に到達して動作が開始されたという「なじみのある」サムネイルをフィードバックとしてユーザに対して表示することを含む。生理学の分野において、視覚的オブジェクトの認識には２つのモードがあるということは一般に受け入れられている。１）オブジェクトの記憶（「想起」としても知られている）は、以前の経験の記憶から詳細を思い起こすことを含む。２）一方、なじみがあること（「知っていること」としても知られている）は、思い起こすを引き起こす（比較的ゆっくりとした）長期記憶のサーチを実行することなく、オブジェクトが以前に経験されたという感覚を生じさせる。最近閲覧されたオブジェクトまたは表示領域を長期記憶から思い起こす必要がないことにより、認知的負荷が低減され、眼による対話を用いた意図の伝達を迅速化することができる。
【０２５５】
これらの原理を用いて、眼球信号言語内にステップを登録することの「なじみのある」確認は、たった今閲覧された光景のサムネイルを表示するというものである。例えば、サッケード立ち上がり箇所の領域（例えば、インタラクタブル、画像の切取りセグメント、テキストの小さなブロック）は、動作（または選択のコンポーネント）が実行されていることを確認するためにサッケード着地箇所に複製されてもよい。このなじみのある画像の移転は、選択を動作と視覚的に「リンクさせる」という生理学的効果も有し、眼球信号言語をより直感的なものにする。
【０２５６】
本システムおよび方法の別の戦略は、傍中心窩視野および周辺視野におけるオブジェクトの人間の知覚の特異な特性を考慮に入れるというものである。オブジェクト内の突然の変化（例えば、出現、サイズ、輝度、振動を含む動き）は、注目を引き付け、（たとえ知覚点まで実際に閲覧されていなくても）眼球運動に対して視覚的参照を提供する。例えば、リビールプロセス中の遠方の（すなわち必ずしも中心窩視界内でない）選択インタラクタブルは、サッケード軌道のためのターゲット化可能な位置を提供する。
【０２５７】
この概念をさらに考慮して、選択インタラクタブルおよび追跡インタラクタブルの迅速な出現（および／または色、透明度、サイズまたは動きの変化）は、傍中心窩視野または周辺視野に出現するターゲットであり得る。傍中心窩および／または周辺インタラクタブルは、（単にリビールだけでなく）一般的なメニュー選択プロセスの一部であり得る。周辺視野を十分に活用するために、周辺オブジェクトのための余地を残して、画面の中央領域から選択シーケンスを開始することが有利である。追跡インタラクタブルの場合、追跡オブジェクトグラフィック要素（すなわちコンポーネント）は、ターゲットとして知覚される前でさえ、適切な時間および速度で既に動いている（注目を引き付けている）であろう。これは、眼球信号言語要素を実行するために記憶誘導性眼球運動が実行される場合に特に効果的である。
【０２５８】
選択／起動のための画面レイアウトおよびシーケンスのさらなる特徴は、故意でない起動を回避するように設計され得る。例えば、起動インタラクタブルは、一般に画面の境界付近に位置していてもよく、そこでは故意でない一瞥を回避することができる。故意でない起動が生じると、容易に利用できるシーケンスが「バックアウト」に利用できるようになる。具体的には、起動を知らせるために生理学的眼球運動が必要とされる。起動のために選択され得るオブジェクトは、コンテキスト依存モードで表示され、必要な場合にのみ利用可能になる／表示される。
【０２５９】
いくつかの状況では、描画、選択、包囲などのための入力のより自由形式のモードのためのグラフィック補助の役割を果たすことができる格子、ドットのアレイ、周期波形、または他の形態の重畳された参照点を設けることが有用である。任意の形状を入力する機能は、このフレームワークにおける連結眼球サッケードを用いたこのような視覚的フレームワークによって容易にされる。
【０２６０】
追跡プロセスは、環境内で静止または動いている実在のオブジェクトにも適用可能である。ユーザによって選択されたオブジェクトのＩＤ，サイズおよび形状を識別するために、オブジェクト認識ソフトウェアが利用可能である。オブジェクトが動いている場合、オブジェクトのサイズおよび形状は、連続的なビデオフレームを比較してどの領域が背景に対して動いているかを判断することによって、独立して構築され得る。
【０２６１】
また、両眼眼球信号システムでは、選択されたオブジェクトまでの実際の距離を推定するために輻輳測定が使用可能である。これは、例えばオブジェクトの実際のサイズ（すなわち、単に画像内のサイズまたは他のオブジェクトと比較した相対的サイズだけでなく）を計算するために使用され得る。これらのデータは、例えばユーザの物理的に最も近くにあるオブジェクトについての情報（例えばウェブサーチを含む）または測定されたサイズに基づいていなければならない鳥の種類などの（大対小の）オブジェクトのＩＤを表示する際に有用であろう。
【０２６２】
インタラクタブルおよび／または（短い）キーワードの包括的使用は、眼球信号中の視線精度および移動に対する制約に対抗するための別の戦略である。インタラクタブルは、確実な眼球ベースの選択のための水平および垂直分解能と一致するようにサイズ決めされる。インタラクタブルの数（より正確には、インタラクタブルによって占められる空間）は、水平軸でより大きくなり得る。なぜなら、眼は垂直方向の眼球運動と比較してこの方向にさらに移動し得るからである。サイドバーにおいておよそ半角の視線選択可能領域を使用することにより、コンパクト性の概念がさらに広がり、水平移動がより大きくなる。眼は、画面のエッジ付近に位置決めされたオブジェクトまでサッケードし、画面の表示領域を超えて動き回ることができる。インタラクタブル選択プロセスに大きな影響を及ぼすことなく画面のエッジを超えてこれらの領域に「あふれ出る」ように、視線追跡の不正確さも考慮に入れられ得る。エッジにおけるスペースおよび画面を超えたところのスペースを使用することにより、空間精度の限界が押し広げられる。
【０２６３】
一般に画面からよそ見することと結び付けられるターゲット化可能なインタラクタブルを含む言語コンポーネントを利用することもできる。当該言語は、符号、記号、アイコン、ヘッドセットのエッジまたは他のオブジェクトなどの既知のオフスクリーンターゲットも含み得る。また、例えば１つ以上の選択されたオブジェクトを照明するまたは１つ以上の選択されたオブジェクトの輝度を上昇させることができる常設のまたは動的なターゲット照明オフスクリーンを追加する機会もある。
【０２６４】
さらなる実施例において、ｉＵｉ  ＧＵＩは、サッケード、円滑追跡および輻輳フィルタによって特定されるターゲットオブジェクトまたは位置に対する機能および割当てられた意味を考慮に入れる。典型的な眼球運動シーケンスに基づいて、インタラクタブルは、眼球運動を最小限にし（すなわち疲労を最小限にし）、性能を最大化し（すなわち選択および起動のタイミング）、故意でない起動を最小限にし、および／または、デバイス使用の学習曲線を促進するように戦略的に配置されることができる。
【０２６５】
例えば、図６および図７に示されているメニュー選択スキームでは、メインリビールインタラクタブルは、利用可能なメニュー項目の数およびタイプにかかわらず、常に右上の隅に位置決めされる。一実施例において、「ゴー」（すなわち起動）インタラクタブルは、緑色（例えば交通信号）の「ゴー」信号として表示されてもよく、サイドバーの中央のその垂直位置は、画面の中央領域における眼によって選択可能な領域からの平均または総「ルック」移動距離を最小限にするように設計される。
【０２６６】
表示レイアウト全体の一貫性およびコンパクト性は、性能および使いやすさに影響を及ぼすさらなる要因である。中央閲覧領域（図６〜図７に図示）は、一般に、オブジェクトを閲覧および／または選択することができる（「デスクトップ」と同様の）作業領域として使用される。左および右のサイドバーにおけるインタラクタブルは、一般に中央デスクトップから立ち上げられるサッケードのターゲット位置である。全ての構成がこのスキーム全体に厳密に一致するわけではないが、一貫性は、新たなアプリケーションが導入されるときに学習曲線を大きく向上させ、より高速の記憶誘導性の使用を促進する。画面レイアウトの一貫性は、使いやすさを促進するために使用可能な哲学、ガイドラインおよび規格の重要なコンポーネントである。
【０２６７】
さらなる実施例において、画面分解能も視線追跡精度も考慮に入れた、ディスプレイの方へのユーザの視野（角度単位のＦＯＶ）のサイズおよび形状に基づくディスプレイ内のインタラクタブルの動的なスケーリングおよび／またはシェーピングが存在し得る。また、ターゲットオブジェクト、選択可能な「ツール」、テキストおよび他の形態の表示も、動的にスケーリングおよび／またはシェーピングされてもよい。動的な表示スケーリング（すなわち画面および画面挙動を設計するとき）の機能は、「整形」領域内に維持される人工物（piece of art）（すなわちインタラクタブルまたは他のオブジェクト）を生成して、ユーザが注視「選択ボックス」内の大部分は均一な背景領域を注視せざるを得ないほどにサイズが小さ過ぎることはなく、ユーザの視線が整形領域の外側エッジ付近に着地するように動機付けて、その結果、自然に行われる脳の視覚順応と競合するほどにサイズが大き過ぎることはないようにするというものである。ユーザが選択ボックス領域に及ぶインタラクタブルを見ると、視線測定システムにおける小さな不正確さまたはユーザの視野のドリフト（トレモアまたは他の動き）により、隣接するボックスが意図せずに選択されることになる可能性がある。
【０２６８】
さらなる実施例において、インタラクタブル（または他のターゲット）が任意の形態のディスプレイ（例えば、リモート、ＶＲ、ＡＲ）に動的に構築および／または配置されると、項目のサイズおよび位置もユーザの中心窩領域に対して考慮に入れられるべきである。ユーザの視線位置付近に、またはユーザが注視しているオブジェクトに隣接してターゲットを配置し、ユーザが新たなターゲットをすぐに閲覧および／または対話できるようにすることが望ましいであろう。この場合、例えばターゲットが非常に小さくて遠方にあれば、ユーザの「意識」ゾーン内ではないであろう。逆に、ターゲットの自動的なサイズ決め（例えば、円周、高さ×幅）および／または配置（例えば、オブジェクトの中心または他の参照点）は、ユーザの高密度中心窩領域またはさらには傍中心窩領域内であるように設計され得る。動的に制御されたオブジェクトは、ユーザが後続のターゲットをより迅速に見ておよび／または対話することを可能にすることができる。
【０２６９】
さらなる実施例において、インタラクタブルが小さ過ぎる（すなわち、眼を引き付けるのに十分な詳細または「魅力」を提供しない、および／または、コントラストを持たない背景の大きな領域を残す）場合もあれば、大き過ぎる（すなわち、眼球選択領域の境界に及ぶ）場合もあるという概念は、インタラクタブルまたは他の仮想オブジェクト内の詳細の表示にも適用可能である。小さ過ぎる詳細は、デバイスユーザによって知覚されない。実際、特定のデバイス着用者の視力は、インタラクタブルまたは仮想オブジェクトを構成し得る詳細要素の設計を判断する際に具体的に考慮に入れられることができる。
【０２７０】
視覚の低下または視力障害への適応は、詳細の低減（例えば、より少ない数の高コントラストエッジで構成されるオブジェクトの表示）を含み得る。このような適応は、細い線または詳細の周囲の測定された眼球運動（または場合によっては眼球運動および知覚の欠如）に基づいてシステムによって自動的に実行され得る。代替的にまたはさらに、デバイスユーザは、デバイスユーザの好ましいまたは明白なレベルの視覚に基づいてオブジェクトが表示されることを指定し得る。
【０２７１】
スペクトルのもう一方の端部において、オブジェクトまたはオブジェクト内の詳細は大きくなり過ぎる場合がある。インタラクタブルが不十分な詳細を有する場合、オブジェクトは、オブジェクトの中央領域に眼球焦点を持たない可能性がある。その代わりに眼が眼球選択領域の境界付近の外側エッジを識別することによってオブジェクトを調査しなければならない場合、隣接する起動領域の故意でない選択または起動がより頻繁に行われる可能性がある。これは、たとえ選択可能な領域間に「デッドゾーン」（すなわち起動が行われないバッファまたは領域）があっても起こり得る。デッドゾーンは、ユーザフィードバックがないとき（「不快」であると知覚される場合がある）を生じさせ得るので一般に望ましくない。中心的詳細を含めることは、図６および図７では６３３，６３４，６３５で示され、図１０では１０３７，１０３８，１０３９で示されている。
【０２７２】
具体的な（単純な）例として、特定のインタラクタブルまたは領域が選択されたことを示すためにフィードバックとして使用されるボックス（例えば図６および図７における選択ボックス６３８）、円または他の形状の線の太さは、細すぎる場合もあれば、太すぎる場合もある。細すぎる線（例えばヘアライン）は、単に検出が困難であり得る。容易に検出するには細すぎる１つ以上の線分で構成されるフィードバック指標の存在を検出するためにサーチ眼球運動または眼球信号統合のための相当な時間が必要とされる場合、細すぎる線は、眼球信号言語のフローに特にダメージを与えるであろう。
【０２７３】
逆に、線（またはオブジェクト内の他の詳細）は、最適な知覚のために太すぎる場合がある。人間の視覚プロセスにおける第一段階のうちの１つが画像を「エッジ」に変換する網膜の初期層を必要とするので、太い線は、最終的には、内側エッジと外側エッジとの精神的組み合わせとして観察される（すなわち別々に知覚される）。太い線の内側エッジと外側エッジとの間のコントラストのない領域は、眼が「静止する」（すなわち焦点を合わせる）領域を提供しない。
【０２７４】
したがって、さらなる実施例において、表示されたインタラクタブルまたは他の仮想オブジェクトの詳細を構成する線分および他のコンポーネントは、知覚されるには十分に大きいが焦点領域を提供するには十分に詳細であるアイアピールのための最適な範囲の太さを有し得る。この範囲の手引きは、網膜内の人間（および他の動物）の神経節細胞にコード化された知覚の「中心周辺」モデルに由来し得る。代替的に、ユーザの視線が向けられるインタラクタブルを特定するために、当該インタラクタブルを実質的に変更しないがユーザの視線の位置を明らかに示す他のグラフィックが表示されてもよい。例えば、インタラクタブル全体を取囲むボックスではなく、ボックスの隅または他の線分のみが、ユーザの気を散らすことなく選択されたインタラクタブルを特定するために表示されてもよい。
【０２７５】
神経節細胞の中心周辺回路は、網膜内の中央閲覧領域における光に対していわゆる「オフ」または抑制反応を生じさせることができる。周辺領域は、「オン」または興奮反応を生じさせる。いくつかのコンピュータベースのエッジ検出アルゴリズムと同様に、この回路構成による最大の神経反応は、エッジにおいて生成される。（一般にガウス形状であると考えられる）このような受容野のサイズは、網膜の表面で約４マイクロメートルである。これは、角度のおよそ１分を横断するエッジ（または動き）に対応する。例えば、これは、１メートル閲覧されたときの幅が０．３ミリメートルの線に対応する。
【０２７６】
したがって、実施例において、人間の視覚が最適であったとしても、角度の約１分未満の分解能で詳細を生成することは役に立たなくなる。角度の数分の範囲内の線および詳細は、一般に十分に識別可能である。人間の網膜では網膜内の隣接する受容野が重なり合っている可能性があるので、線分の別々の側を見る分離は、（網膜神経節細胞の配線に対して）視覚的知覚により基づく。したがって、「太い線」の別々のエッジは、いくつかの受容野の範囲内で知覚され始めることができる。太い線または「リボン」の両エッジは、角度の１０分以上で識別されることができる。
【０２７７】
実際面で、角度の１分は、非常に大まかに、快適な閲覧距離で中分解能ディスプレイモニタを閲覧するときの画素の幅に対応する。明らかに、線を容易に識別する能力は、複数の要因によって影響を受け、当該要因は、ディスプレイの輝度、線（または詳細）と隣接する画素との間のコントラストの程度、実際の閲覧距離、実際に発光する画素の部分などを含む。ＡＲディスプレイの場合、ディスプレイの不透明度およびさまざまな「現実世界」背景とのコントラストが付加的な役割を果たし得る。
【０２７８】
デバイスキャリブレーション
ターゲットオブジェクトを有する特定の位置（すなわちデバイスに知られている）における高コントラストグラフィック要素は、オブジェクトまたはインタラクタブル内の特定の点にデバイスユーザの視線の焦点を合わせることに役立つ。これらのグラフィック要素および／またはインタラクタブルの全体的な既知の位置は、動的または連続的なキャリブレーションを実行するために（個別に）使用可能である。キャリブレーションは、カメラ、ディスプレイ、照明源およびレンズの既知のジオメトリの知識を含む。
【０２７９】
ディスプレイ上のオブジェクト（例えばインタラクタブル）の既知の位置は、いわゆる「再装着」（すなわち、ユーザによるデバイスの取外しおよびその後の交換）を追従するアルゴリズム、頭部でのユニットのシフトを追従するアルゴリズム、または眼球がさまざまな位置からリモートで閲覧されたときに、使用され得る。このような追跡は、デバイスがシフトしたか否かを判断することを支援し、および／または、ユニットの移動を追従する修正のためのキャリブレーションアルゴリズムに対して情報を提供することができる。
【０２８０】
キャリブレーション手順は、主に、個人の解剖学（および、それほどの重要性はないが、神経生理学）の変化およびいかにしてウェアラブルデバイスが特に鼻の上に置かれているかを考慮に入れる必要がある。解剖学ベースのキャリブレーションは、カメラ画像内の眼球構造（例えば瞳孔、角膜輪部）および閃光の位置を視線方向に変換するために使用される、眼球構造（例えば、眼球半径、角膜曲率、視軸と光軸との間のオフセット）に関連する要因を判断するために使用可能である。
【０２８１】
完全なキャリブレーションプロセスは、デバイス着用者が短時間の間に３つ以上の既知の位置を故意に閲覧するシーケンスを含み得る。カメラ画像内の参照位置および既知の位置が閲覧されると仮定して、カメラ画像参照位置を表示または現実世界閲覧位置に変換するキャリブレーション係数の最適なセットを計算することができる。次いで、補間技術を用いて、キャリブレーション位置間またはキャリブレーション位置の周囲の画像内の参照位置を変換することができる。
【０２８２】
通常オペレーション中に、ヘッドウェアは、滑り落ちたりわずかに動いたりする場合があり、キャリブレーションがさらに不正確になる。（頭部に対する）デバイスの動きおよびキャリブレーションに関連付けられる不正確さが制限される限り、デバイス着用者が通常使用中に眼球信号を形成する際に実質的に連続的なキャリブレーションを実行することが可能である。実質的に連続的なキャリブレーションでは、デバイス着用者が、眼球信号を形成するために、既知の位置にあるインタラクタブルおよび他の参照のシーケンスを見るという原理が用いられる。眼球信号形成中の参照位置の選択には空間公差があるので、キャリブレーションにより視線位置がわずかにずれる場合に眼球信号を依然として実行することができるが、キャリブレーション係数は、その後再計算され得る。なぜなら、カメラ参照位置も意図された視線位置も既知であるからである。これは、使用中に実質的に連続的なキャリブレーションを可能にする。また、これは、最初のキャリブレーションプロセス中に判断されたかもしれない点と比較して、既知のキャリブレーション点のはるかに詳細なテーブルが形成されることを可能にする。
【０２８３】
アイトラッキング中は、単純なルックアップテーブルを用いて眼および／または角膜の表面上の閃光の位置を視線位置にマッピングすることがしばしば都合がよい。当該テーブルは、眼および／または角膜輪部の測定された位置および既知の閲覧方向に基づいて、他の視線判断技術を用いて構成される。当該テーブルを使用することにより、電力を節約することができ、照明の要件を低減することができ、および／または、眼における「追跡可能な」構造が例えばまぶたまたはまつげによって見えにくくされるときに視線追跡を容易にすることができる。
【０２８４】
ルックアップテーブルの追跡精度を向上させるためにいくつかの対策を講じることができる。
【０２８５】
１．（閃光位置が、正確には以前に判断された位置にないときの）ルックアップテーブル内の点間の補間は、眼、カメラおよび光源の実際のジオメトリに基づき得る。このジオメトリに基づくマッピング機能の「形状」の知識は、例えば（物理的な機構に基づかない）単純な線形補間と比較して、優れた補間を提供する。
【０２８６】
２．テーブルは、眼に対するカメラの位置を表わす測定値（すなわちオフセット）を構築して、修正された測定値をテーブルに適用することによって、ヘッドウェアの移動にそれほど敏感でないように（いわゆる再装着に対する感度が低いように）され得る。この二段階プロセスは、単一のテーブルがカメラ位置から独立してマッピング機能を表わすことを可能にする。
【０２８７】
３．複数の閃光を用いて、複数の閃光からの測定値に基づいて最もありそうな視線位置を判断するために、「投票」手順が使用され得る。
【０２８８】
４．人間の眼球運動の速度の生理学的範囲を超えるであろう「異常値」眼球運動を排除するために、（特に高フレームレートの）履歴データが使用され得る。
【０２８９】
５．測定された視線方向（すなわち他の技術を用いる）とマッピング機能によって予測された方向との間に差が検出される場合、テーブルは徐々に更新され得る（または、例えば新たなユーザがデバイスを着用する場合には、完全に刷新され得る）。
【０２９０】
発見的問題解決法およびデータ融合方法
眼の画像化および対象の特徴の確実な特定に関連付けられる課題は、幅広いユーザ人口動態および予測不可能な環境条件にわたって動作する必要性を含む。これらの困難な状態から生じる課題のうちの多くは、眼の特徴をアルゴリズム的に検出および追跡するさまざまな方法が特定のユーザまたは特定の環境条件でよりよく機能するのに対して、他の方法が他のユーザまたは環境条件でよりよく機能するという事実を含む。
【０２９１】
例えば、アイトラッキングソフトウェア、ファームウェアおよびハードウェアは、一貫した可視照明および低周囲赤外線照明レベルを有するオフィス環境において非常によく機能するように丹念に調整されてもよい。しかし、その同一のアイトラッキングアプローチは、高周囲赤外線レベルおよび明るい照明源を有する屋外環境ではすぐに機能しなくなる可能性がある。逆に、屋外状況で優れた性能を示すように調整されたソフトウェア、ファームウェアおよびハードウェアは、暗い屋内環境ではすぐに機能しなくなる可能性がある。
【０２９２】
これらのトラッキングアプローチが特定の環境においてまたは特定のユーザ人口にわたって成功したり失敗したりする主な理由は、検出および追跡されている眼の特徴にある。一例として、瞳孔は、眼が周囲赤外線放射であふれているときには屋外で容易に目に見えるが、周囲赤外線放射が少ない屋内では目に見えない場合がある。しかし、屋外の場合、眼での明るく望ましくない反射を太陽が生成し得る一方、屋内の場合、眼での反射が、システムがそれ自体の照明源から発生させる唯一のものであり得る。
【０２９３】
したがって、屋外の場合、望ましくない反射を拒絶するが検出可能な瞳孔の存在に依拠し得るソフトウェア、ファームウェアおよびハードウェアが十分に機能することができるのに対して、屋内の場合、検出可能な瞳孔の存在に依拠せず、より低い露出レベルに対処することができるソフトウェア、ファームウェアおよびハードウェアが十分に機能することができる。
【０２９４】
アイトラッキングデバイスを大量市場での消費に受け入れられるようにするために、デバイスは、さらされる全ての状況において予測可能に機能しなければならない。配置される動作環境の特性を判断することができるソフトウェアおよびファームウェアをデバイスに備え付けることができるので、当該デバイスは、ユーザの視線方向を最上位アルゴリズムの最終結果として判断するためにどのプロセスを利用するかを調整することができる。この調整は、以下の例示的な事例を含む複数の方法で行われ得る。
【０２９５】
本開示の目的のために、最上位アルゴリズムは、個々のプロセスの集合体として規定されることができ、この場合、最上位アルゴリズムは、ユーザの視線方向を判断するのに役立つ。各々の個々のプロセスは、眼の特徴の検出、ユーザの眼に対するデバイスの動きの補償、および／またはアイトラッキングシステムによって利用されるハードウェアコンポーネントの適切な設定の判断などの、ユーザの視線方向を判断するという目標に関与するいくつかの技術のうちの１つに属し得る。
【０２９６】
１つ例示的な事例において、当該システムは、ユーザのまつげが瞳孔の十分に大きなセクションを繰返し塞いでおり、そのため、瞳孔検出アルゴリズムが瞳孔を確実に追跡できない、ということを認識し得る。その結果、瞳孔ベースのデータを検出および操作することを担当するプロセスは、誤った瞳孔サイズ、瞳孔中心または瞳孔法線ベクトルに対応する出力を生成し得て、これらは全て最上位アルゴリズムにおけるユーザの視線方向の誤った判断に寄与し得る。この事例では、調整方法は、最終的な視線判断ステップにおいて瞳孔データを廃棄してその代わりに閃光データまたは虹彩データに依拠するようにアルゴリズムに指示し得る。この方法は、調停アルゴリズムの例であり、または、関連付けられる性能劣化入力データを有する１つ以上の寄与プロセスを廃棄して、関連付けられる最も好適な入力データを有する寄与プロセスを保持することの例である。
【０２９７】
別の例示的な事例において、当該システムは、全ての構成プロセスが、望ましい最上位アルゴリズム出力を生成できるデータを供給されている、ということを認識し得る。したがって、瞳孔は、目に見えて、安定的なエッジを生成することができ、正確な数の十分に間隔のあいた角膜閃光がシステムの照明回路によって生成されることができ、角膜輪部が検出されることができ、その直径は、母集団平均の範囲内であることができ、虹彩は、十分な情報により目に見えるようになって、その姿勢を判断することができる。この場合、各々の構成プロセスは、十分な情報を最上位アルゴリズムに提供して、その他のプロセスからの寄与なしにユーザの視線方向を判断することができる。さらに、各々の構成プロセスは、その精度を、その入力データの特性を考慮に入れることによって推定させ、計算を「エラーメトリック」として表示させる。
【０２９８】
このエラーメトリックは、それが検出する眼の特徴のタイプおよび特定のアイトラッキング性能を生じさせるそれらの特徴の特性に基づいて、全てのプロセスに割当てられ得る。例えば、角膜上の閃光間の画素分離、各角膜閃光の重心の安定性、ならびに瞳孔エッジのサイズおよび形状の安定性が、瞳孔−閃光構成プロセスの理論的精度を計算するために使用されてもよい。エラーメトリックの他の例としては、角膜輪部上で検出された点の数、（アイトラッキングカメラ位置に対する）角膜輪部の「近い」側と「遠い」側との間の検出された点の分布、および瞳孔上で検出された点の数が挙げられる。
【０２９９】
十分に定義されたエラーメトリックが各構成プロセスに適用されると、各プロセスについてエラー推定を実行することにより、プロセス全体にわたって定量的比較が行われ、最終的な視線判断への寄与に関して重要性が各プロセスに割当てられる。各構成プロセスについてエラースコアを計算し、次いで構成プロセスセットについて加重平均を計算することにより、アルゴリズムへの入力のための全ての利用可能なプロセスから入力を受け付ける視線判断計算がもたらされる。この方法は、アルゴリズム融合の例である。
【０３００】
視線判断アルゴリズムにおける調整プロセス方法で利用され得る別の技術は、マルコフ確率場の適用である。この実現例では、さまざまな動作条件と眼の特徴との間の依存関係が構築され得る。これらの依存関係が構築された後、最上位視線判断アルゴリズムへの寄与プロセスの選択に対応する出力が生成される。
【０３０１】
この方法の実証可能な利点は、困難な環境条件を示す状況および設定においてアイトラッキング性能を向上させることができることである。例えば、もっぱら特定のいくつかの角膜閃光の存在に依拠する視線判断プロセスは、角膜での環境反射と望ましい閃光とを区別できなくなった場合に損なわれる。したがって、このプロセスを他のプロセスと組み合わせて、閃光に依拠する視線判断プロセスにより低い重み付けを適用し、ひいては最上位視線判断アルゴリズムへのその寄与を減少させることにより、ユーザの視線をより正確かつ安定的に計算することを確実にする。逆に、ユーザの眼が暗すぎるために瞳孔を確実に追跡できない状況を環境条件が生じさせる場合には、角膜閃光検出に依拠するところがより大きい視線判断プロセスは、最上位アルゴリズムからの出力の向上に寄与する。
【０３０２】
その結果、検出可能であり、そのため視線判断プロセスに含ませる候補であるあらゆる眼の特徴も、環境条件にさらされる。それらの環境条件が変化して、特定の眼の特徴が追跡がより困難になると、最上位視線判断アルゴリズムへのそれらの特徴の寄与を減少または排除することにより、より厳密でより正確な出力がもたらされる。
【０３０３】
予測不可能な環境要因を補償することに加えて、視線判断プロセスの調整は、ウェアラブルデバイスにおいてバッテリ電力を管理することに役立つように利用され得る。ヘッドマウントディスプレイおよびアイトラッキングサブシステムを含むデバイスにおいて、不都合に短い時間でデバイスのバッテリ容量を消耗させる可能性がある電力の不適切な管理は、問題である。したがって、これらのデバイスのバッテリ寿命を延ばすために注意深いスキームが利用され得る。これらのスキームは、所望のシステム動作を考慮に入れる調整方法を利用することによってさらに向上させることができる。
【０３０４】
ユーザの視線方向を判断するためのさまざまな方法はさまざまなレベルの計算負荷と相関付けることができる、ということが実証可能である。これらの負荷は、デバイスのバッテリ充電に対するさまざまな影響にさらに相関付けることができる。これらの差は、２つの主な要因およびさまざまな小さな要因に起因し得る。主な要因は、１）瞳孔、角膜閃光または角膜輪部などの眼の特徴を検出する計算コスト、および、２）この眼の特徴を有する視線方向を入力として計算する計算コストである。
【０３０５】
計算サイクルおよびその結果としての電力消費量に基づいて調整方法を管理する目的で、適用可能な１つの技術は、各視線判断プロセスについてコストテーブルを維持するというものである。コストテーブルは、各構成プロセスについてのさまざまな特徴的な情報を含む。この例示的なテーブルには、以下の情報が表示される。すなわち、２つの構成プロセスと、各構成プロセスについての３つの注視領域と、構成プロセスを実行するためのデバイスのプロセッサに対する計算負荷と、構成プロセスについて眼を適切に照明するために必要な電力と、眼の特徴および角膜閃光に沿った点のためのさまざまなメトリックと、ユーザの頭部に装着されたデバイスの動きを検出するプロセスの機能および／または当該デバイスの動きに対してロバストであるプロセスの機能と、対応する条件下での当該構成プロセスの理論最大精度とである。また、理論最大精度と照明電力と計算負荷とを組み合わせるメトリックが、いかにして各アプローチがデバイスの機能に重い負担をかけるかを定量的に示す態様で、各構成プロセスおよび条件セットについて計算される。
【０３０６】
【表２】
2017526078.tif 000004
【０３０７】
表２は、調整プロセスのためのルックアップユーティリティの役割を果たすはるかに大きなテーブルの小さなセクションを示す。テーブル全体は、より大きな複数の構成プロセスと、理論最大精度が計算される動作条件の多くの組み合わせとを含み得る。この例示的なテーブルは、使用セッション中にいくつかの構成プロセス、注視領域および動作条件を考慮に入れることができる場合にこのアプローチの有用性を実証するよう意図されている。このコストテーブルは、バッテリ電力の管理が最重要の検討事項である多くの特定用途事例に適用可能である。これらの事例のうちのいくつかが以下に示されている。
【０３０８】
例示的な事例において、システムのバッテリが、使い果たす寸前であるがアイトラッキングシステムを完全にオフにさせず、または逆に、必要以上に早いバッテリの消耗に寄与する場合、調整アルゴリズムは、計算コスト（したがってバッテリ電力に対する影響）が最低である視線判断方法が全ての他の視線判断方法に取って代わると判断し得る。この場合、これは、デバイスがそのバッテリを時期尚早に消耗させることなく許容可能なレベルのアイトラッキング機能を保持することを可能にし得る。
【０３０９】
別の例示的な事例において、デバイスのプロセッサは、他のセンサと組み合わせられると、ユーザが帰宅しており、現時点から推定される時間以内にデバイスを充電できるであろうと判断し得る。このような判断は、履歴的な（例えば２４時間周期の）デバイス使用に基づいてなされ得る。この場合、さらなるアイトラッキング機能は、ユーザが十分な時間以内にデバイスを充電できない場合よりも精巧な視線判断プロセスを利用することによって維持されることができる。
【０３１０】
視線判断アルゴリズムのための調整構成プロセスへのアプローチは、デバイスの構成に応じて変更されてもよい。１つの例示的な事例では、デバイスは、アイトラッキングサブシステムがユーザの一方の眼を追跡できるように構成され得る。この場合、視線判断計算は、ユーザのもう一方の眼がどこを見ているかに関係なく行われなければならない。しかし、アイトラッキングサブシステムがユーザの両方の眼を追跡できるようにデバイスが構成される例示的な事例では、調整プロセスは、ユーザの一方の眼についての考えられる視線方向の軌跡とユーザの他方の眼についての考えられる視線方向の軌跡とを比較するステップを含み得る。
【０３１１】
この場合、ユーザの第１の眼の視線判断に寄与する構成プロセスが、ユーザの第２の眼の視線判断に寄与する構成プロセスと相関付けられる必要がないことに注目することが重要である。このような場合、ユーザの第１の眼は、瞳孔−閃光視線判断に関連する信頼できる入力データを有することができるが、ユーザの第２の眼についての同一のデータは、信頼できるものではない可能性があり、その結果、第２の眼については角膜輪部法線視線判断が行われる。
【０３１２】
また、両眼アイトラッキング構成では、眼間の収斂、したがって光景への深さ（すなわち輻輳）を計算できることにも注目されるべきである。この機能により、各々の眼からの考えられる視線方向の軌跡の比較は、各々の眼の視線方向が他方と一致するソリューションセットを含み得る。したがって、このソリューションセットの要素は、光景内のさまざまな深さにおける視線方向に対応することになる。この時点で、ソリューションセットのどの要素が最も適用可能であるかを判断するためにさらなる技術が適用されてもよい。
【０３１３】
いくつかの事例において、調整プロセスは、アイトラッキングサブシステムからの現在のビデオフレームのみを入力データとして使用し得る。これは、以前のフレームの記憶を全く持たない方法と称されることができる。しかし、他の事例では、調整プロセスが、アイトラッキングサブシステムからの以前のビデオフレームからの視線判断データで構成される入力データを備えることが有利であろう。これらの事例では、アイトラッキングサブシステムからの現在のビデオフレームに合わせて構成プロセスを調整するプロセスを通知するために、両方の以前の視線判断データの知識と、デバイスのユーザインターフェイス要素の以前の状態および現在の状態とが使用され得る。
【０３１４】
いくつかの事例において、最終的にユーザの視線方向を判断するために使用され得る構成プロセスは、ユーザが注視するように事前に決定され得る選択された視野の領域に関して調整され得る。１つの例示的な事例では、選択された視野は、ユーザの実際の視野の何らかの部分によって表示されるものに対応する。この場合、事前の視線判断により、ユーザインターフェイス要素を持たない領域の方をユーザが注視している確率が高くなると、いかなるさらなる視線判断プロセスも廃止予定になり、低コストの方法にすることができる。しかし、同一の場合において、事前の視線判断により、ユーザインターフェイス要素を含む視野の領域の方をユーザが注視している確率が高くなると、さらなる視線判断プロセスが高められて、適切な量の正確さ、精度または安定性を提供することができる。
【０３１５】
別の例示的な事例において、選択された視野は、デバイスディスプレイによって表示されるものに対応する。なお、この対応関係は、デバイスのディスプレイの物理的範囲の周囲に境界領域を含み得る。この事例では、このディスプレイの視野がユーザの実際の視野の範囲内に入るか否かにかかわらず、ユーザの視線方向がこの視野の範囲内に入ると予測されると高い優先順位が付与される。しかし、ユーザの視線方向がこの視野の範囲外であると予測され得ると、調整プロセスの所望の出力に対して低い優先順位が割当てられ得る。
【０３１６】
いくつかの視線追跡システムは、ユーザの視野のサブ領域である「スイート」スポット追跡領域向けに設計される。この領域では、最大の精度および信頼性が必要とされる。結果として生じるシステム設計は、当該視野において中心から外れた１つの領域が最大精度で追跡されるように、この領域における性能、例えばカメラおよび閃光発生ＬＥＤの配置に合わせて調整されることができる。これは、一般的な閃光追跡方法および瞳孔発見方法を他の視線方向では機能しないようにする可能性がある。例示的な実施例では、「スイートスポット」において閃光／瞳孔追跡を使用し、眼とセンサおよびディスプレイとの絶対的関係を測定する。そして、眼とカメラとの角度が大きくなり、閃光または瞳孔がもはや「追跡可能」でなくなると、別の特徴ベースの追跡方法に切替えられる。
【０３１７】
いくつかのアイトラッキング方法は、いくつかの視線角度でよりよく機能する。例えば、瞳孔追跡は、カメラを直接見るときには十分に機能するが、カメラから離れてより大きな角度を見るときには機能しなくなる場合がある。真横向きに閲覧される虹彩、強膜またはさらには瞳孔などの眼の特徴の位置は、「最新の既知の」グッドロケーションの位置に対して追跡される。瞳孔追跡は、例えば角膜輪部追跡よりも正確であり得るが、角度が瞳孔追跡が機能しなくなるようなものであるか、または機能しなくなることが見込まれるようなものである場合には、角膜輪部法線追跡（または何らかの他の方法）が優れているであろう。この例示的な実施例にとって重要であるのは、視線方向、眼のタイプ、まぶたの状態、コンタクトレンズなどによっていくつかのアルゴリズムを組み合わせて、さまざまな視線角度にわたって視線のロバスト性を向上させることができることである。
【０３１８】
多くの視線測定は、角膜球体の三次元位置を測定するために、ＬＥＤを用いて、ユーザの角膜表面から反射された特定のパターンの閃光を放つことに依拠する。瞳孔位置推定を組み合わせられると、視線ベクトルは、視線を推測するように計算されることができる。閃光および瞳孔位置推定は、取込まれた画像に存在することが保証される特定のジオメトリに左右される。したがって、ロバストな視線推定を実現するために、さまざまな測定からの推定を調停／融合／調整する必要がある。これを実現するための１つのロバストな方法は、特定の状況下で各測定のロバスト性を本質的に組み入れ、測定を組み合わせて最終的な視線推定にする統計モデルを構築することである。
【０３１９】
以下は、視線測定のためのいくつかの例示的なアルゴリズム的アプローチ、ならびに、各々の利点および不利点である（表３）。
【０３２０】
１．瞳孔／閃光（ＰＧ）測定（従来の方法）
２．もっぱら瞳孔エッジ輪郭に依拠して瞳孔表面の三次元方位を推測して視線を推定する瞳孔法線（ＰＮ）測定
３．角膜輪部エッジ輪郭を抽出し、角膜輪部輪郭の三次元方位を推定することによって測定される角膜輪部法線（ＬＮ）測定
４．虹彩パターンの空間テクスチャ特徴を抽出し、視線の三次元方位を推定することによって視線を計算する虹彩（ＩＮ）ベースの視線推定
【０３２１】
【表３】
2017526078.tif 000005
【０３２２】
キャリブレーションスキームを利用することによって、真の視線位置を知ることができる。このフィードバックを用いて、照明、ユーザメトリック、ユーザとデバイスとの間のジオメトリなどのさまざまな条件下でさまざまなアルゴリズムの精度を推定することができる。十分に大きなサンプルセットを用いて、各アルゴリズム候補について事前精度推定を取得することができる。アルゴリズムのためのエラーメトリックは、以下を含み得る：
・検出される閃光の数
・閃光の間隔
・瞳孔のエッジ上の点の数
・（恐らく近い側の点と遠い側の点とを分割する）角膜輪部上の点の数
・経時的な測定の安定性。
【０３２３】
各アルゴリズムの重み付けは、このようなエラーメトリックに左右され得る。いくつかのアルゴリズムは、元来他のアルゴリズムよりも正確であり、そのように重み付けされることができる。また、アルゴリズムは、視線方向に応じて調整され得る（例えば、ディスプレイから外れた視線方向では精度の低下を許容できる可能性がある）。誤った視線方向を判断することを助けるために、両眼収斂が使用されてもよい。各々の眼に同一のアルゴリズムを使用する必要はない。
【０３２４】
さまざまなアルゴリズムの切替えまたは重み付けは、環境条件（例えば照明）またはさらには認知的負荷などの生理学的要因に基づき得る。例えばキャリブレーション中にデバイスの動きがあったか否かを判断するために、エラーモニタリングも使用可能である。精度およびグレースフル・デグラデーションのために電力も考慮に入れられてもよい。これは、正確さのための要件によって促されるか、または電力利用可能性によって促されるか、どちらにもなり得る。さまざまな手段の最適な選択または融合を判断するために、機械学習アプローチも使用されてもよい。
【０３２５】
以下は、データ融合のためのより直接的な例示的な方法のうちの２つである。
１．調停
Ａｉ（ｉ＝１，２，...，ｎ）と名付けられたアルゴリズムのリストおよびＰｉ（Ｐ１＋Ｐ２＋...＋Ｐｎ＝１）と名付けられたキャリブレーションに基づく事前精度推定を想定する。各アルゴリズムからの出力は、Ｏｉと示される。最終的な視線推定は、以下のように選択される。
【０３２６】
Ｏ＝Ｏｉであり、Ｐｉ＝ｍａｘ｛Ｐ１，Ｐ２，...Ｐｎ｝
２．重み付け平均化
このスキームにおいて、出力は無駄にされることがなく、その代わりに事前精度推定に基づく重み付け平均に基づいて融合される。最終的な視線推定は、以下のように選択される。
【０３２７】
Ｏ＝Ｐ１＊Ｏ１＋Ｐ２＊Ｏ２＋...＋Ｐｎ＊Ｏｎ
他のユーザインターフェイスに結び付けられる眼球信号言語
眼球信号制御は、既存のパーソナルコンピュータ、ラップトップ、ディスプレイ、タブレット、スマートフォンまたは他のモバイルデバイスで使用される画面の設計に配備されるオブジェクトと（少なくとも可能な程度に）対話するようにも構成されてもよい。最近では、例えばテキストベースの選択および説明から離れてアイコンベースの選択ツールの方に進化してきている。この進化は、基本的なキーボード入力を補完するためにマウスベースのポインティングデバイスを導入することによって大いに促された。しかし、従来の手持ち式マウスは、モバイル環境には適していない。最近になって、指ベースのジェスチャリングが、特に携帯デバイスにおけるデータ入力を革命的に変化させた。現在では、意味を伝えるアイコンおよび意図を伝える動きのユーザによる受け入れの幅広い基盤がある。
【０３２８】
眼球信号言語は、これらのデバイス内のオブジェクトおよびアイコンと対話するように（一般に、上記の画面レイアウトの効率性を十分に利用しない「サブセット」モードで）適合され得る。多くの場合、視線分解能および眼球運動の制約に適合するように選択の表示を強化する（例えば、特定の選択要素をズームインする、特定の選択要素を強調するなど）ことが必要であり得る。しかし、眼球信号は、広範囲にわたるデバイスを支配するために単独でまたは他の入力制御とともに使用可能な追加のレベルの制御を付加することになる。
【０３２９】
ハードウェアの性能および進化は、プラットフォームの均一性（デスクトップから携帯電話まで）および高分解能ディスプレイのサイズを含むサイズの劇的な縮小への移行も促してきた。この移行は、直接的に眼球信号制御の進化を生み出す。
【０３３０】
コンピューティングおよびディスプレイハードウェア、ソフトウェアの進化と例えばウェブページまたはモバイルアプリケーション内のグラフィックの精巧化とを平行して進めることにより、例えば所望の情報を見つける能力の非常に大きな進歩がもたらされた。サーチエンジンは、単純な語のサーチから、画像および音さえ組み入れる語の集合体が暗に示すコンテキスト依存の意味のサーチに移行してきた。「視覚的な」ユーザインターフェイスおよびさらには「ビデオ」ユーザインターフェイス（すなわち、アイコン、サムネイル、絵などの使用）への移行は、単独でのまたは他の形態の入力と併用した眼球信号の使用に適している。したがって、１つ以上の（実在または仮想の）画像および／またはビデオに基づいた眼に向けられるサーチは、サーチベースの情報検索の柔軟性および速度をさらに向上させることになる。
【０３３１】
いくつかの眼球信号対話は既存の画面レイアウト／設計と効果的に連携するが、眼球信号設計は、新たなレベルの対話対処速度、コンテキスト、効率、認知処理の増加、協調的参加などをサポートして可能にするように（クロスＨＭＩプラットフォームを含む）画面設計の進化を促すことになる。
【０３３２】
眼球信号コンテキスト
抽象化の次のレベルにおいて、ユーザの意図を識別するために、表示されたインタラクタブルに対する視線の１）空間的特性、２）時間的特性および３）シーケンシャルな特性が全て戦略的に使用される。例えば、メニュー／アプリケーション選択環境の空間領域は、「起動」インタラクタブル（例えばゴー）が閲覧されない限り、無期限に詳細に調査され、または一般に閲覧され得る。起動しようという意図がなければ、ユーザは、表示の空間領域を起動する（例えば、「見る」または注視する）ことを回避することをすぐに学習する。
【０３３３】
対照的に、メインリビールは、選択のタイミングに密接に結びつけられる。選択が（「起動」インタラクタブルにさらにサッケードする必要なく）特定の時間内に行われれば、メインリビールインタラクタブルによって公開されるインタラクタブルの「起動」が暗に示される。（「メニューリビール」インタラクタブルがクラスである、持続的な「選択インタラクタブル」に対する一時的な「選択インタラクタブル」について）特定の時間内に選択／起動できないことにより、公開された選択可能なオブジェクトは消失し、特定の「オプトアウト」オペレーションの必要性がなくなる。
【０３３４】
また、さまざまな条件下でさまざまなシーケンスが使用され得る。例えば「ゴー」起動が実行すべき動作（すなわちアプリケーションまたは選択を立ち上げる）であると考えられる場合、（例えばアプリケーションの）選択を起動する前に、セレクト・ルック・ゴーシーケンスにおいて最初に（例えばアプリケーションの）選択が実行される。一方、「拡大」などのメニューリビールを選択する場合、実行すべき動作が最初に選択され、次いで動作の「受取り手」である（例えば地図またはテキスト本文の）領域が次に選択される。
【０３３５】
全てのシーケンシャルな組み合わせは、つなぎ合わせられてもよく、アプリケーション開発者が利用可能である。ソフトウェアツールに加えて、一貫性のある哲学、指針および基準も開発者が利用できるようにされる。これらは、画面レイアウト、メニュー構造、決定木、タイミングおよび空間分解能検討事項、コード構成などを指導するために使用され得る。一例として、インタラクタブルが選択であるか追跡であるかを示す高コントラスト中心的ターゲットは、全てのインタラクタブルにわたって一貫性のあるものにされて、全てのインタラクタブルが注目の中心的視覚点を有することを確実にすることに加えて、使用に関してユーザを指導することを助けることができる。
【０３３６】
色、テクスチャ、サイズ、グラフィック要素、ハイライト、半透明などの、ユーザがインタラクタブルのクラスを容易に認識できるようにするための視覚的言語を作成するその他の形態の特異なグラフィック処理も使用されてもよい。同一の戦略は、ヘッドウェア内（すなわちユーザ環境内）に装着されないが眼に向けられる眼画像化カメラにも適用可能である。このような十分に構成されたシステムおよびアプリケーションの最終的な目標は、ユーザの意図を迅速かつ直感的に識別して眼球信号を動作に変換することである。
【０３３７】
眼球信号制御によって容易にされる別の重要な領域は、マルチユーザ交換である。これは、１：１、１：ｎのアイチャット（eye-chat）およびさらには共通のグループ内の人の間でのｎ：ｍの同時チャットのための方法を含む。これは、画面および時間の分割、および新たな通信グリフの導入を含み、全ては、人工知能で補完されるユーザプロファイルに基づく知能によって可能とされ、情報のユーザ間交換によって増幅される。「チャット」は、スクリプトがなくてもよく、部分的にスクリプトがあってもよく、または高度にスクリプトがあってもよい。
【０３３８】
連続起動モード内の眼球信号
別の動作アプローチにおいて、デバイスユーザは、「連続起動」モードを選択し得る。このモードでは、一旦連続起動モードが（例えばインタラクタブル選択によって）選択されると、後続の眼球運動は、１つ以上の動作を実質的に連続的にまたは繰返し実行する可能性を有していると解釈される。連続起動モードに入ることによって、デバイスユーザは、特定の機能または機能セットを繰返しまたは実質的に連続的に実行するために個別の「ゴー」または起動眼球信号を実行することが不要になる。
【０３３９】
「停止」５３４コマンドの起動などの特定の眼球信号、または、頭部の動き、話された語もしくはフレーズ、シーンカメラによって閲覧可能な手ジェスチャもしくはプロセッサに接続もしくは無線で連結された制御装置との対話などの他の多様な終了指示によってデバイス着用者がモードを終了させるまで、連続起動は実施されたままであり得る。まれに、起動モードは、連続起動モード中にデバイスが頭部から取り外されたときなど、長期間（すなわち「タイミングアウト」）後にも終了される場合がある。
【０３４０】
「連続起動」モードは、「パンおよびズーム」オペレーションを実行して図５に示される画像のコンテンツを探索する例によって示されることができる。このシナリオでは、ユーザは、画像を閲覧し、次いで一般的な「ゴー」眼球信号シーケンスを用いて「パンおよびズーム」インタラクタブルを選択することができる。これにより、デバイスは連続「パンおよびズーム」起動モードになる。「パンおよび／またはズーム」連続起動モードに入ると、「＋」（すなわちプラス）５３５および「−」（すなわちマイナス）５３６記号が、一般に画像および／または表示可能な領域５３０の中央付近に表示される。連続起動領域または「ナッジ（nudge）」５３１ａ，５３１ｂ，５３１ｃおよび５３１ｄは、表示領域５３０のエッジに破線の長方形によって表わされる。「ナッジ」は、パン機能を実行するために閲覧され得る。次いで、ユーザは、以下のコマンドのうちのいずれかを実質的に連続的に起動し得る。
【０３４１】
・「＋」５３５が閲覧されると、「＋」５３５が閲覧される限りまたはユーザが終了アイコン５３４を見るまで、画像５３３は拡大（すなわちズームイン）される。一実現例では、ユーザがその他の箇所を見るとすぐに、または画像５３３の最大表示可能分解能に達すると、ズームインは停止する。別の実現例では、ユーザは、連続機能中に、連続コマンドが発行されると自由に見回すことができ、例えばズームインしている絵において顔を探すことができ、パンを行っている地図上で所望の位置を探すことができ、大きなスクロールセグメントにおいてテキストを探すことができ、または再生しているビデオにおいてアイテムを探すことができる。
【０３４２】
・「−」５３６が閲覧されると、「−」５３６が閲覧される限りまたは明確な終了動作がとられるまで、画像５３３は実質的に連続的に縮小し得る（すなわちズームアウトされ得る）。ユーザが他の箇所を見るとすぐに、または画像５３３の最小表示可能分解能に達すると、ズームは停止し得る。
【０３４３】
・画像５３３の上部エッジ５３１ａが閲覧されると、画像５３３は下向きに「振れ」、元々表示されていた領域５３０の上にある新たなコンテンツを表示する。ユーザが表示５３０の上部エッジ５３１ａから目をそらすかもしくは利用可能な画像５３３の上部に到達するまでナッジングは継続し、または、明確な終了動作がとられるまでナッジングは継続し得る。
【０３４４】
・画像５３３の右エッジ５３１ｃが閲覧されると、画像５３３は左に「振れ」、元々表示されていた領域５３０の右側にある新たなコンテンツを表示する。ユーザが表示５３０の右エッジ５３１ｃから目をそらすかまたは画像５３３全体の右端のエッジに到達するまでナッジングは継続する。
【０３４５】
・画像５３３の下部エッジ５３１ｄが閲覧されると、画像５３３は上向きに「振れ」、元々表示されていた領域５３０の下にある新たなコンテンツを表示する。ユーザが表示５３０の下部エッジから目をそらすかまたは画像全体の下部に到達するまでナッジングは継続する。
【０３４６】
・画像５３３の左エッジ５３１ｂが閲覧されると、画像５３３は右に「振れ」、元々表示されていた領域５３０の左側にある新たなコンテンツを表示する。ユーザが表示５３０の左エッジ５３１ｂから目をそらすかまたは画像５３３全体の左端のエッジに到達するまでナッジングは継続する。
【０３４７】
・画像５３３の対応する隅を閲覧することによって、二方向のナッジングを同時に実行することができる。
【０３４８】
画像５３３のその他の領域を閲覧することにより、「パンおよびズーム」機能を一時停止させ、画像５３３の詳細な調査を可能にする。連続起動は、直感的で自然な眼球信号が特定の機能を実行することを可能にする。
【０３４９】
「連続アプリケーション」モードを利用することができるアプリケーションまたは機能の他の例としては、画像の明るさ対暗さを実質的に連続的に選択できること、音声出力の音量を調整すること、目覚まし時計の時間および分を表わすダイアルを動かすことによって起床時間を設定すること、「スライダ」または他のアイコンを制御して実質的に連続的に可変のセットアップパラメータ（例えば、フォントサイズ、ナッジ距離）を調整すること、重ねて表示される仮想オブジェクトの、物理的な世界観への導入または変更を制御することが挙げられる。
【０３５０】
連続起動モードの主な利点は、眼の疲労なしにおよび不自然な、不快なまたはさまざまな眼球運動なしに目標を実現できるように、ユーザが「眼がすることをさせる」ことを可能にしながら指定の眼球信号セットを迅速かつ繰返し実行できることである。さらに、これは、ユーザがサッケードによって眼を動かして、または円滑追跡によって画像の変化を追跡して、変化する風景の認知を向上させることを可能にすることができる。
【０３５１】
しかし、連続起動モードでは、ユーザが連続起動に対する「停止」５３４を実行するまで、（コマンドの曖昧さおよび／または故意でない起動を回避するために）他のコマンドセットは一般に利用できない。「停止」５３４インタラクタブルは、例えば「ゴー」起動インタラクタブルのために取っておいた位置に取って代わってもよい。なぜなら、連続起動モードではさらなる起動を実行する必要がないからである。この位置は、記憶誘導性サッケードを利用して連続起動を停止させる機能も促進する。なぜなら、「ゴー」および「停止」５３４コマンドのための位置は頻繁にアクセスされるからである。
【０３５２】
眼球信号によって制御されるテキストの読取り
連続起動モードを利用することができる別の例示的なアプリケーションは、単一の表示内で利用可能なものよりも大きな閲覧領域を必要とするテキストまたはその他の情報（例えば、地図、図、建築設計図）の複数ページにわたる視覚化およびスクロールを含む。連続的に起動される「テキストスクロール」モードに入ると、テキストスクロールコマンドの限られたサブセットが利用可能にされ得る。例示的な実施例では、これらは、高速逆スクロール、逆スクロール、順方向スクロールおよび高速順方向スクロールを含み得る。
【０３５３】
スクロール動作自体は、複数の方法で実現可能であり、当該方法は、「チャートのフリップ」、本におけるページめくりのシミュレーション、上部／下部または側部からのテキストの実質的に連続的な送り、眼球位置に依存する可変速度でのディスプレイエッジにおけるテキストの導入などと同様の動作を含む。スクロールは、順方向（すなわちページ番号を増加させる）である場合もあれば、逆方向（すなわちページ番号を減少させる）である場合もある。連続起動モードにおける動作は、スクロールコマンドの各々に関連付けられる表示領域を閲覧するとすぐに開始される。デバイス着用者が連続的に起動されるスクロールコマンドの領域から目をそらすと、ページスクロールは停止し、選択されたページを閲覧することができる。
【０３５４】
テキストの個々のページを読むとき、テキストのエッジの周囲の領域においてさらなるコマンドが利用可能である。これらのコマンドは、ページを読んでいるときの眼の自然な進行と適合するように設計される。左から右および上から下に配置されたテキストを読んでいるときには、特定のページの閲覧が完了すると画面の右下の隅に到達するのが自然である。したがって、画面のこの領域に到達すると「１ページめくる」（すなわち次のページに進む）ことが自然である。実際の視線位置に加えて、位置を閲覧する時間が、ページの読取りを完了させるのに十分な時間を保証するために任意に考慮に入れられてもよい。
【０３５５】
ページの最後に到達して新たなページに開けると、新たなページへの自然な遷移の方にユーザの眼を誘導するために生理学的原理が使用され得る。第一に、画面の右下の隅から「１ページめくる」インタラクタブルを除去することによってギャップ効果が引き起こされ得る。これにより、ユーザは、より迅速に眼を別の位置に移動させる。新たなテキストの画面を迅速に導入することによって、テキスト内の特定の位置に眼を向けることを回避することができる。それどころか、希望するなら、画面の左上の隅に（眼球信号の観点から）非常に魅力的な「シャウト（shout）」が任意に表示されてもよい。この「アイシャウト（eye-shout）」は、次のページのテキストの継続的でシーケンシャルな読取りの方に眼を誘導することに役立ち得る。表示の右下の隅から左上の隅へのサッケード眼球運動は、熟練したユーザによって記憶誘導されてもよい。
【０３５６】
漸進的に上昇するテキストシークエンシング速度で、ユーザはページを読んだり、スキャンしたり、または飛ばしたりしたいと思う場合がある。読むプロセスは、（英語および他の言語では）表示の左上から表示の右下部分への十分な知覚を有する漸進的な眼球運動を伴う。スキャンは、一般に、より高速のペースでの眼球運動の同様の進行を伴う。しばしば、スキャン中、ユーザは、１つ以上のキーワード、フレーズ、絵、特異な色（例えばハイパーテキストリンクを示す）、または他の特異な特徴をサーチまたは探している。ページを「スキップする」とき、ユーザは、一般に、文書の特定のページまたはある領域（例えば途中の４分の３）の位置を特定しようと試みている。
【０３５７】
小さな文書の結果としてまたはより大きな文書の始めもしくは終わりに出現し得る「挿入ページ」（すなわち画面全体を占めない閲覧可能な領域）および部分ページ内をナビゲートするために、同様の検討事項および制御が使用される。
【０３５８】
上記のように、連続起動は、一連の単一ステップ起動（すなわち「ゴー」サッケードによって毎回繰返し起動する必要がない）または実質的に連続的なプロセスの実行を含み得る。後者の場合、特定の「停止」眼球信号が実行されるまで、プロセスは実質的に連続的に実行される。連続的な実行の一例は、特定のページまたは領域に遭遇するまで（「停止」信号が実行されたときに）本のページをスキャン／スクロールすることである。連続的なスキャンにより、眼が解放されて、故意でない起動の問題なしに、または表示されている情報の特定の領域での滞留を維持することなくコンテンツが閲覧される。
【０３５９】
自己適応型眼球信号フィルタ
眼によって制御されるメニューのナビゲーションの速度は、ユーザエクスペリエンスおよび適度な量の訓練とともに自然に上昇する。理想的には、ユーザナビゲーションのための眼球信号スキームは、ユーザにおいて体現されるエクスペリエンスの程度と適合し、当該程度に自己適応すべきである。例えば、ユーザがメインリビールインタラクタブルを固視し、インタラクタブルの表示が光景から除去されると、初心者ユーザは、（より熟練したユーザによって実行される即座の記憶誘導性サッケードに対して）選択されたインタラクタブルの位置を閲覧し続け得る。例示的な実施例において、表示からの選択されたアイコンの最初の除去後に、インタラクタブルの表示は、短期間にわたって再導入され、次いで表示から再び除去される。これは、継続されると、インタラクタブルの表示を（オンおよびオフに）点滅させることによってインタラクタブルの選択を初心者ユーザに対して示す効果を有する。
【０３６０】
ユーザが訓練されるにつれて、知覚の拡張またはインタラクタブルの点滅なしに記憶誘導性サッケードのみを生じさせる熟練したユーザの程度に至るまで訓練されるまで、必要とされる点滅は少なくなる。この段階で、ギャップ効果を利用して眼球信号速度をさらに上昇させることができる。同様の戦略は、時間とともにより急速に消えていく色の変化または他の変化によって消失するかまたは色を変化させるインタラクタブルを必然的に伴い得る。
【０３６１】
眼によって制御される起動につながるプロセスのさらなる向上を実施するために、アルゴリズムが特定のユーザのエクスペリエンスの程度を知ることが有利である。このような手段を使用して、自己適応型システムを調整することができる。ユーザの専門知識の尺度の一例は、メインリビールインタラクタブルまたは別の時間的リビールインタラクタブルにサッケードして、次いで新たに公開されたインタラクタブルにサッケードするためにかかる時間である（リビールインタラクタブル自体へのサッケード速度は必ずしも変化しないと認める）。このような時間的測定は、当該システムによって容易になされ、短い間隔は、主に記憶誘導性サッケードを用いていそうなより熟練したユーザを示す。
【０３６２】
それほど熟練していないユーザは、新たに表示されるインタラクタブルを待って、恐らく知覚する。このような手段を使用して、選択メニュー内のナビゲーション速度を最適化するために、メニュー表示、特に選択されたリビールの表示が除去される前の選択されたリビールの表示の長さ、追跡オブジェクトの移動の前の任意の遅延、追跡オブジェクトの速度などを制御することができる。
【０３６３】
例示的な眼球信号メニュー
さらに図面を参照して、図６は、眼球信号によって制御されるデバイスのためのメイン（すなわち最上位）メニュー画面５３０の例示的な実施例を示す。当該画面は、信頼性のある視線検出および領域選択のための角度分解能に一致するようにサイズ決めされた領域内のユーザアプリケーションを表わすインタラクタブルを含む。スクリーンショットは、片眼または両眼を用いて選択可能な３行×６列の領域（合計１８個の領域）を示す。
【０３６４】
選択可能な領域の最左の列６３１および最右の列６３２は「サイドバー」と称され、これはＧＵＩにおける一般的な表記である。このメインメニューの例において、左のサイドバー６３１は、眼球信号制御には使用されない。右のサイドバー６３２は、以下の動作、すなわちメインリビール６３３、ゴー６３４および左へのページスクロール６３５を表わすインタラクタブルを含む。
【０３６５】
上記のように、インタラクタブル内の高コントラストエッジまたは領域は、デバイス着用者の眼がインタラクタブル内の特定のターゲット領域を閲覧または固視することに役立つ。インタラクタブルが図６におけるサイドバー内に含まれる場合、小さな高コントラスト円が各サイドバーインタラクタブル６３３，６３４および６３５内に位置決めされて、ターゲティングおよび／または固視のための特定の点を提供する。これは、より正確に眼の中心窩を選択可能な領域の中心の方に向けることに加えて、「見るべき何か」をユーザに与える。エッジから十分に離れて、選択可能な領域の中心の方に視線を維持することにより、領域選択プロセスの信頼性が向上し、選択がアイトラッキングノイズおよびエラーの影響を受けにくいものになる。
【０３６６】
左スクロール機能６３５（すなわち右のサイドバーの下部に位置するインタラクタブル）は、ユーザが一連のページを通して画面を「スクロールする」ことを可能にする。ページスクロール機能は、特定のデスクトップ／作業領域または機能の集団に関連付けられ得る情報（例えば、インタラクタブル、テキスト、絵）の量に対する上限を除去する。ページスクロールは、一般的なＧＵＩアプローチであるが、眼球信号を用いたインプリメンテーションは、独自の戦略を必要とする（例えば図１０を参照）。
【０３６７】
図６に示されるサンプルスクリーンショットでは、左のサイドバー６３１の最も下の位置に表示されるページスクロールインタラクタブルはない。これは、現在の画面の左側に位置決めされるページが事実上ない（すなわち、このスクリーンショットが第１ページである）からである。画面の最も下の部分に沿ったストリップ６３６は、ページ位置インジケータ（時にはＧＵＩにおいてプログレスバーの一種と称される）である。バー６３６の充填部分の幅は、総ページ数を示す。当該幅は、総ページ数における閲覧されたページの割合を象徴しているので、充填部分の幅が広くなることは、総ページ数が少なくなることを表わす。バーの充填部分の水平位置は、総ページ数における選択されたページの位置を表わす。例えば、示されているサンプルスクリーンショットは、第１ページ〜第４ページである。
【０３６８】
表示５３０の中央領域内のサイドバー同士の間において、図６の上部パネルにおける画面は、３行×４列の眼によって選択可能な領域６３７に分割される。デバイス着用者が利用できる可能な動作またはアプリケーションの視覚的手がかりとしてこれらの領域の各々にインタラクタブルが位置決めされる。当該スクリーンショットでは、グラフィックインタラクタブルは、（左から右および上から下に）以下のアプリケーション選択を表わす。
【０３６９】
１．テキストメッセージング：表示される値は未読のテキストメッセージの数を示す
２．メール：表示される値は未読の電子メールの数を示す
３．カメラ：スナップショットまたはビデオを撮影する
４．テンキー：例えば電話をかけるために使用される
５．カレンダ：現在の日付が表示される
６．時計：現在の時刻が表示される
７．フォルダ：記憶された絵、テキストおよびビデオを含むファイルを含む
８．天気：組み込みリンクが現在の気象条件および天気予報を表示できる
９．ノート：記憶されたテキストのアーカイブ
１０．地図：現在の交通状況を含み得る
１１．音楽：デバイスに記憶されるか、またはダウンロード可能である
設定：ユーザの視覚能力および／またはエクスペリエンスに適応
これらのインタラクタブルのいずれも、セレクト、ルックアンドゴーの眼球信号シーケンスを用いて選択されることができる。上部パネルに示されている例では、ボックス６３８は「テキスト」インタラクタブルを取囲んでおり、この領域がユーザによって閲覧されていることを示している。
【０３７０】
図７は、眼球信号によって制御されるデバイスのためのメイン画面メニュー５３０の別の実施例の図である。この場合、選択可能なインタラクタブル７３７を含む中央領域は、３行×３列の格子（合計９個のインタラクタブル）で構成されている。図６と同様に、右のサイドバー６３２は、メインリビール６３３、ゴー６３４および左へのページスクロール６３５を表わすインタラクタブルを含み、プログレスバー６３６は、メニューの下部付近に位置している。各インタラクタブルに関連付けられる眼によって選択可能な領域は、図６と比較して水平方向に大きく、選択をより容易にしている。この特徴は、例えば眼または頭部の動きに対する制御より少ない視覚的または神経学的状態（例えばパーキンソン病）対処するために使用され得る。
【０３７１】
図６および図７に示されている中央メニュー内の右下のインタラクタブル６３９は、「設定」画面を立ち上げるために使用され得る。当該設定は、多くの携帯型コンピューティングデバイスにおいて共通の通信制御、飛行機モード、通知センタ、ダウンロード、更新などの性能係数を調整するために使用され得る。眼球信号に独自の設定は、追跡オブジェクトの遅延およびタイミングに対する制御、追跡オブジェクトのスタイル、（単一の画面上に表示可能なインタラクタブルの数に対する）眼によって選択可能な領域のサイズ、テキストまたはページスクロールの速度などを含む。
【０３７２】
図８は、メインメニュー「メール」インタラクタブル（例えば図６および図７を参照）の選択および起動時に閲覧され得るスクリーンショット５３０の一例である。サイドバー同士の間の中央領域は、例えば受信のタイムスタンプに従って分類されたメールの送信元を一覧表示している。このパネルは、さまざまなタイプのインタラクタブルをいかに（眼球信号のために）戦略的かつ動的に（すなわち所与の時刻にデバイスが利用可能な情報に従って）構成でき、および／または、静的インタラクタブルとともに使用できるかも示している。電子メールの送信元は、略称８３１、ニックネーム８３２、複数路線名８３３、短縮名（すなわち眼によって選択可能な領域内に収めるため）、フルネーム、写真またはサムネイル８３４、漫画８３５、企業のロゴ８３６などによって特定可能である。
【０３７３】
表示のコンテキストにおいて眼球信号を用いて（すなわち単一の画面を超えて）大量の情報を表示する一例として、１）未読メールのテキストまたは（２つ以上のメールが未読である場合）眼球信号によって選択可能なメールリストが、電子メール送信者を表わすインタラクタブルを選択すると表示される。２）デバイス着用者によって特定のエンティティ（例えば個人または企業）に送信されたメールは、眼球信号シーケンスを実行して、エンティティを選択し、それに続いて左のサイドバー８３８内に位置する「送信」インタラクタブル８３７を起動することによって、閲覧されることができる。３）電子メール送信者のさらなるページは、ページスクロールによって利用可能である。
【０３７４】
図９は、数値の入力または電話番号のダイアルなどのアプリケーションにおいてテンキーとして使用可能な表示５３０のスクリーンショットの一例である。中央の３×４個の表示格子９３７は、一般的な電話で利用可能な基本的選択を含む。左のサイドバー６３１および右のサイドバー６３２は、デバイスユーザによって動作を引き起こすことができるインタラクタブルを含む。右のサイドバー６３２は、メインリビール６３３、ゴー６３４および左へのページスクロール６３５を表わすインタラクタブルが一貫性のある位置に位置する図６および図７に示されているメインメニューとの一貫性を維持する。メニューの下部付近に位置するプログレスバー６３６もある。このメニューに特異なアイコンは、左のサイドバー６３１に付加されており、（会議のための）電話に人を追加するアイコン９３９と、電話を「保留」にするアイコン９４０とを含む。
【０３７５】
図６〜図９に示されている例示的なスクリーンショットは、一般的哲学ならびに指針および基準のセットに準拠する。これらの原理に準拠することにより、ユーザエクスペリエンスがはるかに直感的なものになり、学習曲線が短くなり、故意でない起動が回避され、記憶誘導性サッケードの使用が向上される、などである。
【０３７６】
図１０は、単一の画面上に表示可能な（および／またはデバイス着用者も十分に視覚化できない）量よりも大きな情報のブロックを管理および視覚化するためのスクロールの使用を示す。図１０は、テキスト本文を読むプロセスの間に連続的に表示される４つのパネル１０３０ａ，１０３０ｂ，１０３０ｃおよび１０３０ｄを示す。メインリビール６３３、ゴー６３４および左へのページスクロール６３５ａは、右のサイドバー６３２内の通常の位置（図６〜図９を参照）に示されている。プログレスバー６３６も、表示の下部に沿って通常の位置に示されている。拡大１０３７、テキストパン１０３８および右へのページスクロール１０３９を表わす新たなターゲットインタラクタブル（すなわちテキスト読取表示に特有）は、左のサイドバー６３１内に導入される。
【０３７７】
スクロールは、インタラクタブルの追跡スタイルを用いて実現される。デバイスユーザが追跡プロセスを用いて起動可能なインタラクタブルを閲覧すると、１つ以上の仮想オブジェクトの移動および視覚追跡が生じて、ユーザは円滑追跡によって意図を伝えることが可能になり得る。単純な起動（すなわちＮ個から１個の選択なし）の場合、閲覧されるインタラクタブル全体が移動し得て、ユーザがインタラクタブルを追跡するか否かによって起動が判断される。この場合、左へのページスクロールは、右のサイドバー６３２の下部に位置する「左へのスクロール」追跡インタラクタブル６３５を閲覧することによって開始される。
【０３７８】
テキストスクロールの場合、デバイス着用者によって円滑追跡眼球運動を容易にするために追跡インタラクタブル６３５ｂ，６３５ｃが移動するだけでなく、同一の速度でテキストのページ全体１０３０ｂ，１０３０ｃが移動して、円滑追跡眼球運動のための神経学的根拠をさらにサポートする（すなわち中心窩視界全体を安定化させる）。
【０３７９】
移動する「左へのスクロール」インタラクタブル６３５ａ，６３５ｂ，６３５ｃの方向以外にいずれの方向の眼球運動も、スクロールプロセスを異常終了させる。選択された距離（例えば画面１０３０ｂを横断する方向の３分の１）のところで、「後戻りできない地点」に到達し、眼球運動にかかわらずページはスクロールし続ける。この眼球信号シーケンスは、１ページのスクロールに有用である。
【０３８０】
（第３のパネル１０３０ｃに示されるように）ユーザが画面にわたって左へのスクロールインタラクタブル６３５ａ，６３５ｂ，６３５ｃを追従し続けると、左へのスクロールインタラクタブル６３５ａ，６３５ｂ，６３５ｃが画面の左側に到達するまでページはスクロールし続ける。そのとき、左へのスクロールインタラクタブル６３５ｃは、左のサイドバーの下部パネルに示されるページカウンタ１０３９によって置換される。ユーザがページ番号インタラクタブル１０３９を固視し続けると、ページ番号がインクリメントされるにつれてテキストの全ページがシーケンシャルに出現する。眼の注視点が左のサイドバー６３１の最も下の領域を残すかまたは最終ページに到達するまで、全ページをめくるプロセスは継続する。これにより、デバイス着用者は、情報の大きなブロック内のいかなるページも素早く選択および閲覧することができる。
【０３８１】
右にスクロールするプロセスは、右へのスクロールインタラクタブル１０３９が左のサイドバー６３１から選択され、全ての方向が逆である以外は、同様である。眼球信号を用いてページを制御するプロセスは、テキスト文書、写真、リスト、地図、図面、チャートおよび他のオブジェクト群、ならびにグループ内の（単一のページから選択可能な数を超える）任意の数のメニュー選択に適用可能である。
【０３８２】
同様の戦略およびレイアウトは、上方および下方へのスクロールにも使用可能である。スクロールインおよびアウト（すなわちデバイス着用者からさまざまな距離のところで閲覧される）に輻輳開散が使用され得る。左／右、上／下およびイン／アウトインタラクタブルのさまざまな組み合わせと対話することによるスクロール（およびその後の読取り、対話、パン、ズームなど）に眼球制御の組み合わせが使用され得る。
【０３８３】
例示的な眼球信号言語要素
追跡プロセスを用いてＮ個から１個の選択がなされると、ユーザが円滑追跡を用いて追跡選択を指定することを可能にするために、Ｎ個の可動サブオブジェクトが生成されなければならない。図１１は、追跡オペレーションを用いて実行される２個から１個の選択の時間的シーケンスを示す。上部パネルは、（中央の丸みを帯びた正方形として表わされる）追跡インタラクタブル１１３０が閲覧されるときの最初のセットアップの一例である。２つの追跡オブジェクト１１３１ａ，１１３１ｂが表示され、一方１１３１ａは左の方に投影され、他方１１３１ｂは右の方に投影される。追跡オブジェクトは、眼による円滑追跡トラッキングプロセスを支援するために、（アイコン全体を含み得る）少なくとも１つの高コントラスト焦点を含む。
【０３８４】
追跡オブジェクト１１３２ａ，１１３２ｂ，１１３３ａおよび１１３３ｂは、中央パネルに示されているように連続的に（および円滑に）外向きに移動する。追跡オブジェクト１１３４ａ，１１３４ｂが下部パネルに示されるように移動範囲の終わりに到達すると、１つの追跡オブジェクトが十分に追跡されて選択を示すか、または眼が追跡インタラクタブルから離れてサッケードして選択プロセスを終了させるまで、シーケンス全体（上部パネルから下部パネルまで）が繰返され得る。一般に、熟練したユーザでは、移動パターンの繰返しは必要とされない（初心者ユーザでは、速度が遅くされ得る）。
【０３８５】
２個から１個の選択プロセスの場合、眼が追跡オブジェクトの（破線１１３８によって示される）中心の左または右を見るのにかかる時間および／または中心からの距離は、選択がいつデバイス着用者によって意図されるかを判断するために使用され得る。Ｎ個から１個の選択プロセスにおける重要な要素は、意図を識別するための円滑追跡の方向を判断することである。
【０３８６】
上から下に、図１２Ａ〜図１２Ｈにおけるパネルは、Ｎ個から１個の追跡選択のための例示的な投影を示し、Ｎは、２に等しく（１２３２ａ，１２３２ｂ）、３に等しく（１２３３ａ，１２３３ｂ）、４に等しく（１２３４ａ，１２３４ｂ）、５に等しい（１２３５ａ，１２３５ｂ）。左側のインタラクタブル１２３２ａ，１２３３ａ，１２３４ａおよび１２３５ａは、（例えば追跡インタラクタブルが表示領域内の中央位置にあるときに（例えば図６を参照））投影の拡大に関する境界制約がない位置で特に使用され得る。右側のパネル１２３２ｂ，１２３３ｂ，１２３４ｂおよび１２３５ｂは、上部境界（例えば表示領域の上部エッジ）に隣接して使用され得る投影方向の例である。左エッジ、下部エッジまたは右エッジに隣接して位置する追跡インタラクタブルは、示されている投影を９０°、１８０°または２７０°回転させることによって操作可能である。
【０３８７】
隅に位置する追跡インタラクタブルは、同様の戦略を用いて管理され得るが、隅の投影の方向範囲が限られていることにより、投影の数を比較的少なくせざるを得ない。選択を行う方向を明確に区別するために、ユーザの意図を識別するための（すなわち眼球信号が存在していると判断されるときの）閾値移動距離もＮに左右され得る。
【０３８８】
図１３Ａ〜図１３Ｅは、４個から１個の選択プロセスのための追跡インタラクタブルのさまざまなスタイルおよび対応する追跡オブジェクトの例を示す。左から右へのスナップショット１３３０ａ，１３３０ｂ，１３３０ｃは、各追跡オブジェクトシーケンスについての時間の推移を示す。
【０３８９】
図１３Ａは、元のインタラクタブルが、外向きに拡張する４つの部分に分かれる追跡インタラクタブルの「爆発」である。元のインタラクタブルの部分は残されていない。図１３Ｂは、インタラクタブルの外殻のみが「爆発して」元のインタラクタブルの内側部分を残すインタラクタブルを示す。図１３Ｃでは、色分けまたは輝度分けされた追跡オブジェクトが中央のインタラクタブルから外向きに拡張し、元のインタラクタブルを残している。図１３Ｄでは、追跡オブジェクトは、インタラクタブル内部から出発して、それらの外向きの拡張を開始させている。図１３Ｅは、時間が進むにつれて新たな点が追加される、外向きに放射状に広がる点の「コンベア」を示す。この上記のスキームの利点は、ループして外向きの投影を再開させるために単一の追跡オブジェクトを待つのに対して、追跡オブジェクトが形成されて中央のインタラクタブルから外向きに放射状に広がるときにいかなる追跡オブジェクトも固視できることである。
【０３９０】
追跡オブジェクトの外観の多くのさらなる変形例は、意味を伝えることが可能であり、または移動体が移動する方向を超えて移動体を単に区別することが可能である。例えば、さまざまな移動体は、さまざまな形状、サイズ、色、ラベルなどを有し得る。形状およびラベルは、意味のあるものである場合（例えば、数字として整形されるか、または数字で標識付けされる場合）もあれば、任意である場合もある。
【０３９１】
図１４Ａの上部パネルは、メインリビールプロセスを実行するために使用されるオーバーレイの一例を示す。「メインリビール」は、固定位置のメインリビールインタラクタブル（すなわち図６〜図９の右上の隅に示される星印）がデバイスユーザによって閲覧されると開始される。閲覧は、オーバーレイインタラクタブル１４３１ａ，１４３１ｂ，１４３２，１４３３および１４３４を短期間にわたって出現させる。また、メインリビールインタラクタブルは、ギャップ効果を活用するために消失する可能性があり、閲覧されるインタラクタブルの消失を新たなインタラクタブルの出現と結び付けることにより、新たに露出したメインリビール選択１４３１ａ，１４３１ｂ，１４３２，１４３３および１４３４を含む別の位置に眼がより素早くサッケードすることに役立つ。新たに露出したメインリビールインタラクタブルが指定の期間内に選択されなければ、最上位メインリビールインタラクタブルが再出現し、いかなるさらなる動作もなしに、重ねて表示されるインタラクタブル１４３１ａ，１４３１ｂ，１４３２，１４３３および１４３４は消失する。
【０３９２】
メインリビールプロセス中にデバイスユーザが新たに公開されたインタラクタブルのうちのいずれか１つに、選択された時間内にサッケードすると、当該インタラクタブルに関連付けられる動作が実行される。図１４Ｂの下部パネルに示されるように、公開されたインタラクタブルは、既に表示上に示されているコンテンツとの干渉を最小限にするように戦略的に重ねて表示され、位置決めされる。上部パネルに示されるように、公開されたインタラクタブルは、閲覧されるときに眼を誘導することを助けるために（サイドバーインタラクタブルと同様の）高コントラスト焦点を有するように構成される。右端の公開されたインタラクタブル１４３４は、メインまたはホームメニューの表示をもたらす「ホーム」インタラクタブルである（図６〜図９を参照）。上部および下部表示エッジ付近に位置する公開されたインタラクタブル１４３１ａ，１４３１ｂは、画面（この場合、テキスト１４３５）が上および下方向にスクロールされる以外は、図１０に示されている左および右へのスクロールインタラクタブルと同様の態様で動作する。画面の左側の中央位置に位置するメインリビールインタラクタブル１４３３は、「戻る」ボタンを表わし、いかなるメニュー選択プロセスも一段階（すなわちメインメニューの方に）上昇させる。画面の左上の隅のインタラクタブル１４３２は、ピックアンドプレース機能を開始させる。
【０３９３】
図１５Ａ〜図１５Ｃに示されているスクリーンショット１５３０ａ，１５３０ｂ，１５３０ｃは、リビールメニュー選択プロセスを実証する例示的なシーケンスを示す。当該選択プロセスは、左のサイドバーに最上部のインタラクタブルとして位置決めされたメニューリビール６３３を「見る」ことによって開始される。これにより、中央パネル１５３０ｂに示されるように、ツール１５３６ａ，１５３６ｂ，１５３６ｃ，１５３６ｄのメニューが出現する。これらのツールは、図、より具体的にはパリの地図１５３７が閲覧されていることを考慮に入れて、コンテキスト依存性である。表示されるメニュー選択（すなわち、対比１５３６ａ，ズーム１５３６ｂ，回転１５３６ｃおよび編集１５３６ｄ）は、このような図に適用可能な機能群を表わす。希望するなら、全てのメニューオプションは、ユーザの視線位置を示す強調ベースのフィードバックによって調査されてもよい。セレクト・ルック・ゴーシーケンスを用いたズーム選択の起動により、下部パネル１５３０ｃに示されるように、ズームツールのサブメニューが出現する。
【０３９４】
次いで、サブメニュー内の要素が選択され得る。このプロセスを繰返すことにより、アプリケーション開発者によって望まれるのと同程度に深くツール選択をネストすることが可能になる。特定のメニュー項目を選択することにより、未使用の選択は消失し、選択された機能を表わすインタラクタブルは「戻る」インタラクタブル１５３８によって置換される。また、選択がなされるときに（個々のメニュー層のコンテキストにおいて必要とされない）リビールを除去することにより、（適切なアルゴリズム計画による）メニューネスティングが、望まれるのと同程度に深くなって、選択視線分解能に従うフォーマットで依然として表示できることが保証される。
【０３９５】
３×４個の視線によって選択可能な領域を有するレイアウトを設計する際、常に、「戻る」インタラクタブル１５３８が（選択が以前になされた列位置において）画面の中央領域の一番上の行１５３９ａに表示され得て、４つまでの公開されたインタラクタブルが中央の行１５３９ｂに表示され得て、（各グループインタラクタブルが閲覧されるときに）４つまでのサブメニューオプションが一番下の行１５３９ｃに表示され得る。
【０３９６】
「戻る」機能１５３８を起動することにより、メニュー選択は一層上に移動し（すなわち戻り）、ツールセットを再選択することが可能になる。例えば、図１５Ｃの下部パネル１５３０ｃ内の「戻る」インタラクタブルが（すなわちセレクト・ルック・ゴーシーケンスを用いて）選択されると、図１５Ｂの中央パネル１５３０ｂが再出現するであろう。「戻る」インタラクタブルと置換された左のサイドバー内の元のメニューリビールインタラクタブル６３３の位置を閲覧することにより、メニュー選択プロセスはすぐに終了し、いかなる重ねて表示された公開されたインタラクタブルも除去される。
【０３９７】
ズームサブメニューは、（左から右に）正のズームインタラクタブル１５３６ａ，負のズームインタラクタブル１５３６ｂおよび原画像分解能ズームインタラクタブル１５３６ｃを示す。これらは、最下位選択プロセス（すなわち実際のツール自体）に相当する。したがって、公開されたインタラクタブルが調査されるときにさらなるサブメニューは表示されない。一旦ツールが（すなわちセレクト・ルック・ゴーシーメンスを用いて）選択されると、他の位置情報（例えば元の分解能へのズーム）が必要とされない場合には当該ツールによって指定された動作が実行され、または、機能を実行するために位置座標（例えばズームインの際の中心参照位置）が必要とされる場合には位置が選択されるとすぐに機能が適用される。機能は、再び（すなわちセレクト・ルック・ゴーシーケンスを用いて）位置を選択することによって繰返され得て、またはリビールインタラクタブルを閲覧することによって別のツール選択シーケンスが開始され得る。
【０３９８】
眼球信号言語選択
図１６は、動作の実行に至る可能性がある眼球信号を検出するために使用されるアルゴリズムステップのシーケンス全体を示す。１６３０において、眼の画像を取得および分析して、視線経路を判断する。１６３１において、眼がまぶたによって覆われているかまたはそうでなければ見えにくくされているので発見できない場合、タイミングレジスタが単に更新され、分析は次のカメラフレームに進む。１６３２において、フィルタを全ての一連の眼球位置に適用して、主にサッケードまたは円滑追跡（または輻輳開散または前庭動眼）眼球運動が存在するか否かを判断する。これらの形態の随意眼球運動との一致が発見されると、１６３３において、視線経路と画面位置とをさらに比較して、インタラクタブルまたは実在のオブジェクトに対応する領域が閲覧されているか否かを判断する。次いで、１６３４において、視線パターンをさらに分析して、当該視線パターンが画面上に表示された起動インタラクタブルに概して対応するか否かを判断する。一致が発見されると、１６３５において、選択されたインタラクタブルに対応する動作が実行される。
【０３９９】
眼球信号の形成におけるコンポーネントとしての円滑追跡およびサッケード眼球運動の使用は、表示上の仮想オブジェクト（すなわちインタラクタブル）の追従または視覚化に限定されるものではない。眼球信号は、デバイス着用者の現実世界環境における実際のオブジェクトの選択も組み入れてもよい。この形態の眼球信号選択および制御は、当該技術分野において周知の（シーンカメラ画像における）オブジェクト認識技術で補完されると特に有力である。
【０４００】
図１７は、現実世界における特定されたオブジェクトについての補足情報を取得するために使用され得る一連の眼球信号選択の例示的な実施例を示す。このフローチャートは、デバイス着用者の環境内で観察および認識されるオブジェクトについての補足情報を表示するか否かのユーザの好みをイネーブルにしたりディスエーブルにしたりし得る小さなコードセグメントの構造を表わす。
【０４０１】
当該フローチャートは、サッケード眼球運動も円滑追跡眼球運動も使用して、現実世界および仮想ディスプレイ内の信号ならびにそれら２つの間での遷移を（シームレスに）形成するステップを示す。例えば、「追跡」メニュー項目１７１０の１７２０においてゴー選択を生成するために使用されるルックは、仮想ディスプレイ内のオブジェクトへのサッケード運動である。デバイス着用者の現実世界環境は、１７３０においてサッケード眼球運動を用いて閲覧され得る。環境内でのデバイス着用者の関心をひく項目の特定は、１７４０における現実世界におけるオブジェクトの円滑追跡を含む。
【０４０２】
対象のオブジェクトが透明または透光性の表示の閲覧領域内にあれば、１７５０において、どのオブジェクトが選択および認識されたかの表示は、ディスプレイ画面内のオブジェクトを輪郭取りする（または、十字形、矢印、透光性の変更などの選択の何らかの他の表示）によってなされ得る。次いで、１７６０において、サッケード眼球運動を使用して、対象の特定の項目についての情報を仮想ディスプレイ上で閲覧し得る。１７７０において、仮想ディスプレイに向けられる円滑追跡運動を使用して、対象の現実世界オブジェクトについてのさらなる補足情報をスクロールし得る。
【０４０３】
次いで、サッケード運動を使用して、表示された情報と現実世界との間で遷移して、対象の他のオブジェクトを調査し得る。１７４０において、対象の別のオブジェクトを選択するために円滑追跡が再び使用されてもよい。１７６０において、ユーザは、さらなる補足情報のための表示に戻り得る。これらの上記のステップを何度も繰返すことによって、任意の数のオブジェクトについての情報を取得することができる。最後に、１７８０における「終了」メニュー選択を表示上で１７９０におけるゴー（すなわちサッケード）を用いて選択することによって「追跡」モードを終了させ、所望のオペレーションを完了し得る。
【０４０４】
フレームレートの動的制御
別の例示的な実施例は、片眼または両眼の領域を閲覧する１つ以上のカメラのフレームレート（すなわち単位時間当たりに取得される画像の数）の動的制御を含む。カメラフレームレートは、眼の画像内のオブジェクトの移動のペースおよび方向（すなわち速度）を判断および測定できることの主な決定要因である。上記のように、眼における筋肉は、人体内の全ての筋肉の最も高速の運動を可能にする。したがって、眼および／またはそのコンポーネントの動的運動をより正確かつロバストに測定するために、カメラフレームレートの増加が場合によっては不可欠であり得る。
【０４０５】
現代のカメラは、広範囲のフレームレートにわたって動作することができる。瞬間的フレームレートも、画像単位と同程度に頻繁に調整され得る（すなわちいわゆる「クロック」回路によって支配される）。
【０４０６】
例示的な実施例における周波数スペクトルの下端では、アイトラッキングデバイスが頭部から取り外されたように思われて使用されていないときにリソースを節約するために、例えば数秒間にわたる１つのフレームと同程度に低いフレームレートが使用されてもよい。このような低いフレームレートで取得された画像は、より高い性能の使用の準備としてデバイスが頭部に再装着されたことを示すカメラ画像内の眼の存在のサーチに使用され得る。周波数スペクトルの他端では、眼の画像内の高速サッケード運動またはトレモアの速度を正確に測定するために、毎秒１０００フレーム以上のレートが使用され得る。
【０４０７】
カメラを制御するために使用される現代の発振器（すなわち「クロック」）回路内の時間的精度、ジッターまたはトレモアは、１００万分の１（parts per million：ＰＰＭ）単位で測定される。眼球運動の速度の判断は、複数の画像を分離する時間によって分割されるそれらの画像にわたって眼の「追跡可能な」コンポーネントの空間位置を測定することを含む。いくつかのフレームを取得している間、１００ＰＰＭの比較的低精度の発振器回路でさえ、その時間的精度は、カメラ画像内のオブジェクトの空間的位置の測定と比較して、重要でないエラーを引き起こす。したがって、クロック制度は、一般に、眼におけるコンポーネントの速度測定を行う際の限定要因ではない。全体精度は、主に、カメラ画像内のオブジェクトの空間位置を判断する精度によって支配される。
【０４０８】
各画像を収集するために必要とされる取得時間は、カメラフレームレートと密接に位置合わせされる。カメラが画像を取得するのにかかり得る最大時間は、フレームレートの逆数（すなわちフレームの総時間＝１／フレームレート）である。しかし、現代のデジタルカメラは、画像取得プロセス中に光子を検出する時間を制限する機能も有している。光子を取得するための時間を制限することは、当該技術分野において「電子シャッタリング」として知られている。非常に短い間隔（一般にマイクロ秒からミリ秒オーダー）までのシャッタリング光（赤外線を含む）収集時間は、画像を「フリーズさせ」、オブジェクトエッジがより少ない画素に広がるので動いているオブジェクトをよりはっきりと閲覧することができるようになる。一方、取得時間が長くなると、各画像中により多くの光子の検出が可能になり、カメラ画像の振幅（すなわち各画素内の強度）が増大し、一般に信号対雑音比が増大する。
【０４０９】
例示的な実施例は、カメラ性能に対するこの制御を備えることで、調整可能なフレームレートおよび取得時間を利用して電力を節約し、画像処理に関連付けられる計算リソースの使用を最大化し、眼球測定（特に動いているオブジェクトの測定に関連付けられるもの）の正確さを最大化し、および／または、閲覧者が単一のオブジェクトに焦点を合わせるときでさえ眼は常に動いている（例えば、μサッケード、トレモア）という事実に関連付けられる空間「ノイズ」を減少させる。
【０４１０】
微小運動は、ユーザの状態（以下を参照）のいくつかの局面の推測に有用であり得るが、円滑追跡および随意サッケードの方向および距離の測定と干渉する可能性がある。フレームレートが高くなると、このような周波数または結果の平均化などの数学的アプローチで振動／運動を除去することによって微小運動を補償するためのアルゴリズム的アプローチが可能になる。また、微小運動に関連付けられる画像ぶれを減少させるために、短い取得時間が使用され得る。
【０４１１】
図１８は、可変フレームレートの制御に関与するシークエンシング検討事項のうちのいくつかを示す。画像処理は一般に画像取得と同時に行われ得る（取得は１つ以上のカメラによって独立して実行される）ので、フレーム単位のレートの制御は、実質的に同時に別のフレームを収集して次のシーケンシャルに取得される画像の制御の準備をしながら画像を分析することを含む。
【０４１２】
１８３０において画像がカメラから検索されると、１８３１において画像分析を実行して、後続のフレームレートを判断する。これらの分析は、サッケード運動が行われているか否か、視線方向、眼が閉じられているか否か、メニュー選択要件などを考慮に入れることができる。フレームレートが判断されると、１８３２において、全てのカメラクロックおよびレジスタ設定を予め計算し、（カメラに位置付けられ得る）一時的なバッファにロードする。次いで、１８３６において（例えば単純なループによって）現在の画像の収集が完了するまで、１８３３においてさらなる処理は一時停止される。このとき、１８３４において実際のカメラクロックおよびレジスタ設定が設定され、１８３５において後続のフレームの取得が開始される。
【０４１３】
眼の画像を分析するためのアルゴリズム的アプローチに対する制約はないが、フレームレートは、一般に３つの範囲で考えることができる。１）積極的なアイトラッキングが不要である場合には、１０フレーム／秒〜数秒ごとに１フレームの範囲の低フレームレートが使用され得る。アプリケーションは、頭部から取り外されたデバイスが、片眼または両眼の閲覧をデバイスカメラによって行うことができる位置に戻されるのがいつであるかを知ること、または、特定のアプリケーションにアイトラッキングが必要でなく、デバイスが頭部から取り外されたか否かおよびいつデバイスが頭部から取り外されたかを知ることのみが重要であるのがいつであるかを知ることを含む。２）１０〜１００フレーム／秒のミッドレンジフレームレートは、慣例的なアイトラッキングに使用され得る。３）１００〜１０００フレーム／秒およびそれを超える高フレームレートは、サッケードの初期段階などに眼球運動を分析して速度およびプロファイルを判断するために使用され得る。
【０４１４】
フレームレートの調整に加えて、照明レベルも動的に調整されて、例えばより短いフレーム取得時間、画像の照明が不十分な領域に移動する対象のオブジェクトなどの補償を助けることができる。カメラ画像に基づく眼の照明の動的制御については、米国特許第８，８９０，９４６号にさらに十分に記載されている。
【０４１５】
眼球位置の予測
カメラ性能の制御の特に有用な用途は、高速サッケード眼球運動中のターゲット位置の追跡および予測である。上記のように、サッケード眼球運動は「弾道的」性質がある。言い換えれば（無誘導ミサイルの打ち上げと同様に）、サッケードのターゲット位置は、主にサッケード立ち上がり時に判断される。サッケードには「中間修正」は適用されない。サッケード運動の初期部分の方向および速度を注意深く測定することによって、弾道ミサイルに適用されるものと同様の数学的アプローチを用いてサッケードのターゲット位置を予測することが可能である。
【０４１６】
初期サッケード方向および速度を正確に判断する秘訣は、高フレームレート（一般に数百フレーム／秒）でのカメラ画像の取得である。サッケード立ち上がりの直後に画像の高速シーケンスを取得するためにいくつかの技術が利用可能である。１）低フレームレートでサンプリングしているときにサッケード立ち上がりが検出されると、カメラはすぐに高フレームレートに切替えられる。２）カメラ回路（のみ）は、常に高フレームレートで動作し、循環バッファ内に画像を記憶することができる。通常オペレーション中に、全てではない画像がカメラバッファから転送されて処理される。サッケードが検出されると、カメラバッファに記憶された高速サンプリングされた画像は、検索されて処理され得る。３）フレームレートは、眼球信号制御の「コンテキスト」に基づいて調整可能である。例えば、フレームレートは、閲覧されているオブジェクトが「ゴー」を用いて選択される可能性を有するときに増加されることができる。同様に、多くの場合、ゴーに関連付けられるサッケードに続いて、「ホーム」または「リビール」などのさらなる選択が行われる。高フレームレートは、これらのシーケンス全体にわたって維持されることができる。
【０４１７】
サッケード眼球運動のターゲット位置を予測する機能は、複数の方法で利用され、眼球信号性能（例えば速度）および信頼性を向上させることができる。例示的な実施例は以下を含む。
【０４１８】
１．予測されたターゲット位置がコマンドシーケンスの終点である場合（例えば、何らかの動作がデバイスによって実行されるべきであるとき）、選択されたエンドポイントは、さまざまな方法のうちのいずれかで強調され得る（ターゲットアイコンの周囲にボックスまたは円を描く、ターゲットアイコンの色を変化させる、アイコンの輝度を変化させる、アイコンを変化させる、アイコンを取囲む背景を変化させる、など）。以前に選択されたオブジェクトまたは表示領域上で動作が実行されるべきであることを起動ターゲットが示す場合には、当該オブジェクトまたは表示領域のグラフィック表示（例えばサムネイル）も表示され得る。この場合、「中心窩視界」サムネイルが表示され得る。これらは、選択がなされたことを示す効果、選択アイコンに注目を引き付けて、一般に長距離サッケード後に生じる任意の小さな修正的サッケードを誘導する効果、および／または、眼が選択点に到達する前でさえ選択を変化させることによって選択がなされたことをユーザが知覚する時間を減少させ、さらには認識のために長期記憶の想起を必要としない「なじみのある」画像を表示することによって認知処理時間を減少させる効果を有する。
【０４１９】
２．予測されたターゲット位置が選択シーケンス内の中間点（例えば「ホーム」または「リビール」に移動する前のゴー位置）である場合、ユーザ選択速度の増加は、弾道的サッケード中に（すなわちターゲット位置に到達する前に）ターゲットインタラクタブルの画像を除去することによって実現可能である。ターゲットインタラクタブルの除去は、（修正ターゲットが除去されたので）一般的な修正的サッケードの必要性を減少させ、および／または、ギャップ効果を利用して眼が選択シーケンス内の次のターゲットに迅速に移動することを可能にする。これらの戦略は、ターゲットの直列シーケンスに基づいて眼球信号を実行するのに必要な時間を大きく減少させることができる。
【０４２０】
３．他の場合には、ターゲットは、ポップダウンメニューに表示されるものなどのさらなる選択のための立ち上がり点にあり得る。この場合、このようなメニューまたは他のアイコンを徐々に表示することが望ましく、輝度および／または不透明度は制御された態様で導入される。最終的な輝度および／または不透明度も抑制することができる。これらのステップの１つの目的は、故意でない注目を引き付けることを回避することである。人間の脳および多くの他の動物種は、特に周辺視覚系内であれば、輝度、エッジまたは動きの高速変化を少なくとも一瞥することと「密接な関係がある」。アイコンまたはオブジェクトの突然および／または高強度の導入は、デバイス着用者がオブジェクトを見ざるを得ない傾向を生じさせるであろう。選択可能なオプションの導入をより抑制された状態に保つことによって、故意でない起動を引き起こし得る注意散漫なしに自発的なオプション選択を行うことができる。
【０４２１】
４．サッケード運動の範囲または距離を知ることによって、眼球信号選択の厳密性を（リアルタイムで）調整することが可能である。例えば、遠方の位置から開始されるサッケードに基づいて選択がなされている場合、肯定的選択がなされたか否かを判断するために使用されるターゲットを取囲む領域は、長距離弾道的サッケード中のより大きなエラーの可能性を考慮に入れるように拡張されることができる。逆に、短いサッケード運動中は、より高い厳密性（すなわちより小さな選択空間）を用いて、ユーザが単に光景を見渡しているときの意図せぬ起動を回避することができる。
【０４２２】
５．同様の方向性に沿って、サッケードターゲット位置が分かっている場合には、サッケードの経路に沿った選択ターゲットの厳密性は増大され（すなわちより制限的なものにされ）、このようなターゲットの故意でない起動を回避することができる。
【０４２３】
予測的な関心領域の制御
高速画像化中に特に適用可能な別の戦略は、カメラによって収集された画像の、関心領域（region-of-interest：ＲＯＩ）への転送および処理を分離するというものである。厳選されたＲＯＩは、必須の眼球構造を含んでいる可能性が最も高い領域の伝送に利用可能な帯域幅を最適化することによって高フレームレートを容易にすることができる。フレームおよび取得レートの制御と同様に、現代のカメラでは、ＲＯＩはフレーム単位で調整可能である。
【０４２４】
高速画像化中、フレーム間のオブジェクト位置の空間的差異は低減され、所与のフレーム内の検出されたオブジェクトの位置が、後続のフレームのためのＲＯＩの規定を助けることを可能にする。特にサッケード眼球運動中は（しかし円滑追跡にも適用可能である）、複数の後続のフレームについて眼球構造の位置（したがってＲＯＩ）を予測するために弾道的サッケードの軌道が使用され得る。
【０４２５】
図１９Ａおよび図１９Ｂは、予測された動きに基づく所与のフレームのためのＲＯＩ（破線）１９１０および後続のフレームのためのＲＯＩ１９２０を示す。図１９Ａでは、ＲＯＩ１９１０は、以前のフレーム１９１５（以前のフレームは図示されていない）内の瞳孔の中心１９２５の位置からの移動に基づいて眼１００の領域を分離するために使用された。当該ＲＯＩのための新たな位置は、瞳孔の中心１９２５の以前の位置と現在の瞳孔位置１９３５との間の差に基づいて計算された。この差を現在のＲＯＩに適用することにより、図１９Ｂに示されている後続のフレームのための予測されたＲＯＩ１９２０がもたらされた。予測通り、瞳孔の中心は、その新たな位置１９３５に移動した。新たに測定された瞳孔位置１９３５と以前の瞳孔中心位置１９２５との間の差は、次のフレーム１９４５（次のフレームは図示されていない）のための新たな瞳孔中心位置を予測するために使用され得る。
【０４２６】
ユーザが円滑追跡によって眼球信号を実行しているか否かを判断するプロセスの間、選択プロセス中にヘッドウェアによって判断される基本的質問は、視線追跡が特定の追跡オブジェクトの位置および速度と（すなわち方向も速度も）一致しているか？というものである。上記のように、このタイプの測定の問題は、固定されたときでさえ絶え間ない重畳背景眼球運動（例えば、マイクロサッケード、トレモア）が存在することである。このような高速の小さな運動の影響を減少させるための重要な方法は、高フレームレートでのサンプリングである。高フレームレートでなければ、（ハリー・ナイキストによって開発された公式によって支配される）「エイリアシング」として当該技術分野において知られている現象が起こる。
【０４２７】
低フレームレートでの個別のサンプリング中、エイリアシングによって、高周波数運動は、高周波数成分内の周波数およびフレームレートなどのさまざまな要因に依存し得る（すなわち、必ずしも巨視的眼球運動に基づかない）方向の低周波数運動として出現する可能性がある。したがって、ナイキストサンプリング定理を満たすためにより高いフレームレートが使用され得て、視線速度全体のより正確な測定を判断する。これにより、円滑追跡運動が直ちにかつよりロバストに起こる眼球信号（すなわちユーザの意図）であるか否かの判断が可能になる。
【０４２８】
情報表示の予測的制御
「中心窩視野」または「中心窩視界」という用語は、例えば読んでいる最中に鋭い視覚が使用される個人の視野内の中心領域を指す。中心窩視界は、眼球信号に関連付けられる随意運動の知覚および形成に重要である。この概念をサポートする解剖学的および生理学的特徴は、中心窩が網膜表面全体のうちの１％未満を占めているにもかかわらず、視覚野の５０％以上が中心窩からの情報の処理に当てられるという事実を含む。したがって、眼球信号中の文法的要素の構成に関連付けられる知覚は、主に中心窩視界を必要とする。
【０４２９】
中心窩視界は、視野全体の中央のおよそ２°（１°未満〜３°以上の範囲であると報告）を占める。この視界が眼球信号中に実行される動作の対象である場合、中心窩視界（または中心窩視界内の要素）は、眼球信号動作のグラフィック表現内で使用され得るサムネイルまたはアイコンを構成するために使用され得る。例えば、オブジェクトが閲覧されて「ゴー」サッケード運動が実行される場合、ゴーターゲットを中心窩視界のサムネイルと置換することは、動作が実行されていることの指標の役割を果たすことができる。この視界は、デバイスユーザにとって直感的であり心地よいものである。この形態の指標は、誤った対象が選択されてその後表示される場合にオペレーションを素早く「バックアウトする」または反転させることができることにもつながる。
【０４３０】
中心窩視界のサムネイルは、さまざまなモードのうちのいずれかで構成されることができる。
【０４３１】
１．プロセッサが中心窩視界内でオブジェクトまたは全体像を認識できないまたは認識しない場合、固定サイズ（例えば２平方度）の中心窩視界に基づいて単純なサムネイルが構成され得る。
【０４３２】
２．中心窩視界の前景対バックグラウンド領域が認識される（例えば、画面「背景」と比較して画面上のアイコンを見る、壁の前景ブジェクトを見る、空を背景としてオブジェクトセットを見る、など）場合、背景は除去され得て、前景が中心窩視界サムネイルとして表示され得る。
【０４３３】
３．中心窩視界内の顔などの特異なオブジェクトが認識可能である場合、当該オブジェクト（またはオブジェクトの表示）が中心窩視界サムネイルとして表示され得る。
【０４３４】
４．中心窩視界内の複数のオブジェクトが認識される場合、オブジェクトの集団が中心窩視界サムネイルとして表示され得る。
【０４３５】
５．中心窩視界内の認識されたオブジェクトまたは領域は、強調され得る（例えば、例えばＧＩＦ［画像交換フォーマット］プロトコルを用いて、明るくされたり、特異に彩色されたり、輪郭取りされたり、標識付けされたり、または動画化されたりし得る）。
【０４３６】
６．中心窩視界オブジェクトのオーディオクリップまたは表示は、認識および表示プロセスを補完し得る。
【０４３７】
別の例示的な実施例において、ディスプレイの輝度および透明度を制御するために、デバイス着用者の視界の方向が使用され得る。中心窩視界の領域を知ることにより、１）中心窩視界内に表示される情報および２）中心窩視界外（傍中心窩および周辺視界内）に表示される情報のインテリジェント制御が可能になる。
【０４３８】
ユーザが中心窩視界に表示されている情報から目をそらすと、当該情報を表示または更新し続けることは非生産的である。これは、特にビデオクリップなどの任意の形態の動画に当てはまる。したがって、中心窩視界から目をそらすと、閲覧されていた情報は、一時停止および／または伏せられ得る（例えば輝度の減少および／または透明度の増大）。新たな中心窩視界が構築されると、当該領域内の情報は強調され得る（例えば、明るくされ得るおよび／またはより不透明にされ得る）。（特にオブジェクト間に境界が存在する場合の）中心窩視界のエッジのすぐ外側の情報は、「ナッジされて」中心窩視界内のオブジェクトを分離し、および／または、中心窩視界内のオブジェクトを拡大もしくはより眼に見えるようにし得る。
【０４３９】
これらのスキームは、１）それらが閲覧されている領域の指標の役割を果たすという点、２）それらが、不要なサッケードを引き付ける可能性があるコントラスト、動きまたはエッジを抑制することによって周辺の「注意散漫」を減少させるという点、および３）それらが電力および計算リソースを節約するという点で、多様である。ＨＵＤを使用する極端な（しかし一般的な）場合として、ユーザが長期間にわたって表示から目をそらすと、表示の多くの部分または全ては、透明にされ得る。これにより、ユーザは、ヘッドウェアからの注意散漫なしに環境と対話できるようになる。表示は、バッテリ寿命をさらに節約するために、低下処理電力モードで配置されてもよい。
【０４４０】
中心窩視界外でのインテリジェント制御は、中心窩視界内のオブジェクトと適合しない眼球信号の文法的コンポーネントの抑制または排除を含む。例えば、中心窩視界内で顔が観察されている場合、オブジェクトの「コスト」についての情報を取得するための経路は、不一致であり、抑制または排除されることができる。対照的に、観察されている顔についての「プロファイル」情報（例えば、名前、年齢）を取得するためのインタラクタブルまたは経路は、強調され得る。一方、購入される可能性があるアイテムのバーコードを観察するときには、「コスト」インタラクタブルを先頭に持ってくることができる。インテリジェントなコンテキスト依存のメニュー選択は、選択のコンテキスト表示と、現在の中心窩視界内の履歴コンテキストおよびオブジェクトにおけるそれらの選択の数および配置に対する制御とを組み合わせる。
【０４４１】
表示または抑制すべき特定の項目のインテリジェントでコンテキスト的な制御は、情報がデバイス着用者に表示される速度のインテリジェントな制御に対して同様の検討事項を有する。別の例示的な実施例において、情報がデバイス着用者に表示される速度は、コンテキストおよび（デバイス着用者のエクスペリエンスを含む）ユーザパフォーマンスに基づいて調整される。２つのクラスの要因、すなわち１）生理学的要因および２）人的要因またはより具体的には認知人間工学、が、デバイス着用者が有用な情報を知覚できる速度に影響を及ぼし得る。情報表示速度を調整するために使用される原理は、リスト、動画、テキスト、チャート、ビデオ、絵／命令のストリングなどを含む広範囲の情報フォーマットに当てはまる。以下の例示の目的のために、テキスト情報の表示速度を用いて概念を説明する。
【０４４２】
情報制御の生理学的根拠は、読むプロセスの間にサッケード運動を生じさせ得る速度を含む。したがって、このような運動に基づいて知覚を超える速度でデバイス着用者に情報を表示することは効果的ではない。また、長期間にわたって連続的にコンテンツを閲覧しているときのデバイス着用者の「快適さ」の問題もあるが、これは、閲覧されている特定の主題を含む複数の認知人間工学的要因に依存し得る。また、情報の知覚をより大きな塊に「グループ分け」できるいわゆる「速読」に関連付けられる技術もある。
【０４４３】
情報制御の認知人間工学的根拠は、デバイス着用者に関連付けられる複数の要因（例えば知覚および推論の速度）を含む。人間とコンピュータとの対話の場合、それは、表示されている情報内の意思決定の密度も含み得る。複数の質問またはオプションがデバイス着用者に表示される場合、ユーザがスキャンまたは受動的受取り手モードにある場合と同程度に迅速に情報を表示させることはできない。
【０４４４】
生理学および認知人間工学は、質問またはオプションの数、コンテンツの情報密度、デバイス着用者の経験および好みなどを含む複数の要因に基づいて情報の速度が制御される実施例につながる。テキストを表示させる場合、テキストがスクロールされる速度は、眼球運動および信号の最大速度に依存するだけでなく、実際のテキストのコンテキストおよびコンテンツにも依存し得る。例えば、テキストが他のコンテンツへの「リンク」（すなわちハイパーリンク）を含む場合、リンクを選択する機会を提供するためにスクロールを減速させてもよい。テキストの小さな領域内の複数のリンクまたは質問は、表示速度をさらに減速させ得る。（例えば強調のために）拡大されるテキストは、拡大されたテキストが閲覧されるとより高速のスクロールを生じさせ得る。スクロール速度は、コンテンツに基づいて自動的に判断されるてもよく、または例えばコンテンツの著者によってこのような指示が提供されたときに個人によって調整されてもよい。
【０４４５】
故意でない起動を回避するための技術も適用可能である。例えば、動作の対象であり得る（すなわち起動され得る）「リンク」は、画面の指定の領域（例えば中央）内にあるときにのみ起動されてもよい。リンクが選択される（すなわちハイパーリンクであるテキストの方を見る）と、スクロールはフリーズして、１）リンクが選択されたことをユーザに知らせ得る、および／または、２）ゴー信号によってリンクを起動するよりよい機会をユーザに提供し得る。
【０４４６】
情報表示の分解能の予測的制御
さらなる実施例において、情報表示の分解能のインテリジェント制御は、測定されたユーザ視線位置、ならびに、将来の視線位置の予測およびその後の観察のための表示領域の「準備」に基づき得る。高分解能画像の中心窩レンダリング（フォビエイテッドレンダリング）は、眼が中心窩領域での高分解能検知によって構成されるという意味で生体模倣である。人間は、ある距離のところのまたは周辺の別のエンティティの顔および眼を知覚して焦点を合わせるようにさらに進化してきており、および／または、そのような傾向がある。
【０４４７】
中心窩レンダリングの使用は、レンダリングプロセスおよびディスプレイへのデータ送出に関連付けられる多数の問題に対処すると理解される。これにより、周辺領域における分解能が低い状態で、中心窩領域における高分解能およびユーザの視野の傍中心窩領域における相当に高いレンダリングが可能になる。高分解能表示への焦点合わせリソースは、表示情報がリモートデバイスから取得される場合に、電力、計算資産および／または帯域幅を残しておくことができる。
【０４４８】
中心窩観察のオブジェクトになるよう運命づけられている表示の領域を予測できることは、特に円滑追跡またはサッケード眼球運動が実行されるときになされ得る。オブジェクト（例えば追跡オブジェクト）を追従する円滑追跡中は、観察者は、均一な経路を追従および予期する傾向がある。オブジェクトの経路の突然の変化は、円滑追跡メカニズムと整合性が取れない。仮想オブジェクトの場合、経路（したがって予期される視線方向）は分かっている。したがって、円滑追跡に「先んじて」、中心窩領域において高分解能表示を維持することが可能である。
【０４４９】
サッケード運動の弾道的性質は、サッケード立ち上がりから少したってから、サッケード着地領域を予測することを可能にする。これにより、ユーザの視線の到着に間に合うように高分解能表示レンダリングを行いながら着地領域を「準備する」ことができるようになる。
【０４５０】
認知に基づく仮想オブジェクトの導入および除去
別の実施例において、表示内に導入または変更されるオブジェクトが、１）注目を引き付ける態様で表示されるか、２）注意散漫を回避する態様で表示されるかを制御するために対策が講じることができる。アプリケーションのいくつかの局面の間は、オブジェクトまたは位置に注目を引き付けることが望ましいであろう。例えば、段落内の特定の位置にテキストが挿入される場合、または探索のために特定の地図位置が拡大される場合には、実行されている動作（例えば起動サッケードの追従）の焦点に眼を引き戻すことが望ましいであろう。
【０４５１】
一方、選択プロセスを開始させるためにインタラクタブルが導入される（すなわち、随意サッケードのための複数のターゲットを提供する）場合には、新たに導入されるオブジェクトの各々または全てに対する測量サッケードの生成を回避する態様でそれらのインタラクタブルを導入することが望ましいであろう。注目を引き付けることなくオブジェクトを導入するために設計要因が組み入れられ得る。これは、他の箇所では、オブジェクトの出現を「目立たないように目に見える」ようにすると称される。
【０４５２】
オブジェクトへの注目度合いを制御するために使用可能な要因の大分類は、単純な用語、すなわち１）何が、２）どこで、３）いつおよび／または４）どのようにして、によって説明することができる。以下のセクションでは、注目を引き付けるまたは注意散漫を回避するために要因のこれらの分類の各々がいかにして利用され得るかということが説明されている。それらは、アプリケーション設計者による直感的で視覚的に快適な眼球信号の形成における重要なコンポーネントである。
【０４５３】
１．「何が」という用語は、導入されている１つ以上のオブジェクトの視覚的特性を指す。オブジェクト構造は、以下の特性、すなわちサイズ、色、輝度、透明度、背景と比較したコントラスト、オブジェクト内のコントラスト、構造的複雑さおよび／または動的制御、のうちの１つ以上を含み得る。
【０４５４】
注目を引き付けるように設計されたオブジェクトの導入は、大きく、その色の点で大胆であり、高輝度で表示され、不透明であり、背景と比較して高コントラストで表示され、相当な量の高コントラスト詳細を含み、および／または、変化するダイナミクス（例えば、輝度、色の変化、動き、動画（以下を参照））を有し得る。これらの特徴の任意の組み合わせが、眼を引き付けるよう意図されるオブジェクトまたはインタラクタブルを設計するための基礎として使用され得る。他の要因は、意図された意味、使用頻度、関連付けられる動作の「重要性」を含み、動作の集団もオブジェクト設計に影響を及ぼす可能性がある。
【０４５５】
一方、注意散漫を回避するように設計されたオブジェクトの導入は、小さく、彩色が抑えられ、低輝度で表示され、部分的に透明であり、背景と比較してコントラストが低く、内部／周縁エッジが少ないかまたはぼやけた状態で表示され、および／または、比較的単純な形態で静的に配置され得る。彩色が抑えられたオブジェクトおよびインタラクタブルの設計の最も単純なものは、例えば頻繁に表示および／または使用される動作との関連付けのために取っておかれてもよい。
【０４５６】
オブジェクトの視覚的特性（例えば、サイズ、輝度など）のうちの１つ以上の漸次的レベルも、眼球信号のシーケンスのコンテキストおよび確率論的性質を前提として眼球信号に関与する「重要性」または可能性を示すために使用され得る。
【０４５７】
２．「どこで」という用語は、以下のもののうちの１つ以上に対するオブジェクトの配置位置を指す。以下のものとは、同一または同様のオブジェクトの履歴的配置、（表示エッジおよび境界を含む）表示全体、隣接するオブジェクト（クラスタリング）、現在の視線位置、および現在のオブジェクト配置の直前のオブジェクトまたは背景である。
【０４５８】
記憶は、新たに表示されるオブジェクトが注目を引き付けるか否か、および探索的サッケードが引き起こされる場合には眼球運動が記憶誘導性（すなわち高速）であるか否かを判断する上で非常に重要な役割を果たし得る。以前に特定の位置で何度も見られたオブジェクトは、さらなる注目を引き付けない傾向がある。これは、頻繁に使用されるオブジェクトおよびインタラクタブルを同一の位置で（すなわちさまざまな動作およびアプリケーションにわたって）繰返し導入することによって利用可能である。
【０４５９】
空間的参照も、新たに導入されるオブジェクトが「新規」なものである（すなわち注目を必要とする）か否かを個人が判断する上で重要な役割を果たす。表示エッジおよび形状および固定位置表示参照は、より「ルーチン的」対新規の情報が出現し得る場所についての空間的手がかりを提供する。アプリケーション設計者は、オブジェクト、特に記憶誘導性サッケードのためのターゲットであるオブジェクトを、このような視覚的手がかりに基づいて容易に特定可能な位置に位置決めするために空間的手がかりを活用することができる。例えば、設計者は、表示のより中央の領域に情報コンテンツ（絵、ビデオ、テキストなど）を表示し、周辺エッジ付近に選択可能なインタラクタブルを表示するように選択してもよい。
【０４６０】
探索的サッケードを回避するために、同様の外観および／または機能を有するオブジェクトは、例えば表示の１つ以上の側部に沿って空間的にクラスタ化され得る。これは、特定のメニュー選択を「探す」過剰な調査的サッケードを回避する傾向がある。例えば、全てのテキスト編集機能（例えば、削除、置換、挿入）は、表示の特定の領域内に配置されてもよい。この領域を閲覧するために記憶ベースのサッケードが使用され得る。たとえデバイス着用者が特定の機能の正確な位置を思い出さなくても、その後、サーチサッケードは当該領域に制限されることができる。
【０４６１】
デバイス着用者の現在の視線位置の知識も、新たな表示オブジェクトの導入中に注目を引き付けるかまたは注意散漫を回避するための有益な入力を提供する。観察者の中心窩視界内で閲覧されるときに構造的詳細に変化が生じると注目を維持する強い傾向がある。したがって、注目の維持は、閲覧中に構造的詳細を生成および／または変更することによって実現可能である。一方、細部構造を減少または排除する（すなわちギャップ効果を生じさせる）ことにより、別の位置を見る傾向が生じる。
【０４６２】
対照的に、オブジェクトの細部構造の変化は、中心窩視野内ではない表示領域（すなわち傍中心窩および周辺視界）では大部分は気付かれない。これは、細部構造をオブジェクトまたはインタラクタブルに追加することによって、またはデバイス着用者の中心窩視界外の表示領域では注目を引き付けることなく既存のオブジェクト形態を変更することによって利用可能である。視線位置が変化すると、その後、さまざまな表示領域は、探索的サッケードを引き付けることなく変更され得る。このように、ユーザがさまざまな領域を閲覧するとき、注意散漫なしに全画面を漸進的に「更新」することができる。メニューオブジェクトおよびレイアウトの注意深い設計によって、多様なコンテキスト依存のメニューオプションから選択する機能を維持しながら注意散漫の可能性を最小限にすることも可能である。これは、全体的なオブジェクトまたはインタラクタブルの輪郭の変化を最小限にし、主に中心窩視界内で観察可能な細部構造におけるさまざまな選択を示すことによって、設計により実現可能である。
【０４６３】
同様の方向性に沿って、オブジェクトの位置を注意深く選択することによって、オブジェクト間の遷移中の時間差および／またはオブジェクトと表示背景との間の区別を利用して、デバイスユーザによる注目を向上または抑制することができる。新たに導入されるオブジェクトが、置換されるオブジェクトと比較してサイズ、形状および／または中心位置の点で実質的に異なっている場合、以前のオブジェクトの消失も新たなオブジェクトの導入も注目を引き付けるのに役立つ。一方、新たに表示されるオブジェクトが以前のオブジェクトに重畳されるように位置決めされる（すなわち、遷移する画素の数を最小限にする）場合、注意散漫の可能性を最小限にすることができる。
【０４６４】
３．「いつ」という用語は、以下のもののうちの１つ以上に対するオブジェクトの導入のタイミングを指す。以下のものとは、起動および他の眼球信号時間的参照、サッケードおよび他の眼球運動、およびまばたきである。
【０４６５】
眼球信号の初期ステップに基づいて「予想」されるオブジェクトまたはインタラクタブルの導入は、デバイス着用者をびっくりさせて探索的サッケードを生じさせることがない傾向がある。これは、ユーザがシーケンスを繰返し見た場合、および／または、ユーザがシーケンスを以前に使用した場合に、特に当てはまる。したがって、アプリケーション設計者は、快適さおよび性能を向上させるために、一貫した予想される時刻にインタラクタブルを繰返し導入し得る。
【０４６６】
「変化の見落とし」として知られている概念は、視覚的刺激を気付かれることなく観察者の視野に導入することができる技術を指す。これらの技術は、ちらつきまたは注意散漫の間の（例えばいわゆる「マッドスプラッシュ（mudsplash）」の間の）アラート、焦点が前景に合わせられている間の画像の背景の変更、領域が観察されていないときの変化の導入、または、脳内のニューラル処理（すなわち注目期間に関連する）メカニズムに挑む速度での色もしくは形状のゆっくりとした変更（すなわちモーフィング）を含む。
【０４６７】
サッケード中、デバイス着用者は、基本的には「盲目」である（すなわち、視覚野は、知覚の目的のためにニューラル入力を処理していない）。このときを使用して、注目を引き付けることなく新たなオブジェクトを視野に導入する（または古いオブジェクトを視野から除去する）ことができる。実際、「変化の見落とし」を用いて、「盲目」であるとき（例えばサッケード中）に導入されたオブジェクトは、中心窩視界内で具体的に探されるまで知覚されることさえない。これは、オブジェクトおよび／またはインタラクタブルを時々導入する理想的な機会を提供する。
【０４６８】
図２０は、サッケード中に不透明度の階段状変化によって新たなオブジェクトが導入されるときを示す。上部のトレースは、測定されたＸ（すなわち水平）視線位置２０３０および測定されたＹ（すなわち垂直）視線位置２０３１を表わす。２０３２においてサッケード眼球運動の開始が検出されると、２０３３においてサッケードの間に不透明度が所望のレベルに変更される。サッケードの開始に対する同様のタイミング検討事項を使用して、色、コントラスト、輝度、詳細などを含むオブジェクトの他の主要な特性のうちの１つ以上を変更することができる。
【０４６９】
まばたきの間に注目を引き付けることなくオブジェクトを導入する（すなわち、眼が閉じられているときにオブジェクトが導入される）ために同様の戦略が使用され得る。逆に、注目を引き付けるよう意図された導入されたオブジェクトは、デバイスユーザが明らかに表示を閲覧しているとき、またはまばたきとサッケードとの間に、表示され得る。
【０４７０】
４．「どのようにして」という用語は、１つ以上のオブジェクトを導入するプロセス中に以下の動的要素のうちの１つ以上の調節または制御を指す。以下の動的要素とは、サイズ、色、輝度、透明度、構造的詳細、位置（すなわち水平および／または垂直運動）および回転である。
【０４７１】
一般に、注目を引き付けるように設計されたオブジェクトの初期形成のダイナミクスは、オブジェクトのサイズ、色、輝度、透明度および／または構造的詳細の点での高速導入に焦点を合わせる。これらの要素のうちのいずれかまたは全ては、導入されると、大半の人間が容易に知覚できる速度で（すなわちおよそ０．２〜５秒の繰返し率で）動的に調節され得る。オブジェクトの輝度を調節する場合、これは「まばたき」として知覚されるであろう。オブジェクトのサイズの調節は、「ズーム」インおよびアウトとして知覚されるであろう。オブジェクトの位置および／または回転の動的な調節は、傍中心窩および周辺視野において動きを検出するように設計された神経回路のために、注目を引き付ける上で特に効果的である。オブジェクトの位置および／または回転の動的制御は、一般に、観察者によって「振動」と呼ばれるであろう。
【０４７２】
注目を引き付けることなく（および後続の探索的サッケードなしに）オブジェクトを導入する重要な技術は、以下の動的要素、すなわち１）徐々におよび／または２）デバイス着用者が「盲目」である期間中、のうちの１つ以上の導入を含む。図２１は、これらの原理を両方とも活用するオブジェクト表示シーケンスを示す。上部のトレースは、測定されたＸ（すなわち水平）視線位置２１３０および測定されたＹ（すなわち垂直）視線位置２１３１を表わす。この例では、オブジェクトを視野に導入するためにオブジェクト不透明度の調節が使用される。オブジェクトは、２１３４において漸次的な態様で（すなわち、上記の透明度の「階段状」変化と比較して）導入され、２１３２におけるサッケードの最初の検出時に開始して、２１３３におけるサッケードの終了前に終了する。漸次的導入は、色、コントラスト、輝度、詳細などを含むオブジェクトの他の個々のまたは複数の（すなわち同時の）特性を変更するためにも使用され得る。
【０４７３】
個人の注目期間と比較して、オブジェクトの漸次的導入は、単一サッケードの期間に限定されると比較的速いままである。「変化の見落とし」を活用する別の技術は、より長期間にわたってオブジェクトを導入するというものである。一般に観察者によって知覚されない画像内の変化の漸次的導入に基づく多くの視覚的錯覚が開発されてきた。大半の錯覚は、数秒にわたって生じる変化に基づく。単に注目を引き付けない（すなわち問題がそれほどない）ように設計された変化は、より短い期間にわたって導入され得る。変化は、サッケード中に開始されるように選択される場合もあれば、そのように選択されない場合もある。
【０４７４】
漸次的変化の時間依存性の一例が図２２に示されている。上部のトレースは、測定されたＸ（すなわち水平）視線位置２２３０および測定されたＹ（すなわち垂直）視線位置２２３１を表わす。この例では、オブジェクトの輝度は、観察者によって明らかに目に見えるまで（すなわち探し出されるとき）、２２３３において徐々に増加される。この輝度プロファイル２２３３は、オブジェクト特性の「非線形」変化の導入も示している。この場合、輝度の変化の期間の初めおよび終わりは、輝度プロファイルの中央部分よりもゆっくりとした速度で変更される。これにより、輝度増加プロファイルの（「加速」に類似した）変化速度の突然の変化が回避される。
【０４７５】
経時的に徐々にオブジェクトの構造的詳細を遷移させることは、当該技術分野において「モーフィング」として知られている。ゆっくりと行われると、モーフィングされたオブジェクト内の変化は、気付かれない。（注意散漫を生じさせることなく）ユーザが利用できるようにオブジェクトをモーフィングすることは、表示背景または同一の位置を占めていた以前のオブジェクトから始まって実行され得る。例えばオブジェクトが比較的均一な背景からモーフィングされると、構造的詳細の漸進的な増加があり得る。
【０４７６】
一方、大胆なオブジェクト特性を有するモーフィング技術が、注目を引き付けるために利用されてもよい。例えば、だんだん大きくすることによってオブジェクトを「成長させる」ことは、調査的サッケードを引き付ける傾向がある。（例えば、現在の視線位置から視線が向けられている位置の方に、表示領域のエッジまたは中心から、など）大距離にわたるオブジェクトの移動を使用して、眼球運動を具体的に誘導することができる。
【０４７７】
「目立たないように目に見える」オブジェクト特性の調節された導入を含むアプローチの別の変形例は、いくつかのサッケードおよび／またはまばたきにわたってより小さな振幅変化をオブジェクト特徴に導入するというものである。上記のように、オブジェクトの特徴（例えば、サイズ、色、輝度、透明度）は、サッケードまたはまばたきの最中などの「盲目」の期間中に導入され得る。複数のサッケードおよび調節された特徴の導入の使用は、図２３に示されている。
【０４７８】
図２３における上部のトレースは、測定されたＸ（すなわち水平）視線位置２３３０および測定されたＹ（すなわち垂直）視線位置２３３１を表わす。この例では、オブジェクト不透明度は、２３３２ａ，２３３２ｂおよび２３３２ｃにおける３つのサッケードの期間にわたってインクリメントに増加される。２３３３ａ，２３３３ｂおよび２３３３ｃにおける３つの対応する期間にわたって、完全に目に見える状態が実現される。より一般的には、任意の数のサッケード、まばたき、またはデバイス着用者が表示から目をそらす期間にわたって、任意の特徴または特徴の組み合わせが導入され得る。
【０４７９】
同一の選択の多くは、表示からのオブジェクトの消失を制御するためにも使用され得る。オブジェクトが別のオブジェクトと置換されようと背景と置換されようと、（最も頻繁には気を散らすサッケードを回避するための）オブジェクト除去のタイミングおよび構造化は、新たなオブジェクトを導入するために利用されるものと同一の原理および技術を利用することができる。
【０４８０】
ユーザの意図を識別するための機械学習アプローチ
眼球信号の形成中に特に有用である意図の眼球運動分類の一例は、眼球運動が「目的のある」ものであるか否かの判断である。これは、一般に、生理学的な「不随意」眼球運動と「随意」眼球運動との区別に関連する。不随意眼球運動は、意識的制御下になく、したがって眼との通信に関してほとんど寄与しない。随意眼球運動は、意識的制御下にあり、したがって眼球信号の形成において目的のある意図を伝えるために使用され得る。
【０４８１】
特定の眼球運動が「目的のある」ものであるか否かについての知識は、例えば眼球信号を実行する際に故意でない起動を回避するために使用され得る。これは、起動シーケンスの実行を識別するために使用される基準（例えば、ターゲット空間位置、時間）を調整する（すなわちより厳しくする）ことによって実現可能である。眼球運動が目的のないものであるように見える場合、起動インタラクタブルへの短時間の固視は無視することができる。逆に、眼球運動が目的のあるものであるように見える場合、例えば起動領域の方への注視に対する応答をスピードアップすることができ、より迅速に眼球信号を実行することが可能になる。「目的のある」眼球運動が行われていることが既に識別されている場合、いくつかの眼球信号シーケンスを低減または排除することさえ可能である。
【０４８２】
さらに、目的があることの判断は、他の検知されたデータによって通知されてもよい。このような感覚データの例は、頭部の動き、顔の動き、手の動きおよび他の定量化可能なデータを含む。さらに、上記のように、コンテキストは、オブジェクト−視線に特有のコンテキストとともに、目的があることの判断を支援することができる。
【０４８３】
「目的のある」対不随意の眼球運動のロバストな分類のために、複数の尺度を同時に検討する必要がある。これらの尺度は、サッケード立ち上がり遅延、ピークサッケード速度、サッケードによってカバーされる角距離、円滑追跡中の移動距離、修正的サッケードの数、固視時間などを含み得る。言い換えれば、このような分類は、一般に多変量である。このようなデータのための分類アプローチは、１）統計的手法および２）ニューラルネットワーク手法を使用し得る。
【０４８４】
統計的アプローチは、当該技術分野において周知の技術を含む。このようなアプローチの例は、線形分類器、二次分類器およびベイズ統計を含む。一般に、教師あり学習（すなわち結果を正確に特定するデータセットがどこで利用可能であるか）が機械学習に使用され得る。訓練および検証データセットは、例えば眼球運動が「目的のある」ものであるか否かを、眼球信号が実行されるときにリアルタイムで、（例えばスイッチを押すことによって）デバイス着用者に指摘させることによって収集され得る。このようなデータを取得するための一般的で使いやすい機構は、目的のある眼球運動がなされるときにコンピュータマウスのボタンを押すことを含む。次いで、既知の結果を有するこのようなデータセットは、一般に、訓練（すなわち機械学習）に使用されるセットと、検証に使用されるセットとに分けられる。
【０４８５】
同様に、正確に特定された結果を有するデータセットは、ニューラルネットワークまたは深層学習分類アプローチの訓練および検証にも使用され得る。バックプロパゲーションなどのニューラルネットワークを訓練するための方法は、当該技術分野において周知である。多数の中間（またはいわゆる「隠れ」）層および（数百万〜数十億の範囲の）相互接続部を有するニューラルネットワークのアプリケーションは、しばしば「深層学習」と称される。これらは、眼球運動パターンおよび他の感覚入力に基づいてユーザの意図を識別することに理想的に適している。
【０４８６】
多くの人工知能（ＡＩ）またはニューラルネットワークベースの分類アプローチを使用すると、さまざまな入力間の相対的重要性もしくは対話などの要因を把握すること、または、確率論的情報を挿入してネットワークを向上させることは通常困難である。しかし、訓練されると、神経網ベースのインプリメンテーションは、非常に高速であり、記憶効率も電力効率もよいであろう。また、神経網は、中央処理装置（central processing unit：ＣＰＵ）リソースを利用することなく（例えばＦＰＧＡ内の）ファームウェア論理において直接的に容易に実現可能である。
【０４８７】
図２４は、視線位置２４００および他の入力２４０７を２４１３におけるユーザの意図にアルゴリズム的に変換するニューラルネットワークの一例を示す。測定された視線位置２４００は、「ｎ」個の位置（Ｘ０，Ｙ０），（Ｘ１，Ｙ１），... （Ｘｎ，Ｙｎ）の先入れ先出し（first-in first-out：ＦＩＦＯ）バッファに転送される。座標Ｘ０２４０１，Ｙ０２４０２は、最も最近に取得された視線位置を表わす。新たな視線位置が取得されると、Ｘ０２４０１およびＹ０２４０２として以前に記憶された値は、座標Ｘ１２４０３，Ｙ１２４０４に転送される。この転送プロセスは、最終座標Ｘｎ２４０１，Ｙｎ２４０２における値が廃棄されるまでＦＩＦＯバッファ内で繰返される。眼球信号のためのターゲット位置２４０７を含むさらなる入力も、ニューラルネットワークに供給され得る。
【０４８８】
図２４に示されているネットワークの場合、視線座標（Ｘｉ，Ｙｉ）は、神経網への主要な入力として示されている。これは、一定のサンプリングレートで判断される視線座標に適しているであろう。不均一なサンプリングレートが利用される場合、または、サンプリングされたデータが下記のように眼球運動に変換される場合、測定が行われる時刻Ｔｉは、ニューラルネットワークへの入力（Ｘｉ，Ｙｉ，Ｔｉ）として含まれ得る。
【０４８９】
この例示的なネットワークは、入力層２４０８で構成される。この入力層２４０８は、２４０９において中間層２４１０と完全に相互接続されている。次いで、この中間層２４１０は、２４１１において、出力層２４１２に相当する（この例では）単一のノードと完全に相互接続されている。相互接続部２４０９，２４１１は、アルゴリズムの重要なコンポーネントであり、１つの層から次の層に値を運ぶ重み係数を表わす。この単純な図の最終出力は、「目的があること」などの何らかの形態の意図を表わす値２４１３である。
【０４９０】
個人のための最も正確な分類スキームは、個人からのデータおよび訓練に基づく。これは、眼球運動を制御する厳密な神経経路、筋力および眼の周囲の解剖学的構造などの要因の個人間のばらつきの結果として生じる。個人に基づく訓練の前には、個人の集団に基づいて訓練された「一般的な」分類スキームを使用することが可能である。個人のデータを使用して分類アプローチ（例えば統計的またはニューラルネットワーク）が訓練されると、当該個人に関連付けられる係数がキャリブレーションパッケージの一部になり得て、当該キャリブレーションパッケージは、デバイスが再装着されるときに各個人ごとに検索されて再ロードされる。
【０４９１】
例示的な実施例において、「目的のある」ユーザの意図を識別するための分類プロセスへの主要な入力は、視線位置の座標である。眼球運動のシーケンスならびに一時停止、速度および加速度（すなわち眼球運動のシーケンスから導出可能なもの）を考慮に入れるために、現在時刻に至る複数の時刻に取得された画像内で測定された眼球位置の座標が、入力として含まれ得る。
【０４９２】
特に高速サッケード眼球運動中にエイリアシングを回避するために、眼球位置を判断するための取得画像のフレームレートは、数百フレーム／秒の範囲内である必要がある。分類のための入力の総数は、意図に関連付けられる動作の「注目期間」も考慮に入れることができる。例えば、このようなデータのうちのおよそ１秒以上が、「目的のある」動作を識別するために使用されてもよい。したがって、一定のサンプリングレートを用いてデータが表現される場合、視線位置に関連付けられるネットワーク入力の総数は、２を乗じた「注目期間」を乗じたサンプリングレートに等しく、２は視線位置を表わすために使用される座標（Ｘ，Ｙ）の数である。
【０４９３】
目的のある眼球運動が実行されているか否かを識別するために、分類計算に他の入力が（任意におよび／または利用可能であるときに）含まれてもよい。視線座標に対して表わされるユーザの視野内のオブジェクトの位置は、識別力のある入力であり得る。目的のある眼球運動の潜在的ターゲットとしての選択可能なインタラクタブルの座標は、特に有益である。逆に、起動のためのターゲットではない視野内のオブジェクトの位置は、調査的眼球運動によって探索される可能性が高い。目的のある眼球運動が行われているか否かを識別することに役立つ他の入力は、瞳孔ジオメトリのサイズおよび変化（例えば、収縮または拡張）、頭部の動きなどを含む。
【０４９４】
予測的な構造化された深層学習ネットワーク
いわゆる「深層学習」機械学習アプローチは、多数の隠れ層および関連付けられる重みまたはシナプス結合を利用する。深層学習ネットワークは、さまざまなレベルの抽象化を表わすことができる一連の非線形処理ユニットを使用する。畳み込みディープネットワーク、ディープボルツマンマシン、ディープカーネルマシンおよびディープＱネットワークを含む多数の異なる深層学習アーキテクチャが開発されてきた。深層学習ネットワークは、コンピュータビジョン、音声認識、バイオインフォマティクスおよび複数の他の分野に適用されてきた。
【０４９５】
眼球信号に対する深層学習アプローチの使用は、「時系列」データ分析として分類され得る。言い換えれば、眼球信号は、経時的に測定された片眼または両眼の一連の位置（Ｘ，Ｙ）から認識され得る。音声認識も、時系列分類問題である。したがって、音声認識で使用される数学的アプローチおよび分類アプローチは、一般に、発話が概して単一の音声データチャネル（通常はフーリエ級数に変換される）から認識されるという明白な特性を有する眼球信号認識に適用可能であるのに対して、眼球位置は、少なくとも２つ（片眼の場合）または４つ（両眼の場合）の値（水平および垂直位置を表わす）によって毎回表わされる。この違いは、ディープネットワークの入力層によって容易に対処可能である。
【０４９６】
時系列ニューラルネットワーク分析は、１）認識および／または２）予測を行うために適用可能である。眼球信号分析の場合、これらの両方の機能を利用することができる。デバイス着用者の動作または意図を知らせるための一連の眼球運動の認識は、眼球信号言語にとって重要である。（たとえほんの一瞬であったとしても）将来を予測または予想できることは、複数の実際的かつユーザエクスペリエンスが向上した結果を有する。
【０４９７】
・眼球運動の予定位置を予想することによって、特定の「関心領域」（ＲＯＩ）をカメラ画像内で指定することができる。このＲＯＩのみが、分析のために最初にカメラから１つ以上のプロセッサに転送され、電力およびリソースを節約することができる。
【０４９８】
・いくつかの予測可能な眼球運動（例えばサッケード）中は、短期間にわたってカメラをオフにすることが可能であり、電力を節約することができる。
【０４９９】
・片眼または両眼の位置をサーチするアルゴリズムは、最初にこのような予想位置でサーチし、電力および計算リソースを節約することができる。
【０５００】
・ユーザに対する情報の表示は、眼球運動を予期するように変更することができる。例えば、サッケード眼球運動のターゲット仮想オブジェクト（すなわち「インタラクタブル」）は、置換されるかまたは表示から除去されてもよく、サッケード着地前に他のオブジェクトが導入されてもよい。着地箇所と今しがた閲覧されたオブジェクトのサムネイル画像との置換は、長期記憶から思い出す必要がない「なじみのある」光景（上記）の原理を使用する。
【０５０１】
・代替的に、ターゲットオブジェクトの除去は、いわゆる「ギャップ効果」を利用して、視覚野による処理を「解放し」、その結果、眼はより迅速に次の閲覧可能なオブジェクトに移ることができる。
【０５０２】
・単一の単純な動きによってその後起動され得る（キーボードを用いた予測的テキスト入力とよく似た）眼球信号シリーズの動作を予測することも可能である。
【０５０３】
サッケード着地を予期する際の表示領域の「準備」は、眼球信号言語の使用を「スピードアップする」ための重要なコンポーネントである。将来を予測する、または将来に向けて事象を予期する機能は、複数のさらなる状況において適用可能である。
【０５０４】
例えば、まばたきが行われようとしていることを予期するために、まぶたおよび／またはまつげの動きが使用され得る。まばたきが開始されると、当該システムは、まばたきの期間（通常は０．３〜０．４秒）中はユーザが機能的に盲目であると予期することができる。この時間の間は、フレームレートを減少させることによって電力を節約することができ、ならびに／または、注目を引き付けない態様でインタラクタブルおよび／または他のオブジェクトを導入することができる。さらに、眼球信号言語内の選択または起動の機能的能力は、「一時停止」に配置されることができる。このモードは、特定のオペレーションについてのタイミング検討事項を調整するために使用され得る。
【０５０５】
円滑追跡は、サッケード（すなわちより多くの時間がかかる）よりもはるかにゆっくりとしている。したがって、追跡されるオブジェクトの動きが停止したことをシステムが認識しない限り、円滑追跡がしばらくの間継続するであろうと予期することができる。この時間の間は、当該システムは、サッケードまたは他の形態の眼球運動に関連付けられる、ユーザによって選択可能なオプションを「抑制する」ことができる。
【０５０６】
振動、トレモアおよび他の形態のより小さな眼球運動は、（個人に特有であり得る）特徴的な繰返しパターンを有する。このような繰返しパターンが認識されると、全体的眼球位置に対するこのパターンの寄与を将来に向けて予測することが可能である。測定された眼球位置に対するこのような不随意（すなわち目的のない）振動の寄与を予測する（および「差し引く」）ことによって、眼球運動のいかなる目的のあるコンポーネントもより正確に評価することができる。
【０５０７】
厳密には将来に向けての予測ではないが、二次元画像化システムによってモニタリングされたときの眼の三次元構造に起因する極端な眼球位置（すなわち、左右、上下）の測定における空間ひずみは、眼球位置に基づいて「予測」され得る。ここでも、このような動きの間に生成される空間ひずみは、測定された位置から「差し引かれ」、目的のあるコンポーネントをより正確に判断することができる。
【０５０８】
将来に向けて予測する機能は、測定された方向および速度に基づいて、ニューラルネットワークまたはより従来的な分析アプローチを用いて実行可能である。強調のために繰返すと、最小の量（数十ミリ秒〜数百ミリ秒）でさえ将来を予測して眼球信号および他の事象を予期する機能は、より直接的に眼球信号を動作にリンクさせることによってユーザエクスペリエンスの快適さレベルを完全に変えることができる。同様の状況において、（たとえほんの一瞬であったとしても）話している人からの音声が表示されるときに話者の口元のビデオを見ることは「不快」である。
【０５０９】
深層学習を用いて眼球信号を識別する特別な利点は、眼球運動の自由度または「レパートリ」の数が比較的制限されることである。上記のように、眼は、収縮力を適用できる６つの筋肉によって制御される。この解剖学的制約は、生理学的および神経学的処理制約（これも上記されている）と結び付けられると、人間で起こり得る眼球運動のタイプおよび範囲に対して限界を課す。したがって、ほどほどのサイズのディープネットワークをこのような眼球運動の全レパートリの特定の方に「訓練する」ことが可能である。
【０５１０】
眼球信号の判断にニューラルネットワークを使用することの別の利点は、起動につながる上首尾の一連の眼球運動を記録して「誤り」を特定することを連続的にできることである。故意でない起動または「誤り」は、動作を「アンドゥ」または修正するように実行される後続の一連の眼球運動として認識され得る。したがって、故意でない起動を生じさせる眼球運動パターン、または逆に、意図された動作を生じさせるパターンは、連続的な神経網訓練（すなわちフィードバック）に容易かつ連続的に利用可能である。
【０５１１】
さらなる実施例において、ユーザの「意図」の他の局面を識別するために同様の分類アプローチが使用されてもよい。このような分類出力は、「顕著性」（関心および重要性にさらに分割され得る）、無関心、見られているものを「記憶」したいと思うこと（すなわち個人の拡張記憶［Personal Augmented Memory：ＰＡＭ］）、嫌悪、幸せ、（例えばゲームをしているときの）怒りなどを含み得る。この場合、さらなる識別力を分類スキームに提供するためのさらなる入力が利用可能にされ得る。これらは、時刻、日付、ユーザ位置（例えば、屋外、寝室内）、行動（例えば、運転している、テレビを見ている）、頭部および身体のその他の部分の動きなどを含む。訓練および検証のためのデータセットは、さまざまな意図を有する行動を行っている間のユーザ報告行動および／または意図を含み得る。
【０５１２】
さらに他の実施例において、ユーザの「心理」の他の局面を識別するために同様の分類アプローチが使用されてもよい。「心理」と上記の「意図」との間の違いは、「心理」分類のより受動的または受容的性質である。しかし、この違いは硬直的なものではない。なぜなら、例えば、ゲームを行っている間は一般に幸せであり得て（眼球運動はこのような心理を反映し得る）、または幸せにしてくれるものとして画像の表示に応答し得るからである。「心理」の結果は、疲労、恐怖、恐怖症、認知的負荷、ストレス、魅力などを含み得る。ここでも、訓練および検証のためのデータセットは、さまざまな光景および画像を閲覧している間および／またはさまざまな行動に参加している間のユーザ報告心理で構成され得る。
【０５１３】
このような大きなネットワークの構造化は、例えばコンテキストに基づき得る。ネットワークの一部は、特定のメニュー選択が表示されるときまたはオブジェクトの特定のクラスを見るときの意図の識別に対する関与が大きくなるようにされることができる。デバイス着用者によって観察されているものをネットワークが「知る」ようにすることによって、より構造化されたおよび／または高速の神経網訓練が可能になり、よりロバストな深層学習結果が可能になり、より高速かつ正確な眼球信号に対する応答につながる。
【０５１４】
図２５は、既知の量がネットワーク領域および特定のネットワーク層において具体的に符号化される深層学習（またはいわゆる「ディープビリーフ」）ネットワークの一例である。眼球信号の場合、表示される眼球信号メニューは、システムに知られている。したがって、ディープニューラルネットワークの特定の領域は、各々の見込まれるメニューに当てられ得る。最初のネットワーク層内の４つの領域２５３０ａ，２５３０ｂ，２５３０ｃ，２５３０ｄは、特異なメニューに対して初期処理を実行するように示されている。さらに、各眼球信号メニュー内のターゲット（例えばインタラクタブル）位置２５３１は、既知であり、ネットワークに供給可能である。また、追跡オブジェクトなどの重要な要素の運動プロファイルは、システムに知られている。これらの位置も、訓練およびロバスト性の向上のためにネットワークに供給可能である。
【０５１５】
セグメント化された領域２５３０ａ，２５３０ｂ，２５３０ｃ，２５３０ｄは、ネットワーク内のより抽象化されたまたは一般的な隠れ層２５３３と組み合わせられ得る。さらなる実施例において、眼球運動の生理学的および解剖学的制約２５３２（上記）をネットワーク層内で使用して、学習プロファイルに対して制約を課し、分類（例えば円滑追跡対サッケード運動）を支援することができる。抽象化のより深いレベルでは、さらなる限界または制約２５３４が特定の結果に対して課され得る。例えば、デバイス着用者が２つ以上の特異なプロセスを伝えることは不可能であり、または「幸せである」と「悲しい」とに同時に分類されることは不可能である。最終的に、ネットワークは、眼球運動を含む入力２５３５を、デバイス着用者の意図および状態を表わす出力２５３６に変換する。
【０５１６】
機械学習計算リソースの配分
一般に、ウェアラブルコンピューティングは、局所的に利用可能な計算リソースに対して制約を課す。これは、デバイスの電力要件、物理的サイズおよび配置要件、熱放散などの結果として生じる。したがって、１つ以上のリモートプロセッサを用いて分類および予測に関連付けられる処理のうちのいくつかまたは全てを実行することが必要であり得る。快適なオペレーションに必要な計算リソースの配分および応答時間に応じて、処理タスクの配分はさまざまな方法で実行可能である。
【０５１７】
神経網アプローチは段階に分解でき、１つ以上の段階はリモートで実行可能である。例えば、画像から眼球位置を特定することに対する深層学習アプローチは、特に高フレームレートで結果を取得する際の時間遅延を回避するためにローカルで実行されてもよい。判断された眼球位置は、その後、ユーザの意図を識別するためにリモート処理リソースに送られ得る。このような結果（例えばユーザの疲労）は、一般に時間的に制約を受けるものではない。
【０５１８】
深層学習サブタスクをさまざまなローカルおよびリモート処理ユニットに分配することも可能である。これらの計算リソースのうちのいくつかは、複数の処理ユニット、グラフィック処理ユニット（graphical processing unit：ＧＰＵ）、ならびにＦＰＧＡおよびＡＳＩＣなどの組み込み型処理のハイブリッド混合体を含み得る。
【０５１９】
クラウドベースのアプローチは、個々のデバイスユーザに特有の情報へのアクセスも含み得る。例えば、ユーザの特定の解剖学および生理学ならびにユーザの好み（例えば、一般的な応答時間、所望の画面複雑さ）に基づくキャリブレーションおよび性能特性は、クラウドベースの分類および予測アプローチ内に含まれ得る。これにより、デバイスユーザは、再キャリブレーションまたは他のセットアッププロセスの必要なしに（希望するなら）任意のハードウェアセットを利用することも可能になる。
【０５２０】
機械学習入力およびアーキテクチャ
神経網性能を最適化するために、入力データは、理想的には、全ての基本的であるが冗長でない情報を含む最小限の形態に変換されるべきである。これは、入力データを独立した座標セットに変換することと類似している。
【０５２１】
この変換に重要であるのは、眼が特定の運動を実行し、これらの眼球運動によって生成される経路が一般に線形である（すなわち、視線パターンが一般に直線を横断する）ことを観察することである。上記のように、サッケード運動は弾道的であり、線形の経路だけでなく十分に規定された速度プロファイルを有する。同様に、円滑追跡を使用して、線形経路に沿って移動する（実在または仮想の）オブジェクトを追跡または追従する場合には、視線移動は繰返し線形である。したがって、眼球位置を一連の線形移動として表現することは、眼球運動経路の大部分も眼球運動の生物学も正確に表わすことと適合する。
【０５２２】
眼球位置は、所与の時刻に取得された画像から判断されることができる。画像が取得されるときの眼球位置は、必ずしも眼球運動の立ち上がり位置または目的地とは一致しない。それどころか、眼球位置は、既知の時刻に「サンプリング」され、眼球運動は、これらのサンプルから推測されなければならない。十分な速度（すなわち、ナイキストサンプリング定理を含む原理によって支配される）で画像化が実行される限り、眼球運動は、これらのサンプリングされたデータから推測可能である。
【０５２３】
アルゴリズム的に、サンプリングされたデータを一連の運動および固視に変化するための方法が図２６Ａ〜図２６Ｇに示されている。図２６Ａに示されるように、測定された視線位置は、中実な円２３６９によって表わされている。眼球位置に対応する座標は、（Ｘｉ，Ｙｉ）と表わすことができ、最も最近に取得された画像は、（Ｘ０，Ｙ０）２６３０ａと表示されている。図２６Ｂに示されるように、新たな画像からの眼球位置の座標（Ｘ０，Ｙ０）２６３０ｂが取得されると、新たな位置が、以前の点（Ｘ１，Ｙ１）２６３１ｃおよびその先行点（図２６Ｂには図示せず）によって規定される線（公差の範囲内）に沿って位置しているか否かについて判断がなされる。そうであれば、現在の線形経路が現在位置まで延長され、分析が継続して、次のフレームを検討する。
【０５２４】
図２６Ｃは、新たに取得された視線位置（Ｘ０，Ｙ０）２６３０ｃがその先行点（Ｘ１，Ｙ１）２６３１ｃおよび（Ｘ２，Ｙ２）２６３２ｃと比較して直線上にない状況を示す。以前の線の終端（Ｘ１，Ｙ１）２６３１ｃは、以前の事象からの時間Ｔ１に伴って登録され、新たな線のサーチが開始される。図２６Ｄは、この新たな線の、新たに取得された眼球位置（Ｘ０，Ｙ０）２６３０ｄまでの延長を示す。
【０５２５】
新たなサンプル点がいつ線形経路上にあるかを判断することの例外は、画像間の視線移動距離が（何らかの公差の範囲内で）ゼロであるときである。生理学的に、これは、眼球「固視」に相当し、最も最近に取得されたフレーム（Ｘ０，Ｙ０）２６３０ｅおよびその先行点（Ｘ１，Ｙ１）２６３１ｅ内の視線位置間の距離の測定値に基づいて図２６Ｅにおいて判断される。この場合、線形眼球運動の端部（Ｘ１，Ｙ１）３１ｅは登録され、（静止位置（Ｘ１，Ｙ１）２６３１ｅの周囲の）固視が開始される。図２６Ｆに示されるように、固視点（Ｘ１，Ｙ１）２６３１ｆの周囲には眼球位置（Ｘ０，Ｙ０）２６３０ｆの継続的測定値があり得る。固視点から離れる移動（何らかの公差の範囲内）が起こると、固視時間Ｔ１および固視の位置（Ｘ１，Ｙ１）２６３１ｇは記録され、（Ｘ０，Ｙ０）２６３０ｇを含む新たな線のサーチが開始される。これは、図２６Ｇに示されている。
【０５２６】
経路が新たな線の方にそれるかまたは固視からはずれるたびに、新たな事象が先入れ先出し（ＦＩＦＯ）バッファに記憶される。このバッファは、時間Ｔ１および線または固視を終了させる座標位置（Ｘｉ，Ｙｉ）を含む。固視は、座標位置（Ｘｉ，Ｙｉ）が以前の事象と同一（公差の範囲内）であるという事実によって特定されることができる。ＦＩＦＯバッファは、ニューラルネットワークへの入力として使用され得る。
【０５２７】
図２７は、一連の眼球運動から意図を識別するために使用可能なニューラルネットワークのアーキテクチャの一例である。Ｎ＋１個の事象が入力２７３０としてニューラルネットワークに提供され、各事象は、二次元座標のクラスタおよび時刻（Ｘｉ，Ｙｉ，Ｔｉ）として表わされる。Ｎは、いかなる眼の意図も判断するのに十分な数の眼球運動および固視（例えば最も最近の１６個の運動または固視）が含まれることを確実にするように選択され得る。Ｎが過剰であるように選択されると、ネットワークは、履歴的に昔の事象を無視することを学ぶが、この場合には処理リソースは無駄にされる。
【０５２８】
図２７は、３つの隠れ層２７３５ａ，２７３５ｂ，２７３５ｃを用いて時系列（Ｘｉ，Ｙｉ，Ｔｉ）入力を分類することを示す。表示されたメニュー内の（例えばインタラクタブルの）眼球ターゲット位置２７３３の既知の座標、メニューのＩＤおよびその他の既知の情報が、入力２７３３として決定プロセスに供給され得る。サポートベクターマシン２７３８は、デバイス着用者の最も可能性の高い意図を判断する機械学習アプローチの例示的な実施例である。プロセスの出力はヌルであり得て、これは、「動作がないこと」、または、デバイス着用者の１つ以上の意図および／または状態の組２７３９を示す。意図は、例えば意図された動作（すなわちバイナリ分類）の起動を含み得る。同時に判断される状態は、認知的負荷または疲労の程度などのユーザ状態（すなわち、一般に連続的な範囲にわたって分類される）を含み得る。
【０５２９】
特定の実施例とともに記載されたさまざまな構成要素および特徴は、実施例の使用目的に応じて追加されてもよく、削除されてもよく、および／または他の実施例と置換されてもよい、ということが理解されるであろう。
【０５３０】
さらに、代表的な実施例を記載する際、明細書は、方法および／またはプロセスをステップの特定のシーケンスとして表現したかもしれない。しかし、方法またはプロセスが本明細書に記載されているステップの特定の順序に依拠しない範囲で、方法またはプロセスは、記載されているステップの特定のシーケンスに限定されるべきではない。当業者が理解するように、ステップの他のシーケンスも可能であろう。したがって、明細書に記載されているステップの特定の順序は、特許請求の範囲に対する限定として解釈されるべきではない。
【０５３１】
本発明はさまざまな変更および代替的な形態の影響を受けやすいが、その具体例は、図面に示されており、本明細書に詳細に記載されている。本発明は開示されている特定の形態または方法に限定されるものではなく、それとは反対に、本発明は添付の特許請求の範囲の範囲内の全ての変更、等価物および代替物を包含する、ということが理解されるべきである。
【図１Ａ】
2017526078.tif 000006
【図１Ｂ】
2017526078.tif 000007
【図１Ｃ】
2017526078.tif 000008
【図１Ｄ】
2017526078.tif 000009
【図１Ｅ】
2017526078.tif 000010
【図２Ａ】
2017526078.tif 000011
【図２Ｂ】
2017526078.tif 000012
【図３】
2017526078.tif 000013
【図４】
2017526078.tif 000014
【図５】
2017526078.tif 000015
【図６】
2017526078.tif 000016
【図７】
2017526078.tif 000017
【図８】
2017526078.tif 000018
【図９】
2017526078.tif 000019
【図１０】
2017526078.tif 000020
【図１１】
2017526078.tif 000021
【図１２Ａ】
2017526078.tif 000022
【図１２Ｂ】
2017526078.tif 000023
【図１２Ｃ】
2017526078.tif 000024
【図１２Ｄ】
2017526078.tif 000025
【図１２Ｅ】
2017526078.tif 000026
【図１２Ｆ】
2017526078.tif 000027
【図１２Ｇ】
2017526078.tif 000028
【図１２Ｈ】
2017526078.tif 000029
【図１３Ａ−１３Ｅ】
2017526078.tif 000030
【図１４Ａ】
2017526078.tif 000031
【図１４Ｂ】
2017526078.tif 000032
【図１５Ａ−１５Ｃ】
2017526078.tif 000033
【図１６】
2017526078.tif 000034
【図１７】
2017526078.tif 000035
【図１８】
2017526078.tif 000036
【図１９Ａ】
2017526078.tif 000037
【図１９Ｂ】
2017526078.tif 000038
【図２０】
2017526078.tif 000039
【図２１】
2017526078.tif 000040
【図２２】
2017526078.tif 000041
【図２３】
2017526078.tif 000042
【図２４】
2017526078.tif 000043
【図２５】
2017526078.tif 000044
【図２６Ａ】
2017526078.tif 000045
【図２６Ｂ】
2017526078.tif 000046
【図２６Ｃ】
2017526078.tif 000047
【図２６Ｄ】
2017526078.tif 000048
【図２６Ｅ】
2017526078.tif 000049
【図２６Ｆ】
2017526078.tif 000050
【図２６Ｇ】
2017526078.tif 000051
【図２７】
2017526078.tif 000052
【国際調査報告】
2017526078.tif 000053
2017526078.tif 000054