(57)【要約】      （修正有）【課題】遅延が少なく、電力効率の良い視線追跡方法を提供する。【解決手段】方法は、ユーザの眼のデジタル画像シーケンスを取得するステップ５０２と、デジタル画像シーケンスを含むデータを画像処理ユニットに出力するステップ５０４と、画像処理ユニットによりデータを処理し、それぞれが視線方向を示す眼の位置のシーケンスを決定するステップ５０６と、眼の動きを表す生体信号データを取得するステップ５０８と、取得された生体信号データに基づいて眼を閉じたことを検出し、これに応じて、デジタル画像シーケンスを取得するステップ５０２、データを出力するステップ５０４および眼の位置のシーケンスを決定するステップ５０６のうちの少なくとも１つを停止するステップ５１２とを含む。【選択図】図５
2018049593.tif 000002
【特許請求の範囲】
【請求項１】
視線追跡のための方法であって、
ユーザの眼のデジタル画像シーケンスを取得するステップ（５０２）と、
前記デジタル画像シーケンスを含むデータを画像処理ユニット（１２０）に出力するステップ（５０４）と、
前記画像処理ユニットにより前記データを処理し、それぞれが視線方向を示す眼の位置のシーケンスを決定するステップ（５０６）と、
眼の動きを表す生体信号データを取得するステップ（５０８）と、
取得した前記生体信号データに基づいて眼を閉じたことを検出し、これに応じて、前記デジタル画像シーケンスを取得するステップ（５０２）、前記データを出力するステップ（５０４）および前記データを処理するステップ（５０６）のうちの少なくとも１つを停止するステップ（５１２）とを含む、
方法。
【請求項２】
前記デジタル画像シーケンスを取得するステップ（５０２）、前記データを出力するステップ（５０４）および前記データを処理するステップ（５０６）のうちの少なくとも１つを停止している状態（４０６）で、これらのステップをそれぞれアクティブ状態（４０４）に戻すステップ（５１４）をさらに含む、
請求項１に記載の方法。
【請求項３】
前記動作をアクティブ状態（４０４）に戻すステップ（５１４）は、前記動作を停止状態（４０６）から待ち状態（４０８）に移行させるステップと、前記動作を前記待ち状態（４０８）から前記アクティブ状態（４０４）に移行させるステップとを含む、
請求項２に記載の方法。
【請求項４】
前記動作を停止状態（４０６）から待ち状態（４０８）に移行させるステップは、プリセットされた遅延時間が前記停止動作から経過した後に実施する、
請求項３に記載の方法。
【請求項５】
前記動作を前記待ち状態（４０８）から前記アクティブ状態（４０４）に移行させるステップは、取得した前記生体信号データに基づいて、眼が開いたことを検出したことに応じて実施する、
請求項３または４に記載の方法。
【請求項６】
前記アクティブ状態（４０４）に戻すステップ（５１４）は、取得した前記生体信号データに基づいて、眼が開いたことを検出したことに応じて実施する、
請求項２に記載の方法。
【請求項７】
前記アクティブ状態（４０４）に戻すステップは、前記停止状態から、プリセットされた遅延時間が経過した後に実施する、
請求項２に記載の方法。
【請求項８】
視線追跡のためのシステム（１００）であって、
眼のデジタル画像シーケンスを取得するように構成された画像取得デバイス（１１０）と、
前記画像取得デバイス（１１０）から前記デジタル画像シーケンスを含むデータを受信し、それぞれが視線方向を示す眼の位置のシーケンスを決定するように構成された画像処理ユニット（１２０）と、
眼の動きを表す生体信号データを取得するように構成された生体信号取得ユニット（１４０）と、
前記生体信号データを受信し、取得した前記生体信号データに基づいて眼を閉じたことを検出するように構成された生体信号処理ユニット（１５０）と、
前記生体信号処理ユニット（１５０）が眼を閉じたことを検出したことに応じて、
前記画像取得デバイス（１１０）による画像取得動作、
前記画像処理ユニット（１２０）による画像処理動作、および
前記画像処理ユニット（１２０）と前記画像取得デバイス（１１０）との間での、前記デジタル画像シーケンスを含むデータの転送、
のうちの少なくとも１つを停止させるための制御信号を出力するように構成された制御ユニット（１６０）と、を備えた、
システム（１００）。
【請求項９】
前記制御ユニット（１６０）は、さらに、停止状態にある前記画像取得動作、前記画像処理動作、前記データの転送をそれぞれアクティブ状態（４０４）に戻すための少なくとも１つの制御信号を出力するように構成されている、
請求項８に記載のシステム（１００）。
【請求項１０】
前記制御ユニット（１６０）は、さらに、
停止状態にある前記画像取得動作、前記画像処理動作、前記データの転送をそれぞれ待ち状態に移行させるための第１制御信号と、
前記待ち状態にある前記画像取得動作、前記画像処理動作、前記データの転送をそれぞれ前記アクティブ状態に移行させるための第２制御信号と、
を出力するように構成されている、
請求項９に記載のシステム（１００）。
【請求項１１】
前記制御ユニット（１６０）は、前記停止させるための制御信号を出力してから、プリセットされた遅延時間の経過後、前記第１制御信号を出力するように構成されている、
請求項１０に記載のシステム（１００）。
【請求項１２】
前記制御ユニット（１６０）は、取得した前記生体信号データに基づいて眼が開いたことを前記生体信号処理ユニット（１５０）が検出したのに応じて、前記第２制御信号を出力するように構成されている、
請求項１０または１１に記載のシステム（１００）。
【請求項１３】
前記制御ユニット（１６０）は、前記停止させるための制御信号を出力してから、プリセットされた遅延時間の経過後、または、取得した前記生体信号データに基づいて眼が開いたことを前記生体信号処理ユニット（１５０）が検出したのに応じて、前記少なくとも１つの制御信号を出力するように構成されている、
請求項９に記載のシステム。
【請求項１４】
ユーザの頭部にマウントするのに適合した構造をさらに備え、
前記画像取得デバイス（１１０）と前記生体信号取得ユニット（１４０）は、前記構造に支持されている、
請求項８から１３のいずれか１項に記載のシステム。
【請求項１５】
前記生体信号取得ユニット（１４０）は、ユーザの眼領域に配置されるように適合した一組の皮膚電極（１４２）を有する、
請求項８から１４のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明概念は、視線追跡のための方法およびシステムに関する。
【背景技術】
【０００２】
画像ベースの視線追跡において、画像取得デバイス（例えば、デジタルカメラまたはイメージセンサ）は、眼のデジタル画像を取得するとともに当該デジタル画像を処理して、視線方向、瞳孔のサイズまたは眼に関連する他の特徴を推定する。視線追跡のための画像処理技術は、計算時間、電力消費、メモリフットプリントなどに鑑みると高価である。さらに、眼に関連する事象は、比較的「高速」であり、「短時間」に起こる。したがって、正確な視線追跡、画像取得および画像処理を行うためには、それに応じてフレームレートを大きくする必要がある。視線追跡は、ユーザインタラクションを行うための方法として用いられてよい。したがって、視線追跡の幾つかの用途では、リアルタイムまたはリアルタイムに近い測定を行う性能が必要となり、遅延が少ないことが重要である。
【発明の概要】
【０００３】
本発明概念の目的は、画像ベースの視線追跡を改善することである。更なる目的には、より電力効率が高く、よりメモリ効率が高く、かつ／またはより計算効率が高い視線追跡を実現することが含まれる。更なる目的、または他の目的は、以下の説明から明らかになる。
【０００４】
本発明概念の第１の態様では、
視線追跡のための方法であって、
ユーザの眼のデジタル画像シーケンスを取得するステップと、
前記デジタル画像シーケンスを含むデータを画像処理ユニットに出力するステップと、
前記画像処理ユニットにより前記データを処理し、それぞれが視線方向を示す眼の位置のシーケンスを決定するステップと、
眼の動きを表す生体信号データを取得するステップと、
取得した前記生体信号データに基づいて眼を閉じたことを検出し、これに応じて、前記デジタル画像シーケンスを取得するステップ、前記データを出力するステップおよび前記データを処理するステップのうちの少なくとも１つを停止するステップとを含む、
方法が提供される。
【０００５】
本発明概念は、視線追跡プロセス中の眼の動きを考慮することにより、視線追跡が改善するという知見に基づくものである。より具体的に言うと、眼が閉じた時点を検出することにより、視線追跡プロセスの少なくとも一部を停止させることができる。例示的には、１分間に平均して１５回から２０回の瞬きが生じ、それぞれの時間は３００ｍｓから４００ｍｓである。したがって、眼は、所定時間において約７．５％から１３％、ブロックされていることになる。
【０００６】
眼が閉じると、画像解析による眼の位置の決定ができなくなる。したがって、視線追跡のために、眼が閉じている間に画像を取得すること、および取得された画像のデータを保存し処理することは、電力消費、メモリ消費および処理サイクルの点から言って効率が悪いと考えられる。本発明に係る方法では、上記問題のうち１つ以上を除去するか、少なくとも抑制する。
【０００７】
本発明に係る方法の他の利点は、画像において撮影されているのは完全に眼であり、画像処理技術が収束しないことに起因して計算資源が無駄になることを確実に避けられることである。
【０００８】
この方法によれば、電力消費を抑えることができる。したがって、この方法は、比較的コンパクトで電力効率の高いユーザウェアラブルデバイスに適したものとなる。例えば、こうしたデバイスは、それほど頻繁には充電を必要としなくて済む可能性がある。あるいは、こうしたデバイスに備えられるバッテリは、小さくて軽いもので済む可能性がある。
【０００９】
眼が閉じたことを検出するとは、眼が閉じ始めたのを検出する、または、眼が開いた状態から閉じた状態へ変わるのを検出する、ことを意味する。眼が閉じているとは、まぶたにより眼球が塞がれていることを意味する。画像取得の観点では、眼を閉じるとは、まぶたの動きにより、虹彩と瞳孔が部分的に、または完全に塞がれることを意味する。生体信号取得の観点では、眼を閉じるとは、まぶたを動かすための筋肉を活性化させて眼球を塞ぐことを意味する。
【００１０】
本明細書では、瞬き（まばたき）とは、眼を閉じ、そして再び開くためのまぶたの動きを指す。瞬きの開始時と終了時のまぶたの位置は、眼の画像から眼球の形状を確実には抽出できない程度にまぶたが眼球を覆うものであってよい。
【００１１】
眼を閉じたことの検出に応答して動作を実施するとは、眼を閉じたことを検出した時点で（または、検出したときに）前記動作の実施を開始することを意味する。
【００１２】
「取得ステップ、出力ステップおよび処理ステップのうちの少なくとも１つを停止するステップ」の動作は、本明細書では、取得ステップ、出力ステップおよび処理ステップのうちの少なくとも１つを、（それぞれの）停止状態に設定するものとして解釈されてよい。取得ステップの停止状態とは、画像取得が行われないことを意味する。前記出力ステップの停止状態とは、前記画像シーケンスを含むデータが、前記画像処理ユニットに出力されないことを意味する。前記処理ステップの停止状態とは、前記データの処理が、画像処理ユニットによって行われないことを意味する。
【００１３】
前記取得ステップを停止するステップを含む方法は、（ほぼ）リアルタイムの視線追跡シナリオにおいて特に有利であり、取得された生体信号データに基づいて、画像取得の（ほぼ）リアルタイムの制御を可能にする。これは、前記出力ステップの停止を含む方法に対応して適用される。この方法は、取得された生体信号データに基づいて、データ出力の（ほぼ）リアルタイムの制御を可能にする。
【００１４】
後処理を停止するステップを含む（できる限り取得ステップまたは出力ステップを停止するステップを含まない）方法は、後処理シナリオにおいて特に有利であり、画像が取得され、生体信号が取得され、その後、取得された画像に基づいて視線を追跡／分析するために後処理される。このような方法により、取得された生体信号データに基づいて眼を閉じたことの検出に応じて、後処理中の画像処理を停止することができる。眼が閉じられている間、画像処理は停止され、閉じた眼を描写するデジタル画像の画像処理は、スキップされてよい。これにより、画像処理中に必要な電力を低減し得る。
【００１５】
本明細書で使用される眼の位置は、基準フレームに関する、好ましくはユーザの頭（すなわち、頭に対して固定された関係を有する基準フレーム）に関する眼の位置、または同等に方向または回転を指す。眼の位置は、基準フレームに関連して視線方向を決定する。
【００１６】
それぞれの眼の決定された位置は、デジタル画像の取得シーケンスのそれぞれの単一の画像データに基づいて決定されてよい。
【００１７】
画像処理ユニットによる前記データの処理は、１つ以上の眼の画像特徴のセットを識別することを含んでよい。眼の位置に加えて、特徴は、瞳孔の中心位置、瞳孔のサイズ、瞳孔の動きの速度、瞳孔の面積、虹彩上の特徴の識別、虹彩の色調の経時的な変化、および強膜内の血管の分析、または眼の画像に対する画像分析から抽出できる他の特徴を含んでよい。１つ以上の画像特徴のセットまたは組合せは、より高いレベルの変数（例えば、凝視、集中など）を示してよい。
【００１８】
取得、出力、および処理の動作は、視線追跡プロセスの一部を形成してよい。視線追跡プロセスは、さらに、眼の位置のシーケンスを表すデータの生成、出力および／または記録などの動作を含んでよい。
【００１９】
この方法は、停止状態にある前記取得ステップ、前記出力ステップおよび前記処理ステップのうちの少なくとも１つをアクティブ状態に戻すステップをさらに含んでよい。これにより、前記取得ステップ、前記出力ステップおよび前記処理ステップのうちの少なくとも１つの各停止動作（すなわち、停止状態にある各動作）が再開されてよい。これは、瞬き中に視線追跡プロセスを停止し、瞬きが終わって眼が再び開くと、視線追跡プロセスを再開するのに特に有利である。
【００２０】
取得動作のアクティブ状態は、画像取得が再開されたことを意味する。出力動作のアクティブ状態は、取得された画像を含むデータの画像処理ユニットへの出力が再開されたことを意味する。処理動作のアクティブ状態は、画像処理ユニットによる、取得された画像を含むデータの処理が再開されたことを意味する。
【００２１】
この方法は、取得された生体信号データに基づいて眼を閉じたことを検出することに応答して、前記取得ステップを停止状態に設定し、続いて前記取得ステップをアクティブ状態に戻すステップを含んでよい。
【００２２】
この方法は、取得された生体信号データに基づいて眼を閉じたことを検出することに応答して、前記出力ステップを停止状態に設定し、続いて前記出力ステップをアクティブ状態に戻すステップを含んでよい。
【００２３】
この方法は、取得された生体信号データに基づいて眼を閉じたことを検出することに応答して、前記処理ステップを停止状態に設定し、続いて前記処理ステップをアクティブ状態に戻すステップを含んでよい。
【００２４】
一実施形態によると、動作をアクティブ状態に戻すステップは、前記動作を停止状態から待ち状態に移行させるステップと、前記動作を待ち状態からアクティブ状態に移行させるステップとを含む。停止動作を中間の待ち状態に移行させるステップは、視線追跡プロセスを、視線追跡を再開するための準備状態にすることを可能にする。
【００２５】
画像取得の待ち状態は、画像取得デバイスを「準備」状態に初期化することを含んでよい。これにより、アクティブ状態に移行する際に、画像取得を迅速に再開することができる。
【００２６】
データ出力の待ち状態は、画像データ用の記憶領域をクリアすることおよび／または画像データ用の割り当てることおよび／または画像処理ユニット１２０との通信用データバスを初期化することおよび／または画像処理ユニット１２０との通信用データバスを保存することを含んでよい。これにより、アクティブ状態に移行する際に、データ出力を迅速に再開することができる。
【００２７】
画像処理ユニットの処理の待ち状態は、画像処理に用いられるレジスタ、変数および／または制御ループを初期化することを含んでよい。これにより、アクティブ状態に移行する際に、画像処理を迅速に再開することができる。
【００２８】
停止状態から待ち状態への移行は、停止からプリセットされた遅延時間後に実行されてよい。プリセットされた遅延時間の持続時間は、瞬きの平均持続時間の事前知識に基づくものであってよい。したがって、停止状態から待ち状態への移行の時刻を、タイマに基づいて、信頼性のある方法で、効率的に決定することができる。したがって、プリセットされた遅延時間が設定され、これにより、一度眼が再び開いてから、さらに再開されるまで、視線追跡プロセスには十分な時間がある。プリセットされた遅延時間は、視線追跡プロセスに使用されるハードウェアの応答／起動時間に基づくものであってよい。
【００２９】
待ち状態からアクティブ状態への移行は、取得された生体信号データに基づいて、眼が開いたことを検出することに応答して実行されてよい。これにより、眼が閉じたことの検出に応答して停止された視線追跡方法の動作は、生体信号データが眼が再び開いたことを示したときにそれぞれの待ち状態から移行することによって、迅速に再開されてよい。
【００３０】
本明細書では、眼が開いたことを検出することは、眼が開き始めるか、または閉じた状態から開いた状態に変わることを検出することを意味する。
【００３１】
一実施形態によると、動作をアクティブ状態に戻すステップは、取得された生体信号データに基づいて眼が開いたことを検出することに応答して実行される。この実施形態により、眼が開いたことの検出に応答して、それぞれの停止状態からそれぞれのアクティブ状態に直接的に移行することよって、眼が閉じたことの検出に応答して停止された視線追跡プロセスの動作を再開するステップを簡単に実施することができる。
【００３２】
一実施形態によると、アクティブ状態に戻す動作は、停止動作からプリセットされた遅延時間の後に実行される。この実施形態により、プリセットされた遅延時間の後にそれぞれの停止状態からそれぞれのアクティブ状態に直接的に移行することよって、眼が閉じたことの検出に応答して停止された視線追跡プロセスの動作を再開するステップを簡単に実施することができる。プリセットされた遅延時間の持続時間は、瞬きの平均長さの事前知識に基づくものであってよい。したがって、停止状態から待ち状態への移行の時刻を、タイマに基づいて、信頼性のある方法で、効率的に決定することができる。
【００３３】
本発明概念の第２の態様では、
視線追跡のためのシステムであって、
眼のデジタル画像シーケンスを取得するように構成された画像取得デバイスと、
前記画像取得デバイスから前記デジタル画像シーケンスを含むデータを受信し、それぞれが視線方向を示す眼の位置のシーケンスを決定するように構成された画像処理ユニットと、
眼の動きを表す生体信号データを取得するように構成された生体信号取得ユニットと、
前記生体信号データを受信し、取得した前記生体信号データに基づいて眼を閉じたことを検出するように構成された生体信号処理ユニットと、
前記生体信号処理ユニットが眼を閉じたことを検出したことに応じて、
前記画像取得デバイスによる画像取得動作、
前記画像処理ユニットによる画像処理動作、および
前記画像処理ユニットと前記画像取得デバイスとの間での、前記デジタル画像シーケンスを含むデータの転送、
のうちの少なくとも１つを停止させるための制御信号を出力するように構成された制御ユニットと、を備えた、
システムが提供される。
【００３４】
この態様は、一般的に、前の態様と同一のまたは対応する利点を提示することができ、上記の説明を参照する。
【００３５】
本明細書では、画像取得デバイスとは、デジタル画像データの形式で撮像する機能を有する任意のデバイスを意味する。画像取得デバイスは、デジタル読み出しできるデジタルカメラまたはイメージセンサ（相補型金属酸化膜半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ））であってよい。
【００３６】
画像処理ユニットは、デジタル画像処理を実行することができる任意のユニットを意味する。このユニットは、画像処理ユニットの機能を実行する専用の回路を含む専用の画像処理ユニットとして実装されてもよい。回路は、デジタル論理回路であってよい。回路は、チップセットなどの集積回路の中に実装されてもよい。また、回路は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）の中に実装されてもよい。また、画像処理ユニットは、マイクロプロセッサ、例えば中央処理ユニット（ＣＰＵ）などの汎用処理ユニットの中に実装されてもよい。汎用処理ユニットは、処理動作を実行するソフトウェア命令のセットを備えてもよい。
【００３７】
本明細書では、生体信号取得ユニットは、好ましくは一組の皮膚電極を介して、ユーザに対する電気的測定によって、アナログ生体信号を取得することができる任意のユニットを意味する。生体信号取得ユニットは、アナログ生体信号をデジタルサンプルにさらに変換してもよい。生体信号取得ユニットは、専用センサ回路、特定用途向け集積回路（ＡＳＩＣ）、またはシステムオンチップ（ＳｏＣ）もしくはシステムインパッケージ（ＳｉＰ）などの高機能システムのブロックであってもよい。
【００３８】
本明細書では、生体信号処理ユニットは、生体信号データを処理し、取得された生体信号データに基づいて眼を閉じたことを検出することができる任意のユニットを意味する。このユニットは、生体信号処理ユニットの機能を実行する専用の回路を含む専用のハードウェア生体信号処理ユニットとして実装されてもよい。回路は、デジタル論理回路であってよい。回路は、チップセットなどの集積回路の中に実装されてもよい。また、回路は、ＦＰＧＡまたはＡＳＩＣの中に実装されてもよい。また、生体信号処理ユニットは、画像処理ユニットと共有される回路の中に実装されてもよい。また、生体信号処理ユニットは、マイクロコントローラ（ＭＣＵ）、マイクロプロセッサ、例えばＣＰＵなどの汎用処理ユニット内に存在するソフトウェアの中に実装されてもよい。汎用処理ユニットは、処理動作を実行するソフトウェア命令のセットを備えてもよい。生体信号処理ユニットは、画像処理ユニットと同じ処理ユニットの中に実装されてもよい。
【００３９】
本明細書で使用される制御ユニットという用語は、画像取得動作、画像処理動作およびデータ転送のうちの少なくとも１つを停止させる制御信号を出力することができる任意のユニットを指す。このユニットは、制御ユニットの機能を実行する専用の回路を含む専用の制御ユニットとして実装されてもよい。回路は、デジタル論理回路であってよい。回路は、チップセットなどの集積回路の中に実装されてもよい。また、回路は、ＦＰＧＡまたはＡＳＩＣの中に実装されてもよい。また、制御ユニットは、生体信号処理ユニットおよび／または画像処理ユニットと共有される回路の中に実装されてもよい。また、制御ユニットは、マイクロプロセッサ、例えば中央処理ユニット（ＣＰＵ）などの汎用処理ユニットの中に実装されてもよい。制御ユニットは、処理動作を実行するソフトウェア命令のセットを備えてもよい。また、制御ユニットは、生体信号処理ユニットおよび／または画像処理ユニットと同一の処理ユニットの中に実装されてもよい。
【００４０】
制御ユニットによって出力される制御信号は、制御ユニットから送信されるアナログまたはデジタルの制御信号であってもよい。また、制御信号は、システムの他のユニットによってアクセス可能なレジスタ内の制御フラグなどの設定を含み、それらの他のユニットが、それぞれの動作がいつ停止されるべきかを決定することを可能にしてもよい。
【００４１】
制御ユニットは、停止状態である画像取得動作、画像処理動作、およびデータ転送のそれぞれをアクティブ状態に戻すための少なくとも１つの制御信号を出力するようにさらに構成されてもよい。
【００４２】
一実施形態によると、制御ユニットは、前記停止させるための制御信号を出力してから、プリセットされた遅延時間の経過後、または、取得した前記生体信号データに基づいて眼が開いたことを前記生体信号処理ユニットが検出したのに応じて、前記少なくとも１つの制御信号を出力するように構成される。
【００４３】
他の実施形態によると、制御ユニットは、さらに、
停止状態にある前記画像取得動作、前記画像処理動作、前記データの転送をそれぞれ待ち状態に移行させるための第１制御信号と、
前記待ち状態にある前記画像取得動作、前記画像処理動作、前記データの転送をそれぞれ前記アクティブ状態に移行させるための第２制御信号と、
を出力するように構成される。
【００４４】
前記制御ユニットは、前記停止させるための制御信号を出力してから、プリセットされた遅延時間の経過後、前記第１制御信号を出力するように構成されてもよい。
【００４５】
前記制御ユニットは、取得した前記生体信号データに基づいて眼が開いたことを前記生体信号処理ユニットが検出したのに応じて、（前記第１制御信号に続いて）前記第２制御信号を出力するように構成されてもよい。
【００４６】
一実施形態によると、システムは、ユーザの頭部にマウントするのに適合した構造をさらに備え、前記画像取得デバイスと前記生体信号取得ユニットは、前記構造に支持される。システムは、処理電力を節約するように配置され、一般的に省電力であるため、システムは、ウェアラブルとしての配置を容易にする。例えば、システムは、非常に頻繁に充電する必要がなく、またはシステムは、小型で軽いバッテリを備えてもよい。
【００４７】
一実施形態によると、前記生体信号取得ユニットは、ユーザの眼領域に配置されるとともに、まぶたの動きの方向に走る長手軸に沿って配置されるように適合した一組の皮膚電極を有する。
【００４８】
多くの用途では、例えば視線追跡がユーザインタラクションの方法として使用される場合、システムは、リアルタイムまたはほぼリアルタイムの性能を有する必要がある。
【００４９】
一実施形態によると、画像取得デバイス、画像処理ユニット、生体信号取得ユニットおよび生体信号処理ユニットは、リアルタイムで実行する。これは、画像取得デバイスによる画像取得動作、画像処理ユニットによる画像処理動作、および画像処理ユニットと画像取得デバイスとの間での、デジタル画像シーケンスを含むデータの転送のうちの少なくとも１つを停止させることによって可能になる省電力が、有効であることを意味する。なぜなら、動作がリアルタイムで実行されるからである。
【図面の簡単な説明】
【００５０】
添付の図面を参照して行う本発明概念の好ましい実施形態の例示的、非制限的かつ詳細な説明を通じて、本発明概念について上記の、さらに追加の課題、特徴および利点が良好に理解されることになる。図面において、そうでないことを記載していない限り、同様の参照符号を用いて同様の要素を指している。
【００５１】
【図１】画像ベースの視線追跡のためのシステムを示す概略図である。
【図２】生体信号データを取得するための電極の配置を示すユーザの図である。
【図３】システムが取得された生体信号データを示すグラフである。
【図４】システムの状態を示す状態図である。
【図５】画像ベースの視線追跡のための方法を示すフローチャートである。
【発明を実施するための形態】
【００５２】
視線追跡は、ヒトの視覚システムの研究においてや、ヒトと計算機との相互作用を制御するための入力としてなど、さまざまな用途で用いることができる。例えば、システム１００は、少なくとも一部が、ウェアラブルデバイス（例えば、ゴーグルなどのヘッドマウント構造、またはユーザが身に付ける他の眼鏡類であって、その用途は拡張現実、仮想現実または生体信号の取得および処理及ぶもの）内に実装されていてよい。一対のゴーグルには、画像ベースの視線追跡を行うための２つのシステム１００（１つの眼に１つのシステム１００）が設けられている。ただし、２つのシステム１００は、少なくとも一部のコンポーネント（例えば、取得データを処理するためのコンポーネント）が共通していてよい。以下、１つのシステム１００についてのみ説明する。
【００５３】
システム１００は、画像取得デバイス１１０を備えている。画像取得デバイス１１０はデジタルカメラとして実装されていてよく、デジタルカメラはウェアラブルデバイスに一体化されていてよい。例えば、デジタルカメラは、ユーザが身につけるヘッドマウント構造内に配置されていてもよく、狭い範囲でユーザの眼から得られる画像を取得するように構成されていてもよい。また、画像取得デバイス１１０は、ユーザから所定の距離、離れた位置に配置されていてもよい。例えば、画像取得デバイス１１０は、デジタルカメラにより構成されていてもよい。当該デジタルカメラは、デスクトップコンピュータのモニタ、ラップトップ型コンピュータ、携帯電話、タブレットコンピュータまたは他の幾つかのポータブルコンピュータ装置に内蔵され、またはこれらに接続できるものであってよい。他の例は、ＴＶまたはテレビゲームのコンソールである。
【００５４】
画像取得デバイス１１０は、光学システム１１２とイメージセンサ１１４を備えていてよい。光学システム１１２は、イメージセンサ１１４上に対象物を画像化するように構成されていてよい。光学システム１１２は、狭い範囲での眼の撮影に適合するように事前構成されていてよい。例えば、画像取得デバイス１１０がヘッドマウント構造（例えば、ゴーグル）に一体化されている場合、光学システム１１２と眼との距離は、事前にわかっている。
【００５５】
イメージセンサ１１４は、感光領域のアレイを有していてよく、さらに、当該感光領域のアレイが蓄積された入射光を表す信号を出力するように制御されて、このアレイにより画像を記録するように構成されていてよい。
【００５６】
イメージセンサ１１４は、相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサまたは電荷結合素子（ＣＣＤ）イメージセンサであってよい。
【００５７】
画像取得デバイス１１０は、眼のデジタル画像のシーケンスを撮影するように構成されていてよい。画像は、眼を撮影したものであってもよく、さらに、ユーザの眼の位置を決定できるように、眼の周りの狭い領域を撮影したものであってもよい。ユーザの眼の位置は、視線方向を示し、さらに、眼に関する他の特徴であって有用な情報を与えうるもの（例えば、瞳孔の位置、瞳孔の面積、瞳孔の速度、虹彩の識別情報および光刺激に対する反応時間）である。
【００５８】
システム１００は、さらに、画像処理ユニット１２０を備えていてよい。画像処理ユニット１２０は、画像取得デバイス１１０から出力される、デジタル画像のシーケンスを含むデータを受信するように構成されていてよい。
【００５９】
画像処理ユニット１２０は、ＡＳＩＣ、ＳｉＰ、ＳｏＣ（これらは、例えばデータバスを共有することにより、本質的にイメージセンサ１１４に接続されている）など、より高次レベルのエンティティの論理デジタルブロックであってよい。
【００６０】
画像処理ユニット１２０は、例えば共通のプリント回路基板上に実装することによりイメージセンサ１１４に直接に接続されていてもよく、配線を介してイメージセンサ１１４に接続されていてもよい。
【００６１】
あるいは、画像処理ユニット１２０は、画像取得デバイス１１０から離れた位置に配置されていてもよい。例えば、画像処理ユニット１２０は、デスクトップコンピュータ、ラップトップ型コンピュータ、ＴＶ、テレビゲームのコンソールまたはポータブルコンピュータデバイス内に設けられてよく、ユーザが持ち歩いたり身につけたりするものであってよく、例えば携帯電話やタブレットコンピュータに実装されていてもよい。この場合、システム１００は、画像取得デバイス１１０と画像処理ユニット１２０との間を通信する送信機１３０をさらに備えていてよい。例えば、送信機１３０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）／ＷｉＦｉ（Ｒ）または他のワイヤレスプロトコルを用いて、画像処理ユニット１２０が内蔵された外部機器と無線通信を行うように構成されていてもよい。
【００６２】
画像処理ユニット１２０は、デジタル画像のシーケンスを処理して、位置、向き、回転および眼の他の特徴群のシーケンスを決定するように構成されていてよい。画像処理ユニット１２０は、例えば、瞳孔の位置および／または虹彩の位置、瞳孔の面積、瞳孔の周縁部、虹彩と瞳孔の面積比を決定し、これらを用いて、眼に関する特徴群、特に、ユーザの視線方向、外部刺激に対するユーザの反応または眼の速度を決定してもよい。
【００６３】
画像処理ユニット１２０による処理は、さらに、眼の特徴の抽出を含んでいてよい。例えば、瞳孔のサイズと虹彩の測定は、各デジタル画像に対して実施してよい。また、眼の特徴の抽出は、デジタル画像のシーケンスに基づくものであり、眼の動き、瞳孔の変動、瞳孔の速度(pupil velocity)などを抽出するものであってよい。
【００６４】
画像処理ユニット１２０が抽出した特徴は、後段で分析を行うためにメモリに記憶されていてもよく、かつ／または、例えば抽出した特徴を解釈するためのコントローラに送信され、ヒューマンコンピュータインターフェースを与えてもよい。
【００６５】
画像処理ユニット１２０は、各画像について比較的広範な画像処理を実施して、所望の特徴を抽出する必要があるかもしれない。したがって、処理ユニット１２０が実行する画像処理は、処理スピードを向上させるために、各デジタル画像において眼が画像化されているという仮定に基づくものであってよい。したがって、撮影した画像において眼が閉じていると、画像処理により有効な最終結果を得る（または有効な最終結果が得られない）ために、より長い時間がかかり、ひいては、有用でない画像の処理にリソース（処理時間とサイクル、メモリ）が費やされることがある。
【００６６】
システム１００は、生体信号取得ユニット１４０をさらに備えていてよい。生体信号取得ユニット１４０は、生体信号データを取得するように構成されていてよい。生体信号データは、眼の動きを示しうる。この点、生体信号取得ユニット１４０は、眼の動きに関連した筋肉、皮膚または神経の活動に基づいて生じる生体電位を記録するように構成されていてよい。
【００６７】
生体信号取得ユニット１４０は、ユーザの眼領域に配置されるように適合した一組の皮膚電極１４２を有していてよい。一組の皮膚電極１４２は、図２に示すように、それぞれ眼の上方と下方に配置された一組の皮膚電極１４２を有していてよい。
【００６８】
眼は、ダイポール（双極子）として機能し、陽極は角膜に位置し、負極は網膜に位置する。一組の皮膚電極１４２間の電位差は、皮膚電極１４２に関連する眼のダイポールの配置を示しうる。以下でさらに詳細に説明するように、電位差は、瞬きの間に変化する。皮膚電極１４２に関連する眼のダイポールの配置を検出したことに基づいて取得された生体信号データは、電気眼球図記録（ＥＯＧ）データと称してよい。
【００６９】
生体信号取得ユニット１４０は、一組の皮膚電極１４２に接続され、皮膚電極１４２，１４２間の電位差を測定し、かつ、測定した電位差をサンプリングおよびデジタル処理することにより、測定した電位差を生体信号データとして取得するように構成された回路１４４をさらに備えていてよい。電位差のデータを測定・取得するための回路は周知であり、本明細書では説明を省略する。
【００７０】
システム１００は、生体信号処理ユニット１５０をさらに備えていてよい。生体信号処理ユニット１５０は、生体信号取得ユニット１４０から出力される生体信号データを受信するように構成されていてよい。
【００７１】
生体信号処理ユニット１５０は、受信した生体信号データを処理して、眼が閉じるのを検出するように構成されていてよい。したがって、生体信号処理ユニット１５０は、眼が閉じそうなとき、または、眼が閉じたとき、を決定するように生体信号データを分析するためのアルゴリズムを有していてよい。
【００７２】
生体信号処理ユニット１５０は、さらに、受信した生体信号データを処理して、眼が開くのを検出するように構成されていてよい。したがって、生体信号処理ユニット１５０は、眼が開きそうなときを決定するように生体信号データを分析するためのアルゴリズムを有していてよい。
【００７３】
図３を参照して、瞬きの間の経時的なＥＯＧデータの典型的なものを示す。生体信号処理ユニット１５０は、瞬きを検出するためにＥＯＧデータを処理してよい。
【００７４】
アルゴリズムに従って、ＥＯＧデータに基づく導関数を解析してよい。
【００７５】
瞬きの始まりは、一次導関数の計算により検出してよい。導関数の傾きＳを求め、これをしきい値と比較し、傾きＳがしきい値より大きいときには、瞬きが開始していると結論づけてよい。あるいは、ＥＯＧデータまたはＥＯＧデータに基づいて得た導関数に対して機械学習アルゴリズムを適用し、瞬きが開始したことを決定してもよい。
【００７６】
瞬きの終わりは、ＥＯＧデータの二次導関数の符号の変化を検出することにより、検出できる。したがって、瞬きの終わりは、図３のグラフにおいて接線Ｔで示す点で検出してよい。これは、しきい値との比較、または、上記機械学習アルゴリズムにより、検出してよい。また、生体信号データの処理は、瞬きの始まりが検出されるまで瞬きの終わりが検出されないように、設定されてよい。
【００７７】
図１を再度参照して、システム１００は、制御ユニット１６０をさらに備えていてよい。制御ユニット１６０は、以下でさらに説明するように、視線追跡プロセスおよび眼の位置の追跡に関連する全構成要素を制御するように構成されていてよい。具体的には、制御ユニット１６０は、眼が閉じたことを生体信号処理ユニット１５０により検出したことに応答するように構成されていてよい。眼が閉じている間に行われる画像ベースの視線追跡は意味を持たないので、瞬きが行われる間、制御ユニット１６０は、視線追跡の少なくとも一部を中断するように構成されていてよい。制御ユニット１６０は、画像取得デバイス１１０による画像取得、画像処理ユニット１２０による画像処理、および、画像取得デバイス１１０と画像処理ユニット１２０との間でのデータ転送、のうち１つ以上を停止させるための制御信号を出力するように構成されていてよい。生体信号処理ユニット１５０により眼の画像を利用できないことが検出されている時間、制御ユニット１６０は、まぶたが眼球を塞いでいることに起因してどの出力データも利用できないことを通知してもよい。
【００７８】
また、制御ユニット１６０は、視線追跡プロセスを再開する（または「非停止(un-pause)」状態とするための制御信号を出力するように構成されていてよい。この点、制御ユニット１６０は、タイマ１６２を有し、または維持してもよい。タイマ１６２は、視線追跡プロセスの再開を時間ベースで制御するのを実現するために用いられてよい。制御ユニット１６０は、さらに、またはこれに代えて、視線追跡プロセスを再開するために、生体信号処理ユニット１５０による眼の開きの検出に対して応答するように構成されていてよい。この場合、制御ユニット１６０は、停止した動作（すなわち、停止した、画像取得デバイス１１０による画像取得、画像処理ユニット１２０による画像処理、および、画像取得デバイス１１０と画像処理ユニット１２０との間でのデータ転送、のうちの１つ以上）をアクティブ状態に戻す制御信号を出力するように構成されていてよい。
【００７９】
画像処理ユニット１２０、生体信号処理ユニット１５０および制御ユニット１６０はそれぞれ、データ処理を実施可能な任意のユニットとして実装されてもよい。このユニットは、処理ユニットの機能を実施する専用の回路を含む専用の処理ユニットとして実装されてもよい。回路は、デジタル論理回路であってよい。この回路は、チップセットなどの集積回路に実装されていてもよい。また、この回路は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）に実装されていてもよい。処理ユニットは、マイクロプロセッサ、例えば中央処理ユニット（ＣＰＵ）などの汎用処理ユニットに実装されていてもよく、当該処理ユニットには上述の処理動作を実行するためのソフトウェアの命令の組が保存されていてもよい。
【００８０】
画像処理ユニット１２０、生体信号処理ユニット１５０および制御ユニット１６０は、共通のユニット（例えば、各ユニットの処理を行うためのさまざまな処理を走らせるマイクロプロセッサ）に実装されていてもよい。変形例として、画像処理ユニット１２０、生体信号処理ユニット１５０および制御ユニット１６０は、別々のユニットとして実装されていてもよい。
【００８１】
システム１００は、ヘッドマウント構造に設けられた内蔵ユニットとして構成されてもよい。したがって、システム１００を構成する上述のすべての部品は、共通のコンパクトハウジング１０２内に配置されてもよい。したがって、システム１００が分離した内蔵ユニットとして製造、供給されてよく、後に、別個に製造された（システム１００とは別の場所で製造されてもよい）ヘッドマウント構造（例えば、ゴーグル）上またはその中に実装、一体化されてよい。例えば、ハウジング１０２は、ゴーグルのフレーム（または、ユーザが身に付ける他の眼鏡類）のフレームに取り付けられ、または嵌め込まれ（埋め込まれ）ていてもよい。
【００８２】
上述のとおり、画像処理ユニット１２０は、システムを構成する他の部品から離れた位置に配置されてもよい。
【００８３】
例えば、画像処理ユニット１２０は、ポータブルコンピュータデバイス（ユーザが持ち運んだり身に付けたりするものであってよい）内に配置されていてもよい。ポータブルコンピュータデバイスの例は、携帯電話やタブレットコンピュータである。したがって、計算量が多い画像処理部をハウジング１０２内に配置してヘッドマウント構造に内蔵する必要がない。これは、ハウジング１０２の重量とサイズを低下させる上で有用であろう。
【００８４】
図４を参照して、視線追跡プロセスの制御について、以下でさらに説明する。制御ユニット１６０は、視線追跡プロセスの状態を制御するステートマシンを実装していてよい。制御ユニット１６０は、視線追跡プロセスの状態を制御するための入力を生体信号処理ユニット１５０から受信してよい。
【００８５】
制御ユニット１６０は、初期状態(init state)４０２でシステム１００を開始してよい。この状態で、制御ユニット１６０は、選択的なセルフテストを実行し、それから画像取得を開始してよい。さらに、生体信号取得ユニット１５０は、ＥＯＧデータ取得を開始してよい。また、画像処理ユニット１２０は、画像処理アルゴリズムを開始してよく、生体信号処理ユニット１６０は、ＥＯＧデータ処理アルゴリズムを開始してよい。すべての初期化が完了すると、状態は「非瞬き(no blink)」状態４０４へ移行してよい。
【００８６】
「非瞬き」状態４０４が、システム１００のアクティブ状態におけるデフォルトであるシステム１００は、デフォルトで、画像を取得し、画像を処理し、画像から得られる眼に関連する特徴を出力する。これらの特徴は、例えば、眼の動きに基づいてヒューマン・マシン・インターフェースを提供する外部ユニットに出力されてもよい。これに代えて、またはこれに加えて、これらの特徴は、記録した眼の動きの履歴を残すために、システム１００のメモリに記録されてもよい。
特徴を抽出することによって、すなわち、眼球上の位置が静止しまたは固定された特徴の位置を識別することおよび／または決定することによって、固定された基準に対する眼球の方向が決定されてよい。
【００８７】
これと同時に、生体信号取得ユニット１５０は、生体信号データを取得し、さらに生体信号データを処理して、眼が閉じたことを検出する。例えば、生体信号データの取得と処理は、画像取得、画像処理ユニット１２０に対する画像出力および画像処理を行う間に（同時進行で、または並行して）実施されてよい。
【００８８】
眼が閉じたことを検出すると、生体信号処理ユニット１５０は、瞬きが開始したことを示す外部信号を制御ユニット１６０に送信してよい。次に、制御ユニット１６０は、システム１００を停止状態４０６（以下、「瞬きフェーズ１」状態と称す）へ移行させる制御信号を出力してよい。生体信号処理ユニット１５０により眼が閉じたこと（または、瞬きが開始したこと）が検出されない限り、システム１００は「非瞬き」状態４０４を維持する。
【００８９】
眼が閉じる、または既に閉じられている場合、画像ベースの視線追跡プロセスにより眼の位置を決定することはできない（例えば、取得された画像において瞳孔や虹彩を確認できない）。この場合、制御ユニット１６０は、処理に必要となる電力とメモリの消費を抑えるために、視線追跡プロセスを停止してよい。したがって、制御ユニット１６０は、システム１００が「瞬きフェーズ１」状態に入るような制御信号を出力してよい。
【００９０】
「瞬きフェーズ１」状態では、システム１００は、最小出力を用いるように構成されていてよい。したがって、「瞬きフェーズ１」状態では、画像取得デバイス１１０は画像取得を停止してよく、画像処理ユニット１２０は画像処理を停止してよい。また、画像取得デバイス１１０と画像処理ユニット１２０との間でのデータ（取得された画像シーケンスを含む）の転送を停止してもよい。これは、画像処理ユニット１２０が、画像取得デバイス１１０から遠く離れて配置され、かつ、送信機１３０が、画像処理ユニット１２０が内蔵された外部ユニットと無線通信する場合に、特に重要である。画像処理ユニット１２０がそれ以上の画像を受信しない場合にも、画像処理ユニット１２０は画像処理を停止してよい。
【００９１】
システム１００は、例えばルックアップテーブルを用いて、停止状態４０６を示す所定の特徴群についてのデフォルト値を送信してもよい。例えば、眼の位置のシーケンスのログに上記デフォルト値を記録し、当該ログにおいて瞬きを表示してもよい。
【００９２】
制御ユニット１６０はタイマ１６２を用いて、眼が閉じたことを検出した後の遅延時間を決定してよい。この遅延時間は較正されてよい。あるいは、瞬きの典型的な時間に基づくデフォルト値を用いてもよい。例えば、瞬きの平均的な時間は３００ｍｓから４００ｍｓである。眼が開く前にシステム１００がアクティブ状態４０２になるように、遅延時間は瞬きの平均時間より短くてもよい。したがって、所定の遅延時間が経過した後、制御ユニット１６０は、処理が停止した状態を待ち状態４０８（以下、「瞬きフェーズ２」状態と称す）に移行させるための制御信号を出力してよい。所定の遅延時間が経過しない限り、システム１００は「瞬きフェーズ１」状態４０６を維持する。
【００９３】
「瞬きフェーズ２」状態４０８では、瞬きの終わりは近い。「瞬きフェーズ２」状態４０８は、視線追跡プロセスの再開に向けてシステム１００を準備するために使用されて、瞬きの終わりが検出される時点までに、視線追跡プロセスを迅速に再開することができ、または、システム１００は、既に「非瞬き」状態４０４でその通常の活動を実行することができる。
【００９４】
したがって、画像取得デバイス１１０は、イメージセンサ回路の電源を入れて、これにより画像取得デバイス１１０は「準備」状態に配置されて、入射光に基づいて電荷の蓄積を開始し、受け取った光をデジタル画像に変換することができる。「準備」状態への移行は、画像取得デバイス１１０について露出レベルを設定すること、および／または、焦点を取得することをさらに含んでいてよい。
【００９５】
データの出力は、画像データ用の記憶領域をクリアすることおよび／または割り当てることにより、かつ／または、画像処理ユニット１２０との通信用データバスを初期化することおよび／または保存することにより、準備してもよい。遠隔に配置された画像処理ユニット１２０と通信するために送信機１３０が使用される場合、送信機１３０に電源が入れられ、画像処理ユニット１２０が内蔵される外部ユニットとの通信リンクが確立されてよい。
【００９６】
画像処理ユニット１２０は、画像処理に用いられるレジスタ、変数および／または制御ループを初期化することにより利用可能としてもよい。
【００９７】
「瞬きフェーズ２」状態４０８の時間は、上述の遅延時間により決定してよい。つまり、「瞬きフェーズ２」状態４０８を開始するタイミングは、遅延時間により制御されてよい。瞬きの平均持続時間の控えめな値を用いることによって、およびシステム１００が起動して視線追跡プロセスを再開する準備をするのに必要な合計時間と対照させて、瞬きの平均持続時間を相互参照することによって、遅延時間が較正される。
【００９８】
制御ユニット１６０は、瞬きの終わりを伝える信号を受信しない限り、システム１００を「瞬きフェーズ２」状態４０８に維持してよい。瞬きの終わりを示す信号を生体信号処理ユニット１５０から受信すると、制御ユニット１６０は、システム１００を「非瞬き」状態４０４に戻す制御信号を出力してよい。
【００９９】
制御ユニット１６０は、入力の他の組み合わせに基づいて、状態間での移行が行われるように構成されていてもよい。例えば、眼が閉じたことが検出され、さらにシステム１００が停止状態４０４に入ると、制御ユニット１６０は、タイマ１６２を用いて視線追跡プロセスを再開するタイミングを決定してよい。
【０１００】
タイマ１６２を用いて、瞬きの平均時間の較正および／または情報に基づいて第１の遅延時間を決定することも可能である。したがって、第１の遅延時間が経過したときに、制御ユニット１６０によりシステム１００の待ち状態４０８が開始してよい。次に、タイマ１６２を用いて、第１の遅延時間に続いて第２の遅延時間を決定してよい。そして、第２の遅延時間が経過したときに、制御ユニット１６０によりシステム１００のアクティブ状態４０４が開始してよい。
【０１０１】
変形例として、システム１００の初期状態４０２は、第１の遅延時間が経過した後、開始してもよく、その後、システム１００は、視線追跡プロセスを実施する準備ができた時点で自動的にアクティブ状態４０４に戻ってもよい。
【０１０２】
更なる変形例では、停止状態４０６からアクティブ状態４０４への移行は、眼が開いたのを生体信号処理ユニット１５０が検出したことに基づいて行われてもよい。したがって、眼が開きそうなことを生体信号処理ユニット１５０が検出した場合、制御ユニット１６０は、停止状態４０６からアクティブ状態４０４へ直接に戻ることにより視線追跡プロセスを再開する、ための制御信号を出力してよい。
【０１０３】
図５を参照して、視線追跡を行う方法５００について説明する。
【０１０４】
この方法は、視線追跡プロセスを実施し、眼の位置、大きさおよび向きのシーケンスを取得するステップを含む。視線追跡プロセスは、ユーザの眼のデジタル画像シーケンスを取得するステップ５０２を含んでいてよい。視線追跡プロセスは、当該デジタル画像シーケンスを含むデータを画像処理ユニット１２０に出力するステップ５０４をさらに含んでいる。次に、画像処理ユニット１２０は、当該データを処理して、眼の位置のシーケンスを決定する（ステップ５０６）。ここで、各位置は視線方向を示し、他の特徴群（例えば、瞳孔のサイズ）はユーザの生理学的事象または精神的事象を示す。
【０１０５】
この方法は、視線追跡プロセスの間に（視線追跡プロセスと同時に、または視線追跡プロセスと時間的に重なって）、眼の動きを表す生体信号データを取得するステップ５０８をさらに含む。取得された生体信号データを処理して眼が閉じたことを決定し（ステップ５１０）、これにより眼が閉じている間には、画像ベースの視線追跡プロセスによる眼の動きの追跡が行われないようにする。
【０１０６】
眼が閉じたことの検出に応答して、視線追跡プロセスが停止し、ステップ５１２では、デジタル画像シーケンスを取得するステップ５０２、データを出力するステップ５０４およびデータを処理するステップ５０６のうちの少なくとも１つが停止する。
【０１０７】
予め決められた遅延時間が経過したことに応答して、かつ／または、生体信号データの処理５１０の結果、眼が開いたことを検出したことに応答して、視線追跡プロセスを再開してよい（ステップ５１４）。
【０１０８】
図５の方法の変形例として、後処理のシナリオもまた適用できる。このシナリオでは、ステップ５０２、５０８、５１０に対応するステップを並列して、または時間が重複する形で実施する。取得された画像と取得された生体信号データは、後処理視線追跡プロセスのためにコンピュータデバイスに出力されてよい。後処理の間、撮影した画像と取得された生体信号データとを並列的に処理して、生体信号データと現在分析している画像とが同期するようにしてもよい。生体信号データ処理に基づいて眼を閉じたことを検出することに応答して、画像処理は停止され、予め決められた遅延時間が経過したこと、または予め決められた数の画像フレームがスキップされたこと、および／または、生体信号データの処理によって眼が開いたことを検出したことに応答するまで、画像処理は停止されたままであってよい。
【０１０９】
上述の説明では、限られた実施例を参照して、本発明概念を説明している。ただし、当業者に容易に理解されるように、請求項により規定される本発明概念の範囲から逸脱しない範囲であれば、上述の実施例とは異なる実施例も同様に可能である。
【図１】
2018049593.tif 000003
【図２】
2018049593.tif 000004
【図３】
2018049593.tif 000005
【図４】
2018049593.tif 000006
【図５】
2018049593.tif 000007
【外国語明細書】
2018049593.tif 000008
2018049593.tif 000009
2018049593.tif 000010
2018049593.tif 000011
2018049593.tif 000012
2018049593.tif 000013
2018049593.tif 000014
2018049593.tif 000015
2018049593.tif 000016
2018049593.tif 000017
2018049593.tif 000018
2018049593.tif 000019
2018049593.tif 000020
2018049593.tif 000021
2018049593.tif 000022
2018049593.tif 000023
2018049593.tif 000024
2018049593.tif 000025
2018049593.tif 000026
2018049593.tif 000027
2018049593.tif 000028
2018049593.tif 000029
2018049593.tif 000030
2018049593.tif 000031
2018049593.tif 000032
2018049593.tif 000033
2018049593.tif 000034