(57)【特許請求の範囲】
【請求項１】
オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行するための方法において、
ｉ）特定のオブジェクトまたはオブジェクトの部分に関心があることを決定するときに、アイトラッキングデータ信号とアクティブ化入力との特定の組み合わせからもたらされるであろう特定のコンテキストアクションを、受け取ったアクティブ化入力、並びに、前記ディスプレイ上の、および／または、前記ディスプレイに対する、ユーザの注視点を表すアイトラッキングデータ信号に基づいて構成することと、
ｉｉ）前記コンピュータデバイスの前記ディスプレイ上にオブジェクトを表示することと、
ｉｉｉ）アイトラッキングデータ信号を提供することと、
ｉｖ）アクティブ化入力を受け取ることと、
ｖ）前記注視点を使用して、前記ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別することと、
ｖｉ）現在の注視条件が予め定められている注視条件を満たし、および／または、前記アクティブ化入力が予め定められている条件を満たす場合に、前記オブジェクトまたはオブジェクトの部分を、関心があるオブジェクトまたはオブジェクトの部分であると決定することと、
ｖｉｉ）前記受け取ったアクティブ化入力と、前記アイトラッキングデータ信号と、関心があるオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定することと、
ｖｉｉｉ）前記特定のコンテキストアクションを実行することと、
を具備する、方法。
【請求項２】
前記特定のコンテキストアクションを決定するステップは、
前記アイトラッキングデータ信号とアクティブ化入力との特定の組み合わせを決定することと、
関心がある特定のオブジェクトまたはオブジェクトの部分に対する、前記アイトラッキングデータ信号とアクティブ化入力との特定の組み合わせに対して予め定められている構成に基づいて、前記特定のコンテキストアクションを決定することと、
を具備する、請求項１記載の方法。
【請求項３】
前記特定のコンテキストアクションを決定するステップは、
前記関心があるオブジェクトの状態を決定すること；ならびに／あるいは、
オペレーティングシステムの履歴および／または現在の状態を決定すること；ならびに／あるいは、
コンピュータデバイスの履歴および／または現在の状態を決定すること、
を具備する、請求項１または２記載の方法。
【請求項４】
特定のコンテキストアクションをもたらすために満たされるべき注視条件を選択することを含む、前記予め定められている注視条件を構成することをさらに具備する、請求項１ないし３のいずれか１項記載の方法。
【請求項５】
オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行する際にユーザを支援するシステムにおいて、
前記コンピュータデバイスに関係する入力デバイスから、アクティブ化入力を受け取るように適合されている入力モジュールと、
特定のオブジェクトまたはオブジェクトの部分に関心があることを決定するときに、アイトラッキングデータ信号とアクティブ化入力との特定の組み合わせからもたらされるであろう特定のコンテキストアクションを、受け取ったアクティブ化入力、並びに、前記ディスプレイ上の、および／または、前記ディスプレイに対する、ユーザの注視点を表すアイトラッキングデータ信号とに基づいて構成するように構成されている構成モジュールと、
オブジェクト識別器であって、
アイトラッキングデータ信号を受け取り、
前記注視点を使用して、前記ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別し、
現在の注視条件が予め定められている注視条件を満たす場合に、前記オブジェクトを、関心があるオブジェクトであると決定する、
ように適合されているオブジェクト識別器と、
アクション決定モジュールであって、
前記受け取ったアクティブ化入力と、前記アイトラッキングデータ信号と、関心があるオブジェクトまたはオブジェクトの部分とに基づいて、特定のコンテキストアクションを決定し、
前記特定のコンテキストアクションの実行のための命令を提供する、
ように適合されているアクション決定モジュールと、
を具備する、システム。
【発明の詳細な説明】
【発明の分野】
【０００１】
本発明は、一般的に、コンピュータで実現する、対話型グラフィカルユーザインターフェースに関連する、目の運動の検出を利用するシステムおよび方法に関する。特に、本発明は、例えば、オブジェクトもしくはオブジェクトの部分の選択もしくはアクティブ化、および、オブジェクトもしくはオブジェクトの部分に関するコンテキストアクションの実行のために、グラフィカルユーザインターフェースと対話するときに、例えば、機械的入力、ＩＲセンサからの入力、音声アクティブ化入力、身体ジェスチャーの検出、または近接ベースの入力に、アイベースの入力を組み合わせることにより、ユーザを支援するシステムおよび方法に関する。本発明はまた、ユーザが、特定のコンテキストアクションをもたらす、アイデータ入力と他の入力（例えば、機械的入力、ＩＲセンサからの入力、音声アクティブ化入力、身体ジェスチャーの検出、または近接ベースの入力）との特定の組み合わせを構成およびカスタマイズできるようなシステムおよび方法に関する。
【背景】
【０００２】
ヒューマンコンピュータ対話は、グラフィカルユーザインターフェース（ＧＵＩ）の採用により激変した。それゆえ、任意の先行のチャネルをはるかに超えた帯域幅により、ユーザに情報を提示するための効率的な手段が提供された。長年にわたって、情報を提示できるスピードは、カラースクリーン、拡大ディスプレイ、インテリジェントグラフィカルオブジェクト（例えば、ポップアップウィンドウ）、ウィンドウタブ、メニュー、ツールバー等を通して、さらに上がった。しかしながら、この期間の間、入力デバイス、すなわち、キーボードおよびポインティングデバイス（例えば、マウス、トラックボール、またはタッチパッド）は本質的に変化せずに保たれた。今日、ハンドライティングデバイスが（例えば、スタイラスまたはグラフィカルペンの形態で）採用されている。それでも、出力帯域幅が数倍に倍増されている一方で、入力帯域幅は、実質上変化していない。結果として、ヒューマンコンピュータ対話における通信帯域幅の深刻な非対照性が生じてきた。
【０００３】
この帯域幅の非対照性を低減させるとともに、ユーザ対話を向上および促進させるために、このような目的に向けてアイトラッキングを使用するさまざまな試みが行われてきた。目の運動を監視または追跡することと、人の注視点（ここで使用するように、人が空間中に見る点）を検出することとが、人の挙動または意識を分析するのに重要な情報元となり得る。これは、人が見ているオブジェクトを評価すること、および、それぞれの人を評価することの双方に対して使用できる。例えば、ラップトップ中にアイトラッキングデバイスを実現することにより、ユーザとコンピュータ上で実行される異なるソフトウェアアプリケーションとの間の対話の可能性を著しく向上させることができる。
【０００４】
したがって、ユーザ対話を向上および促進させ、帯域幅の非対照性を取り除くための１つの興味深いアイディアは、マウス入力の代わりに、または、マウス入力を補って、目の注視トラッキングを使用することである。通常、カーソルは、計算されたユーザの注視点にしたがって、ディスプレイ上に位置付けられる。これらのシステムにおいてターゲットオブジェクトを選択およびアクティブ化するための多数の異なる技術が発達してきた。１つの例では、システムは、ユーザが、ある時間期間の間、ユーザの注視を特定のオブジェクトにおいて固定しているということを検出すると、オブジェクトをアクティブ化させる。別のアプローチは、ユーザの目が瞬きするとき、オブジェクトのアクティブ化を検出することである。
【０００５】
しかしながら、アイトラッキングを使用する、これらのソリューションに関係する問題が存在する。例えば、人は、制御するというよりは、認知行動において、彼らの目を使用する。それゆえ、注意深く目の運動を使用してコンピュータと対話すること、例えば、コンピュータのディスプレイ上に表示されているオブジェクトをアクティブ化および選択することは、精神的に疲れるかもしれない。また、ディスプレイ上に表示されているオブジェクトと対話するために、瞬きまたは凝視を制御することも難しいかもしれない。
【０００６】
したがって、技術内において、ユーザが、直感的で自然な方法で、ユーザの目を使用して、コンピュータのディスプレイ上に提示されているオブジェクトおよびオブジェクトの部分を制御、選択、アクティブ化できるようにする、アイトラッキングデバイスにより提供される、コンピュータとのユーザ対話を可能にする向上した技術に対する必要性が存在する。さらに、技術内において、ユーザのコンピュータとの対話を向上および促進するために、アイトラッキングを使用することの潜在性をより効率的な方法で利用する技術に対する必要性も存在する。
【０００７】
１つのこのような試みが、Ｂｅｙｍｅｒ氏らの米国特許出願第２００５／０２４３０５４号において、提示されている。その中では、目の注視とキーの押下を使用して、ターゲットオブジェクトを選択およびアクティブ化するための技術が開示されている。さらに詳細には、ユーザは、例えばグラフィカルユーザインターフェース上のボタンのような、ターゲットオブジェクトを見て、キーボードの選択キーを押下げる。いったん、選択キーが押下げられると、確率推論を使用して、最も可能性のあるターゲットを決定する。そして、決定したターゲットオブジェクトは、強調表示され、ユーザは、選択キーを再び押下げることにより、それを選択できる。強調表示されたオブジェクトが、ターゲットオブジェクトではない場合に、ユーザは、意図されるターゲットオブジェクトへナビゲートする追加のキーを使用して、別のターゲットオブジェクトを選択できる。
【０００８】
しかしながら、この技術は、目の注視と１つの専用の選択キー１つの２回のシーケンシャルな押下との組み合わせに基づく、オブジェクトの選択およびアクティブ化に制限されている。
【０００９】
結果的に、技術内において、より効率的な方法で、ユーザのコンピュータとの対話、特に、ユーザのグラフィカルユーザインターフェースとの対話を向上および促進するアイトラッキングを使用することの、潜在性を利用する向上した技術の必要性が依然として残る。
【概要】
【００１０】
本発明の目的は、スクリーンもしくはディスプレイのエリアと、ディスプレイ上に提示されているオブジェクトおよびオブジェクト部分との選択もしくはアクティブ化、ならびに、それらのエリア、オブジェクト、およびオブジェクト部分に関連するコンテキストアクションの実行のために、グラフィカルユーザインターフェースと対話するときに、例えば、機械入力、ＩＲセンサからの入力、音声アクティブ化入力、身体ジェスチャーの検出、もしくは近接ベース入力のような、他の入力を、アイベース入力と組み合わせることにより、ユーザを支援するための、向上した方法およびシステムを提供することである。
【００１１】
本発明の別の目的は、ユーザフレンドリーで直感的な、グラフィカルユーザインターフェースとの対話のための方法およびシステムを提供することである。
【００１２】
本発明の文脈から、用語“ＧＵＩ”（グラフィカルユーザインターフェース）は、例えば、可動ウィンドウおよびアイコンを組み込むディスプレイ上の（例えば、サインおよび図面を含む）ピクチャもしくは画像およびワードによる、グラフィックベースのユーザインターフェースのことを指す。
【００１３】
さらに、本発明の文脈から、用語“関心のオブジェクト”または“関心のオブジェクト部分”は、ユーザが、目の注視を通して選択またはアクティブ化することを望む、ボタンもしくはスクロールバーハイパーリンクのような、対話型グラフィカルオブジェクトまたはＧＵＩオブジェクト、あるいは、テキスト中のテキストもしくはワードのような、非対話型オブジェクトのことを指す。
【００１４】
用語“コンテキストアクション”は、本発明の文脈から、アイデータ入力と、例えば、マウスもしくはキーもしくはボタンのような機械入力デバイスからの入力と、ＩＲセンサからの入力、音声アクティブ化入力、または、身体ジェスチャー、または、近接ベースの入力からの入力とに基づいて、オブジェクトまたはオブジェクト部分に関して実行できるアクションのことを指す。例えば、ユーザが、ディスプレイ上に表示されている特定のウィンドウを注視し、および、特定のキーを押下げることは、特定のウィンドウを最大化するというコンテキストアクションをもたらすかもしれない。別の例は、ユーザが、ウィンドウ中のウェブリンクを注視し、ユーザの手で特定のジェスチャーをするとき、リンクしているウェブページが開かれることである。
【００１５】
本発明の態様にしたがうと、オブジェクトまたはオブジェクトの部分を操作して、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示されているオブジェクトに関連するコンテキストアクションを実行するための方法を提供する。方法は、コンピュータデバイスのディスプレイ上にオブジェクトを表示させることと、ディスプレイ上のユーザの注視点を、および／または、相対的にディスプレイを説明する、アイトラッキングデータ信号を提供することとを含む。アクティブ化入力は、入力デバイスから受信されてもよい（例えば、キーボードのキーを押下げること、または、コンピュータデバイスに関係するジョイスティックボタンを押下げること）。さらに、アクティブ化入力は、ＩＲセンサから受け取られてもよく、または、音声アクティブ化入力であってもよく、または、身体ジェスチャーまたは近接ベースの入力の検出であってもよい。その後、ユーザが注視しているオブジェクトまたはオブジェクトの部分は、決定された注視点および／またはアクティブ化入力を使用することにより決定される。オブジェクトまたはオブジェクト部分は、現在の注視条件が予め定められている注視条件を満たす、および／または、アクティブ化入力が予め定められている注視条件を満たす場合に、関心のオブジェクトまたはオブジェクト部分であると決定される。特定のコンテキストアクションは、受け取ったアクティブ化入力と関心のオブジェクトまたはオブジェクト部分とに基づいて決定される。
【００１６】
本発明の第２の態様にしたがうと、オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示されるオブジェクトに関連するコンテキストアクションを実行する際に、ユーザを支援するシステムが提供されている。システムは、オブジェクトを表示するように適合されているディスプレイを具備する。入力モジュールは、例えば、コンピュータデバイスに関係するキーボードの少なくとも１つのキー、または、フットパネル、機械スイッチ、ジョイスティックボタン、ゲームパッド等から、アクティブ化入力を受け取るように適合されている。代替的に、アクティブ化入力は、例えば、ＩＲセンサから受け取られてもよく、音声アクティブ化入力であってもよく、または、身体ジェスチャーもしくは近接ベースの入力の検出であってもよい。さらに、オブジェクト識別器は、ディスプレイ上のユーザの注視点を、および／または、相対的に前記ディスプレイを説明する、アイトラッキングデータ信号を受信し、決定された注視点および／またはアクティブ化入力を使用して、ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別し、現在の注視条件が予め定められている注視条件を満たす場合に、および／または、アクティブ化入力が予め定められている条件を満たす場合に、関心のオブジェクトになるオブジェクトを決定するように適合されている。アクション決定モジュールは、受け取ったアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定し、特定のコンテキストアクションの実行のための命令を提供するように適合している。
【００１７】
本発明は、既知の技術を超えるいくつかの利益を提供する。例えば、ユーザは、オブジェクトを選択およびアクティブ化して、それらのオブジェクトに関連するアクションを、本発明の機能の直感的な方法による、ユーザフレンドリーで、信頼でき、正確な方法で、実行できる。従来、一連の手および／または指の操作を必要とするコマンドとコンテキストアクションとは、今や、ユーザの目のアクティビティおよびカスタマイズした入力に基づいて、効果的に、たやすく生じさせることができる。これは、例えば、職場または自宅における、一般的なコンピュータユーザにとって、優れた用途であり、関心である。さらに、これは、例えば、コールセンターの環境（例えば、カスタマーリレーションシップ管理アプリケーション中にデータを入力／編集するとき）におけるサポートオペレータ、および、高度なコンピュータ支援型の設計（ＣＡＤ）ツールのユーザのような、より特定のアプリケーションの幅広い領域において、望ましくもある。発明は、人間工学を向上させ、例えば、反復性運動の過多による損傷のリスクを低減させるためにも有効であるかもしれない。
【００１８】
さらに、好ましい実施形態にしたがって、ユーザは、アイデータ入力（例えば、特定のオブジェクトの選択および注視のドエルタイムの検出）と、入力（例えば、特定のキーの押下）との特定の組み合わせから、いずれの特定のアクションをもたらすべきかを規定または構成できることから、そのユーザの志向および要求に基づく、非常にユーザフレンドリーで直感的な対話環境を作り出すことができる。
【００１９】
本発明のさらなる態様にしたがうと、目の注視データと入力とを組み合わせて使用して、ユーザが、関心のオブジェクトおよびオブジェクト部分を選択、ズーム、およびアクティブ化することを可能にすることができる。ユーザは、オブジェクトおよびオブジェクト部分、または、スクリーンもしくはディスプレイ上のエリアを注視することと、入力を送り出すこと、例えば、キーボードの特定のキーを押下げることとにより、関心のオブジェクトおよびオブジェクト部分、あるいは、注視点の周りのエリアを誇張または拡大できる。維持されたユーザ入力信号、例えば、維持されたキーの押下の間、オブジェクトまたはオブジェクト部分を徐々に拡大し、したがって、ズーミング効果を達成する。第２の機械的入力信号を送り出すことにより、例えば、キーの押下をリリースすることにより、ユーザは、誇張されたオブジェクトまたはオブジェクト部分を操作、クリック、またはアクティブ化してもよい。ユーザは、必要である場合に、例えば、アイトラッカーの不正確に対して調節するために、注視を調節してもよい。オブジェクトまたはオブジェクト部分の拡大は、アイトラッカーの、平均的な不正確またはオフセットエラーに対して要求を満たすのに十分に拡大できる。
【００２０】
１つの例では、最も可能性あるオブジェクトまたはオブジェクト部分を、ズームまたは拡大して、決定された注視点上に集めることができる。これが、正しいオブジェクトまたはオブジェクト部分である場合に、ユーザは、第２の入力を送り出すことにより、例えば、キー上の押下をリリースすることにより、オブジェクトまたはオブジェクト部分をアクティブ化してもよい。ユーザを支援するために、いずれのオブジェクトまたはオブジェクト部分にユーザ注視を置いているか示す視覚キューを示すことができる。代替的に、コンテキストアクションの対象となるいずれのオブジェクトまたはオブジェクト部分が、拡大（または、ズーミングアクション）の後に実行されることになるか、例えば、クリックが実行されることになるかを、ユーザに対して示すために、決定された注視点を示すことができる。
【００２１】
例示的な実施形態の手段により、本発明のさらなる目的および利益を以下で議論する。
【図面の簡単な説明】
【００２２】
付随の図面を参照して、本発明の例示的な実施形態を以下で説明する。
【図１】図１は、本発明を実現するコンピュータ装置を制御するユーザの概要図を示している。
【図２】図２は、本発明にしたがった、実施形態の配置を図示しているブロックダイヤグラムである。
【図３】図３は、本発明にしたがった、方法の一般的な原理を図示しているフローチャートである。
【図４】図４は、本発明にしたがった、別の実施形態の配置を図示しているブロックダイヤグラムである。
【図５】図５は、本発明にしたがった、さらなる実施形態の配置を図示しているブロックダイヤグラムである。
【図６】図６は、本発明にしたがった、方法の一般的な原理を図示しているフローチャートである。
【例示的な実施形態の説明】
【００２３】
以下のものは、本発明にしたがった、例示的な実施形態の説明である。本説明は、限られた意味で取られるべきではなく、本発明の一般的な原理を説明する目的のために単に行うだけである。他の実施形態を利用してもよく、本発明の範囲から逸脱することなく、構造および論理の変更が行われてもよいことを理解するべきである。
【００２４】
初めに、図１、２、および４を参照すると、本発明にしたがったコンピュータシステムの実施形態を記述する。図１は、本発明にしたがった、統合された注視および手動制御を持つコンピュータシステムの実施形態を示している。ユーザ１１０は、ディプレイ２０上のユーザの注視点ｘ，ｙを説明するアイトラッキング信号ＤEYEに基づいて、コンピュータシステム１０を少なくとも部分的に制御できる。ディスプレイ２０は、何らかのタイプの既知のコンピュータスクリーンまたはモニタとともに、２つより多い別々のディスプレイであってもよい。例えば、ディスプレイ２０は、立体的なスクリーンの組、ヘッドアップディスプレイ（ＨＵＤ）、または、ヘッドマウンテッドディスプレイ（ＨＭＤ）を構成してもよい。
【００２５】
さらに、本発明は、パーソナルデジタルアシスタント、セル電話機、ポータブルミュージックプレーヤー（例えば、ｉＰｏｄ（登録商標））、ラップトップコンピュータ、コンピュータゲーム、電子書籍、および類似した他のデバイスのような、小さなキーボードとディスプレイとを持つハンドヘルドデバイスでも実現してもよい。本発明は、“インテリジェント環境”でも実現でき、そこでは、例えば、複数のディスプレイ上で提示されているオブジェクトを選択およびアクティブ化できる。
【００２６】
アイトラッキング信号ＤEYEを生成するために、アイトラッカーユニット４０が、ディスプレイ２０もしくはコンピュータ３０中に備えられ、または、ディスプレイ２０にもしくはコンピュータ３０に関係している。同一出願人による、“目および目の注視方向を検出し追うための方法ならびに装置”と題し、その全体がここに組み込まれている米国特許第７，５７２，００８号中に、適切なアイトラッカーが記載されている。
【００２７】
アイトラッキングユニット４０に関係するソフトウェアプログラミングは、アイトラッキングユニット４０自体に含まれていてもよい。図２中に示されている特定の例は、アイトラッキングモジュール中で実現する関係するソフトウェアを図示しており、関係するソフトウェアは、特定のアプリケーションに依存して、コンピュータ３０中に、アイトラッキングユニット４０中に、または２つの組み合わせの中に単独で備えられていてもよい。
【００２８】
ディスプレイ２０上に表示されている、ユーザ１１０が注視するオブジェクトまたオブジェクトの部分を、アイトラッカーユニット４０から受信された、アイトラッキング信号ＤEYEに基づいて決定するようにオブジェクト識別器３４は適合される。
【００２９】
ＧＵＩコンポーネント１２０、例えば、ボタンのような対話型オブジェクトの表示を見ることにより、ユーザは、コンピュータ３０へのコマンドを発生させてもよい。ＧＵＩコンポーネントがアイトラッカー信号ＤEYEにより、少なくとも間接的に影響を与えられるように適合されていることから、この操作はイネーブルされる。本発明にしたがうと、ユーザ１１０は、（ユーザの注視により発生された）アイトラッキング信号ＤEYEと、ユーザ入力デバイス５０を使用する、ユーザ入力または手動ユーザアクションとの組み合わせの手段により、例えば、キーボード５１上のキーまたはキーの組み合わせを押下することにより、ディスプレイ２０上に表示されているオブジェクト、オブジェクトの部分を操作、例えば、例示、選択、およびアクティブ化することができる。
【００３０】
したがって、コンピュータシステム１０は、コンピュータ３０と、アイトラッキングユニット４０と、ディスプレイ２０と、ユーザ入力デバイス５０とを含む。コンピュータ３０は、例えば、パーソナルコンピュータのグループ、コンピュータワークステーション、メインフレームコンピュータ、または、セル電話機、（例えば、ｉＰｏｄのような）ポータブルミュージックプレーヤー、もしくは、ラップトップのような、ハンドヘルドデバイスからの１つであってもよい。このようなコンピュータは、図２中に図示されているそれらに加えて、いくつかの他のコンポーネントを備えるが、それらのコンポーネントは、図示の目的で、図２から省略されている。
【００３１】
ユーザ入力デバイス５０は、ユーザ、例えば、コンピュータキーボード、マウス、“トラックボール”、タッチスクリーン、もしくは他のデバイスによる、圧力、物理的な接触、もしくは他の手動制御を感知するエレメント、例えば、ＩＲセンサからの入力、音声アクティブ化入力、または、身体ジェスチャーの検出、または近接ベースの入力を含む。しかしながら、図２中に示されている特定の実施形態では、ユーザ入力デバイス５０中にキーボード５１およびマウス５２が備えられている。
【００３２】
コンピュータ３０中に、もしくは、ユーザ入力デバイス５０中に、または、双方中に、単独で備えられているソフトウェアモジュールであってもよい、入力モジュール３２は、手動ユーザアクション、例えば、キーボード５１のボタンを押下ることを表示する、ユーザ入力デバイス５０からの信号を受信するために適合される。入力モジュール３２は、受信信号を解釈するようにも適合されている。例えば、電気信号が、キーボード５１から受信され、入力モジュール３２は、ディスプレイ２０上での特定のレターとして出力を提供する。別の特定の例では、入力モジュール３２は、実行すべき特定のコンテキストアクションの決定において使用するための出力を提供する。出力は、手動アクティブ化入力（例えば、予め定められているキーの押下、キーの組み合わせ、または、キーの複数回の押下）により生じる受信電気信号を表す。以下でより詳細に説明するように、実行すべき特定のコンテキストアクションは、オブジェクトまたはオブジェクトの部分上のユーザの注視と、ユーザ入力デバイス５０を介した手動アクティブ化入力との決定に基づいて、アクション決定モジュール３５において決定される。このようなコンテキストアクションは、例えば、以下でさらに議論するように、ウィンドウを前方へ、および、焦点に持っていくことが可能である。したがって、ユーザは、あるキーの押下またはキーの組み合わせと組み合わせて、焦点が合っていないウィンドウを注視することにより、焦点を合わせるために、焦点が合っていないウィンドウを選択することができる。
【００３３】
アクション決定モジュール３５は、関心のオブジェクト、または、関心のオブジェクトの部分に基づいて、コンテキストアクションを決定するために、手動アクティブ化入力と組み合わせて、適合される。例えば、アクション決定モジュール３４は、オブジェクトまたはオブジェクトの部分と手動アクティブ化入力との各組み合わせに対して、実行すべきコンテキストアクションのリストを含むライブラリを備えていてもよい。
【００３４】
図４中に示されている本発明の１つの例示的な実施形態では、ユーザ１１０は、手動アクティブ化入力と、オブジェクトまたはオブジェクトの部分との組み合わせを手動で構成してもよい。図２および４中に示されている同一のパーツ、モジュールおよびコンポーネントは、同一の参照番号により示されており、それらの説明は以下で省略されている。ユーザが、組み合わせを手動でカスタマイズまたは構成することを可能にすることにより、手動アクティブ化入力のいずれの特定の組み合わせ、および、関心のオブジェクトもしくは関心のオブジェクトの部分のいずれの特定の組み合わせが、コンテキストアクションをもたらすかを決定することが可能である。手動アクティブ化入力は、任意の種の入力、または、入力の任意の組み合わせからなってもよく、例えば、２つのアイトラッカー機能ボタンのケースでは、各ボタンは、（オブジェクトまたはオブジェクトの部分上の注視と組み合わせで）別々のアクションに関係していてもよいが、２つのボタンを同時に押下げることは、第３のアクションに関係していてもよい。アクションは、また、アイトラッカー機能ボタンのダブルクリックまたはシングルクリックによりトリガされてもよい。例えば、ユーザが同一のオブジェクトまたはオブジェクトの部分を注視することと組み合わせて、ダブルクリックすることは、シングルクリックすることと異なるアクションをトリガし得るダブルクリックまたはシングルクリックである。上述したように、アイトラッカー機能ボタンは構成可能である。それゆえ、たとえそれらが、ユーザが注視している同一のオブジェクトまたはオブジェクトの部分に依存する場合でも、異なるアクションをオブジェクトまたはオブジェクトの部分に関係付けることが可能である。例えば、ウィンドウタイトルバーを注視することにより、ユーザは、ウィンドウを最大化するようにアイトラッカー機能ボタンを構成することができるだろう。しかしながら、同一のアイトラッカー機能ボタンは、注視により、ウィンドウをドラッグするようにも構成できるだろう。この目的のために、システム１００は、構成モジュール３７を備える。構成モジュール３７は、コンピュータ３００中に備えられているソフトウェアであってもよく、アイトラッカー機能ボタンのユーザ構成に関する命令を含む入力信号を、ユーザ入力デバイス５０から受け取るように、および、アイトラッカー機能ボタンのユーザが規定した構成を含む出力をアクション決定モジュール３５に送り出すように構成されている。
【００３５】
アクション決定モジュール３５は、実行すべきコンテキストアクションの決定における、オブジェクトの現在の状態を使用するようにも適合していてもよく、例えば、オブジェクトがディセーブルされている場合に、コンテキストアクションを禁止できる。加えて、アクション決定モジュール３５は、実行すべきコンテキストアクションを決定するときに、コンピュータ３０の動作システムの履歴状態、および／または、コンピュータ３０の履歴状態、および／または、動作システムの現在の状態、および／または、コンピュータ３０の現在の状態、および／または、ユーザの現在の状態を使用する。
【００３６】
ＧＵＩコンポーネントモジュール３８は、アクション決定モジュール３５からの、ユーザ発生型コマンドおよび／または命令に基づいて操作されるように適合されている。ＧＵＩコンポーネントモジュール３８は、ディスプレイ２０上での表示のための画像を表している信号を生成させるビデオユニットを備えていてもよい。
【００３７】
さらに、例えば、ラウドスピーカーとウェブカメラとを含むハードウェアユニット３９が、コンピュータ３０中に備えられており、または、コンピュータ３０に関係している。ハードウェアユニットは、アクション決定モジュール３５からの、ユーザ発生型コマンドおよび／または命令に基づいて操作されてもよい。加えて、プリンタのような（示されていない）他のデバイスおよびコンポーネントが、コンピュータ３０に接続されていてもよく、アクション決定モジュール３５からの、ユーザ発生型コマンドおよび／または命令に基づいて操作されてもよい。
【００３８】
入力とアイデータとの組み合わせに基づいて実行される可能性あるコンテキストアクションの網羅的ではないリストをこれから以下に提供する。
【００３９】
アイトラッカー機能ボタンを押下げる間、バックグラウンドウィンドウを注視することにより、ユーザはウィンドウを前方に持ってくることができる。このケースでは、手動アクティブ化入力は、アイトラッカーボタンの押下である。関心のオブジェクトは、ユーザが前方に持ってくることを望むウィンドウである。手動入力と、関心のオブジェクトまたは関心のオブジェクトの部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０においてウィンドウを前方に持ってくることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００４０】
アイトラッカー機能ボタンを下げたままにすることによって、前景における焦点を持つウィンドウを注視することにより、ユーザは、頭の運動でウィンドウをドラッグしてもよい。このケースでは、手動アクティブ化入力は、アイトラッカーボタンの押下および押下の維持である。関心のオブジェクトは、前景における焦点を持つウィンドウである。手動入力と、関心のオブジェクトまたは関心のオブジェクトの部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０にわたってウィンドウをドラッグすることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００４１】
ウィンドウタイトルバーを注視し、アイトラッカー機能ボタンを押下げることにより、ユーザは、ウィンドウを最大化してもよい。このケースでは、手動アクティブ化入力は、アイトラッカーボタンの押下であり、関心のオブジェクト部分は、ウィンドウタイトルバーである。手動入力と、関心のオブジェクトまたは関心のオブジェクトの部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上に提示されるウィンドウを最大化することにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００４２】
本発明の１つの実施形態では、アイトラッキング機能ボタンを、左マウスクリックとしてアクトするように構成できる。ディスプレイ２０上のＧＵＩコンポーネントを注視することにより、アイトラッカー機能ボタンの押下は、注視点におけるＧＵＩコンポーネントのクリックをもたらしてもよい。このケースでは、手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、ＧＵＩコンポーネントである。手動入力と、関心のＧＵＩコンポーネントを規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、ＧＵＩコンポーネント上でのマウスクリックを実行するための命令を出力してもよい。
【００４３】
本発明の１つの実施形態では、アイトラッカー機能ボタンは、ＧＵＩコンポーネント選択器としてアクトするように構成できる。ディスプレイ２０上のＧＵＩコンポーネントを注視することにより、アイトラッカー機能ボタンの押下は、注視点におけるＧＵＩコンポーネントを強調表示してもよく、または、選択してもよい。このケースでは、手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、ＧＵＩコンポーネントである。手動入力と、関心のＧＵＩコンポーネントを規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、ＧＵＩコンポーネントを強調表示／選択するための命令を出力してもよい。
【００４４】
映画の表示の間、ユーザは、アイトラッカー機能ボタンにより、映画を一時停止または再開してもよい。このケースでは、手動アクティブ化入力は、アイトラッカーボタンの押下であり、関心のオブジェクトは、映画である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上の映画の表示を一時停止または再開することにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００４５】
上下音量制御の上部を注視して、アイトラッカーボタンを押下げることにより、ユーザは、音量を上げることができ、代わりに、音量制御の下部を注視して、ボタンを押下げることにより、音量を下げることが可能である。手動アクティブ化入力は、キーの押下であり、関心のオブジェクト部分は、音量制御の上部または下部である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、音量を上げるまたは下げることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ハードウェアユニット３９に対する命令を出力する。
【００４６】
大きな画像を注視することにより、ユーザは、アイトラッカー機能ボタンを押下げることにより、注視点における画像の部分を集めることによって、画像をスムーズにパンすることが可能である。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、画像である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０にわたって画像をスムーズにパンすることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００４７】
大きな画像を注視することにより、ユーザは、画像を注視することにより画像をスムーズにパンして、手の運動のような身体ジェスチャーで、それをパンすることができる。手動アクティブ化入力は、手の運動である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０にわたって画像をスムーズにパンすることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００４８】
画像を注視することにより、ユーザは、１つのアイトラッカー機能ボタンの押下により、注視点における画像をズームインしてもよく、別のアイトラッカー機能ボタンの押下により、ズームアウトしてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、画像である。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上でのズームインまたはズームアウトにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。代替的に、目の位置のディスプレイ２０までの距離（実質的には、頭からディスプレイ２０までの距離）を使用して、１つのアイトラッカー機能ボタンがズームすべきか否かを決定することも可能である。ディスプレイ２０までの距離が、所定のしきい値未満である場合に、それは、特定のスピードによりズームインすることが可能である。それが所定のしきい値を超える場合に、それは、特定のスピードによりズームアウトすることが可能である。
【００４９】
ウェブリンクを注視して、アイトラッカー機能ボタンを押下げることにより、ユーザは、現在のページを離れることなく、ウェブページのプレビューを与えられてもよい。プレビューは、ポップアップウィンドウ中に示すことが可能である。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、ウェブリンクである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上のポップアップウィンドウ中にウェブページのプレビューを表示することにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００５０】
ウェブリンクを注視して、アイトラッカー機能ボタンを押下げることにより、ユーザは、ウェブリンクのページにナビゲートしてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、ウェブリンクである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ウェブリンクがリンクするページにナビゲートして、ディスプレイ２０上にページを示すことにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００５１】
テキスト中の外国ワードを注視して、アイトラッカー機能ボタンを押下げることにより、ワードの翻訳をポップアップウィンドウ中に示すことができる。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトの部分は、外国ワードである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ワードの翻訳をディスプレイ２０上のポップアップウィンドウ中に示すことにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００５２】
ディスプレイ２０上に表示されているデスクトップ上のアプリケーションアイコンを注視することにより、ユーザは、アイトラッカー機能ボタンを押下げることによっても、そのアプリケーションを開始してもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクトは、アイコンである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、アプリケーションを開始して、ディスプレイ２０上にアプリケーションウィンドウを示すことにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００５３】
コンタクトリストを注視して、アイトラッカー機能ボタンを押下げることにより、ユーザは、例えば、１つのコンタクト全体ずつ、（通常のマウスホイールまたは従来のマウスホイールが作るラインより対向するスクローリングラインとして）、コンタクトリストをスクロールしてもよい。これは、故意ではないスクローリングが起こるかもしれない自動スクローリング方法とも異なる。アクティブ化入力は、キーの押下であり、関心のオブジェクトは、コンタクトリストである。手動入力と、関心のオブジェクトまたはオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、決定されたコンテキストアクション、すなわち、ディスプレイ２０上のコンタクトリストをスクローリングすることにしたがって、オブジェクトを表示、選択、またはアクティブ化するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００５４】
オブジェクトが決定されていない、または、関心のオブジェクトを見つけることができない場合に、アイトラッカー機能ボタンの押下は、マウスカーソルをディスプレイ２０における注視点に移動してもよい。手動アクティブ化入力は、キーの押下であり、このケースでは、関心のオブジェクトは、オブジェクトがない。手動入力と、関心のオブジェクトがないと規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、ディスプレイ上の注視点においてマウスカーソルを表示するための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００５５】
数入力フィールドを注視して、第１のアイトラッカー機能ボタンを押下げることにより、フィールド中の数を増加させてもよい一方で、第２のボタンを押下げることは、フィールド中の数を減少させてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクト部分は、数入力フィールドである。手動入力と、関心のオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、特定のキーの押下に基づいて、フィールド中の数を増加または減少させるための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００５６】
リマインダウィンドウまたはアラームを注視して、アイトラッカーボタンを押下げることにより、ユーザは、アラームをスヌーズまたはミュートにしてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクト部分は、リマインダウィンドウまたはアラームである。手動入力と、関心のオブジェクト部分を規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、注視データに基づいて、アラームをスヌーズまたはミュートにするための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００５７】
コンピュータディスプレイから離れて注視して、アイトラッカー機能ボタンを押下げることにより、ユーザは、ディスプレイをオフにしてもよい。手動アクティブ化入力は、キーの押下であり、このケースでは、関心のオブジェクトはない。手動入力と、関心のオブジェクトがないことを規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、オフにし、または、電力節約モードに入るための、ディスプレイ２０に対する命令を出力する。
【００５８】
３Ｄアプリケーションでは、ユーザは、アイトラッカー機能ボタンを押下げることにより、ユーザが注視するオブジェクトを回転させてもよい。ユーザは、別のアイトラッカー機能ボタンを押下げることにより、反対方向にオブジェクトを回転させてもよい。手動アクティブ化入力は、キーの押下であり、関心のオブジェクト部分は、ユーザが注視するオブジェクトである。手動入力と、関心のオブジェクトがないことを規定する注視データとの受け取りにおいて、アクション決定モジュール３５は、関心のオブジェクトを回転させるための、ＧＵＩコンポーネントモジュール３８に対する命令を出力する。
【００５９】
上記で示したように、これは、目の注視と他の入力との組み合わせにより実行されるかもしれない、考えられるコンテキストアクションの網羅的ではないリストに過ぎず、もちろん、本発明の手段により実行できる他のコンテキストアクションが非常に多く存在する。
【００６０】
これから図３を参照すると、本発明のしたがった方法の実施形態が議論されている。オブジェクトまたはオブジェクトの部分を操作し、オブジェクトに関連するコンテキストアクションを実行するための方法は、好ましくは、例えば、図１、２、および４を参照して記述したシステムにしたがったコンピュータシステムを使用して実行する。多数のオブジェクトが、ディスプレイ２０上に提示されており、ステップＳ１００において、ディスプレイ２０上のユーザの注視点ｘ、ｙを記述しているアイトラッキングデータ信号ＤEYEが、アイトラッキングユニット４０により提供され、コンピュータ３０に送り出されてもよい。図１では、ユーザの注視点は、オブジェクトの点１２０である。入力は、ユーザ入力デバイス５０からも受信されてもよく、例えば、キーボード５１の少なくとも１つのキーが押下げられてもよく、キーの組み合わせが押下げられてもよい。
【００６１】
その後、ステップＳ１１０において、ディスプレイ２０上のユーザの注視点が、アイトラッキングデータを使用して決定される。これは、アイトラッキングユニット４０において、または、オブジェクト識別器３４において実行できる。ステップＳ１２０において、ユーザが注視しているオブジェクトまたはオブジェクトの部分は、決定された注視点、および／または、例えばキーボードからの入力を使用して、識別され、図１を参照して、ユーザの注視がオブジェクト１２０上に落とされていると決定される。つまり、アイトラッキングデータ信号ＤEYEが、ユーザの注視点がディスプレイ２０上のＧＵＩコンポーネント表示内に落ちることを示すか否かが決定される。実施形態では、例えば、キーボードからの入力は、関心のオブジェクトまたはオブジェクト部分を決定するためにも使用され、例えば、特定のアイ機能ボタンは、ウィンドウに関係していてもよい（すなわち、ウィンドウ上の注視とウィンドウに関係するキーの押下との組み合わせは、そのウィンドウを関心のオブジェクトとして識別する）。別のキーは、画像に関係していてもよく、ウィンドウ中に存在する画像上での注視と、ウィンドウに関係するキーの押下との組み合わせは、たとえ、ユーザが画像上を注視していても、そのウィンドウを関心のオブジェクトとして識別する。
【００６２】
その後、ステップＳ１３０において、オブジェクトまたはオブジェクト部分が、関心のオブジェクトまたはオブジェクト部分であるか否かをチェックする。これは、現在の注視条件が、予め定められている注視条件を満たすか否か、および／または、例えばキーボードからの入力が、予め定められている条件を満たすか否かをチェックすることにより行われる。例えば、ユーザの注視が、予め定められている期間の間、オブジェクトまたはオブジェクト部分上に落ちているか否か、すなわち、言い換えると、いわゆるドエルタイムが予め定められているリミットを超えるか否かをチェックしてもよい。アイトラッキングデータ信号ＤEYEが、ユーザの注視点がディスプレイ２０上のＧＵＩコンポーネント表示内に落ちることを示すときに時間インスタンスである、時間の注視開始点と、アイトラッキングデータ信号ＤEYEが、ユーザの注視点がこの表示の外に落ちることを示すときに時間インスタンスである、時間の注視点との間の差異として、ドエルタイムは規定されている。したがって、注視が、十分長い時間期間の間、オブジェクトまたはオブジェクト部分上に落ちる場合に、ユーザがその特定のオブジェクトまたはオブジェクト部分に興味があることが判断される。上述したように、例えばキーボードからの入力は、オブジェクトまたはオブジェクト部分が、関心のオブジェクトまたはオブジェクト部分であるか否かの決定にも使用されてもよい。
【００６３】
ユーザがその特定のオブジェクトまたはオブジェクト部分に興味があると判断される場合に、ステップＳ１４０において、ユーザ入力デバイス５０からアクティブ化入力が受け取られているか否か、例えば、キーボードの少なくとも１つのキーが押下げられているか、または、キーの組み合わせが押下げられているかをチェックする。これは、入力モジュール３２において、または、アクション決定モジュール３５において、チェックしてもよい。オブジェクトまたはオブジェクト部分のユーザ選択（すなわち、ユーザがオブジェクトまたはオブジェクト部分を注視していることが決定されていること）に関して、この手動入力が受け取られているか否か、または、時間的にユーザ選択に十分に近いこともチェックしてもよい。それによって、受け取られた手動ユーザ入力が、実際に、特定のオブジェクトもしくはオブジェクト部分に関連するコンテキストアクションの、ユーザ選択またはアクティブ化に向けられていることを確認できる。
【００６４】
その後、ステップＳ１５０において、受け取られたアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、アクション決定モジュール３５において、実行すべき特定のコンテキストアクションを決定する。上記では、例えばキーボードからの入力と、アイデータ入力との異なる組み合わせから、網羅的ではない数の可能性あるコンテキストアクションがもたらされる。さらに、いずれのコンテキストアクションを実行すべきかの決定は、関心のオブジェクトの状態、ならびに／あるいは、動作システムの履歴および／または現在の状態、ならびに／あるいは、コンピュータ３０の、履歴および／または現在の状態の決定にも基づいている。これは、実質上、現在のユーザの状態を含み、例えば、アイトラッカーまたはＥＭＧ検出デバイスを使用して、ユーザの状態をコンピュータに入力できる。例えば、目の注視トラッキングまたは目の瞬きを使用して、ユーザが疲れていると感じているか、眠りに落ちようとしているか、または、気が散っているかを検出してもよい。ユーザは、関心の特定のオブジェクト、または、関心のオブジェクトの部分の選択のときに、アイトラッキングデータ入力との組み合わせで、特定のコンテキストアクションをもたらすべき、入力または入力の組み合わせを選択することを含む、手動アクティブ化入力を構成してもよい。例えば、ユーザは、ウィンドウが前方に持って来られることをもたらすことになる、焦点が合っていないウィンドウにおける、バックグラウンド中のウィンドウの注視と、（例えば、ユーザが、例えば“Ｒ”キーとすることを選択するかもしれず、または、専用の“アイ機能”ボタン、もしくは、キーボードのキーであるかもしれない）アイトラッカー機能ボタンの押下との組み合わせを選択してもよい。さらに、ユーザは、結果として特定のコンテキストアクションをもたらすために、満たされることになる注視条件の選択を含む、予め定められている注視条件を構成してもよい。例えば、ユーザは、ユーザの注視が、オブジェクト上に落ち、オブジェクトが関心のオブジェクトであることを決定するために、特定のドエル時間が必要とされることを決定してもよい。ステップＳ１６０において、アクション決定モジュール３５は、決定されたコンテキストアクションを実行するための命令をＧＵＩコンポーネントモジュール３８に送る。
【００６５】
図５および６を参照して、本発明のさらなる態様および実施形態を議論する。原則として、目の注視データと、例えばキーボードからの入力とを、組み合わせで使用して、ユーザが、関心のオブジェクトおよびオブジェクト部分を選択、ズーム、およびアクティブ化することを可能にする。
【００６６】
ユーザは、オブジェクトおよびオブジェクト部分、または、ディスプレイ２０上に提示されるエリアを注視することと、ユーザ入力を送り出すこと、例えば、キーボードの特定のキーを押下げることとにより、関心のオブジェクトおよびオブジェクト部分、あるいは、注視点の周りのエリアを誇張または拡大できる。維持されたユーザ入力信号、例えば、維持されたキーの押下の間、オブジェクトまたはオブジェクト部分を徐々に拡大し、したがって、ズーミング効果を達成する。第２の入力信号を送り出すことにより、例えば、キーの押下をリリースすることにより、ユーザは、誇張されたオブジェクトまたはオブジェクト部分を操作、クリック、またはアクティブ化してもよい。ユーザは、必要である場合に、例えば、アイトラッカーの不正確に対して調節するために、注視を調節してもよい。オブジェクトまたはオブジェクト部分の拡大は、アイトラッカーの、平均的な不正確またはオフセットエラーに対して要求を満たすのに十分に拡大できる。
【００６７】
１つの例では、最も可能性あるオブジェクトまたはオブジェクト部分を、ズームまたは拡大して、決定された注視点上に集めることができる。これが、正しいオブジェクトまたはオブジェクト部分である場合に、ユーザは、第２の入力を送り出すことにより、例えば、キー上の押下をリリースすることにより、オブジェクトまたはオブジェクト部分をアクティブ化してもよい。ユーザを支援するために、いずれのオブジェクトまたはオブジェクト部分にユーザ注視を置いているか示す視覚キューを示すことができる。代替的に、コンテキストアクションの対象となるいずれのオブジェクトまたはオブジェクト部分が、拡大（または、ズーミングアクション）の後に実行されることになるか、例えば、クリックが実行されることになるかを、ユーザに対して示すために、決定された注視点を示すことができる。
【００６８】
図５を参照して、本発明にしたがった、コンピュータシステムの実施形態を記述する。図２、４、および５中に示されているシステムの、同一または類似した、部分、モジュール、およびコンポーネントは、同一の参照番号により示され、それらの説明は、以下で省略される。
【００６９】
本実施形態にしたがったシステム２００は、入力モジュール３２を介して入力デバイス５０から第１のアクティブ化入力を受け取るように適合されているアクション決定モジュール３５０を備えるコンピュータ３１０を具備する。第１の入力は、維持されたキーボード５１の特定のキーの押下であってもよい。アクション決定モジュール３５０は、いずれのズーミングアクションを実行すべきか、このようなケースでは、受け取った入力と注視点とに基づいて、いずれのエリア、オブジェクト、またはオブジェクト部分を拡大すべきかを決定するように適合されている。１つの実施形態では、注視点上に集められたエリアが拡大される。別の実施形態では、関心のオブジェクトまたはオブジェクト部分は拡大され、関心のオブジェクトまたはオブジェクト部分は、ユーザの注視が置かれる、オブジェクトまたはオブジェクト部分として選択される。したがって、アクション決定モジュール３５０は、アイトラッキングユニット４０から注視点を受け取ってもよく、または、オブジェクト識別器３４から関心のオブジェクトまたはオブジェクト部分を受け取ってもよい。アクション決定モジュール３５０は、ディスプレイ２０上に表示されるいずれのエリア、オブジェクト、またはオブジェクト部分を拡大すべきかの命令を、ＧＵＩコンポーネントモジュール３８に送る。シーケンシャルなステップで、または、予め定められている拡大レートにおける継続的な方法で、拡大を実行できる。アクション決定モジュール３５０は、入力モジュール５０を介して、入力デバイス５０から第２のアクティブ化入力を受け取る際に、受け取った第２のアクティブ化入力と、前記拡大した、関心のエリアまたはオブジェクトまたはオブジェクトの部分とに基づいて、特定のコンテキストアクションを決定するようにさらに適合されている。１つの実施形態では、第２の入力は、押下げられたキーのリリースであり、コンテキストアクションは、例えば、関心のオブジェクトまたはオブジェクト部分のクリックである。アクション決定モジュール３５０は、特定のコンテキストアクションを実行するための命令を、ＧＵＩコンポーネントモジュール３８に送るように適合されている。
【００７０】
これから図６を参照すると、本発明にしたがった方法の実施形態が議論されている。オブジェクトまたはオブジェクトの部分を操作して、オブジェクトに関連するコンテキストアクションを実行するための方法は、好ましくは、例えば、図１および５を参照して記述したシステムにしたがったコンピュータシステムを使用して実行する。ディスプレイ２０上に多数のオブジェクトが表示されており、ステップＳ２００において、ディスプレイ２０上のユーザの注視点ｘ、ｙを表しているアイトラッキングデータ信号ＤEYEが、アイトラッキングユニット４０により提供され、コンピュータ３０に送り出されてもよい。図１では、ユーザの注視点は、オブジェクト１２０の点である。
【００７１】
ステップＳ２１０において、ユーザ入力デバイス５０から入力を受け取る。好ましい実施形態では、キーボード５１の１つのキーを押下げて、押下を維持する。その後、ステップＳ２２０において、ズーミングアクションを実行し、注視点の周りのエリア、あるいは、関心のオブジェクトまたはオブジェクト部分を徐々に拡大する。ユーザ１１０は、ユーザの注視または頭を動かすことにより、アイトラッカーユニットの不正確に対して調節してもよい。注視点の周りのエリア、あるいは、関心のオブジェクトまたはオブジェクト部分を徐々に拡大することから、注視点の調節は簡単である。代替的な実施形態は、最も可能性ある、関心のオブジェクトまたはオブジェクト部分を拡大して、注視点上に集めてもよい。どのオブジェクトまたはオブジェクト部分を拡大するかは、確率計算により決定でき、例えば、地理的に注視点に最も近いオブジェクトまたはオブジェクト部分を選択してもよい。オブジェクトまたはオブジェクト部分は、記憶されているユーザパターンベースでも選択してもよく、例えば、注視点に囲まれたエリア内の先に最も使用されたオブジェクトまたはオブジェクト部分を選択してもよい。加えて、選択は、関心のオブジェクトまたはオブジェクト部分の状態、ならびに／あるいは、動作システムの履歴および／または現在の状態、ならびに／あるいは、コンピュータの履歴および／または現在の状態に基づいていてもよい。拡大したオブジェクトまたはオブジェクト部分が、正しいオブジェクトまたはオブジェクト部分（すなわち、ユーザが実際にアクティブ化することを望むオブジェクトまたはオブジェクト部分）である場合に、ユーザは、キーの圧力をリリースして、オブジェクトをアクティブ化してもよい（ステップＳ２３０およびＳ２４０、以下を参照）。しかしながら、それが、正しいオブジェクトまたはオブジェクト部分でない場合に、ユーザは、ユーザの注視を調節してもよい。調節の後に拡大のために選択されているオブジェクトを示して、ユーザを支援するために、視覚のキューを示してもよい。代替的に、どこに注視点があるかをユーザに示すために、注視点を指し示してもよく、または、示してもよい。
【００７２】
正しいオブジェクト、オブジェクト部分、またはエリアが拡大されているとき、ユーザは、ステップＳ２３０において、入力デバイス５０を使用して第２のアクティブ化入力を送り出すことにより、オブジェクト、オブジェクト部分、またはエリアをアクティブ化することができ、または、オブジェクト、オブジェクト部分、またはエリア上をクリックすることができる。好ましくは、アクティブ化入力は、キーボード５１のキーの押下のリリースである。ステップＳ２４０において、受け取ったアクティブ化入力と、拡大された、関心のエリアまたはオブジェクトまたはオブジェクト部分とに基づいて、アクション決定モジュール３５０において、特定のコンテキストアクションを決定する。１つの実施形態では、コンテキストアクションは、オブジェクトまたはオブジェクト部分のアクティブ化あるいはクリック、例えば、ウェブリンク上のクリックである。ステップＳ２５０において、コンテキストアクションを実行するための、例えば、ウェブリンクがリンクするページにナビゲートして、ディスプレイ２０上でページを示すための命令を、ＧＵＩコンポーネントモジュール３８に送る。
【００７３】
ここに開示した発明は、その特定の実施形態およびアプリケーションの手段により記述してきたが、添付した特許請求の範囲により規定する本発明の範囲から逸脱することなく、当業者により、数多くの修正および変更を行うことができる。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行するための方法において、
ｉ）前記コンピュータデバイスの前記ディスプレイ上にオブジェクトを表示させることと、
ｉｉ）前記ディスプレイ上のユーザの注視点を、および／または、相対的に前記ディスプレイを表す、アイトラッキングデータ信号を提供することと、
ｉｉｉ）アクティブ化入力を受け取ることと、
ｉｖ）前記決定された注視点および／または前記アクティブ化入力を使用して、前記ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別することと、
ｖ）現在の注視条件が予め定められている注視条件を満たし、および／または、前記アクティブ化入力が予め定められている条件を満たす場合に、関心のオブジェクトまたはオブジェクトの部分になる前記オブジェクトまたはオブジェクト部分を決定することと、
ｖｉ）前記受け取ったアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定することと、
ｖｉｉ）前記特定のコンテキストアクションを実行することとを含む方法。
［２］前記特定のコンテキストアクションを決定するステップは、
前記アクティブ化入力と前記アイトラッキングデータ信号との組み合わせを決定することと、
関心の特定のオブジェクトまたはオブジェクト部分に対する、前記特定のアクティブ化入力と前記アイトラッキングデータ信号との組み合わせに対して予め定められている構成に基づいて、前記特定のコンテキストアクションを決定することとを含む［１］記載の方法。
［３］前記特定のコンテキストアクションを決定するステップは、
前記関心のオブジェクトの状態を決定すること；ならびに／あるいは、
動作システムの履歴および／または現在の状態を決定すること；ならびに／あるいは、
前記コンピュータの履歴および／または現在の状態を決定することを含む［１］または［２］記載の方法。
［４］特定のオブジェクトが関心のオブジェクトであり、または、オブジェクトの部分が関心のオブジェクトの部分であることを決定するときに、アイトラッキングデータ信号との組み合わせで、特定のコンテキストアクションをもたらす、入力または入力の組み合わせを選択することを含む、アクティブ化入力を構成することをさらに含む［１］ないし［３］のいずれか１項記載の方法。
［５］特定のコンテキストアクションをもたらすために満たされることになる注視条件を選択することを含む、前記予め定められている注視条件を構成することをさらに含む［１］ないし［４］のいずれか１項記載の方法。
［６］オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行する際にユーザを支援するシステムにおいて、
前記コンピュータデバイスに関係する入力デバイスから、アクティブ化入力を受け取るように適合されている入力モジュールと、
前記ディスプレイ上のユーザの注視点を、および／または、相対的に前記ディスプレイを表す、アイトラッキングデータ信号を受け取り、
前記決定された注視点および／または前記アクティブ化入力を使用して、前記ユーザが注視しているオブジェクトまたはオブジェクトの部分を識別し、
現在の注視条件が予め定められている注視条件を満たし、および／または、前記アクティブ化入力が予め定められている条件を満たす場合に、関心のオブジェクトになる前記オブジェクトを決定し、
前記受け取ったアクティブ化入力と、関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定し、
前記特定のコンテキストアクションの実行のための命令を提供する
ように構成されているオブジェクト識別器とを具備するシステム。
［７］オブジェクトまたはオブジェクトの部分を操作し、アイトラッキングシステムに関係するコンピュータデバイスのディスプレイ上に提示される前記オブジェクトに関連するコンテキストアクションを実行するための方法において、
ｉ）ディスプレイ上のユーザの注視点を表すアイトラッキングデータ信号を提供することと、
ｉｉ）第１のアクティブ化入力を受け取ることと、
ｉｉｉ）ズーミングアクションを実行し、前記注視点の周囲のエリア、または、関心のオブジェクトまたはオブジェクト部分を徐々に拡大することと、
ｉｖ）前記入力デバイスから第２のアクティブ化入力を受け取ることと、
ｖ）前記受け取ったアクティブ化入力と、前記拡大した、エリアあるいは関心のオブジェクトまたはオブジェクト部分とに基づいて、特定のコンテキストアクションを決定することと、
ｖｉ）前記特定のコンテキストアクションを実行することとを含む方法。
【図１】
0005944326.tif 000002
【図２】
0005944326.tif 000003
【図３】
0005944326.tif 000004
【図４】
0005944326.tif 000005
【図５】
0005944326.tif 000006
【図６】
0005944326.tif 000007