(57)【要約】本発明はコンピュータベースの視線追跡の解決法に関する。コンピュータ装置は、ユーザ生成コマンドに基づいて操作可能なＧＵＩ部品（２２０ａ〜２２０ｎ）を表示するグラフィックディスプレイと関連する。イベントエンジン（２１０）は、ディスプレイ上のユーザ注視点を表す視線追跡データ信号（ＤＥＹＥ）を受信する。信号（ＤＥＹＥ）に基づいて、イベントエンジン（２１０）はＧＵＩ部品に影響を与える非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）の組を生成する。各非カーソル制御イベント出力信号は、ディスプレイに対するユーザの眼球運動の特定状況を示す。先ず、イベントエンジン（２１０）はＧＵＩ部品から制御信号要求を受信する。制御信号要求は、特定のＧＵＩ部品に要求される非カーソル制御イベント出力信号の組の一部を定める。各制御信号要求に応じて、イベントエンジン（２１０）は、非カーソル制御イベント出力信号をＧＵＩ部品に配信する。【選択図】図２
2008502990.tif 000002
【特許請求の範囲】
【請求項１】
グラフィックディスプレイ（１２０）に関連したコンピュータ装置（１３０）を制御するための装置であって、
前記グラフィックディスプレイ（１２０）は、ユーザによって生成されたコマンドに基づいて操作されるように構成された、少なくとも１つのＧＵＩコンポーネント（２２０）の表現を提示し、
前記ディスプレイ（１２０）上でのユーザ（１１０）の注視点（ｘ、ｙ）を表す視線追跡データ信号（ＤＥＹＥ）を受信するとともに、少なくとも前記視線追跡データ信号（ＤＥＹＥ）に基づいて、前記少なくとも１つのＧＵＩコンポーネント（２２０）に影響を与える非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを生成するように構成したイベントエンジン（２１０）を備え、
前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）の各々が、前記ディスプレイ（１２０）に対するユーザ（１１０）の特定の眼球運動の状況を表しており、
前記イベントエンジン（２１０）は、
前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）の各々から、制御信号要求（Ｒａ乃至Ｒｎ）を受信し、該制御信号要求（Ｒａ乃至Ｒｎ）が、前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）によって要求される前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットの一部を規定するように構成され、
前記制御信号要求（Ｒａ乃至Ｒｎ）の各々に従って、前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）を、前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）に対して配信するように構成された、ことを特徴とする装置。
【請求項２】
前記コンピュータ装置（１３０）が、
カーソル制御信号（Ｋ）を受信し、
前記カーソル制御信号（Ｋ）に応じて前記ディスプレイ（１２０）上のグラフィカルポインタを制御するように構成された、ことを特徴とする請求項１に記載の装置。
【請求項３】
前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）の１つ以上のコンポーネントが、当該コンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作の際に、１つ以上の出力制御信号（Ｃａ乃至Ｃｎ）をそれぞれ生成するように構成された、ことを特徴とする請求項１又は２に記載の装置。
【請求項４】
前記イベントエンジン（２１０）が、前記視線追跡データ信号（ＤＥＹＥ）の動的変化に基づいて、前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のうちの少なくとも第１の信号を生成するように構成された、ことを特徴とする請求項１から３のいずれか１項に記載の装置。
【請求項５】
前記第１の信号が前記ディスプレイ（１２０）に亘る特定の注視パターンを表す、ことを特徴とする請求項４に記載の装置。
【請求項６】
前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の予測される意図として解釈し、該予測された意図に応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするように構成された、ことを特徴とする請求項５に記載の装置。
【請求項７】
前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の予測される注目レベルとして解釈し、該予測された注目レベルに応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするように構成された、ことを特徴とする請求項５又は６に記載の装置。
【請求項８】
前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の心理状態パラメータとして解釈し、該心理状態パラメータに応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするように構成された、ことを特徴とする請求項５から７のいずれか１項に記載の装置。
【請求項９】
前記イベントエンジン（２１０）が、少なくとも１つの補助入力信号（Ｄｊ）を受信し、さらに前記少なくとも１つの補助入力信号（Ｄｊ）に基づいて、前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを生成するように構成された、ことを特徴とする請求項１から８のいずれか１項に記載の装置。
【請求項１０】
前記少なくとも１つの補助入力信号（Ｄｊ）が、ボタン、スイッチ、音声信号、入力要素の運動パターン、ジェスチャーのパターン、顔の表情及びＥＥＧ信号のうちの少なくとも１つに起因する、ことを特徴とする請求項１から９のいずれか１項に記載の装置。
【請求項１１】
グラフィックディスプレイ（１２０）に関連したコンピュータ装置（１３０）を制御する方法であって、
前記グラフィックディスプレイ（１２０）は、ユーザによって生成されたコマンドに基づいて操作されるように構成した、少なくとも１つのＧＵＩコンポーネント（２２０）を表現するものとされ、前記方法が、
前記ディスプレイ（１２０）上でのユーザ（１１０）の注視点（ｘ、ｙ）を表す視線追跡データ信号（ＤＥＹＥ）を受信し、
少なくとも前記視線追跡データ信号（ＤＥＹＥ）に基づいて、前記少なくとも１つのＧＵＩコンポーネント（２２０）に影響を与える、非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセット、すなわち、非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）の各々が、前記ディスプレイ（１２０）に対するユーザ（１１０）の眼球運動の状況を表わす、非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを生成し、
前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）の各々から、制御信号要求（Ｒａ乃至Ｒｎ）、すなわち、前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）によって要求される前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットの一部を規定する制御信号要求（Ｒａ乃至Ｒｎ）を受信し、
前記制御信号要求（Ｒａ乃至Ｒｎ）の各々に従って、前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）に対して前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）を配信することを含む、ことを特徴とする方法。
【請求項１２】
カーソル制御信号（Ｋ）を受信し、
前記カーソル制御信号（Ｋ）に応じて前記ディスプレイ（１２０）上のグラフィカルポインタを制御する、ことを特徴とする請求項１１に記載の方法。
【請求項１３】
各ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、該ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作の際に、１つ以上の出力制御信号（Ｃａ乃至Ｃｎ）をそれぞれ生成するようにした、ことを特徴とする請求項１１又は１２に記載の方法。
【請求項１４】
前記視線追跡データ信号（ＤＥＹＥ）の動的変化に基づいて、前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のうちの少なくとも第１の信号を生成する、ことを特徴とする請求項１１から１３のいずれか１項に記載の方法。
【請求項１５】
前記第１の信号が前記ディスプレイに亘る特定の注視パターンを表す、ことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の予測される意図として解釈し、該予測された意図に応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするようにした、ことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の予測される注目レベルを解釈し、該予測された注目レベルに応じた前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするようにした、ことを特徴とする請求項１５又は１６に記載の方法。
【請求項１８】
前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の心理状態パラメータとして解釈し、該心理状態パラメータに応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするようにした、ことを特徴とする請求項１５から１７のいずれか１項に記載の方法。
【請求項１９】
少なくとも１つの補助入力信号（Ｄｊ）を受信し、さらに前記少なくとも１つの補助入力信号（Ｄｊ）に基づいて、前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを生成する、ことを特徴とする請求項１１から１８のいずれか１項に記載の方法。
【請求項２０】
前記少なくとも１つの補助入力信号（Ｄｊ）が、ボタン、スイッチ、音声信号、入力要素の運動パターン、ジェスチャーのパターン、顔の表情及びＥＥＧ信号のうちの少なくとも１つに起因する、ことを特徴とする請求項１１から１９のいずれか１項に記載の方法。
【請求項２１】
コンピュータの内部メモリに直接ロード可能なコンピュータプログラムであって、該コンピュータによって実行される場合に、請求項１１から２０のいずれかの１項のステップを制御するためのソフトウェアを備える、ことを特徴とするコンピュータプログラム。
【請求項２２】
プログラムが記録されたコンピュータで読み取り可能な媒体であって、該プログラムは、コンピュータに、請求項１１から２０のいずれか１項のステップを制御させる、コンピュータで読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主にコンピュータベースの視線追跡システムに関する。より詳細には、本発明は、請求項１の前提部に記載のコンピュータ装置を制御するための装置と、これに対応する請求項１１の前提部に記載の方法に関する。また、本発明は請求項２１に記載のコンピュータプログラム及び請求項２２に記載のコンピュータで読み取り可能な媒体に関する。
【背景技術】
【０００２】
グラフィカルユーザインターフェイス（ＧＵＩ）の導入により、人間とコンピュータとの対話に革新がもたらされた。すなわち、これによって既存の伝達経路を超越した処理能力でもって、情報をユーザに提供するための効率的な手段が与えられた。情報を提供するスピードは、カラースクリーン、大画面化されたディスプレイ、知的な画像オブジェクト（例えば、ポップアップウィンドウ）、ウィンドウタブ、メニュー、ツールバー及び音声により、ここ数年加速的である。しかしながらこの間、キーボードやポインティングデバイス（例えば、マウス、トラックボール、又はタッチパッド）等の入力装置は基本的に変わらないままである。近年、手書き装置（例えば、スタイラスペン又はグラフィカルペンといった形態のもの）が導入されている。しかし、出力側の処理能力が数倍に増大しているにもかかわらず、入力側の処理能力は実質的に変わりないままである。その結果、人間がコンピュータと対話する場合のコミュニケーションの処理能力において、重大な非対称性が生じている。
【０００３】
この処理能力の差を低減するために、視線追跡装置を使用した様々な試みがなされている。しかしながら、多くの場合、それらの装置は１つの点又は複数の点において的外れである。１つの問題点は、従来技術の解決法が、コンピュータへの入力インターフェイスに関する全体論的な視野をもたないことである。このため、比較的大きな運動課題が、鋭敏な知覚器官である目に課せられる。このことは通常、ユーザが経験する疲労症状や不快感をもたらす。これについては、特にアイトラッカー（ｅｙｅ  ｔｒａｃｋｅｒ）を画像ディスプレイ上のカーソル制御に用いる場合に当てはまり、様々な理由のため、アイトラッカーがユーザの注視点を十分良好に追跡することができず、その結果、ユーザの実際の注視点と、カーソルが制御される位置との間に不一致が生じる。
【０００４】
カーソルを直接制御する代わりに、適切な初期カーソル位置を選択するために視線方向信号が用いられる。特許文献１は、視線及び手動によるカーソル位置決めの統合システムを開示しており、該システムは、視線方向信号と手動入力とを統合することにより、オペレータがカーソルを位置付けるように支援する。オペレータの装置について機械的な起動が検出された場合、カーソルは、オペレータが現在凝視している領域に対して予め定められた初期位置に配置される。これにより、ユーザにとって使い勝手の良いカーソル機能が実現される。
【０００５】
特許文献２には、船上の監視席用の視覚的対話システムが記載されている。ここで視線追跡カメラは、オペレータによる視線の走査、注視位置、滞留時間、瞬目率、及び瞳の大きさを監視するが、これは、オペレータの注意がスクリーン上の重要な対象物へと向けられるように、合図をさらに行うべきか否かを判別するためである。
【０００６】
特許文献３には、観察者の凝視とこれに対応する脳電位を喚起するイベントから、視覚的刺激を選択する、知的な決定を予測するための装置が記載されている。アイトラッカーは、視線方向を記録し、それに基づいて継続期間、開始時及び終了時の瞳の大きさ、サッカード（ｓａｃｃａｄｅ）及び瞬きの観点から凝視特性が判別される。それに対応した、脳電位を喚起する単一イベントが抽出され、人工ニューラルネットワークが、注視点に関連した選択を予測する。人工ニューラルネットワークのトレーニング後に、この装置はコンピュータを制御するのに用いられ、ユーザの如何なる手動操作をも必要とせずに、例えば、ディスプレイ上のアイコンが、ユーザの予測された意図に従って有効化される。
【０００７】
また、ユーザが生成した入力データを、コンピュータ制御用の高度な情報に抽象化することに関して、いくつかの試みがなされている。例えば、特許文献４には、マルチモードユーザインターフェイス、つまり、異なる入力モード間での手動による切り換えを要することなく、ユーザの入力を柔軟に処理することが可能なインターフェイスが記載されている。データストリーム内での、異なる情報カテゴリは、データストリームが生成される状況の前後関係に応じて区別される。
【０００８】
【特許文献１】米国特許第６２０４８２８号明細書
【特許文献２】米国特許第６４０１０５０号明細書
【特許文献３】米国特許第５６４９０６１号明細書
【特許文献４】米国特許出願公開第２００４／０００１１００号明細書
【特許文献５】スウェーデン特許出願第０２０３４５７−７号明細書
【特許文献６】米国特許第５８５０２２１号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
実際、この方法は人間と機械との対話の効率を向上させるが、視線追跡データが最適に処理されるような、多彩な解決策は今のところ提案されていない。一方、ほんのわずかな例外を除いて、今日の視線追跡インターフェイスは、ある特定のタスクのみに合わせて仕上がっている。よって、最初のアプリケーションについての視線追跡データの処理を、次のアプリケーションには再使用することができず、その逆もまた同様である。このため、単一のコンピュータにおいて、複数の視線制御アプリケーションを使用する場合に、ある特定の視線追跡データを処理するユニットが通常、アプリケーション毎に必要となる。勿論、このような場合には、異なるアプリケーションが、かなりの量の重複する視線追跡データを処理するという高いリスクがある。さらに、視線で制御可能なアプリケーションの各設計者は、アプリケーションに必要なデータを取り出すために、視線追跡技術及び視線追跡データの解釈の両方の専門知識をもつことが必要となる。
【００１０】
従って、本発明の目的は、ユーザの眼球運動に基づいてコンピュータ装置を制御する全体論的な手段を提供して、上記の問題を解決するとともに、二重処理の量を最小限に抑えること、すなわち、２以上の別々のアプリケーションに属するＧＵＩコンポーネント（部品）に対して、できるだけ多量の視線追跡データの処理が集中的に実行されるようにすることで、人間と機械との間の効率の良い対話を提供することにある。
【課題を解決するための手段】
【００１１】
本発明のある態様によれば、本発明の目的は、イベントエンジンが少なくとも１つのＧＵＩコンポーネントの各々から制御信号要求を受信するように構成された装置によって達成される。この制御信号要求は、対象となるＧＵＩコンポーネントによって要求される非カーソル制御イベント出力信号のセットの一部（サブセット）を規定する。また、イベントエンジンは、各々の制御信号要求に従って、非カーソル制御イベント出力信号を、少なくとも１つのＧＵＩコンポーネントに対して配信する。
【００１２】
この装置は有益であるが、その理由は、視線追跡信号によって制御可能な、任意のアプリケーションに対して、非常に柔軟なインターフェイスが得られるためである。そして、これにより、ソフトウェア開発者は、視線追跡技術に関する深い知識を必要とせずに、アイコントロール可能なアプリケーションを設計することができるようになる。従って、本発明は、新たなアプリケーションの開発を刺激し、その結果、人間とコンピュータとの間の対話をさらに向上させる。そして、コンピュータ処理のリソース（資源）が別の目的のために解放されることになり、これは、あるアプリケーションに関して導出された高度な視線追跡データ信号を、１つ以上の別のアプリケーションによって再使用できるからである。換言すれば、イベントエンジンは、要求されたＧＵＩコンポーネント（又は、潜在的な「加入者」であるコンポーネント）に対して、視線追跡データについての集中的な処理を行うように構成される。このため、イベントエンジンが導入される時点において、各コンポーネント及び要求された制御信号の各々が、明確に知られている必要はない。むしろ、本発明によれば、１つ以上のＧＵＩコンポーネントは、後から追加されるアイコントロール可能なアプリケーションの実装に関連して、該当する制御信号を要求することができる。勿論、その反対の場合も当てはまり、すなわち、制御信号要求のセットは、提案された装置の起動時に限って提示される。
【００１３】
本発明のこの態様に係る好適な実施形態によれば、コンピュータ装置はまた、カーソル制御信号を受信し、該カーソル制御信号に応じてディスプレイ上のグラフィカルポインタを制御するように構成される。従って、例えば、イベントエンジンとカーソル制御信号が共同して、ディスプレイ上に表されるＧＵＩコンポーネントと相互作用し、これにより、人間と機械との間の直感的な対話が実現されることになる。
【００１４】
本発明のこの態様に係る別の好適な実施形態によれば、少なくとも１つのＧＵＩコンポーネントが、該コンポーネントのユーザ操作の際に、少なくとも１つの出力制御信号をそれぞれ生成するように構成される。これは、ＧＵＩコンポーネントを操作することで、ユーザが、コンピュータ装置に対して、１つ以上の外部装置、例えば、プリンタ、カメラ等への出力信号を生成させるようにできるということである。勿論、これは非常に望ましい特徴である。さらに、１つ以上のＧＵＩコンポーネントが出力制御信号を生成するという事実は、１つ以上のＧＵＩコンポーネントに関連して、非カーソル制御イベント出力信号が、コンポーネントに内部的で排他的な影響を与えることを妨げるものではない。
【００１５】
本発明のこの態様に係る好適な実施形態によれば、イベントエンジンは、視線追跡データ信号の動的変化に基づいて、非カーソル制御イベント出力信号のうちの、第１の信号を少なくとも生成する。これにより、ユーザの眼球運動の時間パラメータが、コンピュータ装置の機能及び処理を制御するために用いられる。例えば、この時間パラメータは、ディスプレイ上の特定領域内をユーザが凝視する際の滞留時間を反映し、特定の注視パターンや凝視パターンなどを識別することができる。これにより、多種の高度でアイコントロール可能な機能が実現可能である。
【００１６】
本発明のこの態様に係る、また別の好適な実施形態によれば、少なくとも１つのＧＵＩコンポーネントが、非カーソル制御イベント出力信号を、ユーザの意図の表れとして解釈する。この予測される意図に応じて、コンポーネントのユーザ操作がトリガされる。これには、例えば、コマンド履歴に基づいて、１つ以上のコンピュータ機能を有効化することを含む。このことは、コマンド入力の手続が簡単になるという理由から有益である。
【００１７】
本発明のこの態様に係る、さらに別の好適な実施形態によれば、少なくとも１つのＧＵＩコンポーネントが、非カーソル制御イベント出力信号を、ユーザの予測される注目レベルとしてを解釈する。この予測された注目レベルに応じて、コンポーネントのユーザ操作がトリガされる。これにより得られる１つの利点は、コンピュータの動作がユーザの現在の注目レベルと一致するようになることである。
【００１８】
本発明のこの態様に係る、また別の好適な実施形態によれば、少なくとも１つのＧＵＩコンポーネントが、非カーソル制御イベント出力信号を、ユーザの心理状態パラメータとして解釈し、この心理状態パラメータに応じて、コンポーネントのユーザ操作がトリガされる。この特徴が望ましいとされる理由は、ユーザが意識を集中して専念していることや、気をそらしていること、疲れているか集中していないこと、又は混乱していること等、のように見えるか否かに応じて、コンピュータに異なる動作をさせることができるからである。
【００１９】
本発明のこの態様に係る、さらに別の好適な実施形態によれば、イベントエンジンは、少なくとも１つの補助入力信号、例えば、ボタン又はスイッチ、音声信号、入力要素の運動パターン、カメラに記録されたジェスチャーのパターン若しくは顔の表情、又はＥＥＧ（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：脳電図）信号等に起因する信号を受信するように構成される。この補助入力信号にさらに基づいて、イベントエンジンは非カーソル制御イベント出力信号のセットを生成する。これにより、ユーザ入力信号の非常に効率的な組み合わせを使用して、コンピュータを制御することができる。一般に、このような組み合わせは、非常に直感的であって習得し易いようになされる。
【００２０】
本発明の別の態様によれば、上記の目的は、制御信号要求が、少なくとも１つのＧＵＩコンポーネントの各々から受信されるようにした方法により達成される。この制御信号要求は、特定のＧＵＩコンポーネントによって要求される、非カーソル制御イベント出力信号のセットの一部（サブセット）を規定する。そして、非カーソル制御イベント出力信号は、制御信号要求の各々に従って、少なくとも１つのＧＵＩコンポーネントに配信される。
【００２１】
この方法の利点及び好適な実施形態については、提案された装置に関連する上記の説明から明らかである。
【００２２】
本発明の他の態様によれば、上記の目的は、コンピュータの内部メモリに直接ロード可能なコンピュータプログラムにより達成され、該コンピュータプログラムは、コンピュータによって実行される際に、上記で提案した方法について制御するためのソフトウェアを包む。
【００２３】
本発明のさらに別の態様によれば、上記の目的は、コンピュータで読み取り可能な媒体、つまり、コンピュータを制御して、上記で提案した方法を実行するためのプログラムが記録された媒体によって達成される。
【００２４】
本発明は、ユーザからコンピュータへと情報を伝達するために、つまり、基本的には、ユーザがそれに気付く必要のないコマンドを生成するために利用可能な処理能力を飛躍的に増加させる。よって、この処理能力の増加によって、ユーザが認識上の負担をさらに強いられることはない。逆に、本発明によって、認識上の負担が実際に軽減される。同時に、処理能力の増加によって、人間と機械との間の対話について効率の改善が保証される。
【００２５】
さらに、本発明によって、これまでは手及び／又は指による操作を必要としたコマンドが、ユーザの眼球運動に基づいて、効率的かつ容易に行えるようになる。勿論、このことは、障害を有するコンピュータユーザから、コールセンター環境（例えば、顧客関係の管理アプリケーションにおけるデータの入力や編集を行う場合）のサポートオペレータ、高度なコンピュータ支援設計（ＣＡＤ）ツールのユーザ、外科医、そして、様々な理由により効率的に手の操作及び／又は指の操作でコマンドを効率的に生成できないドライバーやパイロットなど、広範囲の適用において望ましい。ユーザがその手や指を容易に動かせる状況であっても、本発明は、人間工学の向上、そして、例えば反復運動損傷のリスクを低減させるのに有用である。この他、コンピュータ装置が非常にクリーンな環境又は汚染された環境に設置されている場合には、コンピュータ装置から出る可能性のある排出物から環境を保護する必要があるか、その反対に、環境中の有害物質からコンピュータ装置を保護する必要があり、従って、従来のコマンド入力が不可能であるか又は少なくとも実用的でない程度にまで、コンピュータ装置を密閉する必要がある。
【００２６】
本発明は、ユーザの眼によって制御できる新規なソフトウェア及びコンピュータアプリケーションを開発するために優れた基盤を提供する。従って、本発明は、長期において、深遠で制約のない、眼で対話する（ｅｙｅ  ｉｎｔｅｒａｃｔｉｏｎ）アプリケーションの統合を、標準的なコンピュータ環境に持ち込むことを保証する。
【００２７】
本発明のさらなる利点、好ましい特徴、及び適用については、以下の記載及び従属請求項から明らかとなる。
【発明を実施するための最良の形態】
【００２８】
本発明について、例示した好適な実施形態を用いるとともに添付図面を参照して、より詳細に説明する。
【００２９】
図１は、本発明に係る典型的な使用状況の概要図を示す。ここでユーザ１１０は、少なくとも部分的に視線追跡データ信号ＤＥＹＥに基づいてコンピュータ装置１３０を制御する。この視線追跡データ信号ＤＥＹＥは、ディスプレイ１２０上での、ユーザ１１０の注視点ｘ、ｙを記述する。従って、ディスプレイ１２０上のＧＵＩコンポーネント２２０を見ることにより、ユーザ１１０は、コンピュータ装置１３０に対するコマンドを生成することができる。この操作については、ＧＵＩコンポーネント２２０が視線追跡データ信号ＤＥＹＥによって少なくとも間接的に影響を受けるように構成されているために可能となる。本発明では、視線追跡データ信号ＤＥＹＥが、ディスプレイ１２０上のカーソルや、ポインタに影響を与えることなく、コンピュータ装置によって実行可能な任意のタスクに関連したイベントをもたらすものとする。注意すべきことは、本発明によれば、既知の如何なる種類のコンピュータスクリーン又はモニタ、そして２つ以上の別々のディスプレイの組み合わせであっても、ディスプレイ１２０に相当することである。例えば、ディスプレイ１２０は、一対の立体視スクリーン、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）や、一対の立体視メガネレンズ、あるいは壁が仮想環境のための投影スクリーンを含むようにされた部屋等の、仮想環境用のプレゼンテーション手段を構成する。
【００３０】
視線追跡データ信号ＤＥＹＥを生成するため、当然ではあるが、ディスプレイ１２０はアイトラッカー（視線追跡装置）と関連付けられるか、又はアイトラッカーを含んでいる。但し、この装置は本発明の適用対象ではないので、ここではその詳細な説明を省略する。尚、アイトラッカーについては、２００２年１１月２１日に、本出願人の名称で出願された上記特許文献５に記載した解決策により具現化することが好ましい。
【００３１】
コンピュータ装置１３０によって、グラフィック制御信号Ｃ−ＧＲが生成されて、ディスプレイ１２０上で視覚的なフィードバック情報を得ることが好ましい。この視覚的なフィードバック情報は、コンピュータ装置１３０によって受け取られた任意のユーザコマンドに応じて生成されるが、これはユーザ１１０に対して、視線追跡データ信号ＤＥＹＥに基づくコマンドを確認させるためである。このような確認は、例えば、人間の眼のような鋭敏な知覚器官によってコマンドが生成される場合には、特に望ましい。
【００３２】
本発明の好ましい一実施形態によると、コンピュータ装置１３０は、視線追跡データ信号ＤＥＹＥの他に、カーソル制御信号Ｋを受信する。このカーソル制御信号Ｋはディスプレイ１２０上のグラフィカルポインタの位置を制御する。勿論、グラフィック制御信号Ｃ−ＧＲはまた、カーソル制御信号Ｋに基づいた信号であってもよい。
【００３３】
図２は、本発明の一実施形態に係る装置構成を示しており、これは図１を参照して説明したコンピュータ装置１３０を用いて実現される。
【００３４】
本装置は、イベントエンジン２１０と、１つ以上のＧＵＩコンポーネント２２０と、を含み、ユーザにより生成されるコマンドであって、少なくとも部分的には視線追跡データ信号ＤＥＹＥで表されるコマンドに基づいて操作される構成となっている。イベントエンジン２１０は、視線追跡データ信号ＤＥＹＥを受信して、該信号に基づいて一組の非カーソル（ｎｏｎ−ｃｕｒｓｏｒ）制御イベント出力信号Ｄ−ＨＩｉを生成するように構成されており、これら非カーソル制御イベント出力信号Ｄ−ＨＩｉは少なくとも１つのＧＵＩコンポーネント２２０に影響を与える。非カーソル制御イベント出力信号Ｄ−ＨＩｉの各々は、ディスプレイ１２０に対するユーザ１１０の眼球運動について、特定の状況を記述する。
【００３５】
例えば、第１の信号は、ユーザ１１０の注視がディスプレイ全体に向けられているかどうかを示すことができ（つまり、「ディスプレイ注視」信号）、また第２の信号は、ディスプレイ１２０上の所定領域内におけるユーザ１１０による凝視の滞留時間を反映させることができる。そして第３の信号は、（特定の点に対する）視線の固定を表し、第４の信号は視線がサッカード（急速な眼球運動）を行っているどうかを示すことができる。第５の信号は、視線がスムーズな経路をとっているかどうかを示し、第６の信号はユーザ１１０が文章を読んでいることを反映し、第７の信号は、ユーザ１１０が注意をそらしているときに、ユーザにより生成された特定の視線追跡データ信号ＤＥＹＥに基づいてトリガされる。
【００３６】
本発明によれば、イベントエンジン２１０は、１つ以上の各ＧＵＩコンポーネント２２０ａ乃至２２０ｎから、各々の制御信号要求Ｒａ乃至Ｒｎを受信する。この制御信号要求（例えば、Ｒａ）は、ユーザの意図通りに操作するために、特定のＧＵＩコンポーネント（例えば、２２０ａ）によって要求される非カーソル制御イベント出力信号Ｄ−ＨＩｉのセットの一部（サブセット）を定める。そして、イベントエンジン２１０は、制御信号要求Ｒａ乃至Ｒｎの各々に従って、非カーソル制御イベント出力信号Ｄ−ＨＩｉを、１つ以上のＧＵＩコンポーネント２２０ａ乃至２２０ｎに各々配信する。
【００３７】
最も効率的な処理は、イベントエンジン２１０が、少なくとも１つのＧＵＩコンポーネントによって実際に要求されたそのようなイベント出力信号Ｄ−ＨＩｉを、排他的に生成する場合に実現される。しかしながら、本発明によれば、生成可能な全ての非カーソル制御イベント出力信号Ｄ−ＨＩｉについては、これに対応する制御信号要求が受信されたか否かに関わらず、常にイベントエンジン２１０によって生成されることもあり得る。すなわち、これにより手続が簡略化され、アプリケーションによっては、この方策が過度に広範囲の処理を要求しない場合もある。
【００３８】
本発明のある好適な実施形態によると、各ＧＵＩコンポーネント２２０ａ乃至２２０ｎは、ユーザによる、これらのＧＵＩコンポーネント２２０ａ乃至２２０ｎの操作時に、少なくとも１つの出力制御信号Ｃａ乃至Ｃｎを各々に生成するように構成される。上述した視覚的なフィードバック情報を生成することに加えて、１つ以上の内部装置又は周辺装置は、出力制御信号Ｃａ乃至Ｃｎによって影響を受ける。例えば、プリント（印刷）ジョブが開始され、また計算タスクが実行されることや、電子メールが送信され、写真を撮るためにカメラがトリガされるといったこともある。
【００３９】
上述したように、非カーソル制御イベント出力信号Ｄ−ＨＩｉは、視覚追跡データ信号ＤＥＹＥによる、多くの異なる局面を表す。本発明の一実施形態によると、少なくとも一つの出力信号Ｄ−ＨＩｉは、視覚追跡データ信号ＤＥＹＥの動的な変化（進展）に基づく。従って、当該信号は、ディスプレイ１２０に亘る特定の注視パターンを表すことができる。この注視パターンは判別されて、例えば、サッカード、スムーズな追跡、凝視又は読み取りの期間を定める。
【００４０】
また、非カーソル制御イベント出力信号Ｄ−ＨＩｉは、凝視エンター（ｇａｚｅ−ｅｎｔｅｒ）及び凝視リーブ（ｇａｚｅ−ｌｅａｖｅ）のデータを示す。このデータは、ユーザの注視点がディスプレイ上のＧＵＩコンポーネント内に収まっていることを、視線追跡データ信号ＤＥＹＥが示す場合のタイムインスタンスを反映するパラメータである。従って、凝視エンターのデータは、ユーザの注視がディスプレイ上のＧＵＩコンポーネントの表示部分に向けられるときに生成され、また凝視リーブのデータは、ユーザの注視が当該表示部分の外部に向けられるときに生成される。
【００４１】
ＧＵＩコンポーネントについての上記した滞留時間は通常、特定のＧＵＩコンポーネントに関して、凝視エンターのデータが生成されて凝視リーブのデータが生成されるまでの間の期間として定義される。通常は、滞留時間に対して起動信号を関連付けることが望ましいが、これは、例えば、ある滞留時間が経過したときに「アイボタン（ｅｙｅ−ｂｕｔｔｏｎ）」を作動させるためである。これに代わって、ボタン、スイッチ、音声信号、入力要素の運動パターン、カメラに記録されたジェスチャー（身振り）のパターンや顔の表情によって起動信号を構成することも可能である。さらには、瞬き又は所定のＥＥＧ信号によって起動信号を生成してもよい。但し、後者のタイプの信号は通常、ユーザが十分な精度をもって制御することが比較的難しい。
【００４２】
本発明の一実施形態によれば、イベントエンジン２１０は、１つ以上の補助入力信号ＤＪを受信し、この信号にさらに基づいて、一組の非カーソル制御イベント出力信号Ｄ−ＨＩｉを生成するように構成される。この補助入力信号ＤＪについては、ボタン、スイッチ、音声信号、入力要素の運動パターン、カメラに記録されたジェスチャーのパターンや顔の表情、又はＥＥＧ信号に起因しても構わない。
【００４３】
従って、視線追跡データ信号ＤＥＹＥと、１つ以上の補助入力信号ＤＪとの組み合わせに基づいて、非常に直感的で習得し易い、複合のユーザコマンドを生成することができる。よって、コンピュータ装置１３０を用いた、効率の高い人間対機械間の対話を実現できる。例えば、文書用のアイボタンを見て、制御用の言葉「開け」と発することで、テキスト文書を開くことができる。さらに複雑な音声認識が利用可能であれば、所望の検索語を発しながら、関連したテキスト入力ボックスに視線を向けることにより、インターネット検索が行われるといった具合である。
【００４４】
本発明の一実施形態によると、ＧＵＩコンポーネント２２０ａ乃至２２０ｎの少なくとも１つが、イベントエンジン２１０からの非カーソル制御イベント出力信号Ｄ−ＨＩｉを、ユーザ１１０の予測される意図として解釈する。この予測された意図に応じて、コンポーネント２２０ａ乃至２２０ｎについてのユーザ操作がトリガされる。好ましくは、イベントエンジン２１０が、補助入力信号ＤＪとして受信された複数の入力ソースに基づいてユーザの意図を予測し、その補助入力信号ＤＪには、キーボード信号、マウス信号、音声データ、及びカメラ画像を含むことができる。但し、視線追跡データ信号ＤＥＹＥが、予測されるユーザの意図についてその基礎を成すことは勿論である。例えば、重要な情報は、様々な凝視パターン及び凝視時間から導出される。
【００４５】
本発明の他の実施形態によれば、ＧＵＩコンポーネント２２０ａ乃至２２０ｎの少なくとも１つが、イベントエンジン２１０からの非カーソル制御イベント出力信号Ｄ−ＨＩｉを、ユーザの予測される注目レベルとして解釈する。この予測された注目レベルに応じて、コンポーネント２２０ａ乃至２２０ｎについてのユーザ操作がトリガされる。また、注目レベルは、例えば、キーボード、マウス、音声データ、カメラ画像に起因する補助入力信号ＤＪ、及び視線追跡データ信号ＤＥＹＥに基づいて推定される。特に、凝視パターン、凝視位置及び凝視時間が、ユーザ１００の注目レベルを判別するための重要な基準を成す。ＧＵＩコンポーネント２２０ａ乃至２２０ｎは、予測される注目レベルに応じて各々の挙動が異なり、これは該コンポーネントの特性を、ユーザ１１０の現在の動作に合致させるためである。
【００４６】
さらに、本発明の一実施形態によれば、ＧＵＩコンポーネント２２０ａ乃至２２０ｎの少なくとも１つが、イベントエンジン２１０からの非カーソル制御イベント出力信号Ｄ−ＨＩｉを、ユーザ１１０についての心理状態パラメータとして解釈する。この心理状態パラメータは、ユーザ１１０の一般的な状態、例えば、ユーザが意識を集中し若しくは専念しているか、気をそらしているか、また、疲れているのか若しくは集中していないのか、又は混乱しているのかといった状態に見えるか否かについて、そのような状態を反映する。例えば、心理状態パラメータは、疲労度が約２０％であって、注目度が約５０％である状態を示すことができる。そして、予測された心理状態に基づいて、コンポーネント２２０ａ乃至２２０ｎについてのユーザ操作がトリガされる。典型的には、ヘルプメニュー及びポップアップウィンドウの数及び内容が、予測される心理状態に応じて適合される。尚、レーダー観測基地のように、注目レベル及び心理状態が真に重要となる操作者環境においては、オペレータがまだ観測していないターゲットなどに注目させることによって、セキュリティを向上させることができる。
【００４７】
本発明の一実施形態によれば、イベントエンジン２１０がテンプレートライブラリ２３０と関連付けられており、このテンプレートライブラリは、一般的なＧＵＩコンポーネントである、アイボタン、スクロールバー、マルチビューツールバー（図４に関する以下の記載を参照）、テキスト入力フィールド（図５に関する以下の記載を参照）、拡大可能なテキスト入力フィールド（図６に関する以下の記載を参照）、及びスクロールウィンドウ（図７に関する以下の記載を参照）等を含む。このようなテンプレートライブラリ２３０を用いて、ソフトウェア設計者は、これまでと同様、ディスプレイに対するユーザの眼球運動に基づいて操作可能な関数及びコントロールを容易に生成することができる。但し、特定のアイコントロール（視線で制御）可能なアプリケーションの設計が完了した後において、テンプレートライブラリ２３０は、一般的なコンポーネントを起源とするＧＵＩコンポーネントに関して、実際上の機能をもたないことを勿論である。それにも関わらず、テンプレートライブラリ２３０は、アプリケーションの将来的なアップグレードや再設計の場合に再び有用となる。
【００４８】
本発明によれば、ＧＵＩコンポーネントの操作がディスプレイ上でグラフィックを使って確認されることは、技術的に必要でない。しかしながら、このことは、ユーザの使い易さの観点から好ましい。図３ａは概略的なシンボル３１０を示しており、このシンボルは、非観察モード（すなわち、視線追跡データ信号ＤＥＹＥは、ユーザの注視点がシンボル３１０の外にあることを示す）におけるディスプレイ上のアイコントロール可能なＧＵＩコンポーネントを表す。また図３ｂは観察モードにおけるシンボル３１０を示しており、このモードでは、ユーザの注視点がシンボル３１０によって表される表示領域内にあることを、視線追跡データ信号ＤＥＹＥが示す。観察モードにおいて、シンボル３１０は中央に位置するオブジェクト３１１を含む。このオブジェクト３１１は、ユーザの現在の視線がシンボル３１０に向けられていることを、コンピュータ装置が登録済みであると、ユーザに対して確認させるためのものである。従って、シンボル３１０に関連付けられたＧＵＩコンポーネントの如何なる操作をも行うことができる。中央に位置するオブジェクト３１１により得られる重要な利点は、このオブジェクトが、ユーザに視線をシンボル３１０の中央に集中させる手助けとなることである。これにより、より信頼性の高い視線追跡機能が実現されるとともに、与えられた任意のアイトラッカーに対して、シンボル３１０を他よりも小さくすることができる。勿論、シンボル３１０及び中央に位置するオブジェクト３１１は、図３ａ及び図３ｂに表される正方形以外の外形を有してもよい。また、視覚的刺激をさらに向上させるために、オブジェクト３１１がアニメーション化されてもよいし、又は、特に興味をひくような色や形状をもつことも可能である。
【００４９】
図４は、本発明の第１の実施形態を示し、提案のマルチビューツールバー４０１を用いてフレーム４００内のアプリケーションを制御するものである。ここで、マルチビューツールバー４０１は、４つの異なるアイボタンを含んでおり、各ボタンは、該ボタンに関連付けられたアプリケーションのサムネイル画像（図示せず）を含むことができる。第１のボタン４１０は、第１のアプリケーションに関連付けられており、該アプリケーションについては、例えば、望ましくは所定のＵＲＬ又はウェブページにアクセスするインターネットブラウザである。この第１のアプリケーションは、フレーム４００内のサブフレーム４２０により表されるユーザインターフェイスを有する。そして、ユーザは、第１のボタンを見ることにより、サブフレーム４２０を開くことができる。この起動は、ボタン４１０を所定の滞留時間に亘って凝視した後で行われるか、又は、例えば、キー打ちや制御用の言葉等の起動信号に応じて行われる。そして、テキスト入力ボックス４１１を見て、関係のある検索語を入力した上で、検索ボタン４１２を操作することにより、検索が実行される（好ましくは、視線追跡データ信号に基づいて行われる）。
【００５０】
図５は、提案のマルチビューツールバー４０１に基づく、本発明の第２の実施形態を示す。ここでは、第２のボタン５１０が第２のアプリケーションに関連付けられており、該アプリケーションは、例えば、フレーム４００内のサブフレーム５２０の形態でユーザインターフェイスを有する製品管理システムである。これは、ユーザが、特定の凝視滞留時間中に、第２のボタン５１０を見ることにより第２のアプリケーションを起動するか、あるいは、（上述したように）別の起動信号を生成することにより、第２のアプリケーションを起動し得ることを意味する。好ましくは、テキスト入力ボックス及びボタン５１５のデフォルト設定が最初に有効化される。そして、サブフレーム５２０内の他の領域を見ることにより、別のフィールド及び機能が有効化されて操作される。
【００５１】
特に、スクリーンコントロールについては、ユーザの眼球運動に基づく操作によって拡大するように構成することができる。図６ａ及び図６ｂは、このことを本発明の第３の実施形態として示すものである。
【００５２】
ここで、サブフレーム５２０内のテキストフィールド６２０は、ディスプレイ上の比較的小さな領域を占めているが、これは、ユーザの注視点がフィールド６２０の外にあることを視線追跡データ信号が示している場合である。しかし、注視点がテキストフィールド６２０で表された表示領域内に存在する時間が、所定の滞留時間に達したことを、視線追跡データ信号が示している場合には、この領域が、例えば、図６ｂに示すように拡大する。よって、フィールド６２０内で最初に見ることができた以上の情報が表示される。このような拡大したテキストフィールド６２０については、フレーム４００内に示される他のグラフィカルオブジェクトを網羅することも可能である。このことは、情報を要求に応じて提示できるが故に有益であり、フレーム４００及びサブフレーム５２０は、それらに実際に嵌め込まれるデータよりも多くのデータを含むことになる。例えば、そのようにしない場合に必要となるテキストスクロールを避けることができる。
【００５３】
図７は、本発明の第４の実施形態を示しており、ユーザの眼球運動に基づくスクロール機能を実現するものである。ここで、第３のアプリケーションは、例えば、マップ（地図）ビューワとされ、第３のボタン７１０に関連付けられている。この第３のボタン７１０を見るとともに、それに関連付けられたＧＵＩコンポーネントを有効にすることにより、凝視の滞留時間に基づくか、あるいは、別途の起動信号を用いて、コンピュータ装置がフレーム４００内でマップサブフレーム７２０を開く。そして、このサブフレームはデジタルマップを提示する。ここで、マップは、マップサブフレーム７２０において利用可能な提示範囲よりも大きいものとされ、よって、一度にマップの一部しか表示することができない。
【００５４】
マップについてのスクロールは、ユーザの注視点に基づいて行われる。好ましくは、注視点が、第１の破線ａと、第２の破線ｂと、第３の破線ｃと、第４の破線ｄ（これらの破線はどれもディスプレイ上で見えないことが好ましい）とによって区切られた中央領域内にあることを、視線追跡データ信号が示す限り、スクロールは行われない。しかし、ユーザの注視点が、破線ａ、ｂ、ｃ、又はｄのいずれかの外側に位置する場合には、注視点により定められる特定の方向において、マップのスクロールが行われる。詳しくは、注視点が破線ｃよりも下にある場合において、矢印Ｓ（南）に沿って下方向にスクロールが行われ、注視点が破線ｄよりも上にある場合には、矢印Ｎ（北）に沿って上方向にスクロールが行われ、また、注視点が破線ｂの右にある場合には、矢印Ｅ（東）に沿って右方向にスクロールが行われ、注視点が破線ａの左にある場合には、矢印Ｗ（西）に沿って左方向にスクロールが行われることになる。さらには、注視点が破線ｃの下にあって、かつ破線ｂの右にある場合において、矢印ＳＥ（南東）に沿って斜め方向のスクロールが行われ、注視点が破線ｄの上にあって、かつ破線ｂの右にある場合には、矢印ＮＥ（北東）に沿って斜め方向にスクロールが行われ、注視点が破線ｄの上にあり、かつ破線ａの左にある場合には、矢印ＮＷ（北西）に沿って斜め方向にスクロールが行われ、そして、注視点が破線ｃの下にあって、かつ破線ａの左にある場合には、矢印ＳＷ（南西）に沿って斜め方向にスクロールが行われることになる。このスクロール機能は、滞留時間に基づいて有効化されるか、又は、キーやボタンをクリックすること、あるいはキーやボタンを押し続けるといった別途の起動信号が必要とされる。
【００５５】
さらに、スクロール速度は、注視点と、各破線ａ、ｂ、ｃ及びｄとの間の距離に依存して決まり、この距離が比較的長い場合は比較的速度が速く、これとは逆に距離が比較的短い場合には比較的遅い。また、スクロール速度は、スクロール時間及び／又は視線追跡データ信号に記録された最新のサッカードの長さに依存して決まる。好適には、最大スクロール速度については、全ての可能な速度においてユーザがスクロールされた情報を視認できる値に設定される。
【００５６】
本発明の一実施形態によれば、スクロール機能は、キーやボタンを押下したり、キーやボタンを解放したり、最新のサッカードの長さが所定の値を超えたり、注視点がマップサブフレーム７２０の外へ移動したり、注視点がマップサブフレーム７２０の中心に向けて移動したり、あるいは、注視点がスクロールを有効化する線ａ、ｂ、ｃ及びｄとは反対の方向へと移動することによって、停止される。
【００５７】
尚、視線追跡駆動式のスクロールによる解決策については、例えば、上記特許文献６の従来技術において記載されていることに留意されたい。この文献では、観察者の目がどこを見ているかに基づいて、ページ指向の又は連続的なスクロール機能が開始されるか、又は制御される。
【００５８】
要約すると、本発明に係るコンピュータ装置を制御する一般的な方法については、図８のフローチャートを参照して以下に記載される。
【００５９】
最初のステップ８１０において、少なくとも１つのＧＵＩコンポーネントの各々からの制御信号要求を受信するが、各コンポーネントは、ユーザにより生成されたアイコマンドに基づいて操作される構成となっている。この制御信号要求は、非カーソル制御イベント出力信号のセットの一部（サブセット）を規定し、これは、ユーザが意図通りに操作するために、特定のＧＵＩコンポーネントによって要求されるものである。
【００６０】
次ステップ８２０において、視線追跡データ信号を受信する。この信号は、ディスプレイ、つまり、少なくとも１つのＧＵＩコンポーネントを具体化するコンピュータに関連するディスプレイ上でのユーザの注視点を記述する。続いてステップ８３０では、視線追跡データ信号、そして任意の補助入力信号に基づいて、一セットの非カーソル制御イベント出力信号を生成する。
【００６１】
続くステップ８４０において、非カーソル制御イベント出力信号を、少なくとも１つのＧＵＩコンポーネントに配信し、これによって、（例えば、各制御信号要求に従って）関連する影響が生じる。非カーソル制御イベント出力信号の各々は、ディスプレイに対する、ユーザの眼球運動についての特定の状況を表すものとされる。つまり、非カーソル制御イベント出力信号は、ユーザによって生成されたアイコマンドを表している。ステップ８４０の後、処理はステップ８２０に戻り、更新された視線追跡データ信号を受信する。
【００６２】
図８に関連して説明した全ての処理ステップや、これらのステップのサブシーケンス（ｓｕｂ−ｓｅｑｕｅｎｃｅ）は、プログラムされたコンピュータ装置によって制御される。さらに、図面を参照して説明した本発明の実施形態については、コンピュータ装置と、該コンピュータ装置により実行されるプロセスを備えるが、本発明は、コンピュータプログラム、特に、本発明を実施するように構成された、キャリア（伝送媒体）上又はキャリア中のコンピュータプログラムにも拡張される。このプログラムは、ソースコード、オブジェクトコード、コードの中間ソース及び部分的にコンパイルされた形式のオブジェクトコードの形態とされるか、あるいは、本発明による処理の実施において使用に好適な任意の他の形態とされる。また、このプログラムは、オペレーティングシステムの一部でもよいし、あるいは別途のアプリケーションでも構わない。キャリアは、プログラムを伝達可能なエンティティ又はデバイスであってもよい。例えば、キャリアは、フラッシュメモリや、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）としての、例えば、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）若しくは半導体ＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、又は、フレキシブルディスクやハードディスク等の磁気記録媒体のような、記憶媒体を備える。さらに、キャリアは、例えば、電気的又は光学的なケーブルを介して伝送されるか、又は無線、その他の手段により伝えることが可能な、電気的又は光学的な信号等の伝搬可能なキャリアであってもよい。プログラムが、ケーブル又は他のデバイス又は手段により直接的に伝搬可能な信号により具体化される場合に、キャリアは、そのようなケーブル又はデバイス又は手段によって構成される。これに代わって、キャリアについては、プログラムが組み込まれた集積回路であって、関連する処理を実行し又はその実行に使用するように適合された集積回路でもよい。
【００６３】
本明細書中で使用した「備える」、「備えている」という語は、記載された特徴、数値、ステップ又は構成要素の存在を特定するものである。しかし、この語は、１つ以上の追加的な特徴、数値、ステップ若しくは構成要素又はそれらの集合について、その存在及び追加を排除しない。
【００６４】
本発明は、上述した図示の具体例に限定されるものではなく、本発明の技術的範囲内において自由に変更可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明によるコンピュータ装置を制御するユーザの概要を示す図である。
【図２】本発明の実施形態に係るコンピュータ装置を制御するための装置構成を示す図である。
【図３】非観察モード及び観察モードの各々について、ディスプレイ上のアイコントロール可能なＧＵＩコンポーネントを表すように提案されたシンボルを示す図である。
【図４】提案のマルチビューツールバーを用いた、本発明の第１の実施形態を示す図である。
【図５】提案のマルチビューツールバーに基づいた、本発明の第２の実施形態を示す図である。
【図６】ユーザの眼球運動に基づく操作の際に拡大するようにスクリーンコントロールが適合された、本発明の第３の実施形態を示す図である。
【図７】ユーザの眼球運動に基づいてスクロール機能を実現する、本発明の第４の実施形態を示す図である。
【図８】本発明に係るコンピュータ装置を制御する一般的な方法について、フローチャートを用いて示す図である。
【図１】
2008502990.tif 000003
【図２】
2008502990.tif 000004
【図３ａ】
2008502990.tif 000005
【図３ｂ】
2008502990.tif 000006
【図４】
2008502990.tif 000007
【図５】
2008502990.tif 000008
【図６】
2008502990.tif 000009
【図７】
2008502990.tif 000010
【図８】
2008502990.tif 000011
【国際調査報告】
2008502990.tif 000012
2008502990.tif 000013