(57)【特許請求の範囲】
【請求項１】
データ処理ユニット（１１０）と、ディスプレイ（１２０）と、当該ディスプレイ（１２０）に対するユーザ（１４０）の注視点（ＰＧ）を記録するように構成したアイトラッカ（１３０）と、を具え、前記データ処理ユニット（１１０）が前記ディスプレイ（１２０）上にグラフィカル情報（ＧＲ［Ｓ，ＦＢ］）を表示するように構成されており、当該情報が前記注視点（ＰＧ）に基づいて生成されるフィードバックデータ（ＦＢ）と、前記ユーザ（１４０）の身体部分（１４５）の動き（ＭＲ）と、を含むコンピュータシステムにおいて、前記システムが前記動き（ＭＲ）を表示する画像データ（ＤＢＯＤＹ）を記録し、前記画像データ（ＤＢＯＤＹ）の表示を前記データ処理ユニット（１１０）へ送るように構成した、少なくとも１の画像デバイス（１３５ａ、１３５ｂ）を具え、前記フィードバックデータ（ＦＢ）がグラフィカルポインタ（２１０）を表わし、前記データ処理ユニット（１１０）が：
キー、ボタン、スイッチ、及びペダルの群から選択された機械的入力部材の起動と；
滞留時間のしきい値を超えて前記ディスプレイ（１２０）の特定領域内に配置された前記注視点（ＰＧ）の位置と；
のうちの少なくとも１つの形式で開始コマンドを受信し、
前記開始コマンドの受信に応じて初期段階を推進し、
前記初期段階中に、前記注視点（ＰＧ）の推定位置から特定距離にある開始位置（ＬＳ）で、前記ディスプレイ（１２０）上に前記ポインタ（２１０）を概略的に配置し；
キー、ボタン、スイッチ、及びペダルの群から選択された機械的入力部材の起動と；
滞留時間のしきい値を超えて前記ディスプレイ（１２０）の特定領域内に配置された前記注視点（ＰＧ）の位置と；
のうちの少なくとも１つの形式でトリガコマンドを受信し、
前記トリガコマンドの受信に応じて次の段階を推進し、
前記次の段階中に、前記画像データ（ＤＢＯＤＹ）に応じて前記開始位置（ＬＳ）から前記ポインタ（２１０）を動かして前記ポインタ（２１０）を精密に配置する；
ように構成されることを特徴とするコンピュータシステム。
【請求項２】
請求項１に記載のコンピュータシステムにおいて：前記開始コマンドがさらに、
音声コマンド；
前記注視点（ＰＧ）の所定の動作シーケンス；
のうちの少なくとも１つを含むことを特徴とするコンピュータシステム。
【請求項３】
請求項１又は２に記載のコンピュータシステムにおいて、前記データ処理ユニット（１１０）が、前記初期段階の所定期間後に前記次の段階を推進するように構成されていることを特徴とするコンピュータシステム。
【請求項４】
請求項１に記載のコンピュータシステムにおいて：前記トリガコマンドがさらに、
音声コマンド；
前記注視点（ＰＧ）の所定の動作シーケンス；
のうちの少なくとも１つを含むことを特徴とするコンピュータシステム。
【請求項５】
請求項４に記載のコンピュータシステムにおいて、前記データ処理ユニット（１１０）が、前記画像データ（ＤＢＯＤＹ）を解釈して、前記身体部分（１４５）の特定の動き（ＭＲ）が前記グラフィカルポインタ（２１０）の所定の再位置決めを行うような方法で、前記開始位置（ＬＳ）からのグラフィカルポインタ（２１０）の相対的な再位置決め（ｄＲ）を表わすように構成されていることを特徴とするコンピュータシステム。
【請求項６】
請求項５に記載のコンピュータシステムにおいて、前記データ処理ユニット（１１０）が、前記ディスプレイ（１２０）に、前記次の段階中の前記画像データ（ＤＢＯＤＹ）に応じて前記表示されたフィードバックデータ（ＦＢ）を繰り返し更新させるように構成されていることを特徴とするコンピュータシステム。
【請求項７】
請求項１乃至６のいずれか１項に記載のコンピュータシステムにおいて、前記少なくとも１の画像デバイス（１３５ａ、１３５ｂ）が、前記アイトラッカ（１３０）中に含まれていることを特徴とするコンピュータシステム。
【請求項８】
請求項１乃至７のいずれか１項に記載のコンピュータシステムにおいて、前記グラフィカル情報（ＧＲ［Ｓ，ＦＢ］）が非フィードバックデータを表わす第１の部分（Ｓ）と、前記フィードバックデータを表わす第２の部分（ＦＢ）を具え、前記データ処理ユニット（１１０）が、前記ディスプレイ（１２０）上の確認位置での前記第２の部分（ＦＢ）を表示させるように構成され、前記確認位置の位置が、前記第１の部分（Ｓ）の内容に依存していることを特徴とするコンピュータシステム。
【請求項９】
データ処理ユニット（１１０）と、ディスプレイ（１２０）と、当該ディスプレイ（１２０）に対するユーザ（１４０）の注視点（ＰＧ）を記録するように構成したアイトラッカ（１３０）と、を具えるコンピュータシステムを制御する方法であって、前記ディスプレイ（１２０）上のグラフィカル情報（ＧＲ［Ｓ，ＦＢ］）を表示するステップであって、当該情報（ＧＲ［Ｓ，ＦＢ］）が前記注視点（ＰＧ）に基づいて生成されるフィードバックデータ（ＦＢ）と、前記ユーザ（１４０）の身体部分（１４５）の動き（ＭＲ）と、を含むステップを具える方法において：
前記動き（ＭＲ）を表わす画像データ（ＤＢＯＤＹ）を記録するステップであって、前記フィードバックデータ（ＦＢ）がグラフィカルポインタ（２１０）を表わすステップと、
キー、ボタン、スイッチ、及びペダルの群から選択された機械的入力部材の起動と；
滞留時間のしきい値を超えて前記ディスプレイ（１２０）の特定領域内に配置された前記注視点（ＰＧ）の位置と；
のうちの少なくとも１つの形式で開始コマンドを受信するステップと、
前記開始コマンドの受信に応じて初期段階を推進するステップと、
前記初期段階中に開始位置（ＬＳ）で前記ディスプレイ（１２０）上に前記ポインタ（２１０）を概略的に配置するステップであって、前記開始位置（ＬＳ）が、前記注視点（ＰＧ）の推定位置から特定距離にあるステップと；
キー、ボタン、スイッチ、及びペダルの群から選択された機械的入力部材の起動と；
滞留時間のしきい値を超えて前記ディスプレイ（１２０）の特定領域内に配置された前記注視点（ＰＧ）の位置と；
のうちの少なくとも１つの形式でトリガコマンドを受信するステップと、
前記トリガコマンドの受信に応じて次の段階を推進するステップと、
前記次の段階中に、前記画像データ（ＤＢＯＤＹ）に応じて前記開始位置（ＬＳ）から前記ポインタ（２１０）を動かして前記ポインタ（２１０）を精密に配置するステップと；
を具えることを特徴とする方法。
【請求項１０】
請求項９に記載の方法において：前記開始コマンドがさらに、
音声コマンド；
前記注視点（ＰＧ）の所定の動作シーケンス；
のうちの少なくとも１つを含むことを特徴とする方法。
【請求項１１】
請求項９又は１０に記載の方法において、前記初期段階の所定期間後に、前記次の段階を推進するステップを具えることを特徴とする方法。
【請求項１２】
請求項９に記載の方法において：前記トリガコマンドがさらに、
音声コマンド；
前記注視点（ＰＧ）の所定の動作シーケンス；
のうちの少なくとも１つを含むことを特徴とする方法。
【請求項１３】
請求項９に記載の方法において、前記画像データ（ＤＢＯＤＹ）を解釈し、前記開始位置（ＬＳ）からのグラフィカルポインタ（２１０）の相対的な再位置決め（ｄＲ）を表わして、前記身体部分（１４５）の特定の動き（ＭＲ）がグラフィカルポインタ（２１０）の所定の再位置決めを生じさせるステップを具えることを特徴とする方法。
【請求項１４】
請求項１３に記載の方法において、前記次の段階中に、前記画像データ（ＤＢＯＤＹ）に応じて前記ディスプレイ（１２０）上に表示されるフィードバックデータ（ＦＢ）の反復更新を表示するステップを具えることを特徴とする方法。
【請求項１５】
請求項９乃至１４のいずれか１項に記載の方法において、前記グラフィカル情報（ＧＲ［Ｓ，ＦＢ］）が非フィードバックデータを表わす第１の部分（Ｓ）と、前記フィードバックデータを表わす第２の部分（ＦＢ）を具え、当該方法が、前記ディスプレイ（１２０）上の確認位置で前記第２の部分（ＦＢ）を表示するステップであって、前記確認位置の位置が、前記第１の部分（Ｓ）の内容に依存するステップを具えることを特徴とする方法。
【請求項１６】
コンピュータのメモリ（１１５）内に直接ロード可能なコンピュータプログラムにおいて、当該プログラムが前記コンピュータ上で実行される時に、請求項９乃至１４のいずれか１項に記載のステップを制御するためのソフトウェアを具えることを特徴とするコンピュータプログラム。
【請求項１７】
コンピュータで読取可能な媒体（１１５）であって当該媒体に記録されたプログラムを有する媒体において、前記プログラムが請求項９乃至１４のいずれか１項に記載のステップをコンピュータに制御させることを特徴とするコンピュータで読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的にコンピュータシステム内に入力されるユーザコマンドに応じてグラフィカルフィードバックを表わす情報の表示に関する。特に、本発明は請求項１の序文に記載のコンピュータシステム、及び請求項１２の序文に記載の方法に関する。本発明は、更に請求項２２に記載のコンピュータプログラムと、請求項２３に記載のコンピュータで読取可能な媒体に関する。
【背景技術】
【０００２】
ヒューマンコンピュータインタラクションは、グラフィカルユーザインタフェース（ＧＵＩ）によって変革された。すなわち、このインタフェースは、いずれの優先チャネルも大きく超える帯域でユーザに情報を表示する効果的な手段を提供している。数年にわたり、情報が提供されるスピードが、カラースクリーン、拡大ディスプレイ、インテリジェントグラフィカルオブジェクト（例えば、ポップアップウィンドウ）、ウィンドウタブ、メニュー、ツールバー、及び音声を通じて更に増した。しかしながら、この時間を通じて、入力デバイスは、本質的に変化せず、すなわち、キーボード及びポインティングデバイス（例えば、マウス、トラックボール又はタッチパッド）のままであった。近年において、様々な手書きデバイスも導入されてきた（例えば、スタイラス又はグラフィカルペンの形式で）。それにもかかわらず、出力帯域は数倍に増加するので、同上のデバイスは実質的な変化なしであった。従って、ヒューマンコンピュータインタラクションにおける通信帯域内にひどい非対称性が生じた。これを補償し、データ入力をより効果的及びユーザフレンドリにするために、様々な解決策が提供されている。
【０００３】
【特許文献１】米国特許第５，３６７，３１５号  特許文献１は、ユーザの目と頭の動きに基づいてコンピュータスクリーン上のカーソルの動きを制御する方法と装置とを述べている。システムは指定されたキー又はスイッチを操作することによって起動される。その後、ユーザは従来のマウスと同一の方法で、目と頭を動かすことによって、スクリーンのいずれかの地点にカーソルを配置することができる。特に、赤外線検出器は規定された起動領域内のユーザの頭の相対位置を決定して、スクリーン上のカーソル位置は、起動領域内の頭の位置に依存することができる。ユーザの目はここでは主に光反射器として用いられて、目の位置の変化を決定し、これによって起動領域内での頭部の位置決めにおける変化を間接的に明らかにしている。従って、目／頭の位置とカーソル位置との間の関係が確立する。
【０００４】
【特許文献２】米国特許第６，２１５，４７１号  特許文献２は、視覚ポインタの方法及び装置を開示し、ユーザが、顔の特徴のような、視覚的に同定可能な特性について対応する回転又は動きによって、スクリーン上のポインタの動きを制御する。更に、変化可能な視覚特性を変更する、例えば、目を閉じることによって、ユーザはマウスクリック及び同様の機能を示す制御信号を生成することができる。上の解決策に類似して、ここでも視覚的に同定可能な特性についての位置決めと、スクリーン上のポインタ位置との間に密接な関係がある。
【０００５】
【特許文献３】米国特許第６，２０４，８２８号  特許文献３は、スクリーン上にカーソルを配置する際に操作者を補助するためのコンピュータ駆動システムを示している。ここで、システムはスクリーン上の操作者の注視部分を算出し、この位置で同定された注視領域内をカーソルを職は位置する。次いで、機械的な入力デバイス、例えば、マウス又はキーボードを用いて、スクリーン上の初期位置から意図した終点位置までカーソルを制御する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上の最初の２つの解決策は、これらのストラテジを使用することによって、おそらくは身体障がい者であるユーザが、自身の頭をコントロールして、あるいは、十分に高精度に注視して、スクリーン上の所望の場所にカーソルを配置することは困難であるので、問題を含んでいる。更に、たとえ、ユーザが非常に高精度に自身の身体をコントロールできるとしても、トラッキング装置の様々な欠陥が、それぞれ、目／頭の位置及び注視点を記録する場合に測定誤差を誘導して、意図する結果を得ることは、なお困難であり、あるいは少なくともうんざりさせる。最後の解決策は、機械的な入力デバイスを操作する際に注視位置推定のどんな誤差も補償するので、この点で改善である。それにもかかわらず、このような機械的なデバイスの操作は、例えば、疲労、反復疲労損傷等に関する他の問題に関連する。更に従来のマウスのような機械的な入力デバイスは比較的遅く、デスクトップ上かデバイス面上（ラップトップの場合）のいずれかに一定の操作スペースを要求する。時に、このようなスペースが利用不可能であり、要求されたスペースを提供することは問題である。
【０００７】
従って、本発明の目的は解決策を表示することであり、上の問題を緩和することによって、高精度でかつ大いに効率的な方法でコンピュータシステムを制御するためのユーザフレンドリかつ人間工学的に適した手段を提供している。
【課題を解決するための手段】
【０００８】
本発明の一態様によると、本目的は情報を表示する最初に記載のコンピュータシステムによって得られ、システムは少なくとも１の画像デバイスを具え、身体部分の動きを示す画像データを記録するように構成される。前記少なくとも１の画像デバイスは、画像データの表示をデータ処理ユニットへ送るように構成され、入れ替わりに、初期段階中に、注視点の絶対位置に基づいて生成され、初期段階の次の段階中には、データは画像データに基づいて生成されるといった方法で、フィードバックデータを表示するように構成される。
【０００９】
このシステムは、迅速な応答及び非常に直感的なユーザインターフェースのために有利である。初期段階においては、フィードバックデータは、ユーザの注視が実質的に向けられる表示領域に相対的に極接近して、表示することができる。提唱される次の段階により、ユーザが、選択された身体部分を動かすことによって初期位置に関するフィードバックデータを精密配置し、このようにして相対的な動きを反映する制御コマンドが生成するのを可能にする。この双方が、用いられた身体部分に関する高い可撓性と大きな自由度を提供する。
【００１０】
本発明のこの態様の好ましい実施例によると、データ処理ユニットはユーザが生成した開始コマンドを受信し、開始コマンドの受信に応じて初期段階を推進するように構成される。従って、注視点に応じて表示されるフィードバックの明白なタイミングが取得される。入れ替わりに、これはユーザインタフェースの質を向上させる。実装及びユーザの好みに依存して、開始コマンドは機械的入力部材を起動することにより、音声コマンドを発することにより、しきい値ドウェル時間中のディスプレイの特定領域内の注視点を配置することによって、又は注視点を動作シーケンス、例えば、いわゆるサッケードによって注視点を動かすことによって生成することができる。
【００１１】
本発明のこの態様の別の好ましい実施例によると、データ処理ユニットは初期段階の所定期間後の次の段階を推進するように構成される。初期段階は通常相対的に短く、例えば１乃至２秒に（又は更に実質的に短く）することができる。その後、次の段階が自動的に開始する場合に有利になる。
【００１２】
本発明のこの態様の別の実施例によると、データ処理ユニットが、代わりにユーザが生成するトリガコマンドを受信し、受信したトリガコマンドに応じて次の段階を推進するように構成される。このようにユーザは、前記身体部分の動きに応じてフィードバックデータを制御し始めるのに適するとみなす時にその点を選択することができる。例えば、システムは好ましくは、開始コマンドは機械的入力部材の起動、音声コマンド、しきい値ドウェル時間中のディスプレイの特定領域内への注視点の配置、又は注視点（例えば、サッケード）により構成される所定の動作シーケンスの形式で、ユーザが生成したトリガコマンドを受信するように構成される手段を含むことができる。
【００１３】
本発明のこの態様の更に別の好ましい実施例によると、フィードバックデータはグラフィカルポインタを表している。更にデータ処理ユニットは初期段階中に、注視点によって反映される開始位置に、例えば、注視点の推定位置からの特定距離に、ディスプレイ上のポインタを配置するように構成される。次の段階中では、データ処理ユニットは、動く身体部分を表す画像データに応じて、開始位置からポインタを動かすように構成される。好ましくはデータ処理ユニットが、身体部分の特定の動きがグラフィカルポインタの再位置決めを生じさせるような方法で、開始位置からのグラフィカルポインタの相対的な再位置決めを表すものとして、画像データを解釈するように構成される。このように、ディスプレイを注視して身体部分を動かすことによって、ユーザはポインタを制御して、ユーザは自身が所望するように、開始位置から徐々に動かすことができる。
【００１４】
本発明のこの態様の更に別の好ましい実施例によると、データ処理ユニットは、次の段階の画像データに応じて、ディスプレイに現在のフィードバックデータを反復更新させるように構成される。このように例えば、上述のゆっくりとした再位置決めが促進される。
【００１５】
本発明のこの態様の更に好ましい実施例によると、前記少なくとも１の画像デバイスはアイトラッカに含まれている。このように、画像デバイスとアイトラッカは、共通のカメラユニットを用いることができる。もちろん、これはコスト効率及び設計のコンパクト化の点で有利である。
【００１６】
本発明のこの態様の別の好ましい実施例によると、グラフィカル情報は非フィードバックデータを表す第１の部分と、フィードバックデータを表す第２の部分とを含んでいる。更にデータ処理ユニットは、ディスプレイ上の確認位置で第２の部分の表示を生じさせるように構成され、この場合、確認位置の位置は第１の部分の内容に依存している。この手段は、フィードバックデータの動きが現在のスクリーン内容、並びにこの内容とフィードバックデータとの間の局所性の相互関係に対して適用されうることを示している。例えば、グラフィカルポインタの形式でのフィードバックデータは、操縦できるＧＵＩオブジェクト上で、又は、近傍に配置される場合の第１の出現及び／又は動きを、及び、このようなオブジェクトを含まないディスプレイ領域に配置される場合の第２の出現及び／又は動きを有することができる。
【００１７】
本発明の別の態様によると、そのオブジェクトは最初に記載した方法によって得られ、画像データが記録され、身体部分の動きを表している。フィードバックデータが表示されて、初期段階中にフィードバックデータが注視点の絶対位置に基づいて生成される。初期段階の次の段階時には、フィードバックデータは前記画像データに基づいて生成される。
【００１８】
この方法の利点並びにその好ましい実施例は、提唱したコンピュータシステムについての上述の考察から明らかである。
【００１９】
本発明の更なる態様によると、このオブジェクトはコンピュータプログラムによって得られ、コンピュータの内部メモリへ直接的にロード可能となり、前記プログラムがコンピュータ上で実行される場合に、上に提唱された方法を制御するようなソフトウェアを含んでいる。
【００２０】
本発明の別の態様によると、このオブジェクトはそこに記録されたプログラムを有するコンピュータ読取可能媒体によって得られ、このプログラムはコンピュータを制御し、上に提唱した方法を行うことができる。
【００２１】
一般的には、本発明により達成可能なボーナス効果は、この次の段階中に生成される映像ベースのデータを用いて、アイトラッカを自動較正できることである。すなわち、このデータを検討することによって、アイトラッカによって記録される注視点と、ユーザ推定の実際の注視点との間のいずれの誤差も最小化するために、アイトラッカはどのように量説すべきかに関し、結論を引き出すことができる。
【００２２】
本発明の更なる利点、有利な特徴及びアプリケーションは、以下の説明及び従属請求項によって明白となるであろう。
【発明を実施するための最良の形態】
【００２３】
図１は、本発明による一般的な使用方法の概観図を示している。ここで、ユーザ１４０は、目の動き及び特定の身体部分の動きによってコンピュータシステムを制御している。
【００２４】
システムはデータ処理ユニット１１０と、ディスプレイ１２０と、アイトラッカ１３０とを含み、アイトラッカ１３０はディスプレイ１２０中に統合されるか（この図に示すように）か、分離ユニットであるかのいずれかである。アイトラッカ１３０は、ディスプレイ１２０に対するユーザ１４０の注視点ＰＧを記録するように構成される。この目的のために、アイトラッカ１３０は好ましくは１又はそれ以上の画像デバイス１３５ａ及び１３５ｂが具わっている。アイトラッカ１３０は、ユーザ１４０に向かう、例えば赤外スペクトル又は近赤外スペクトルにおける放射光用の１又はそれ以上の光源１３５ｃ及び１３５ｄも含み、又はそれらの光源と連結している。アイトラッカ１３０は注視点ＰＧを描写するアイトラッキングデータＤＥＹＥを生成し、このデータＤＥＹＥをデータ処理ユニット１１０に送るように構成される。
【００２５】
データ処理ユニット１１０は、ディスプレイ１２０上への表示用のグラフィカル情報ＧＲ［Ｓ，ＦＢ］を表示するように構成される。本発明により、少なくともいくつかのこの情報ＧＲ［Ｓ，ＦＢ］が、データ処理ユニット１１０に入力されるユーザ命令に応じて生成されるフィードバックデータＦＢを表している。これらの命令は注視点ＰＧかユーザ１４０の身体部分１４５の動きＭＲかのいずれかに基づいて生成される。システムを較正して、本質的にはいずれかの身体部分１４５の動きＭＲを検出することができる。しかしながら、身体部分は、鼻、口、頭全体、手、下腕等のような比較的視覚的に明確であることが好ましい。一対の目（すなわち、ユーザ１４０の両目を含む画像セグメント）を選択して、目を固定するのに関連する身体部分１４５（例えば、頭）を表すことが有利である。すなわち、この場合において、様々な目関連の特徴を記録するように最適化されるアイトラッカ１３０を用いて、前記身体部分１４５の動きを検出することもできる。
【００２６】
いずれかの場合においては、システムは身体部分１４５の動きＭＲを表す画像データＤＢＯＤＹを記録するように構成される画像デバイスを含んでいる。上述したように、この画像デバイスはアイトラッカ１３０に含まれる１又はそれ以上のデバイス１３５ａ及び／又は１３５ｂと同一にすることができる。画像デバイスは、画像データＤＢＯＤＹの表示をデータ処理ユニット１１０に送るように更に構成される。画像デバイスの処理能力に依存して、これはユニット１１０が、未処理の画像データ（本質的に画像デバイスによって記録されるような）か、画像データの処理バージョンかのいずれかを受信することを示している。後者の場合において、画像デバイスはデータ処理ユニット１１０に信号を提供することができ、関連する位置／時間の情報、動作ベクトル等を含んでいる。
【００２７】
データ処理ユニット１１０はアイトラッキングデータＤＥＹＥと画像データＤＢＯＤＹの表示の両方を受信するように構成される。このデータに基づいて、ユニット１１０は、初期段階中は、データＦＢが注視点ＰＧの絶対位置に基づいて生成され、初期段階の次の段階中は、データＦＢが画像データＤＢＯＤＹに基づいて生成されるような、フィードバックデータＦＢを表示している。好ましくは、データ処理ユニット１１０は、ユニット１１０を制御するソフトウェアを保存し、この処理を実行するように構成されるメモリユニット１１５を含むか、又はメモリユニット１１５と連結している。
【００２８】
次に図２を見ると、図１のディスプレイ１２０の詳細な概要がわかる。通常は、フィードバックデータＦＢは、ＧＵＩの強調、いわゆるアプレットの起動等のような、グラフィカル情報の多くの異なる形式を表すことができる。
【００２９】
本発明の一実施例によると、フィードバックデータＦＢはグラフィカルポインタ２１０を表している。この実施例においては、データ処理ユニット１１０は、初期段階中に開始位置Ｌｓでディスプレイ１２０上にポインタ２１０を配置するように構成され、開始位置Ｌｓは、注視点ＰＧ（すなわち、アイトラッカ１３０がユーザの注視を推定し、方向付けられたディスプレイ領域）によって規定されている。従って、開始位置Ｌｓのポインタ２１０は注視点ＰＧと重複し、注視点ＰＧと関係知る特定の局所性を有する配置にすることができる。
【００３０】
図２に示された例においては、ディスプレイ１２０は主オブジェクト２２０の形式でグラフィックも示し、主プロジェクト２２０もまた、第１及び第２のオンスクリーンボタン２２１及び２２２をそれぞれ含んでいる。ここで、ユーザ１４０は第２のオンスクリーンボタン２２２を起動することを意図し、従って、グラフィカルオブジェクト上のポインタ２１０を動かすことに関心があると仮定する。このようにして、実際の注視点は主オブジェクト２２０の中心に（すなわち、ぼぼＰＧに）配置することができる。
【００３１】
所望の位置にポインタ２１０を配置するために、次の段階中に、ユーザ１４０は自身の頭部１４５のような特定の身体部分を動かす（ＭＲ）。画像デバイスは、この動きＭＲを記録し、対応する画像データＤＢＯＤＹを生成し、その表示はデータ処理ユニット１１０に送られる。このユニット１１０もまた、ポインタ２１０が開始位置Ｌｓから動くように、ディスプレイ１２０上に表示されるべきフィードバックデータＦＢを生じさせる（すなわち、ポインタ２１０は画像データＤＢＯＤＹに応じて動作する）。
【００３２】
本発明の１の好ましい実施例によると、データ処理ユニット１１０は画像データＤＢＯＤＹの表示を解釈するように構成されて、身体部分１４５の特定の動きＭＲがグラフィカルポインタ２１０の所定の再位置決めを生じさせるような方法で、開始位置Ｌｓからのグラフィカルポインタ２１０の相対的な再位置決めｄＲを表している。すなわち動きの観点から、これはユーザ１４０用の非常に直観的な動作処理である。もちろんここで、動きＭＲと再位置決めｄＲとの間のいかなる関係も想像可能である。多くの場合、純粋な線形関係が所望される。しかしながら、その他のアプリケーションにおいては、非線形関係がより効果的である。いずれの場合においても、身体部分１４５の一般的な右方向の動きは、ポインタ２１０をディスプレイ上で右方向へ動作させ、身体部分１４５の一般的な左方向の動きは、ポインタ２１０をディスプレイ上で左方向へ動作させるなどの場合に有利である。通常は、データ処理ユニット１１０は複雑な動きＭＲを区別するように構成することもでき、ポインタ２１０は身体部分の動きに応じて、ディスプレイ１２０を横切る任意の方向に動かすことができる。
【００３３】
更に、データ処理ユニット１１０は、ディスプレイ１２０に、次の段階中の画像データＤＢＯＤＹに応じて、表示されたフィードバックデータＦＢを連続更新させるように構成される場合に有利である。好ましくは、このような更新は相対的に高い周波数、例えば１秒に１０乃至３０回で行われる。これにより、フィードバックデータＦＢは動きＭＲに応じて連続的に動作するように見えるグラフィカルポインタ２１０を描写することができる。
【００３４】
本発明の１の好ましい実施例によると、グラフィカル情報ＧＲ［Ｓ，ＦＢ］は非フィードバックデータを表す第１の部分Ｓと、フィードバックデータを表す第２の部分ＦＢを含んでいる。図２に示した例によると、主オブジェクト２２０、第１のオンスクリーンボタン２２１及び第２のオンスクリーンボタン２２２は、第１の部分Ｓに含まれるデータを構成することができる一方、ポインタ２１０は第２の部分ＦＢに含まれている。この実施例においては、データ処理ユニット１１０は、ディスプレイ１２０上の確認位置での第２のデータ部分に含まれるフィードバックデータＦＢの表示を生じるように構成され、確認位置の位置は、第１の部分Ｓの内容に依存している。
【００３５】
例えば、オンスクリーンボタン２２１又は２２２のいずれかの上に配置された場合、フィードバックデータＦＢはポインタ２１０を表すことができ、これらのボタンは、ポインタ２１０がここに配置された場合に、確認コマンドを生成することによって操作することができる。しかしながら、テキストウィンドウ上に配置された場合はいつでも、フィードバックデータＦＢは代わりにこのウィンドウの強調を泡和すことができる。通常は、本発明によって、視覚型案内情報の多くの代替的な形式が表示されうる。フィードバックデータＦＢのタイプ又は特徴は、第１の部分Ｓの内容に依存することもできる。このように、テキストウィンドウ上に配置された場合、フィードバックデータＦＢはカーソル記号を表すことができる一方、その他の種類の操作可能なＧＵＩオブジェクトの上、又はかなり近傍に配置される場合に、フィードバックデータＦＢは、ポインタ又は同様のグラフィック記号を表すことができる。
【００３６】
更に、注視点ＰＧとフィードバックデータＦＢの位置決めとの間の関係は、非線形にすることができる。例えば、ディスプレイ１２０上の１又はそれ以上のＧＵＩオブジェクトは、「重力場」に関連付けることができる。これは、注視点ＰＧがどんなＧＵＩオブジェクト上にも配置されないが、第１のＧＵＩオブジェクトからの特定距離に配置される場合、フィードバックデータＦＢ（例えば、グラフィカルポインタ２１０の形式における）は第１のＧＵＩオブジェクトに表示される。
【００３７】
本発明の一実施例によると、上述の初期段階は、ユーザ１４０によって手動で開始される。従ってデータ処理ユニット１１０はユーザが生成する開始コマンドを受信するように構成される。ユニット１１０は更にこのような開始コマンドの受信に応じて初期段階を推進するように構成される。提唱されるシステムは、開始コマンドを受信するように構成される少なくとも１の手段を具えている。好ましくは開始コマンドは、機械的入力部材（キー、ボタン、スイッチ、ペダル等のような）を起動し、音声コマンドを発し、しきい値ドウェル時間中、ディスプレイ１２０の特定領域内に（例えば、ポインタ２１０の現在の位置に近接して、又は、代替的に操作可能なＧＵＩオブジェクト上で）注視点ＰＧを配置し、及び／又は所定の動作シーケンス（例えば、特定のＧＵＩオブジェクトから／へのサッケード）によって注視点ＰＧを動かすことにより、生成される。
【００３８】
通常は、初期段階は比較的短い、すなわち、ほぼ０．１乃至２秒程度の期間を有していることが好ましい。フィードバックデータＦＢがユーザ１４０の注視点が方向付けられる場合に応じて、「瞬間に」現れるのを認知するので、非常に短い初期段階が好ましい。多くのアプリケーションにおいて、次の段階が初期段階の完了後に自動的に開始する場合に更に所望される。この目的のために、本発明の一実施例によると、データ処理ユニット１１０は初期段階の開始後に所定の時間、次の段階を推進するように構成される。
【００３９】
例えば、ユーザ１４０はデータ処理ユニット１１０と連結したキーボード上の指定されたキーを押下することによって初期段階を推進することができる。キーの押下と関連して、ユーザ１４０はディスプレイ１２０上の所望の位置に自身の注視点ＰＧを配置する。その後すぐに、次の段階が（自動的に）続き、この段階中に、ユーザ１４０は自身の身体部分の動きＭＲによってデータ処理ユニット１１０を制御する。次いで、フィードバックデータＦＢが所望の入力状態が達成されたことを示した場合に、ユーザ１４０は指定されたキーを離し、次の段階を終了する。
【００４０】
本発明の別の実施例によると、次の段階は手動で開始される。このように、データ処理ユニット１１０はユーザが生成したトリガコマンドを受信し、このようなトリガコマンドの受信に応じて次の段階を推進するように構成される。好ましくはトリガコマンドは、機械的入力部材（キー、ボタン、スイッチ、ペダル等のような）を起動し、音声コマンドを発し、しきい値ドウェル時間中、ディスプレイ１２０の特定領域内に（例えば、ポインタ２１０の現在の位置に近接して、又は、代替的に操作可能なＧＵＩオブジェクト上で）注視点ＰＧを配置し、及び／又は所定の動作シーケンス（例えば、特定のＧＵＩオブジェクトから／へのサッケード）によって注視点ＰＧを動かすことにより、生成される。従って、システムは少なくとも１の手段を含み、少なくとも１のこれらの形式でトリガコマンドを受信するように構成される。
【００４１】
本発明によると、ユーザ１４０の注視点ＰＧは実際は初期段階中にディスプレイ１２０上に配置される必要はない。代わりに、この段階中は、注視点ＰＧはいわゆるオフスクリーンボタンへ方向付けることができ、すなわち、ソフトウェア関連制御手段はディスプレイ１２０外部の領域によって（例えば、ディスプレイフレーム上に）表わされる。このようなオフスクリーンボタンの起動は、例えば、ドロップダウンリストの形式における）フィードバックデータＦＢを、ディスプレイ１２０上に（好ましくは、注視点ＰＧによって同定されるオフスクリーンボタンの近くに）表示することができる。このように、次の段階中に、ユーザ１４０は適切な身体部分の動きＭＲを行うことによって、ドロップダウンリストを通じてナビゲートすることができる。オフスクリーンボタンはスクリーン表面を経済的に使用するので好ましい。
【００４２】
要約すれば、本発明によりコンピュータシステムを制御する一般的な方法は、図３のフロー図を参照してここに述べられている。
【００４３】
初期ステップ３１０は開始コマンドが受信されたか否かを調査している。好ましくは、このコマンドは上述したものによるユーザ生成のものである。このようなコマンドが受信されない場合、手順はループバックするか、ステップ３１０に留まるかであり、そうでなければステップ３２０に進む。ステップ３２０はディスプレイ上のフィードバックデータを表示し、フィードバックデータはディスプレイに関するユーザの注視点の絶対位置に基づいて生成される。
【００４４】
次に、ステップ３３０は次の段階を初期化するための条件が満たされているか否かを調査する。上述したように、この条件はステップ３２０で実行される初期段階の開始後の所定の間隔によってか、トリガコマンドの受信でかのいずれかによって表わされる。いずれの場合においても、条件が満たされなければ、手順はステップ３２０へ戻る。そうでなければ、ステップ３４０に進み、ユーザの特定の身体部分の動きを表わす画像データに基づいて生成されるフィードバックデータを生成する。
【００４５】
その後、ステップ３５０は停止基準を満たすか否かを調査する。それは、停止基準の履行を示す停止信号が、ユーザにより手動で生成される場合、大いに有利である。すなわち、ユーザのみが、いつ自身の身体部分の動きに応じて制御される一定操作が完了したのかが分かる。このように、停止信号は、機械的入力部材（キー、ボタン、スイッチ、ペダル等のような）を起動し、音声コマンドを発し、しきい値ドウェル時間中、ディスプレイ１２０の特定領域内に（例えば、ポインタ２１０の現在の位置に近接して、又は、代替的に操作可能なＧＵＩオブジェクト上で）注視点ＰＧを配置し、所定の動作シーケンス（例えば、特定のＧＵＩオブジェクトから／へのサッケード）によって注視点ＰＧを動かし、及び／又は指定キーを離すことにより、生成することができる。
【００４６】
ステップ３５０において、停止基準が満たされていると分かった場合、手順はステップ３１０にループバックする。それ以外の場合、手順はステップ３４０にループバックする。通常は、停止基準の履行に関連して、データ処理ユニットは１又はそれ以上の操作を実行するように構成することができ、例えば、上述の手順を介して選択され、可能な限り起動される操作可能なＧＵＩオブジェクトに関連付けることができる。
【００４７】
ステップのいずれかのサブシーケンスと同様に、上の図３を参照して述べられる総ての処理ステップは、プログラムされたコンピュータ装置によって制御することができる。更に、図を参照して上述した本発明の実施例はコンピュータ装置とコンピュータ装置で行われる処理とを具えるが、このように本発明は、本発明を実行するために構成されるコンピュータプログラム、特にキャリア上の、又は、キャリア中のコンピュータプログラムにわたる。プログラムはソースコード、オブジェクトコード、部分的にコンパイルされた形式中の中間ソース及びオブジェクトコードの形式に、又は、本発明による処理の実装に用いるのに適したその他の形式にすることができる。プログラムはオペレーティングシステムの一部分又は分離したアプリケーションかのいずれかにすることができる。キャリアは、プログラムを運ぶことができるエンティティ又はデバイスである。例えば、キャリアはフラッシュメモリ、例えばＣＤ（コンパクトディスク）又は半導体ＲＯＭのような、ＲＯＭ（読取専用メモリ）、ＥＰＲＯＭ（消去プログラム可能読取り専用メモリ）、ＥＥＰＲＯＭ（電気的消去書込み可能な読出し専用メモリ）、又は、例えばフロッピーディスク又はハードディスクのような磁気記録媒体のような保存媒体を具えることができる。更に、キャリアは、電気又は光ケーブルを介して、又は無線により、又は他の手段により、直接的に伝達することができる電気又は光信号のような伝達性媒体にすることができる。プログラムがケーブル、又は、その他のデバイス若しくは手段によって直接的に伝達することができる信号で例示される場合、キャリアはこのようなケーブル又はデバイス又は手段によって構成することができる。代替的に、キャリアはプログラムが埋め込まれた集積回路であってもよく、集積回路は適切な処理を行うために、又は適切な処理の実行に使用するために構成される。
【００４８】
本明細書で用いられる場合の用語「具える（ｃｏｍｐｒｉｓｅｓ）／具えている（ｃｏｍｐｒｉｓｉｎｇ）」は、定まった特徴、統合、ステップ又は要素の存在を明記するために使われている。しかしながら、この用語は１又はそれ以上の追加の特徴、統合、ステップ又は要素又はそれらの群の存在又は追加を排除しない。
【００４９】
本明細書における先行技術の参照は、参照した先行技術がオーストラリアにおける共通の一般的知識の一部を形成することへの承認又はいかなる示唆ともみなさず、又は見なすべきではない。
【００５０】
本発明は図に記載された実施例に制限されず、請求項の範囲内において自由に変更することができる。
【図面の簡単な説明】
【００５１】
本発明は例として開示される好ましい実施例によって、及び添付図によって、しっかりと説明することができる。
【図１】図１は、提唱されるコンピュータシステムと相互作用するユーザの概観図を示している。
【図２】図２は、本発明の好ましい実施例による図１のディスプレイの詳細図を示している。
【図３】図３は、フロー図によって、本発明によってコンピュータシステムを制御する一般的な方法を図示している。
【図１】
0005510951.tif 000002
【図２】
0005510951.tif 000003
【図３】
0005510951.tif 000004