(57)【要約】ユーザの視線の注視点でビデオスクリーンポインタ（３０）を表示する視標追跡システム（１０）。本システムは、ユーザの目に焦点を合わせたカメラ（１４）と、ユーザの瞳孔に対するカメラの相対位置を固定するためのカメラに接続された支持体と、ＣＰＵ、メモリ、ビデオディスプレイスクリーン、視標追跡インタフェースおよびユーザーが選択可能なＲＧＢ閾値設定に基づいて目の画像のディジタル画素データを白黒のセクションにセグメント化し、セグメント化されたディジタルデータに基づいて目の中心を決定し、決定した目の中心をビデオスクリーン上の一対の座標にマッピングし、かつ注視点でビデオディスプレイスクリーン上にポインタを表示する、コンピュータ命令を有するコンピュータ（１６）とを備える。
2006516772.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの目のビデオ画像を獲得するためのカメラ手段と、
前記カメラ手段に接続されており、前記カメラ手段の相対的な物理的位置を固定するための、支持手段と、
前記カメラ手段に接続されており、前記ユーザの目のビデオ画像を受け入れ、前記ビデオ画像をディジタル画像に変換するための、ビデオディジタル化手段と、
前記ビデオディジタル化手段に電気的に接続されており、さらに、中央処理装置、メモリ、ビデオディスプレイスクリーン、視標追跡インタフェース、および前記メモリ内に格納された計算機可読のプログラムコード手段を含む、コンピュータ手段とを、備える、ユーザの視線の注視点を追跡する視標追跡システムにおいて、
前記コード手段がさらに、ディジタル画像内で前記ユーザの目の中心を決定するための、第１の命令手段と、前記ディスプレイスクリーン上の注視点に前記ユーザの目の決定された中心を関連づけるための、第２の命令手段と、
前記関連づけられたデータを受け入れ、かつ実質的に前記注視点に重なり合う前記ディスプレイスクリーン上の位置に、ディスプレイスクリーンポインタを置くための、第３の命令手段と、
目の動きによって作動するディスプレイスクリーンメニューを前記ユーザに提供するための、第４の命令手段と、
前記ディジタル画像用のＲＧＢ画素強度閾値を選択するための、第５の命令手段と、
前記ＲＧＢ閾値を識別子として使用して前記ディジタル画素データを第１および第２のグループとして２つの別々のバイナリグループに識別するための、第６の命令手段と、
前記識別した画素データおよび前記支持手段の軸方向の位置に従って実質的に前記目の中心の位置を決定するための、第７の命令手段とを備え、
それによって、前記視標追跡システムが、前記ユーザの視線の前記注視点で、ポインタを前記ビデオスクリーン上に位置を定め、コンピュータプログラム可能な活動を選択するための目の動きによる起動方法を前記ユーザに提供する、視標追跡システム。
【請求項２】
前記コード手段がさらに、
前記ユーザの目の中心の所定の位置に、ディスプレイスクリーン座標空間の実質的な部分を関連付けるマップをメモリに格納し、それによって前記ディスプレイスクリーンポインタの位置決めを容易にするための、第８の命令手段と、
目の動きを用いて前記ディスプレイスクリーンポインタの位置を微調整するための第９の命令手段と、
ユーザが視線を注視点にロックした時間の長さに基づいてユーザ定義動作を実行するための、第１０の命令手段とを備える、請求項１に記載のシステム。
【請求項３】
前記支持手段が、前記カメラに対して実質的に前記ユーザの目の位置を固定する、
請求項１に記載のシステム。
【請求項４】
前記支持手段上に配置され、それによって、前記ユーザの目の中心が照明される光源、
をさらに備える請求項１に記載のシステム。
【請求項５】
ユーザの目のビデオ画像を獲得するためのカメラ手段と、
前記カメラ手段に接続されており、前記カメラ手段の相対的な物理的位置を固定するための、支持手段と、
前記支持手段の軸方向の位置情報を獲得するコンパスおよび平衡検知手段と、
前記カメラ手段に接続されており、前記ユーザの目の前記ビデオ画像を受け入れ、前記ビデオ画像をディジタル画像に変換するための、ビデオディジタル化手段と、
前記ビデオディジタル化手段に電気的に接続されており、さらに、中央処理装置、メモリ、ビデオディスプレイスクリーン、視標追跡インタフェース、および前記メモリ内に格納された計算機可読のプログラムコード手段を含む、コンピュータ手段とを、備える、ユーザの視線の注視点を追跡する視標追跡システムにおいて、
前記コード手段がさらに、前記ディジタル画像囲内で前記ユーザの目の中心を決定するための、第１の命令手段と、
前記ディスプレイスクリーン上の注視点に前記ユーザの目の決定された中心と前記コンパスおよび平衡センサの軸方向の位置とを関連づけるための、第２の命令手段と、
前記関連づけられたデータを受け入れ、かつ実質的に前記注視点に重なり合う前記ディスプレイスクリーン上の位置に、ディスプレイスクリーンポインタを置くための、第３の命令手段と、
目の動きによって作動するディスプレイスクリーンメニューを前記ユーザに提供するための、第４の命令手段とを備え、
それによって、前記視標追跡システムが、前記ユーザの視線の注視点で、ポインタを前記ビデオスクリーン上に位置を定め、前記注視点と関連する動作を選択するための目の動きによる起動方法を前記ユーザに提供する、視標追跡システム。
【請求項６】
その上に具体化される計算機可読のプログラムコード手段を有するコンピュータ使用可能媒体において、前記計算機可読のプログラムコード手段が、
前記目の画像座標空間を選択するための第１の命令手段と、
前記選択された画像空間に対応するディジタル画素データのユーザにより選択された表記に従って、ＲＧＢ閾値を決定するための、第２の命令手段と、
前記ＲＧＢ閾値を識別子として使用して前記ディジタル画素データを第１および第２グループとして２つの別々のバイナリグループに識別するための、第３の命令手段と、
前記識別されたデータに従って前記画像空間内で前記目の中心の論理的位置を決定するための、第４の命令手段とを備える、コンピュータ使用可能媒体。
【請求項７】
前記コード手段がさらに、
前記目の画像座標空間のソースに対して水平および垂直位置情報を処理するための、第５の命令手段と、
前記ユーザの目の中心の論理的位置を前記画像空間から前記ビデオディスプレイの座標空間内の位置にマップするための、第６の命令手段と、
前記目の中心の決定された位置に対応するデータを受け入れてかつ前記ディスプレイスクリーン上の所定の位置に、カーソルを置くための、第７の命令手段と、
前記ディスプレイスクリーン上の前記カーソルの位置を微調整するための、第８の命令手段と、
ユーザが注視点に視線をロックする時間の長さを決定するための、第９の命令手段と、
ユーザが注視点に視線をロックする前記時間の長さに基づいて、ユーザ定義動作を実行するための、第１０の命令手段とを備える、請求項６に記載のコンピュータ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にコンピュータシステムおよび周辺装置に関する。より詳しくは、本発明はユーザの視線の方向を決定し、注視点にディスプレイポインタの位置を定め、かつユーザの目の動きを使用することによってコンピュータを制御するための視標追跡システムおよび方法である。
【背景技術】
【０００２】
視線制御装置が、コンピュータの動作を制御するために用いられてきており、より詳しくは、センサを使用して、目が注視点を見つめるとき、目の中心の位置を追跡し、ビデオスクリーン上のポインタの位置を定めるのに用いられている。
【０００３】
１９９４年にＴａｂｏａｄａその他に発行された米国特許番号５，３４５，２８１は、人の目の視線を追跡し、赤外線ビームの目からの反射を分析することによる、かつ、制御装置の手動の起動を必要とするコンピュータカーソル位置決め装置を開示している。１９９４年にＰａｎに発行された米国特許番号５，３６７，３１５は、手または足での起動による視線制御装置を開示している。これらの装置は、ハンズフリー環境を必要としているユーザにとってもあまり好都合でなく、また、身体的な障害があるユーザにとってもあまり好都合でない。
【０００４】
別のユーザ搭載装置が１９９６年にＧｅｒｈａｒｄｔ他に発行された米国特許番号５，４８１，６２２において開示されており、ヘルメット搭載のカメラと、ビデオスクリーンと、順にカメラに接続されるフレームグラバに接続されているコンピュータと、ビデオスクリーンに対するユーザの目の位置を調整し、かつユーザの視線で決定された位置でディスプレイスクリーン上のカーソルの形でユーザにフィードバックを提供するコンピュータプログラムとが開示されている。Ｇｅｒｈａｒｄｔのシステムは、ピクセル  イメージの属性に対する閾値を設定することによって決定されるディジタル画像のバイナリセグメント化によってユーザの目の中心を決定する。ディジタル化されたビデオ信号の閾値レベルをエンコードするこの方法は、さらに、１９８７年にＦｒｉｅｄｍａｎ他に発行された米国特許番号４，６４８，０５２において指標追跡通信システムとして開示されている。さらに他のヘッドマウント式視線感知装置がＥｂｅｒｉ他による米国特許出願番号２００２／０１０１５６８に開示されており、それは、信号入力装置、無線通信装置および出力装置を含んでいる。
【０００５】
いくつかの状況においてユーザ搭載のカメラが重荷とみなされる可能性があるとはいえ、注視点を見つめることに関係なく、ユーザが活発に頭部または身体を動かしている時は、遠隔搭載の追跡装置はふさわしくない。Ｈｕｔｃｈｉｎｓｏｎに発行された米国特許番号４，８３６，６７０、４，９５０，０６９、および４，９７３，１４９は、ユーザの視線の動きによって、コンピュータスクリーンまたはディスプレー上のカーソルの動きを制御するだけでなく、さらに、起動または選択が、ユーザが所定の時間、所望の起動領域にとどまるか、見つめるか、または凝視することによって達成されるユーザから遠隔の視線によるマウス装置を開示している。さらに、この種の装置の例は、１９９８年にＴｏｇｎａｚｚｉｎｉに発行された米国特許番号５，８５０，２１１に見られ、これは、ビデオ端末の上部に搭載された指標追跡により駆動されるスクロール装置を開示している。また、２００１年にＤｅＬｕｃａに発行された米国特許番号６，２１５，４７１にも見られ、これは、ディスプレイ端末に搭載されユーザの顔面に照準を定められた、カメラによって制御されるコンピュータポインタを開示しており、さらに、ユーザが片方または両方の目を閉じることによる制御装置の選択も開示している。
【０００６】
この限界を補正する試みが、Ｌｅｍｅｌｓｏｎ他による米国特許出願番号２００２／０１０５４８２に開示されており、ここにおいては、ジンバルを備えたセンサーシステムが、固定ディスプレイ端末に搭載されたサーボ機構を組み込み、ユーザの頭部および目の動きを追跡する。しかし機械的装置は、それ自体で制約となり、すべてのアプリケーションに対して適切であるというわけではない。
【０００７】
他の視標追跡装置は、ユーザの目に焦点を合わせた視線センサを使用して網膜上の反射光によって生成された画像を見てユーザの視線の方向を決定する。このような装置は、２００２年にＭｏｒｒｉｓｏｎ他に発行された米国特許番号６，３９４，６０２に開示されている。
【０００８】
別の視線追跡装置が、１９９５年にＲａｇｌａｎｄに発行された米国特許番号５，４７１，５４２に開示されており、ユーザの目に照準を定めたビデオカメラで、虹彩の楕円によって形成されるディジタル画像を分析し、目の強膜と虹彩の間の境界を異なる光の強さによって表すようにしていることがポイントである。
【０００９】
更なる視標追跡装置が、１９９４年にＳｐｉｔｚｅｒ他に発行された米国特許番号５，３３１，１４９に開示されており、ユーザの目から反射した光を検出する光検出素子アレイを使用するシステムを参照している。
【００１０】
別の画像ピックアップ装置が、２００１年にＳｕｄａに発行された米国特許番号６，３８８，７０７に開示されており、赤外線光源および電荷結合検出器を備えた距離測定が可能なシステムを参照している。
【００１１】
上記発明および特許のいずれも、単独でまたは組み合わせて考慮しても、請求されているように本発明を記述するものはなんら見られない。したがって、上述した問題を解決する、目の動きによって作動するコンピュータ−ポインティング装置が、要求されている。
【発明の開示】
【００１２】
本発明は、ユーザの視線の注視点を追跡する視標追跡システムである。このシステムは、ユーザの目のビデオ画像を獲得するためのカメラ手段を含む。支持手段が、カメラ手段へ接続されている。支持手段は、カメラ手段の相対的な物理的位置を固定する。ビデオディジタル化手段が、カメラ手段へ接続されている。ビデオディジタル化手段は、ユーザの目のビデオ画像を受け入れ、ビデオ画像をディジタル画像に変換する。コンピュータ手段が、ビデオディジタル化手段に電気的に接続されている。コンピュータ手段は、中央処理装置、メモリ、ビデオディスプレイスクリーン、視標追跡インタフェース、およびメモリ内に格納された計算機可読のプログラムコード手段を含む。このコード手段は、ディジタル画像内でユーザの目の中心を決定するための第１の命令手段を有する。第２の命令手段が、ディスプレイスクリーン上の注視点にユーザの目の決定された中心を関連づける。第３の命令手段が、関連づけられたデータを受け入れ、かつ実質的に注視点に重なり合うディスプレイスクリーン上の位置に、ディスプレイスクリーンポインタを置く。第４の命令手段が、目の動きによって作動するディスプレイスクリーンメニューをユーザに提供する。第５の命令手段が、ディジタル画像用のＲＧＢ画素強度閾値を選択する。第６の命令手段が、ＲＧＢ閾値を識別子として使用してディジタル画素データを第１および第２のグループとして２つの別々のバイナリグループに識別する。第７の命令手段が、識別した画素データおよび支持手段の軸方向の位置に従って実質的に目の中心の位置を決定する。この視標追跡システムは、ユーザの視線の注視点で、ポインタをビデオスクリーン上に位置を定め、コンピュータプログラム可能な活動を選択するための目の動きによる起動方法をユーザに提供する。
【００１３】
本発明の別の実施態様は、ユーザの視線の注視点を追跡する視標追跡システムである。このシステムは、ユーザの目のビデオ画像を獲得するためのカメラ手段を含む。支持手段が、カメラ手段に接続されており、カメラ手段の相対的な物理的位置を固定する。コンパスおよび平衡検知手段が、支持手段の軸方向の位置情報を獲得する。ビデオディジタル化手段が、カメラ手段へ接続されており、ユーザの目のビデオ画像を受け入れ、ビデオ画像をディジタル画像に変換する。コンピュータ手段が、ビデオディジタル化手段とコンパスおよび平衡検知手段とに電気的に接続されている。コンピュータ手段は、中央処理装置、視標追跡インタフェース、メモリ、ビデオディスプレイスクリーン、およびメモリ内に格納された計算機可読のプログラムコード手段を含む。コード手段は、ディジタル画像内でユーザの目の中心を決定するための第１の命令手段を有する。
第２の命令手段が、ディスプレイスクリーン上の注視点にユーザの目の決定された中心とコンパスおよび平衡センサの軸方向の位置とを関連づける。第３の命令手段が、関連づけられたデータを受け入れ、かつ実質的に注視点に重なり合うディスプレイスクリーン上の位置に、ディスプレイスクリーンポインタを置く。第４の命令手段が、目の動きによって作動するディスプレイスクリーンメニューをユーザに提供する。視標追跡システムは、ユーザの視線の注視点で、ポインタをビデオスクリーン上に位置を定め、注視点と関連する動作を選択するための目の動きによる起動方法をユーザに提供する。
【００１４】
また、本発明の一部は、実施化される計算機可読のプログラムコード手段を有するコンピュータ使用可能媒体である。計算機可読のプログラムコード手段は、目の画像座標空間を選択するための第１の命令手段を含む。第２の命令手段が、選択された画像空間に対応するディジタル画素データのユーザにより選択された表記に従って、ＲＧＢ閾値を決定する。第３の命令手段が、ＲＧＢ閾値を識別子として使用してディジタル画素データを第１および第２のグループとして２つの別々のバイナリグループに識別する。第４の命令手段が、識別されたデータに従って画像空間内で目の中心の論理的位置を決定する。本開示は、本発明の原理の例示であって、本発明を例示の実施例に限定するものではない。
【本発明の最良の実施形態】
【００１５】
本発明は、目の動きを追跡し、ユーザの注視点でポインタをビデオスクリーンに置き、選択可能なユーザー動作のメニューを置き、かつ上述した動作の選択が所定の時間注視点に目の視線をロックすることに基づく、システムと方法である。この視標追跡システムは、ディスプレイスクリーン上の位置に対するユーザの目の位置に基づいて、ユーザの視線の注視点を決定し、目のビデオ画像を獲得するカメラと、カメラの支持体と、カメラからアナログビデオデータを受け入れ、かつ変換し、かつアナログデータをディジタル画素データに変換するためのカメラに接続された視標追跡インタフェースと、カメラからのディジタルデータを処理するインタフェースに接続されたコンピュータと、ディジタル化画像の画素強度の分析によってユーザの視線の位置を決定する専門のコンピュータソフトウェアとを備える。（カメラは、もちろん、モノクロまたはカラーフィルムを使用してもよく、あるいは、ディジタルカメラでもよい。）コンピュータは、ディスプレイスクリーン上に位置を定められ、かつ、ユーザの視線の点に位置を定められるポインタの形でユーザにフィードバックを与え、かつ、ユーザが注視点上に視野をロックする時間の長さに基づいてコンピュータ動作を実行する機能をユーザに与える。このシステムは、カメラの軸方向の位置を決定するための、カメラに隣接して搭載する追加のセンサを含んでいてもよく、また、実際、注視点が変化しなかった場合に、それによって、感知された目の動きを補正してもよい。ユーザ塔載センサ、視標追跡インタフェースおよびコンピュータは、有線または無線手段によって通信してもよい。本発明は、多くの形式の実施形態が可能である。
【００１６】
図１Ａに示すように、視標追跡システム１０は、ユーザの目に対してカメラ１４の位置を実質的に固定する一組の眼鏡１３上に搭載されるカメラ１４を有する視標追跡入力装置１２を備える。カメラは、電荷結合素子（ＣＣＤ）またはＣＭＯＳビデオカメラであってもよく、両方の技術とも当該の技術における当業者に周知である。カメラは、ディジタル化された画像データのディジタル化および処理のためのコンピュータ１６に電気的に結合されている。コンピュータ１６は、ユーザの目の中心を決定し、ユーザの視線の注視点でビデオスクリーン１８上にカーソル３０を表示する。図１Ｂは、視標追跡システムの別の実施態様を示し、コンピュータ１６に結合された受信機２４にカメラ１４によって受信されたディジタルデータを伝送する無線送信機２２を有する。
【００１７】
図２のブロック図に示すように、視標追跡システム１０は、ディスプレー１８、キーボード２０、標準のコンピュータマウス２６、メモリ３４、ＣＤリーダ３６、フロッピーディスクドライブ３８およびＣＰＵ３２を有する、任意のタイプの周知のコンピュータのアーキテクチャを有する。視標追跡入力装置１２および視標追跡インタフェース４４は、ユーザに標準マウス２６の代替または補助を提供するために動作する。視標追跡インタフェース４４は、カメラ１４によって伝送されたユーザの目のアナログビデオ画像をディジタル化するために動作し、かつ、コンピュータメモリ３４に格納されたプログラム命令コードに入力を与える。視標追跡インタフェースは、従来技術において知識のある人々に公知でありかつ利用可能ないくつかのフレームグラビング製品の一つとしてよい。視標追跡アルゴリズムを実施するプログラム命令コードは標準のコンピュータで読み出し可能な媒体上へ記録され、かつＣＤリーダ３６またはフロッピーディスクドライブ３８を用いてメモリ３４に読みとられる。また、プログラム命令コードは、通信ポート４２経由で別のコンピュータから直接に読みとってもよい。
【００１８】
図３Ａに示すように、視標追跡入力装置は、ユーザの目５０に向いたカメラ１４付きの眼鏡フレーム１３またはゴーグル、および画像デジタイザにビデオ画像を伝送するケーブル２８を備える。
【００１９】
図３Ｂに示すように、視標追跡入力装置１２の代替実施例は、カメラの軸方向への動きを測定するためのコンパスおよび平衡センサ５７、５６を有する。コンピュータに伝送された軸方向の位置情報は、スタートアップ後のユーザの目に対するカメラ、スクリーン、または両方の不慮の動きによる補正をすることができる。コンピュータに容易に接続するミニチュアコンパスセンサは、当業者にとって公知であり、かつ、Ｄｉｎｓｍｏｒｅ  Ｉｎｓｔｒｕｍｅｎｔ  Ｃｏｍｐａｎｙ  によって製造されるモデル１５２５コンパスセンサを含む。Ｄｉｎｓｍｏｒｅセンサは、任意の程度の精度にデコードすることが可能な連続的アナログ信号を出力する。基本変換器は、１回転が、直流電圧に重畳された１つの完全な正弦波および余弦波を作成するようにして、全出力電圧が、任意の位置に対する両方の出力でいつも正となるようにする。正弦波および余弦波出力は、線形回路およびディジタル回路を一緒に併用して処理し、９０度位相を異にする２つの矩形波出力を与えることができる。より高い分解能のための処理は、適切な割合の２つの主正弦波信号の適切な組合せによって異なる角度の追加の正弦波を発生させることが必要である。これらの正弦波は、最初に矩形波に変換され、かつ、追加のディジタル論理回路が、異なる位相でこれらの複数の矩形波の適切な組合せで２つの矩形波だけを発生させる。波形出力の単一の対は、１０マイクロメートルの分解能を与えることが可能である。必要とされる矩形波の対の数は、特定の環境に対する分解能要件につき、決定されてもよい。コンパスセンサおよび平衡センサは、同じ基本センサを用いており、コンパスセンサは磁気装置を用い、平衡センサは振り子を用いている。
【００２０】
ユーザの目が瞳孔を区別するには不十分に照明されている状況に対して、図３Ｃにおいて示される光源１５を、目を照明するために眼鏡に搭載してもよい。アプリケーションに応じて、使用することができる光源には、白熱光、光ファイバーケーブルを通しての照明、可視光ＬＥＤおよび赤外線光ＬＥＤが含まれる。しかし、ＣＣＤビデオカメラが赤外線照明に極めて敏感であるので、赤外線ＬＥＤを光源として用いることが好ましい。
赤外線光がユーザに可視でないので、赤外線ＬＥＤはさらに有用である。
【００２１】
図８のフローチャートは、視標追跡プログラム命令コードによって実行される高水準処理を示す。スタートアップ９０の際に、プログラムは、図４−７に示すように初期化フェーズ９２に入り、対話型のフォームが、ビデオスクリーンに表示される。図４は、カメラ１４による捕捉および視標追跡インタフェース４４によるディジタル化に続いて現れるユーザの目の典型的なディジタルピクセル  イメージ５８を表示する。図４を参照して、瞳孔５２、虹彩５３およびシャドウ領域５４は、目５０の範囲内で可視である。
【００２２】
図５に示すように、閾値設定フォーム６４は、ユーザが矩形ウィンドウ６６内に画像を発生させるために用いられる最適ＲＧＢ閾値設定値を選択するための入力手段７１を提供する。その画像はディジタル画像５８を黒または白画素グループにセグメント化した結果である。ユーザ制御７０、７２、７４，７５および７６は、矩形ウインドウ６６内に出現する画像５８の部分を選択する。画像５８内の画素の３つのＲＧＢ強度レベルのいずれかが、所望の閾値より高い時、ウィンドウ６６内の対応する画素は、白グループにセグメント化される。３つのＲＧＢ数値のすべてがＲＧＢ閾値レベル未満である時にのみ、ウィンドウ６６内の対応する画素は、黒に設定される。ユーザは瞳孔の明瞭さに基づいて各ＲＧＢレベルの閾値を選択し、図６に示すように、ＲＧＢ閾値設定値（６５，６５，６５）が、瞳孔５２の明瞭さを損なわずにＲＢＧ設定値（１００，１００、１００）によって取り込まれた、図５に見えるシャドウ領域６７を除去する。
【００２３】
一度、ユーザが最適ＲＧＢ閾値設定値を選択すると、瞳孔の中心は、実質的に全ディスプレイスクリーン領域に対するディスプレイスクリーン座標空間にマップされる。このマッピングデータは、ファイルに書き込まれ、メモリ３４内に格納される。ファイルは、異なるフォーマット内にまたは異なるコンピュータ内に格納することができる。しかし、本発明において、ファイルは、各行が２対の座標を持つ多数の行を有するテキストファイルに格納され、第１の対は目の画像のディジタル表記によって定まる、瞳孔の中心の論理的位置を示し、および第２の対はユーザが見つめている可動カーソルの座標を示している。マッピングデータは、図７に示すように目−スクリーンマッピングフォーム８０を用いて生成される。カーソルは、初期位置８２で始め、最終位置８４で終える全ビデオスクリーンを横断するような方法で動き、カーソルは、任意の一つの位置におおよそ２００ミリ秒とどまる。スクリーン上の各位置で、プログラムは、ＲＧＢ閾値設定によって定まる目のピクセル  イメージのディジタル表記によって定義される画像座標空間内で瞳孔の中心の座標を決定する。ユーザにより選択された２００画素×２００画素のディジタル目画像に基づいて、プログラムは、各位置が黒色のグループまたは白色のグループに対応する「１」または「０」を有する２００×２００のアレイを処理する。左から右に始めて、プログラムは、１行内の３つの黒色の部分の最初の出現を検出することによって瞳孔の最も左の境界を決定する。プログラムは、瞳孔の左、右、最上部および最下部境界線に対してこの分析を実行し、かつこれらの数値に基づいて、このように形成される矩形の中央を単に見つけ出すことによって瞳孔の中心の座標を決定する。このように形成される初期化ファイルは、マップされたスクリーンの座標と同じだけの行数を有する。
【００２４】
「ＺＲｅｐｅａｔ」７８制御の選択の際に、プログラムは、図８に示すように初期化フェーズ９２を出て、かつ、視線追跡フェーズ９４に入り、ＣＰＵ３２のバックグラウンドモードで走らせて、新しい目の位置を１秒間に５回計算する。追跡頻度は、より速くてもよくまたはより遅くてもよいが、本発明は実験に基づく最適値として５回／秒を選択している。プログラム命令コードは、瞳孔の中心の直近の３つの位置情報を追跡し、保持し続ける。各サンプリングの後、新しい位置は、最近の３つの位置と比較され、それが任意の方向において一定の閾値を超えるならば、ポインタは、９６−１０２に従って配置される。
【００２５】
いつでも、またはポインタの位置が注視点１０４に重なり合わないならば、ユーザは、所定の時間（現在１秒に設定されている）視線をロックし、そして次に、ユーザがポインタを動かしたい終点の位置をすばやくちらっと見ることによって微調整モード１０６に入ることができる。この時点で、ソフトウェアは必要とされる方向に４０ミリ秒ごとに少ない刻みでポインタを動かす。同時に、図９にて図示したように、プログラムはディスプレー上の注視点の反対側の位置にポップアップメニュー１１４を表示する。ユーザは、次いで所望の動作ボタンに視線をロックし、新しい注視点にポインタ１１２を動かし、ユーザが「クリック」を望む以前の注視点を依然として記憶する。一度、ポインタ１１２が選択する意図された動作に重なり合うと、ユーザは、動作領域を見つめることの結果として、またはまばたきすることによって動作１０８を選択する。ユーザの目のまばたきは、目の領域では著しく減少する「暗い」部分の密度として容易に識別される。動作１０８の選択は、また、例えばキーボード上の「Ｅｎｔｅｒ」キーを押すなどの他の手段によって、または音声命令に応答するように構成された音声認識プログラムによって達成してもよい。ポインタ１１２は、より敏感な人間−機械インタフェースを提供する微調整モードで「十字カーソル」または他の視覚インジケータを形成するようプログラムされてもよい。微調整モード１０６は、まばたき、注視またはメニューの別のボタン、の様々な組合せによって任意の所定の時点で中止させてもよい。さらに、微調整モード１０６は、微調整だけものであり、所望の動きが所定の距離または所定の不活動の時間を上回るならば中止される。
【００２６】
本発明の好ましい実施例は、ユーザの目の動きを追跡するためのシステムを提供し、かつビデオスクリーン上の特定の位置に対してその位置を関連づけ、ユーザの目に焦点を合わせるカメラ、ＣＰＵ、メモリ、ビデオスクリーン、視標追跡インタフェース、メモリ内に格納される計算機可読のプログラムコード手段、および別のコンピュータからまたはその上に具体化された計算機可読のプログラムコード手段を有するコンピュータが使用可能な媒体からメモリ内へ計算機可読のプログラムコードを読みとるための手段、を含む。コンピュータによって実行される処理はカーソルをビデオスクリーン上の注視点に実質的に重なり合うポイントに置くための微調整機能、およびコンピュータ動作を選択するための視線による起動方法を含んでもよい。システムは、システムの較正の後、ユーザの目に対する、ビデオスクリーン、カメラまたは両方の意図的でない動きを補正する方法を含んでもよい。システムは、カメラの軸方向の位置を決定し、それによって注視点が変化しなかった場合、不慮の目の動きを補正するための追加のユーザ塔載センサを含んでもよい。視標追跡コンピュータのポインティングデバイスは、従来の手に持つコンピュータマウスを置換するかまたは補うことができる。この装置は、また、ビデオゲーム業界の「ジョイスティック」の代わりとなることもできる。このシステムは、標準コンピュータキーボードの置換えとして、仮想キーボードを提供することができる。このシステムは、また、障害者がビデオスクリーンおよび通信ポートを有する任意のコンピュータ制御の装置を制御するための有用なインタフェースを提供することができる。
【００２７】
本発明は上記した実施態様に限定されるものではなく、以下の請求項の範囲内のいかなる実施形態を包含すると理解されたい。
【図面の簡単な説明】
【００２８】
【図１Ａ】本発明に従う視線追跡システムの周囲の斜視図。
【図１Ｂ】追跡入力装置がコンピュータとの無線通信をする本発明の代替実施態様。
【図２】図１Ａに従う本発明のシステムブロック図。
【図３Ａ】本発明に従うカメラおよび支持手段の透視図。
【図３Ｂ】本発明に従うカメラ、姿勢センサおよび支持手段の透視図。
【図３Ｃ】赤外線光源が支持手段上に搭載される本発明の代替実施例。
【図４】本発明に従う目の画像およびカメラ画像の矩形の境界。
【図５】１組のＲＧＢ閾値を有する閾値設定フォームの、コンピュータディスプレー。
【図６】図５より少ない値の１組のＲＧＢ閾値を有する閾値設定フォームのコンピュータディスプレー。
【図７】本発明に従う目−スクリーンマッピングフォームのコンピュータディスプレー。
【図８】本発明に従う視線追跡システムの動作を示すフローチャート。
【図９】本発明に従うユーザ選択メニューを示す画面表示。同様の参照符号は、添付の図面の全体にわたって一貫して対応する機能を示す。
2006516772.tif 000003
2006516772.tif 000004
【図２】
2006516772.tif 000005
2006516772.tif 000006
2006516772.tif 000007
2006516772.tif 000008
【図４】
2006516772.tif 000009
【図７】
2006516772.tif 000010
【図８】
2006516772.tif 000011
【図９】
2006516772.tif 000012
【図５】
2006516772.tif 000013
【図６】
2006516772.tif 000014
【国際調査報告】
2006516772.tif 000015