(57)【特許請求の範囲】
【請求項１】
ディスプレイに表示させた情報を用いてユーザが所定の情報処理を行うための情報処理手段とともに用いられ、ユーザの視線を追跡するためのユーザ・インタフェース・システムであって、
感度領域を有する視線追跡センサと、
ユーザの画像を取得するカメラと、
前記視線追跡センサによる検出に基づいて前記視線追跡センサから前記ユーザまでの距離の情報を生成する感知手段と、
前記ユーザが前記所定の情報処理を行うための前記ディスプレイ上に表示された作業領域内あるいはその近辺に、前記ユーザの画像の少なくとも一部を表示する表示手段と、
前記距離の情報に基づいて、前記ユーザが前記視線追跡センサから最適位置に位置する場合、前記ユーザが前記最適位置に位置しない場合と比較して、前記ユーザの画像が鮮明となるように、前記ユーザの画像を調整する画像調整手段と、
を備えることを特徴とする、感知機能を備えたユーザ・インタフェース・システム。
【請求項２】
前記視線追跡センサが、前記ユーザの動きを追跡する第２カメラを含むことを特徴とする、請求項１に記載のシステム。
【請求項３】
前記ユーザの画像の少なくとも一部が、前記作業領域内あるいはその近辺の背景上に表示されることを特徴とする、請求項１又２に記載のシステム。
【請求項４】
前記ユーザの画像の少なくとも一部が、前記作業領域内あるいはその近辺の前景又はオブジェクト上に表示されることを特徴とする、請求項１又２に記載のシステム。
【請求項５】
前記ユーザの画像の少なくとも一部が、前記ディスプレイの画面の背景上に表示されることを特徴とする、請求項１又２に記載のシステム。
【請求項６】
前記ユーザの画像の少なくとも一部が、前記ディスプレイの画面の前景上に表示されることを特徴とする、請求項１又２に記載のシステム。
【請求項７】
前記画像調整手段は、前記視線追跡センサの前記感度領域に基づいて、前記ユーザの画像をトリミングすることを特徴とする、請求項１〜６の何れか１項に記載のシステム。
【請求項８】
前記視線追跡センサが、前記カメラとは異なる角度で前記ユーザに向けられることを特徴とする、請求項１〜７の何れか１項に記載のシステム。
【請求項９】
ディスプレイに表示させた情報を用いてユーザが所定の情報処理を行う情報処理手段とともに用いられ、ユーザの視線を追跡するためのユーザ・インタフェースの表示方法であって、
ａ．感度領域を有する視線追跡センサが、前記視線追跡センサから前記ユーザまでの距離を生成するための情報を取得することと、
ｂ．カメラが、前記ユーザの画像を取得することと、
ｃ．感知手段が、前記取得された情報に基づいて前記視線追跡センサから前記ユーザまでの距離の情報を生成することと、
ｄ．表示手段が、前記ユーザが前記所定の情報処理を行うための前記ディスプレイ上に表示された作業領域内あるいはその近辺に、前記ユーザの画像の少なくとも一部を表示することと、
ｅ．画像調整手段が、前記距離の情報に基づいて、前記ユーザが前記視線追跡センサから最適位置に位置する場合、前記ユーザが前記最適位置に位置しない場合と比較して、前記ユーザの画像が鮮明となるように、前記ユーザの画像を調整すること、
を含むことを特徴とする、ユーザの動きを使用するユーザ・インタフェースの表示方法。
【請求項１０】
前記視線追跡センサが、動作追跡を行うカメラを含み、前記ユーザに関する情報が、前記ユーザの動きを示すことを特徴とする、請求項９に記載の方法。
【請求項１１】
前記ユーザの画像の少なくとも一部が、前記作業領域内あるいはその近辺の背景上に表示されることを特徴とする、請求項９又１０に記載の方法。
【請求項１２】
前記ユーザの画像の少なくとも一部が、前記作業領域内あるいはその近辺の前景又はオブジェクト上に表示されることを特徴とする、請求項９又１０に記載の方法。
【請求項１３】
前記ユーザの画像の少なくとも一部が、前記ディスプレイの画面の背景上に表示されることを特徴とする、請求項９又１０に記載の方法。
【請求項１４】
前記ユーザの画像の少なくとも一部が、前記ディスプレイの画面の前景上に表示されることを特徴とする、請求項９又１０に記載の方法。
【請求項１５】
前記感度領域に基づいて、前記ユーザの画像をトリミングすることを更に含むことを特徴とする、請求項９〜１４の何れか１項に記載の方法。
【請求項１６】
ディスプレイに表示させた情報を用いてユーザが所定の情報処理を行う情報処理手段とともに用いられ、ユーザの視線を追跡するためのユーザ・インタフェースの表示のためのコンピュータプログラムであって、コンピュータに、
ａ．感度領域を有する視線追跡センサを用いて、前記視線追跡センサから前記ユーザまでの距離を生成するための情報を取得することと、
ｂ．カメラを用いて、前記ユーザの画像を取得することと、
ｃ．感知手段を用いて、前記取得された情報に基づいて前記視線追跡センサから前記ユーザまでの距離の情報を生成することと、
ｄ．表示手段を用いて、前記ユーザが前記所定の情報処理を行うための前記ディスプレイ上に表示された作業領域内あるいはその近辺に、前記ユーザの画像の少なくとも一部を表示することと、
ｅ．画像調整手段を用いて、前記距離の情報に基づいて、前記ユーザが前記視線追跡センサから最適位置に位置する場合、前記ユーザが前記最適位置に位置しない場合と比較して、前記ユーザの画像が鮮明となるように、前記ユーザの画像を調整することと、
を含むユーザの画像の少なくとも一部を表示させる処理を実行させるためのプログラム。
【請求項１７】
前記画像調整手段は、前記ユーザが前記最適位置に位置する場合、前記ユーザの画像が最も鮮明となり、前記ユーザが前記最適位置しない場合、前記ユーザの画像が消えるように、前記ユーザの画像を調整することを特徴とする、請求項１〜８の何れか１項に記載のシステム。
【請求項１８】
前記画像調整手段は、前記ユーザが前記最適位置に位置する場合、前記ユーザの画像が原色となり、前記ユーザが前記最適位置に位置しない場合、前記ユーザの画像の色が最大１色となるように、前記ユーザの画像を調整することを特徴とする、請求項１〜８の何れか１項に記載のシステム。
【請求項１９】
前記画像調整手段は、前記ユーザが前記最適位置に位置する場合、前記ユーザの画像が最も鮮明となり、前記ユーザが前記最適位置しない場合、前記ユーザの画像が消えるように、前記ユーザの画像を調整することを特徴とする、請求項９〜１５の何れか１項に記載の方法。
【請求項２０】
前記画像調整手段は、前記ユーザが前記最適位置に位置する場合、前記ユーザの画像が原色となり、前記ユーザが前記最適位置に位置しない場合、前記ユーザの画像の色が最大１色となるように、前記ユーザの画像を調整することを特徴とする、請求項９〜１５の何れか１項に記載の方法。
【請求項２１】
前記画像調整手段を用いて、前記ユーザが前記最適位置に位置する場合、前記ユーザの画像が最も鮮明となり、前記ユーザが前記最適位置しない場合、前記ユーザの画像が消えるように、前記ユーザの画像を調整することを特徴とする、請求項１６に記載のプログラム。
【請求項２２】
前記画像調整手段を用いて、前記ユーザが前記最適位置に位置する場合、前記ユーザの画像が原色となり、前記ユーザが前記最適位置に位置しない場合、前記ユーザの画像の色が最大１色となるように、前記ユーザの画像を調整することを特徴とする、請求項１６に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広く、ユーザ・インタフェースに関し、より具体的には、感知機能を備えたユーザ・インタフェースに関し、また、反射型ユーザ・インタフェースにも関する。即ち、本発明は、感知機能を備えたユーザ・インタフェース・システム、ユーザの動きを感知してフィードバックをユーザ・インタフェースに表示する方法、及び、プログラムに関する。
【背景技術】
【０００２】
様々なセンサが、コンピュータ及び計算装置（例えば、携帯電話）のユビキタス部分となってきている。しかしながら、様々なセンサから収集される情報を十分に活用するには、ユーザがそのセンサの範囲内にいる必要がある。センサからのデータが入力装置として用いられる場合、センサからの信頼できる信号が不可欠である。今日、コンピュータ入力に最も一般的に用いられている感知技術は、視線追跡である。
【０００３】
視線追跡は、障害のあるユーザにとって、又は、既存の入力方法を補足するものとして、特に、マウスが適していない場合、又は、ユーザの手が既にふさがっている場合、有望なコンピュータ入力技法である。しかしながら、視線追跡は、多くの要素（例えば、光条件、ユーザの眼の特徴、ターゲット（即ち、眼）が視線追跡装置の視野内にあるかどうか）に対して敏感である。視線追跡装置の動作に影響を及ぼすこれらの要素の中には、制御可能なものもあり、例えば、光条件は安定させておくことができる。一方、例えば、ユーザの眼の特徴のような、制御不可能なものもある。
【０００４】
視線追跡の初期段階から、ユーザを視野内に保持することが問題であった。バイト・バー(bite bar)や顎載せのような解決法が、今日でも使用されている早期解決法であり、例えば、ＳＲリサーチ社(SR Research Ltd.)は、図１に示されており且つ下記の非特許文献１に記載されているような、顎載せ１０１が組み込まれた視線追跡装置（EyeLink 1000）１００を販売している。この装置１００は、顎載せ１０１に加えて額当て１０７を用い、ユーザの眼を視線追跡装置の視野内に固定する。この装置１００のその他の構成要素としては、眼の動きの画像（ビデオ）を撮影するのに用いられる１０００Ｈｚの赤外線カメラ１０６、眼選択ノブ１０８、赤外線照射器１０５、外部光遮蔽板１０４、及び、反射鏡角度調整具１０３を備えた赤外線反射鏡１０２がある。
【０００５】
別の解決法として、例えばＳＭＩ(SensoMotoric Instruments)社から市販されているiViewのような、頭部装着型の視線追跡装置がある。しかしながら、例えばこのＳＭＩ社からのiViewのような軽量の解決法であっても、ユーザはコンピュータに属す必要がある。この方法は、ユーザの視野がカメラによって記録され、視線情報はこの記録に関連するため、視線追跡をコンピュータ入力装置として用いる場合には、好ましくない。コンピュータ・スクリーン上のどこをユーザが見ているのか正確に調べるには、ユーザのビデオ・ストリームをビデオ分析する必要がある。視線追跡装置の中には、ユーザが制限範囲内で頭を動かしてもよいものもある。このような装置は、通常、テーブル取り付け型の視線追跡装置である。図２は、当業者にはよく知られている最新式の市販されている視線追跡装置、即ち、トビー(Tobii)の視線追跡装置で可能な、ｘ軸及びｙ軸における視野域２０１を示している。
【０００６】
ユーザを視線追跡装置の視野内に維持するという問題に関して、多くの研究が行われてきた。解決法は様々であるが、移動カメラを含むシステムを用いるのが最も一般的である。このようなシステムの１つが、下記の非特許文献２に記載されている。移動カメラを用いるこのような技法は、ＬＣテクノロジー社(LC Technology, Inc.)によって開発された市販の視線追跡装置においてすぐに利用可能となるであろう。しかしながら、これらの視線追跡装置は、高価格であるため、研究所の外の市場には参入できない可能性がある。当業者には当然のことながら、低価格で、特に実施しやすい解決法が好ましい。
【０００７】
ユーザを視線追跡装置の視野内に保持する別の解決法として、ユーザに自分が視線追跡装置の視野内にいるかどうかを意識させるものがある。１つの方法としては、スクリーン上にユーザの視線位置を表示する。この方法は、視線追跡を入力方法として用いる場合によく行われる。しかしながら、この方法は、決して最適な方法ではない。眼の動きは非常に過敏であるため、視線カーソルは絶えずジャンプすることとなる。また、この視線カーソルは、ユーザに、視線追跡装置によってより正確に追跡されるように調整する方法を信号で伝えるわけではない。別の方法としては、別のウィンドウに、カメラの視野又はカメラの視野表現を示す。しかしながら、この方法では、ユーザはこのウィンドウに目を配る必要があり、これによって、ユーザとコンピュータとの自然なインタラクションが妨げられる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】「アイリンク(EyeLink)」、[online]、ＳＲリサーチ社(SR Research Ltd.) 、[平成21年2月20日検索]、インターネット<URL: http://www.eyelinkinfo.com/index.php>
【非特許文献２】ベイマー・ディー(Beymer D.)及びフリックナー・エム(Flickner M.)、「能動的ステレオ・ヘッドを用いる視線追跡(Eye gaze tracking using an active stereo head)」、２００３年におけるＩＥＥＥコンピュータ・ソサエティのコンピュータ・ビジョンとパターン認識に関する会議の議事録(Proceedings of 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition)、２００３年、ｐ．４５１−４５８
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の手法は、ユーザの動きを追跡する従来の技法に関する上記の及びその他の問題のうちの１つ以上を実質的に取り除く方法、システム及びプログラムに関する。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明の感知機能を備えたユーザ・インタフェース・システムは、ディスプレイに表示させた情報を用いてユーザが所定の情報処理を行うための情報処理手段とともに用いられ、ユーザの視線を追跡するためのユーザ・インタフェース・システムであって、感度領域を有する視線追跡センサと、ユーザの画像を取得するカメラと、前記視線追跡センサによる検出に基づいて前記視線追跡センサから前記ユーザまでの距離の情報を生成する感知手段と、前記ユーザが前記所定の情報処理を行うための前記ディスプレイ上に表示された作業領域内あるいはその近辺に、前記ユーザの画像の少なくとも一部を表示する表示手段と、前記距離の情報に基づいて、前記ユーザが前記視線追跡センサから最適位置に位置する場合、前記ユーザが前記最適位置に位置しない場合と比較して、前記ユーザの画像が鮮明となるように、前記ユーザの画像を調整する画像調整手段と、を備えることを特徴とする。
【００１１】
請求項９に記載の発明のユーザの動きを使用するユーザ・インタフェースの表示方法は、ディスプレイに表示させた情報を用いてユーザが所定の情報処理を行う情報処理手段とともに用いられ、ユーザの視線を追跡するためのユーザ・インタフェースの表示方法であって、ａ．感度領域を有する視線追跡センサが、前記視線追跡センサから前記ユーザまでの距離を生成するための情報を取得することと、ｂ．カメラが、前記ユーザの画像を取得することと、ｃ．感知手段が、前記取得された情報に基づいて前記視線追跡センサから前記ユーザまでの距離の情報を生成することと、ｄ．表示手段が、前記ユーザが前記所定の情報処理を行うための前記ディスプレイ上に表示された作業領域内あるいはその近辺に、前記ユーザの画像の少なくとも一部を表示することと、ｅ．画像調整手段が、前記距離の情報に基づいて、前記ユーザが前記視線追跡センサから最適位置に位置する場合、前記ユーザが前記最適位置に位置しない場合と比較して、前記ユーザの画像が鮮明となるように、前記ユーザの画像を調整すること、を含むことを特徴とする。
【００１２】
請求項１６に記載の発明は、ディスプレイに表示させた情報を用いてユーザが所定の情報処理を行う情報処理手段とともに用いられ、ユーザの視線を追跡するためのユーザ・インタフェースの表示のためのコンピュータプログラムであって、コンピュータに、ａ．感度領域を有する視線追跡センサを用いて、前記視線追跡センサから前記ユーザまでの距離を生成するための情報を取得することと、ｂ．カメラを用いて、前記ユーザの画像を取得することと、ｃ．感知手段を用いて、前記取得された情報に基づいて前記視線追跡センサから前記ユーザまでの距離の情報を生成することと、ｄ．表示手段を用いて、前記ユーザが前記所定の情報処理を行うための前記ディスプレイ上に表示された作業領域内あるいはその近辺に、前記ユーザの画像の少なくとも一部を表示することと、ｅ．画像調整手段を用いて、前記距離の情報に基づいて、前記ユーザが前記視線追跡センサから最適位置に位置する場合、前記ユーザが前記最適位置に位置しない場合と比較して、前記ユーザの画像が鮮明となるように、前記ユーザの画像を調整することと、を含むユーザの画像の少なくとも一部を表示させる処理を実行させる。
【００３５】
本発明に関する更なる態様について、一部は以下の説明で述べられ、一部は以下の説明から明らかであるか又は本発明を実施することにより分かるであろう。本発明の態様は、要素によって、並びに、様々な要素と以下の詳細な説明及び添付の特許請求の範囲で特に示された態様とを組み合わせることによって、実現及び達成され得る。
【００３６】
当然のことながら、上記の記述及び下記の記述はいずれも、単なる例示及び説明であって、いかなる形においても特許請求の範囲に記載の本発明又はその応用を制限することを意図しない。
【発明の効果】
【００３７】
本発明によれば、ユーザの動きに基づくフィードバックを従来と比較して容易に実現することができる。
【図面の簡単な説明】
【００３８】
【図１】ＳＲリサーチ社から市販されているEyeLink 1000という視線追跡装置を示す図である。
【図２】トビー社から市販されている視線追跡装置の視野のおおよそのサイズを示す図である。
【図３】反射型ユーザ・インタフェースの例としての一実施形態を示す図である。
【図４】視線追跡装置からの例としての視野を示す図である。
【図５】補助カメラからの例としての視野を示す図である。
【図６】視線追跡装置正面におけるユーザの最適位置との関係によるα値の変化を示すグラフである。
【図７】本発明のシステムの一実施形態の例としての動作シーケンスを示すフローチャートである。
【図８】本発明のシステムの例としての一実施形態を示す図である。
【図９】本発明のシステムが実施され得るコンピュータ・プラットフォームの例としての一実施形態を示す図である。
【発明を実施するための形態】
【００３９】
本明細書中に組み込まれて本明細書の一部を構成する添付の図面は、本発明の実施形態を例示すると共に、以下の記述と併せて、本発明の技法の原理を説明及び図示する役割を果たす。
【００４０】
以下の詳細な説明では、添付の図面を参照するが、これらの図面において、同一の機能要素は同じ参照番号で示されている。添付の図面は、本発明の原理に従った具体的な実施形態及び実施例を、限定目的ではなく例示目的で示している。これらの実施例は、当業者が本発明を実施することができるように詳細に説明されており、当然のことながら、他の実施例を利用してもよく、本発明の範囲及び精神を逸脱しない限り、様々な要素の構造的変更及び／又は置換を行ってもよい。従って、以下の詳細な説明は、限定された意味で解釈されない。更に、説明されているような本発明の様々な実施形態は、汎用コンピュータで作動するソフトウェアの形態で実施されてもよいし、専用ハードウェアの形態で実施されてもよいし、ソフトウェアとハードウェアを組み合わせた形態で実施されてもよい。
【００４１】
本発明概念の一実施形態によれば、頭を自由に動かした状態で視線追跡装置からのデータ収集を向上させる新しい方法が提供される。本発明のこの実施形態は、視線追跡装置に対してコストのかかるハードウェアの改良を加えるのではなく、ユーザを好適に且つ見た目に美しく反射するユーザ・インタフェース（いわゆる、反射型ユーザ・インタフェース）を備える。反射型ユーザ・インタフェースの例としての一実施形態が、米国特許出願第１２／０８０，６７５号に詳細に説明されている。この反射型ユーザ・インタフェースによって、ユーザは、インタラクション又はユーザ・エクスペリエンスを妨げずにそれとなく、自分の動きに気付く。一例としての反射型ユーザ・インタフェース３００が、図３に示されている。この図３に示されている例としてのユーザ・インタフェース３００は、ユーザの画像３０１を表示する。この画像３０１はユーザ自身に向けて表示されるため、ユーザは自分の動きに気付く。
【００４２】
上記の米国特許出願第１２／０８０，６７５号には、この反射型ユーザ・インタフェースの構成方法が説明されている。視線データ収集を向上させるようにこの反射型ユーザ・インタフェースを構成する場合、センサのカメラ（例えば、視線追跡装置）から直接的にカメラ画像を取得することが可能であろう。しかしながら、視線追跡装置と共に用いられる場合、この方法には２つの主な限界がある。まず、視線追跡装置は赤外線カメラを用いる。自然光の条件下で画像が取得されないので、得られる画像は、ユーザが期待する鏡像とは一致しない。更に、図４に示されているように、視線追跡装置によって生成される画像は、最も好適な角度からは撮影されない。具体的には、この図４は、視線追跡装置からの典型的な視野４０１を示している。この図４の画像の角度は、ほぼ視線追跡装置からの視野角を表しているが、視線追跡装置によって生成される実際の画像は、通常、もっと暗く（特に、背景）、もっと反射が強い、ということに留意されたい。
【００４３】
本発明概念の一実施形態によれば、反射型ユーザ・インタフェースを生成するのに、視線追跡装置の画像が用いられるのではなく、シンプルな補助カメラが用いられる。この補助カメラは、ウェブカメラに用いられるタイプのものであってよく、視線追跡装置の視野角となるようなユーザのスクリーンの底部ではなく、その頂部に設置され得る。当業者には当然のことながら、この補助カメラからの反射角は、視線追跡カメラからの画像と同じではない（図４と図５（例としてのユーザの画像４０２を示している）を比較）。しかしながら、このことは、反射型ユーザ・インタフェースの動作には影響を及ぼさない。視線追跡カメラのより狭い視野は、補助カメラ（例えば、ウェブカメラ）からのビデオ・ストリームをトリミングして、その中央部のみを反射像に用いることにより、シミュレートすることができる。
【００４４】
本発明の一実施形態では、トリミングされた画像中央部が、視線追跡カメラの実際の視野と一致する。本発明の別の実施形態では、人々は無意識に自分の反射像がカメラの視野の中央にくるように位置決めしようとすることが分かったので、トリミングされたビデオ・ストリームが視線追跡装置の視野に直接的に対応する必要はない。
【００４５】
補助カメラからのトリミングされた画像は、ユーザに、視線追跡装置のｘ軸及びｙ軸に沿った位置感覚のみをもたらす。しかし、視線追跡装置のユーザは、装置に近づきすぎたり装置から離れすぎたりすることによって、範囲から出てしまうこともある。ユーザに視線追跡装置正面のｚ軸における最適位置を知らせることは、ｘ軸及びｙ軸にとって重要である。本発明の一実施形態では、視線追跡装置によって提供される距離情報を用いて、ユーザに視線追跡装置の範囲から出ているという合図が送られる。この合図は、ユーザが範囲外に出ると反射像が背景に溶け込んで完全に消えるようにビデオ・ストリームのα値を変更するだけで実施される。一方、ユーザが視線追跡カメラから最適な距離のところに位置している場合、反射像は最も鮮明である。図６は、視線追跡装置正面におけるユーザの最適位置との関係による、α値の例としての変化５０１を示している。
【００４６】
従って、本発明の一実施形態は、感知装置（この場合には、視線追跡装置）のビデオ源からの画像ではなく第２のビデオ源（この場合には、補助カメラ）からの画像を処理することによって、フィードバックをもたらす。これにより、フィードバックは、ユーザに対して、押し付けがましくなく、控え目で、好適となる。本発明の一実施形態では、このフィードバックは、ユーザの反射像の形態である。ユーザの気が散るのを最小限に抑えるため、このフィードバックは、ユーザの作業領域と同じ場所に配置されてもよい。具体的には、一実施形態において、反射型ユーザ・インタフェースによって生成されるユーザの画像は、ユーザが現在使用しているグラフィカル・ユーザ・インタフェース・ウィンドウの背景又は前景に配置される。または、ユーザの画像は、グラフィカル・ユーザ・インタフェース・ウィンドウに表示されるオブジェクト上に配置されてもよい。別の実施形態では、ユーザの反射像は、グラフィカル・ユーザ・インタフェース自体の背景又は前景に配置される。当業者には当然のことながら、本発明は、ユーザのフィードバックが配置されるいずれの特定場所にも限定されない。フィードバックをユーザに供給するのに都合の良いその他の場所を用いてもよい。
【００４７】
図７は、本発明概念の一実施形態の例としての動作シーケンス６００を示している。ステップ６０１において、ユーザの画像が補助カメラを用いて作成される。ステップ６０２において、センサからのデータが取得される。ステップ６０３において、このセンサ・データを用いて、ｚ軸に沿った視線追跡装置までの最適距離に対するユーザの変位が計算される。この最適距離は、ｙ軸における視線追跡装置の視野内でのユーザの初期位置及び視線追跡装置までの初期推定距離に関する情報に基づいて計算される。これらの初期位置及び初期推定距離はいずれも、視線追跡装置又はその他の感知装置を用いて測定することができる。この計算結果に従って、補助カメラによって撮影された画像は、ステップ６０４において調整される。本発明の一実施形態では、この調整として、画像のα値の調整が挙げられるが、これに限定されない。別の実施形態では、この調整として、画像の１つの又は全ての色成分を調整して、画像に一色を付ける又は全く色を付けないことが挙げられる。ここでは、原色の又は原色に近い画像が、視線追跡装置に対するユーザの最適位置に対応する。別の可能な実施形態では、画像をぼかす。ステップ６０５において、この調整されたユーザの画像は、画像の中央で且つ視線追跡装置から最適距離のところにユーザが位置決めするのを促すように、反射型ユーザ・インタフェースにおいてユーザに表示される。最後に、ステップ６０６において、ユーザの眼の動きが、視線追跡カメラによって生成された画像及び従来の視線追跡法を用いて追跡される。
【００４８】
図８は、本発明のシステム７００の一実施形態の例としての構造を示している。ここに示されている実施形態は、ユーザの画像７０７を撮影する視線追跡カメラ７０１を含む。この画像７０７が視線追跡モジュール７０２によって用いられることにより、ユーザの眼の動きを示す情報７０８が生成される。このシステム７００は、補助カメラ７０３（ウェブカメラであってよい）を更に含み、この補助カメラ７０３は、ユーザの第２画像７１０を撮影する。この画像は、例えば、視線追跡モジュール７０２によって提供される距離情報７０９に基づいて、画像調整モジュール７０４によって調整される。この距離情報は、視線追跡カメラとユーザとの間の距離を示している。更に、画像調整モジュール７０４は、画像７１０を適切にトリミングしてもよい。この調整及び／又はトリミングされたユーザの画像７１１は、ディスプレイ７０５に表示された反射型ユーザ・インタフェース７０６を用いて、ユーザに表示される。
【００４９】
当業者には当然のことながら、補助カメラは、ウェブカメラに限定されず、ユーザのデジタル画像を取得することのできる技術であれば、いずれの既知の技術を用いて実施されてもよい。
【００５０】
本発明は、視線追跡を容易にするのに反射型ユーザ・インタフェースを用いることに限定されない、ということに留意されたい。また、視線追跡は、センサを用いてコンピュータ正面におけるユーザの位置に関する情報を収集する一例にすぎない、ということにも留意されたい。反射型ユーザ・インタフェースを用いることを含む本発明概念は、顔追跡センサ及び運動センサ（例えば、ゲーム機でゲームをする場合）並びにその他同様の装置にも適用することができる。
【００５１】
例としてのコンピュータ・プラットフォーム
図９は、本発明の手法の一実施形態が実施され得る、コンピュータ／サーバ・システム８００の一実施形態を示すブロック図である。このシステム８００は、コンピュータ／サーバ・プラットフォーム８０１、周辺装置８０２、及びネットワーク資源８０３を含む。
【００５２】
コンピュータ・プラットフォーム８０１は、その様々な部分の間にわたって情報をやりとりするデータ・バス８０４又はその他の通信機構と、このバス８０４につながれて情報を処理したりその他の計算及び制御タスクを行ったりするプロセッサ８０５とを含み得る。また、このコンピュータ・プラットフォーム８０１は、バス８０４につながれて、様々な情報及びプロセッサ８０５によって実行される命令を記憶する、揮発性記憶装置８０６（例えば、ランダム・アクセス・メモリ（ＲＡＭ）、又はその他の動的記憶装置）も含む。この揮発性記憶装置８０６は、プロセッサ８０５が命令を実行する間、一時的数値変数又はその他の中間情報を記憶するのに用いられてもよい。更に、コンピュータ・プラットフォーム８０１は、バス８０４につながれて、静的情報及びプロセッサ８０５（例えば、基本入出力システム（ＢＩＯＳ））に対する命令並びに様々なシステム構成パラメータを記憶する、読出し専用メモリ（ＲＯＭ若しくはＥＰＲＯＭ）８０７又はその他の静的記憶装置も含み得る。永続性記憶装置８０８（例えば、磁気ディスク、光ディスク、又は固体フラッシュ・メモリ素子）が設けられてバス８０４につながれており、情報及び命令を記憶する。
【００５３】
コンピュータ・プラットフォーム８０１は、バス８０４を介して、ディスプレイ８０９（例えば、ブラウン管（ＣＲＴ）、プラズマ・ディスプレイ、又は液晶ディスプレイ（ＬＣＤ））につながれて、システム管理者又はこのコンピュータ・プラットフォーム８０１のユーザに情報を表示してもよい。英数字キー及びその他のキーを含む入力装置８１０が、バス８０４につながれており、選択された情報及びコマンドをプロセッサ８０５に伝達する。別のタイプのユーザ入力装置として、カーソル制御装置８１１（例えば、マウス、トラックボール、又はカーソル方向キー）があり、この装置は、選択された方向情報及びコマンドをプロセッサ８０５に伝達すると共に、ディスプレイ８０９上におけるカーソル移動を制御する。一般的に、この入力装置は、２つの軸（即ち、第１の軸（例えば、ｘ）及び第２の軸（例えば、ｙ））において自由度２を有し、これにより、平面において位置を特定することができる。
【００５４】
外部記憶装置８１２をコンピュータ・プラットフォーム８０１にバス８０４を介して接続し、コンピュータ・プラットフォーム８０１に追加の若しくはリムーバブルの記憶容量を提供してもよい。コンピュータ・システム８００の一実施形態では、このリムーバブル外部記憶装置８１２を用いて、他のコンピュータ・システムとデータを交換しやすくし得る。
【００５５】
本発明は、本明細書中に説明した技法を実施するための、コンピュータ・システム８００の使用法に関する。一実施形態において、本発明のシステムは、コンピュータ・プラットフォーム８０１のような装置に備えられ得る。本発明の一実施形態によれば、本明細書中に説明した技法は、コンピュータ・システム８００が、プロセッサ８０５に応答して、揮発性メモリ８０６に収容されている１つ以上の命令のうちの１つ以上のシーケンスを実行することにより行われる。このような命令は、別のコンピュータ可読媒体（例えば、永続性記憶装置８０８）から揮発性メモリ８０６に読み込まれてもよい。このように揮発性メモリ８０６に収容されている命令のシーケンスを実行することにより、プロセッサ８０５は、本明細書中に説明した処理ステップを行う。別の実施形態では、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて配線回路を用いて、本発明を実施してもよい。従って、本発明の実施形態は、ハードウェア回路とソフトウェアとのいずれの特定の組み合わせにも限定されない。
【００５６】
本明細書中で用いる「コンピュータ可読媒体」という語は、実行するための命令をプロセッサ８０５に提供することに関与するあらゆる媒体を指す。このコンピュータ可読媒体は、本明細書中に説明したあらゆる方法及び／又は技法を実施するための命令を保持し得る機械可読媒体の一例にすぎない。このような媒体は、多数の形態を取ってよく、例えば、不揮発性媒体、揮発性媒体、及び伝送媒体が挙げられるが、これらに限定されない。不揮発性媒体としては、光ディスク又は磁気ディスク（例えば、永続性記憶装置８０８）が挙げられる。揮発性媒体としては、動的メモリ（例えば、揮発性記憶装置８０６）が挙げられる。伝送媒体としては、同軸ケーブル、銅線、及び光ファイバー（例えば、データ・バス８０４を構成するワイヤ）が挙げられる。また、伝送媒体は、電波及び赤外線データ通信中に発生するような、音波又は光波の形態を取ってもよい。
【００５７】
コンピュータ可読媒体の一般的な形態としては、例えば、フロッピー（登録商標）・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープ、その他あらゆる磁気媒体、ＣＤ−ＲＯＭ、その他あらゆる光媒体、パンチカード、紙テープ、孔パターンを備えたその他あらゆる物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュ・ドライブ、メモリ・カード、その他あらゆるメモリ・チップ若しくはカートリッジ、これから説明する搬送波、又は、コンピュータが読み取ることのできるその他あらゆる媒体が挙げられる。
【００５８】
実行する１つ以上の命令のうちの１つ以上のシーケンスをプロセッサ８０５に搬送するのに、様々な形態のコンピュータ可読媒体を用いてもよい。例えば、命令は、まず、リモート・コンピュータから磁気ディスクに搬送され得る。或いは、リモート・コンピュータが、その動的メモリに命令をロードし、モデムを用い電話回線を介してこの命令を送信してもよい。コンピュータ・システム８００内のモデムは、この電話回線上のデータを受信し、赤外線送信機を用いてこのデータを赤外線信号に変換することができる。赤外線検出器が、赤外線信号で搬送されたこのデータを受信し、適切な回路が、このデータをデータ・バス８０４上に置くことができる。バス８０４は、このデータを揮発性記憶装置８０６に搬送し、プロセッサ８０５は、この揮発性記憶装置８０６から命令を読み出して実行する。揮発性メモリ８０６によって受信されたこの命令は、任意で、プロセッサ８０５が実行する前或いは実行した後に、永続性記憶装置８０８に記憶されてもよい。また、この命令は、当業界では周知の様々なネットワーク・データ通信プロトコルを用い、インターネットを介してコンピュータ・プラットフォーム８０１にダウンロードされてもよい。
【００５９】
コンピュータ・プラットフォーム８０１は、データ・バス８０４につながれたネットワーク・インタフェース・カード８１３のような通信インタフェースも含む。この通信インタフェース８１３は、ローカル・ネットワーク８１５に接続されたネットワーク・リンク８１４につなぐ双方向データ通信をもたらす。例えば、この通信インタフェース８１３は、対応するタイプの電話回線へのデータ通信接続をもたらす、総合デジタル通信網サービス（ＩＳＤＮ）カード又はモデムであってよい。また、別の例として、この通信インタフェース８１３は、互換ＬＡＮへのデータ通信接続をもたらす、ローカル・エリア・ネットワーク・インタフェース・カード（ＬＡＮＮＩＣ）であってもよい。ネットワークの実施には、更に、周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、及びブルートゥース(Bluetooth)のような、無線リンクを用いてもよい。このような実施例のいずれにおいても、通信インタフェース８１３は、様々なタイプの情報を表すデジタル・データ・ストリームを搬送する、電気信号、電磁信号、又は光信号を送受信する。
【００６０】
ネットワーク・リンク８１４は、一般的に、１つ以上のネットワークを介して、他のネットワーク資源へのデータ通信をもたらす。例えば、このネットワーク・リンク８１４は、ローカル・ネットワーク８１５を介して、ホスト・コンピュータ８１６又はネットワーク記憶装置／サーバ８２２に接続し得る。更に又は或いは、このネットワーク・リンク８１４は、ゲートウェイ／ファイアウォール８１７を介して、広域若しくはグローバル・ネットワーク（例えば、インターネット）８１８に接続し得る。従って、コンピュータ・プラットフォーム８０１は、インターネット８１８上のいずれの位置にあるネットワーク資源（例えば、遠隔ネットワーク記憶装置／サーバ８１９）にもアクセスすることができる。一方、コンピュータ・プラットフォーム８０１も、ローカル・エリア・ネットワーク８１５及び／又はインターネット８１８上のいずれの位置にあるクライアントによってもアクセスされ得る。ネットワーク・クライアント８２０及び８２１自体は、コンピュータ・プラットフォーム８０１に類似したコンピュータ・プラットフォームに基づいて実施され得る。
【００６１】
ローカル・ネットワーク８１５及びインターネット８１８はいずれも、デジタル・データ・ストリームを搬送する電気信号、電磁信号、又は光信号を用いる。様々なネットワークを介する信号、並びに、コンピュータ・プラットフォーム８０１とデジタル・データをやりとりするネットワーク・リンク８１４上の及び通信インタフェース８１３を介する信号は、情報を輸送する搬送波の例としての形態である。
【００６２】
コンピュータ・プラットフォーム８０１は、インターネット８１８及びＬＡＮ８１５並びにネットワーク・リンク８１４及び通信インタフェース８１３を含む様々なネットワークを介して、プログラム・コードを含むメッセージやデータを送受信することができる。インターネットの例において、コンピュータ・プラットフォーム８０１は、ネットワーク・サーバとして機能する場合、インターネット８１８、ゲートウェイ／ファイアウォール８１７、ローカル・エリア・ネットワーク８１５、及び通信インタフェース８１３を介して、クライアント８２０及び／又は８２１で稼動するアプリケーション・プログラムに対して要求されたコード若しくはデータを送信する。同様にして、コンピュータ・プラットフォーム８０１は、他のネットワーク資源からコードを受信する。
【００６３】
この受信コードは、受信されたら、プロセッサ８０５によって実行されてもよいし、且つ／或いは、後で実行するために、永続性記憶装置８０８若しくは揮発性記憶装置８０６又はその他の不揮発性記憶装置に記憶されてもよい。このように、コンピュータ・プラットフォーム８０１は、搬送波の形態でアプリケーション・コードを取得し得る。
【００６４】
本発明は、いずれの特定のファイアウォール・システムにも限定されない、ということに留意されたい。本発明の方策に基づいたコンテンツ処理システムは、３つのファイアウォール動作モード（具体的には、ＮＡＴモード、ルートモード、透過モード）のいずれにおいて用いられてもよい。
【００６５】
最後に、当然のことながら、本明細書中に説明した処理及び技法は、本質的にはいずれの特定装置にも関連せず、あらゆる適切な構成要素の組み合わせによって実施され得る。更に、本明細書中に説明した教示に従って、様々なタイプの汎用装置を用いてもよい。また、本明細書中に説明した方法ステップを行うように特殊化された装置を構成することも有益であろう。本発明を特定の例に関して説明してきたが、これらの例は、全ての点において限定ではなく例示を意図している。当業者には当然のことながら、本発明を実施するには、ハードウェア、ソフトウェア、及びファームウェアの多数の異なる組み合わせが適している。例えば、本明細書中に説明したソフトウェアは、多種多様なプログラミング若しくはスクリプト言語（例えば、アセンブラ、Ｃ／Ｃ＋＋、パール、シェル、ＰＨＰ、Java（登録商標）など）で実施され得る。
【００６６】
更に、本明細書を考察してここに開示した本発明を実施することにより、当業者には、本発明の他の実施例が明らかとなるであろう。この視線追跡機能を備えたユーザ・インタフェースには、ここに説明した実施形態の様々な態様及び／又は構成要素を単独で或いはあらゆる組み合わせで用いてもよい。本明細書及びここに挙げた実施例は、単なる例と見なすことが意図されており、本発明の真の範囲及び精神は、特許請求の範囲により示されている。
【図１】
0005262824.tif 000002
【図６】
0005262824.tif 000003
【図７】
0005262824.tif 000004
【図８】
0005262824.tif 000005
【図９】
0005262824.tif 000006
【図２】
0005262824.tif 000007
【図３】
0005262824.tif 000008
【図４】
0005262824.tif 000009
【図５】
0005262824.tif 000010