(57)【特許請求の範囲】
【請求項１】
表示デバイスの表示エリアに物体の画像を表示することと、
前記画像が表示されている間、所定のサンプリング間隔で視線を追跡することと、
前記所定のサンプリング間隔で追跡された前記視線のデータ点を得ることであって、前記データ点は、前記表示エリア内の前記視線の検出された位置を表すことと、
前記所定のサンプリング間隔の間に得られた前記データ点を分析することと、
前記分析されたデータ点の所定の集中が位置する前記表示エリアの範囲を決定することと、
前記決定された範囲が第１の所定範囲より小さい場合、ズームイン操作に従って、前記物体が拡大して表示されるように前記画像を変更することと、
前記決定された範囲が第２の所定範囲より大きい場合、ズームアウト操作に従って、前記物体が縮小して表示されるように前記画像を変更することと、
前記変更された画像を表示することと
を含む方法。
【請求項２】
前記追跡される視線に基づいて高度の注視に対応する前記表示された物体の領域を識別するために前記データ点を分析することと、
前記変更された画像において、前記表示された物体の前記識別された領域が前記表示エリアの異なる場所に移動されるように、前記表示された物体を移動させることによって前記画像を変更することと
をさらに含む、請求項１に記載の方法。
【請求項３】
前記変更するステップは、前記表示された物体の前記識別された領域を前記表示エリアの中心に移動させる、請求項２に記載の方法。
【請求項４】
前記第１および第２の所定範囲は、それぞれ所定画角に従って定義される、請求項１に記載の方法。
【請求項５】
前記追跡される視線に基づいて前記表示エリア全体の画角を計算することをさらに含み、
前記第１および第２の所定範囲は、前記表示エリア全体の前記計算された画角に関連して設定される、請求項４に記載の方法。
【請求項６】
前記第１の所定範囲は、高さおよび幅パラメータの第１の組に従って定義され、前記第２の所定範囲は、高さおよび幅パラメータの第２の組に従って定義される、請求項１に記載の方法。
【請求項７】
前記第１および第２の所定範囲は、前記表示エリアの高さおよび幅に関連して設定される、請求項６に記載の方法。
【請求項８】
入力デバイスを介して、前記第１および第２の所定範囲を設定する入力を受け取ることをさらに含む、請求項１に記載の方法。
【請求項９】
前記表示された物体の表面は、前記表示エリアに三次元的に表示され、前記方法は、
逆投影プロセスを適用して前記得られたデータ点の少なくとも１つを前記表示された物体の前記三次元的に表示される表面上の点に変換することによって前記表示された物体の前記表面上の注視点を識別することと、
前記識別された注視点に基づいて前記画像への前記変更を決定することとをさらに含む、請求項１に記載の方法。
【請求項１０】
前記識別された注視点を前記表示された物体の複数の表面領域にマッピングすることと、
前記マッピングに基づいて最高度の顕著度を持つ前記表面領域を決定することとをさらに含み、
前記画像の前記変更は、前記決定された表面領域に基づいて決定される、請求項９に記載の方法。
【請求項１１】
前記変更された画像において、前記表示された物体の観察方向が前記決定された表面領域の方を向くように前記表示された物体を回転させることによって、前記画像を変更することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記逆投影プロセスは、逆投影マトリックスに二次元凝視場所の座標をかけることによって適用され、前記逆投影マトリックスは、前記表示された物体の前記表面を前記表示エリアに投影するために使用される投影マトリックスに基づいて計算される、請求項１０に記載の方法。
【請求項１３】
前記表示された物体の表面は、前記表示エリアに三次元的に表示され、
前記得られたデータ点に基づいて注視の程度を前記表示エリアの複数の領域にマッピングすることと、
最高度の注視を持つ前記表示エリアの前記領域が前記表示される物体の外側であるときは、前記表示された物体を最高度の注視を有する前記表示エリアの前記領域の方へ回転させることによって、前記画像を変更することとをさらに含む、請求項１に記載の方法。
【請求項１４】
実行されるとき、コンピュータに請求項１〜１３に記載の方法のいずれか１つを行わせるコンピュータプログラムが、その上に具体化されるコンピュータ可読媒体。
【請求項１５】
画像を二次元表示エリアに表示するように構成される表示デバイスと、
実行可能な命令を記憶し、前記表示デバイスに動作可能に接続される１つまたは複数のコンピュータプロセッサと
を含むシステムであって、前記命令は、前記１つまたは複数のコンピュータプロセッサに、
前記表示エリアに物体の画像を表示することと、
前記画像が表示されている間、所定のサンプリング間隔で視線を追跡することと、
前記所定のサンプリング間隔で追跡された前記視線のデータ点を得ることであって、前記データ点は、前記表示エリア内の前記視線の検出された位置を表すことと、
前記所定のサンプリング間隔の間に得られた前記データ点を分析することと、
前記分析されたデータ点の所定の集中が位置する前記表示エリアの範囲を決定することと、
前記決定された範囲が第１の所定範囲より小さい場合、ズームイン操作に従って、前記物体が拡大して表示されるように前記画像を変更することと、
前記決定された範囲が第２の所定範囲より大きい場合、ズームアウト操作に従って、前記物体が縮小して表示されるように前記画像を変更することと、
前記変更された画像を表示することと
を含む動作を実行させる、システム。
【請求項１６】
前記表示された物体の表面は、前記表示エリアに三次元的に表示され、前記命令はさらに、
逆投影プロセスを適用して前記得られたデータ点の各々を前記三次元空間内の点に変換することによって前記表示された物体の前記表面上の注視点を識別することと、
前記識別された注視点に基づいて前記画像への前記変更を決定することと
を含む動作を実行させる、請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、参照により本明細書にこれにより組み込まれる、２００９年７月１０日出願の「Ｉｍａｇｅ  Ｍａｎｉｐｕｌａｔｉｏｎ  Ｂａｓｅｄ  ｏｎ  Ｔｒａｃｋｅｄ  Ｅｙｅ  Ｍｏｖｅｍｅｎｔ」と題する中国特許出願第２００９１０１３９９１５．Ｘ号の優先権を主張する。
【背景技術】
【０００２】
多くのコンピュータアプリケーションは、コンピュータグラフィックスを利用して物体の画像をユーザーに表示する。例えば、コンピュータグラフィックスは、有形物体（例えば、家または車）のコンピュータ生成モデルを表示するためのアプリケーションで用いられることもある。また、より抽象的な物体（例えば、世界の球状地図）も、モデル化でき、コンピュータアプリケーションで表示できる。そのような物体は、二次元空間で定義され、または三次元モデルとして定義されることもあり、それは次いで、二次元表示エリア（例えば、コンピュータスクリーン）上に描画される。
【０００３】
その上、コンピュータアプリケーションは、より良い視聴体験を提供するために、ユーザーが、表示される画像での物体の見え方を変更することを可能にするユーザーインターフェースを提供することもある。ユーザーインターフェースは、表示される物体の異なる部分を見るのをより容易にするために、ユーザーによって操作されるマウスまたはキーボードなどのある種の入力デバイスを含むこともある。しかしながら、身体的障害のある個人は、画像を操作するためにこれらの種類の入力デバイスを使用するのが困難と感じることもある。
【発明の概要】
【０００４】
表示デバイスに物体の第１の画像を定義済みの表示エリアで表示させるステップと、表示エリアに関して追跡される視線の場所を代表するデータを得るステップと、得られたデータを処理して第１の画像の変更を決定するステップと、表示デバイスに変更を含む物体の第２の画像を表示させるステップとを含む方法が、本開示で述べられる。
【０００５】
この方法によると、変更は、次の事項、すなわち物体の観察方向（viewing direction）、物体の画角、および表示エリアに関する物体の空間位置の少なくとも１つに関して第１の画像に行われる。
【０００６】
本開示によると、前述の方法、またはそれの任意の部分は、コンピュータ可読媒体上に具体化されるコンピュータプログラムの指示の下でコンピュータデバイスによって行われてもよい。
【０００７】
その上、本開示は、システムを説明する。システムは、画像を二次元表示エリアで表示するための表示デバイスを含む。システムはまた、表示デバイスに物体の第１の画像を定義済みの表示エリアで表示させ、表示エリアに関して追跡される視線の場所を代表するデータを得、得られたデータを処理して、物体の観察方向、物体の画角、および表示エリアに関する物体の空間位置の少なくとも１つに関して第１の画像の変更を決定するようにプログラムされる１つまたは複数のコンピュータプロセッサも含む。１つまたは複数のコンピュータプロセッサはまた、表示デバイスに、変更を含む物体の第２の画像を表示させるようにプログラムされてもよい。
【０００８】
前述のことは、概要であり、それ故に必然的に、詳細の簡略化、一般化、および省略を含有し、その結果、概要は、単なる例示であり、決して限定することを意図していないことが当業者には理解されよう。本明細書で述べられるデバイスおよび／またはプロセスおよび／または他の主題の他の態様、特徴、ならびに利点は、本明細書で説明される教示で明らかになろう。概要は、「発明を実施するための形態」で以下でさらに述べられる概念の選択を簡略化した形態で紹介するために提供される。この概要は、特許請求される主題の重要な特徴または不可欠な特徴を識別することを意図せず、また特許請求される主題の範囲を決定するのに役立つとして使用されることも意図していない。
【０００９】
本開示の前述および他の特徴は、付随する図面と併せて受け取られる、次の記述および添付の特許請求の範囲からより完全に明らかになろう。これらの図面は、本開示に従っていくつかの実施形態を描写するだけであり、従って、それの範囲を限定すると考えるべきでないことを理解して、本開示は、付随する図面の使用を通じてさらに具体的にかつ詳細に述べられることになる。
【図面の簡単な説明】
【００１０】
【図１】例となる実施形態による、追跡される視線に基づいて画像を表示し、変更するように配置されるシステムを例示するブロック図である。
【図２】例となる実施形態による、図１のシステムが実装されてもよい環境を例示する図である。
【図３Ａ】例となる実施形態による、表示される画像を追跡される視線に従って変更するように配置されるコンピュータデバイスの構成の例を示すブロック図である。
【図３Ｂ】例となる実施形態による、視線を追跡するように配置される視線追跡デバイスの構成の例を示すブロック図である。
【図４Ａ】例となる実施形態による、表示される画像を追跡される視線に基づいて変更するための方法を例示する流れ図である。
【図４Ｂ】例となる実施形態による、表示される画像を追跡される視線に基づいて変更するための方法を例示する流れ図である。
【図４Ｃ】例となる実施形態による、表示される画像を追跡される視線に基づいて変更するための方法を例示する流れ図である。
【図４Ｄ】例となる実施形態による、表示される画像を追跡される視線に基づいて変更するための方法を例示する流れ図である。
【図４Ｅ】例となる実施形態による、表示される画像を追跡される視線に基づいて変更するための方法を例示する流れ図である。
【図５Ａ】表示される物体の空間位置への変更の例を示す図である。
【図５Ｂ】表示される物体の空間位置への変更の例を示す図である。
【図６Ａ】表示される物体の画角への変更の例を示す図である。
【図６Ｂ】表示される物体の画角への変更の例を示す図である。
【図６Ｃ】表示される物体の画角への変更の例を示す図である。
【図６Ｄ】表示される物体の画角への変更の例を示す図である。
【図７Ａ】表面が三次元空間で定義される物体の観察方向への変更の例を示す図である。
【図７Ｂ】表面が三次元空間で定義される物体の観察方向への変更の例を示す図である。
【発明を実施するための形態】
【００１１】
次の詳細な記述では、本明細書の一部を形成する付随する図面が、参照される。図面では、同様の記号は典型的には、文脈がそうでないと指示しない限り、同様の構成要素を識別する。詳細な記述で述べられる説明に役立つ実施形態、図面、および特許請求の範囲は、限定することを意図していない。本明細書で提示される主題の趣旨または範囲から逸脱することなく、他の実施形態が、利用されてもよく、他の変更が、行われてもよい。本開示の態様は、本明細書で一般的に述べられ、図で例示されるように、それのすべてが明確に考慮され、この開示の一部になる、多種多様な異なる構成で配置され、置換され、組み合わされ、設計されてもよいことが容易に理解されよう。
【００１２】
この開示は、とりわけ、観察者の追跡される目の動きに基づいて表示デバイス上の物体の画像を制御し、操作することに関係する方法、装置、コンピュータプログラムおよびシステムに引き付けられる。特に、物体が最初の見え方に従って表示されるとき、観察者の目の動きは、画像上での観察者の注視または凝視の焦点を決定するために追跡され、分析される。その後、表示される画像は、観察者が最も関心を持つ物体の部分のより良い見え方を提供するように変更されてもよい。これは、表示エリア内の物体の空間的位置決め、物体の画角、または物体の観察方向を変更することによって成し得る。
【００１３】
例えば、観察者の追跡される視線によって、物体の凝視部分を表示エリアの中心に移動させるようにし、それによって表示エリアでの物体の空間的位置決めを変更してもよい。さらに、もし観察者の視線が、画像の集中部分に向けられるならば、ズームインが、画像のこの部分に行われ、それ故に画角を変えてもよい。他方では、もし追跡される視線が、凝視場所の広い散在を示すならば、ズームアウトが、物体の画角を増大させるために行われてもよい。
【００１４】
その上、例となる実施形態によると、表示される画像は、三次元モデルであってもよく、そのため、物体の表面は、三次元空間で、例えば（ｘ，ｙ，ｚ）座標を使って幾何学的に定義されてもよい。そのような実施形態では、追跡される視線は、観察者によって見られている物体の特定の表面領域を決定するために、三次元空間に変換されてもよい。それに応じて、物体を回転させることによって、観察方向は、この表面領域の方を向くように変えられてもよい。
【００１５】
図１は、例となる実施形態による、追跡される視線に基づいて画像を表示し、変更するように配置されるシステム１００を例示するブロック図である。図１で示されるように、システム１００は、視線追跡デバイス１１０、視線追跡デバイス１１０に通信可能に接続されるコンピュータデバイス１２０、およびコンピュータデバイス１２０によって制御される表示デバイス１３０を含んでもよい。
【００１６】
視線追跡デバイス１１０、コンピュータデバイス１２０、および表示デバイス１３０は、図１では別個の装置として例示されるけれども、これは、限定することを意図していない。視線追跡デバイス１１０およびコンピュータデバイス１２０は、別個のハードウェア装置として実施されてもよいけれども、視線追跡デバイス１１０およびコンピュータデバイス１２０は、１つの装置に統合できることも考慮される。加えて、視線追跡デバイス１１０は、コンピュータデバイス１２０に関して以下で述べられる機能のいくつかを行うある種の処理能力を有する。
【００１７】
同様の方法で、表示デバイス１３０は、一実施形態では独立したデバイスとして実装されるか、またはコンピュータデバイス１２０（例えば、ノートブックもしくはラップトップ型コンピュータでの）および／もしくは視線追跡デバイス１１０とともに同じ装置に統合されてもよい。表示デバイス１３０に統合された視線追跡デバイス１１０の例は、ＴＯＢＩＩ  ＴＥＣＨＮＯＬＯＧＹ  ＡＢによって製造されるＴ６０／Ｔ１２０  Ｅｙｅ  Ｔｒａｃｋｅｒで見いだすことができる。
【００１８】
図２は、図１のシステムが実装されてもよい環境を例示する。特に、この図は、表示デバイス１３０の表示エリア２２０、表示エリア２２０を凝視する観察者の目２００、および観察者の目２００の動きを検出するように置かれる視線追跡デバイス１１０の斜視図を示す。上で述べたように、視線追跡デバイス１１０は、図２では独立したデバイスとして例示されるけれども、それは別法として、表示デバイス１３０および／またはコンピュータデバイス１２０に統合されることもあり得る。
【００１９】
視線追跡デバイス１１０は、現在市場で入手できる多様な種類の視線追跡デバイスのいずれかであってもよい。そのため、視線追跡デバイス１１０は、目の動きの検出および記録を行うために異なる動作原理を利用してもよい。例として、ＴＯＢＩＩ  ＴＥＣＨＮＯＬＯＧＹ  ＡＢによって提供されるアイトラッカーの１つは、図１および２で例示される視線追跡デバイス１１０として使用されてもよい。そのため、視線追跡デバイス１１０は、ＴＯＢＩＩ  Ｔ／ＸシリーズのＥｙｅ  Ｔｒａｃｋｅｒと同様に、赤外または近赤外光を各観察者の方へ放出するための光源（例えば、一連の発光ダイオード）、および観察者の目２００の角膜で反射する赤外または近赤外光のパターンを検出するように構成される画像センサーを利用してもよい。そのような視線追跡デバイス１１０は、観察者の目２００からの反射パターンを識別し、識別された反射パターンに基づいて目２００の凝視方向を検出し、検出された凝視方向を表示エリア２２０上での凝視場所を表すデータ点（例えば、ｘおよびｙ座標）に数学的に変換するためのプロセスを実行するために１つまたは複数のプロセッサを利用してもよい。視線追跡デバイス１１０は、所定のサンプリングレート、例えば５０〜６０Ｈｚ（いくつかのアイトラッカーは１２０Ｈｚのサンプリングレートの能力があるけれども）に従ってこれらのデータ点を生成してもよい。その上、較正が、特定の観察者の目２００の特性を学習するために視線追跡デバイス１１０で行われてもよく、それ故にその観察者の目２００からの反射パターンを正確に認識する際の画像処理を容易にする。
【００２０】
しかしながら、当技術分野で周知の他の種類の視線追跡デバイス１１０が、使用されてもよいと考慮される。例えば、そのような視線追跡デバイス１１０は、赤外または近赤外光を検出し、処理することによって動作する必要はない。視線追跡デバイス１１０は、可視スペクトルでの光信号を感知し、処理するように構成されることもあり得ると考慮される。
【００２１】
その上、表示デバイス１３０の表示エリア２２０は、二次元画像平面として例示される。例えば、表示エリア２２０は、コンピュータ用モニターのスクリーンを表すこともあり得る。別法として、もし表示デバイス１３０がコンピュータ／ビデオプロジェクターであるならば、表示エリア２２０は、画像が投影されるスクリーン（または他の平坦な表面）を表してもよい。しかしながら、前述のことは、表示デバイス１３０および表示エリア２２０への限定であることを意図していない。例えば、画像を三次元表示エリアに投影する（例えば、ホログラフィー画像）表示デバイス１３０がまた、使用されることもあり得ると考慮される。
【００２２】
図２を再度参照すると、物体２１０の画像が、表示エリア２２０で表示されているように示される。図２の特定の例によると、物体２１０は、それの中心が表示エリア２２０の座標（Ｘ0，Ｙ0）に空間的に位置決めされる円形として表示エリア２２０に描画される。この特定の例では、物体２１０は、単に二次元で円として定義されてもよく、または別法として、三次元空間で球として定義されてもよい。もし物体２１０が、三次元空間で例えば三次元モデルの一部として定義されるならば、画像は、照明および陰影付けなどの、三次元性を強調するためのいくつかの追加の画像エフェクト（図示されず）を含有してもよい。物体２１０の画像を描画し、変更するためのプロセスの例のより詳細な記述は、図４Ａ〜４Ｅに関連して以下で提供されることになる。
【００２３】
この開示での文言「画像」の使用は、特定のファイルの種類またはデータフォーマットに限定することを意図していない。代わりに、この開示で使用されるような文言「画像」は、任意のファイルの種類もしくはデータフォーマット（ＪＰＥＧ、ＢＭＰ、その他）、任意の図形的に描画されるドキュメント（例えば、ウェブページまたはＨＴＭＬドキュメント）、コンピュータ支援設計（ＣＡＤ）アプリケーション、取り込まれた写真もしくはドキュメント（例えば、ＰＤＦフォーマットで）、または任意の他の種類のコンピュータ生成画像からのコンテンツを包含してもよい。さらに、この開示で使用されるような文言「変更」は、表示エリアで物体２１０を描画するために使用される、基本になる画像データの変更のことであってもよいが、必ずしもそうでなくてもよい。
【００２４】
図３Ａは、表示される画像を追跡される視線に従って変更するために配置される例となるコンピュータデバイス１２０を示すブロック図である。非常に基本的な構成３０１では、コンピュータデバイス１２０は典型的には、１つまたは複数のプロセッサ３１０およびシステムメモリ３２０を含む。メモリバス３３０は、プロセッサ３１０とシステムメモリ３２０との間の通信に使用できる。
【００２５】
所望の構成に応じて、プロセッサ３１０は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、またはそれらの任意の組合せを含むが限定されない、任意の種類とすることができる。プロセッサ３１０は、レベル１キャッシュ３１１およびレベル２キャッシュ３１２などの、１つまたは複数のレベルのキャッシング、プロセッサコア３１３、ならびにレジスタ３１４を含むことができる。プロセッサコア３１３は、演算論理装置（ＡＬＵ）、浮動小数点演算装置（ＦＰＵ）、デジタルシグナルプロセッサコア（ＤＳＰコア）、またはそれらの任意の組合せを含むことができる。メモリコントローラ３１５もまた、プロセッサ３１０とともに使用でき、またはいくつかの実装形態では、メモリコントローラ３１５は、プロセッサ３１０の内部部品とすることができる。
【００２６】
所望の構成に応じて、システムメモリ３２０は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリ、その他など）またはそれらの任意の組合せを含むが限定されない、任意の種類とすることができる。システムメモリ３２０は典型的には、オペレーティングシステム３２１、１つまたは複数のアプリケーション３２２、およびプログラムデータ３２４を含む。アプリケーション３２２は、視線追跡デバイス１１０から得られるデータ点を処理し、表示される物体２１０の画像への適切な変更（複数可）を決定するように配置される画像変更アルゴリズム３２３を含んでもよい。プログラムデータ３２４は、ある種の可変パラメータ（例えば、ユーザー定義パラメータ）、および／または物体２１０の画像を変更するためのある種のルールを定義するデータ３２５を含んでもよい。この述べられる基本構成は、点線３０１内のそれらの構成要素によって図３Ａで例示される。
【００２７】
基本構成３０１での画像変更アルゴリズム３２４に関係する例となる実施形態は、図４Ａ〜４Ｅに関連して以下でより詳細に述べられることになる。
【００２８】
図３Ａを再度参照すると、コンピュータデバイス１２０は、追加の特徴または機能性、ならびに基本構成３０１と任意の所要のデバイスおよびインターフェースとの間の通信を容易にするための追加のインターフェースを有することができる。例えば、バス／インターフェースコントローラ３４０は、記憶装置インターフェースバス３４１を介して基本構成３０１と１つまたは複数のデータ記憶デバイス３５０との間の通信を容易にするために使用できる。データ記憶デバイス３５０は、取り外し可能な記憶デバイス３５１、取り外し不可能な記憶デバイス３５２、またはそれらの組合せとすることができる。取り外し可能な記憶デバイスおよび取り外し不可能な記憶デバイスの例は、２、３例を挙げると、フレキシブルディスクドライブおよびハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）ドライブまたはデジタル多用途ディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、ソリッドステートドライブ、ならびにテープドライブを含む。例となるコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のために任意の方法または技術で実装される揮発性および不揮発性、取り外し可能なおよび取り外し不可能な媒体を含むことができる。
【００２９】
システムメモリ３２０、取り外し可能な記憶装置３５１および取り外し不可能な記憶装置３５２はすべて、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または所望の情報を記憶するために使用でき、コンピュータデバイス１２０によってアクセスできる任意の他の媒体を含むが限定されない。任意のそのようなコンピュータ記憶媒体は、デバイス１２０の一部とすることができる。
【００３０】
コンピュータデバイス１２０はまた、バス／インターフェースコントローラ３４０を介してさまざまなインターフェースデバイス（例えば、出力インターフェース、周辺インターフェース、および通信インターフェース）から基本構成３０１への通信を容易にするためのインターフェースバス３４２を含むこともできる。例となる出力バス３６０は、１つまたは複数のＡ／Ｖポート３６３を介して、表示デバイス１３０と通信するように構成されてもよいグラフィックス処理装置３６１、およびスピーカーと通信するように構成されてもよい音声処理装置３６２を含む。例となる周辺インターフェース３７０は、シリアルインターフェースコントローラ３７１またはパラレルインターフェースコントローラ３７２を含み、それは、１つまたは複数のＩ／Ｏポート３７３を介して入力デバイス（例えば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、その他）または他の周辺デバイス（例えば、プリンタ、スキャナー、その他）などの外部デバイスと通信するように構成できる。例となる通信デバイス３８０は、ネットワークコントローラ３８１を含み、それは、１つまたは複数の通信ポート３８２を介してネットワーク通信を通じて１つまたは複数の他のコンピュータデバイス３９０との通信を容易にするように配置できる。通信接続は、通信媒体の一例である。通信媒体は典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の輸送機構などの変調データ信号中の他のデータによって具体化されてもよく、任意の情報送達媒体を含む。「変調データ信号」は、信号中の情報をコード化するように設定されるまたは変えられる信号の特性の１つまたは複数を有する信号とすることができる。例としてだが、限定でなく、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、ラジオ周波数（ＲＦ）、赤外線（ＩＲ）および他の無線媒体などの無線媒体を含むことができる。本明細書で使用されるような文言コンピュータ可読媒体は、記憶媒体および通信媒体の両方を含むことができる。
【００３１】
例となる実施形態によると、視線追跡デバイス１１０は、コンピュータデバイス１２０の周辺入力デバイスとして構成されてもよい。そのような実施形態によると、コンピュータデバイス１２０は、Ｉ／Ｏポート３７３を介して視線追跡デバイス１１０からデータ点を受け取ってもよい。代替実施形態では、コンピュータデバイス１２０は、通信ポート３８２を介して視線追跡デバイス１１０と通信してもよい。コンピュータデバイス１２０と視線追跡デバイス１１０との間の通信を確立するための他の代替案もまた可能であり、例えば、インターフェースバス３４２を介して基本構成３０１と通信するコンピュータデバイス１２０内の１つまたは複数の機能装置として視線追跡デバイス１１０を実装する。
【００３２】
コンピュータデバイス１２０は、携帯電話、携帯情報端末（ＰＤＡ）、個人用メディアプレーヤーデバイス、無線ウェブ閲覧デバイス、個人用ヘッドセットデバイス、特定用途向けデバイス、または上記の機能のいずれかを含むハイブリッドデバイスなどの小型フォームファクターの携帯型（または移動式）電子デバイスの一部として実装できる。コンピュータデバイス１２０はまた、ラップトップ型コンピュータおよび非ラップトップ型コンピュータ構成の両方を含む個人用コンピュータとしても実装できる。その上、前に述べたように、コンピュータデバイス１２０は、視線追跡デバイス１１０と一体化されてもよく、または視線追跡デバイス１１０の一部として実施されてもよい。
【００３３】
例となる実施形態によると、視線追跡デバイス１１０は、図３Ａで例示されるコンピュータデバイス１２０と同じまたは同様の構成による処理能力を含んでもよい。これは、図３Ｂで例示され、その図では視線追跡デバイス１１０は、図３Ａのコンピュータデバイス１２０と同様の構成を有し、主な違いは、図３Ｂの視線追跡デバイス１１０はまた、観察者の視線を示す目視環境からの信号（例えば、赤外または赤外反射パターン）を検出するためのセンサー３９５も含むことである。図３Ｂで示されるように、センサー３９５は、Ｉ／Ｏポート３７３を介してそのような信号をプロセッサ（複数可）３１０に伝えてもよく、その結果プロセッサ（複数可）は、必要なアルゴリズムを用いて検出された信号をデータ点に変換する。
【００３４】
図４Ａ〜４Ｅは、物体２１０の画像を追跡される視線に基づいて変更するための方法の例を示す流れ図である。例となる実施形態によると、図４Ａ〜４Ｅの流れ図で述べられるプロセスは、コンピュータデバイス１２０内に実装されるアプリケーション３２２の画像処理アルゴリズム３２３に対応してもよい。しかしながら、視線追跡デバイス１１０内の任意のプロセッサ（複数可）が、これらの流れ図で例示されるステップまたはプロセスの少なくともいくつかを行うように構成されることもまた可能である。
【００３５】
図４Ａは、例となる実施形態による、物体２１０の画像を変更するための方法の高レベルの流れ図を例示する。ステップＳ４０で示されるように、表示デバイス１３０は最初に、物体２１０の画像を表示エリア２２０で表示するように制御される。このステップでは、物体２１０の任意の見え方が、表示のために選択されてもよい。別法として、ステップＳ４０で最初に表示される物体２１０の見え方は、既存の技術に基づいて自動的に選択されてもよい。
【００３６】
例えば、もし物体２１０が、三次元空間で幾何学的に定義されるならば、メッシュ顕著度法（mesh saliency method）が、ステップＳ４０での物体２１０の最初の見え方を選択するために使用されてもよい。この方法は、それの内容が参照により本明細書に組み込まれる、Ｌｅｅ他、「Ｍｅｓｈ  Ｓａｌｉｅｎｃｙ」、ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＡＣＭ  ＳＩＧＧＲＡＰＨ  ２００６、６５９〜６６６頁で述べられる。特に、メッシュ顕著度法は、物体２１０の形状（特に湾曲）に基づいて、物体２１０の三次元メッシュのさまざまな領域について重要度または顕著度の尺度を決定することになる。この方法によると、その周囲の領域と幾何学的に異なる領域は、その周囲と幾何学的に似た領域よりも見る人にとって高い顕著度または関心を有すると考えられることになる。メッシュ顕著度法によると、異なる領域について定義される顕著度は、物体２１０のさまざまな可能な視点についての顕著度値を計算するために使用でき、その結果最大顕著度値を持つ視点は、物体２１０を表示するための「最適」視点と考えられることになる。
【００３７】
しかしながら、視点エントロピー法を含む、三次元物体２１０の最初の視点を確立するための他のプロセスが、使用されてもよい。
【００３８】
その上、たとえ物体２１０が、二次元画像として定義されている場合、さまざまな領域の色および／または強度に基づいてそのような物体の領域の顕著度を計算するための周知の方法がある。二次元物体２１０の最も顕著な領域は、適切な空間的位置決め（例えば、表示エリア２２０の中心）および倍率レベルを選択することによってステップＳ４０の最初の描画で強調されてもよい。
【００３９】
図４Ａを再度参照すると、物体２１０の画像が最初に表示された後、ステップＳ４２は、追跡される視線のデータ点を視線追跡デバイス１１０から得る。上で述べたように、視線追跡デバイス１１０は、これらのデータ点を表示エリア２２０に関する観察者の目２００の凝視場所の座標（例えば、ｘおよびｙ座標）として計算するように構成されてもよい。視線追跡デバイス１１０は、各サンプリング間隔にわたってデータ点を記録するために、所定のサンプリングレートに従って目の動きを追跡してもよい。例えば、各サンプリング間隔において、視線追跡デバイス１１０は、観察者の目２００の凝視方向を検出し、任意の必要な計算を行って凝視方向を表示デバイス１３０の表示エリア２２０上の対応する凝視点に変換してもよい。
【００４０】
しかしながら、視線追跡デバイス１１０は、各サンプリング間隔の間に、使用可能なデータ点を必ずしも得ることができるとは限らないこともあることに留意すべきである。例えば、観察者の目２００は、あるサンプリング間隔の間に瞬きしているかまたは表示エリア２２０から視線をそらしていることもある。例となる実施形態によると、視線追跡デバイス１１０かまたはコンピュータデバイス１２０は、使用できないまたは重要でないデータ点をフィルターにかけて除去するなんらかの機能を含んでもよい。
【００４１】
この開示で先に述べたように、表示デバイス１３０の表示エリア２２０は、物体２１０の画像を見るための二次元平面を表してもよい。それに応じて、視線追跡デバイス１１０によって得られる各データ点は、二次元平面での特定の点を表すｘおよびｙデカルト座標を含むこともあり得る。しかしながら、データ点のフォーマットは、重要でない。例えば、データ点は、異なる座標系（例えば、極座標）に対応してもよく、または表示エリア２２０内の特定の場所または画素位置を識別するためのいくつかの他の従来手法を利用してもよい。
【００４２】
図４Ａを再度参照すると、ステップＳ４４は、物体２１０の表示される画像の変更を決定するために、視線追跡デバイス１１０によって得られるデータ点を分析する。具体的には、データ点は、表示エリア２２０または特にその中に表示される物体２１０のどの領域に観察者が彼／彼女の凝視の焦点を合わせているかを決定するために分析される。そのような情報は、表示される物体２１０のどの部分が観察者の注視の大部分を受けているかを決定するために使用でき、その結果画像は、その部分をより明瞭に示すように変更できる。さらに、画像を操作するまたは制御する際の観察者の意図は、観察者が彼／彼女の凝視の焦点を合わせている表示エリア２２０上の場所から推測されてもよい。
【００４３】
例となる実施形態によると、ステップＳ４４は、物体２１０の現在の見え方のどの態様（例えば、観察方向、画角、または表示エリア２２０内での空間位置）が変更されるべきかを決定するために、さまざまなルールを、得られたデータ点に適用することによって行われてもよい。例えば、そのようなルールは、図３Ａで例示される、画像変更アルゴリズム３２３の一部として、アプリケーション３２２にプログラムされてもよい。別法として、プログラムデータ３２４は、そのようなルールを定義するデータ３２５を含んでもよく、それによってアプリケーションプログラム３２２を変更する必要なくルールを変えることを可能にする。
【００４４】
ステップＳ４４に従って、データ点を分析し、変更を決定するためのプロセスの例のより詳細な記述は、図４Ｂ〜４Ｅに関連して以下で述べられることになる。
【００４５】
図４Ａを再度参照すると、ステップＳ４６は、物体２１０の現在表示される画像をステップＳ４４でなされた決定に従って変更された画像と交換するように表示デバイス１３０を制御する。その後、処理は、変更された画像に関して観察者の視線を追跡し、追跡される視線に基づいて画像への任意のさらなる変更を決定するためにステップＳ４２へ戻ってもよい。ステップＳ４４の実行は、画像が変更されるべきであるという決定を必ずしももたらすとは限らないこともあることに留意すべきである。そのような場合には、ステップＳ４６は単に、処理をステップＳ４２へ戻す前に表示デバイス１３０に同じ画像を表示することを続けさせてもよい。
【００４６】
例となる一実施形態によると、図４ＡのステップＳ４２〜Ｓ４６は、所定期間（または所定数のサンプリング間隔）のサイクルで繰り返されてもよい。言い換えれば、各サイクルの間に（例えば、２秒ごとに）、新しい組のデータ点は、表示される画像への変更がなされるべきかどうか、およびどんな種類の変更がなされるべきかを決定するために分析される。さらに、観察者は、各サイクルの期間を定義するために、さまざまな種類の入力デバイス（例えば、コンピュータキーボード、電子マウス、または音声／凝視起動制御機器）のいずれかを介して、パラメータをコンピュータデバイス１２０に入力することができることもある。
【００４７】
しかしながら、例となる代替実施形態によると、追跡される視線のデータ点は、所定期間に及ぶ「移動窓」に従って分析されてもよい。例えば、各データ点が、視線追跡デバイス１１０から得られると、ステップＳ４４は、画像への変更がなされるべきかどうか、およびどんな種類の変更がなされるべきかを決定するために、最近のｎサンプリング間隔（ｎは所定期間の間に生じるサンプリング間隔の数に等しい）にわたって得られるデータ点を分析してもよい。また、観察者が、例えば入力デバイスを介してそのようなパラメータをコンピュータデバイス１２０に入力することによって、移動窓に対応する期間を定義できるようにすることも可能である。
【００４８】
その上、データ点は、異なる種類の画像変更をそれぞれもたらすために異なる所定期間に従って分析されてもよい。例えば、画像のズームインをもたらすために、観察者は、物体２１０の移動をもたらすのに必要であるよりも長い期間にわたって表示エリア２２０の特定の場所に彼／彼女の凝視の焦点を合わせることを求められることもある。なおその上、観察者は、そのような期間（複数可）を定義する１つまたは複数のパラメータをコンピュータデバイス１２０に入力することによってそのような期間を定義してもよいと考慮される。
【００４９】
図４Ｂは、画像の変更を決定するためにデータ点を分析する図４ＡでのステップＳ４４を実施するためのアルゴリズムを例示する流れ図である。図４Ｂは、例となる実施形態の説明に役立つだけであり、限定することを意図していないことに留意すべきである。特定の順序のステップが続く必要はない。また、図４Ｂでのステップのすべてが行われる必要もない。例えば、ステップＳ４４２、Ｓ４４４、およびＳ４４８のいずれかは、もし対応する種類の画像変更（移動、ズーミング、または回転）を実施することが所望されないならば、省略されてもよい。
【００５０】
図４Ｂによると、ステップＳ４４０は、特定の期間にわたって視線追跡デバイス１１０から得られるデータ点を、表示デバイス１３０の表示エリア２２０で、一組の定義領域にマッピングする。表示エリア２２０の領域は、個々の画素位置から始まる粒度の、任意のレベルに従って定義されてもよい。その上、これらの領域は、表示される特定の物体２１０に依存することもある。例えば、マッピングで定義される表示エリア２２０の各領域は、物体２１０の特定の特徴に対応してもよい。
【００５１】
図４Ｂを再度参照すると、ステップＳ４４２は、現在の画像がその中に表示される物体２１０を移動させるまたは動かすことによって変更されるべきかどうかを決定するためにデータ点のマッピングを分析する。ステップＳ４４４は、画像がズームインかまたはズームアウト操作を行うことによって変更されるべきかどうかを決定するためにマッピングを分析する。さらに、もし物体２１０が、三次元空間で幾何学的に定義されるならば（ステップＳ４４６）、ステップＳ４４８は、物体２１０が回転されるべきかどうかを決定するためにマッピングを分析する。
【００５２】
図４Ｃは、図４ＢでのステップＳ４４２の分析を実施するためのプロセスの例を示す流れ図である。特に、このプロセスは、現在の画像が物体を移動させることによって変更されるべきかどうかを決定するためのルールの次の例を適用してもよく、すなわちもしデータ点のマッピングが、すでに表示エリア２２０の中心にない、画像での物体２１０の特定の部分に観察者が最も関心を持っていることを示すならば、画像は、物体２１０のその部分を表示エリア２２０の中心に移動させることによって変更されるべきである。
【００５３】
図４Ｃを参照すると、ステップＳ４４２０は、マッピングに基づいて最高度の注視を受ける表示エリア２２０の領域、すなわちデータ点の大部分がマッピングされる領域を決定する。例えば、ステップＳ４４２０は、データ点の大半がマッピングされる領域を単に選択するだけでもよい。別法として、ステップＳ４４２０は、例えばデータ点のある数または割合がその領域にマッピングされることを要求することによって、この決定をする際に追加の基準を適用してもよい。
【００５４】
図４ＣのステップＳ４４２２では、決定された領域がすでに表示エリア２２０の中心にあるかどうかに関する判断が行われる。もし答えが「イエス」であるならば、観察者が関心を持つ物体２１０の部分は、表示エリア２２０の中心にあるので、物体２１０を移動させることによって画像を変更する必要はないと決定される。しかしながら、もし答えが「ノー」であるならば、プロセスは、ステップＳ４４２４へ進み、そこで表示エリアの決定された領域は、物体２１０の対応する部分（すなわち、観察者に関心のある部分）にマッピングされる。それに応じて、ステップＳ４４２６は、画像変更が、物体２１０の対応する部分が表示エリアの中心に移動されるように画像を移動させることを含むべきであると決定する。
【００５５】
図５Ａおよび５Ｂは、図４Ｃのプロセスに従って、表示エリア２２０に関して表示される物体２１０の空間位置を変更する例を示す。図５Ａおよび５Ｂでは、人は、表示エリア２２０で表示される物体２１０として例示される。
【００５６】
図５Ａの例によると、観察者の凝視は、特定の期間にわたってエリア５００に（人の胴に）集中している。それに応じて、さまざまな「ｘ」記号は、表示エリア２２０の対応する領域へのデータ点のマッピングを例示する（図５Ａは簡略化された例であり、実際の実施でマッピングされることになるデータ点の数を必ずしも表していないことに留意されたい）。それに応じて、図５Ａは、人２１０の胴が表示エリアの中心に移動されるように画像を変更する決定がなされることを示す。
【００５７】
図５Ｂの例に関して、これは、人２１０がすでに、胴が中心に位置するように表示エリア２２０で表示されることを示す。しかしながら、図５Ｂは、観察者の目２００の凝視が、人２１０の頭のエリア５００に集中していることを示す。それ故に、頭は、データ点のマッピング（「ｘ」）に基づいて観察者に最も関心のある人２１０の部分であると決定できる。それに応じて、図５Ｂは、人２１０の空間位置が、頭を表示エリア２２０の中心に移動させることによって変更されることを示す。
【００５８】
図４Ｄは、図４ＢでのステップＳ４４４の分析を実施するためのプロセスの例を示す流れ図である。特に、このプロセスは、ズームインおよびズームアウト変更が所定期間の間に観察者の注視を受ける表示エリア２２０の範囲に応じてもたらされることを示すルールを適用する。
【００５９】
これらのルールによると、大きな範囲（例えば、凝視場所の広い散在）は、ズームアウトを結果的にもたらすことになる。逆に、小さな範囲（凝視場所のすべてまたは大部分は互いに非常に近接している）は、ズームインを結果的にもたらすことになる。
【００６０】
図４Ｄを参照すると、ステップＳ４４４０は、データ点のマッピングに基づいて表示エリア２２０上の注視範囲を決定する。このステップは、所定期間（例えば、２秒）にわたってサンプリングされた一連のデータ点を分析してもよい。この分析に基づいて、注視範囲は、データ点の所定の集中がマッピングされた表示エリア２２０の範囲として決定されてもよい。この所定の集中は、その期間の間に視線追跡デバイス１１０によってサンプリングされる使用可能なデータ点のある割合として、または単にデータ点の特定の数として定義されてもよい。
【００６１】
図４ＤのステップＳ４４４２によると、注視範囲が、第１の所定範囲よりも小さいかどうかに関する判断が行われる。もし答えが「イエス」であるならば、観察者の意図は、物体２１０についてズームインすることであると決定され、それ故に、画像は、ステップＳ４４４４に従ってズームイン操作を行うことによって変更されるべきである。
【００６２】
そのようなズームインは、データ点のマッピングに基づいて最高度の注視を受ける物体２１０のエリア５００に焦点を合わされてもよい。別法として、ズームインは、特にもし図４Ｃのプロセスがすでにエリア５００を表示エリア２２０の中心に移動させているならば、画像の中心に焦点を合わされてもよい。そのため、ズームイン操作は、表示される物体２１０の拡大を結果的にもたらしてもよい。
【００６３】
図４Ｄを再度参照すると、もしステップＳ４４４２が、注視範囲は第１の所定範囲よりも小さくないと決定するならば、ステップＳ４４４６は、注視範囲が第２の所定範囲よりも大きいかどうかを判断する。もし答えが「イエス」であるならば、観察者の意図は、物体２１０の見え方がより広く見えることであると決定され、それ故に、ズームアウト操作が、ステップＳ４４４８に従って画像に行われる。このズームアウトは、表示される物体２１０の縮小を結果的にもたらしてもよい。逆に、もしステップＳ４４４６が、注視範囲は第２の所定範囲よりも大きくないと判断するならば、ズームインもズームアウトも、必要とされないと決定される。
【００６４】
図４ＤでのステップＳ４４４２〜Ｓ４４４８の順序は、重要でないことに留意すべきである。プロセスは、例えばズームインをするかどうかを決定する前にズームアウトをするかどうかを決定するために、これらのステップの順序を変えるように変更されてもよい。また、ズームインおよびズームアウトの両方に関して決定をすることも必要でない。例えば、もしズームイン機能性だけが、観察者に提供されるならば、図４Ｄは、ステップＳ４４４６およびＳ４４４８を省略するように変更されることもあり得る。逆に、もしズームアウト機能性だけが提供されるならば、ステップＳ４４４２およびＳ４４４４は、省略されてもよい。
【００６５】
その上、例となる実施形態によると、ズーミング目的のために用いられる第１の所定範囲および／または第２の所定範囲は、入力デバイスを介して観察者によって定義されてもよい。しかしながら、代替実施形態によると、第１および第２の所定範囲は、画角かまたは高さ／幅パラメータに従って定義されてもよい。
【００６６】
第１および第２の所定範囲が、所定画角としてそれぞれ定義される、例となる実施形態を最初に考える。そのような実施形態では、ステップＳ４４４２およびＳ４４４６の比較が行われる前に、注視範囲は、観察者の目２００と表示エリア２２０との間の距離が周知であると仮定して、対応する画角に変換されてもよい。そのような距離は、例えば視線追跡デバイス１１０で用いられる画像処理技術によって決定できることもある。その上、第１および第２の所定範囲に対応する画角は、表示エリア２２０全体に対応する観察者の画角に関連して設定されてもよい。
【００６７】
この実施形態の具体例は、次の通りである。もし表示エリア２２０全体の観察者の画角が３０度であるならば、図４Ｄのプロセスは、ユーザーが彼／彼女の注視範囲を２秒の長さにわたって５度未満の画角に狭くするときは、ズームイン操作が実行されることになると決定してもよい。別法として、プロセスは、観察者の注視範囲が２秒の長さにわたって２５度よりも大きい画角に増加したときは、ズームアウト操作が実行されるべきであると決定してもよい。
【００６８】
第１および第２の所定範囲が、高さおよび幅パラメータのそれぞれの組に従って定義される、例となる代替実施形態を次に考える。そのため、注視範囲はまた、図４ＤでのステップＳ４４４２およびＳ４４４６の比較を行う前に、垂直および水平方向の対応する長さに変換されてもよい。また、ステップＳ４４４２およびＳ４４４６の各々は、注視範囲の最大長さ（垂直または水平の）を所定範囲の対応する高さまたは幅パラメータと比較するように設計されてもよい。例えば、もし注視範囲の水平長さが、垂直長さよりも長いならば、そのとき水平長さは、第１および第２の所定範囲の幅パラメータとそれぞれ比較されることになる。逆に、もし注視範囲の垂直長さが、水平長さよりも長いならば、垂直長さは、第１および第２の所定範囲の高さパラメータとそれぞれ比較されることになる。その上、この実施形態では、第１および第２の所定範囲の各々の高さおよび幅パラメータは、表示デバイス１３０の表示エリア２２０全体の高さおよび幅に関連して設定されることもあり得る。
【００６９】
この代替実施形態の具体例は、次の通りである。図４Ｄのプロセスは、観察者の注視範囲の最大長さ（垂直または水平の）が、２秒の長さにわたって表示エリア２２０の対応する高さ／幅パラメータの１／６よりも短いときは、ズームイン操作が実行されるべきであると決定してもよい。別法として、プロセスは、ユーザーの注視範囲の最大長さ（垂直または水平の）が、２秒の長さにわたってスクリーンの対応する辺の長さの２／３よりも長いときは、ズームアウト操作が実行されることになると決定してもよい。
【００７０】
図４Ｄのプロセスでは、次のパラメータのいずれかが、入力デバイスの使用を通じて観察者によって設定されてもよく、そのパラメータは、観察者の注視範囲を測定するための期間、ズームインおよびズームアウト操作のためのズーミング比率、ならびに第１および第２の所定範囲に対応するしきいパラメータのいずれかである。別法として、前述のパラメータのいずれかまたはすべては、例えばコンピュータデバイス１２０で実施される訓練プロセスによって自動的に決定されてもよい。
【００７１】
図６Ａおよび６Ｂは、表示される物体２１０の観察者の画角がどのように図４Ｃのプロセスで実行されるズーミング操作に従って変更される可能性があるかの例を示す。特に、図６Ａおよび６Ｂでは、観察者の視線の原点は、点６００として例示される（各目２００の視線はわずかに異なる点から生じているので、これは簡略化である）。これらの図で示されるように、画角（「ＡＯＶ」）は、物体２１０（円または球として例示される）の倍率（ズーム）レベルに基づいている。相対的に、図６Ａおよび６Ｂは、物体２１０についてのより小さい倍率（ズーム）レベルが、より大きい倍率（ズーム）レベルよりも小さい画角（「ＡＯＶ」）を結果的にもたらすことを示す。それ故に、ズーム操作に従って画像で物体２１０を縮小または拡大することは、その物体２１０についての画角の変更を結果的にもたらす。
【００７２】
図６Ｃは、図４Ｄのプロセスによって決定されるように、ズームイン操作に従って画像を変更する例を示す。図６Ｃの例では、所定期間にわたって追跡される視線のデータ点は、物体２１０のエリア５００に集中している。点線は、画角として定義される、観察者の決定された注視範囲を示す。図６Ｃは、この注視範囲が、図４Ｄの第１の所定範囲よりも小さく、結果的に画像のズームインをもたらすことを示す。
【００７３】
図６Ｄは、図４Ｄのプロセスによって決定されるように、ズームアウト操作に従って画像を変更する例を示す。図６Ｄでは、所定期間にわたって追跡される視線のデータ点は、表示エリア２２０に全体的にわたってエリア５００内に散在している。この図の点線は、画角として定義される注視範囲を示す。図６Ｄは、注視範囲が、図４Ｄの第２の所定範囲よりも大きく、結果的に画像のズームアウトをもたらすことを示す。
【００７４】
図４Ｅは、図４ＢでのステップＳ４４８の分析を実施するためのプロセスの例を示す流れ図である。図４Ｅのこのプロセスは、物体２１０の表面が三次元座標空間で（例えば、ｘ、ｙ、およびｚ軸に従って）幾何学的に定義され、それ故に、異なる観察方向に従って表示できるとき、適用可能である。例えば、コンピュータデバイス１２０は、物体２１０の三次元モデル（または物体２１０がそれの一部である三次元モデル）を表示するように表示デバイス１３０を制御していてもよい。
【００７５】
特に、図４Ｅのプロセスは、表示される物体２１０の観察方向を変えることによる（すなわち、回転させることによる）現在の画像への変更を決定するためのルールを定義する。図４Ｅは、限定することを意図していないことに留意されたい。それに応じて、物体２１０を回転させるための所望のルールを実施するために、その中のさまざまなステップの順序は、変えられてもよく、ステップのいくつかは、省略されてもよい。
【００７６】
図４Ｅを参照すると、ステップＳ４４８０は、図４ＢのステップＳ４４０でのデータ点のマッピングに基づいて、表示エリア２２０のどの領域が、ある長さの時間にわたって最高度の注視を受けるかを決定する。特に、ステップＳ４４８０は、決定される領域として、データ点の大半がマッピングされる表示エリア２２０での領域を選択してもよい。次いで、ステップＳ４４８１は、決定された領域が表示される物体２１０の境界の外側であるかどうかを判断する。もし答えが「イエス」であるならば、ステップＳ４４８２は、画像が、物体２１０を決定された領域の方へ回転させることによって変更されるべきであることを示す。
【００７７】
それ故に、ルールとして、観察者が、所定の長さの時間にわたって表示エリア２２０の境界上の１つの場所を凝視するとき、これは、図４Ｅのプロセスによって、対応する方向に物体２１０を回転させようとする観察者の意図として解釈される。
【００７８】
図４Ｅを再度参照すると、ステップＳ４４８３は、マッピングされたデータ点を物体表面が定義される三次元空間に変換するために逆投影プロセスを利用する。基本的には、各データ点は、観察者の目２００から表示エリア２００への視線を定義する。ステップＳ４４８３の逆投影プロセスは、三次元空間で定義される物体２１０の表面とのそのような視線の交点を計算する。これは、各データ点のｘ、ｙ座標に逆投影マトリックスをかけることによって達成でき、結果的に物体２１０の三次元表面上の対応する点のｘ、ｙ、ｚ座標をもたらす。例えば、逆投影マトリックスは、物体２１０の三次元表面を表示デバイス１３０の二次元画像平面（スクリーン）に描画するために使用される投影マトリックスの逆として計算されてもよい。Ｏｐｅｎ  Ｇｒａｐｈｉｃｓ  Ｌｉｂｒａｒｙ（ＯｐｅｎＧＬ）は、逆投影プロセスを二次元データ点に直接適用するための機能を提供することにさらに留意されたい。
【００７９】
それに応じて、ステップＳ４４８３では、一組のデータ点は、物体の三次元表面上の一組の注視点に変換される。これらの注視点は、以下でより詳細に論じられるように、物体表面のどの領域が、観察者に最も関心があるかを決定するために使用されてもよい。
【００８０】
例となる実施形態によると、視線追跡デバイス１１０は、ステップＳ４４８３の逆投影プロセスをサンプリングされたデータ点に適用し、画像をどのように変更するかに関するさらなる決定のために、結果として得られる注視点をコンピュータデバイス１２０に送るように構成されてもよい。しかしながら、代替実施形態では、コンピュータデバイス１２０は、視線追跡デバイス１１０から受け取られるデータ点について逆投影プロセスを実行するようにプログラムされてもよい。
【００８１】
図４Ｅを再度参照すると、ステップＳ４４８４は、三次元物体表面の複数の定義領域のどれが最高度の顕著度または重要度を有するかを決定するために注視点を使用する。
【００８２】
物体２１０の表面は、表面の形状に基づいて領域に分割されてもよい。例えば、物体２１０が、多角形メッシュに従って三次元空間で定義される場合には、表面領域は、そのようなメッシュの面に従って定義されてもよい。しかしながら、表面領域は、そのようなメッシュに基づいて定義される必要はない。表面は、物体２１０の知覚的に重要な特徴および／または他の基準に基づいて領域化されてもよい。
【００８３】
例となる実施形態によると、ステップＳ４４８４は、単に注視点をそれらの対応する表面領域にマッピングし、最多数の注視点を持つ表面領域を選択することによって最も顕著な表面領域を決定してもよい。
【００８４】
代替実施形態では、顕著度に関係する他の要因が、最も顕著な表面領域を決定するためにマッピングされた注視点と組み合わされてもよい。例えば、各表面領域は、それの内容が参照により本明細書に組み込まれる、Ｌｅｅ他、「Ｍｅｓｈ  Ｓａｌｉｅｎｃｙ」、ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＡＣＭ  ＳＩＧＧＲＡＰＨ  ２００６、６５９〜６６６頁で述べられるメッシュ顕著度法に基づいて顕著度値を事前に割り当てられてもよい。メッシュ顕著度法は、それらの相対的形状（特に、湾曲）に基づいて三次元メッシュのさまざまな領域について顕著度を計算する。メッシュ顕著度法を使用すると、周囲の領域から幾何学的にユニークな物体２１０の表面領域は、周囲の領域と幾何学的に似た表面領域よりも高い事前顕著度値を割り当てられることになる。これらの事前顕著度値は次いで、その中にマッピングされる注視点の数に基づいてそれぞれの表面領域に割り当てられる「重み」と組み合わされることもあり得る。特に、各表面領域は、０から１の間の重みを割り当てられてもよく、それによってより多数の注視点を持つ表面領域は、１により近い重みを有し、一方より少数の注視点を持つ表面領域は、０により近い重みを有する。各表面領域について、割り当てられた重みおよび事前顕著度値は、掛け算されてもよい。次いで、最も高い掛け算結果に対応する表面領域は、物体２１０の最も顕著な表面領域として選択できる。
【００８５】
もちろん、注視点は、ステップＳ４４８４に従って物体２１０の最も顕著な表面領域を決定するために、他のパラメータと組み合わされてもよく、または他の方法で使用されてもよい。
【００８６】
図４Ｅを再度参照すると、ステップＳ４４８５では、画像の現在の観察方向がすでに、ステップＳ４４８４で決定されるような最も顕著な領域の方を向いているかどうかに関する判断が行われる。もしそうでないなら、ステップＳ４４８６は、現在の画像が、その観察方向が最も顕著であると決定された表面領域の方を向くように物体２１０を回転させることによって変更されることになると決定する。そのため、物体２１０の観察方向は、最も顕著な表面領域のより良い見え方を提供するように変更される。
【００８７】
図７Ａおよび７Ｂは、図４Ｅのプロセスに従って物体の観察方向を変更する例を示す。図７Ａおよび７Ｂでは、人の頭は、表示エリア２２０で表示される物体２１０として例示される。
【００８８】
特に、図７Ａは、人の顔に対応する表面領域７００が、人の頭２１０の最も顕著な表面領域であると決定される状況を例示する。それ故に、画像は、図４ＥのステップＳ４４８５に従って、観察方向が人の顔の方へ直接向かうように人の頭２１０を回転させることによって変更される。
【００８９】
図７Ｂに関しては、これは、観察者が彼／彼女の凝視の焦点を左側で人の頭２１０に隣接する表示エリア２２０の領域７１０の方へ合わせた状況を例示する。それに応じて、画像は、人の頭２１０を左の方へ回転させることによって変更され、それ故に図４ＥのステップＳ４４８２に従って観察方向を変える。図７Ｂで示されるように、この機能はまた、図７Ａで同様に示されるように、最も顕著な表面領域の方を向くように観察方向を変更するために使用されることもあり得る。
【００９０】
システムの態様のハードウェア実装とソフトウェア実装との間に残された差異はほんの少ししかなく、ハードウェアまたはソフトウェアの使用は、一般に（ある状況ではハードウェアとソフトウェアとの間の選択は重要になる可能性があるという点で、いつもとは限らないが）コスト対効率のトレードオフを表す設計上の選択である。本明細書で述べられるプロセスおよび／またはシステムおよび／または他の技術をもたらすことができるさまざまな手段があり（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい手段は、プロセスおよび／またはシステムおよび／または他の技術が展開される状況とともに変化することになる。例えば、もし実施者が、速度および精度が最重要であると決定するならば、実施者は、主にハードウェアおよび／もしくはファームウェアの手段を選んでもよく、もし柔軟性が最重要であるならば、実施者は、主にソフトウェア実施を選んでもよく、またはさらにもう一度別法として、実施者は、ハードウェア、ソフトウェア、および／もしくはファームウェアのいくつかの組合せを選んでもよい。
【００９１】
前述の詳細な記述は、ブロック図、流れ図、および／または例の使用を介してデバイスおよび／またはプロセスのさまざまな実施形態を説明した。そのようなブロック図、流れ図、および／または例が、１つもしくは複数の機能および／または操作を含有する限りにおいて、そのようなブロック図、流れ図、もしくは例内の各機能および／または操作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または事実上それらの任意の組合せによって個別におよび／または集合的に実装できることが当業者には理解されよう。一実施形態では、本明細書で述べられる主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の統合フォーマットを介して実装されてもよい。しかしながら、本明細書で開示される実施形態のいくつかの態様は、全部または一部において、１つもしくは複数のコンピュータで実行される１つもしくは複数のコンピュータプログラムとして（例えば、１つもしくは複数のコンピュータシステムで実行される１つもしくは複数のプログラムとして）、１つもしくは複数のプロセッサで実行される１つもしくは複数のプログラムとして（例えば、１つもしくは複数のマイクロプロセッサで実行される１つもしくは複数のプログラムとして）、ファームウェアとして、または事実上それらの任意の組合せとして、集積回路に同等に実装でき、ソフトウェアおよび／またはファームウェアのための回路を設計しかつ／またはコードを書き込むことは、この開示を考慮すると十分当業者のスキルの範囲内となることが、当業者には認識されよう。加えて、本明細書で述べられる主題の機構は、いろいろな形態でプログラム製品として配布でき、本明細書で述べられる主題の説明に役立つ実施形態は、その配布を実際に実行するために使用される特定の種類の信号保持媒体にかかわらず適用されることが、当業者には理解されよう。信号保持媒体の例は、次のもの、すなわちフロッピー（登録商標）ディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ、その他などの記録可能型媒体、ならびにデジタルおよび／またはアナログ通信媒体（例えば、光ファイバーケーブル、導波管、有線通信リンク、無線通信リンク、その他）などの伝送型媒体を含むが限定されない。
【００９２】
本明細書で説明された方法でデバイスおよび／またはプロセスを述べ、その後にそのような述べられたデバイスおよび／またはプロセスをデータ処理システムに統合するために工学的慣例を使用することは、当技術分野では一般的であることが当業者には認識されよう。すなわち、本明細書で述べられるデバイスおよび／またはプロセスの少なくとも一部は、妥当な量の実験を介してデータ処理システムに統合できる。典型的なデータ処理システムは一般に、システム装置筺体、ビデオ表示デバイス、揮発性および不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタルシグナルプロセッサなどのプロセッサ、オペレーティングシステム、ドライバー、グラフィカルユーザーインターフェース、およびアプリケーションプログラムなどのコンピュータ要素、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用デバイス、ならびに／またはフィードバックループおよび制御モータ（例えば、位置および／または速度を感知するためのフィードバック、構成要素および／または量を移動させかつ／または調節するための制御モータ）を含む制御システムの１つまたは複数を含むことが、当業者には認識されよう。典型的なデータ処理システムは、データ計算／通信および／またはネットワーク計算／通信システムで典型的に見いだされるような、任意の適切な市販の構成要素を利用して実装されてもよい。
【００９３】
本明細書で述べられる主題は時には、異なる他の構成要素内に含有される、または異なる他の構成要素と接続される異なる構成要素を例示する。そのような描写されるアーキテクチャは、単に例であり、実際には同じ機能性を達成する多くの他のアーキテクチャが、実施できることを理解すべきである。概念的な意味では、同じ機能性を達成するための構成要素の任意の配置は、所望の機能性が達成されるように効果的に「関連している」。それ故に、特定の機能性を達成するために本明細書で組み合わされる任意の２つの構成要素は、アーキテクチャまたは媒介構成要素に関係なく、所望の機能性が達成されるように互いに「関連している」と見ることができる。同様に、そのように関連している任意の２つの構成要素はまた、所望の機能性を達成するために互いに「動作可能に接続されて」いるまたは「動作可能に結合されて」いると見ることもでき、そのように関連することができる任意の２つの構成要素はまた、所望の機能性を達成するために互いに「動作可能に結合できる」と見ることもできる。動作可能に結合できる具体例は、物理的に対になることができかつ／もしくは物理的に相互作用する構成要素および／または無線で相互作用可能でかつ／もしくは無線で相互作用する構成要素および／または論理的に相互作用しかつ／もしくは論理的に相互作用可能な構成要素を含むが限定されない。
【００９４】
本明細書での実質的に任意の複数形および／または単数形の文言の使用に関して、当業者は、文脈および／または適用にふさわしいように、複数形から単数形にかつ／または単数形から複数形に変換することができる。さまざまな単数形／複数形置換は、明瞭にするために本明細書で明確に説明されることもある。
【００９５】
一般に、本明細書で使用され、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の主文）で使用される文言は、全体的に「開いた」文言（例えば、文言「含んでいる」は、「含んでいるが限定されない」として解釈すべきであり、文言「有している」は、「少なくとも有している」として解釈すべきであり、文言「含む」は、「含むが限定されない」として解釈すべきであり、その他）として意図されることが、当業者には理解されよう。もし導入される請求項の記述で具体的な数が意図されるならば、そのような意図は、請求項で明確に記述されることになり、そのような記述がない場合は、そのような意図はないことが、当業者にはさらに理解されよう。例えば、理解の補助として、以下の添付の特許請求の範囲は、請求項記述を導入するために前置きの語句「少なくとも１つの」および「１つまたは複数の」の使用を含有してもよい。しかしながら、同じ請求項が、前置きの語句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含むときでさえ、そのような語句の使用は、不定冠詞「ａ」または「ａｎ」による請求項の記述の導入が、そのような導入された請求項の記述を含有する任意の特定の請求項をただ１つのそのような記述を含有する開示に限定することを示唆すると解釈されるべきでなく（例えば、「ａ」および／または「ａｎ」は典型的には、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきであり）、同じことは、請求項の記述を導入するために使用される定冠詞の使用についても当てはまる。加えて、たとえ導入される請求項の記述の具体的な数が明確に記述されても、そのような記述は典型的には、少なくとも記述される数を意味すると解釈されるべきであることが、当業者には認識されよう（例えば、他の修飾語句がない「２つの記述」の単なる記述は典型的には、少なくとも２つの記述、または２つ以上の記述を意味する）。「Ａ、Ｂ、またはＣ、その他の少なくとも１つ」に似ている慣用表現が使用される場合には、一般にそのような構成は、当業者がその慣用表現を理解することになるという意味に意図される（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを一緒に、ＡおよびＣを一緒に、ＢおよびＣを一緒に、ならびに／またはＡ、Ｂ、およびＣを一緒に、その他を有するシステムを含むことになるが限定されない）。２つ以上の代替文言を提示する、事実上任意の離接語および／または語句は、記述、特許請求の範囲、または図面のいずれであっても、文言の１つ、文言のどちらか、または両方の文言を含む可能性を考慮すると理解すべきであることが、当業者にはさらに理解されよう。例えば、語句「ＡまたはＢ」は、「Ａ」または「Ｂ」または「ＡおよびＢ」の可能性を含むと理解されることになる。
【００９６】
さまざまな態様および実施形態が、本明細書で開示されたが、他の態様および実施形態は、当業者には明らかであろう。本明細書で開示されるさまざまな態様および実施形態は、例示の目的のためであり、限定することを意図せず、その真の趣旨および範囲は、以下の特許請求の範囲によって示される。
【図１】
0005507679.tif 000002
【図２】
0005507679.tif 000003
【図３Ａ】
0005507679.tif 000004
【図３Ｂ】
0005507679.tif 000005
【図４Ａ】
0005507679.tif 000006
【図４Ｂ】
0005507679.tif 000007
【図４Ｃ】
0005507679.tif 000008
【図４Ｄ】
0005507679.tif 000009
【図４Ｅ】
0005507679.tif 000010
【図５Ａ】
0005507679.tif 000011
【図５Ｂ】
0005507679.tif 000012
【図６Ａ】
0005507679.tif 000013
【図６Ｂ】
0005507679.tif 000014
【図６Ｃ】
0005507679.tif 000015
【図６Ｄ】
0005507679.tif 000016
【図７Ａ】
0005507679.tif 000017
【図７Ｂ】
0005507679.tif 000018