(57)【要約】  ビデオカメラからイメージ情報を受信する位置決定モジュールについて説明する。位置決定モジュールは、イメージ情報の中の少なくとも１つの参照フィールドを識別し、識別参照情報を提供する。次いで、位置決定モジュールは、識別参照情報に基づいて位置情報を生成する。位置情報はビデオカメラに対する参照フィールドの位置に関連付けられる。１つの実施形態では、ビデオカメラは固定であり、参照フィールドはユーザ操作装置に結合されている。別の実施形態では、参照フィールドは固定の表示装置に結合されており、ビデオカメラは可動のユーザ操作装置に結合されている。
2009543206.tif 000002
【特許請求の範囲】
【請求項１】
アプリケーションを制御する方法において、
ビデオカメラからイメージ情報を受信するステップであって、前記イメージ情報は表示装置の少なくとも一部を含む場面を捕らえ、前記ビデオカメラはユーザ操作装置に関連付けられるステップ（７０２）と、
前記イメージ情報の中の少なくとも１つの参照フィールドを識別し、識別参照情報を提供するステップであって、前記参照フィールドは前記表示装置に関連付けられるステップ（７０８）と、
前記識別参照情報に基づいて位置情報を生成するステップであって、前記位置情報は前記少なくとも１つの参照フィールドに対する前記ビデオカメラの位置を表すステップ（７１０）と、
前記生成された位置情報に基づいてアプリケーションを制御するステップ（７１２）と
を含むことを特徴とする方法。
【請求項２】
前記イメージ情報の前記受信は、前記表示装置によって示されている特定のオブジェクトに対してユーザがビデオカメラを向けることに応答して前記イメージ情報を受信するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも１つの参照フィールドは、前記表示装置に対して個別の位置に配列された複数の参照フィールドを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記少なくとも１つの参照フィールドは、複数の参照素子の定められたパターンを含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記少なくとも１つの参照フィールドは、少なくとも１つの発光素子を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記アプリケーションの制御は、ユーザが前記ユーザ操作装置を使用して指し示しているオブジェクトを決定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項７】
慣性センサから慣性センサ情報を受信するステップと、前記位置情報を生成するステップにおいて前記参照情報を補完するために前記慣性センサ情報を使用するステップとをさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
請求項１に記載の前記受信、識別、生成および制御を実施する機械実行可能命令を含むことを特徴とする１つまたは複数のコンピュータ可読媒体。
【請求項９】
請求項１に記載の前記受信、識別、生成および制御を実施するように構成された論理を含むことを特徴とする装置。
【請求項１０】
位置情報を提供するシステムであって、
ビデオカメラ（４０４）を含む前記ビデオカメラと関連付けられたユーザ操作装置（４０２）と、
アプリケーションによって生成されたオブジェクトを示す表示装置（４１０）と、
前記表示装置（４１０）に対して定められた位置に配置された少なくとも１つの参照フィールド（４０８）と、
位置決定モジュール（４１８）と
を備え、前記位置決定モジュールは、
前記表示装置（４１０）の少なくとも一部を含む場面を捕らえるイメージ情報を、前記ビデオカメラ（４０４）から受信し、
前記イメージ情報中の前記少なくとも１つの参照フィールド（４０８）を識別して識別参照情報を提供し、
前記少なくとも１つの参照フィールド（４０８）に対する前記ビデオカメラ（４０４）の位置を表す位置情報を、前記識別参照情報に基づいて生成する
ように構成されていることを特徴とするシステム。
【請求項１１】
前記少なくとも１つの参照フィールドは、前記表示装置に対して個別の位置に配列された複数の参照フィールドを含むことを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記少なくとも１つの参照フィールドは、複数の参照素子の定められたパターンを含むことを特徴とする請求項１０に記載のシステム。
【請求項１３】
前記少なくとも１つの参照フィールドは、少なくとも１つの発光素子を含むことを特徴とする請求項１０に記載のシステム。
【請求項１４】
慣性情報を提供する慣性センサをさらに含み、前記位置決定モジュールは、前記位置情報を生成するステップにおいて前記参照情報を補完するために前記慣性センサ情報を使用するように構成されていることを特徴とする請求項１０に記載のシステム。
【請求項１５】
アプリケーションを制御する方法において、
ビデオカメラからイメージ情報を受信するステップであって、前記イメージ情報は、ユーザがオブジェクトに向けているユーザ操作装置の少なくとも一部を含む場面を捕らえるステップ（７０２）と、
前記イメージ情報の中の少なくとも１つの参照フィールドを識別し、識別参照情報を提供するステップであって、前記参照フィールドは前記ユーザ操作装置に関連付けられるステップ（７０８）と、
前記識別参照情報に基づいて位置情報を生成するステップ（７１０）と、
前記位置情報に基づいてユーザが指し示しているオブジェクトを決定するステップ（７１２）と、
前記決定に基づいてアプリケーションを制御するステップ（７１２）と
を含むことを特徴とする方法。
【請求項１６】
前記ユーザが指し示しているオブジェクトは、表示装置によって表示されることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記少なくとも１つの参照フィールドは、前記ユーザ操作装置に関連付けられる複数の参照素子の定められたパターンを含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
慣性センサから慣性センサ情報を受信するステップと、前記位置情報を生成するステップにおいて前記参照情報を補完するために前記慣性センサ情報を使用するステップとをさらに含むことを特徴とする請求項１５に記載の方法。
【請求項１９】
請求項１５に記載の前記受信、識別、生成、決定および制御を実施する機械実行可能命令を含むことを特徴とする１つまたは複数のコンピュータ可読媒体。
【請求項２０】
請求項１５に記載の前記受信、識別、生成、決定および制御を実施するように構成された論理を含むことを特徴とする装置。
【発明の詳細な説明】
【背景技術】
【０００１】
ユーザがアプリケーションを制御することを可能にする様々な種類の装置が存在する。ユーザは、これらのタイプの装置を操作して画面上のポインタを制御したり、ゲームフィギュアの挙動を制御したりすることができる。こうした装置の中で最も普及しているものに、キーボード、マウス装置、ジョイスティック、トラックボール、音声認識ツールなどがある。それほど一般的でないタイプの制御装置には、データグローブ、慣性センサ、無線位置決め機構（ｒａｄｉｏ  ｐｏｓｉｔｉｏｎｉｎｇ  ｍｅｃｈａｎｉｓｍ）などがある。
【発明の開示】
【発明が解決しようとする課題】
【０００２】
既知の制御装置は様々な欠点を抱えている。例えば、制御装置の中には、ある種のアプリケーションを制御するために十分な自由度（ＤＯＦ）でユーザの入力を捕らえることができないものがある。十分な正確性または信頼性を備えていない位置情報を提供する制御装置もある。使いにくい制御装置もある。非常に高価な制御装置もある。既知の制御装置はさらに他の欠点を抱えていることもある。
【０００３】
上述の例示的かつ非限定的な理由のうち少なくとも１つまたは複数により、アプリケーションを制御するためのより満足のいく本方法が当技術分野において必要である。
【課題を解決するための手段】
【０００４】
ビデオカメラからイメージ情報を受信する位置決定モジュールについて説明する。位置決定モジュールは、イメージ情報の中の少なくとも１つの参照フィールドを識別し、識別参照情報を提供する。次いで、位置決定モジュールは、識別参照情報に基づいて位置情報を生成する。位置情報はビデオカメラに対する参照フィールドの位置に関連付けられる。１つの実施形態では、ビデオカメラは固定されており、参照フィールドはユーザ操作装置に結合されている。別の実施形態では、参照フィールドは固定の表示装置に結合されており、ビデオカメラは可動のユーザ操作装置に結合されている。
【０００５】
位置情報はアプリケーションの制御に使用することができる。例えば、アプリケーションは位置情報を使用して表示装置上のマーカ（例えば、画面上のポインタ）の位置を制御することができる。または、ゲームアプリケーションは、位置情報を使用してゲーム内のオブジェクトに対して何らかのアクションを実行させることができる。位置情報のその他の使用も可能である。
【０００６】
ある場合には、参照フィールドは複数の参照素子の定められたパターンを含むことができる。参照素子は例えば赤外線または可視スペクトルの発光素子を含むことができる。
【０００７】
この課題を解決するための手段の項は本明細書で述べる主題の例示であり、したがって特許請求の範囲の項に定める本発明の範囲を限定するものではない。
【０００８】
同じ数字が、本開示と図面を通じて同じ構成要素および特徴を指すために使用される。１００番台の数字は図１で最初に見出される特徴を指し、２００番台の数字は図２で最初に見出される特徴を指し、３００番台の数字は図３で最初に見出される特徴を指し、という具合である。
【発明を実施するための最良の形態】
【０００９】
本開示は、ビデオカメラから得られたイメージ情報に基づいてアプリケーションを制御する本方法を示す。本開示は次のセクションを含む。セクションＡは、本方法を実施する例示的なシステムについて説明し、セクションＢは本方法を実施する例示的な手順について説明する。
【００１０】
一般に、本方法を実施するには少なくとも２つの手法がある。第１の手法は、少なくとも１つの参照フィールドをユーザ操作装置（遠隔制御装置など）に結合する。固定のビデオカメラは、参照フィールドを含むイメージ情報を捕らえる。位置決定モジュールは、イメージ情報の中の参照フィールドを識別し、次いで参照フィールドに基づいて位置情報を計算する。さらに、この位置情報を使用してアプリケーションを制御することができる。第２の手法は、少なくとも１つの参照フィールドを表示装置自体に結合し、ビデオカメラをユーザ操作装置に結合することにより、ビデオカメラがユーザ操作装置と共に動くようにする。可動のビデオカメラは、参照フィールドを含むイメージ情報を捕らえる。位置決定モジュールは、前述の方法でイメージ情報を処理する。
【００１１】
Ａ．例示的なシステム（図１〜６）
一般に、図を参照して説明する諸機能はいずれも、ソフトウェア、ハードウェア（例えば、固定論理回路）、手動処理またはこれらの実装の組合せを使用して実施することができる。本明細書で使用する「論理」、「モジュール」または「機能性」という用語は一般に、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組合せを表す。例えば、ソフトウェア実装の場合、「論理」、「モジュール」または「機能性」という用語は、１つまたは複数の処理装置（例えば、１つまたは複数のＣＰＵ）において実行されるときに特定のタスクを実行するように構成されたプログラムコード（または宣言内容）を表す。プログラムコードを１つまたは複数のコンピュータ可読媒体に格納することができる。
【００１２】
より一般的には、例示されている、論理、モジュールおよび機能性を別個のユニットに分けることは、実際の物理的なグループ分けのほか、かかるソフトウェアおよび／またはハードウェアの割り振りを反映することも、単一のソフトウェアプログラムおよび／またはハードウェアユニットによって実行される様々なタスクの概念的割り振りと対応することもある。例示されている、論理、モジュールおよび機能性は、（例えば、処理装置によって実施される形で）１つの場所に位置することも、複数の場所に配分されることもある。
【００１３】
「機械可読媒体」または類似の用語は、各種記憶装置（磁気、光、固体状態など）を含む、情報をある形で保存するあらゆる種類の媒体を指す。「機械可読媒体」という用語はまた、情報をある地点から別の地点に送る様々な有線および／または無線リンクを含む、情報を表す一時的形態を包含する。
【００１４】
Ａ．１．実施形態Ａ：固定のビデオカメラ（図１〜３）
図１は、本方法の第１の実施形態となるシステム１００を示す。このシステム１００では、ユーザはユーザ操作装置１０２を操作してアプリケーションと対話する。ユーザ操作装置１０２は、遠隔制御装置を含むあらゆる種類の制御機構、あらゆる種類のゲーム制御装置などを含むことができる。ユーザ操作装置１０２は、所望の制御動作を実現するためにユーザが（ユーザの手を使って）あちらこちらに動かすことができる手持ち式装置であってよい。または、ユーザ操作装置１０２は、所望の制御動作を実現するためにユーザが個々に、あちらこちらに動かすことができる１つまたは複数の部材を持つ装置であってよい。または、ユーザ操作装置１０２は、データグローブ型の装置、リストバンド型の装置、ヘッドバンド型もしくは帽子型の装置、靴型の（ｓｈｏｅ−ｂｏｒｎｅ）装置など（またはこれらの組合せ）のような、ユーザが身につける装置を含むことがきる。図示していないが、ユーザ操作装置１０２はまた、入力コマンドおよび他の選択を実行するためのあらゆる種類の制御アクチュエータ（ボタン、ジョイスティック、ノブ、舵取り装置など）を含むことができる。
【００１５】
１つまたは複数の参照フィールド１０４はユーザ操作装置１０２に付されている（または別の形でユーザ操作装置１０２と所定の位置関係に配置されている）。話を簡単にするために、このサブセクションでは、ユーザ操作装置１０２が単一の参照フィールド１０４を含むことを前提とする。参照フィールド１０４は、１つまたは複数の参照素子で構成され得る。１つの例示的な場合では、参照素子は発光ダイオード（ＬＥＤ）などの発光素子を含むことができる。例えば、参照フィールド１０４は、１つまたは複数の赤外線ＬＥＤ、１つまたは複数の可視スペクトルＬＥＤなどで構成され得る。可視スペクトルＬＥＤの場合、ある場面でＬＥＤを他のオブジェクトから区別し易くするために１つまたは複数の原色のＬＥＤを使用することができる。これらのＬＥＤはまた、ある場面でＬＥＤを他のオブジェクトから一層はっきりと区別するために暗い背景のもとに配置され得る。さらにもう１つの実施形態では、単独では電磁エネルギーを生成しない１つまたは複数の受動参照素子（ｐａｓｓｉｖｅ  ｒｅｆｅｒｅｎｃｅ  ｅｌｅｍｅｎｔ）を使用することができる。例えば、参照フィールド１０４は、赤外放射または可視スペクトル線の明白な反射率（ｔｅｌｌｔａｌｅ  ｒｅｆｌｅｃｔａｎｃｅ）によって区別できる１つまたは複数の反射ドットで構成され得る。
【００１６】
また、参照フィールド１０４を他のオブジェクトから区別し易くするため、参照フィールド１０４は所定のパターンで参照素子を配列することができる。後述の図２および図３は、参照素子のこうした例示的なパターン２つを示している。
【００１７】
ビデオカメラ１０６はイメージ情報を捕らえる。イメージ情報は、参照フィールド１０４を含む場面（または少なくともその一部）の描写を提供する。この方法で機能させるため、ユーザがユーザ操作装置１０２を操作していることが見込まれるエリアをビデオカメラ１０６の視野が包含するよう、ビデオカメラ１０６を位置付けることができる。例えば、１つの実施例では、ビデオカメラ１０６をユーザ局の上の天井に位置付けることができる。他の場合では、ビデオカメラ１０６をユーザに向けて壁に位置付けることができる。さらに他の実施例では、システム１００は複数の角度から場面を捕らえる２つ以上のビデオカメラ（図示せず）を含むことができる。
【００１８】
提示されている実施形態では、ビデオカメラ１０６は動かない。他の場合には、ビデオカメラ１０６は動くことができる。例えば、システム１００は、前後にさっと動くか他の方法で動くビデオカメラ１０６を含むことができる。
【００１９】
ビデオカメラ１０６は、イメージ情報を捕らえるあらゆる種類の市販または特定用途向けカメラを含むことができる。通常のビデオは、場面を様々な連続時間状態（ｓｕｃｃｅｓｓｉｖｅ  ｔｅｍｐｏｒａｌ  ｓｔａｔｅ）においてデジタル的に描写する一連のフレームを含む。ビデオカメラ１０６は、イメージ情報を受信するための通常の電荷結合素子（ＣＣＤ）の配列を含んでよい。ビデオカメラ１０６は、所定の頻度を有する電磁放射を選択的に透過するように構成された１つまたは複数のフィルタ１０８を任意に含んでよい。例えば、参照フィールド１０４が１つまたは複数の赤外線ＬＥＤで構成される場合、ビデオカメラ１０６は、赤外線ＬＥＤが生成する赤外放射を選択的に検出するのに有用な赤外線フィルタを含むことができる。
【００２０】
あるいは、参照フィールド１０４が受動参照素子を含む場合、システム１００は、赤外線源など１つまたは複数の放射源（図示せず）を含むことがある。これらの光源は、受動参照素子から反射される光または赤外放射を生成することができる。ビデオカメラ１０６は、反射された光または赤外放射を捉える。
【００２１】
種々の電子装置１１０は、ビデオカメラ１０６が捕らえたイメージ情報を受信し処理することができる。例えば、電子装置は、パソコン、ゲーム機、セットトップボックスなどを含むことがある。図１は、イメージ情報の処理に関わる、電子装置１１０の特徴を一般的に表している。説明を簡単にするために、図１は単一の一体ユニットが実現している電子装置１１０を示している。しかし、電子装置１１０は全て通信可能に結合された複数のユニットであり得る。
【００２２】
まず、電子装置１１０はカメラインタフェースモジュール１１２を含むことができる。カメラインタフェースモジュール１１２は、ビデオカメラ１０６からイメージ情報を受信し、この情報を、電子装置１１０がさらに処理することが可能な形態に任意に変換する。例えば、カメラインタフェースモジュール１１２は、受信したイメージ情報の形式のある面を他の形式に任意に変換することができる。電子装置１１０は、電子装置１１０のマザーボード（図示せず）に結合するビデオカードまたは類似の装置としてカメラインタフェースモジュール１１２を実装することができる。
【００２３】
電子装置１１０はまた、位置決定モジュール１１４を含む。位置決定モジュール１１４の目的は、イメージ情報を分析し、それを基に位置情報を生成することである。位置情報は、ビデオカメラ１０６に対するユーザ操作装置１０２（および対応する参照フィールド１０４）の位置を反映する。この機能を実行するために、位置決定モジュール１１４は、イメージ情報内の参照フィールド１０４を最初に識別し、それにより参照情報を生成することができる。
【００２４】
位置決定モジュール１１４は、様々な方法で参照フィールド１０４を検出することができる。１つの手法では、参照フィールド１０４は、イメージ情報内の他のオブジェクトから区別できる視覚特性を有する１つまたは複数の参照素子を含む。例えば、参照素子が赤外放射を出す場合を想定されたい。この実施形態では、（赤外線フィルタを備えた）ビデオカメラ１０６は、暗い背景のもとで、ユーザ操作装置１０２に付された参照素子を表す明るいスポットを有するイメージ情報を生成することができる。他の場合には、参照素子が原色の光を出すことを想定されたい。この実施形態では、ビデオカメラ１０６は、場面で他のオブジェクトから区別できる明るい原色のスポット（他のオブジェクトは通常、同じ種類の単調な原色の特性を有しない）を有するイメージ情報を生成することができる。これらの参照素子は、暗い背景のもとに配置することにより（例えば、ユーザ操作装置１０２の黒のプレートの上に参照素子を配置することにより）一層容易に検出することができる。
【００２５】
位置決定モジュール１１４はまた、参照フィールド１０４内の参照素子の配列によって形成された表示パターン（ｔｅｌｌｔａｌｅ  ｐａｔｔｅｒｎ）に基づいて参照フィールド１０４を区別することができる。例えば、この機能は、候補の参照素子のパターンを、所定の事前に格納されたパターンと比較することにより実行できる。イメージ情報内の素子のパターンが所定のパターンの１つと合致した場合、位置決定モジュール１１４は、真正の参照フィールド１０４がイメージ情報内に検出されたと結論付けることができる。図２および図３は、有効な参照フィールド１０４の存在と結び付けられる参照素子の例示的なパターンを示している。
【００２６】
潜在的により信頼できる位置決め情報を、より特徴的な参照素子を使用することによって抽出することができる。例えば、参照フィールド１０４は、様々な形、色などを有する参照素子で構成され得る。１つまたは複数の参照素子を他の参照素子との関係で面から持ち上げることにより、これら高位置の参照素子を他の（高位置にない）参照素子から区別することが容易になり得る。
【００２７】
上述のイメージ分析機能は、イメージ情報の中の画素情報を分析することにより実行することができる。位置決定モジュール１１４のこの段階での出力内容は、１つまたは複数の参照フィールド１０４の存在を反映する参照情報である。あるいは、特定の時には、ビデオカメラ１０６は参照フィールド１０４を包含する場面を捕らえないことがある。この場合、処理のこの段階での出力内容は、参照フィールド１０４が検出されなかったことを示すことになる。
【００２８】
位置決定モジュール１１４は次に、決定された参照情報を位置情報に変換する。図１の実施形態における「位置情報」という用語は、ビデオカメラ１０６、表示装置、表示装置上に示されているオブジェクトなどの起点に対する参照フィールド１０４の位置を指す。「位置情報」という用語はまた、起点に対する参照フィールド１０４の向きを説明することもできる。例えば、ある場合において、ユーザはユーザ操作装置１０２を用いて（詳細は後述する）表示画面上に表示されている対象オブジェクトを指すことができる。この場合、位置情報は、表示画面または他の起点に対するユーザ操作装置１０２（および対応する参照フィールド１０４）の位置と向きを説明してよい。
【００２９】
参照情報を位置情報に変換するタスクは、多くの環境特有の要因により異なる。ある場合には、この変換は、１つまたは複数の幾何学的マッピング方程式によって表すことができる。このマッピング方程式は、次のうち１つまたは複数を考慮することができる。１つまたは複数の固定の参照ポイントに対する参照素子の位置、相互関係における参照素子の位置、参照素子の移動など。方程式は、ビデオカメラ１０６がもたらす歪みに対処する様々な補正要因のほか、他の潜在的な考慮を含むことができる。較正手順を用いて位置決定モジュール１１４を較正し、それにより様々なこうした補正要因の決定を容易にすることができる。
【００３０】
一般に、参照フィールド１０４の中の１つの参照素子によって、位置決定モジュール１１４は参照素子の２次元位置を追跡することができる。位置決定モジュール１１４は、２つの参照素子によって、（カメラ１０６が参照素子をまっすぐ見ている場合）３次元空間における参照素子の動きを追跡することができる。また、位置決定モジュール１１４は、２つの参照素子によって、ユーザ操作装置１０２のＺ軸の回転を測定することができる（Ｚ軸は、ビデオカメラ１０６と装置１０２との間に形成される軸を定める）。追加の参照素子を使用することで、参照情報から抽出され得る位置決めの詳細の量がさらに増す。例えば、４つの参照素子によって、位置決定モジュール１１４は、ユーザ操作装置１０２の３次元位置と３次元の向きの両方を追跡することができる。
【００３１】
イメージ情報から集められた位置情報は、例えば他の入力装置１１６から得られるような他の入力内容によって補完することができる。使用できる１つのそうした他の入力装置は、あらゆる種類の慣性センサまたは慣性センサの組合せである。周知のように、慣性センサは、本質的に相対的な位置決め情報を提供する。例えば、慣性センサは、ユーザがユーザ操作装置１０２を一定の割合で５インチ（１２．７ｃｍ）上方に動かしたことを示す位置情報を提供することができる。位置決定モジュール１１４は、この種の補完的位置情報を用いてイメージ情報を介して得られた位置情報の正確性を確認することができる。他の例では、ビデオカメラ１０６が参照フィールド１０４を「見る」ことができないときがある。この場合、慣性センサ（または他の補完的な入力装置）から得られた位置決め情報を用いて、カメラ１０６のイメージ情報の「盲点」を克服することができる。
【００３２】
位置決定モジュール１１４は、生成された位置情報をアプリケーションモジュール１１８に送る。アプリケーションモジュール１１８は、所定の一連の機能を実行することができるあらゆる種類のアプリケーションである。例えば、アプリケーションモジュール１１８は、シミュレーションアプリケーション（フライトシミュレータアプリケーションなど）、あらゆる種類のゲームアプリケーション、インターネットナビゲーションアプリケーションなどを表すことができる。いかなる場合でも、アプリケーションモジュール１１８は位置情報を使用して挙動を制御することができる。この制御の特性は、アプリケーションモジュール１１８自体の性質に依存する。
【００３３】
アプリケーションモジュール１１８は、制御挙動の結果を反映するあらゆる種類の出力内容を提供することができる。例えば、アプリケーションモジュール１１８は、表示インタフェースモジュール１２０を介して視覚的出力を生成することができる。表示インタフェースモジュール１２０は、表示装置１２４の表示画面１２２に視覚的出力を提供する。表示装置１２４は、あらゆる種類のテレビ、あらゆる種類のコンピュータモニタなどであってよい。
【００３４】
システム１００によって影響を受ける制御の性質の理解を容易にするため、様々な個々の例示的なシナリオを考慮されたい。１つのアプリケーションでは、アプリケーションモジュール１１８は表示画面１２２に、ポインタまたはカーソルなどある種のマーカ１２６を表示する。ユーザは、ユーザ操作装置１０２を使って表示画面１２２上の異なる場所を指すことによって、表示画面１２２上の異なる場所にマーカ１２６を移動することができる。このタスクの実行にあたり、前述の移動中にビデオカメラ１０６がユーザ操作装置１０２に付された参照フィールド１０４を「見る（ｓｅｅ）」ことができることが第１の前提となる。位置決定モジュール１１４は、ビデオカメラ１０６が生成したイメージ情報から参照情報を抽出し、次いで参照情報を位置情報に変換する。アプリケーションモジュール１１８は位置情報を用いて表示画面１２２上のマーカ１２６の位置を調整する。これは、１つまたは複数のマッピング方程式を使用して位置情報を画面上のある位置にマッピングすることによって実行され得る。画面上の位置は、ユーザがユーザ操作装置１０２を用いて指しているオブジェクトを反映する。
【００３５】
他のアプリケーションでは、アプリケーションモジュール１１８は、狩猟タイプのゲームにおいてターゲットとすべきオブジェクト１２８を示す。ユーザは、ユーザ操作装置１０２をオブジェクト１２８に向けることによって、オブジェクト１２８をターゲットとすることができる。（この状況では、ユーザ操作装置１０２は、任意選択で武器のような形状でもよい）。位置決定モジュール１１４およびアプリケーションモジュール１１８は、上記のように機能することで、ユーザ操作装置１０２の物理的動きを、ユーザの武器が狙いを定めた画面上のフィールドにおける対応する動きに変換する。第１のアプリケーションまたは第２のアプリケーションのいずれかにおいて、ユーザはユーザ操作装置１０２を使用して、指されている特定のオブジェクトの選択、特定のオブジェクトへの発射などにより、補完的なアクションを実行することができる。他の場合には、ユーザは前述の手法を使用して、ステレオ機器や電気器具など、表示装置によって表示されるとは限らない他のオブジェクトをターゲットとし制御してもよい。
【００３６】
上記の２つの実施例は、ユーザがユーザ操作装置１０２を使用してオブジェクトを指す場合を提示している。しかし、他のアプリケーションでは、ユーザはユーザ操作装置１０２を使用して他の種類の制御を実現することができる。例えば、ユーザはユーザ操作装置１０２を使用して（例えば、所定の方法でユーザ操作装置１０２を振ることによって）固有のジェスチャーを作ることができる。位置決定モジュール１１４はアプリケーションモジュール１１８と共に、ビデオカメラ１０６が捕らえた映像と所定のパターンとを比較することによってジェスチャーを認識することができる。アプリケーションモジュール１１８は、位置情報によって識別されたように、ユーザが作ったジェスチャーのタイプに基づいて制御挙動を実行することができる。
【００３７】
別の例示的な場合では、ゲームアプリケーションは、前述の方法で参照フィールド１０４の位置を追跡することによってユーザの動きを「注視（ｗａｔｃｈ）」し、次いでユーザの動きに基づいて適切な制御を行ってもよい。例えば、シューティングゲームは、ユーザの動きに基づいてユーザを仮想上射撃することを試みてよい。ここでは、ユーザは画面上のオブジェクトに射撃しようとしていないが、射撃されることを回避しようとしている。
【００３８】
他の例示的な場合では、アプリケーションは上述の方法でユーザの動きを監視することができる。アプリケーションは、ユーザの動きを真似た画面上のキャラクタまたは他のオブジェクトを与えることができる。
【００３９】
システム１００ではさらに他のアプリケーションも可能である。
【００４０】
図２および図３は、図１のシステム１００で用いることができる様々な種類の参照フィールドのうちの２つを示している。図２では、参照フィールド２００は参照素子の線形配列を含む。この場合、参照フィールド２００は３つの参照素子を含んでいるが、他の実施形態ではこれよりも多い参照素子または少ない参照素子を含んでいてもよい。参照素子は、赤外線ＬＥＤ、可視スペクトルＬＥＤまたは他の種類の発光機構を含んでよい。あるいは、参照素子は反射ドットなどの受動素子を含むことができる。いずれの場合も、参照素子を暗い（例えば、平たい黒の）背景に固定することにより、ビデオカメラ１０６が捕らえるイメージ情報の中のこうした素子の検出を容易にすることができる。
【００４１】
図３では、別の参照フィールド３００が参照素子の三角配列を含んでいる。（図２を参照して）既に述べた参照フィールド２００の諸特徴はいずれも、図３の参照フィールド３００に適用することができる。また、図３の参照フィールド３００は、三角形の頂点に配置された３つの参照素子が単一の面に配置され、別の参照素子３０２がこの面から離れた位置にあることを示している。このオフセットは、面に対して参照素子３０２を物理的に固定することによって実現することができ、それにより参照素子３０２は他の参照素子よりも遠くに達する。またはオフセットは、（例えば、レンズまたは他の機構を使用して）面から参照素子３０２を事実上持ち上げることによって実現できる。（１つまたは複数のオフセット参照素子を含む）図３の配列は潜在的に、イメージ情報からより詳細な位置決め情報を抽出することを可能にする。
【００４２】
Ａ．２．実施形態Ｂ：ユーザ操作ビデオカメラ（図４および図５）
図４は、ビデオカメラから得られるイメージ情報に基づいてアプリケーションを制御する本方法の第２の実施形態を示している。すなわち、図４はユーザ操作装置４０２がそれに結合されたビデオカメラ４０４を含むシステム４００を表している。例えば、ユーザ操作装置４０２は、遠位端にビデオカメラ４０４を有する遠隔制御装置を含むことができる。この構成では、ビデオカメラ４０４は、遠隔制御装置が向けられているあらゆる対象に向けられ得る。他の実施例では、ユーザ操作装置４０２はあらゆる種類のゲーム制御装置を含むことができる。例えば、ゲーム制御装置は遠位端にビデオカメラ４０４を有する武器を含むことができる。この構成でも、ゲーム制御装置は、遠隔制御装置が向けられているあらゆる対象に向けられ得る。他の場合では、ユーザ操作装置４０２は、一部では、携帯電話などビデオカメラを既に含む何らかの他の装置であり得る。または、（他の機能性を一切伴わない）ビデオカメラ自体をユーザ操作装置４０２として使用することができる。さらに、ビデオカメラ４０４を赤外線フィルタなどあらゆる種類のフィルタ４０６と併せて使用することもできる。
【００４３】
このシステム４００では、１つまたは複数の参照フィールド４０８は、ユーザ操作装置４０２ではなく表示装置４１０自体に対して位置付けられている。例えば、表示装置４１０は、表示画面４１２に隣接する周辺部分を定めるケーシング（ｃａｓｉｎｇ）を含むことができる。１つまたは複数の参照フィールド４０８をこのケーシングに位置付けることができる。
【００４４】
参照フィールド４０８が個別の物理的素子を表す場合、これらの参照フィールドは、あらゆる種類の能動参照素子（ａｃｔｉｖｅ  ｒｅｆｅｒｅｎｃｅ  ｅｌｅｍｅｎｔ）（赤外線ＬＥＤ、原色の可視スペクトルＬＥＤなど）、あらゆる種類の受動参照素子（反射ドットなど）などとして実現することができる。参照素子を暗色の基板に固定することでこれらの素子を他のオブジェクトから区別し易くなり得る。さらに、後述のように、異なる参照フィールド４０８が参照素子のそれぞれ異なる表示パターンを含むことにより、これらの参照フィールド４０８の検出と解釈を容易にすることができる。
【００４５】
別の実施形態では、参照フィールド４０８は、電子装置４１４により表示画面４１２に表示される参照情報を含んでよい。例えば、電子装置４１４は、表示画面４１２の境界部分または表示画面４１２の他の場所に表示特性（ｔｅｌｌｔａｌｅ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）を有する情報を表示することができる。これらの参照フィールド４０８は、これらのフィールド４０８を表示するために使用されている色、これらのフィールド４０８の形、各フィールド４０８を構成する素子のパターン、および／またはこれらのフィールド４０８の任意の他の特性により認識され得る。
【００４６】
電子装置４１４およびその対応する周辺の構成要素は、カメラインタフェースモジュール４１６、位置決定モジュール４１８、他の入力装置４２０（例えば、１つまたは複数の慣性センサを含む）、アプリケーションモジュール４２２および表示インタフェースモジュール４２４を含む。これらのモジュールは、図１を参照して既に述べた方法と関連した方法で作動する。図４の場合、位置決定モジュール４１８は、表示装置４１０に位置的に関連付けられる１つまたは複数の参照フィールド４０８など、起点に対するビデオカメラの位置情報を決定することができる。位置情報の生成は、様々な補正要因によって補完される形で、適切な幾何学方程式を使用して実行され得る。イメージ情報は、ユーザの制御アクションの対象と参照フィールド４０８の両方を直接示すため、システム４００は、単純化された較正手順に依拠することも、これらの手順を一切省略することもできる。
【００４７】
システム４００は様々なシナリオに適用することができる。第１のシナリオでは、ユーザはユーザ操作装置４０２を用いて、表示画面４１２上のマーカ４２６の位置を動かすことができる。第２のシナリオでは、射撃タイプのゲームにおけるように、ユーザはユーザ操作装置４０２を用いて、表示画面４１２上の何らかのゲームのオブジェクト４２８をターゲットにすることができる。他の場合には、ユーザは上記の手法を用いて、ステレオ機器、電気器具など、表示装置が表示しているとは限らない何らかの他のオブジェクトをターゲットにして制御することができる。さらに、既に述べたように、ユーザが画面上のオブジェクトを指す以外の何らかのアクションを実行するためにユーザ操作装置４０２を用いる他のシナリオでシステム４００を使用することもできる。例えば、位置決定モジュール４１８は、ユーザ操作装置４０２を使用してユーザが行ったジェスチャーを検出することができる。
【００４８】
図５は、複数の参照フィールドを含む１つの例示的な表示装置５０２を示している。参照フィールドは表示画面５０４の周辺に配置されている。この場合、参照フィールドは、表示装置５０２のケーシングに結合されている個別の機構を表しているが、そのフィールドを表示画面５０４に表示されているグラフィック情報の一部として電子的に組み込むこともできる。ユーザ操作装置５０６は、参照フィールドの少なくともサブセットを含む、表示装置５０２の少なくとも一部を包含する場面を捕らえるビデオカメラ（図示せず）を含む。
【００４９】
参照フィールドの１つが、例示的な参照フィールド５０８である。この参照フィールド５１８は、例示的な参照素子５１０を含む２つの参照素子を含む。表示装置５０２の各隅に配置された参照フィールドがそれぞれ異なるパターンを持っていることに留意されたい。これにより、位置決定モジュール４１８は、イメージ情報の中の参照フィールドを検出および解釈する際の「手がかり（ｂｅａｒｉｎｇ）」を得ることができる。図５に示した参照フィールドの配列は、多数のタイプの可能な配列の例に過ぎない。他の配列では、図１で示した参照フィールドより多くの参照フィールドまたは少ない参照フィールドとすることができる。また、他の配列は異なるパターンを用いて各々の個別の参照フィールドを実現することができる。
【００５０】
位置決定モジュール４１８は、それが参照フィールドの全てを「見た」場合に、最も信頼できる位置情報を提供することができる。しかし、位置決定モジュール４１８はまた、６つの参照フィールドのうちの３つなど、参照フィールドのサブセットのみを見た場合にも位置情報を提供することができる。
【００５１】
Ａ．３．機能的な処理（図６）
（図１および図４の）電子装置（１１０、４１４）の各種構成要素は、処理装置によって実現することができる。図６は、電子装置（１１０、４１４）の構成要素のあらゆる部分を実現するために使用できる処理機能６０２の一般的な図である。
【００５２】
処理機能６０２は、ＲＡＭ６０４およびＲＯＭ６０６など様々な揮発性メモリおよび不揮発性メモリならびに１つまたは処理装置６０８を含むことができる。メモリ（６０４、６０６）は、処理装置６０８によって実行された場合、上述の各種機能を実行する命令を格納することができる。例えば、こうした命令のサブセットは、図１および図４の位置決定モジュール（１１４、４１８）を実施することができる。処理機能６０２はまた、ハードディスクモジュール、光ディスクモジュールなど、各種媒体装置６１０を任意に含む。処理機能６０２はまた、ユーザから様々な入力内容を受信し、様々な出力内容をユーザに提供する入力／出力モジュール６１２を含む。処理機能６０２はまた、他の装置とデータ交換を行う１つまたは複数のネットワークインタフェース６１４を含むことができる。１つまたは複数の通信バス６１６は、前述の構成要素全てを通信可能に結合する。
【００５３】
各種アプリケーションにおいて、図６に示した処理機能６０２は、追加のモジュールを含むことも、図６に示したモジュールの１つまたは複数を省略することもできる。
【００５４】
Ｂ．例示的な処理（図７）
図７は、図１および図４のシステム（１００、４００）または他のシステムによって実行され得る１つの例示的な手順７００の概要を示している。話を簡単にするために、ある順序で実行される明確な構成ステップとしてある種の動作が記述されている。このような実施形態は、例示的であり、かつ、これに限定されない。ある種の動作は、全てグループ化され単一の動作で実行することができ、またある種の動作は、本開示で示す実施例で用いられる順序と異なる順序で実行することができる。手順７００で実行される処理の性質はセクションＡで既に述べたため、このセクションでは主にこうした動作の要約を示す。
【００５５】
ブロック７０２では、電子装置（１１０、４１４）がビデオカメラ（１０６、４０４）からイメージ情報を受信する。イメージ情報は、１つまたは複数の参照フィールド（１０４、４０６）を含んでよい。ブロック７０４によれば、第１の実施形態において、ユーザ操作装置１０２はそれに結合された１つまたは複数の参照フィールド１０４を含み、ユーザがユーザ操作装置１０２を画面上のオブジェクトまたは画面上に表示されているとは限らない他のオブジェクトに向けること（またはユーザ操作装置１０２を使用して何らかの他のアクションを実行すること）に応じてイメージ情報が得られる。ブロック７０６によれば、第２の実施形態において、ユーザ操作装置４０２はそれに結合されたビデオカメラ４０４を含み、表示装置４１０はそれに結合された１つまたは複数の参照フィールドを含んでおり、ユーザがユーザ操作装置４０２を表示画面４１２または画面上に表示されているとは限らない他のオブジェクトに向けること（またはユーザ操作装置４０２を使用して何らかの他のアクションを実行すること）に応じてイメージ情報が得られる。
【００５６】
ブロック７０８では、位置決定モジュール（１１４、４１８）が受信されたイメージ情報の中に１つまたは複数の参照フィールドの存在を判定し、それにより参照情報を提供する。
【００５７】
ブロック７１０では、位置決定モジュール（１１４、４１８）は識別参照情報に基づいて位置情報を生成する。
【００５８】
ブロック７１２では、アプリケーションモジュール（１１８、４２２）は、位置決定モジュール（１１４、４１８）が提供した位置情報に基づいてある種の制御に影響を与える。このような制御は、１つの例では、ユーザがユーザ操作装置（１０２、４０２）を使用してどんなオブジェクトに向けているかを判定することを伴う。
【００５９】
本発明は、構造的特徴および／または方法論的動作に固有の言語で説明されているが、添付の特許請求の範囲で定義された発明が、説明された固有の特徴または動作に必ずしも限定されないことが理解されるべきである。むしろ、固有の特徴および動作は、特許請求されている発明を実施する例示的な形態として開示されている。
【図面の簡単な説明】
【００６０】
【図１】イメージ情報に基づいてアプリケーションを制御するシステムの第１の実施形態を示す図である。
【図２】図１のシステムの中のユーザ操作装置に結合され得る参照フィールドの例示的な構成を示す図である。
【図３】図１のシステムの中のユーザ操作装置に結合され得る参照フィールドの異なる例示的な構成を示す図である。
【図４】イメージ情報に基づいてアプリケーションを制御するシステムの第２の実施形態を示す図である。
【図５】図４のシステムの中の表示装置に結合され得る複数の参照フィールドの例示的な構成を示す図である。
【図６】図１および図４のシステムにおいて使用され得る電子装置の例示的な構成を示す図である。
【図７】図１および図４のシステムの動作を説明する例示的な手順を示す図である。
【図１】
2009543206.tif 000003
【図２】
2009543206.tif 000004
【図３】
2009543206.tif 000005
【図４】
2009543206.tif 000006
【図５】
2009543206.tif 000007
【図６】
2009543206.tif 000008
【図７】
2009543206.tif 000009
【国際調査報告】
2009543206.tif 000010
2009543206.tif 000011