(57)【要約】  ２つのカメラを使用したポータブル・デバイスの動きを検出する。第１のカメラは、第１の視軸に沿った方向に向けられ、第２のカメラは、第１の視軸とは異なる第２の視軸の方向に向けられる。第２の視軸は、第１の視軸に対して反対方向にすることができる。動き処理部は、第１のカメラからの画像の変化、および第２のカメラからの画像の変化を決定する。動き処理部は、第１のカメラ画像から決定された変化の方向を、第２のカメラ画像から決定された変化の方向と比較する。動き処理部は、この比較に基づいて、ポータブル・デバイスの動きを決定する。
2008502206.tif 000002
【特許請求の範囲】
【請求項１】
動きを検出する装置であって、
第１の視軸に沿って画像を取り込むように構成された第１のカメラと、
前記第１の視軸とは異なる第２の視軸に沿って画像を取り込むように構成された第２のカメラと、
前記第１のカメラおよび前記第２のカメラからの前記画像に基づいて、前記装置の動きを決定するように構成された動き処理部と
を備えることを特徴とする装置。
【請求項２】
前記装置の動きに基づいて画像を表示するように構成されたディスプレイを更に備えることを特徴とする請求項１に記載の装置。
【請求項３】
前記第２のカメラからの画像の少なくとも一部分を表示するように構成されたディスプレイを更に備えることを特徴とする請求項１に記載の装置。
【請求項４】
前記動き処理部は、更に、
前記装置の動きに基づくデータを基地ユニットに通信し、
通信された前記装置の動きに基づいて前記基地ユニットから情報を受信するように構成されることを特徴とする請求項１に記載の装置。
【請求項５】
前記動き処理部が受信した情報は、表示画像を含むことを特徴とする請求項４に記載の装置。
【請求項６】
前記第１の視軸および前記第２の視軸は、反対方向であることを特徴とする請求項１に記載の装置。
【請求項７】
前記第１のカメラは、前記装置の前面に配置されることを特徴とする請求項１に記載の装置。
【請求項８】
前記第２のカメラは、前記装置の後面に配置されることを特徴とする請求項１に記載の装置。
【請求項９】
前記動き処理部は、前記第１のカメラの画像の並進移動、および前記第２のカメラの画像の並進移動を決定し、前記第１のカメラの画像の並進移動、および前記第２のカメラの画像の並進移動に基づいて、前記装置の動きを決定するように構成されていることを特徴とする請求項１に記載の装置。
【請求項１０】
前記第１のカメラまたは第２のカメラが取り込んだ画像の少なくとも１つは、ユーザの顔の画像を含むことを特徴とする請求項１に記載の装置。
【請求項１１】
前記動き処理部は、前記ユーザの顔の画像から決定されたユーザの目の距離に基づいて、前記ユーザから前記装置までの距離を決定するように構成されていることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記ユーザから前記装置までの前記距離に基づいて、画像を表示するように構成されたディスプレイを更に備えることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記第１のカメラ、前記第２のカメラ、および前記動き処理部は、ポータブル装置内に含まれることを特徴とする請求項１に記載の装置。
【請求項１４】
前記第１のカメラおよび第２のカメラは、前記動き処理部から遠隔のポータブル装置内に含まれることを特徴とする請求項１に記載の装置。
【請求項１５】
動きを検出する装置であって、
前記装置の前面から離れる方向に向かう視軸を有し、画像を取り込むように構成された第１のカメラと、
前記装置の後面から離れる方向に向かう視軸を有し、画像を取り込むように構成された第２のカメラと、
前記第１のカメラおよび前記第２のカメラからの前記画像に基づいて、前記装置の動きを決定するように構成され、前記装置の動きに基づいて、表示画像を生成するように構成された動き処理部と、
前記動き処理部により生成された前記表示画像を表示するように構成されたディスプレイと、
を備えることを特徴とする装置。
【請求項１６】
動きを検出するシステムであって、
第１の視軸に沿って配置され、第１のカメラ画像を取り込むように構成された第１のカメラと、
前記第１の視軸とは異なる第２の視軸に沿って配置され、第２のカメラ画像を取り込むように構成された第２のカメラと、
少なくとも２つの第１のカメラ画像、および少なくとも２つの第２のカメラ画像に基づいて、動きパラメータを決定するように構成された動き処理部と、
前記動きパラメータを処理し、前記動きパラメータに基づいて表示信号を生成するように構成された基地装置と、
前記基地装置によって生成された前記表示信号を表示するように構成されたディスプレイと、
を備えることを特徴とするシステム。
【請求項１７】
前記基地装置は、
１つまたは複数の記憶画像を記憶するように構成されたストレージ装置と、
前記動き処理部から前記動きパラメータを受信し、前記動きパラメータに基づいて、少なくとも１つの記憶された画像を修正することによって、前記表示信号を生成するように構成された基地装置プロセッサと、
を更に備えることを特徴とする請求項１６に記載のシステム。
【請求項１８】
前記動き処理部は、前記第２のカメラ画像の少なくとも１つを前記基地装置に通信するように更に構成され、
前記基地装置は、前記第２のカメラ画像の前記少なくとも１つに基づいて、前記表示信号として拡張現実感信号を生成することを特徴とする請求項１６に記載のシステム。
【請求項１９】
前記動きパラメータは、装置の並進移動および装置の回転から選択された少なくとも１つのパラメータを含むことを特徴とする請求項１６に記載のシステム。
【請求項２０】
前記第１のカメラ画像の少なくとも１つは、ユーザの顔の画像を含み、
前記動き処理部は、前記ユーザの顔の画像に基づいて、前記ユーザまでの距離を推定するように更に構成され、
前記基地装置は、前記ユーザまでの距離に基づいて、前記表示信号を生成するように更に構成されることを特徴とする請求項１６に記載のシステム。
【請求項２１】
動きを検出する方法であって、
第１のカメラから複数の画像を受信する工程と、
第２のカメラから複数の画像を受信する工程と、
前記第１のカメラの画像に基づいて第１の画像の並進移動を決定する工程と、
前記第２のカメラの画像に基づいて第２の画像の並進移動を決定する工程と、
前記第１の画像の並進移動と、前記第２の画像の並進移動と、を比較する工程と、
前記比較に基づいて装置の動きを決定する工程と、
を含むことを特徴とする方法。
【請求項２２】
前記装置の前記動きに基づいて表示画像を生成する工程と、
前記表示画像を表示する工程と、
を更に含むことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記第１のカメラからの前記複数の画像はユーザの顔の画像を含み、前記方法は、更に、
前記ユーザの顔の画像から、ユーザの目からの距離を決定する工程と、
前記ユーザの目からの距離に基づいて、前記ユーザから前記装置までの距離を推定する工程と、
を含むことを特徴とする請求項２１に記載の方法。
【請求項２４】
前記装置の動きと、前記ユーザから前記装置までの距離とに基づいて、表示画像を生成する工程と、
前記表示画像を表示する工程と、
を更に含むことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記第２のカメラから複数の画像を受信する工程は、前記第１のカメラに対して反対方向に配置された前記第２のカメラから、画像を受信する工程を含むことを特徴とする請求項２１に記載の方法。
【請求項２６】
動きを検出する方法であって、
第１の視軸に沿って取り込まれた画像と、前記第１の視軸に対して反対方向の第２の視軸に沿って取り込まれた画像と、から決定された、動きパラメータを受信する工程と、
複数の記憶された画像から表示画像を取り出す工程と、
前記動きパラメータに基づいて前記表示画像を修正する工程と、
前記修正された表示画像をポータブル装置に通信する工程と、
を含むことを特徴とする方法。
【請求項２７】
前記第１の視軸に沿って取り込まれた少なくとも１つの画像を受信する工程と、
前記受信した画像に基づいて前記表示画像を修正する工程と、
を更に含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
前記受信した画像に基づいて前記表示画像を修正する工程は、前記受信した画像に基づいて拡張現実感画像を生成する工程を含むことを特徴とする請求項２７に記載の方法。
【請求項２９】
装置の動きの決定するプログラムを記憶したコンピュータ可読の記憶媒体であって、当該プログラムが、
第１のカメラから複数の画像を受信するためのコードと、
第２のカメラから複数の画像を受信するためのコードと、
前記第１のカメラの画像に基づいて第１の画像の並進移動を決定するためのコードと、
前記第２のカメラの画像に基づいて第２の画像の並進移動を決定するためのコードと、
前記第１の画像の並進移動と、前記第２の画像の並進移動と、を比較するためのコードと、
前記比較に基づいて前記装置の動きを決定するためのコードと、
を含むことを特徴とする記憶媒体。
【請求項３０】
修正された表示画像の通信を実行するプログラムを記憶したコンピュータ可読の記憶媒体であって、当該プログラムが、
第１の視軸に沿って取り込まれた画像と、前記第１の視軸に対して反対方向の第２の視軸に沿って取り込まれた画像と、から決定された、動きパラメータを受信するためのコードと、
複数の記憶された画像から表示画像を取り出すためのコードと、
前記動きパラメータに基づいて前記表示画像を修正するためのコードと、
前記修正された表示画像をポータブル装置に通信するためのコードと、
を含むことを特徴とする記憶媒体。
【請求項３１】
動き検出システムであって、
第１の視軸に沿ってゲーム・コントローラの第１の側面に配置され、第１のカメラ画像を取り込むように構成された第１のカメラと、
前記第１の視軸に対して反対方向の第２の視軸に沿って前記ゲーム・コントローラに配置され、第２のカメラ画像を取り込むように構成された第２のカメラと、
前記第１および第２のカメラと通信し、少なくとも２つの第１のカメラ画像、および少なくとも２つの第２のカメラ画像に基づいて、動きパラメータを決定するように構成された動き処理部と、
前記動きパラメータに基づいて、ストレージ装置から表示信号を取り出すように構成されたプロセッサと、
前記ゲーム・コントローラ上に配置され、基地装置によって生成された前記表示信号を表示するように構成されたディスプレイと、
を備えることを特徴とするシステム。
【請求項３２】
前記プロセッサおよびストレージ装置は、前記ゲーム・コントローラに対して外部のゲーム・コンソール内に含まれることを特徴とする請求項３１に記載のシステム。
【請求項３３】
前記プロセッサおよびストレージ装置は、前記ゲーム・コントローラ内に含まれることを特徴とする請求項３１に記載のシステム。
【請求項３４】
前記ストレージ装置は、ゲーム画像を記憶させた記憶媒体を備えることを特徴とする請求項３１に記載のシステム。
【請求項３５】
前記ゲーム・コントローラは、ユーザ入力を受信するように構成された少なくとも１つの入力装置を備えることを特徴とする請求項３１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デュアル・カメラ入力を用いたセンサに関する。
【背景技術】
【０００２】
装置（デバイス（device))の動きの検出は、集中的な数値処理が必要となる時間のかかる作業となりうる。また、動き検出は、デバイスの動きの全体的な測定だけしか提供しないことがある。持ち運びできる物体の動きの検出は、コストの高いハードウェア、および複雑な数値処理技術が必要になることがある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
グローバル・ポジショニング・システム（ＧＰＳ）またはハイブリッド位置決定システムによって行われるような、位置の三角測量（trilateration)を用いた動き検出は、ポータブル・デバイスの動きを検出するためには不十分なことがある。ＧＰＳシステムまたはハイブリッド位置決定システムは、通常、ポータブル・デバイスの動きを検出するためには不十分な精度を備える。ＧＰＳは、初期の位置決定を得るために多大な時間を要することがある。更に、ＧＰＳシステムまたはハイブリッド位置決定システムは、通常、ポータブル・デバイスの回転運動を決定することができない。
【０００４】
ジャイロスコープを組み込んだ動き検出システムは、ポータブル・デバイスの動きを検出するために使用されうる。しかし、このようなシステムは、通常はコストが高く、低コスト設計には適切ではない。動き検出に使用されるジャイロスコープに関連するコストは、ポータブル・デバイス全体の認められる価値を上回ることがある。
【課題を解決するための手段】
【０００５】
複数のカメラを用いたデバイスの動き検出が、開示される。第１のカメラは、第１の視軸に沿った方向に向けることができ、第２のカメラは、第１の視軸とは異なる第２の視軸の方向に向けることができる。第２の視軸は、第１の視軸の実質的に反対方向にすることができる。プロセッサは、第１のカメラからの画像の変化、および第２のカメラからの画像の変化を決定することができ、この決定では、それぞれの変化の方向を決定する。プロセッサは、第１のカメラ画像から決定された変化の方向を、第２のカメラ画像から決定された変化の方向と比較することができる。次いで、プロセッサは、この比較に部分的に基づいてデバイスの動きを決定することができる。
【０００６】
本発明の一態様は、動き検出デバイスを含む。前記動き検出デバイスは、第１の視軸に沿って画像を取り込むように構成された第１のカメラと、第１の視軸とは異なる第２の視軸に沿って画像を取り込むように構成された第２のカメラと、第１のカメラおよび第２のカメラからの画像に部分的に基づいて、デバイスの動きを決定するように構成された動き処理部とを含むことができる。
【０００７】
別の態様では、本発明は、動き検出デバイスを含む。前記動き検出デバイスは、デバイスの前面から離れる方向に向かう視軸を有し、画像を取り込むように構成された第１のカメラと、デバイスの後面から離れる方向に向かう視軸を有し、画像を取り込むように構成された第２のカメラと、第１のカメラおよび第２のカメラからの画像に部分的に基づいて、デバイスの動きを決定するように構成され、デバイスの動きに部分的に基づいて、表示画像を生成するように更に構成された動き処理部と、動き処理部により生成された表示画像を表示するように構成されたディスプレイとを含むことができる。
【０００８】
更に別の態様では、本発明は、動き検出システムを含む。前記システムは、第１の視軸に沿って配置され、第１のカメラ画像を取り込むように構成された第１のカメラと、第１の視軸とは異なる第２の視軸に沿って配置され、第２のカメラ画像を取り込むように構成された第２のカメラと、少なくとも２つの第１のカメラ画像、および少なくとも２つの第２のカメラ画像に部分的に基づいて、動きパラメータを決定するように構成された動き処理部と、動きパラメータを処理し、動きパラメータに部分的に基づいて表示信号を生成するように構成された基地装置と、基地装置によって生成された表示信号を表示するように構成されたディスプレイとを含むことができる。
【０００９】
更に別の態様では、本発明は、動き検出方法を含むことができる。前記方法は、第１のカメラから複数の画像を受け取ること、第２のカメラから複数の画像を受け取ること、第１のカメラ画像に部分的に基づいて第１の画像並進移動を決定すること、第２のカメラ画像に部分的に基づいて第２の画像並進移動を決定すること、第１の画像並進移動を第２の画像並進移動と比較すること、および、その比較に部分的に基づいてデバイスの動きを決定することを含むことができる。
【００１０】
更に別の態様では、本発明は、動き検出方法を含むことができる。前記方法は、第１の視軸に沿って取り込まれた画像、および第１の視軸の実質的に反対方向の第２の視軸に沿って取り込まれた画像から決定された、動きパラメータを受け取ること、複数の記憶された画像から表示画像を取り出すこと、動きパラメータに少なくとも部分的に基づいて表示画像を修正すること、ならびに、修正された表示画像をポータブル・デバイスに通信することを含むことができる。
【００１１】
更に別の態様では、本発明は、１つまたは複数のプロセッサによって実行される１つまたは複数のプロセッサ読取り可能命令を記憶するように構成された、１つまたは複数のプロセッサ読取り可能ストレージ・デバイスを含むことができ、これらの命令は、プロセッサに方法を実行するように指示する。前記方法は、第１のカメラから複数の画像を受け取ること、第２のカメラから複数の画像を受け取ること、第１のカメラ画像に部分的に基づいて第１の画像並進移動を決定すること、第２のカメラ画像に部分的に基づいて第２の画像並進移動を決定すること、第１の画像並進移動を第２の画像並進移動と比較すること、および、その比較に部分的に基づいてデバイスの動きを決定することを含むことができる。
【００１２】
更に別の態様では、本発明は、１つまたは複数のプロセッサによって実行される１つまたは複数のプロセッサ読取り可能命令を記憶するように構成された、１つまたは複数のプロセッサ読取り可能ストレージ・デバイスを含むことができ、前記命令は、プロセッサに方法を実行するように指示する。前記方法は、第１の視軸に沿って取り込まれた画像、および実質的に第１の視軸の反対方向の第２の視軸に沿って取り込まれた画像から決定された、動きパラメータを受け取ること、複数の記憶された画像から表示画像を取り出すこと、動きパラメータに少なくとも部分的に基づいて表示画像を修正すること、ならびに、修正された表示画像をポータブル・デバイスに通信することを含むことができる。
【００１３】
本発明の実施形態の特徴、目的、および利点は、以下に示される詳細な説明から、より明らかとなる。
【発明を実施するための最良の形態】
【００１４】
動き検出機能を有するポータブル・デバイス、および、ポータブル・デバイスの動きを検出する方法が開示される。このデバイスおよび方法は、別々の視軸に沿って配置された複数のカメラから取り込まれた画像を使用する。複数のカメラから取り込まれた画像は、変化の方向を決定するために処理されうる。第２のカメラから取り込まれた画像の変化の方向に対する第１のカメラから取り込まれた画像の変化の方向は、デバイスの動きを検出するために使用されうる。
【００１５】
図１は、動き検出デバイス１００の機能ブロック図である。デバイス１００は、動き処理モジュール（処理部）１５０に結合された第１のカメラおよび第２のカメラ１２０を含む。動き処理モジュール１５０は、例えば、入出力（Ｉ／Ｏ）、コントローラ１５２、およびプロセッサ１５４を含むことができる。動き処理モジュール１５０は、メモリ１６０に結合することができ、かつ通信インターフェース１７０に結合することができる。動き処理モジュール１５０はまた、ディスプレイ１３０および入出力装置１４０に結合することができる。
【００１６】
動き検出デバイス１００は、第１のカメラ１１０および第２のカメラ１２０によって取り込まれた画像に部分的に基づいて、デバイスの動きを検出するように構成されうる。第１のカメラ１１０は、第１の視軸に沿って配置することができ、視軸は、カメラ内の撮像素子から、カメラによって取り込まれた画像の中心へ延びるラインを含むことができる。第２のカメラ１２０は、第２の視軸に沿って配置することができる。第１の視軸は、第２の視軸とは異なることが好ましい。一実施形態では、第２のカメラ１２０は、第１の視軸の実質的に反対方向の第２の視軸に沿って配置することができる。つまり、第１のカメラ１１０がデバイス１００の前面から画像を取り込む場合、第２のカメラ１２０は、デバイス１００の背部から画像を取り込むように配置することができる。カメラ１１０とカメラ１２０が実質的に反対方向に配置されない場合、実質的に直交軸にある視軸でカメラ１１０とカメラ１２０を配置することは有利になりうる。しかし、カメラ１１０および１２０によって取り込まれた画像が完全には相関しないとすれば、任意の２本の視軸が許容されうる。
【００１７】
カメラ１１０および１２０は、アナログ・カメラであってもデジタル・カメラであってもよく、各カメラは、同じであっても互いに異なっていてもよい。カメラ、例えば１１０は、例えば、アナログ・カメラ、電荷結合素子（ＣＣＤ）カメラ、およびＣＭＯＳカメラなど、または、画像を取り込むための他の何らかのデバイスとすることができる。また、カメラ１１０および１２０は、可視画像を取り込むことができ、あるいは、可視スペクトルの外側の画像を取り込むように構成されてもよい。カメラ、例えば１１０は、例えば、可視光カメラおよび赤外線カメラなど、または、画像を取り込むための他の何らかのデバイスとすることができる。
【００１８】
第１のカメラ１１０は、連続画像を取り込むように構成されてもよく、第２のカメラ１２０もまた、連続画像を取り込むように構成されてもよい。カメラが連続的に画像を取り込む場合において、２つの異なる時点で取り込まれた画像が、連続画像とみなされうる。第１のカメラ１１０によって取り込まれる第１の画像が、第２のカメラ１２０によって取り込まれる第１の画像とほぼ同時に取り込まれることは、有利でありうる。同様に、第１のカメラ１１０によって取り込まれる第２または後続の画像が、第２のカメラ１２０によって取り込まれる画像とほぼ同時に取り込まれることは、有利でありうる。第１のカメラ１１０からの画像から、第２のカメラ１２０からのそれに相当する画像までの間の時間は、１秒未満であるべきであり、好ましくは、５００ミリ秒、２５０ミリ秒、２００ミリ秒、１５０ミリ秒、１００ミリ秒、５０ミリ秒、２５ミリ秒、または１０ミリ秒未満である。したがって、例えば、第１の画像が第１のカメラ１１０によって取り込まれる時間と、第１の画像が第２のカメラ１２０によって取り込まれる時間との差は、２５０ミリ秒未満でありうる。
【００１９】
カメラ１１０および１２０によって取り込まれた画像は、動き処理モジュール１５０に通信される。動き処理モジュールは、取り込み画像に基づいて、その発信元のカメラの相対的な動きの方向を決定することができる。例えば、第２の画像の第１の画像に対する左並進移動は、カメラが、画像に対して右に移動したことを表すことができる。あるいは、左並進移動は、画像におけるオブジェクトの移動を表すことができる。動き処理モジュール１５０は、それらの画像を処理し、第１のカメラ１１０によって取り込まれた連続画像に部分的に基づいて、第１のカメラ１１０の動きの相対的方向を決定することができる。同様に、動き処理モジュール１５０は、第２のカメラ１２０からの連続画像を処理し、それらの画像に部分的に基づいて、第２のカメラ１２０の動きの相対的方向を決定することができる。次いで、動き処理モジュール１５０は、第１のカメラ１１０の動きの方向を、第２のカメラ１２０の動きの方向と比較し、この比較に少なくとも部分的に基づいて、デバイス１００の動きを決定する。動き検出の更なる説明を、図４〜８に関連して以下で示す。
【００２０】
動き処理モジュール１５０はまた、通信インターフェース１７０を介して基地装置（図示せず）から信号を受け取ることができる。受け取られた信号は、ディスプレイ１３０に出力するための信号の全部または一部分でありうる。動き処理モジュール１５０は、信号をディスプレイ１３０に出力することができる。ディスプレイは、例えば、ビデオ・ディスプレイ、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマ・ディスプレイ、および発光アレイなど、または、ディスプレイを提供するための他の何らかのデバイスとすることができる。
【００２１】
動き処理モジュール１５０はまた、通信インターフェース１７０を介して他のデバイス（図示せず）に信号を出力する。例えば、動き処理モジュール１５０は、他のデバイスに、検出された動きを表す信号を提供することができる。更に、動き処理モジュール１５０は、１つまたは複数の入出力装置１４０を介してユーザ入力を受け取ることができ、ユーザ入力信号に部分的に基づいて他のデバイスに信号を提供することができる。Ｉ／Ｏ入出力装置１４０には、キー、キーパッド、ボタン、ジョイ・スティック、キーボード、スイッチ、ダイアル、ノブ、マイクロフォン、およびタッチ・スクリーンなど、または、入力を受け取るための他の何らかのデバイスが含まれうる。
【００２２】
デバイス１００は、デバイス１００からの信号出力に少なくとも部分的に基づいて作成された信号を、通信インターフェースを介して受け取ることができる。一実施形態では、デバイス１００は、検出された動きに対応する信号を出力し、検出された動き信号に基づいて修正された表示信号を受け取る。
【００２３】
別の実施形態では、デバイス１００は、１つまたは複数のカメラ１１０および１２０から取り込まれた画像を出力し、また、検出されたデバイスの動きも出力する。次いで、デバイス１００は、出力信号に少なくとも部分的に基づいて修正された信号を受け取ることができる。受け取られた信号は、ディスプレイ１３０に出力される表示信号、および他の出力信号を含むことができる。
【００２４】
更に別の実施形態では、デバイス１００は、１つまたは複数のカメラ１１０および１２０からの取り込み画像を出力し、また、検出されたデバイスの動きも出力する。次いで、デバイス１００は、デバイス１００からの信号出力に基づく拡張現実感画像信号（augmented reality image signal)を受け取ることができる。代替として、デバイス１００それ自体が、拡張現実感画像(augmented reality image)を生成することができる。
【００２５】
次いで、動き処理モジュール１５０は、ディスプレイ１３０に拡張現実感画像を出力することができる。拡張現実感画像は、合成または仮想画像を含むように修正された取り込み画像とすることができる。この拡張された画像は、取り込み画像上に重ね合わされた合成画像を含むことができる。したがって、カメラ、例えば１２０によって取り込まれた画像は、取り込み画像内に存在しない仮想画像を含むように修正されうる。修正された画像は、ディスプレイ１３０を介してユーザに表示されうる。
【００２６】
別の実施形態では、デバイス１００は、ハンドヘルド・デバイスとすることができ、第１のカメラ１１０は、ユーザが一般的な方向で持ったとき、ユーザの顔の画像を取り込むように構成されうる。次いで、動き処理モジュール１５０は、取り込み画像に少なくとも部分的に基づいて、ユーザの顔までの距離を決定することができる。例えば、第１のカメラ１１０は、ユーザの顔の画像を含む画像を取り込むことができる。動き処理モジュール１５０は、画像を処理して、ユーザの目に対応する画像内の点を突き止めることができる。動き処理モジュール１５０は、例えば、目の間の距離を決定し、ユーザからデバイス１００までの距離を推定することができる。
【００２７】
更に別の実施形態では、第１のカメラ１１０は、ユーザの顔の少なくとも２つの画像を取り込むように構成されうる。次いで、動き処理モジュール１５０は、２つの取り込み画像の差異に少なくと部分的に基づいて、ユーザの顔までの距離の変化を決定することができる。例えば、第１のカメラ１１０は、ユーザの顔の画像を含む画像を取り込むことができる。動き処理モジュール１５０は、画像を処理して、ユーザの目に対応する画像内の点を突き止めることができる。動き処理モジュール１５０は、目の間の相対距離を決定する。例えば、相対距離は、ピクセル数としても、全画像幅についての比率としてもよい。動き処理モジュール１５０は、第２の取り込み画像について、目の相対距離の測定を繰り返すことができる。次いで、動き処理モジュール１５０は、２つの相対距離を比較して、デバイス１００に対するユーザの距離の変化を推定することができる。
【００２８】
図１および後続の図に示される様々なモジュールは、ハードウェア、１つまたは複数のプロセッサによって実行されるソフトウェア、あるいは、ハードウェアとプロセッサによって実行されるソフトウェアとの組み合わせとして実装することができる。ソフトウェアは、プロセッサ読取り可能ストレージ・デバイス内に記憶された１つまたは複数のプロセッサ読取り可能命令を含むことができる。１つまたは複数の命令は、モジュールに関連する機能の一部または全部を実行するために、１つまたは複数のプロセッサによって実行することができる。
【００２９】
プロセッサ読取り可能ストレージ・デバイスは、メモリ１６０を含むことができる。メモリ１６０には、ＲＯＭ、ＲＡＭ、不揮発性ＲＡＭ、フラッシュ、磁気メモリ、光メモリ、フロッピー（登録商標）・ディスク、記憶テープ、ＣＤ−ＲＯＭ、およびＤＶＤなど、あるいは、命令、データ、または命令およびデータを記憶するための他の何らかのデバイスが含まれうる。
【００３０】
図２は、動き検出システム２００の機能ブロック図であり、動き検出システム２００は、基地装置２５０と通信する複数のリモート・デバイス１００ａおよび１００ｂを有する。図２に示される実施形態では、第１のリモート・デバイス１００ａは、基地装置２５０と直接結合され直接通信する。第２のリモート・デバイス１００ｂは、ネットワーク２２０を使用して、基地装置と結合され通信する。リモート・デバイス１００ａおよび１００ｂのそれぞれは、例えば、図１の動き検出デバイスでありうる。
【００３１】
基地装置２５０は、１つまたは複数のリモート・デバイス１００ａ〜１００ｂに１つまたは複数のインターフェースを提供するように構成された通信インターフェース２５２を含むことができる。通信インターフェース２５２は、プロセッサ２５４に結合することができる。プロセッサ２５４はまた、メモリ２５６およびストレージ・デバイス２５６に結合することができる。ストレージ・デバイス２５８は、前述のように任意のタイプのプロセッサ読取り可能メモリを含むことができる。
【００３２】
リモート・デバイス１００ａおよび１００ｂは、同じタイプのデバイスであっても異なるタイプのデバイスであってもよい。リモート・デバイス、例えば１００ａは、ポータブル・デバイスであることが有利となりうる。一実施形態では、リモート・デバイス１００ａは、ゲーム・コントローラのような携帯ゲーム装置とすることができる。別の実施形態では、リモート・デバイス１００ａは、ポータブル・コンピュータとすることができる。更に他の実施形態では、リモート・デバイス１００ａは、携帯情報端末、計算機、電話、または他の何らかのタイプのポータブル・デバイスとすることができる。
【００３３】
同様に、基地装置２５０は、ゲーム・コンソール、コンピュータ、サーバ、基地局、ホスト、および複数のコンピュータなど、または、他の何らかのデバイスとすることができる。いくつかの実施形態では、基地装置２５０は、別のリモート・デバイスとすることができる。
【００３４】
第１のリモート・デバイス１００ａと基地装置２５０との間の接続は、有線接続、無線接続、または有線接続と無線接続の何らかの組み合わせとすることができる。有線接続には、電気的接続、機械的接続、および光学的接続など、または、第１のリモート・デバイス１００ａを基地装置２５０に通信できるように結合する他の何らかの様式が含まれうるが、これらに限定されない。無線接続には、ＲＦ接続、マイクロ波接続、光リンク、赤外線リンク、およびオーディオ・リンクなど、または、第１のリモート・デバイス１００ａを基地装置２５０に通信できるように結合する他の何らかの様式が含まれうるが、これらに限定されない。
【００３５】
第２のリモート・デバイス１００ｂを基地装置２５０に接続するネットワーク２２０は、私設網であっても、公衆網であってもよい。更に、ネットワークは、有線ネットワーク、無線ネットワーク、または、有線ネットワークと無線ネットワークの何らかの組み合わせであってよい。ネットワークはまた、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、または広域ネットワーク（ＷＡＮ）であってよい。一実施形態では、ネットワーク２２０は、住居内の無線ＬＡＮとすることができる。別の実施形態では、ネットワーク２２０は、インターネットとすることができる。
【００３６】
通信インターフェース２５２は、２つのリモート・デバイス１００ａおよび１００ｂのみに接続されて示されているが、通信インターフェース２５２は、それぞれ１つまたは複数のリモート・デバイスに接続することができる単一のポートまたは複数のポートを有してもよい。
【００３７】
図２の動き検出システムでは、リモート・デバイス、例えば１００ａの動きは、完全にリモート・デバイス１００ａ内において、完全に基地装置２５０内において、または、リモート・デバイス１００ａおよび基地装置２５０にわたり分散して、検出されうる。
【００３８】
例えば、一実施形態では、基地装置２５０は、第１のリモート・デバイス１００ａにおけるカメラによって取り込まれた画像を受け取ることができる。次いで、基地装置２５０は、取り込み画像に部分的に基づいて、第１のリモート・デバイス１００ａの動きを決定することができる。次いで、基地装置２５０は、取り込み画像および検出された動きに基づいて、表示画像を、第１のリモート・デバイス１００ａに提供することができる。次いで、基地装置２５０は、例えば、第１のリモート・デバイス１００ａ上に表示される拡張現実感画像を提供することができる。
【００３９】
別の実施形態では、第１のリモート・デバイス１００ａは、画像を取り込み、その動きを、取り込み画像に部分的に基づいて検出することができる。第１のリモート・デバイス１００ａは、検出された動き、および取り込み画像のサブセットを、基地装置２５０に通信することができる。例えば、第１のリモート・デバイス１００ａは、複数のカメラの１つから取り込まれた画像のサブセットのみを、通信することができる。次いで、基地装置２５０は、検出された動きを受け取り、取り込み画像のサブセットを受け取り、受け取った動きおよび画像に部分的に基づいて、信号をリモート・デバイス１００ａに提供することができる。例えば、基地装置２５０は、受け取った検出された動きの信号、および受け取った画像のサブセットに部分的に基づいて、拡張現実感表示画像を、リモート・デバイス１００ａに提供することができる。
【００４０】
更に、基地装置２５０は、受け取った取り込み画像に部分的に基づいて、第１のリモート・デバイス１００ａのそのユーザからの距離を推定し、推定距離に部分的に基づいて修正された表示画像を提供することができる。代替として、リモート・デバイス１００ａが、そのユーザからの距離を推定し、推定値を基地装置２５０に通信することができる。基地装置２５０は、距離推定値を受け取り、距離推定値に部分的に基づいて表示画像を生成し、表示画像をリモート・デバイス１００ａに提供することができる。
【００４１】
更に別の実施形態では、基地装置２５０は、取り込み画像、検出された動き、およびユーザ距離推定値の組み合わせを、第１のリモート・デバイス１００ａから受け取り、受け取った信号に部分的に基づいて、表示画像を生成することができる。基地装置２５０は、１つまたは複数のリモート・デバイス、例えば１００ｂに、表示画像を通信することができ、このような１つまたは複数のリモート・デバイスには、第１のリモート・デバイス１００ａが含まれても含まれなくてもよい。
【００４２】
一実施形態では、図２の動き検出システムは、ビデオ・ゲーム・システムとすることができる。リモート・デバイス１００ａおよび１００ｂは、ビデオ・ゲーム・システム用の携帯コントローラであってよく、基地装置２５０は、ビデオ・ゲーム・コンソールまたはゲーム・プロセッサとすることができる。基地装置２５０内のストレージ・デバイス２５８は、例えば、ビデオ・ゲームまたは対話型プレーヤ・ゲームを記憶しているコンパクト・ディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）ような１つまたは複数の光ディスクとインターフェースをとるように構成された、光ディスク・リーダとすることができる。
【００４３】
リモート・デバイス１００ａおよび１００ｂのそれぞれは、ユーザの方向に向けられた面に配置されたビデオ・ディスプレイ１３０を有する携帯コントローラとすることができる。リモート・デバイス１００のための入出力装置１４０は、ボタン、スイッチ、または、例えばユーザの親指または他の指からユーザ入力を受け入れるように配置され構成された装置とすることができる。第１のカメラ１１０は、携帯コントローラの上部中央に配置することができ、ディスプレイ１３０の方向と合致する視軸を有することができる。第２のカメラ１２０は、第１のカメラ１１０の反対方向に配置することができ、第１のカメラ１１０の視軸の実質的に反対方向の視軸を有することができる。
【００４４】
ストレージ・デバイス２５８から再生されるゲームは、例えば、対話型レース・ゲームや対話型路上運転ゲームのようなドライブ・ゲームとすることができる。基地装置２５０またはゲーム・コンソールは、ビデオ表示情報やオーディオ情報などの情報を、携帯コントローラに送ることができる。システムは、携帯コントローラの動きを検知するために、複数のカメラを使用することができる。例えば、携帯コントローラは、ハンドルとして動作することができ、システムは、いつ携帯コントローラが回転させられたかを決定することができる。回転は、ゲーム・システムによってハンドルの回転として解釈することができる。次いで、ゲーム・コンソールは、検知された動きに基づいて、ビデオおよびオーディオ情報を修正することができる。例えば、システムは、携帯コントローラの動きを検知し、ユーザが、携帯コントローラを選択的に回転させることによって、コースをドライブすることを可能にすることができる。
【００４５】
ストレージ・デバイス２５８から表示されうる別のゲームは、例えば、拡張現実感ゲームとすることができる。ユーザは、携帯コントローラの第２のカメラ１２０を、地図、画像、またはライブ・ビューなどのシーンに向けることができる。携帯コントローラ上のディスプレイ１３０は、基地装置２５０ゲーム・コンソールからの１つまたは複数の画像によって拡張された、第２のカメラ１２０によって取り込まれた画像を、表示することができる。
【００４６】
システムは、携帯コントローラの動き、および、第２のカメラ１２０によって取り込まれた画像を監視し、取り込まれた画像および検知された動きに応答して、拡張現実感信号を携帯コントローラに提供することができる。したがって、例えば、ディスプレイ１３０は、ゲーム・コンソールによって提供された情報に基づいて拡張現実感画像が挿入された、第２のカメラ１２０によって取り込まれた画像を、表示することができる。屋外のゲーム設定においては、このようなゲームは、ユーザが、屋内または屋外の設定などの現実的環境を歩き回り、拡張現実感を用いて対話的ゲーム体験を有することを可能にする。このようなゲームには、例えば、ハンティング・ゲームまたは戦闘ゲームが含まれうる。拡張現実感の動物または戦闘員には、例えば、第２のカメラ１２０によって取り込まれた画像を追加することができる。
【００４７】
図３Ａ〜３Ｄは、図１の動き検出デバイスでありうる動き検出デバイス１００の一実施形態の図である。図３Ａは、動き検出デバイス１００の正面図であり、デバイス１００の中央上部にある第１のカメラ１１０の位置、およびデバイス１００の前面に配置されたディスプレイ１３０を示す。デバイス１００の前面はまた、フロント・パネルの左側に配置された第１のユーザ入力装置１４０ａ、および、フロント・パネルの右側に配置された第２のユーザ入力装置１４０ｂを含むことができる。第１のユーザ入力装置１４０ａは、ナビゲーション・パッドとして示され、第２のユーザ入力装置１４０ｂは、ボタンの集まりとして示されている。
【００４８】
図３Ｂは、動き検出デバイス１００の背面図であり、バック・パネルのほぼ中心線上に配置された第２のカメラ１２０の位置を示す。第１のカメラ１１０の視軸は、第２のカメラ１２０の視軸の実質的に反対方向である。２本の視軸は、同じラインに沿っていないが、実質的に平行である。
【００４９】
図３Ｃは、説明のために、直交座標系における動き検出デバイス１００の方向を示す。後続の図において参照される方向は、図３Ｃに示される方向を参照している。図３Ｃに示されるように、動き検出デバイス１００の前面は、正のｘ方向に向き、動き検出デバイス１００の背面は、負のｘ方向に向く。したがって、第１の視軸は、＋ｘ方向であると記述することができ、第２の視軸は、−ｘ方向であると記述することができる。
【００５０】
図３Ｄは、ユーザと関連して動き検出デバイス１００の一実施形態を示す。典型的な構成では、デバイス１００のフロント・パネルは、ユーザの正面に向いている。ユーザは、ディスプレイ１３０を見ることができ、デバイス１００のフロント・パネル上のカメラ１１０は、通常、ユーザの顔の画像を取り込むことができる。
【００５１】
拡張現実感の実施形態では、デバイス１００の図３Ｄに図示されていないバック・パネル上のカメラ１２０が、ユーザの視野内にある画像を取り込むことができる。次いで、システムは、このデバイス、基地装置、またはこれらの組み合わせを使用して、拡張現実感画像をディスプレイ１３０に表示することができる。デバイス１００からユーザまでの距離を推定することによって、ディスプレイ１３０上に示される画像のサイズを決めることができる。システムは、ユーザがディスプレイを見るときに透明な窓を通して見ているかのように、画像サイズが見えるよう調整することができる。しかし、システムは、拡張現実感環境を提供するために、表示される画像に仮想または合成画像を追加することができる。
【００５２】
図４〜８は、１対のカメラによって取り込まれうる画像の例を示す。これらのカメラは、第１のカメラがデバイスの前面に、第２のカメラがデバイスの背面にあるように構成される。これらの画像は、動き検出をデバイスがどのように行うかを例示するのを助けるために用いられる。これらの図は、２つの別個のカメラによって取り込まれた第１および第２の画像を示す。前述のように、後向きカメラによって取り込まれる第１および第２の画像がそれぞれ、前向きカメラによってその第１および第２の画像が取り込まれるのと実質的に同時に取り込まれることは、有利でありうる。また、カメラによって取り込まれる第２の画像は、カメラによって取り込まれる次の画像である必要はない。代わりに、第２の画像とは、カメラによって取り込まれる任意の後続の画像を示すことができる。
【００５３】
図４Ａ〜４Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の例を示す。これらの画像は、デバイスの水平並進移動を例示する。水平並進移動とは、図３Ｃの座標系を用いると、＋ｙまたは−ｙ方向に沿った移動を指すことができる。
【００５４】
図４Ａは、前向きカメラによって取り込まれうる第１の画像４００を示す。用語の第１とは、後続画像と相対的な参照を提供するために使用される相対的な用語である。前向きカメラからの第１の画像４００は、画像内にオブジェクト４０２を示す。図４Ｂは、前向きカメラによって取り込まれた第２の画像４１０を示す。同じオブジェクト４０２は、第２の画像４１０内に現れることができ、第１の画像４００におけるオブジェクト４０２に対し、並進移動させることができる。オブジェクト４０２は、左に移動したものとして例示されている。動き検出デバイスは、２つの画像４００と４１０を比較することによって、動きの方向を決定することができる。動き検出デバイスは、画像について詳細な決定をする必要はない。動き検出デバイスは、画像並進移動があったこと、および画像並進移動の方向だけを決定すればよい。もちろん、動き検出デバイスは、追加の画像解析を行ってもよく、並進移動の方向に加え、並進移動のおおよその大きさを決定してもよい。前向きカメラの取り込み画像におけるオブジェクト４０２は、左に並進移動されるため、動き検出デバイスは、デバイスの動きの方向が、左向きであると決定することができる。ただし、動き検出デバイスは、後向きカメラによって取り込まれた画像を解析することなしに、動きの決定をすることができないことがある。
【００５５】
図４Ｃは、後向きカメラによって取り込まれた第１の画像４２０を示す。第１の画像４２０はまた、画像４２０内にオブジェクト４１２を示す。図４Ｄは、後向きカメラによって取り込まれた第２の画像４３０を示す。第２の画像４３０は、第１の画像４２０内と同様にオブジェクト４１２を示すが、オブジェクト４１２は一方の側に並進移動されている。後向きカメラによって取り込まれたオブジェクト４１２は、右に並進移動されたものとして示されている。したがって、動き検出デバイスは、デバイスの動きの方向が左向きであることを決定することができる。
【００５６】
これらの取り込み画像におけるオブジェクトは、反対方向に並進移動されたように見えるが、２つのカメラは、反対方向に向いているため、動き検出デバイスは、動きの方向が同じであると決定することができる。動き検出デバイスが、２つのカメラによって検知された動きの方向が同じであると決定したので、動き検出デバイスは、デバイスが左に並進移動されたと決定することができる。代替として、動き検出デバイスは、第１のカメラからの画像から画像並進移動の方向を決定してもよい。動き検出デバイスはまた、第２のカメラからの画像から画像並進移動の方向を決定することもできる。動き検出デバイスは、画像並進移動の２つの方向を比較し、デバイスの動きの方向を決定することができる。
【００５７】
図５Ａ〜５Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の更なる例を示す。これらの画像は、動き検出デバイスの垂直並進移動を例示する。
【００５８】
図５Ａは、前向きカメラによって取り込まれた第１の画像５００を示す。第１の画像５００は、画像５００内にオブジェクト５０２を示す。図５Ｂは、前向きカメラによって取り込まれた第２の画像５１０を示す。第２の画像５１０は、第１の画像５００に示されるのと同じオブジェクト５０２を示すが、オブジェクト５０２は、下方に並進移動されている。したがって、動き検出デバイスは、動きの上方向を決定することができる。
【００５９】
図５Ｃは、後向きカメラによって取り込まれた第１の画像５２０を示す。第１の画像５２０は、画像５２０内にオブジェクト５１２を示す。図５Ｄは、後向きカメラによって取り込まれた第２の画像５４０を示す。第２の画像５４０は、後向きカメラの第１の画像５２０に示されるのと同じオブジェクト５１２を示す。ただし、この画像は、下方に並進移動され、デバイスの動きの上方向を表している。
【００６０】
動き検出デバイスは、２組の画像から画像並進移動の方向を比較して、デバイスの動きを決定することができる。取り込み画像が、両方のカメラについて下方への画像並進移動を示したので、デバイスの動きは、上方並進移動であると決定することができる。代替として、動き検出デバイスは、動きの方向を比較し、デバイスの動きを決定することができる。動き検出デバイスが、両組の画像から、動きの上方向を決定したので、動き検出デバイスは、動きが上方並進移動であると決定することができる。
【００６１】
図６Ａ〜６Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の更なる例を示す。これらの画像は、動き検出デバイスのねじれ並進移動を例示する。また、ねじれ並進移動は、動き検出デバイスの回転とみなすことができる。回転は、ｘ方向に延びる回転軸に沿って発生する。
【００６２】
図６Ａは、前向きカメラによって取り込まれた第１の画像６００を示す。第１の画像６００は、画像６００内にオブジェクト６０２を示す。図６Ｂは、前向きカメラによって取り込まれた第２の画像６１０を示す。第２の画像６１０は、第１の画像６００に示されるのと同じオブジェクト６０２を示すが、オブジェクト６０２は、カメラの視軸について反時計回りに回転させられている。これは、動き検出デバイスの反時計回りの回転に対応し、ここでは、方向は、デバイスの前方から見られた場合の反時計回りを示す。したがって、動き検出デバイスは、動きの方向として反時計回りの回転を決定することができる。
【００６３】
図６Ｃは、後向きカメラによって取り込まれた第１の画像６２０を示す。後向きカメラからの第１の画像６２０は、画像６２０内にオブジェクト６１２を示す。図６Ｄは、後向きカメラによって取り込まれた第２の画像６４０を示す。第２の画像６４０は、後向きカメラの第１の画像６２０に示されるのと同じオブジェクト６１２を示す。ただし、この画像は、視軸について時計回りに回転され、動きの方向としてデバイスの反時計回りの回転を表している。
【００６４】
上述のように、動き検出デバイスは、２組の画像から画像並進移動の方向を比較して、デバイスの動きを決定することができる。取り込み画像は、２つのカメラについて反対方向の画像回転を示したため、デバイスの動きは、回転であると決定することができる。この回転の方向は、前面カメラにより示された回転の方向と同じであり、この例では、反時計回りである。
【００６５】
代替として、動き検出デバイスは、動きの方向を比較し、デバイスの動きを決定することができる。動き検出デバイスが、両組の画像から動きの反時計回りの方向を決定したので、動き検出デバイスは、動きがカメラの視軸に沿って反時計回りの回転であったと決定することができる。
【００６６】
図７Ａ〜Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の更なる例を示す。これらの画像は、動き検出デバイスの回転を例示する。回転は、ｚ方向に延びる回転軸に沿って発生する。
【００６７】
図７Ａは、前向きカメラによって取り込まれた第１の画像７００を示す。第１の画像７００は、画像７００内にオブジェクト７０２を示す。図７Ｂは、前向きカメラによって取り込まれた第２の画像７１０を示す。第２の画像７１０は、第１の画像７００に示されるのと同じオブジェクト７０２を示すが、オブジェクト７０２は、画像の右側に並進移動されている。この並進移動は、動き検出デバイスの右側への水平並進移動に対応しうる。したがって、動き検出デバイスは、動きの方向は、右向きであると決定することができる。
【００６８】
図７Ｃは、後向きカメラによって取り込まれた第１の画像７２０を示す。後向きカメラからの第１の画像７２０は、画像７２０内にオブジェクト７１２を示す。図７Ｄは、後向きカメラによって取り込まれた第２の画像７４０を示す。第２の画像７４０は、後向きカメラの第１の画像７２０に示されるのと同じオブジェクト７１２を示す。ただし、この画像は、右に水平に並進移動されている。この水平並進移動は、動きの方向が、水平に左向きであることを表すことができる。
【００６９】
したがって、取り込み画像におけるオブジェクトは、同じ方向に並進移動されたように見えるが、２つのカメラは、反対方向に向いているため、動き検出デバイスは、動きの反対方向を決定する。動き検出デバイスは、前向きカメラの動きの方向が右であるが、後向きカメラの動きの方向が左であることを決定する。動き検出デバイスが、２つのカメラの動きの方向が反対方向であると決定したので、動き検出デバイスは、デバイスがｚ軸について回転したと決定することができる。動き検出デバイスは、更に、デバイスが上方から見られた場合に回転は反時計回りであると、動きの方向から決定することができる。
【００７０】
代替として、動き検出デバイスは、画像並進移動の方向に基づいて、デバイスの移動を決定することができる。動き検出デバイスは、画像並進移動の２つの方向を比較し、デバイスの動きの方向を決定することができる。したがって、前面および背面カメラ画像の両方において画像は右に並進移動したので、デバイスは、上方から見られた場合のデバイスの反時計回りの回転に対応する移動を、決定することができる。
【００７１】
図８Ａ〜８Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の更なる例を示す。これらの画像は、ｙ軸に沿った回転軸についての動き検出デバイスの回転を例示する。
【００７２】
図８Ａは、前向きカメラによって取り込まれた第１の画像８００を示す。第１の画像８００は、画像８００内にオブジェクト８０２を示す。図８Ｂは、前向きカメラによって取り込まれた第２の画像８１０を示す。第２の画像８１０は、第１の画像８００に示されているのと同じオブジェクト８０２を示すが、オブジェクト８０２は、上方に並進移動されている。したがって、動き検出デバイスは、動きのデバイスの方向が下方であると決定することができる。
【００７３】
図８Ｃは、後向きカメラによって取り込まれた第１の画像８２０を示す。第１の画像８２０は、画像８２０内にオブジェクト８１２を示す。図８Ｄは、後向きカメラによって取り込まれた第２の画像８４０を示す。第２の画像８４０は、後向きカメラの第１の画像８２０に示されるのと同じオブジェクト８１２を示す。この画像は、下方に並進移動され、デバイスの動きの上方向を表している。
【００７４】
画像並進移動の反対方向、したがって、動きの反対のデバイスの方向は、ｙ方向に沿って位置する回転軸を中心にデバイスが回転したことを表すことができる。動き検出デバイスは、画像並進移動、または動きの方向を使用して、デバイスの右から見られた場合に回転の方向が反時計回りであると決定することができる。
【００７５】
このように、動き検出デバイスは、複数のカメラによって取り込まれた画像に基づいて動きの方向を決定することができる。例では、２つのカメラのみが示されているが、３つ以上のカメラもデバイスで使用されうる。また、２つのカメラは、実質的に反対方向である視軸を有するものとして示されている。しかし、複数のカメラは、同一ではない、または完全に相関した画像をもたらさない複数の任意の視軸に沿って、配置されうる。
【００７６】
画像から決定された画像並進移動、または動きのデバイスの方向を比較することによって、動き検出デバイスは、デバイスが並進移動したかまたは回転したかを決定することができる。動き検出デバイスは、例えば、２つ以上の画像におけるオブジェクトのサイズを比較することによって、視軸に平行な軸に沿った水平並進移動を決定することができる。画像並進移動および動きの決定の要約が、第１の前向きカメラおよび第２の後向きカメラを有する２つのカメラの実施形態に関する表１に示されている。
【００７７】
【表１】
2008502206.tif 000003
【００７８】
デバイス並進移動および回転の例は、軸上の並進移動および回転について与えられたが、任意のデバイス並進移動または回転が、軸上の並進移動および／または回転の組み合わせに基づいて決定されうる。例えば、任意のデバイス並進移動が、各軸方向におけるデバイス並進移動の組み合わせとして決定されうる。各軸上の並進移動のベクトル和は、任意の３次元位置への並進移動と等しくなりうる。同様に、任意の恣意的な軸に沿った回転は、各軸に沿ったデバイス回転の組み合わせとして決定されうる。
【００７９】
例えば、任意の方向に沿ったデバイスの並進移動は、ｘ、ｙ、およびｚ軸に沿った動きのベクトル和として決定されうる。表１から分かるように、３つの各軸に沿った並進移動は、それぞれ別の軸に沿った並進移動を含まずに決定されうる。したがって、動き検出システムは、例えば、ｘ軸に沿った並進移動を決定し、続いて、ｙ軸およびｚ軸について決定する。合計の並進移動は、各並進移動のベクトル和として決定することができる。
【００８０】
更に、任意の軸に沿った回転は、各軸に沿った回転の和として決定することができる。表１から分かるように、回転の軸を決定するために使用されるカメラ画像の移動は、独立しており、したがって、独立した軸回転は、任意の軸から決定することができる。
【００８１】
いくつかの回転および並進移動については、同じ画像並進移動から決定されるが、異なる画像並進移動の大きさを比較することによって、回転を並進移動と区別することができる。例えば、ｙ軸並進移動およびｚ軸回転はどちらも、左または右への画像並進移動に基づいて決定することができる。しかし、カメラが互いに実質的に反対方向に配置される場合、画像並進移動の大きさは、２つのカメラからの画像についてほぼ同じになるはずである。２つのカメラからの画像並進移動の大きさが異なる場合、システムは、合成並進移動および回転を決定することができる。並進移動の大きさの差異、および差異の方向は、デバイスの並進移動または回転のいずれかに帰せられる画像並進移動の成分を決定するために使用されうる。
【００８２】
図９は、例えば図１の動き検出デバイスまたは図２の動き検出デバイスに、実装することができる、動き検出プロセス９００のフローチャートである。動き検出プロセス９００は、動き検出デバイスが第１のカメラからの第１の画像を取り込むとき、ステップ９０２で開始する。前述のように、第１のカメラは、例えば、前向きカメラとすることができる。
【００８３】
次に、動き検出デバイスは、ステップ９０４に進み、デバイスが第２のカメラからの第１の画像を取り込む。第２のカメラは、例えば、後向きカメラとすることができる。次に、動き検出デバイスは、ステップ９１２に進み、第１のカメラからの第２の画像を取り込む。ステップ９１４で、動き検出デバイスは、第２のカメラからの第２の画像を取り込む。第１および第２の各カメラからの第１および第２の画像は、例えば、メモリまたはある種のストレージ・デバイスに記憶することができる。
【００８４】
次に、動き検出デバイスは、ステップ９２０に進み、第１のカメラからの第１の画像と第２の画像を比較する。ステップ９２２で、動き検出デバイスは、取り込み画像の比較に基づいて、画像並進移動を決定する。代替として、動き検出デバイスは、第１のカメラ画像から動きのデバイスの方向を決定することができる。
【００８５】
次に、動き検出デバイスは、ステップ９２４に進み、動き検出デバイスからユーザまでの距離を決定する。先述のように、動き検出デバイスは、ユーザの顔の画像の解析を評価して、目の間の距離を決定しそれによりデバイスまでの距離を導き出すことによって、ユーザまでの距離を決定または推定することができる。
【００８６】
次いで、動き検出デバイスは、ステップ９３０に進み、第２のカメラによって取り込まれた画像を比較する。ステップ９３２で、動き検出デバイスは、取り込まれた第２のカメラ画像の比較に基づいて、画像並進移動を決定する。代替として、動き検出デバイスは、第２のカメラ画像から動きのデバイスの方向を決定することができる。
【００８７】
次に、動き検出デバイスは、ステップ９４０に進み、第１のカメラ画像から決定された画像並進移動を、第２のカメラ画像から決定された画像並進移動と比較する。動き検出デバイスは、例えば、水平または垂直並進移動の方向および回転の方向を比較することができる。ステップ９５０で、動き検出デバイスは、画像並進移動の比較に部分的に基づいて、デバイスの動きの方向を決定する。
【００８８】
ステップ９５０に進むと、動き検出デバイスはまた、第１および第２のカメラ画像の各対における画像並進移動または画像回転の大きさに部分的に基づいて、デバイスの動きの大きさを決定することができる。ステップ９６０で、動き検出デバイスは、動きパラメータおよび１つまたは複数の画像を、図２に示されるように基地装置または別の動き検出デバイスなど他のデバイスに、通信することができる。動きパラメータは、例えば、並進移動および回転を含む動きの方向、動きの大きさ、ならびにユーザからの距離を含むことができる。これらの画像には、カメラによって取り込まれた画像のうち一部または全部が含まれうる。一実施形態では、動き検出デバイスは、後向きカメラによって取り込まれた画像を通信し、前向きカメラからの画像を通信しない。
【００８９】
次いで、動き検出デバイスは、ステップ９８０に進み、基地装置または別の動き検出デバイスのような他のデバイスから表示信号を受け取ることができる。表示信号は、動き検出デバイスによって通信された画像および動きパラメータに部分的に基づいて生成された信号とすることができる。一実施形態では、動き検出デバイスは、基地装置から拡張現実感表示信号を受け取り、この拡張現実感信号をディスプレイに表示する。
【００９０】
プロセス９００の様々な工程またはステップは、別の順序で行われてもよく、図９に示された順序で行われる必要はない。また、ステップ、または機能を、プロセス９００に追加しても、プロセス９００から削除してもよい。追加のステップ、または機能は、プロセスの始め、プロセスの終わり、あるいは、プロセスの１つまたは複数の既存のステップの間に追加することが可能である。
【００９１】
このように、複数のカメラから取り込まれた画像に部分的に基づいて動きを決定することができる動き検出デバイスが開示された。動き検出デバイスは、第１のカメラから第１の組の画像を比較し、第１の組の画像内の画像並進移動を決定することができる。動き検出デバイスはまた、第２のカメラから第２の組の画像を比較し、第２の組の画像内の画像並進移動を決定することができる。次いで、動き検出デバイスは、第１の組の画像から決定された画像並進移動を、第２の組の画像から決定された画像並進移動と比較することができる。次いで、動き検出デバイスは、この比較に部分的に基づいて動きを決定することができる。
【００９２】
本明細書に開示の実施形態と関連して説明された様々な例示的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特殊用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、ディスクリート・ゲートまたはトランジスタ論理、ディスクリート・ハードウェア・コンポーネント、あるいは、本明細書に記載の機能を実施するように設計されたこれらの任意の組み合わせで実装または実施されうる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替形態では、任意のプロセッサ、コントローラ、マイクロコントローラ、または状態機械としてもよい。プロセッサは、コンピューティング・デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと関連した１つまたは複数のマイクロプロセッサ、または他のそのような任意の構成として実装されうる。
【００９３】
本明細書に開示の実施形態に関して説明された方法、プロセス、またはアルゴリズムの工程は、ハードウェアで直接実施しても、プロセッサによって実行されるソフトウェア・モジュールで実施しても、または、この２つの組み合わせで実施してもよい。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、不揮発性メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、または、当技術分野で知られる他の任意の形態の記憶媒体において存在することができる。例示的記憶媒体は、プロセッサが情報を記憶媒体から読み取りまた記憶媒体に書き込むことができるように、プロセッサに結合される。代替形態では、記憶媒体は、プロセッサと一体化することができる。プロセッサおよび記憶媒体は、ＡＳＩＣ内に存在してもよい。
【００９４】
開示された実施形態の上記の説明は、任意の当業者が本開示を製作するまたは使用することを可能にするために提供された。これらの実施形態に対する様々な修正は、当業者には容易に理解されるであろうし、また、本明細書に定義された一般的原理は、本開示の範囲から逸脱することなしに他の実施形態に適用されうる。したがって、本開示は、本明細書に示される実施形態に限定されるものではなく、本明細書に開示の原理および新規な特徴と一致する最も広い範囲が与えられる。
【図面の簡単な説明】
【００９５】
【図１】動き検出デバイスを示す機能ブロック図である。
【図２】動き検出システムを示す機能ブロック図である。
【図３Ａ】動き検出デバイスの一実施形態を示す図である。
【図３Ｂ】動き検出デバイスの一実施形態を示す図である。
【図３Ｃ】動き検出デバイスの一実施形態を示す図である。
【図３Ｄ】動き検出デバイスの一実施形態を示す図である。
【図４Ａ】カメラによって取り込まれる画像の例示的例を示す図である。
【図４Ｂ】カメラによって取り込まれる画像の例示的例を示す図である。
【図４Ｃ】カメラによって取り込まれる画像の例示的例を示す図である。
【図４Ｄ】カメラによって取り込まれる画像の例示的例を示す図である。
【図５Ａ】カメラによって取り込まれる画像の例示的例を示す図である。
【図５Ｂ】カメラによって取り込まれる画像の例示的例を示す図である。
【図５Ｃ】カメラによって取り込まれる画像の例示的例を示す図である。
【図５Ｄ】カメラによって取り込まれる画像の例示的例を示す図である。
【図６Ａ】カメラによって取り込まれる画像の例示的例を示す図である。
【図６Ｂ】カメラによって取り込まれる画像の例示的例を示す図である。
【図６Ｃ】カメラによって取り込まれる画像の例示的例を示す図である。
【図６Ｄ】カメラによって取り込まれる画像の例示的例を示す図である。
【図７Ａ】カメラによって取り込まれる画像の例示的例を示す図である。
【図７Ｂ】カメラによって取り込まれる画像の例示的例を示す図である。
【図７Ｃ】カメラによって取り込まれる画像の例示的例を示す図である。
【図７Ｄ】カメラによって取り込まれる画像の例示的例を示す図である。
【図８Ａ】カメラによって取り込まれる画像の例示的例を示す図である。
【図８Ｂ】カメラによって取り込まれる画像の例示的例を示す図である。
【図８Ｃ】カメラによって取り込まれる画像の例示的例を示す図である。
【図８Ｄ】カメラによって取り込まれる画像の例示的例を示す図である。
【図９】動き検出プロセスの一実施形態を示すフローチャートである。
【図１】
2008502206.tif 000004
【図２】
2008502206.tif 000005
【図３Ａ】
2008502206.tif 000006
【図３Ｂ】
2008502206.tif 000007
【図３Ｃ】
2008502206.tif 000008
【図３Ｄ】
2008502206.tif 000009
【図４Ａ】
2008502206.tif 000010
【図４Ｂ】
2008502206.tif 000011
【図４Ｃ】
2008502206.tif 000012
【図４Ｄ】
2008502206.tif 000013
【図５Ａ】
2008502206.tif 000014
【図５Ｂ】
2008502206.tif 000015
【図５Ｃ】
2008502206.tif 000016
【図５Ｄ】
2008502206.tif 000017
【図６Ａ】
2008502206.tif 000018
【図６Ｂ】
2008502206.tif 000019
【図６Ｃ】
2008502206.tif 000020
【図６Ｄ】
2008502206.tif 000021
【図７Ａ】
2008502206.tif 000022
【図７Ｂ】
2008502206.tif 000023
【図７Ｃ】
2008502206.tif 000024
【図７Ｄ】
2008502206.tif 000025
【図８Ａ】
2008502206.tif 000026
【図８Ｂ】
2008502206.tif 000027
【図８Ｃ】
2008502206.tif 000028
【図８Ｄ】
2008502206.tif 000029
【図９】
2008502206.tif 000030
【国際調査報告】
2008502206.tif 000031