(57)【要約】システムは、可動ハンドヘルド装置にある少なくとも一つの光源と、上記光源からの光を検出する少なくとも一つの光検出器と、少なくとも一つの光検出器からのデータを受信する制御ユニットとを有する。制御ユニットは、少なくとも一つの光検出器からのデータから少なくとも二次元においてハンドヘルド装置の位置を決定し、ディスプレイ上の特徴を制御するために位置を変換する。
2004517406.tif 000002
【特許請求の範囲】
【請求項１】
可動のハンドヘルド装置にある少なくとも一つの光源と、
上記光源からの光を検出する少なくとも一つの光検出器と、
上記少なくとも一つの光検出器からの画像データを受信する制御ユニットとを有するシステムであって、
上記制御ユニットは、上記少なくとも一つの光検出器からの上記画像データから少なくとも二次元において上記ハンドヘルド装置の位置を検出し、ディスプレイ上の特徴を制御するために上記位置を変換するシステム。
【請求項２】
上記少なくとも一つの光検出器は、ディジタルカメラである請求項１記載のシステム。
【請求項３】
上記ディジタルカメラは、上記ハンドヘルド装置によって発せられた光を含む一連のディジタル画像を捕捉し、上記一連のディジタル画像は上記制御ユニットに送信される請求項２記載のシステム。
【請求項４】
上記制御ユニットは、上記ディジタルカメラから送信された上記一連の画像において上記ハンドヘルド装置の上記光の画像を検出する画像検出アルゴリズムを有する請求項３記載のシステム。
【請求項５】
上記制御ユニットは、上記画像における上記検出されたハンドヘルド装置の位置をディスプレイのディスプレイ空間にマッピングする請求項４記載のシステム。
【請求項６】
上記ディスプレイ空間にマッピングされた位置は、上記ディスプレイ空間における特徴の動きを制御する請求項５記載のシステム。
【請求項７】
上記ディスプレイ空間における上記特徴はカーソルである請求項６記載のシステム。
【請求項８】
上記捕捉された画像は、少なくとも一つの他の目的のために上記制御ユニットによって処理される請求項３記載のシステム。
【請求項９】
上記少なくとも一つの他の目的は、電話会議、画像送信、及び、画像認識の群から選択される請求項８記載のシステム。
【請求項１０】
上記少なくとも一つの光源１０３はＬＥＤである請求項１記載のシステム。
【請求項１１】
上記少なくとも一つの光検出器は、二つのディジタルカメラを有する請求項１記載のシステム。
【請求項１２】
上記二つのディジタルカメラは、上記ハンドヘルド装置によって発せられた光を含む一連のディジタル画像を夫々捕捉し、上記一連のディジタル画像は各カメラによって上記制御ユニットに夫々送信される請求項１１記載のシステム。
【請求項１３】
上記制御ユニットは、上記二つのディジタルカメラから送信された一連の画像夫々において上記ハンドヘルド装置の光の画像を検出する画像検出アルゴリズムを有する請求項１２記載のシステム。
【請求項１４】
上記制御ユニットは、上記ハンドヘルド装置の深さの位置における変化から深さパラメータを決定するために二つのカメラ夫々から受信した画像中の光の位置を用いる深さ検出アルゴリズムを有する請求項１３記載のシステム。
【請求項１５】
上記制御ユニットは、一方のカメラからの少なくとも一つの画像における上記検出されたハンドヘルド装置の位置及び上記深さパラメータをディスプレイのディスプレイ空間における３Ｄレンダリングにマッピングする請求項１４記載のシステム。
【請求項１６】
上記ディスプレイ空間における上記マッピングされた位置は、上記ディスプレイ空間の３Ｄレンダリングにおける特徴の動きを制御する請求項１５記載のシステム。
【請求項１７】
上記少なくとも一つの光検出器が少なくとも一つのディジタルカメラであり、上記ハンドヘルド装置が二つの光源を有する請求項１記載のシステム。
【請求項１８】
上記ディジタルカメラは、上記ハンドヘルド装置の上記二つの光源からの光を含む一連のディジタル画像を捕捉し、上記一連のディジタル画像は制御ユニットに送信される請求項１７記載のシステム。
【請求項１９】
上記制御ユニットは、上記ディジタルカメラから送信された上記一連の画像において上記ハンドヘルド装置の上記二つの光源の画像を検出する画像検出アルゴリズムを有する請求項１８記載のシステム。
【請求項２０】
上記制御ユニットは、上記二つの光源からの上記画像から上記ハンドヘルド装置の少なくとも一つの角の面を決定する請求項１９記載のシステム。
【請求項２１】
上記制御ユニットは、上記画像において検出された上記ハンドヘルド装置の上記少なくとも一つの角の面をディスプレイのディスプレイ空間にマッピングする請求項２０記載のシステム。
【請求項２２】
上記光源は、可視及び赤外線光スペクトル内にある波長を発する請求項１記載のシステム。
【請求項２３】
少なくとも一つの光源を夫々有する二つ以上の可動なハンドヘルド装置と、
上記二つ以上のハンドヘルド装置夫々の上記少なくとも一つの光源からの光を検出する少なくとも一つの光検出器と、
上記少なくとも一つの光検出器から画像データを受信する制御ユニットとを有するシステムであって、
上記制御ユニットは、上記少なくとも一つの光検出器からの上記画像データから少なくとも二次元において上記二つ以上の可動なハンドヘルド装置夫々に対する位置を検出し、ディスプレイ上の二つ以上の夫々の特徴を別々に制御するために上記二つ以上の可動なハンドヘルド装置夫々に対する位置を変換するシステム。
【請求項２４】
上記二つ以上のハンドヘルド装置の上記少なくとも一つの光源は点滅周期で夫々オン及びオフにされ、点滅波長で光を発する請求項２３記載のシステム。
【請求項２５】
上記二つ以上のハンドヘルド装置の上記少なくとも一つの光源の点滅周期は異なる請求項２４記載のシステム。
【請求項２６】
上記二つ以上のハンドヘルド装置の上記少なくとも一つの光源の上記点滅波長は異なる請求項２４記載のシステム。
【請求項２７】
上記点滅波長は可視及び赤外線光スペクトル内にある請求項２６記載のシステム。
【発明の詳細な説明】
【０００１】
［発明の背景］
１．発明の分野
本発明は、無線ポインティングシステム、より特定的には、カーソルを表示するかコンピュータプログラムを制御するためにポインティング装置の場所を決定し、その場所をコンピュータにマッピングする無線ポインティグシステムに関わる。
【０００２】
２．関連技術の説明
コンピュータマウス若しくはライトペンのようなポインティング装置は、コンピュータの世界において一般的である。これら装置は、コンピュータの操作に関してユーザを補助するだけでなく、コンピュータに配線されているインターフェースを必要とすることからユーザを解放する発展段階にある。現在利用できる無線装置のタイプの一つ、例えば、無線マウスは、ポインティング装置の位置を決定するためにジャイロ効果を利用する。この情報は、ディジタル位置データに変換され、例えば、カーソルとしてディスプレイに出力される。これらポインティング装置の欠点は、装置の並進運動よりもむしろ回転運動に依存する点である。回転装置は正確さを低下させ、装置は運動量保存の原理を利用する大きさを必要とするため比較的重い。
【０００３】
更に、特定の波長を有する光を送信するポインティング装置も利用可能である。光は、受信器によって検出され、ディスプレイ上のカーソルのために位置データに変換される。これら装置は、ジャイロの対応物よりも軽量且つ安価であるが、送信及び検出に選択される特定の波長に制限される。
【０００４】
遠隔装置を制御するために光源を組み込む制御装置が市販されている。これら装置の中で最も一般的な装置は、ＶＣＲ、テレビジョン、若しくは、ステレオのようなホームオーディオ及びビデオ機器を作動させる装置である。これらシステムは、遠隔装置又は送信器と、光源又は受信器を含むメインユニットとを有する。遠隔装置は、コマンド信号を送信するために赤外線光源を利用する。通常発光ダイオード（ＬＥＤ）である光源は、メインユニットに送信されるべきコマンドに依存して特定の周期で点滅する。遠隔装置から送信されたコマンド信号は、受信器によって検出され、メインユニットを制御する制御信号に変換される。ＬＥＤ及び受信器は、光信号の検出及び正確な通信を可能にするために同じ波長で動作する。この波長適合設計制約は、中でも、単一波長の送信器に対する受信器の互換性を低下させる。
【０００５】
ディジタルカメラも市場で容易に入手することができる。ディジタルカメラの標準的技術は、主に、荷電結合素子（ＣＣＤ）センサと、相補型金属酸化膜半導体（ＣＭＯＳ）センサとの二つのフォーマットに基づく。ＣＣＤセンサの方がＣＭＯＳセンサと比べて正確であるが、高価であるのに対し、ＣＭＯＳセンサはコストを相当低減させるが正確さが犠牲にされる。各素子は、画像を異なって処理するが、両方とも画像を捕捉することに関して同じ基本的な原理を利用する。ピクセルのアレイは、レンズを通して画像に露光される。各ピクセルの表面に合焦される光は、捕捉される画像の部分によって変化する。ピクセルは、画像が捕捉されたときに入射する光の強度を記録し、この画像は、見ることができるフォーマットに後で処理される。
【０００６】
［発明の要約］
本発明は、ポインティング装置、カーソル、又は、ディスプレイ上の他の特徴的制御部として使用されるべき遠隔装置のような市販のハンドヘルド装置を設けるシステムを提供することを目的とする。本発明は、波長又は周期を考慮せずに例えば、このようなハンドヘルド装置のＬＥＤによって発たれた点滅光を検出するシステムを提供し、この検出を用いてポインティング装置又は他の特徴的制御部を提供することを更なる目的とする。本発明は、校正する必要性を有することなく、標準的なディジタルカメラと、画像検出及び認識処理とをシステムにおいて使用することを更なる目的とする。本発明は、三次元におけるハンドヘルド装置の動き、並びに、３つの角自由度を検出し、ディスプレイ上で３Ｄレンダリングにおいて特徴の対応する動きを提供することを更なる目的とする。
【０００７】
本発明は、発光ＬＥＤを有するハンドヘルド装置を含むシステムを提供する。ＬＥＤから発せられる光は、少なくとも一つのディジタルカメラによって捕捉された装置の画像において検出される。２Ｄ画像における装置の検出された位置は、ディスプレイ上の対応する座標に変換される。ディスプレイ上の対応する座標は、カーソル、ポインティング装置、又は、他の可動特徴を位置探しするために使用されてもよい。従って、システムは、ユーザの手にあるハンドヘルド装置の動きに対応するディスプレイ上のカーソル、ポインティング装置、又は、他の可動特徴の動きを提供する。
【０００８】
一つ以上のディジタルカメラを含むことで、ハンドヘルド装置の深さにおける変化を画像から決定することができる。これは、３Ｄレンダリングにおいてカーソル，ポインティング装置、又は、他の可動特徴を位置探しするために使用されてもよい。従って、システムは、ユーザの手にあるハンドヘルド装置の３Ｄ動きに対応するディスプレイ上の３Ｄレンダリングにおけるカーソル、ポインティング装置、又は、他の可動特徴による動きを提供する。
【０００９】
ハンドヘルド装置に一つ以上のＬＥＤを含むことにより、システムは、回転運動を検出（従って、装置の６つの動きの自由度全てに対応する動きを検出）することもできる。回転運動は、異なる周期及び／又は異なる波長で光を発する、ハンドヘルド装置における少なくとも二つのＬＥＤを用いて検出され得る。二つ（又はそれ以上）のＬＥＤの異なる周期及び／又は波長は、カメラの画像において検出され、ある処理によって区別される。従って、後続する画像における回転は、二つのＬＥＤから発せられた光の相対運動に基づいて検出され得る。ハンドヘルド装置の回転運動は、上記したとおりディスプレイ上の点の３Ｄレンダリングに含まれてもよい（更に、３Ｄレンダリングにおけるカーソル、ポインティング装置、又は、他の可動特徴の対応する動きを含んでもよい）。
【００１０】
本発明によるシステムは、ハンドヘルド装置を保持するユーザの動きを補償してもよい。従って、例えば、ユーザが移動して装置がユーザに対して静止したままの場合、カーソル、ポインティング装置、又は、他の可動特徴のディスプレイ上での動きはない。従って、例えば、システムは、ユーザの動きを検出し、ユーザの動きからハンドヘルド装置の動きを区別するために画像認識を用いる。例えば、システムは、ハンドヘルド装置とユーザに位置する基準点との間で動きがあるとき、ハンドヘルド装置の動きを検出し得る。
【００１１】
本発明は、可動ハンドヘルド装置における少なくとも一つの光源と、上記光源からの光を検出する少なくとも一つの光検出器と、少なくとも一つの光検出器から画像データを受信する制御ユニットとを有するシステムを含む。制御ユニットは、少なくとも一つの光検出器からの画像データから少なくとも二次元にハンドヘルド装置の位置を検出し、その位置をディスプレイ上の特徴を制御するために変換する。
【００１２】
少なくとも一つの光検出器はディジタルカメラでもよい。ディジタルカメラは、ハンドヘルド装置によって発せられた光を含む一連のディジタル画像を含み、一連のディジタル画像を制御ユニットに送信してもよい。制御ユニットは、ディジタルカメラから送信された一連の画像の中でハンドヘルド装置の光の画像を検出する画像検出アルゴリズムを有してもよい。制御ユニットは、画像中の検出されたハンドヘルド装置の位置をディスプレイのディスプレイ空間にマッピングしてもよい。ディスプレイ空間におけるマッピングされた位置は、カーソルのようなディスプレイ空間における特徴の動きを制御してもよい。
【００１３】
少なくとも一つの光検出器は、二つのディジタルカメラを有してもよい。二つのディジタルカメラは、ハンドヘルド装置によって発せられた光を含む一連のディジタル画像を夫々捕捉し、一連のディジタル画像夫々は各カメラによって制御ユニットに送信される。制御ユニットは、二つのディジタルカメラから送信される一連の画像夫々においてハンドヘルド装置の光の画像を検出する。制御ユニットは、更に、ハンドヘルド装置の深さ位置における変化から深さパラメータを決定するために二つのカメラ夫々から受信した画像中の光源の位置を用いる深さ検出アルゴリズムを有してもよい。制御ユニットは、一方のカメラからの少なくとも一つの画像における検出されたハンドヘルド装置の位置及び深さパラメータをディスプレイのディスプレイ空間における３Ｄレンダリングにマッピングする。ディスプレイ空間におけるマッピングされた位置は、ディスプレイ空間における３Ｄレンダリングにおける特徴の動きを制御する。
【００１４】
少なくとも一つの光検出器は、少なくとも一つのディジタルカメラを有し、ハンドヘルド装置は二つの光源を有してもよい。ディジタルカメラは、ハンドヘルド装置の二つの光源からの光を含む一連のディジタル画像を捕捉してもよく、一連のディジタル画像は制御ユニットに送信される。制御ユニットは、ディジタルカメラから送信された一連の画像においてハンドヘルド装置の二つの光源の画像を検出する画像検出アルゴリズムを有してもよい。制御ユニットは、二つの光源の画像からハンドヘルド装置の少なくとも一つの角の面を決定する。制御ユニットは、検出されたハンドヘルド装置の少なくとも一つの角の面をディスプレイのディスプレイ空間にマッピングする。
【００１５】
標準的なマウス及び他の制御特徴を含むよう更なる特徴及び追加機能をハンドヘルド装置に追加し得、それにより、本発明はより完全な機能のポインティング装置として機能にするようになる。
【００１６】
［発明の詳細な説明］
本発明の上記及びその他の面、特徴、及び、利点は、添付の図面と共に以下の詳細な説明からより明らかとなるであろう。
【００１７】
本発明の好ましい実施例は、添付の図面を参照して以下に説明する。以下の説明では、周知の機能又は構造は、必要のない詳細で本発明を不明瞭にする場合があるため、詳細に説明しない。
【００１８】
図１は、本発明の実施例によるシステムを示す図である。図１に示すように、ハンドヘルド装置１０１は、典型的にはＶＣＲ若しくはテレビジョンと関連付けられる標準的遠隔制御装置として示されている。ハンドヘルド装置１０１には、予め設定された周期でＬＥＤ１０３を点滅させる制御ユニットが組み込まれている。点滅の開始は、任意の切換方法、例えば、オン／オフスイッチ、動きスイッチによって制御されてもよく、又は、装置がユーザ接触に感応であるときには、ユーザが装置に触るか持ち上げるとＬＥＤ１０３がオンにされるのでもよい。任意の他のオン／オフ方法を使用することができ、本願に記載する例は、制限的でないとする。
【００１９】
ＬＥＤ１０３の点滅が開始された後、送信される光１０５は、カメラ１１１によって焦点に集められ、ディジタルカメラ１１１の光検知表面の部分に入射する。典型的には、ディジタルカメラは、カメラの合焦光学を通った後にアレイの表面に入射する光を捕捉する２Ｄ感光アレイを使用する。アレイは、ＣＣＤアレイのような感光セルのグリッドを有し、各セルはＡ／Ｄ変換器、バッファ並びに他のメモリ、プロセッサ、及び、圧縮並びに復元モジュールを含む別の電子素子に電気的に接続可能である。本発明では、ポインティング装置からの光は、図１Ａ（ディジタルカメラ１１１のアレイ表面１１３の一部分の拡大図）に示すセル１１５から成るアレイ表面１１３に入射する。
【００２０】
ディジタルカメラ１１１の各画像は、シャッタ（図示せず）が光（例えば、ＬＥＤ１１１からの光）を入射させ、感光表面１１３によって記録されることを可能にするとき典型的に「捕捉」される。「シャッタ」を参照したが、ディジタルカメラで連続的な画像、若しくは、ディジタルビデオレコーダで連続的な画像フレームを形成する任意の同様の光調整機構又は電子機器でもよい。シャッタが開いているとき、画像を有する光はカメラ１１１に入り、アレイ表面１１３の対応する領域にカメラ光学によって合焦され、各感光セル（又はピクセル）１１５は、入射した光の強度を記録する。従って、感光セル１１５で捕捉された強度は、画像を集合的に記録する。
【００２１】
従って、カメラ１１１に入る、ハンドヘルド装置１０１からの点滅光１０３は、ある一点に略合焦され、一つの若しくは小さい群のピクセル１１５によって入射強度レベルとして記録される。ディジタルカメラ１１１は、ディジタル化された形態で各ピクセルに記録された光レベルを処理し図１Ａに示す制御ユニット１２１に送信する。
【００２２】
制御ユニット１２１は、ＬＥＤ１０３からの光を検出し追跡する画像認識アルゴリズムを含む。ＬＥＤ１０３からの光１０５がカメラ１１１のシャッタと同じオーダーの周期で点滅するとき、ＬＥＤ１０３からの光スポットの連続的な画像は、シャッタとＬＥＤ１０３の点滅模様が同期化し、同期化しないとき強度が異なる。制御ユニット１２１は、幾つかの連続的な画像のための画像データを記憶してもよく、従って、制御ユニット１２１の画像認識アルゴリズムは、連続的な画像に対して上方向及び下方向に強度が異なる小さい光スポットについて画像ピクセルを探索してもよい。一旦模様が認識されると、アルゴリズムは、画像中の位置がハンドヘルド装置１０３の場所に対応すると結論付ける。或いは、これと関連して、制御ユニット１２１中の画像認識アルゴリズムは、暗い背景（ハンドヘルド装置１０１の本体）と明るい中央部（ＬＥＤ１０３から発せられた光１０５）を有する画像中の領域について探索し、識別してもよい。
【００２３】
画像中のハンドヘルド装置１０１の場所が制御ユニット１２１によって一旦認識されると、この場所は、制御ユニット１２１によって公知の画像追跡アルゴリズムを用いて連続する画像について追跡され得る。このようなアルゴリズムを用いて、制御ユニットは、先行する画像或いは複数の画像におけるハンドヘルド装置１０１の場所に対応する画像の領域に焦点を当てる。制御ユニット１２１は、画像ピクセルデータにおいてハンドヘルド装置１０１の特徴、例えば、比較的暗い直接的背景（装置１０１の本体に対応する）に囲まれた光スポットを探してもよい。
【００２４】
制御ユニットによって画像中で識別され追跡されたハンドヘルド装置１０１の位置は、ディスプレイ２３にマッピングされ、例えば、カーソル、ポインタ、又は、他の位置用素子の位置を制御するために使用される。例えば、ディスレプイ１２３上のカーソルの位置は、
【００２５】
【数１】
2004517406.tif 000003
に従って画像中のハンドヘルド装置の位置の位置にコロレートされてもよい。
【００２６】
式１では、ベクトルＸｄｐｙは、ディスプレイ（ディスプレイ空間と呼ばれる）の２Ｄ基準座標系におけるカーソルの位置であり、ベクトルＸｉｍｇは２Ｄ画像（画像空間と呼ばれる）において制御ユニットによって識別されたハンドヘルド装置１０１の位置であり、ベクトルＸｒｅｆは、画像空間における基準点であり、「ｓｃａｌｅ」は画像空間をディスプレイ空間に比例させるために制御ユニットによって使用されるスカラーの倍率（ｓｃａｌｉｎｇ  ｆａｃｔｏｒ）である。（ここで、太文字Ｘｄｐｙ、Ｘｉｍｇ、Ｘｒｅｆ、及び、以下に示すＸｐｅｒｓｏｎはベクトルを示すことに注意する）。基準点Ｘｒｅｆは、前記した通りハンドヘルド装置１０１の場所に加えて制御ユニットが画像中で位置探しし得る画像における基準点である。従って、式１の右辺にある括弧内の部分は、画像空間において画像中の基準点からハンドヘルド装置１０１が移動した距離に対応する。従って、移動したときの画像空間におけるハンドヘルド装置１０１の位置は、一定の基準点に対して決定される。従って、画像空間で検出された装置１０１のマッピングは、基準点に対して装置１０１が動いたときだけ変化する。その結果、画像空間において装置１０１の実際の動きがあるときだけ、ディスプレイ空間におけるカーソル等の可動特徴の対応する動きがある。基準点は、点滅光が検出されるたびに検出され、光が消えるとリセットされてもよく、これはユーザがハンドヘルド装置１０１と関係しなくなり、再び関係することに対応する。
【００２７】
上記第１の実施例のシステムは、幾つかのハンドヘルド装置を検出し追跡することに容易に適合され、別個のカーソル、ポインティング装置、ディスプレイ上の他の可動特徴を動かすために画像空間におけるこのような各装置の動きを使用し得ることは明らかである。図１のカメラ１１１の視野に点滅ＬＥＤを有する例えば、二つ以上の別個のハンドヘルド装置は、感光アレイ１１３に光を合焦する。各点滅ＬＥＤは、単一のハンドへルド装置１０１に関して上記した方法で制御ユニット１２１によって画像中で別々に検出され追跡される。夫々の位置は、単一のハンドヘルド装置に対して上記した方法で式１を用いて画像空間からディスプレイ空間に制御ユニット１２１によってマッピングされる。従って、このようなマッピング夫々は、ディスプレイ１２３上の別個のカーソル等を制御するために使用されてもよい。
【００２８】
従って、二つ以上のハンドヘルド装置夫々は、ディスプレイ上の別個のカーソル或いは他の可動特徴を個別的に制御してもよい。各カーソル（又は可動特徴）は、制御ユニット１２１によってマッピングされるハンドヘルド装置の一つに応答して移動するため、他のカーソル（又は可動特徴）とは無関係にスクリーン上で移動する。二つ以上のハンドヘルド装置は、同一の点滅周期又は模様を有してもよく、或いは、異なる周期を有してもよく、これにより制御ユニット１２１が、発せられた光信号をより容易に識別及び／又は区別するようプログラムされることが可能となる。更に、ＬＥＤは、異なる波長の光を発してもよく、これも同様に制御ユニット１２１が画像中で発せられた光信号をより容易に識別及び／又は区別することを可能にさせる。発せられた光は、カメラによって検出され得る任意の波長の可視光でもよい。カメラが可視光外の波長、例えば、赤外線光を検出し得るとき、ハンドヘルド装置はその波長で発してもよい。
【００２９】
更に、システムは、一つ以上のハンドヘルド装置の点滅特徴、波長等を制御ユニットが学習することを可能にする訓練ルーチンを有してもよい。例えば、訓練ルーチンがユーザによって関係されるとき、指示はカメラ１１１の直ぐ前である距離のところでハンドヘルド装置を保持し、ＬＥＤ１０３の点滅を開始することをユーザに指示してもよい。制御ユニット１２１は、連続する画像から装置１０１の点滅周期又は模様を記録する。制御ユニットは、ハンドヘルド装置１０１の波長及び／又は画像プロフィールを記録してもよい。このデータは、その後ハンドヘルド装置１０１の認識及び追跡に関して制御ユニット１２１によって使用され得る。このような訓練プログラムは、ハンドヘルド装置の多様性に対してこのような基本データを記録してもよく、それによりシステムによるハンドヘルド装置の後の検出及び追跡が容易となる。
【００３０】
上記式１に関連する制御ユニットの処理は、ハンドヘルド装置に対する画像空間とディスプレイ空間との間のマッピングが、
【００３１】
【数２】
2004517406.tif 000004
に従ってハンドヘルド装置を保持するユーザの位置に対して相対的に行われるよう変更されてもよい。
【００３２】
式２において、ベクトルＸｐｅｒｓｏｎは、装置を保持するユーザの座標位置、例えば、ユーザの胸の中心にある点である。従って、ベクトル（Ｘｒｅｆ＋Ｘｐｅｒｓｏｎ）に関して、即ち、基準点で位置探しされた人の位置に対して画像中のハンドヘルド装置のベクトル位置Ｘｉｍｇが変化する場合にだけ、括弧内の座標が変わる。人は、その結果、ハンドヘルド装置１０１を持って部屋の中を歩き回ることができ、制御ユニットは、ハンドヘルド装置１０１がユーザに対して移動したときだけ、画像空間からディスプレイ空間にハンドヘルド装置１０１の位置における変化をマッピングする。
【００３３】
Ｘｐｅｒｓｏｎは、人に対する公知の画像検出及び追跡アルゴリズムを使用して制御ユニットによって画像中で検出されてもよい。Ｘｐｅｒｓｏｎ座標は、ユーザの中央点例えば、ユーザの胸の中央にある点でもよい。前述と同様に、Ｘｒｅｆは検出され、ハンドヘルド装置１０１の点滅光が検出される度に設定されてもよい。倍率は、身体の大きさ（例えば、身体の幅）に反比例するよう設定されてもよく、それにより、カメラとユーザとの間の距離に関してマッピングは不変となる。当然のことながら、システムがその処理において式２に対応するマッピングを使用した場合、上記方法で多数のユーザによって扱われる多数のハンドヘルド装置を検出し、追跡し、マッピングすることに処理を適合することができる。
【００３４】
或いは、処理は、人に対してだけハンドヘルド装置の動きを追跡するために更に適合され得、それにより、式２に対応する処理におけるようにユーザが動いた場合のディスプレイ上でのカーソルの動きが回避される。しかしながら式２では、基準座標点は原点（即ち、零ベクトル）とされ、又は、同様に、式１のベクトルＸｒｅｆは可動基準点、即ち、上記Ｘｐｅｒｓｏｎとされる。従って、制御ユニット１２１は、
【００３５】
【数３】
2004517406.tif 000005
に対応するマッピングアルゴリズムを有する。
【００３６】
式３では、式の括弧部分（画像空間に対応する）は、ベクトルＸｐｅｒｓｏｎに対するハンドヘルド装置の動きＸｉｍｇ、例えば、ユーザの胸の中心にある点に対する遠隔装置の動きを決定する。それにより、画像空間からディスプレイ空間へのマッピングは、ここでも、ユーザが装置を安定させて保持しながら移動するときでなく、人に対してハンドヘルド装置が移動したときだけ変化する。同じ結果が式２に対応するマッピングに関しても達成されるが、制御ユニット１２１による画像認識及びマッピング処理は少ない。
【００３７】
図２は、第１の実施例に類似するが少なくとも一つの追加のディジタルカメラを有する、本発明の第２の実施例を示す。本願に記載するように、システムに少なくとも一つのカメラを追加することは、例えば、別個のカメラの画像に適用されるステレオ三角測量アルゴリズムを用いてハンドヘルド装置の深さの動き（即ち、図２に示すようにカメラの画像面１１１、２１１に対して垂直なＺ方向における装置１０１の動き）を検出し定量化することをシステムに可能にさせる。第１の実施例に関して上記した二次元（即ち、図２に示すＸ−Ｙ面）の動きに加えて、Ｚ方向の動き及び動きの定量化は、画像空間をディスプレイ空間におけるカーソル又は他の可動オブジェクトの３Ｄレンダリングにマッピングすることをシステムに可能にさせる。
【００３８】
従って、図２のシステムでは、ハンドヘルド装置１０１の位置は、二つの画像、即ち、カメラ１１１からの装置１０１の画像とカメラ２１１からの画像に関して制御ユニット１２１によって検出され追跡される。画像空間におけるハンドヘルド装置１０１の次元のうちの二つ、即ち、カメラの画像面における装置の平坦な画像座標（ｘ、ｙ）は、一方の画像から直接的に決定されてもよい。
【００３９】
中及び外（即ち、図２に示すＺ方向における）ハンドヘルド装置の動きに対応するデータは、平坦な画像座標（ｘ、ｙ）と、第２の画像におけるハンドヘルド装置の画像の平坦な画像座標（ｘ’、ｙ’）とを用いて決定されてもよい。図２における実空間のハンドヘルド装置のＺ座標（並びに、実空間における既知の基準座標系に対するＸとＹ座標）は、「ステレオ問題」として公知のコンピュータビジョンの標準的技法を用いて決定されてもよい。三次元コンピュータビジョンの基本的なステレオ技法は、例えば、Ｔｒｕｃｃｏ及びＶｅｒｒｉによる“Ｉｎｔｒｏｄｕｃｔｏｒｙ  Ｔｅｃｈｉｎｉｑｕｅｓ  ｆｏｒ  ３−Ｄ  ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ”、特に、その第７章に記載され、その内容が本願で参照として組み込まれている「Ｓｔｅｒｅｏｐｓｉｓ」なる名称の文書に記載されている。このような周知の技法を用いて実空間におけるハンドヘルド装置１０１のＺ座標と、（既知の画像座標（ｘ、ｙ）を有する）第１のカメラの画像における装置の画像位置との間の関係は、
【００４０】
【数４】
2004517406.tif 000006
から得られる。
【００４１】
同様にして、ハンドヘルド装置１０１の位置と、（既知の画像座標（ｘ’、ｙ’）を有する）第２のカメラの画像における装置の第２の画像位置との間の関係は、
【００４２】
【数５】
2004517406.tif 000007
から得られ、このときＤはカメラ１１１と２１１との間の距離である。当業者は、式４ａ及び４ｂで与えられる項は、カメラ幾何学によって定義される線形変換までであることを認識する。Ｚに関して式４ａと式４ｂを解くと、
【００４３】
【数６】
2004517406.tif 000008
となる。従って、連続する画像に対してカメラ１１１と２１１から捕捉された画像中のハンドヘルド装置のｘとｘ’の位置を夫々決定することで、制御ユニット１２１はＺ方向、即ち、画像によって捕捉された面の中及び外におけるハンドヘルド装置の位置における変化を決定し得る。上記方法に類似する方法で、ユーザに対する装置１０１のＺ運動が決定されるよう、Ｚ方向における人の動きが除外される。
【００４４】
制御ユニット１２１によって検出されるＺ方向における変化があるとき、制御ユニットは、画像空間において平面の次元（第１のカメラの画像が変化を追跡しマッピングするために使用される場合（ｘ、ｙ））に加えて深さの次元があるよう、実空間におけるＺ運動を画像に対して比例させてもよい。従って、制御ユニット１２１は、深さの次元を含む画像空間をディスプレイ空間中のカーソル又は他の可動特徴の３Ｄレンダリングにマッピングすることができる。従って、ハンドヘルド装置による上／下及び左／右動きに対応してディスプレイ中でカーソルが上及／下、及び左／右に動くことに加えて、カメラ１１１及び２１１に近づく或いは遠ざかるハンドヘルド装置の動きは、結果としてディスプレイの中及び外へのカーソルの動きの対応する３Ｄレンダリングを生ずる。
【００４５】
カーソルの動きが、画像空間におけるハンドヘルド装置の座標からマッピングされるため、どのカメラ校正も必要でない。（深さの場合でも、式４ｃは画像座標ｘ、ｘ’の関数であり、更に、分離距離Ｄはシステムにおいて固定であり、制御ユニット１２１に既知でもよい）。更に、点滅光検出アルゴリズムが点対応問題を暗に解決するため、３Ｄ移動の測定は比較的簡単であり、必要とする計算量は少ない。
【００４６】
第１の実施例に関して上記したとおり、（画像空間をディスプレイ空間にマッピングすることに使用される、深さデータを検出するために使用される少なくとも第２のカメラを含む）第２の実施例も装置訓練処理を含んでもよく、多数のユーザによって扱われる多数のハンドヘルド装置を検出し、追跡し、マッピングすることができる。従って、二つ以上のハンドヘルド装置は、夫々独立して別個のディスプレイ上のカーソル又は可動特徴を制御することができる。各カーソル（又は可動特徴）は、制御ユニット１２１によってマッピングされるハンドヘルド装置の一つに応答して夫々移動するため、他のカーソル（又は可動特徴とは無関係にスクリーン上で移動する。二つ以上のハンドヘルド装置は、同一の点滅周期又は模様を有してもよく、又は、異なる周期を有してもよい。更に、ＬＥＤは、異なる波長の光を発してもよく、これも同様に制御ユニット１２１が画像中で発せられた光信号をより容易に識別及び／又は区別することを可能にさせる。発せられた光は、カメラによって検出されてもよい可視光の任意の波長でもよい。カメラが可視光の外にある波長、例えば、赤外線光を検出し得る場合、ハンドヘルド装置は、その波長で発し得る。
【００４７】
図３は、少なくとも二つのカメラ１１１、２１１（第２の実施例のように）と、ハンドヘルド装置１０１に少なくとも二つのＬＥＤ１０３、３０３とを含む本発明の第３の実施例を示す。ハンドヘルド装置に少なくとも一つのＬＥＤを更に加えることは、システムが６つの動作度３つの並進及び３つの回転）全てを計算することを可能にさせる。３つの並進の動作度は、上記第２の実施例におけるように検出され画像空間からディスプレイ空間にマッピングされるため、ここでは繰り返し記載しない。
【００４８】
上記のような、ハンドヘルド装置の回転運動の検出及びマッピングに関して、図３におけるハンドヘルド装置１０１は、第２のＬＥＤ３０３を送信器に含む。各ＬＥＤ１０３、３０３から発せられる光は、カメラ１１１によって別々に検出され、追跡される。（各ＬＥＤ１０３、３０３によって発せられた光は、カメラ２１１によっても別々に検出されるが、第２のカメラからの画像はハンドヘルド装置１０１の深さの動きを決定するためにだけに使用されるため、第１のカメラの画像だけが回転処理において考慮される）。この別々の検出及び追跡は、図１の実施例の説明における二つの別個のハンドヘルド装置の検出及び追跡に類似する。従って、制御ユニット１２１は、画像検出処理を用いて画像を解析し、上記した通り、二つの点滅するＬＥＤ１０１、３０３から来ると識別された二つのスポットを画像上で検出する。画像中の光スポットの近似により、制御ユニット１２１は、光スポットがハンドヘルド装置の一つのＬＥＤからであると判断する。この判断は、他の方法においてなされてもよく、例えば、画像認識ソフトウェアが光スポットが両方とも装置１０１の本体として認識する同じ暗い背景にあると認識してもよい。
【００４９】
制御ユニットによって検出される、連続する画像における二つのスポットの相対運動は、発光軸の方向にハンドヘルド装置の回転（転がり）を示す。画像における光スポットの相対的な位置における他の変化、例えば、それらの間の距離は装置１０１のピッチとヨーイングを決定するために制御ユニット１２１によって使用されてもよい。画像空間からディスプレイ空間にマッピングされたデータは、従って、３Ｄデータ及び３つの回転自由度に対するデータを含んでもよい。従って、マッピングは、ディスプレイ上の３Ｄレンダリングにおけるカーソル或いは他の動き装置の回転及び方向付け運動を提供してもよい。
【００５０】
第１の実施例に対して上記したように、システムは、多数のユーザによって扱われる多数のハンドヘルド装置を検出し追跡し得る。従って、二つ以上のハンドヘルド装置は、夫々ディスプレイ上の別個のカーソル又は他の可動特徴を個別的に制御し得る。各カーソル（又は可動特徴）は、制御ユニット１２１によってマッピングされるハンドヘルド装置の一つに応答して夫々移動するため、他のカーソル（又は可動特徴）とは無関係にスクリーン上で動く。二つ以上のハンドヘルド装置は、同一の点滅周期又は模様を有してもよく、又は、異なる周期を有してもよい。更に、ＬＥＤは、異なる波長の光を発してもよく、これも同様に制御ユニット１２１が画像中で発せられた光信号をより容易に識別及び／又は区別することを可能にさせる。第１の実施例の説明で上記したとおり、ＬＥＤ１０１、１０３からの光は、異なる周期で点滅し及び／又は異なる波長を有する場合に制御ユニットによって画像でより容易に区別され得る。発せられた光は、カメラによって検出されてもよい可視光の任意の波長でもよい。カメラが可視光外の波長、例えば、赤外線光を検出し得る場合、ハンドヘルド装置はその波長で発し得る。
【００５１】
図３及び図４を参照して無線ポンティングシステムを説明する。図４は、本発明の処理のフローチャートである。段階４０１では、ＬＥＤ１０３及び３０３をハンドヘルド装置１０１、この場合遠隔装置、を取り扱うユーザがオンにする。段階４０２では、システムは、カメラ１１１、２１１によって制御ユニット１２１に送信された画像を介して、検出された光が遠隔装置１０１から発せられたか否かを決定する。光が検出されない場合、処理は段階４０２に戻る。光が検出された場合、段階４０３において制御ユニットは、第３の実施例に関して上記した通り、カメラ１１１、２１１から捕捉され転送された連続的画像から自由度３における３Ｄ位置と回転における変化を計算する。段階４０４において制御ユニット１２１は、カーソルの３Ｄレンダリングに使用するディスプレイ空間に遠隔装置１０１の位置と回転を画像空間からマッピングする。カーソルは表示される必要もない。代わりに、本発明の第２の実施例によると、ポインティング装置は、仮想現実コンピュータ空間においてディスプレイの動きを制御、又は、二次元又は三次元グリッドの異なるレベル間でナビゲートすることができる。
【００５２】
本発明の上記利点に加えて、本発明は、多くの商業的利点も有する。全ての高価な構成要素（例えば、カメラ及びプロセッサ）は、送信器に含まれない。送信器が含む最小限の構成要素は、発振器と、ＬＥＤと、接続部品である。本発明の商業的適用法は、当然のことながら、ディスプレイ空間の３Ｄレンダリングにおけるプレーヤーの動きを制御するためにユーザが遠隔装置又は他のハンドヘルド装置を使用する対話型ビデオゲームとである。更に、カメラは、様々な他のシステム、例えば、電話会議システム、ビデオ電話機、ビデオメール等に組み込まれてもよく、将来的な開発を含むよう簡単にアップグレードすることができる。更に、システムは、単一のポインティング装置又は送信器に制限されない。短いセットアップ手順を用いてシステムは、マルチユーザ機能を可能にするために多数の送信器を含み得る。システムによる検出は、ハンドヘルド装置によって発せられる光の波長、若しくは、周期に依存しない。
【００５３】
画像空間からディスプレイ空間へのハンドヘルド装置の動きのマッピングは、カーソルの動き、プレーヤーの動き等以外にも適用され得る。３Ｄマッピングスキームは、実世界座標と、ディスプレイ空間においてデータナビゲーションシステムで別のパラメータを制御するために深さが使用されるより抽象的な表示にされる仮想世界における３Ｄ座標との間の直接的なマッピングの範囲まで及ぶ。これら抽象的なスキームの例は多数ある。例えば、３Ｄナビゲーショナルに関して、２Ｄポインティングは、面における選択を可能にし、３Ｄポインティングは、例えば、電子プログラムガイド（ＥＰＧ）推奨及び／又はパン−チルトカメラ（ＰＴＣ）の手動制御の結果において所望の関連性を調節するために抽象的な深さの制御も可能にする。別の情況では、２Ｄポインティングは、例えば、オンラインでの商品購入のためにビデオコンテンツ、テレビジョン番組におけるハイパーオブジェクトの選択を可能にする。更に、ポインティング装置は、ディスプレイに書き込むために仮想ペンとして使用されてもよく、これは、家庭電化用品の制御のような電子ショッピング又は他の認証プロトコルにも使用され得る仮想の手書き署名（署名認識を含む）を含んでもよい。上記した通り、ビデオゲームの適用法では、本発明のシステムは、仮想世界での多数のユーザ対話及びナビゲーションを可能にしてもよい。更に、例えば、電子パン／チルト／ズーム（ＥＰＴＺ）に基づくビデオ会議では、ターゲットは、ディスプレイ上の画像をポイント或いはクリックすることで参加者によって選択され、ズーミング特徴が制御され得る。
【００５４】
更に、上記実施例におけるカメラ１１１、２１１は、ハンドヘルド装置を検出し追跡するために画像を捕捉するよう使用されたが、これらカメラは電話会議及び画像の他の送信、及び、他の画像認識及び処理のような他の機能を担ってもよい。
【００５５】
従って、本発明は、ある好ましい実施例を参照して例示し説明したが、当業者は、添付の特許請求の範囲に記載する本発明の精神及び範囲から逸脱することなく本発明の形態及び詳細に対して様々な変化をなし得ることを理解するであろう。
【図面の簡単な説明】
【図１】
本発明の第１の実施例による無線ポインティング装置システムを示す図である。
【図１Ａ】
図１に示す構成要素の一つの内部部分の拡大図である。
【図２】
本発明の第２の実施例による無線ポインティング装置システムを示す図である。
【図３】
本発明の第３の実施例による無線ポインティング装置システムを示す図である。
【図４】
本発明の第３の実施例の処理を要約するフローチャートである。
【図４】
2004517406.tif 000009
【国際公開パンフレット】
2004517406.tif 000010
2004517406.tif 000011
2004517406.tif 000012
2004517406.tif 000013
2004517406.tif 000014
2004517406.tif 000015
2004517406.tif 000016
2004517406.tif 000017
2004517406.tif 000018
2004517406.tif 000019
2004517406.tif 000020
2004517406.tif 000021
2004517406.tif 000022
2004517406.tif 000023
2004517406.tif 000024
2004517406.tif 000025
2004517406.tif 000026
2004517406.tif 000027
2004517406.tif 000028
2004517406.tif 000029
2004517406.tif 000030
2004517406.tif 000031
2004517406.tif 000032
【国際公開パンフレット（コレクトバージョン）】
2004517406.tif 000033
【国際公開パンフレット（コレクトバージョン）】
2004517406.tif 000034
【国際調査報告】
2004517406.tif 000035
2004517406.tif 000036
2004517406.tif 000037
2004517406.tif 000038