(57)【要約】  本発明は、ポインティング装置（２）の動きを判定する方法を記載している。方法は、目標領域（A）の方向に、カメラ（３）を備えたポインティング装置（２）を向ける工程と、画像（４）間の画像フレーム時間中に、ポインティング装置（２）が向ける目標領域（A）の画像を、ポインティング装置（２）の動きに関する一連の相対動きベクトル（V1、V2、V3、V4）も得る一方で生成する工程を備える。画像（４）は、対応する相対動きベクトル（V1、V2、V3、V4）とともに制御インタフェース（２０）に送信される。制御インタフェース（２０）では、画像（４）を解釈してポインティング装置（２）の動きを判定する。本発明は、ポインティング装置（２）の動きを判定するシステム（１）を更に記載している。更に、本発明は、システム（１）において用いる制御インタフェース（２０）、ポインティング装置（２）、及び前述の制御インタフェース（２０）を備えた電気又は電子的に制御可能な装置（１０）を記載している。
2009505201.tif 000002
【特許請求の範囲】
【請求項１】
ポインティング装置の動きを判定する方法であって、
カメラを備えたポインティング装置を目標領域の方法に向ける工程と、
前記ポインティング装置が向ける前記目標領域の画像を生成する工程と、
２つの画像間の画像フレーム時間中に、前記ポインティング装置の動きに関する一連の相対動きベクトルを得る工程と、
前記画像を、対応する相対動きベクトルとともに制御インタフェースに送信する工程と、
前記画像、及び対応する相対動きベクトルを解釈して、前記ポインティング装置の動きを判定する工程とを備えた方法。
【請求項２】
請求項１記載の方法であって、画像をセグメント化していくつかの画像セグメントを取得し、対応する画像フレーム時間の前記相対動きベクトルを、送信前に前記画像セグメントとインタリーブして、前記制御インタフェースに送信するためのインタリーブされたデータ・ストリームを取得する方法。
【請求項３】
請求項１又は請求項２記載の方法であって、前記目標領域の画像を生成する画像フレーム・レート、及び／又は、画像がセグメント化されるセグメント数が前記ポインティング装置の動きに応じて調節される方法。
【請求項４】
請求項１乃至３の何れかに記載の方法であって、相対動きベクトルは、前記ポインティング装置の空間座標、並びに／又は、前記ポインティング装置の平行移動、及び／若しくは、前記ポインティング装置の回転に関する情報を備える方法。
【請求項５】
ポインティング装置のカメラによって生成された画像を、前記ポインティング装置の動きに関し、前記画像に関連した相対動きベクトルとインタリーブする方法であって、前記画像がいくつかの画像セグメントに分割され、相対動きベクトルが画像セグメントに後続又は先行することによって、インタリーブされたデータ・ストリームが得られる方法。
【請求項６】
ポインティング装置の動きを判定するシステムであって、
ポインティングの方向に目標領域の画像を生成するカメラを備えたポインティング装置と、
前記ポインティング装置の相対動きベクトルを判定する動きベクトル判定手段と、
前記画像及び前記相対動きベクトルを解釈して前記ポインティング装置の動きを判定する制御インタフェースと、
前記画像及び前記相対動きベクトルを前記制御インタフェースに送信する送信器とを備えるシステム。
【請求項７】
請求項６記載のシステムであって、前記ポインティング装置の前記カメラの画像フレーム・レート、及び画像セグメント数に対して行う対象の調節を判定する調節装置を備えるシステム。
【請求項８】
制御インタフェースであって、
画像及び相対動きベクトルを、インタリーブされたデータ・ストリームにおいてポインティング装置から受信する受信器と、
相対動きベクトル及び画像セグメントを前記インタリーブされたデータ・ストリームから抽出する抽出器装置と、
前記画像セグメントを再合成して、対応する全体画像を得る再合成装置と、
前記画像を解析して、前記画像内の目標点に関する位置情報を判定する画像解析装置と、
前記相対動きベクトルを解析して、前記目標点に関する絶対位置情報を判定する相対動き解析装置とを備える制御インタフェース。
【請求項９】
ポインティング装置であって、
前記ポインティング装置の前にポインティングの方向に目標領域の画像を生成するカメラと、
前記ポインティング装置の相対動きベクトルを判定する動きベクトル判定手段と、
前記画像をいくつかの画像セグメントにセグメント化するセグメント化装置と、
前記相対動きベクトルを前記画像セグメントと、
インタリーブされたデータ・ストリームにおいてインタリーブするインタリーブ装置と、
前記インタリーブされたデータ・ストリームを前記制御インタフェースに送信する送信器とを備えるポインティング装置。
【請求項１０】
請求項８記載の制御インタフェースを備えた電気又は電子的に制御可能な装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティング装置を判定する方法に関し、ポインティング装置の動きを判定するシステムに関する。本発明は、前述のシステムにおいて用いる制御インタフェース及びポインティング装置にも関する。更に、本発明は、ポインティング装置のカメラによって生成される画像を、ポインティング装置の動きに関する相対動きベクトルとインタリーブする方法に関する。
【背景技術】
【０００２】
ハンドヘルド型装置によるある程度のユーザ相互作用を可能にするシステムは、より一層、普及してきている。例えば、多くの家庭用娯楽装置には、ユーザが、装置のおおよその方向にリモコンを向け、リモコン上のボタンを押して、装置を制御するための限定数の機能の１つを起動させる（例えば、チャンネルを切り換えるか、又は構成工程を行う）ことが可能であるようなハンドヘルド型リモコン装置が備えられている。リモコン・タイプのハンドヘルド型装置を用いて装置と相互作用する範囲は、前述のシステム上で実行されるアプリケーションの開発によって広範囲の選択肢が提供され続けられている一方で、極めて限られているので、ポインティング装置タイプのハンドヘルド型装置を用いて前述のシステムと相互作用する傾向にある（前述のポインティング装置は、例えば、ディスプレイに向けられ、ポインティング装置の移動が、特定のやり方で追跡され、システム上で実行されるアプリケーションを制御するよう解釈される。
【０００３】
例えば、ポインティング装置に組み入れられたカメラを用いて、ポインティング装置の前の領域の画像を生成することが可能である。国際公開2004/079797A1号において提案されているように、ポインティング装置が向けられている対象又は領域を判定するよう前述の画像を解析する。よって得られた情報は例えば、ポインティング装置の移動を「たどる」ようディスプレイ内のカーソルの位置を変更させる。このようにして、ユーザは、ポインティング装置によって行う移動の結果を直接みることが可能である。かなりのハードウェア労力を通常必要とする画像処理は一般に、ポインティング装置の外部にある別個の装置又はモジュールにおいて行われる。
【０００４】
この種の相互作用の主たる課題は、ポインティング装置から外部装置への通常の通信チャネルの画像スループットが限られているので、画像が解析された時点では、ユーザは実際には、ポインティング装置を別の所に向けている。その結果、ポインティング装置の動きは、時間上常に正しく判定することが可能な訳でない。カーソルがポインティング装置の移動に対して遅れているようにみえる場合、又はディスプレイ上のカーソルの動きがぎくしゃくしている場合、ユーザのこのことを知ることになる。不十分な、又は遅い画像スループットの結果として生じる前述の遅延の別の結果には、画像処理が扱うのにこのジェスチャの実行が速すぎた場合に、ポインティング装置によって行われるユーザのジェスチャに、システムにおいて実行されるアプリケーションが、本来反応すべきように反応しないということがあり得る。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、本発明の目的は、ポインティング装置の移動を迅速かつ正確に解釈するやり方を提供することである。
【課題を解決するための手段】
【０００６】
この目的で、本発明は、ポインティング装置の動きを判定する方法を提供する。上記方法は、カメラを備えたポインティング装置を目標領域の方向に向ける工程と、ポインティング装置によって向けられた目標領域の画像を生成する工程とを備える。ポインティング装置の動きに関する一連の相対動きベクトルは、２つの画像間の画像フレーム時間中に得られ、画像とともに制御インタフェースに送信される。制御インタフェースでは、画像、及び対応する相対動きベクトルを解釈してポインティング装置の動きを判定する。
【０００７】
「目標領域」の語は、ポインティング装置の前の領域を表し、一般に、ポインティング装置のカメラの視野内に収まる物全てを包含する。ユーザは、相互作用したい装置に（例えば、メニュー・アイテムの選択肢を示すテレビ画面に）ポインティング装置を向けることができるか、又は、何れかの他のアイテム又は対象にポインティング装置を向けて、特定のコマンド（ランプに向けて、ランプをオンオフさせるなど）を出すことができる。しかし、ユーザは、コマンドを出すために、特定の対象又は装置にポインティング装置を向けなくてよい。ポインティング装置によって行われる単純なジェスチャもコマンドとして解釈することが可能であるからである。前述の相互作用システムは、内容を本明細書及び特許請求の範囲に援用する国際公開2004/047011A2号明細書に詳細に開示されている。
【０００８】
ポインティング装置のカメラによって生成される画像は、固定画像フレーム・レート又は可変画像フレーム・レート（時間（例えば、毎秒２画像、5秒毎に一画像等）で表し得る）で生成することが可能である。カメラによって画像が生成されるレートはいくつかの要因（シャッター速度、画像が生成されるアプリケーション、照明状態、カメラ自体の機構等）に依存し得る。カメラによって生成される画像全てを制御インタフェースに送信しなければならない訳でない。例えば、カメラによって生成される画像を１０個おきに制御インタフェースに供給することで十分であり得る。したがって、以下では、「画像フレーム・レート」の語は、制御インタフェース対象の画像が生成されるレートを表し、前述の２つの画像又はコマ間の時間は、「画像フレーム時間」として定義される。
【０００９】
相対動きベクトルは、画像フレーム・レート以外のレートで得ることが可能であるので、例えば、いくつかの相対動きベクトルを画像フレーム時間中に得ることができる。ここで、「相対動きベクトル」の語は、広い意味合いで理解されるものとする。前述の相対動きベクトルは、ポインティング装置が移動するにつれて１つ又は複数の方向で検出される動きに関する１つ又は複数の値を含み得る。ポインティング装置は更に、移動するにつれて画像を生成するので、相対動きベクトルは最終的にはカメラの動き、及び、よって、ポインティング装置の動きを、生成している画像に対して、漸増動き「デルタ」で表す。
【００１０】
ポインティング装置の動きを判定するうえで適切なシステムはポインティング装置を備え、このポインティング装置は同様に、ポインティングの方向に目標領域の画像を生成するカメラ、及びポインティング装置の相対動きベクトルを判定する動きベクトル判定手段を備える。システムは、画像及び相対動きベクトルを解釈してポインティング装置の動きを判定する制御インタフェース、並びに、画像及び相対動きベクトルを制御インタフェースに送信する送信器も備える。
【００１１】
ポインティング装置の動きを判定するための、本発明による方法及びシステムの明白な利点は、画像が処理されている間にポインティング装置の連続した動きを追跡することが可能であるので、システムが、ユーザの相互作用により速く反応し、それによって、システムのレーテンシを削減することが可能であるということである。例えば、ポインティング装置を用いて、ディスプレイを備えた装置と相互作用する相互作用システムでは、ディスプレイ上のカーソルは、ポインティング装置の動きをスムーズにたどる。周囲にある対象に向けるようポインティング装置を用いるアプリケーションでは、ポインティング装置の動きを用いて、ユーザによって行われるジェスチャ又は動きを予測することが可能であるので、例えば、対象認識のためのテンプレートをデータベースから早く取り出し、それによって、システムの全体レーテンシを最小に留めることが可能である。本発明による方法及びシステムの更なる利点は、画像解析によって判定される絶対位置を用いて、相対動きベクトルにおける固有の誤差を予測し、補正することが可能である点である。
【００１２】
従属項及び明細書には、本発明の特に効果的な実施例及び構成を記載している。
【００１３】
ポインティング装置のカメラによって生成される画像データ、及び相対動きベクトルは、別個のチャネルを介して制御インタフェースに送信することが可能である。しかし、本発明の好ましい実施例では、画像及び相対動きベクトルは共有チャネルを介して送信されるので、必要なハードウェアは最小に留められる。画像データ量は、相対動きベクトル量（画像が必要とする帯域のわずかしか必要でない）よりもずっと大きいので、画像及び相対動きベクトルは好ましくは、単一のチャネルを介した送信のためにインタリーブされる。この目的で、画像に対応する画像データが、より小さなチャンク又はセグメントに分けられる（すなわち、画像がセグメント化される）。個々の画像セグメントは次いで、特定の順序で制御インタフェースに送信することが可能であり、相対動きベクトルに関する情報は、画像セグメント間に挟むことが可能である。画像データと相対動きベクトル・データとを交互に送出する上記手法は以下で、「インタリーブ」と表す。
【００１４】
ポインティング装置のカメラによって生成される画像に、ポインティング装置の動きに関し、画像に関連した相対動きベクトルをインタリーブする方法は、本発明によって、制御インタフェースへの送信前に画像をいくつかの画像セグメントに分離する工程と、送信における各画像セグメントに相対動きベクトルを先行又は後続させて、インタリーブされたデータ・ストリームを得る工程とを備える。
【００１５】
本発明によるポインティング装置は、前述のカメラに加えて、ポインティング装置の相対動きベクトルを判定する１つ又は複数の動きベクトル判定手段を備える。ポインティング装置の相対動きベクトルは、１つ又は複数の成分（3次元空間の座標系の軸を軸とした平行移動及び１つ又は複数の回転など）を含み得る。したがって、動きベクトル判定手段は、加速センサ、ジャイロセンサ若しくは磁気センサ、又は前述の組み合わせを含み得る。同様に、相対動きベクトルが、ポインティング装置のカメラによって生成される画像の画像解析から推定されることも想定されるので、前述の場合には、動きベクトル判定手段は、適切な画像処理アルゴリズムを備える。前述のアルゴリズムは例えば、連続した画像において一致する点を位置特定し、追跡する手法に基づき得るものであるか、又は、画像における任意の形状を検出する既知の手法（ハフ変換など）を利用し得る。ポインティング装置は、個々の動きパラメータを完全な相対動きベクトルに組み立てるための適切な動きベクトル合成装置を備え得る。例えば、ポインティング装置の平行移動を表す情報を、１つ若しくは２つの動きセンサによって、又は適切な画像解析によって得ることが可能である。ポインティング装置を前方又は後方に傾ける角度を表す情報は、更なる動きセンサから得ることが可能である。前述の情報成分を集約して、平行移動及び回転を表す相対動きベクトルを合成することが可能である。本明細書で概説した手法及びアルゴリズムは、当業者に分かるものであり、よって、更に詳細に説明しないこととする。
【００１６】
画像データ及び相対動きベクトル・データを、制御インタフェースへの送信に備えるために、本発明によるポインティング装置は好ましくは、送信前に画像をセグメント化するセグメント化装置、及び画像セグメント間に相対動きベクトルを含めるインタリーブ装置も備える。結果として生じるインタリーブされたデータ・ストリームは、送信前にバッファリングすることが可能であるか、又は、制御インタフェースに直ちに送信することが可能である。
【００１７】
前述の通り、相対動きベクトルは画像フレーム・レートよりも速いレートで得ることが可能であるので、制御インタフェースには、先行画像の生成以降の、ポインティング装置の移動を表す更新された動き情報を連続して供給することが可能である。カメラによって生成される画像の解析を行って、ポインティング装置にユーザが向けている点を判定する。一般に、目標点は、画像の中心の点に過ぎず、通常、ポインティング軸の、画像平面との仮想交点と一致する。オプションを選択するか、又はコマンドを出すためにユーザが対象にポインティング装置を向けている場合、コンピュータ視覚アルゴリズムを施して、対象又はオプションを識別する視点で目標領域画像における目標点を判定することが可能である。
【００１８】
コンピュータ視覚アルゴリズムを用いて目標領域画像の画像データを処理する方法は、目標領域画像内の際立った点を検出する工程と、テンプレート（例えば、ディスプレイ、装置又は周囲のテンプレート）内の対応する点を判定する工程と、目標領域画像内の点をテンプレート内の対応する点にマッピングする変換を作成する工程とを備え得る。この変換を次いで用いて、例えば、ポインティング装置にユーザが向け、ユーザが目標とするオプションを容易に識別することが可能な、テンプレート内の点を判定することが可能である。画像データと所定のテンプレートとの比較はよって、際立ったコーナー点などの目立った点のみの識別及び比較に制限することができる。本発明において該当する「比較」の語は、広い意味合いで（すなわち、ユーザが向けるオプションを速く識別するために、十分な特徴のみを比較することのみによって）理解されるものとする。
【００１９】
しかし、画像がポインティング装置のカメラによって生成された後、ユーザは、ポインティング装置を（例えば、特定のメニュー・オプションを選ぼうとするか、又はコマンドに関連した特定のジェスチャを行い続けるためにテレビのディスプレイにわたって）移動させ続けることができる。したがって、画像において識別された目標点は、その画像について画像解析が完了した時点でユーザが向ける実際の点にもう対応しない可能性が最も高い。
【００２０】
しかし、本発明によれば、制御インタフェースが事実上、「より旧い」画像データをなお処理中にポインティング装置の動きに関する「より新たな」情報を連続的に受け取ることが可能であることにより、画像解析によって、画像セグメントから合成された画像の解析を終えた時点でポインティング装置をユーザが向ける実際の点を推定又は予測するために、相対動きベクトルによって表される動きデルタを用いて制御インタフェースがポインティング装置の動きを追跡することが可能になる。推定又は予測された情報を用いれば、システムは例えば、ポインティング装置が向ける実際の点を反映させるようカーソルをディスプレイに正しく配置させることが可能であるか、又は、次に必要になるテンプレートの、知識や経験に基づく推測を行うことが可能である。
【００２１】
前述のように画像をセグメント化し、連続して更新される相対動きベクトルとともにこれを送出することにより、システムがポインティング装置の移動に正しく反応することが可能になる。しかし、特定のアプリケーションが、より速い反応時間を必要とし得る一方、他のアプリケーションは、より遅い反応時間でもよいことがあり得る。速い反応時間を必要とするアプリケーションの例はゲーム・アプリケーションである。ゲーム・アプリケーションでは、ユーザは、特定の状況にすばやく反応しなければならず、その結果、ポインティング装置をすばやく移動させることになる。「遅い」アプリケーションは、メニュー内に提示された、いくつかのオプションの１つを選ぶようユーザがディスプレイにポインティング装置を向けるに過ぎないが、速度が問題でなく、その結果、ユーザが、ポインティング装置を比較的ゆっくりと移動させることが可能であるアプリケーションであり得る。本発明によるシステムがポインティング装置の移動に対する反応に要する時間は、画像及び相対動きベクトルが制御インタフェースに送信されるレートに大きく依存する。
【００２２】
したがって、本発明の好ましい実施例では、相対動きベクトルとインタリーブする前に画像が分割される画像セグメントの数は効果的には、ポインティング装置の動きによって選ぶことが可能である。よって、ポインティング装置をゆっくりと移動させている場合、相対的に少ない数のセグメント（例えば、３）に画像を分割し、送信前に前述の３つのセグメントを相対動きベクトルとインタリーブするのが十分であり得る。一方、ユーザがポインティング装置をかなりすばやく移動させている場合、ポインティング装置の動きを正しく追跡するために十分な情報を得るためにより多くの数の相対動きベクトルを供給することがより賢明であり得る。したがって、前述の場合には、画像をより多くの数のセグメント（例えば、１０）に分割することができ、次いで、画像セグメントを、制御インタフェースへの送信前に、１０個の相対動きベクトルとインタリーブすることができる。単一の画像の場合に相対動きベクトルが多数であることにより、画像が処理された時点にポインティング装置が向けている実際の点を推定するのに十分な情報をシステムが与えられる。したがって、本発明によるシステムは好ましくは、ポインティング装置のカメラの画像フレーム・レート及び／又は画像セグメント数に対して行う調節を判定する調節装置を備える。前述の調節は、適切な通信インタフェースによってポインティング装置に送信することが可能である。
【００２３】
本発明の更なる実施例では、更に、画像フレーム・レートをポインティング装置の動きによって調節して、例えば、必要に応じて、画像をより速い速度又はより遅い速度で供給することが可能である。よって、スピーディーな応答を必要とするアプリケーションの場合、ポインティング装置は、相対動きベクトルとともに画像を１つおきに送信するよう命令することもできる。一方、より遅い応答時間でもよいアプリケーションは、より遅い速度で画像を送出するようポインティング装置に命令することが可能である。制御インタフェースによって生成された制御信号を用いてカメラのシャッター速度に影響を及ぼし、それによって、画像を所望の速度で生成することを可能にし得ることも想定できる。
【００２４】
インタリーブされたデータ・ストリームが送出される制御インタフェースは、ポインティング装置から、インタリーブされたデータ・ストリームを受信する受信器と、インタリーブされたデータ・ストリームから画像セグメント及び相対動きベクトルを抽出する抽出装置とを備える。元の画像データを取り出すために、制御インタフェースは、画像セグメントを再合成して、対応する全体画像を取得する再合成装置であって、前述の対応する全体画像を次いで画像解析装置において解析して、ポインティング装置が向いている目標点に関する位置情報を判定することが可能な再合成装置と、相対動きベクトルを解析して、目標点に関する絶対位置情報を判定する相対動き解析装置とを備える。このようにして、制御インタフェースは、ポインティング装置の動きを予測することが可能であり、その結果、例えば、画面上でポインティング装置が向いている実際の点に対応する所にカーソルを正しく提示するために必要な情報をアプリケーションに供給することが可能であるか、又は、その情報を用いて、適切なテンプレートをデータベースから早く取り出して、ポインティング装置が向いている対象を識別する際に画像解析処理を高速化することが可能である。
【００２５】
制御インタフェースは、スタンドアロン装置であり得るか、又は、何れかの適切な装置（例えば、前述のようにポインティング装置によってユーザが相互作用することが可能なコンピュータ又は家庭用娯楽装置に組み入れることが可能である。装置は、何れかの電気又は電子的に制御可能な装置であり得るものであり、製造時に制御インタフェースを装備することが可能であるか、又は、必要なモジュール及びインタフェースを後の時点でアップグレードすることが可能である。
【発明を実施するための最良の形態】
【００２６】
本発明の他の目的及び構成は、以下の詳細な説明を添付図面とともに検討することによって明らかになるであろう。しかし、図面が、例証の目的で描かれているに過ぎず、本発明の限定の規定として描かれたものでないと理解するものとする。
【実施例】
【００２７】
図面では、同様な数字は、図を通して、同様な対象を表す。図１は、ポインティング装置２の前に、かつポインティングの方向Pに目標領域の画像を生成することが可能であるようなカメラ３をその先端に組み入れたポインティング装置２を示す。ポインティング装置２には、軸X、Y及びZによって示す、３次元空間の座標系が割り当てられる。これは、任意に割り当てることが可能である。ここで、X軸が、ポインティング装置２の長手方向の軸に垂直である水平方向の軸として定義され、Y軸が垂直方向に延びる一方、Y軸は、ポインティング装置２の長手方向の軸に対応する。ポインティング装置２は、前述の軸X、Y、Zが表す３つの方向に自由に（すなわち、左右、前後、上下の何れかの組み合わせで）移動する。更に、ポインティング装置２は、軸X、Y、Zの１つ又は複数を軸として回転させることが可能である。Y軸を軸とする回転は一般に「ヨー」として知られ、Ｘ軸を軸とする回転は一般に「ピッチ」又は「チルト」として知られ、長手方向のＺ軸を軸とする回転は一般に「ロール」として知られる。ポインティング装置２をユーザ（図示せず）が第１の位置から第２の位置に移動させると、その結果として生じる位置変動は、動きベクトルによって表すことが可能である。これは、第２の位置に応じて、前述の考えられる６つの自由度の動きの成分の１つ若しくは複数を含み得るものであり、場合によってはその全てを含み得る。
【００２８】
図２は、座標系の軸X’、Y’、及びZ’によって表す第１の位置にあるポインティング装置２と、円弧Dが示す動きの方向にユーザが移動させた後の、軸X’’、Y’’及びZ’’によって表す第２の位置にあるポインティング装置２とを示す。その第１の位置からその第２の位置へポインティング装置２を移動させる間に、ユーザはポインティング装置２を回転させることも可能である。その結果、ピッチ角、ロール角、及びヨー角も考慮に入れることができる。
【００２９】
ポインティング装置２の相対動きを判定するために、ポインティング装置２には、図３に示すいくつかの動きベクトル検出手段M1、M2、M3が装備される。図３は、ポインティング装置２の相対動きを判定するシステム１の環境内のポインティング装置２を示す。ポインティング装置２によって収集される画像及び動き情報は、解釈されるために制御インタフェース２０に送信される。制御インタフェース２０は、ポインティング装置２によってユーザが行う動作によって装置１０を制御することが可能である。この例では、制御する対象の装置１０は、ディスプレイ１１に提示されたオプションの選択肢の１つを選ぶようユーザがカーソル１２を移動させることが可能なグラフィカル・ユーザ・インタフェースを示すディスプレイ１１を備えたテレビ１０である。
【００３０】
ポインティング装置２の動きベクトル検出装置M1、M2、M3は、ポインティング装置２を移動させる方向の動きを検出するよう適宜、ポインティング装置２内又はポインティング装置２上に配置することが可能である。ポインティング装置の動きの種々の成分（すなわち、軸X、Y、Zの１つ又は複数の方向の平行移動、及び／又は、軸X、Y、Zを軸とした１つ又は複数の回転）を合成して相対動きベクトルV1、V2、V3、V4を得る。種々の動き検出手段M1、M2、M3は測定値を連続的に生成することが可能である。その結果、相対動きベクトルV1、V2、V3、V4は大体、連続的に生成することが可能であるか、又は所定の一定間隔で生成することが可能である（その結果、相対動きベクトルV1、V2、V3、V4も一定間隔で合成される）。
【００３１】
ポインティング装置２は装置１０に向けられる。装置１０は、ディスプレイ１１内のアプリケーションのグラフィカル・ユーザ・インタフェースを示す。アプリケーションと相互作用するために、ユーザは、ポインティング装置２をディスプレイ１１に向けることが可能である。その結果、ポインティング装置２のカメラ３は、ディスプレイ１１の一部又は全部を包含して、ポインティング方向Pに目標領域Aの画像４を生成する。画像４は、シャッター速度によって、かつ、場合によっては、ポインティング装置２が操作される照明状態によって表される間隔でポインティング装置２のカメラ３によって生成される。 
図４は、テレビ１０の画像４において捕捉されるディスプレイ１１の一部分を示す。ユーザは、いくつかのメニュー・オプションの１つを選ぶためにディスプレイ１１にポインティング装置２を向ける。カーソル１２が、ポインティング装置を向けている、ディスプレイ１１内の点をユーザに示すために目標点Tに現れる。ディスプレイ１１にわたってユーザがポインティング装置２を移動させていた間の特定時点で生成された。しかし、後述するように、この画像４が処理された時点で、ポインティング装置２は移動している。その結果、ポインティング装置２が実際に向けられている目標点T’は、画像４の「旧い」目標点Tではもうない。画像フレーム時間（すなわち、２つの画像４間の時間）内で、動き検出手段M1、M2、M3は、第１の目標点Tから第２の目標点Ｔ‘への、目標領域Ａに対するポインティング装置２の動きの近似を表す相対動きベクトルV1、V2、V3、V4を生成する。
【００３２】
新たな目標点T’は、画像４、及び、相対動きベクトルV1、V2、V3、V4によって表すデルタに基づいて推定することが可能である。画像全体が到着するのを待つ必要なく相対動きベクトルV1、V2、V3、V4を利用することが可能であるように画像４、及び相対動きベクトルV1、V2、V3、V4を制御インタフェース２０に送信するために、画像４をいくつかのセグメントS1、S2、S3、S4に分割し、図５に示すように、相対動きベクトルV1、V2、V3、V4とインタリーブする。ここでは、画像4を、４つのセグメントS1、S2、S3、S4に分割し、４つの相対動きベクトルV1、V2、V3、V4をセグメントS1、S2、S3、S4間に挟んで、インタリーブされたデータ・ストリーム５を得る。
【００３３】
時点t0は、画像４の第１のセグメントS1が送信される時点として解する。画像４の４つのセグメントは、時点t1、t2、及びt3それぞれによって表す間隔で送信される。相対動きベクトルは各画像セグメントのあとに続く。よって、相対動きベクトルV1は画像セグメントS1のあとに続き、相対動きベクトルV2は画像セグメントS2のあとに続く等である。第4の画像セグメントS4及び第4の相対動きベクトルV4が前述のインタリーブされたやり方で送信された後、処理は、次の画像の第１の画像セグメントS1’及びその画像に関連した第１の相対動きベクトルV1から始めて、t4で繰り返される。
【００３４】
画像セグメントS1、S2、S3、S4、及び相対動きベクトルV1、V2、V3、V4の解析は次いで、以下のように進む。完全な画像が受信されると、絶対位置（すなわち、画像が捕捉された時点でユーザがポインティング装置を向けていた目標点）を判定することが可能である。この例では、変数「last_absolute_position」として表す、先行目標点の値が、変数「last_absolute_time」に記憶された先行時点（例えば、t1）について判定されている。次いで、画像セグメントS1、S2、S3、S4全てが現行画像4について受信されると、画像４が捕捉された時点（すなわち、時点t0）にユーザがポインティング装置を向けていた点を判定することができる。この位置を、相対動きベクトルV1、V2、V3、V4によって表すデルタによって補正して、「actual_postion」の値（画像４の画像処理が完了した時点（すなわち、時点t3）にユーザがポインティング装置を向けている実際の点の近似又は推定）を得る。変数「last_absolute_position」が次いで、「actual_position」によって表す補正値によって更新され、変数「last_absolute_time」がそれに応じてt3の値に更新される。前述の変数を次いで、よりきめの細かいレベルで動きを平滑化及び／又は予測する更なる手法に対する入力として用いることが可能である。
【００３５】
相対動きベクトルV1、V2、V3、V4は、送信する直前に合成しなくてよいが、事前に生成され、合成されていることがあり得る。前述の相対動きベクトルは、実際に送信されるものよりも速く生成することができる。よって、他が廃棄される一方で、最も直近の相対動きベクトルが送信される。更に、相対動きベクトルV1、V2、V3、V4は、特に、画像解析に基づいて生成される場合、厳密に等間隔で生成されなくてよい。よって、相対動きベクトルの生成間の実際の間隔は変わり得るか、又は等間隔であり得る。同様に、画像が分割されるセグメントは、全てが同じサイズであることは必ずしもなく、必要に応じてサイズが変わり得る。
【００３６】
図３を参照すれば、画像４は、セグメント化装置１３においてセグメントS1、S2、S3、S4に分割され、送信器15によって制御インタフェース20に送信される前に、ポインティング装置２のインタリーブ装置１４において相対動きベクトルV1、V2、V3、V4とインタリーブされる。
【００３７】
制御インタフェースは、インタリーブされたデータ・ストリーム５を受信器２１によって受信する。制御インタフェースは次いで、画像及び動き情報を、インタリーブされたデータ・ストリーム５から抽出器装置２２において抽出することが可能である。抽出器装置２２の出力は、画像セグメントS1、S2、S3、S4、及び相対動きベクトルV1、V2、V3、V4であり、それらは、画像再合成装置２３及び相対動き解析装置２７それぞれに転送される。画像再合成装置２３は、画像セグメントS1、S2、S3、S4を再合成して元の画像４を復元する。画像を次いで、画像解析装置２６に転送する。画像解析装置２６では、画像を解析して、ユーザがポインティング装置２を向けている点を判定する。この手順は、国際公開2004／047011A2号明細書に詳細に記載されている。
【００３８】
一方、相対動き解析装置２７では、ポインティング装置２がたどるパスは、相対動きベクトルV1、V2、V3、V4が供給する情報から少なくとも部分的に再構成される。部分的な再構成で十分であり得る。例えば、ポインティング装置を前方にポインティングの方向に移動させた場合、又はポインティング装置２をそれ自身の長手方向の軸を軸として回転させた場合、適切でないことがあり得るからである。第１の目標点Tを起点とし、相対動きベクトルV1、V2、V3、V4によって表すデルタを用いて再構成される、画像４にわたる仮想パスによって、第１の目標点Tに関連した画像４を画像解析装置が得た時点でユーザがポインティング装置２に向けている実際の目標点T’までの近似が得られる。
【００３９】
この情報を次いで用いて、装置１０、装置１０上で実行するアプリケーション、又はポインティング装置２を制御する視点で画像解析を最適化することが可能である。調節装置２８は、画像４、相対動きベクトルV1、V2、V3、V4、及び／又は、実際の目標点T’に関する情報を受け取り、適切な制御信号３０、３１を生成する。例えば、ユーザがポインティング装置２を向けている実際の点T’について得られた情報を用いて、正しいテンプレートをメモリ１７から早く取り出させる旨の適切なコマンド３２を出すことによって、画像解析を高速化し、システム・レーテンシを削減することが可能である。調節装置２８は、ポインティング装置２の実際の目標点T’を、適切な信号３１によって、実際の目標点の装置１０上で実行するアプリケーションに通知することも可能である。
【００４０】
調節装置２８の別の機能は、送信器２９によってポインティング装置２に送信される適切な制御信号３０によって、画像フレーム・レート、及び／又は、画像４を分割するセグメントS１、S2、S3、S4の数に影響を及ぼす旨のコマンドをポインティング装置２に出すことが可能である。ポインティング装置２は、受信器１６を装備しており、調節装置２８によって出されたコマンド３０を受信することが可能であり、適宜、反応することが可能である。このようにして、システムは、例えば、より多くの数のセグメントに画像４を分割させ、それによって、インタリーブされたデータ・ストリーム５において、対応する、より多くの数の相対動きベクトルをポインティング装置２が供給することを可能にすることによってポインティング装置２の素早い移動に反応することが可能であり、その結果、最終的に、より高い精度でポインティング装置２の動きを追跡することが可能である。
【００４１】
本発明は、好ましい実施例、及びそれに対する変形の形態で記載しているが、本発明の範囲から逸脱しない限り、数多くの更なる修正及び変形を行うことが可能であることが理解されよう。例えば、ポインティング装置の考えられる自由度全てにおける移動を検出することが必要でないことがあり得る。よって、ポインティング装置は、所望の自由度に必要な動き検出手段のみによって実現することが可能である。 
話を明瞭にするために、本出願を通して「a」又は「an」を用いていることは、複数形を排除するものでなく、「comprising」は、他の構成工程又は構成要素を排除するものでない。単一のエンティティとして明記しない限り、「装置」又は「モジュール」は、いくつかのブロック又は装置を含み得る。
【図面の簡単な説明】
【００４２】
【図１】本発明に関するポインティング装置の座標系を示す図である。
【図２】本発明に関するポインティング装置がたどるパスを示す図である。
【図３】本発明の実施例による、ポインティング装置の動きを判定するシステムを示す図である。
【図４】本発明の実施例による、ポインティング装置のカメラによって生成される目標領域画像の概略図である。
【図５】本発明に関する、インタリーブされたデータ・ストリームの概略図である。
【図１】
2009505201.tif 000003
【図２】
2009505201.tif 000004
【図３】
2009505201.tif 000005
【図４】
2009505201.tif 000006
【図５】
2009505201.tif 000007
【国際調査報告】
2009505201.tif 000008
2009505201.tif 000009
2009505201.tif 000010