(57)【要約】  本発明は、装置Ｄ１、Ｄ２を制御する方法であって、前記方法は、カメラ２と不可視光の光源３とを有するポインティングデバイス１を、制御されるべき装置Ｄ１、Ｄ２に関連する物体Ｏ１、Ｏ２、Ｏ３の方向に向けるステップを有し、物体Ｏ１、Ｏ２、Ｏ３上又は物体Ｏ１、Ｏ２、Ｏ３中には、光源３により発射された前記不可視光の少なくとも一部をポインティングデバイス１へと反射させる幾つかの逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、…、Ｍ１１が配置され、前記方法は更に、ポインティングデバイス１が向けられた目標エリアＡの第１の画像ＩＡを生成し、これにより光源３が不活動となるステップと、ポインティングデバイス１が向けられた目標エリアＡの第２の画像ＩＢを生成し、これにより第２の画像ＩＢを生成するための露光時間の少なくとも一部の間、不可視光が光源３によりポインティングの方向Ｐに発射されるステップと、逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、…、Ｍ１１の存在を決定するために目標エリア画像ＩＡ、ＩＢを処理するステップと、逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、…、Ｍ１１に関する情報を用いて、制御されるべき装置Ｄ１、Ｄ２を識別し、及び／又は識別された装置Ｄ１、Ｄ２についての制御信号ＣＳ１、ＣＳ２を決定するステップと、を有する方法を記載する。更に本発明は、斯かる方法における使用のための、装置Ｄ１、Ｄ２及びポインティングデバイス１の制御のための適切なシステムを記載する。
2008542900.tif 000002
【特許請求の範囲】
【請求項１】
装置を制御する方法であって、前記方法は、
カメラと不可視光の光源とを有するポインティングデバイスを、制御されるべき装置に関連する物体の方向に向けるステップを有し、前記物体上又は前記物体中には、前記光源により発射された前記不可視光の少なくとも一部を前記ポインティングデバイスへと反射させる幾つかの逆反射マーカ素子が配置され、前記方法は更に、
前記ポインティングデバイスが向けられた目標エリアの第１の画像を生成し、これにより前記光源が不活動となるステップと、
前記ポインティングデバイスが向けられた前記目標エリアの第２の画像を生成し、ここで少なくとも前記第２の画像を生成するための露光時間の一部の間、不可視光が前記光源によりポインティングの方向に発射されるステップと、
前記逆反射マーカ素子の存在を決定するために前記目標エリア画像を処理するステップと、
前記逆反射マーカ素子に関する情報を用いて、前記制御されるべき装置を識別し、及び／又は前記識別された装置についての制御信号を決定するステップと、
を有する方法。
【請求項２】
前記逆反射マーカ素子の存在を決定するための処理ステップは、前記第２の目標エリア画像から前記第１の目標エリア画像を減算して、目標エリアマーカ画像を生成するステップを有する、請求項１に記載の方法。
【請求項３】
前記逆反射マーカ素子の存在を決定するために前記目標エリア画像の画像データが処理された後、前記第１の目標エリア画像及び／又は前記第２の目標エリア画像及び／又は前記目標エリアマーカ画像の画像データが、位置特定された逆反射マーカに依存して抽出され、
前記抽出された画像データが更に、前記制御されるべき装置の識別及び／又は前記識別された装置のための制御信号の決定のために処理される、
請求項１又は２に記載の方法。
【請求項４】
前記更なる処理のための画像データは、前記制御されるべき装置に依存して定義されたフィルタ規則により抽出される、請求項３に記載の方法。
【請求項５】
前記抽出された画像データは、更なる処理のため、前記制御されるべき装置に関連する制御ユニットに送信される、請求項３又は４に記載の方法。
【請求項６】
前記ポインティングデバイスは、特定の前記フィルタ規則によって抽出された前記画像データを、関連する前記フィルタ規則及び／又は該フィルタ規則に関連する前記装置を識別するための情報信号と共に送信する、請求項５に記載の方法。
【請求項７】
前記フィルタ規則により抽出された画像データの量が特定のレベルを超過する場合に、前記第１の目標エリア画像の全体又は前記第２の目標エリア画像の全体が制御ユニットに送信される、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記逆反射マーカ素子は、前記制御されるべき装置の物体に関連する又は前記制御されるべき装置に関連する一意的な識別子を与えるように特に設計及び／又は構成される、請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記逆反射マーカ素子は、可視周波数範囲において透明に見え、又は前記逆反射マーカ素子が配置された前記物体の表面と同じ可視周波数範囲で見える、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
前記逆反射マーカ素子はステッカである、請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
装置を制御するためのシステムであって、前記システムはポインティングデバイスを有し、前記ポインティングデバイスは、
前記ポインティングデバイスが向けられた方向に不可視光を発射する不可視光の光源と、
ポインティングの方向に目標エリアの画像を生成するカメラであって、前記光源により発射される不可視光の周波数範囲に対して感度のあるカメラと、
前記光源と前記カメラとを同期させて、それにより前記目標エリアの第１の画像が生成され、それにより前記光源が不活動となり、前記目標エリアの第２の画像が生成され、ここで少なくとも前記第２の画像を生成するための露光時間の一部の間、前記光源により前記ポインティングの方向に不可視光が発射されるようにする同期ユニットと、
を有し、前記システムは更に、
制御されるべき前記装置に関連する物体上又は前記物体中に配置され、前記光源により発射された不可視光の少なくとも一部を前記ポインティングデバイスへと反射させる、幾つかの逆反射マーカ素子と、
前記逆反射マーカ素子の存在を決定するため前記目標エリア画像を処理するための画像処理ユニットと、
前記逆反射マーカ素子に関する情報を用いて、前記制御されるべき装置を識別する及び／又は前記識別された装置についての制御信号を決定する制御手段と、
を有するシステム。
【請求項１２】
ポインティングデバイスであって、
前記ポインティングデバイスが向けられた方向に不可視光を発射する不可視光の光源と、
ポインティングの方向に目標エリアの画像を生成するカメラであって、前記光源により発射される不可視光の周波数範囲に対して感度のあるカメラと、
前記光源と前記カメラとを同期させて、それにより前記目標エリアの第１の画像が生成され、それにより前記光源が不活動となり、前記目標エリアの第２の画像が生成され、ここで少なくとも前記第２の画像を生成するための露光時間の一部の間、前記光源により前記ポインティングの方向に不可視光が発射されるようにする同期ユニットと、
を有するポインティングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置の制御のための方法及びシステム、並びに斯かるシステムにおいて利用可能なポインティングデバイスに関する。
【背景技術】
【０００２】
例えばテレビジョン、ＤＶＤプレイヤ、チューナ等といったいずれかの消費者向け電子装置のような装置の制御のため、一般にリモートコントローラが利用される。しかしながら、平均的な家庭においては、しばしば各消費者向け電子装置に対して１つといったように、複数のリモートコントローラが必要とされ得る。自身が所有する消費者向け電子装置を熟知した人物にとってさえも、各リモートコントローラ上の各ボタンが実際には何のためのものかを記憶するのは困難である。更に、幾つかの消費者向け電子装置のために利用可能なオンスクリーン型のメニュー駆動型ナビゲーションはしばしば、特に当該装置に利用可能な選択肢の深い知識を持たないユーザにとって、直感的ではない。その結果、ユーザは該ユーザが探している選択肢の場所を探すため画面上に表示されるメニューを継続的に精査し、次いで適切なボタンを探すためにリモートコントローラを見下ろす必要がある。しばしば、ボタンは非直感的な名称又は略称を与えられる。加えて、リモートコントローラ上のボタンは、最初にモードボタンを押下することによりアクセスされる、他の機能をも実行し得る。
【０００３】
時折、幾つかの装置を制御するために単一のリモートコントローラ装置が利用される。リモートコントローラは或る装置を他の装置から区別することは不可能であるから、リモートコントローラは各装置のための専用のボタンを備えられる必要があり、ユーザは所望の装置とインタラクトする前に適切なボタンを明示的に押下する必要がある。
【０００４】
通常のリモートコントローラに対するとり得る代替は、ポインティングデバイス（pointing device）である。ポインティングデバイスに基づくユーザインタフェースシステムは、国際特許出願公開WO2004/047011A2（参照により開示が本明細書に組み込まれたものとする）より知られる。斯かるシステムの概念は、カメラに接続されたポインティングデバイスが、例えば装置のケース、画面、又は該装置に関連する他のいずれかのアプリケーション又はアクセサリのような物体を指す（ポインティングする）ことにより、周囲にあるいずれかの該装置を制御するために利用され得るというものである。ポインティングデバイスのカメラは目標エリアの画像を生成し、該画像が次いで解析される。
【０００５】
画像解析により解決される必要がある主なタスクは、ユーザが指している（ポインティングしている）物体を識別し、該ポインティングの軸と該物体との交点を決定することである。該交点は、装置のための制御信号を生成するための基準となり得る。例えば、ユーザが関連する装置を制御するための幾つかの選択肢を有するメニューを表示する画面を指す場合、前記交点はユーザが指しているメニューの選択肢を導出する。他の例においては、ビデオフィルムを開始するために、ユーザがＤＶＤプレイヤのケースに配置された「再生」ボタンを指しても良い。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば同一のサイズ及び形状の一群のテレビジョン又はコンピュータのモニタ、又は例えばしばしば類似した外観を持つ一群のビデオカセットレコーダやＤＶＤプレイヤ等のように、物体が形状及び外観において類似している場合、装置及び／又は正確な前記交点を識別するという問題が、より困難とされる。通常の環境下では物体が見分けられる場合であっても、例えば暗くされた部屋におけるような、視認性が悪い条件下においてはもはや見分けることが不可能となり得る。
【０００７】
それ故本発明の目的は、上述した問題を回避する又は軽減させる、自動的に物体を識別する及び／又はポインティングの軸が前記物体と交差する点を決定する、容易且つ適切な方法を提供することにある。
【課題を解決するための手段】
【０００８】
この目的のため、本発明は、以下のステップを有する、装置の制御のための方法を提供する。即ち、カメラと不可視光の光源とを有するポインティングデバイスが、制御されるべき装置に関連する物体の方向に向けられる。ここで、前記物体上又は前記物体中には、前記光源により発射された前記不可視光の少なくとも一部を前記ポインティングデバイスへと反射させる幾つかの逆反射マーカ素子が配置される。次いで、前記ポインティングデバイスが向けられた目標エリアの第１の画像が生成され、これにより前記光源が不活動となり、前記ポインティングデバイスが向けられた前記目標エリアの第２の画像が生成され、ここで少なくとも前記第２の画像を生成するための露光時間の一部の間、不可視光が前記光源によりポインティングの方向に発射される。これにより、前記第２の画像が原則的に前記第１の画像より前に生成されることが、当業者には明らかであろう。続いて、前記逆反射マーカ素子の存在を決定するために前記目標エリア画像が処理され、前記逆反射マーカ素子に関する情報が用いられ、前記制御されるべき装置を識別し、及び／又は前記識別された装置についての制御信号を決定する。
【０００９】
斯かる方法を利用する装置を制御するための適切なシステムは、ポインティングデバイスであって、前記ポインティングデバイスが向けられた方向に不可視光を発射する不可視光の光源と、ポインティングの方向に目標エリアの画像を生成するカメラであって、前記光源により発射される不可視光の周波数範囲に対して感度のあるカメラと、前記光源と前記カメラとを同期させて、それにより前記目標エリアの第１の画像が生成され、それにより前記光源が不活動となり、前記目標エリアの第２の画像が生成され、ここで少なくとも前記第２の画像を生成するための露光時間の一部の間、前記光源により前記ポインティングの方向に不可視光が発射されるようにする同期ユニットと、を有する、本発明によるポインティングデバイスを本質的に必要とする。
【００１０】
更に本発明によれば、装置を制御するための斯かるシステムは、制御されるべき前記装置に関連する物体上又は前記物体中に配置され、前記光源により発射された不可視光の少なくとも一部を前記ポインティングデバイスへと反射させる、幾つかの逆反射マーカ素子と、前記逆反射マーカ素子の存在を決定するため前記目標エリア画像を処理するための画像処理ユニットと、前記逆反射マーカ素子に関する情報を用いて、前記制御されるべき装置を識別する及び／又は前記識別された装置についての制御信号を決定する制御手段と、を有するべきである。
【００１１】
逆反射素子は、ミラーとは異なり、入射角にかかわらず、光又はその他の放射をこれらが来た方向に送出する装置として知られる（ミラーは、該ミラーが光ビームと正確に垂直である場合にのみ、該光が来た方向に該光を反射する）。それ故、逆反射マーカ素子の利点は、ポインティングデバイス中のカメラのためマーカ素子から十分な強度の反射信号を得るために、ポインティングデバイス中の光源が特に強力な光ビームを生成する必要がないという点である。全ての物体の逆反射マーカ素子を見ることが可能であることは、ポインティングデバイスのユーザにとって不快なものとなり得るため、光源、逆反射マーカ素子及びカメラは、人間の眼に見えない光スペクトルの領域で動作するように構成される。斯かる領域は、例えば赤外領域又は紫外領域であっても良い。逆反射マーカ素子は、カメラにより一層容易に認識され得、画像の処理における利用のために配置されても良く、好ましくは方向付けを明確に支援するように働き得る。
【００１２】
本発明による方法及びシステムは、ユニバーサルな制御ツールである対応するポインティングデバイスのための、より容易な利用を提供する。なぜなら、生成された画像に基づき制御信号が生成されるようにするため、ユーザは装置又は物体を指す必要があるのみであるからである。とりわけ、ここで説明される方法によってユーザは、異なる装置に関連するいずれかの物体が外観において類似又は同一である場合であっても、又は周囲が暗闇である場合であっても、斯かるポインティングデバイスを用いて、逆反射マーカ素子によりマークされた装置を容易に識別し該装置とインタラクトすることができる。ポインティングデバイスの当該機能は、上述したように、便利なポインティング様式と併せ、日常における無数の状況に対して、本発明を強力且つ実用的なツールとする。
【００１３】
従属請求項及び以下の説明は、本発明のとりわけ有利な実施例及び特徴を開示する。
【００１４】
種々の可能性が、第２の目標エリア画像における逆反射マーカ素子の認識を可能とする。好適な方法においては、逆反射マーカ素子の存在を決定する処理ステップは、好ましくは画素毎に、第２の目標エリア画像から第１の目標エリア画像を減算し、目標エリアマーカ画像を生成するステップを有する。該目標エリアマーカ画像はこのとき、単に逆反射マーカ素子を示し、それにより逆反射マーカ素子が該画像において明確に認識され得る。
【００１５】
制御されるべき装置の識別のために及び／又は識別された装置のための制御信号の決定のために処理されるべきデータの量を低減するため、本方法においては好ましくは以下の２ステップ処理が利用される。
【００１６】
第１のステップにおいて、目標エリア画像の画像データが前処理され、いずれかの逆反射マーカ素子の存在を決定する。本ステップにおいて、前記第１の目標エリア画像及び／又は前記第２の目標エリア画像及び／又は前記目標エリアマーカ画像の画像データが、位置特定された逆反射マーカ要素に依存して抽出される。抽出される画像データは例えば、単に位置特定された逆反射マーカ素子の画像座標であっても良いし、若しくはマーカ素子の周囲の特定の「関心領域（regions of interest）」であっても良く、又は画像から抽出可能な他のいずれかのデータであっても良い。画像における特定の認識された要素に関連する斯かる情報は、本発明の意味において、画像データとしてみなされる。任意に、逆反射マーカ素子を利用することにより、本ステップにおいて装置が識別されても良い。
【００１７】
第２のステップにおいて、例えば第１のステップにおいて装置の識別が為されていない場合には装置を識別するために、及び／又は識別された装置のための制御信号の決定のために、前記抽出された画像データが更に処理される。とりわけ、本更なる処理ステップにおいて、ポインティングの軸とユーザが指した物体との交点が決定されても良く、更に該物体及び／又は関連する装置に依存する制御信号が該交点に基づいて決定されても良い。
【００１８】
好ましくは、前記更なる処理のための画像データは、前記制御されるべき装置に依存して定義されたフィルタ規則により抽出される。例えば、該装置が特別なフィルタリングを要求しても良く、ポインティングデバイス装置が種々の装置についてのフィルタ規則を保存するためのメモリを持つ適切なフィルタ手段を有する。装置についてのフィルタ規則は例えば、画像データ中の三角形の逆反射マーカ素子の全てが探されることを規定しても良いし、又は最小サイズを持つ逆反射マーカ素子が探されることを規定しても良い。同様に、フィルタ規則は、特定の距離だけ離隔され互いに対して特定の方向を持つ逆反射マーカ素子の特定の組み合わせを探すことを規定しても良い。
【００１９】
更に、フィルタ規則はまた、特定の逆反射マーカ素子又は逆反射マーカ素子の組み合わせが識別されたときに、どの画像データが選択されるべきかを規定しても良い。このようにして、装置についての第１のフィルタ規則が、位置特定された逆反射マーカ素子の座標のみが転送されるべきであることを規定しても良い。他の装置のフィルタ規則が、位置特定された逆反射マーカ素子の座標に加えて、逆反射マーカ素子の形状及び方向に関する情報もが転送されるべきであり、それにより例えば、識別された逆反射マーカ素子を含む目標マーカ画像の画像データもまた転送されるべきであることを規定しても良い。更に他のフィルタ規則が、例えば認識された逆反射マーカ素子の中心の周りの１０ｘ１０画素の正方形領域といった、特定の画像領域もまた送信されるべきであることを規定しても良い。同様に、マーカ素子の周囲の他のいずれの種類の画像領域が定義されても良い。
【００２０】
フィルタ規則は好ましくは、一方では処理のためにとり得る最小の量のデータが選択され、他方では制御信号が比較的迅速に決定されることを確実にするために十分な量のデータが選択されるように、画像データの選択が最適に為されるよう規定される。かくして、逆反射マーカ素子に関する位置情報及び、もし必要であれば、例えばこれらマーカの形状及びサイズを記述する情報が転送されさえすれば、装置にとって十分である。これらの逆反射マーカ素子が、例えば特定のボタンが特定の位置に配置された装置筐体の前面に位置特定された場合、逆反射マーカ素子の座標は、ポインティングの軸と装置筐体の前面との交点を決定し、どのボタンをユーザが現在ポインティングデバイスで指しているかを決定するのに十分となる。例えば幾つかの頻繁に変化するメニュー項目を表示する画面のような他の例においては、より多くの量のデータを選択することが有利となり得る。斯かる場合においては、識別された逆反射マーカ素子間の画面の少なくとも一部を有する、画像の第１又は第２の目標エリアの全ての画像データを選択することが有利となり得る。これらの画像データに基づき、交点又は選択されたメニュー選択肢を識別することがより容易となり得る。
【００２１】
本発明の特に好適な実施例においては、目標エリア又は目標エリアマーカ画像の前処理が、ポインティングデバイス自体において実行される。換言すれば、逆反射マーカ素子及び任意にポインティングされている物体又は装置が、ポインティングデバイス内で識別される。
【００２２】
しかしながら、好ましくは手で快適に保持されるようにされた、斯かるポインティングデバイスの計算能力は、複雑な計算処理により要求される能力により必然的に非常に制限されてしまう。それ故、抽出される画像データは好ましくは、制御されるべき装置に関連する制御ユニットへと、更なる処理のために転送される。該制御ユニットは、制御されるべき装置のための制御信号を決定する。該制御ユニットは例えば、該装置の一部であっても良いし、該装置自体と同じ筐体に組み込まれても良い。他の例においては、該制御ユニットは、いずれかの適切な態様で、制御されるべき装置と通信することができる別個の物として実現されても良く、それにより、斯かる制御ユニットは１より多い装置を制御することを可能とされても良い。
【００２３】
好適な実施例においては、前記ポインティングデバイスは、特定の前記フィルタ規則によって抽出された前記画像データを、関連する前記フィルタ規則及び／又は該フィルタ規則に関連する前記装置を識別するための情報信号（以下「フィルタ識別子」と呼ぶ）と共に送信する。このことは、ポインティングデバイスが、関連する情報信号と共に、画像データを放送の態様で送信することを可能とする。とりわけ、種々の装置が異なる制御ユニットに割り当てられており、制御ユニットのそれぞれが自身の装置にのみ関連する場合、本方法の利点は、ポインティングデバイスが制御されるべき装置を識別する必要がなく、保存されたフィルタ規則及び関連するフィルタ識別子を識別する必要があるのみであるという点である。各装置の制御ユニットは、フィルタ識別子に基づいて放送信号から関連するデータをフィルタリングで取り出すことができ、それ故当該制御ユニット向けの関連する画像データを処理する必要があるのみである。
【００２４】
本方法はそれ故有利な態様で、一方ではポインティングデバイス中の画像処理が著しく低減され、他方ではポインティングデバイスと制御ユニットとの間のデータ転送が非常に低減され得ることを保証する。本方法はそれ故、Bluetooth（登録商標）又は同様のもののような短距離無線チャネルに対して現在利用可能なもののような、制限された通信帯域幅にも適用可能である。更に、現在の消費者向け電子装置及びポインティングデバイスにおいて利用可能な非常に限られた処理能力が、考慮に入れられる。
【００２５】
複数のフィルタ規則に合致する逆反射マーカ素子が識別される限り、フィルタ規則により抽出された画像データを１度より多く送信する必要はない。このことは、放送送信の方法により、ポインティングデバイスにおける前処理の間に種々のフィルタ規則の要件を満足するために十分な画像領域が抽出され、且つこれらの画像領域が次いで適用されるフィルタ規則又は対応する装置に関する情報（例えばフィルタ識別子）と共に送信されるのに十分である。この場合においては、装置又は関連する制御ユニットが、これらが実際に必要とするよりも多いデータを受信する。しかしながら、転送されるデータの総量は、この方法により最小に維持され得る。
【００２６】
とりわけ、好適な方法においては、異なる装置により要求された前記フィルタ規則により抽出された画像データの量が特定のレベルを超過する場合に、前記第１の目標エリア画像の全体又は前記第２の目標エリア画像の全体、及び任意に目標エリアマーカ画像又は例えば逆反射マーカ素子の座標のような逆反射マーカ素子の画像データが、制御ユニットに送信される。例えばこのことは、第１の目標エリア画像全体の画像データの量が、フィルタ規則により抽出された画像データの総量よりも小さい場合に有意義である。この場合にはまた、目標エリア画像全体の送信に加え、全ての関連するフィルタのフィルタ識別子が送信され、それにより、対応する制御ユニットが、該送信された画像が当該制御ユニットに向けられたものであること、及び当該制御ユニットが適切な態様で更なる処理を実行する必要があることを知ることができる。
【００２７】
逆反射マーカ素子は、上述したような逆反射効果が得られる、いずれのタイプの素子であっても良い。逆反射効果は通常、種々の方法で得られる：
ａ）逆反射素子が、コーナを形成する３つの垂直なミラー（コーナー反射器又はコーナーキューブ）のセットと、２の屈折率を持つ物質から成る透明な球体とを有する。
ｂ）逆反射素子は、薄板又は塗料に組み入れられた、これらの構造の多くの非常に小さなバージョンから成っても良い。ガラス玉を含む塗料の場合においては、該塗料が該ガラス玉を逆反射が必要とされる表面に接着させ、これらガラス玉が該塗料から突出する。これらガラス玉の直径は塗料の皮膜の厚さの約２倍である。
【００２８】
例えばそれ故、例えば制御されるべき装置の筐体のような、個々の物体の表面に適切な皮膜を塗布し、それにより逆反射マーカ素子が該物体又は装置の筐体の不可分な部分を形成することも可能である。
【００２９】
他の代替例は、物体又は装置の表面に単に貼付されるステッカの形をとる逆反射マーカ素子を利用することであっても良い。斯かる自己接着型の逆反射性ホイルは、通常埋め込まれたガラスの微粒子を含み、Orafol Klebetechnik GmbH社により製造されたもののように、種々の色で利用可能である。更に、逆反射性ホイルが印刷され得る色の範囲が利用可能である。
【００３０】
好ましくは、光の可視領域において透明であるように見えるか、又は塗布される物体の表面と同一である逆反射マーカ素子が利用される。これにより、逆反射マーカ素子は、物体の外観を変更せず、またユーザは一見して逆反射マーカ素子に気付かない。
【００３１】
逆反射マーカ素子は好ましくは、制御されるべき装置の物体に間接的に関連する、又は制御されるべき装置と直接的に関連する、一意的な識別子を与えるような特定の態様で、設計され（即ち形づけられ及び色を付けられ）構成される。
【００３２】
ステッカが利用される場合、ユーザ自身がこれらステッカを、該ユーザがポインティングデバイスを利用して制御したいと望む装置又は関連する物体に貼付しても良い。この目的のため、ユーザは、ポインティングデバイス又は制御されるべき特定の装置の購入時に、適切に貼付されるべき逆反射マーカ素子のセットを与えられても良い。ユーザにとって、固定された所定の方法で逆反射マーカ素子を貼付すること、又は正確な位置を正確に測り分けることは、必須ではない。逆反射マーカ素子を用いた更なる処理のために必要とされる全ての情報は、物体にステッカを貼付した後にユーザがポインティングデバイスを数秒間の間物体に向けることを要求される、セットアップ又は初期化処理において取得され得る。斯かるトレーニングモードを利用することにより、ユーザは、適切なユーザインタフェースを介して、現在識別可能な逆反射マーカと関連すべき装置を特定することができ、それにより対応する装置又は制御ユニットが次いで、該装置と共に利用されるべきフィルタ規則を独立して決定することができる。
【００３３】
ユーザが該ユーザの既存システムにおいてポインティングデバイスを用いて制御することを可能とすることを欲する新たな装置を購入した場合、該装置は、適切な逆反射マーカ素子を備えていれば、初期化処理において即座にフィルタ規則をポインティングデバイスに送信することができ、それにより、将来、該フィルタ規則がポインティングデバイスにより考慮され、該フィルタ規則により抽出されるデータが該装置又は対応する制御ユニットに送信されることとなる。
【００３４】
本発明は、以下の有利な手法の利用を可能とする。
【００３５】
例えば、指された装置又はオブジェクトが関連するものであると識別された場合はいつでも、或るタイプの視覚的なフィードバックが提供されても良い。とりわけ、光源が紫外光を発する場合、適切な蛍光層又は皮膜が、例えば装置の前面パネル上において可視光を反射するボタンサラウンド（button surround）の形で、一時的に可視とされる。
【００３６】
不可視の光の光源が赤外光の光源である場合、本発明の好適な実施例においては、ポインティングデバイスを利用して、既に説明した態様で関連する物体を単純に指すことによっては制御され得ない古典的な装置を制御することが可能である。斯かる場合においては、現時点において一般に利用可能な赤外のリモートコントローラにおける場合のように、赤外光源が適切なコードを装置に直接送信するために利用されることができる。この目的のため、例えば該装置は、上述の方法によって最初に識別されても良い。続いて、専用の制御ユニットにおいて該装置のために適切な制御信号が生成され、適切な形態でポインティングデバイスに送信されても良い。該制御信号は最後に、赤外信号の形で、ポインティングデバイスから、制御されるべき装置へと送信されても良い。勿論、初期化処理において、制御されるべき装置の後の識別のための、及び適切な制御信号の生成のための必要な情報を、制御ユニットが取得することが必要である。またポインティングデバイス自体が、斯かる装置を制御するための適切な制御ユニットを備えることも、基本的に可能である。
【００３７】
更に、好適な実施例においては、関心領域に対してズームイン又はズームアウトすることが可能である。即ち、カメラセンサと物体との間の距離に依存して、カメラセンサのより大きな又は小さな領域を利用することが可能である。ポインティングデバイスに近すぎて画像に収まらない物体の識別の問題は、これにより解決される。同様に、物体への距離によって解像度が変化させられても良い。
【００３８】
例えばポインティングの軸と物体と交点を決定するため、コンピュータビジョン（computer vision）アルゴリズムが利用されても良い。
【００３９】
コンピュータビジョンアルゴリズムを用いて物体の目標エリア画像の抽出された画像データを処理する方法は、目標画像データにおける特徴的な点を検出するステップと、装置の物体のテンプレートにおける対応する点を決定するステップと、該テンプレートにおける対応する点に前記画像データにおける点をマッピングするための変換を実行するステップと、を有しても良い。画像データの特徴的な点は逆反射マーカ素子であっても良いが、同様に（加えて）物体自体の特徴的な点又は該装置を囲むエリアにおける点であっても良い。該変換は次いで、該物体に対するポインティングデバイスの位置及び向きを決定するために利用され、それによりポインティングの軸と該物体との交点がテンプレートにおいて位置特定される。該テンプレートにおける該交点の位置は、制御されるべき装置に関連する該物体上の目標点に対応し、どの選択肢がユーザによって指されたかを容易に決定するために利用され得る。このようにして、画像データを所定のテンプレートと比較することは、特徴的な隅の点のような顕著な点のみを識別し比較することに限定され得る。本発明において用いられる「比較する」なる語は広い意味で解釈されるべきであり、即ち単にユーザが目的とする選択肢を迅速に識別するために十分な特徴を比較することを意味する。
【００４０】
利用の容易さのため、ポインティングデバイスは、ユーザによって快適に把持され容易に持ち歩くことができるような細長い形状の棒又はペンの形をとっても良い。かくしてユーザは、制御されるべき装置に、該装置から離れて位置しながらも、ポインティングデバイスを直接向けることができる。同様に、ポインティングデバイスはピストルの形をとっても良い。更に、周囲が暗い場合であっても制御されるべき装置をユーザが容易に見出すことができるように、ポインティングデバイスが向けられた領域を照射するように動作する付加的な可視光源が、ポインティングデバイス中又はポインティングデバイス上に設置されても良い。同様に、ユーザに対して該ユーザがポインティングデバイスをどこに向けているかを正確に示すための、可視レーザ光のビームを生成するレーザ光源が、ポインティングデバイス中又はポインティングデバイス上に組み込まれても良い。
【００４１】
上述したポインティングデバイスと制御ユニットとは併せて、家庭、オフィス、博物館、病院又はホテル環境のような、事実上いずれもの種類の環境における利用のための、強力な制御システムを提供する。本発明による方法は、いずれの電気的又は電子的に制御可能な装置に対しても適用され得る。更に、制御ユニット及び制御されるべき装置は、いずれの数のモジュール、コンポーネント又はユニットを有しても良く、いずれかの態様で分散させられても良い。
【００４２】
本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなるであろう。しかしながら、図面は単に説明の目的のために描かれたものであると理解されるべきであり、本発明の限定の定義として理解されるべきではない。
【発明を実施するための最良の形態】
【００４３】
図面を通して、同様の番号は同様のオブジェクトを指す。示されるポインティングデバイスは、図面に示されていないユーザにより保持され操作される。
【００４４】
図１に示されるシステムは、制御されるべき２つの装置Ｄ１及びＤ２と、ポインティングデバイス１とを有し、該ポインティングデバイス１によって装置Ｄ１及びＤ２が制御される。本例においては、対応する装置Ｄ１及びＤ２に関連し且つポインティングデバイス１中のカメラ２により識別されることができる物体Ｏ１及びＯ２は、実際の装置Ｄ１及びＤ２のケース又は筐体である。本例においては２つの装置のみが示されているが、更なる装置が本発明による方法における利用のために構成される場合には、いずれの数の斯かる装置もがポインティングデバイス１により制御されても良い。
【００４５】
第１の装置Ｄ１は、画面を持つテレビジョンである。第２の装置は例えば、前面パネルにディスプレイ１４及び種々のボタン１５を持つステレオサウンドシステムのチューナである。説明の目的のため、ポインティングデバイス１は、制御されるべき装置Ｄ１及びＤ２に比して大きな縮尺で示されている。手に保持されるポインティングデバイス１は一般に、制御されるべき装置Ｄ１及びＤ２よりもかなり小さい。
【００４６】
これら装置Ｄ１及びＤ２のそれぞれは、自身の制御ユニットＣ１及びＣ２を備え、該制御ユニットＣ１及びＣ２はここでは明確さのため、対応する物体Ｏ１及びＯ２と並んで別個のものとして示されている。好ましくは、これら制御ユニットＣ１及びＣ２のそれぞれは、対応する装置Ｄ１及びＤ２の筐体の中に組み込まれる。
【００４７】
しかしながら基本的に、図示されたような装置Ｄ１及びＤ２に、外部の制御ユニットを備えることが可能である。例えば、制御モジュールＣ１及びＣ２が関連する装置Ｄ１及びＤ２に制御信号ＣＳ１及びＣＳ２を送信できるようにするための適切な制御入力を持つ限り、装置が斯かる制御ユニットと共に動作するように改良されても良い。例えば、通常赤外リモートコントローラにより制御されるような古典的な装置を採用し、該装置が適切な赤外送信器を備えた制御ユニットにより動作させられることを可能とすることにより（該装置が該制御ユニットから送信された赤外信号を受信することが可能である限り）、システムが構成されても良い。このようにして、いずれの装置もが、該装置が本発明による方法を利用して制御されることができるように、外部の制御ユニットにより改良されても良い。
【００４８】
本発明によれば、対応する装置Ｄ１及びＤ２の物体Ｏ１及びＯ２の筐体に、逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６及びＭ７が貼付される。これらマーカ素子は例えば、これらマーカ素子が気付かれないように、透明であるか又はこれらマーカ素子が貼付される筐体Ｏ１及びＯ２の表面と同一の色を持つステッカであっても良い。代替として、これら逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６及びＭ７は、例えば塗料自体において、筐体Ｏ１及びＯ２の表面に直接に一体化されていても良い。上述の例においては、逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６及びＭ７は、異なる形状を持つ。ここでは、テレビジョンＤ１に貼付された２つの逆反射マーカ素子Ｍ１及びＭ２は、三角形の形状を持つ。更なる逆反射マーカ素子Ｍ３は丸まった角を持つ縦長の形状を持ち、第４の逆反射マーカ素子Ｍ４は長方形の形状を持つ。第２の装置Ｄ２の場合には、２つの円形の逆反射マーカ素子Ｍ５及びＭ６、並びに十字型の形状の更なる逆反射マーカ素子Ｍ７が利用される。逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６及びＭ７の形状と、これらの相対的な位置とが併せて、制御されるべき装置Ｄ１及びＤ２に関連する一意的な識別子をもたらす。対称の回転軸を持たない逆反射マーカ素子の利用、又は逆反射マーカ素子の組み合わせの利用は、逆反射マーカ素子がかくしてこれら素子の向きを明確に記述し、向きに関する不確定さが後の認識ステップにおいて対処される必要がないという利点を持つ。
【００４９】
ポインティングデバイス１は、本発明のために必要な以下のコンポーネント、即ちカメラ２、可視光源３、同期ユニット４、並びにフレームバッファ６、減算ユニット７及びディジタル信号プロセッサ（ＤＳＰ）８を有する処理ユニット５を有する。更に、ポインティングデバイス１は無線通信モジュール９を有し、該モジュール９によりデータが装置Ｄ１及びＤ２の制御ユニットＣ１及びＣ２へと送信され、また該制御ユニットＣ１及びＣ２から受信されることができる。
【００５０】
言うまでもなく、ポインティングデバイス１は、例えばボタン、又はユーザが装置のための制御信号の生成のために付加的な命令を入力することができる或る種のユーザインタフェースのような、上述したもの以外のコンポーネントを有しても良い。斯かる付加的なコンポーネントについては、再びWO2004/047011A2を参照されたい。該文献において、斯かるポインティングデバイスのための幾つかの付加的なコンポーネントが詳細に記載されている。ポインティングデバイスはまた、ここで説明された態様での制御信号の生成のために利用されても良い。例えば、ポインティングデバイスが、単に目標を指すのみならず、制御信号の生成のため特定の態様で解釈され得る特定の態様又はジェスチャで動かされても良い。
【００５１】
図１に示されたポインティングデバイス１及び制御ユニットＣ１及びＣ２の個々のコンポーネントの機能は、以下に詳細に説明される。
【００５２】
同期ユニット４の２つのタイマ４ａ及び４ｂが、ポインティングの方向における目標エリアＡの第１の目標エリア画像ＩＡが生成されるように、カメラ２及び光源３を制御するために利用される。該第１の目標エリア画像ＩＡはフレームバッファ６に保存され、またＤＳＰ８に転送される。短い遅延（目標エリアに対するポインティングデバイスのいずれの動きも当該時間において無視できるほど短いべきである）の後、第２の目標エリア画像ＩＢが生成される。第２の目標エリア画像ＩＢの生成の間、少なくとも一時的に、光源３がアクティブとなる。光源３により発せられた不可視の光は、物体Ｏ１（本例においてはテレビジョンの筐体Ｏ１）の逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３及びＭ４よりポインティングデバイス１の方向に、及びそれ故カメラ２の方向に反射させられる。第２の目標エリア画像ＩＢは減算ユニット７に転送され、該減算ユニット７において、フレームバッファ６に保存された第１の目標エリア画像ＩＡが、第２の目標エリア画像ＩＢから画素毎に減算され、目標エリアマーカ画像ＩＭを導出する。該目標エリアマーカ画像ＩＭにおいて、個々の逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３及びＭ４は明確に識別されることができる。該画像は、第１の目標エリア画像ＩＡと共に、ＤＳＰ８により処理される。
【００５３】
最初に、各認識された逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３及びＭ４の座標が決定される。このことは、種々の既知の画像処理方法を用いて実行されても良い。１つの可能性は、所謂「ハリス・コーナー点検出器（Harris corner detector）」を利用することである。これは逆反射マーカ素子の隅部を識別するために利用され得る方法である。種々の画像処理手法を利用して逆反射マーカ素子の隅部及び端部が識別されれば、例えば該画像についての座標系に対する逆反射マーカ素子の中心点が決定されることができる。これらの座標は次いで、例えばユーザが指している物体Ｏ１の識別のための、更なる処理のための画像データとして働くことができる。
【００５４】
次いで、特定の装置について潜在的に対象となる逆反射マーカ素子が画像において検出されたか否かを決定するため、特定のフィルタ規則ＦＲ１及びＦＲ２が適用される。この目的のため、装置Ｄ１及びＤ２のそれぞれは、適切な装置特有のフィルタ規則ＦＲ１及びＦＲ２を、例えば送信インタフェース１１及び１１'を介して、ポインティングデバイス１の無線通信モジュール９に送信しても良い。これら規則は好ましくは、それぞれが対応するフィルタ規則ＦＲ１及びＦＲ２についてのものである、適切なフィルタ識別子ＩＥ１及びＩＥ２を伴う。ＤＳＰ８は次いで、フィルタ規則ＦＲ１及びＦＲ２を用いて、目標エリア画像ＩＡから対象となる全てのデータをフィルタリングして取り出す。
【００５５】
例えば、第１の装置Ｄ１のフィルタ規則ＦＲ１は、ＤＳＰ８が全ての画像から特定の配置の三角形及び長方形の逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３及びＭ４を探すことを規定しても良い。第２の装置Ｄ２に関連する他のフィルタ規則ＦＲ２は、円形の逆反射マーカ素子Ｍ５及びＭ６並びに十字型の形状の逆反射マーカ素子Ｍ７を探すことを規定しても良い。
【００５６】
フィルタ規則ＦＲ１及びＦＲ２に合致する関連する逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６及びＭ７がＤＳＰ８の画像処理により見出されると、フィルタ規則ＦＲ１及びＦＲ２により画像データＩＥ１及びＩＥ２が選択される。選択される画像データＩＥ１及びＩＥ２は、単に識別された逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６及びＭ７の座標及び／又はこれら逆反射マーカ素子Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６及びＭ７の近隣における隅又は端のような特定の特異点の座標を有していても良い。任意に、識別の精度を示す、信号強度測定値のような或る種の信頼基準が供給されても良い。識別された構造の向きもが供給されても良い。更に、識別された逆反射マーカＭ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６及びＭ７の周囲の特定の領域（関心領域）内の画素もが供給されても良い。
【００５７】
以下、数例の命令が与えられる。これら命令により、送信のための画像データ（「スポット形状」とも呼ばれる）が、フィルタ規則において規定されることができる。該規則は、以下の適切な命令定義を持つ。
「なし」：座標のみが送信され、他の更なる情報は送信されない。
「１画素」：識別された逆反射マーカの中心画素に関する色情報のみが送信される（不可視光範囲で異なる色を持つ逆反射マーカが用いられた場合）。
「長方形」：該命令は、送信されるべき抽出された長方形画像の画素におけるサイズを定義する２つの整数が供給されるべきであることを示す。ここで該長方形画像の中心は、識別された逆反射マーカ素子の座標の中心点である。
「円形」：該命令により、整数の形をとる半径が与えられ、それにより逆反射マーカの座標の中心点の周りの、該中心点から該半径内にある全ての画素が、抽出画像として該フィルタ規則に対応する装置へと送信される。
【００５８】
斯かる選択された抽出画像の例が、図２ａ及び２ｂに示される。図２ａは、コンピュータのモニタＤ３を示す。該モニタは、ポインティングデバイスによりリモート的に制御されるべきコンピュータ（図示されていない）に関連する物体Ｏ３である。三角形のマーカＭ８と十字型の形状のマーカＭ９とがモニタＯ３の上端部に貼付され、長方形のマーカＭ１０と更なる三角形のマーカＭ１１とが下端部に貼付されている。マーカＭ８、Ｍ９、Ｍ１０及びＭ１１の周囲の特定の画像エリアＩＥ３が、制御されるべきコンピュータにより規定される、これらのマーカＭ８、Ｍ９、Ｍ１０及びＭ１１のための所定のフィルタ規則に基づいて、ポインティングデバイス１用に抽出される。これら画像エリアＩＥ３は、図２ｂにおいても示されている。
【００５９】
抽出された画像エリアＩＥ１及びＩＥ２のみが、図１に示されたように、無線通信インタフェース９を介して、装置Ｄ１及びＤ２の制御ユニットＣ１及びＣ２へと送信される。装置Ｄ１及びＤ２が、画像データＩＥ１及びＩＥ２が当該装置に向けられたものであることを認識するために、画像データＩＥ１及びＩＥ２は対応する識別子ＦＩ１及びＦＩ２を伴う。これら識別子は、先行する初期化処理において、装置Ｄ１及びＤ２（又は装置Ｄ１及びＤ２の制御ユニットＣ１及びＣ２）により、ポインティングデバイス１に供給されている。
【００６０】
装置Ｄ１及びＤ２の制御ユニットＣ１及びＣ２内で画像データを処理するため、再び図１を参照する。制御ユニットＣ１及びＣ２は、上述したように、適切な無線通信モジュール１１及び１１'を有し、これらモジュールを用いてデータが送受信されることができる。
【００６１】
画像データが装置Ｄ１及びＤ２に向けたものであるか否かを決定するため、識別ユニット１２及び１２'において識別が実行される。ポインティングの向き及びそれ故ポインティングの向きと対応する装置Ｄ１及びＤ２の物体Ｏ１及びＯ２との交点もが、該識別ユニット１２及び１２'において決定されても良い。
【００６２】
続いて、データは装置制御信号生成ユニット１３及び１３'に転送され、該ユニット１３及び１３'が次いで該データを利用して実際の制御信号ＣＳ１及びＣＳ２を生成する。ユーザが、適切なボタンのようなポインティングデバイス１上のユーザインタフェースを用いて、又はポインティングデバイス１を用いて為されたジェスチャによって、更なる命令を発行した場合には、これら命令もまた画像データＩＥ１及びＩＥ２並びにフィルタ識別子ＦＩ１及びＦＩ２と共に転送され、装置制御信号生成ユニット１３及び１３'によって処理される。このようにして生成された制御信号ＣＳ１及びＣＳ２は次いで、装置Ｄ１及びＤ２の関連するコンポーネントに送信される。
【００６３】
特定の逆反射マーカ素子についての種々の種類の情報及び種々の画像形状を要求するために種々のフィルタ規則が利用される場合、好ましくは全ての画像が、可能な限り、単一の伝送に組み合わせられる。例えば、逆反射マーカ素子の座標は、一度供給される必要があるのみとされる。同様に、特定の画素値のような画像データは、データの量を可能な限り少なく維持するため、複数回送信されるべきではない。適用される全てのフィルタ規則のフィルタ識別子が画像データと共に送信され、それにより関連する装置が該規則に従って受信されたデータを処理することができる。
【００６４】
以下の説明は再び、本発明による方法の範囲において、装置がポインティングデバイスによってどのように制御され得るかを説明する。ユーザは、ポインティングデバイスを常に真正面から物体又は装置に向けるわけではない。しばしば、自身の位置を変えるよりもポインティングデバイス１を向けるほうが便利であるから、ポインティングデバイス１は物体に対して幾分斜めの角度で向けられる見込みが高い。このことは図３に示される。図３は、離れた位置から斜めの角度で、物体Ｏ３（本例では図２ａのモニタ）に向けられたポインティングデバイス１により生成された、目標エリア画像ＩＡの模式的な表現を示す。従って、目標エリアＡにおける物体Ｏ３の縮尺及び像は、目標エリア画像ＩＡにおいて歪んでいる。幾つかの選択肢ＭＰ１、ＭＰ２及びＭＰ３が、モニタＯ３のディスプレイ上に見られる。該モニタＯ３上に配置された逆反射マーカ素子Ｍ８、Ｍ９、Ｍ１０及びＭ１１、並びに制御されるべき装置に関連するフィルタ基準により規定される画像データ（ここでは関心領域）もまた、該図に示されている。ユーザ（図示されていない）は、ポインティングデバイス１を用いて、これら選択肢ＭＰ１、ＭＰ２及びＭＰ３のうちの１つを選択しようと欲し得る。
【００６５】
図２ｂに関連して上述したように、個々の逆反射マーカ素子Ｍ８、Ｍ９、Ｍ１０及びＭ１１の中心点の座標と、逆反射マーカ素子Ｍ８、Ｍ９、Ｍ１０及びＭ１１の中心点の周りのマークされたエリアＩＥ３を送信すれば十分である。図３においては、目標エリア画像ＩＡの全体が、明確さのために示されている。ポインティングデバイスから制御ユニットへと送信され、後の処理のために利用される目標エリア画像ＩＡの抽出エリアＩＥ３は、点線により示される。これらのデータは、フィルタ規則についての識別子と共に、ポインティングデバイスにより送信される。モニタＯ３に関連する装置（図示されていない）の制御ユニットは、該データが当該装置に向けたものであるかを調べるために該識別子を解釈し、次いでユーザ動作を解釈して該解釈に従って装置を制御しても良い。
【００６６】
この目的のため、目標エリア画像ＩＡの抽出された画像データＩＥ３が、より詳細に考察される。装置Ｄ１に対するポインティングデバイス１の角度にかかわらず、目標エリア画像ＩＡは常に目標点ＰＴの周りにセンタリングされる。制御ユニットの画像処理ユニットは、目標エリア画像ＩＡの抽出された画像データＩＥ３を所定のテンプレートＴと比較し、ユーザによって指されている選択肢ＭＰ３を決定する。この目的のため、抽出された画像データと共に送信された座標を用いて、ポインティングデバイス１の長手軸（ポインティングの軸）と装置Ｄ１との交点ＰＴが目標エリア画像ＩＡにおいて位置特定される。交点ＰＴに対応するテンプレートＴ中の点が、次いで位置特定される。
【００６７】
それ故、逆反射マーカ素子の中心点の座標［（ｘａ'，ｙａ'），（ｘｂ'，ｙｂ'），（ｘｃ'，ｙｃ'），（ｘｄ'，ｙｄ'）］が、テンプレートＴ中の対応する点［（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ）］と比較されても良い。加えて、より高い精度を達成するため、装置のテンプレートＴにおける点に対応する目標エリア画像ＩＡの画像データＩＥ３における更なる点を位置特定するため、エッジ−コーナ検出法を利用するコンピュータビジョンアルゴリズムが利用されても良い。
各点は、ベクトルとして表現されても良い。例えば点（ｘａ，ｙａ）が、
【数１】
2008542900.tif 000003
と表現されても良い。次のステップとして、目標エリア画像ＩＡをテンプレートＴにマッピングするための変換関数Ｔ□が実行される：
【数２】
2008542900.tif 000004
ここで、ベクトル
【数３】
2008542900.tif 000005
はテンプレートＴにおける座標の対（ｘｉ，ｙｉ）を表し、ベクトル
【数４】
2008542900.tif 000006
は目標エリア画像ＩＡ中における対応する座標の対（ｘｉ'，ｙｉ'）を表す。前記関数に対するより費用効率の良い解を導出する画像の回転及び平行移動のためのパラメータを有するパラメータセット□が、物体Ｏ３に対するポインティングデバイス１の位置及び向きを決定するために利用されても良い。コンピュータビジョンアルゴリズムは、ポインティングデバイス１内のカメラ２が固定され且つポインティングのジェスチャの向きで「見ている」という事実を利用する。次のステップは、ポインティングの方向Ｐにおける、ポインティングデバイス１の長手軸と物体Ｏ３との交点ＰＴの算出である。該交点は、目標エリア画像ＩＡの中心としてとられても良い。該交点の座標が算出されれば、テンプレートＴにおける当該交点を位置特定することは簡単な作業である。このようにして、本システムはユーザが指している選択肢ＭＰ３を決定することができ、物体Ｏ３に関連する装置のための適切な制御信号を生成することができる。
【００６８】
本発明は好適な実施例及びそれに対する変形の形で開示されたが、多くの更なる変更及び変形が、本発明の範囲から逸脱することなく為され得ることは理解されるであろう。ポインティングデバイスは、家庭又は電気的に若しくは電子的に制御可能な装置を伴う他のいずれかの環境における、ユニバーサル・ユーザインタフェース装置として働いても良い。要するに本発明は、ユーザがポインティングにより意図を表現するいかなる場合においても有益である。本発明の小さな形状因子及び便利で直感的なポインティング様式は、斯かる単純なポインティングデバイスを強力なユニバーサル・リモートコントローラへと向上させることができる。ペン型の形状に対する代替として、ポインティングデバイスは例えば内蔵型カメラを持つＰＤＡ（personal digital assistant）又は内蔵型カメラを持つ携帯電話であっても良い。
【００６９】
明確さのため、本明細書を通じて「１つの（a又はan）」なる語の使用は複数を除外するものではなく、「有する（comprising）」なる語は他のステップ又は要素を除外するものではないことも、理解されるべきである。「ユニット（unit）」は、単一の要素であると明記されない限り、幾つかのブロック又は装置を有しても良い。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施例によるポインティングデバイス及び２つの装置を示す、装置を制御するためのシステムの模式的な図である。
【図２（ａ）】４つの逆反射マーカ素子が配置された装置のモニタの目標エリア画像である。
【図２（ｂ）】モニタの装置に関連するフィルタ規則により図２ａの目標エリア画像から抽出された画像データを示す。
【図３】本発明の実施例による、物体、該物体の関連するテンプレート、及びポインティングデバイスにより生成された目標エリア画像を示す模式的な図である。
【図１】
2008542900.tif 000007
【図２ａ】
2008542900.tif 000008
【図２ｂ】
2008542900.tif 000009
【図３】
2008542900.tif 000010
【国際調査報告】
2008542900.tif 000011
2008542900.tif 000012
2008542900.tif 000013