(57)【要約】本発明は、装置Ｄ1，Ｄ2，Ｄ3の制御方法を記載するものであり、本方法は、制御されるべき装置Ｄ1，Ｄ2，Ｄ3にカメラ２を有するポインティングデバイス１を向けるステップ、ポインティングデバイス１により向けられるターゲットエリアＡの画像３を生成するステップ、及び、ターゲットエリア画像３を解釈し、制御されるべき装置Ｄ1，Ｄ2，Ｄ3と関連付けされる固有の視覚的な識別子Ｖ1，Ｖ2，Ｖ3の存在を判定するステップを含む。ターゲットエリア画像の分析に基づいて、ポインティングデバイス１が向けられる装置Ｄ1，Ｄ2，Ｄ3が識別され、制御信号１７が識別された装置Ｄ1，Ｄ2，Ｄ3に送出される。本発明は、装置Ｄ1，Ｄ2，Ｄ3を制御するシステム、係る装置Ｄ1，Ｄ2，Ｄ3に関する。本発明を使用して、多数の制御可能な装置Ｄ1，Ｄ2，Ｄ3のうちの任意の装置を視覚的な識別子Ｖ1，Ｖ2，Ｖ3により容易に識別することができる。好適な実施の形態では、視覚的な識別子Ｖ1，Ｖ2，Ｖ3は、トリガ信号Ｔ1，Ｔ2，Ｔによりトリガされる。
2008529147.tif 000002
【特許請求の範囲】
【請求項１】
装置の制御方法であって、
当該方法は、
カメラを有するポインティングデバイスを制御されるべき装置に向けるステップと、
前記ポインティングデバイスにより向けられるターゲットエリアの画像を生成するステップと、
前記ターゲットエリアの画像を解釈して、制御されるべき装置に関連される固有の視覚的な識別子の存在を判定するステップと、
前記ターゲットエリアの画像の分析に基づいて前記ポインティングデバイスが向けられる装置を識別し、識別された装置に制御信号を送出するステップと、
を含む方法。
【請求項２】
前記ターゲットエリアの画像は、選択されたオプションを判定するために更に解釈され、前記制御信号は、画像の解釈の結果に従って生成される、
請求項１記載の方法。
【請求項３】
制御されるべき装置にトリガ信号が送信され、前記視覚的な識別子は、前記トリガ信号を受信した装置によりアクチベートされる、
請求項１又は２記載の方法。
【請求項４】
固有のトリガ信号は、それぞれ特定の装置について発生される、
請求項１乃至３のいずれか記載の方法。
【請求項５】
前記視覚的な識別子は、電磁スペクトルの目に見えない領域である、
請求項１乃至４のいずれか記載の方法。
【請求項６】
制御されるべき装置は、前記トリガ信号に応答してエンドオブフィードバック信号を放出する、
請求項１乃至５のいずれか記載の方法。
【請求項７】
装置を制御するシステムであって、
カメラを有し、ポインティングデバイスが向けられる方向でターゲットエリアの画像を生成するポインティングデバイスと、
前記画像を分析して、視覚的な識別子の存在を判定する画像分析ユニットと、
可能性のある装置、それらに関連する視覚的な識別子、及び／又は、視覚的な識別子をアクチベートするための関連されるトリガ信号からなるリストを保持するデバイスリスト管理ユニットと、
前記画像分析の結果に従って制御されるべき装置について制御信号を発生する制御信号発生ユニットと、
制御されるべき装置に前記制御信号を伝達するインタフェースと、
を有するシステム。
【請求項８】
視覚的な識別子及び／又はトリガ信号を特定の装置に割り当てる割り当てユニットを有する、
請求項７記載のシステム。
【請求項９】
多数の装置のなかから装置を固有に識別する固有の視覚的な識別子を有する、
請求項１乃至６のいずれか記載の方法により使用するための装置。
【請求項１０】
トリガ信号を受信する受信機、及び、前記トリガ信号に応答して視覚的な識別子をアクチベートするアクチベータを有する制御可能な装置。
【請求項１１】
前記トリガ信号に応答してエンドオブフィードバック信号を送信する送信機を有する、
請求項１０記載の装置。
【請求項１２】
前記視覚的な識別子は、光信号及び／又は物理識別子を有する、
請求項９乃至１１のいずれか記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置の制御方法及びシステム、並びに係る装置に関する。
【背景技術】
【０００２】
たとえばテレビジョン、ＤＶＤプレーヤ、チューナ等といったコンシューマエレクトロニクス装置のような装置の制御について、リモートコントロールが一般に使用されている。しかし、平均的な家庭では、それぞれのコンシューマエレクトロニクス装置について１つといった、多数のリモートコントロールが必要とされる。所有するコンシューマエレクトロニクス装置に精通している人でさえ、それぞれのリモートコントロールのそれぞれのボタンがどの目的のものであるかを思い出すことは難しい。さらに、あるコンシューマエレクトロニクスについて利用可能なオンスクリーンのメニュー駆動ナビゲーションは、装置について利用可能なオプションの詳細な知識を持たないユーザにとって直観的なものではない。結果的に、ユーザは、ユーザが探しているオプションを探すためにスクリーンに表示されるメニューを連続して調べ、次いで適切なボタンを探すためにリモートコントロールを見下ろす必要がある。ボタンは、直観的ではないネーミングすなわち略記で与えられていることがある。さらに、リモートコントロールのボタンは、モードボタンを始めに押すことでアクセスされる更なる機能を実行する。
【０００３】
多数の装置を制御するため、１つのリモートコントロール装置が使用されることがある。リモートコントロールは一方の装置から別の装置を区別するのを可能にするので、リモートコントロールには、それぞれの装置の専用のボタンが設けられる必要があり、ユーザは、所望の装置と対話する前に適切なボタンを明示的に押す必要がある。
【０００４】
通常のリモートコントロールに対する可能性のある代替は、レーザポインタ又は「ワンド“wand”」のようなポインタである。今まで利用可能なポインタは、その使用が近年に普及しており、典型的にスクリーン又はプロジェクションのアイテムを聴衆のメンバに示すため、オブジェクトを示すためにのみ使用されるので、本質的にパッシブ型の装置である。しかしながら、カメラ技術の分野における発展は、エレクトロニクス装置の遠隔制御のためにカメラを含むハンドヘルドポインティング装置のタイプの広い使用につながっており、カメラは、ユーザがポインティング装置を向けているポイントを追従するために使用される。しかし、このタイプのリモートコントロールでさえ、ユーザがポインティングデバイスを向けている装置を判定するための問題が残されており、たとえば同じ形状及び外観のテレビジョン又はコンピュータモニタのバンク、類似して見えることがあるビデオカセットレコーダ、ＤＶＤプレーヤ等のようなコンシューマエレクトロニクスといった、装置が形状及び外観において類似しているときに一層困難なものにする。装置が通常の状況下で離れて配置されるとき、たとえば暗くされた部屋といった乏しい視野状態においてこれを行うことがもはや不可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、本発明の目的は、多数の装置のなかから制御されるべき装置を自動的に識別する容易かつ直観的なやり方を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、装置の制御方法を提供するものであり、当該方法は、カメラを有するポインティングデバイスを制御されるべき装置に向けるステップ、及び、ポインティングデバイスにより向けられたターゲットエリアの画像を生成するステップを含む。ターゲットエリアの画像は、制御されるべき装置に関連付けされる視覚的な識別子の存在を判定するために解釈され、ポインティングデバイスが向けられる装置がターゲットエリアの画像分析に基づいて識別され、制御信号は、識別された装置に送出される。
【０００７】
用語「視覚的な識別子」は、人間の目によるかカメラにより「見ることができる」以外の識別子を意味することが理解される。かかる視覚的な識別子は、たとえばフラッシュ又は明るさにおける他の変化のような光信号といった、電磁的なスペクトルの任意の領域で生成される。たとえば、ポインティングデバイスがモニタに向けられる場合、モニタスクリーンのエリアは、フラッシュが生じるか、色又は色相を変える。視覚的な識別子は、人間の目に見えないが、ポインティングデバイスのカメラにより識別できる。別の可能なタイプの視覚的な識別子は、デバイスの一部が移動させられるケースについて、見ることのできるシンプルなジェスチャであり、動きは、カメラにより記録され、画像分析により解釈される。
【０００８】
本発明によれば、装置を制御するシステムは、ポインティングデバイスが向けられる方向でターゲットエリアの画像を生成するカメラをもつポインティングデバイス、及び、画像を分析して視覚的な識別子の存在を判定する画像分析ユニットを有する。さらに、システムは、可能性のある装置、それらに関連される視覚的な識別子、及び／又は、対応する視覚的な識別子をアクチベートするために関連付けされるトリガ信号からなるリストを管理するデバイスリスト管理ユニットを有する。制御信号発生ユニットにより、画像分析の結果に従って制御されるべき装置について制御信号が発生され、適切なインタフェースにより制御されるべき装置に伝達される。制御されるべき装置とポインティングデバイスとの間で信号を解釈、分析及び発生することに使用される画像分析ユニット、制御信号発生ユニットのようなシステムのユニットは、便宜上、「デバイスコントロールインタフェース」と以下ではシンプルに呼ばれる。
【０００９】
本発明に係る方法で使用するための装置は、視覚的な識別子を有し、視覚的な識別子は、ポインティングデバイスにより行われるアクションに応答してアクチベートされ、多数のアクションのなかからこの装置を識別する役割を果たす。かかる装置は、パーソナルコンピュータ、コンシューマエレクトロニクスデバイス、家庭用機器、又は任意の環境での任意のタイプの電子的又は電気的に制御可能な装置である。視覚的な識別子は、たとえばタグ、スティッカ又は他のオブジェクトのタイプといった、装置に物理的に重ね合わされる。同様に、装置の視覚的な識別子は、たとえばコンピュータモニタのような装置の表示のエリアとして、装置の統合された部分として実現される。装置は、その視覚的な識別子により識別されるか、又は特定のトリガ信号に応答して視覚的な識別子のアクチベーションにより識別される。
【００１０】
本発明に係る方法は、ポインティングデバイスの増加された使用の可能性を提供する。係るポインティングデバイスは、特定のユニバーサルコントロールツールであり、これは、生成される画像に基づいて発生されるべき制御信号について装置又はオブジェクトを１つのポインティングデバイスのみを向ける必要があることによる。特に、本明細書で記載される方法により、ユーザは、かかるポインティングデバイスにより、全ての装置が外観において類似又は同一であるか、周辺が暗い場合でさえ、任意の装置を容易に識別し、対話することができる。このポインティングデバイスの機能は、先に記載されたように、その便利なポインティングの様式と共に、毎日の生活における無数の状況について、本発明をパワフルかつ実用的なツールにするために結合する。  
従属の請求項及び後続する記載は、本発明の特に有利な実施の形態及び特徴を開示する。
【００１１】
本発明のポインティング装置の目的は多数の装置のなかから１つの装置を識別することができるだけでなく、識別された装置とユーザが対話するのを可能にするので、カメラにより生成された画像は、ユーザにより選択された装置で表示されるオプションを判定するために更に分析されることが好ましい。この画像分析に基づいて適切な制御信号が発生され、装置に所望のユーザオプションを実行させるため、装置に送出される。たとえば、ユーザは、スクリーンに表示されるメニューのヒエラルキーを通してナビゲートするため、装置のスクリーンを示す。ひとたび装置が識別されると、画像は、ユーザが示している任意のオプションを推測するために分析される。しかし、本発明は、典型的なマルチデバイスリモートコントロールとして使用され、それぞれの装置のコマンドは、リモートコントロールの１以上のボタンを押すことでユーザにより入力されるが、ユーザがポインティングデバイスに向けている装置、コマンドが意図される装置は、本発明に従って自動的に識別される。
【００１２】
本発明の好適な実施の形態では、ポインティングデバイスはトリガ信号を送信し、この信号は、適切な受信機に設けられる周辺における任意の装置により受信される。代替的に、トリガ信号は、たとえばポインティングデバイスと接触している、ポインティングデバイス以外のソースから送信される。トリガ信号に応答して、装置のアクチベータは、その視覚的な識別子にアクチベートさせる。アクチベータは、たとえば、装置の一部を移動させるモータであり、これは装置の視覚的な識別子であるか、又は、必要に応じて目に見える領域又は目に見えない領域に電磁放射を装置の一部に放出させる適切な電子回路である。このため、装置の視覚的な識別子は、ＬＥＤ又はライトバルブにより放出されるビジュアル信号を有する。同様に、装置がテレビジョン又はコンピュータのモニタである場合、ビジュアル信号は、予め定義されたやり方で明るさ又は色においてモニタに一部に変化させることで生成される。別の可能性のある視覚的の識別子の実現は、装置に組み込まれるか、装置に付属される物理的なエレメントであり、必要な電磁放射を生成可能である。
【００１３】
システムの実現の可能性に依存して、固有のトリガ信号又は固有の視覚的な識別子により、装置のグループから１つの装置を識別することが望まれる場合があり、この場合、用語「固有」とは、この装置のグループ内に適用されることが理解される。
【００１４】
したがって、本発明の好適な更なる好適な実施の形態では、装置のグループのうちのそれぞれの装置には、単一のトリガ信号がこれらの視覚的な識別子の何れかをアクチベートするのに十分であるように、固有の視覚的な識別子が設けられている。全ての装置は、その送信のレンジ内にある場合、トリガ信号に応答する。ポインティングデバイスにより現在向けられている装置は、その視覚的な識別子と共に、ターゲットエリアの画像に現れ、その装置のアイデンティティは、ターゲットエリアの画像に現れる固有の視覚的な識別子の画像分析に基づいて決定される。視覚的な識別子は、色、強度、アクティビティの期間、周波数等において異なり、ここでの用語「周波数」は、視覚的な識別子が外観において変化するレートに当てはまり、たとえば、視覚的な識別子は、この視覚的な識別子が１０Ｈｚで「動作する」ように毎秒１０回フラッシュする。
【００１５】
代替的に、装置が、それ自身の専用のトリガ信号を受信したときに、その視覚的な識別子のみをアクチベートするように、固有のトリガ信号は、それぞれの装置に割り当てられる。装置がその専用のトリガ信号以外のトリガ信号を受信し、その視覚的な識別子は非アクティブのままである。これにより、装置が異なるトリガ信号に異なって応答するように、装置が実現されるのが可能となる。
【００１６】
更なる可能性は、その視覚的な識別子がトリガ信号なしにインターバルで自動的にアクチベートされる装置により与えられる。このタイプの実現は、受信機及びアクチベータを含むように装置を変更することができないケースで有利である。連続してアクティブである視覚的な識別子は、ポインティングデバイスが装置に向けられているときは何時でも、システムにより検出される。このケースでは、装置は、他の装置からその装置を区別するため、固有の視覚的な識別子が割り当てられる。
【００１７】
ポインティングデバイスのユーザにとって、トリガ信号に応答する全ての装置について視覚的な識別子を見ることができることはいらいらさせる場合があるので、視覚的な識別子は、本発明の好適な実施の形態では、人間の目に見えないが、たとえば赤外線又は紫外線の領域でポインティングデバイスのカメラにより区別することができる電磁スペクトルの領域で生成される。
【００１８】
システムのデバイスリスト管理ユニットは、それぞれの装置に関する記述情報、その関連する視覚的な識別子及び／又はその関連するトリガ信号を記憶及び管理する。デバイスリスト管理ユニットは、デバイスコントロールインタフェースの一部としてみなすことができる。装置又は装置のグループは、製造時に視覚的な識別子が与えられるか、かかる視覚的な識別子を更新又は置換することが可能である。同様に、視覚的な識別子を、今まで有していない装置に割り当てることが可能である。したがって、本発明の好適な実施の形態では、システムは、たとえば適切な信号を装置に送出し、将来的に装置にその指定されたやり方でその視覚的な識別子をアクチベートさせるか、及び／又は特定のトリガ信号に応答させることで、視覚的な識別子及び／又はトリガ信号を特定の装置に割り当てる割り当てユニットの用が足りる。
【００１９】
システムは、あるタイプのトレイニングモードをサポートし、ここで、デバイスリスト管理ユニットは、どの装置がグループに存在するか、どの視覚的な識別子がそれぞれの装置と関連付けされているか、どのタイプのトリガ信号にそれぞれの装置が応答するかを学習する。また、トレイニングプロセスは、それぞれの装置により理解される制御信号又はコマンドプロトコルのセットを収集又は学習するステップを含む。
【００２０】
幾つかのケースでは、装置にとって、たとえばポインティングデバイスが所定の装置に向けられているが、ターゲットエリアの画像でその視覚的な識別子を検出していない場合、装置がその視覚的な識別子を既にアクチベートしているかをポインティングデバイスに通知することが望ましい場合がある。したがって、本発明の更に好適な実施の形態では、装置には、装置が既にその視覚的なフィードバックを供給したことを示すエンドオブフィードバック“end-of-feedback”信号をポインティングデバイスに供給する手段が設けられる。このため、装置は、エンドオブフィードバック信号を送信する適切な送信機を有する。この信号の受信に応じて、デバイスコントロールインタフェースは、ポインティングデバイスに再び適切なトリガ信号を送信させるか、異なるトリガ信号を試みることを決定する。
【００２１】
所定の許可された人物により動作されることを装置が意図されるケースについて、たとえば適切なアクセスコード又は個人的なアイデンティフィケーション番号でユーザがポインティングデバイスをイネーブルにする場合、ポインティングデバイスには、認証コードが設けられる場合がある。ポインティングデバイスは、この認証コードをそのトリガ信号と共に、ユーザがポインティングデバイスを向けている装置に送信する。装置は、認証コードが有効である場合、その視覚的な識別子のみをアクチベートする。このタイプの認証は、所定の人物のみが装置を動作させるか又は装置と対話する状況で有効である。１つの例は、所定時の時間後に子供にとっての禁止区域といったテレビジョンであり、又は、所定の人物のみがアクセス可能である研究所におけるセキュリティシステムである。認証情報は、ポインティングデバイスでハードワイヤドされるか、たとえば、キーパッドのような適切な入力様式によりユーザにより入力される場合がある。ポインティングデバイスの認証情報を規定する別のやり方は、リモートコントロールをプログラミングする公知の方法に類似して、適切なインタフェースによりプログラミングすることによる。
【００２２】
オブジェクトの画像を生成するカメラは、ポインティングデバイスに組み込まれることが好ましいが、ポインティングデバイスに搭載される場合もあり、ユーザによりターゲットにされるポインティング装置の前のエリアの画像を生成するように配置されることが好ましい。カメラは、基本的なやり方で構築されるか、ズーム機能又は所定のタイプのフィルタのようなパワフルな機能を有する場合がある。
【００２３】
したがって、「ターゲットエリア」は、カメラにより画像として補足することができる、ポインティングデバイスの前にあるエリアである。ターゲットエリアの画像、すなわちターゲットエリアイメージは、向けられる装置の小さなサブセットのみをカバーするか、又は、全体の装置を包含するか、若しくは、装置を囲んでいるエリアを含む場合がある。全体の装置に関するターゲットエリアイメージのサイズは、装置のサイズ、ポインティングデバイスと制御されるべき装置との間の距離、及びカメラ自身の機能に依存する。たとえばユーザが部屋の他方の端に立っているとき、ポインティングデバイスが制御されるべき装置からいくらかの距離にあるようにユーザが位置される。同様に、ユーザは、更に詳細な画像を得るために、装置に非常に近くにポインティングデバイスを保持する。
【００２４】
本発明に係るポインティングデバイスは、装置にユーザにより望まれる１以上の機能を実行させるため、装置と対話するために使用される。たとえば、ユーザは、装置のディスプレイで表示される多数のオプションのうちの１つを選択するのを望むか、又は装置のディスプレイに表示されるメニューのヒエラルキーを通してナビゲートするのを望む。ディスプレイを有さない装置のケースでは、ユーザは、たとえば、ＤＶＤプレーヤの前面のボタンのような、デバイスケーシングのボタンにより表される機能をアクチベートするのを望む。このため、ターゲットエリアイメージは、画像分析ユニットで分析され、ユーザがポインティングデバイスを向けているポイントを判定する。この画像分析ユニットは、ターゲットエリアイメージにおける視覚的な識別子の存在を検出するために使用されるのと同じである。
【００２５】
ポインティングデバイスは、ユーザが所定の１以上のアクションを規定するのを可能にするために制御入力を有する場合がある。係る制御入力は、アクションが実行されることを示すためにユーザが押すボタンである。制御入力の操作は、適切な信号にエンコードされ、カメラからの画像と共に、デバイスコントロールインタフェースに転送され、この場合、装置の制御信号を発生するときに画像により解釈される。たとえば、ユーザは、アイコン、又はメニューアイテムのリストにおけるアイテムのような、特定のスクリーンのエリアでポインティングデバイスを向け、このアイコン又はアイテムが選択されたものであることを示すために制御入力を同時に押す。
【００２６】
ポインティングデバイスを正確に向けるためにユーザを支援するため、続く光のポイントがカメラにより捕捉されるターゲットエリアの中央で多かれ少なかれ現れるように、集中された光ビームのソースがポインティングデバイス内部又は外部に設けられる。集中された光ビームのソースは、現在利用可能なレーザポインタの多くのタイプで使用される光源のようなレーザ光源である場合がある。以下では、集中された光ビームの光源は、本発明の範囲を制限することなしに、レーザ光源である。
【００２７】
ユーザがポインティングデバイスを向けているオブジェクトを容易に判定するため、デバイスコントロールインタフェースの画像分析ユニットは、通常の画像処理技術又はコンピュータビジョンアルゴリズムを適用することで、ターゲットエリアの画像を多数の予め定義されたテンプレートに比較する。１つの予め定義されたテンプレートは、比較のために十分であるか、１を超えるテンプレートに画像データを比較することが必要である。
【００２８】
予め定義されたテンプレートは、デバイスコントロールインタフェースの内部メモリに記憶されるか、外部ソースからアクセスされる。好ましくは、デバイスコントロールインタフェースは、たとえば内部又は外部メモリ、メモリスティック、イントラネット又はインターネットからのオブジェクトの予め定義されたテンプレートを取得する適切なインタフェースをもつアクセスユニットを有する。このようにして、本発明に係るポインティングデバイスにより制御される機器の製造者は、装置のユーザにとって利用可能なこれら聞きについてテンプレートを作る。テンプレートは、任意の種類のオブジェクトのグラフィックな表現である。オブジェクトがたとえばテレビジョンで表示されるメニューのオプションである場合、テンプレートは、テレビジョンの多数のメニューオプションの位置を示し、ユーザがポインティングデバイスをテレビジョンに向けたときにターゲットエリアの画像データを分析することで、画像分析ユニットは、どのオプションがユーザにより向けられているかを判定することができる。
【００２９】
上述のように、デバイスコントロールインタフェースは、装置との対話が制御されるように実現される。係るデバイスコントロールインタフェースは、画像を分析するために画像分析ユニット、制御されるべき装置の制御信号を発生する制御信号発生ユニット、装置、視覚的な識別子及びトリガ信号の間の関係を管理するデバイスリスト管理ユニット、及び、制御されるべき装置に制御信号を伝達するインタフェースを少なくとも含んでいる。係るデバイスコントロールインタフェースは、ポインティングデバイスに組み込まれるか、適切な通信インタフェースによりポインティングデバイスで結合される外部ユニットとして実現される。
【００３０】
デバイスコントロールインタフェースがポインティングデバイスに組み込まれるケースでは、カメラから直接に画像を取得することができる。画像分析、デバイスリスト管理及び制御信号発生は、ポインティングデバイスで行われ、制御信号は、ポインティングデバイスから制御されるべき装置に直接に適切な形式で送信される。
【００３１】
他方で、これらのユニットの機能は、掌で心地良く保持されるように実現されることが好ましいポインティングデバイスの物理的なディメンジョンにより制限されるので、係る画像分析ユニットは、たとえばユーザがポインティングデバイスを向ける装置のアイデンティフィケーションについて、原理的に画像分析について十分である。ユーザの意図を判定し、より大きなユニットを必要とする結果的に得られる制御信号を発生するために必要とされる更に進展された画像処理は、外部のデバイスコントロールインタフェースで行われる。
【００３２】
したがって、ポインティングデバイスは、全体として、画像分析、デバイスリスト管理、及び制御信号発生の機能なしですむ場合があり、これらのタスクが外部のデバイスコントロールインタフェースにより実行されるのを可能にし、これにより、ポインティングデバイスが小型、よりコンパクトな形式で実現されるのを可能にする。
【００３３】
上述された外部のデバイスコントロールインタフェースは、スタンドアロン装置であり、トリガ信号がデバイスコントロールインタフェースから、ポインティングデバイスから、又は別のロケーションから送信される一方で、デバイスのアイデンティフィケーション、画像処理、デバイスリスト管理及び制御信号発生が中心的に行われるように実現される場合がある。エンドオブフィードバック信号を受信する受信機は、たとえばポインティングデバイスの一部として実現されるか、デバイスコントロールインタフェースに組みこまれる。
【００３４】
ポインティングデバイスのカメラは、ターゲットエリアの画像が関連する画像データを有するように実現される。たとえば、装置を識別するとき、画像の相対的な明るさ、又は画像における視覚的な識別子の形状を検出することが必要である。視覚的な識別子が人間について電磁スペクトルの目に見えない部分で動作する場合、カメラは、たとえば赤外線又は紫外線を検出するために適切なフィルタが設けられる。画像分析ユニットは、デバイスリスト管理ユニットの視覚的な識別子の記述に対応するパターン、色又は形状を検出する。たとえばＭｏｒｓｅ  ｃｏｄｅ、振幅変調、周波数符号化等といったパターンにより、視覚的な識別子がその関連する装置を識別する場合、画像分析ユニットは、このパターンを識別し、視覚的な識別子が関連される装置を識別する。制御されるべき装置を識別する別の可能なやり方は、視覚的な識別子を包含する受信されたターゲットエリアイメージを、視覚的な識別子を包含する装置の予め定義されたテンプレートで直接に比較し、デバイスリスト管理ユニットからの情報に基づいて、パターンマッチング又はパターン認識のような方法を使用し、向けられている装置のアイデンティティを推測することである。
【００３５】
ユーザが実際に意図することを判定するため、たとえば彼が示しているオプションを判定するため、上述したように、更に詳細な画像生成が必要である。したがって、カメラは、たとえばエンハンスされた輪郭、コーナ、エッジ等全体の画像の重要なポイントを捕捉するか、又は、画質を持つ更に詳細な画像を捕捉する。ユーザの意図を判定するために画像データを処理するため、コンピュータビジョン技術を適用して、ユーザが向けている装置のポイント、すなわちターゲットポイントを発見することは都合が良い。
【００３６】
ユーザがポインティングデバイスを向けている実際のオプション以外のオプションをターゲットエリアの画像が含むので、選択されたオプションは、ターゲットエリアにおける特定のターゲットポイントを含むか又は包含する画像におけるオプションを識別することで判定されることが好ましい。本発明の１実施の形態では、ターゲットエリアの画像における固定されたポイントは、好ましくはターゲットエリアの画像の中心であり、ポインティングデバイスの長軸の方向で想像上のライン（imaginary  line）をオプションに延長することで得られるものであり、ターゲットポイントとして使用される。
【００３７】
コンピュータビジョンアルゴリズムを使用した装置のターゲットエリアの画像を処理する方法は、ターゲット画像における個別のポイントを検出し、装置のテンプレートにおける対応するポイントを決定し、及び、テンプレートにおける対応するポイントにターゲット画像におけるポイントをマッピングする変換を展開することを含む。ターゲットエリアの個別のポイントは、装置の独特のポイントであるか、装置の周りにエリアにおけるポイントである。この変換は、装置に関するポインティングデバイスの位置及び外観を判定するために使用され、ポインティングデバイスと制御されるべき装置との軸の交点は、テンプレートに位置される。このテンプレートにおける交点の位置は、制御されるべき装置のターゲットポイントに対応し、どのオプションがユーザによりターゲットにされているかを容易に判定するために使用される。このように、ターゲットエリアの画像と予め定義されたテンプレートを比較することは、独特のコーナポイントのような顕著なポイントのみを識別及び比較することに制限される。用語「比較」は、本発明で適用されるように、広義で理解されるべきであり、すなわち、ユーザが目標にしているオプションを迅速に識別するために十分な特徴を比較することによる。
【００３８】
本発明は、全てにおいて、任意の環境で電気的又は電子的に制御可能な装置の任意のタイプと対話するための容易かつ柔軟な方法を提供する。使用の容易さのため、ポインティングデバイスは、心地よく握ることができ、ユーザにより容易に持ち運ぶことができる長くされた形状でのワンド又はペンの形状である。ユーザは、その装置からある距離に配置されつつ、制御されるべき装置にポインティング装置を向けることができる。同様に、ポインティングデバイスは、ピストルの形式で成形される。さらに、更なる光源は、ポインティングデバイスの内部又は外部に搭載され、ポインティングデバイスが向けられるエリアを照明する役割を果たし、周囲が暗い場合でさえ、ユーザは、制御されるべき装置を容易に位置させることができる。
【００３９】
上述されたポインティングデバイス及びデバイスコントロールインタフェースは、実用的に任意の種類の環境での使用のため、パワフルな制御システムを与えるために結合される。たとえば、システムは、オフィス、美術館、病院又はホテルの環境のような、ポインティングデバイスにより対話される装置を装備する環境での使用を見出すことが考えられ、この場合、ユーザは、装置の機能と彼自身を精通させることなしに、便利かつ直観的なやり方で精通していない装置を識別及び制御するためにポインティングデバイスを使用することができる。本発明に係る方法は、電気的又は電子的に制御可能な装置に適用することができる。さらに、制御されるべき装置は、任意の数のモジュール、コンポーネント又はユニットを有し、任意のやり方で分散される。
【００４０】
本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなるであろう。図面は、例示を目的としており、本発明の限定の定義として設計されていないことを理解されたい。図面において、同じ参照符号は全体を通して同じオブジェクトを示す。記載されるポインティングデバイスは、図示されていないがユーザにより保持され、動作される。
【発明を実施するための最良の形態】
【００４１】
図１は、本発明の実施の形態に係る、多数の装置Ｄ1，Ｄ2，Ｄ3、及びこれら装置Ｄ1，Ｄ2，Ｄ3を識別し、対話するポインティングデバイス１を有するシステムの概念図である。
【００４２】
図示される例では、ポインティングデバイス１が対話する装置Ｄ1，Ｄ2，Ｄ3は、類似の形状及び外観からなり、視覚的に離れて説明することが難しい。これら装置Ｄ1，Ｄ2，Ｄ3との対話において、ユーザは、所望の装置にポインティングデバイス１を向け、説明のため、ユーザは装置Ｄ1に向けているとする。ポインティングデバイスには、トリガ信号Ｔ1，Ｔ2，Ｔをポインティングデバイス１のレンジにある装置Ｄ1，Ｄ2，Ｄ3のいずれかに送信する送信機６が設けられている。ポインティングデバイスは、これらトリガ信号Ｔ1，Ｔ2，Ｔのそれぞれを送信する。
【００４３】
制御信号１９は、どのトリガ信号を送信すべきかを規定するものであり、デバイスコントロールインタフェース１８から発生され、このインタフェースは、個別のブロックとして図では示されるが、全体として統合されるか、ポインティングデバイス１それ自身に部分的に示される場合がある。デバイスコントロールインタフェース１８のデバイスリストマネージメントユニット１５は、ポインティングデバイス１が対話する装置Ｄ1，Ｄ2，Ｄ3のリスト、それぞれの装置Ｄ1，Ｄ2，Ｄ3に関連される視覚的な識別子Ｖ1，Ｖ2，Ｖ3及び／又はトリガ信号Ｔ1，Ｔ2，Ｔに関する情報を含む。デバイスコントロールインタフェース１８の構成要素及び機能は、以下に更に詳細に記載される。
【００４４】
この例では、トリガ信号Ｔ1は装置Ｄ1に割り当てられており、トリガ信号Ｔ2は装置Ｄ2に割り当てられている。更なるトリガ信号Ｔは、１以上の他の装置をトリガするために使用される。
【００４５】
装置Ｄ1には、受信機４０が設けられており、この受信機は、そのトリガ信号Ｔ1を受信するために同調される。同様に、装置Ｄ2には、受信機４１が設けられており、この受信機は、そのトリガ信号Ｔ2を受信するために同調される。装置Ｄ3の受信機は、その帯域幅のレンジでトリガ信号Ｔを受信するように構成される。
【００４６】
装置Ｄ1がトリガ信号Ｔ1を受信する場合、アクチベータ３０は、装置Ｄ1の視覚的な識別子Ｖ1にアクチベートさせることでトリガ信号Ｔ1に応答する。この例では、視覚的な識別子Ｖ1は、ブリンク又はフラッシュするＬＥＤのような光源である。
【００４７】
同様に、装置Ｄ2の視覚的な識別子Ｖ2は、装置Ｄ2の受信機４１がトリガ信号Ｔ2を受信するときは何時でも、アクチベータ３１によりアクチベートされる。この視覚的な識別子Ｖ2は、この例では、たとえば赤外線の識別子といった、装置Ｄ2に付属する物理的なエレメントである。さらに、この装置Ｄ2は、ポインティングデバイス１についてエンドオブフィードバック信号ＳEOFを送信する送信機３５が設けられている。
【００４８】
第三の装置Ｄ3は、トリガ信号Ｔに応答するために構成される。この装置には、この装置Ｄ3の視覚的な識別子Ｖ3をアクチベータ３２にアクチベートさせる適切な受信機４２が設けられている。この例では、装置Ｄ3は、デスクトップ及びウィンドウズのようなユーザインタフェースのエレメントを表示するコンピュータモニタであり、視覚的な識別子Ｖ3は、トリガ信号Ｔに応答してその明るさ、強度、色、又は色相を変化させる通常のタイプのウィンドウズフレーム又はメニューアイテムである。
【００４９】
ポインティングデバイス１が装置Ｄ1，Ｄ2，Ｄ3に向けられている間、ポインティングデバイス１の前にあるエリアの画像は、連続的に生成され、送出ユニット４によりデバイスコントロールインタフェース１８に送信され、受信機１０により受信される。向けられている装置Ｄ1，Ｄ2，Ｄ3を識別し、装置Ｄ1，Ｄ2，Ｄ3の特定の部分を示しているユーザの意図を判定するため、ポインティングデバイス１のカメラ２により生成された画像は、画像分析ユニット１２で分析される。
【００５０】
制御信号１７，２７が生成され、装置Ｄ1，Ｄ2，Ｄ3に送出される前に、システム５は、向けられている装置Ｄ1，Ｄ2，Ｄ3を始めに識別する。このため、画像分析ユニット１２は、画像から視覚的な識別子Ｖ1，Ｖ2，Ｖ3に関する情報を抽出し、この情報をデバイスリストマネージメントリスト１５に記憶されるものと比較する。たとえば、画像に位置される視覚的な識別子が所定の時間内で強度において繰り返し増加及び減少する場合、視覚的な識別子の外観は、その挙動のパターンと同様に、装置Ｄ1の視覚的な識別子Ｖ1についてデバイスリスト管理ユニット１５に記憶されるものと一致し、画像分析ユニット１２は、向けられている装置が装置Ｄ1であるに違いないことを推測する。
【００５１】
多数の装置のなかから装置を識別するために必要とされるデシジョンメーキングプロセスのステップは、図２に示されている。ここで、プロセスはステップ１００で開始し、このステップは、たとえばポインティングデバイスをスイッチオンした後、又はシステムを再びコンフィギュアした後に生じる。ステップ１０１では、全ての装置のリストがコンパイルされる。このリストは、画像テンプレートのようなそれぞれの装置についての識別子、視覚的な識別子の記述、及び／又はこの装置に関連付けされるトリガ信号を含む。後続するステップ１０２では、このリストは、ポインティングデバイスにより向けられている減少の確率に従ってソートされる。このステップ１０２は、ユーザにより最も頻繁に向けられる装置で始まり、最も少なく選択される装置で終わることで、装置を識別するプロセスにおいて時間が費やされていないことを保証する。システムは、適切なラーニングアルゴリズムの用が足り、必要なときは何時でもこのリストを更新する。
【００５２】
ユーザが制御されるべき装置にポインティングデバイスを向けるとき、リストにおける第一のエントリは、ステップ１０３で調べられる。ポインティングデバイスは、ステップ１０４で適切なトリガ信号を送信し、システムは応答を待つ。ステップ１０５で、システムの画像分析ユニットは、ターゲットエリアの画像を分析し、ターゲットエリアの画像が視覚的な識別子を示すかを判定する。ステップ１０６で、第一の装置のリストエントリの視覚的な識別子との整合が検出された場合、装置の識別が成功しており、ステップ１０７でプロセスは終了する。
【００５３】
しかし、ステップ１０６で、整合する視覚的な識別子が検出されない場合、ステップ１１１で、プロセスは、予め定義された時間又はタイムアウトが経過したかを調べるためにチェックする。経過していない場合、ステップ１１０で、エンドオブフィードバック信号が検出されたかがチェックされる。検出されていない場合、プロセスは、上述したようにステップ１０５で再始動する。ステップ１１０でエンドオブフィードバック信号が検出された場合、又はステップ１１１で、タイムアウトに到達した場合、プロセスはステップ１０９に進み、ここでリストの終わりに到達したかがチェックされる。到達していない場合、ステップ１０８で、リストにおける次のエントリが選択され、ステップ１０４でプロセスは再始動する。リストの終わりに到達した場合、ステップ１０３でプロセスは再始動し、リストの開始に戻る。
【００５４】
ステップ１０１で、装置のリスト、及びそれら関連する視覚的な識別子及び／又はトリガ信号を更新することは、幾つかのポイントで必要となる。たとえば、異なる装置がリストのトップに元々ある装置から取って代わり、新たな装置が導入されるか、装置がグループから除かれるか、個々の装置のプローブ可能な使用のレートがしばらくの間に変化している場合がある。かかる状態が生じたとき、プロセスルーチンは、ステップ１０９からステップ１０１に戻り、そこから再始動する。適切なモニタアレンジメントは、係る状況を検出し、プロセスルーチンにこれに応じて反応させる。
【００５５】
図１を参照して、トリガ信号Ｔ1，Ｔ2，Ｔを通して巡回するステップは、デバイスリスト管理ユニット１５により、画像分析ユニット１２により供給される画像分析の結果に基づいて管理される。適切な信号１９は、ポインティングデバイス１に送出され、必要に応じて次のトリガ信号Ｔ1，Ｔ2，Ｔを送出させる。
【００５６】
上述した識別プロセスと同時に、進行中で、又は識別プロセスに続いて、ポインティングデバイス１のカメラ２により生成される画像３は、ユーザの意図を実行するために解釈される。このため、画像分析ユニット１２は、多数のテンプレートから画像３に最も整合するテンプレートを識別するため、パターン認識のような公知の画像処理技術を利用し、ユーザが指しているオプションを推測する。たとえば、ユーザはポインティングデバイス１を使用して、装置Ｄ1，Ｄ2，Ｄ3のスクリーンに表示されているメニューを横送りするか、装置Ｄ1，Ｄ2，Ｄ3に特定のタスクを実行させ、ポインティングデバイス１を使用してタスクを始動する。
【００５７】
このため、制御信号発生ユニット１３は、装置の制御信号１７を発生するために画像分析の結果を使用する。アプリケーションインタフェース１４は、向けられている装置Ｄ1，Ｄ2，Ｄ3に適切なフォーム２７で送出する前に、制御信号１７への必要な変換を実行する。
【００５８】
さらに、割り当てユニット１６は、デバイスコントロールインタフェース１８の一部としてここでは示されており、特定の視覚的な識別子の挙動及び／又はトリガ信号の記述を特定の装置Ｄ1，Ｄ2，Ｄ3に割り当てるために使用される。たとえば、割り当てユニット１６は、装置Ｄ1の視覚的な識別子Ｖ1が５秒の期間について赤と青の間の色を交互にすることを規定し、所定の周波数で送信されるトリガ信号Ｔ1に応答してこれを行うべきである。この情報は、問題の装置に信号２７として送出される前に、インタフェース１４により必要とされるようにエンコードされる。
【００５９】
デバイスコントロールインタフェース１８が図１に示されるように、ポインティングデバイスに組み込まれていない場合、デバイスコントロールインタフェース１８にポインティングデバイス１から送信された情報は、たとえばＢｌｕｅｔｏｏｔｈ，８０２．１１ｂ又はモバイルテレフォンの規格といった無線方式で送信される。ユーザが彼のポインティングデバイス１を運ぶ場合、ポインティングデバイス１は、ケーブルによりデバイスコントロールインタフェース１８に接続される場合がある。装置Ｄ1，Ｄ2，Ｄ3にデバイスコントロールインタフェース１８から送出された信号２７は、ケーブルインタフェースを通して送出されるか、必要に応じて、無線方式で送信される場合がある。
【００６０】
カメラ２は、デバイスコントロールインタフェース１８に画像３を連続的に送出するか、ポインティングデバイス１が所定の時間移動されない場合に自動的に送信を停止する。このため、ポインティングデバイス１は、図示されないが、動きセンサを有する。ポインティングデバイス１は図示されないがバッテリにより電力供給される可能性が最も高いので、たとえばバッテリの寿命を長くするためにユーザがポインティングデバイス１を実際に移動するときといった、必要とされるときにデバイスコントロールインタフェースに画像３を送信することは都合が良い。画像データ３の送信は、ユーザがポインティングデバイスを移動させるとすぐに始動され、その後に自動的に停止される。
【００６１】
ユーザは、前から直接に、制御されるべき装置にポインティングデバイスを常に向けず、ポインティングデバイス１が装置の多かれ少なかれ斜めの角度で向けられる可能性が高い。これは、それ自身の位置を変えることよりもポインティングデバイス１に向けることがより便利なことによる。このことは図３に示されており、この図は、ある距離から、ある傾斜角度で、このケースではテレビジョンスクリーン又はコンピュータモニタである装置Ｄ1に向けられるポインティングデバイス１により生成されるターゲットエリア画像３の概念的な表現を示しており、ターゲットエリアＡにおける装置Ｄ1のスケール及び見え方がターゲットエリア画像３で歪んで見える。多数のオプション（Ｍ1，Ｍ2，Ｍ3）が装置Ｄ1のディスプレイで見ることができる。図示されないユーザは、ポインティングデバイス１によりこれらオプション（Ｍ1，Ｍ2，Ｍ3）のうちの１つを選択するのを望む。また、装置Ｄ1のディスプレイで目に見えるのは、このケースでは明るさにおいて増加又は減少する特徴的な形状を有するディスプレイのセクションである、この装置Ｄ1について視覚的な識別子Ｖ1である。この図におけるポインティングデバイス１には、レーザ光のソース５１が設けられており、レーザ光ＬのビームをポイントＰLでディスプレイに衝突させ、ユーザがポインティングデバイス１を向けるのを支援する。
【００６２】
ひとたびポインティングデバイス１がそのトリガ信号を送信すると、カメラにより生成された画像が分析され、視覚的な識別子を検出する。この例では、視覚的な識別子Ｖ1を与える、ディスプレイのセクションの特徴的なフラッシュ又はブリンキングが検出され、装置は、装置Ｄ1であるとして識別される。画像の明るさレベルのシンプルな分析、及び、続いて起こるパターンとデバイスリスト管理ユニットにより供給される情報との比較は、装置Ｄ1を識別するために十分である。
【００６３】
ひとたび装置がＤ1で識別されると、システムは、装置Ｄ1を制御するためにユーザのアクションを解釈し続ける。このため、ターゲットエリア画像３は、更に詳細に調べられる。装置Ｄ1に関するポインティングデバイス１の角度に関わらず、ターゲットエリア画像３は、ターゲットポイントＰTの周りで常にセンタリングされる。また、レーザ光のポイントＰLは、ターゲットエリア画像３に現れ、ターゲットポイントＰTから移動された距離にあるか、ターゲットポイントＰTに一致する場合がある。デバイスコントロールインタフェースの画像処理ユニットは、ターゲットエリア画像３を予め定義されたテンプレート５０に比較し、ユーザにより向けられているオプション（Ｍ1，Ｍ2，Ｍ3）を判定する。
【００６４】
このため、装置Ｄ1とのポインティングデバイス１の長軸の交点ＰTは、ターゲットエリア画像３に位置される。交点ＰTに対応するテンプレート５０におけるポイントは、次いで配置される。
【００６５】
エッジ及びコーナー検出方法を使用したコンピュータビジョンアルゴリズムは、装置Ｄ1のテンプレート５０におけるポイント［（ｘa,ｙa），（ｘb,ｙb），（ｘc,ｙc）］に対応するターゲットエリア画像３にポイント［（ｘa’,ｙa’），（ｘb’,ｙb’），（ｘc’,ｙc’）］を配置するために適用される。
【００６６】
それぞれのポイントは、ベクトルとして表現することができ、たとえばポイント（ｘa,ｙa）は、
（外１）
2008529147.tif 000003
として表現される。次のステップとして、変換関数Ｔλが展開され、ターゲットエリア画像３をテンプレート５０にマッピングする。
【００６７】
【数１】
2008529147.tif 000004
ここでベクトル
（外２）
2008529147.tif 000005
はテンプレート５０における座標ペア（ｘi,ｙi）を表し、ベクトル
（外３）
2008529147.tif 000006
はターゲットエリア画像３における対応する座標ペア（ｘi’,ｙi’）を表す。パラメータセットλは、画像の回転及び変換のパラメータを含み、最も費用対効果の高いソリューションを関数に与えるものであり、装置Ｄ1に関してポインティングデバイス１の位置及び方向を決定するために適用される。コンピュータビジョンアルゴリズムは、ポインティングデバイス１内のカメラ２が固定され、ポインティングジェスチャの方向で「見ている」事実を利用する。次のステップは、装置Ｄ1との、ポインティングの方向Ｐにおける、ポインティングデバイス１の長軸の交点ＰTを計算することである。このポイントは、ターゲットエリア画像３の中央となるように取られる場合がある。ひとたび交点の座標が計算されると、このポイントをテンプレート５０に配置することはシンプルな事項である。このように、システムは、ユーザが向けているオプション（Ｍ1，Ｍ2，Ｍ3）を判定することができ、装置Ｄ1について適切な制御信号を発生することができる。
【００６８】
本発明は好適な実施の形態及びその変形の形式で開示されたが、様々な更なる変更及び変形は、本発明の範囲から逸脱することなしに為されることを理解されたい。ポインティングデバイスは、電気的又は電子的に制御可能な装置をもつ家庭又は他の環境でユニバーサルユーザインタフェースデバイスとして機能する。要するに、ユーザがポインティングにより意思を表現する場合には何処でも利益がある。その小型の形式のファクタ及びその便利かつ直観的なポインティング様式は、かかるシンプルなポインティングデバイスをパワフルなユニバーサルリモートコントロールに引き上げる。ペン形状の代替として、ポインティングデバイスは、たとえば、ビルトインカメラをもつパーソナルデジタルアシスタント（ＰＤＡ）、ビルトインカメラをもつモバイルフォンである。
【００６９】
明確さのため、「有する“comprising”」は他のステップ又はエレメントを排除するものではないと理解されたい。「ユニット“unit”」は、単一のエンティティとして明示的に記載されない場合に、多数のブロック又はデバイスを有する。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態に係るポインティングデバイスと多数の装置を示す、装置を制御するシステムの概念図である。
【図２】本発明の実施の形態に係る装置のグループのなかから１つの装置を識別することに含まれるステップを示すブロック図である。
【図３】本発明の実施の形態に係るポインティングデバイスの概念図である。
【図１】
2008529147.tif 000007
【図２】
2008529147.tif 000008
【図３】
2008529147.tif 000009
【国際調査報告】
2008529147.tif 000010
2008529147.tif 000011