(57)【要約】本発明は、機器（Ｄ１，Ｄ２，Ｄ３，Ｄ４）を制御するための方法を開示しており、この方法は、制御すべき機器（Ｄ１，Ｄ２，Ｄ３，Ｄ４）の特性を象徴する物体（Ｂ１，Ｂ１´，Ｂ２，Ｂ３，Ｂ４）に、カメラ（３）を備えるポインティングデバイス（２）を向け、さらに、その特性の変化度（５）を指示するために、ポインティングデバイス（２）上の制御入力部（４）を操作するステップを含む。カメラ（３）は、ポインティングデバイス（２）が向けられた目標領域（Ａ）の画像（６）を生成する。選択した物体（Ｂ１，Ｂ１´，Ｂ２，Ｂ３，Ｂ４）を識別して、かつ、制御すべき機器（Ｄ１，Ｄ２，Ｄ３，Ｄ４）の特性を推定するために、選択した物体（Ｂ１，Ｂ１´，Ｂ２，Ｂ３，Ｂ４）に基づいて目標領域画像（６）を解釈する。その後、推定した特性の変化度（５）に応じて、制御すべき機器（Ｄ１，Ｄ２，Ｄ３，Ｄ４）用の制御信号（７）を生成する。本発明は、ポインティングデバイス（２）、機器制御インターフェース（８，８´）、並びに、本方法の適用に適する、そのようなポインティングデバイス（２）と機器制御機器（８，８´）とを備えているシステムも記載している。
2008508587.tif 000002
【特許請求の範囲】
【請求項１】
機器を制御するための方法であって、
カメラを備えているポインティングデバイスを、制御しようとする機器の特性を象徴する物体に向け、前記ポインティングデバイス上の制御入力部を操作して前記特性の変化度を指示するステップと、
前記ポインティングデバイスが向けられた目標領域の画像を生成するステップと、
前記目標領域の画像を解釈して選択した物体を識別するステップと、
前記選択した物体に基づいて、前記制御しようとする機器の特性を推定するステップと、
前記推定した特性の変化度に応じて、前記制御しようとする機器用の制御信号を生成するステップと、
を含む機器制御方法。
【請求項２】
前記選択した物体は、前記目標領域内の特定の目標点を含む前記画像内の物体を識別することによって決定することを特徴とする請求項１に記載の方法。
【請求項３】
前記目標領域の画像は、前記ポインティングデバイスが向けられた前記選択した物体を識別するために、所定のテンプレートＴと比較することによって解析する、
ことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記ポインティングデバイスは、多数の機器を制御することができ、さらに、前記機器の特性を推定するステップは、前記選択した機器を決定するステップを含む
ことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
ポインティングデバイスであって、
当該ポインティングデバイスが向けられた方向の目標領域の画像を生成するためのカメラと、
特性の変化度を指示するための制御入力部と、
を備えることを特徴とするポインティングデバイス。
【請求項６】
前記目標領域内に光点を生成するための集中光ビーム源を備えることを特徴とする請求項５に記載のポインティングデバイス。
【請求項７】
前記制御入力部は、多数の方向のうち任意の１方向に操作可能であることを特徴とする請求項５または６に記載のポインティングデバイス。
【請求項８】
前記制御入力部は、多数の方向に操作可能であることを特徴とする請求項６または７記載のポインティングデバイス。
【請求項９】
制御すべき機器と情報をやり取りする機器制御インターフェースをさらに備え、該機器制御インターフェースが、
画像を解析するための画像解析ユニットと、
変化度を、前記制御すべき機器用の制御信号に変換するための制御信号発生ユニットと、
前記制御すべき機器に前記制御信号を伝送するためのアプリケーション・インターフェースと、
を備えることを特徴とする請求項５〜８のいずれかに記載のポインティングデバイス。
【請求項１０】
画像および変化度に基づいて制御すべき機器用の制御信号を生成する機器制御インターフェースへ、画像および／または変化度を転送するコミュニケーションインターフェースをさらに備えることを特徴とする請求項５〜９のいずれかに記載のポインティングデバイス。
【請求項１１】
制御すべき機器と情報をやり取りするための機器制御インターフェースであって、
ポインティングデバイスから画像および変化度を受信するための受信ユニットと、
前記画像を解析するための画像解析ユニットと、
前記変化度を前記制御すべき機器用の制御信号に変換するための制御信号発生ユニットと、
‐前記制御信号を前記制御すべき機器へ伝送するためのアプリケーション・インターフェースと、
を備えることを特徴とする機器制御インターフェース。
【請求項１２】
請求項１１に記載の機器制御インターフェースを備える、電子的または電気的に制御可能な機器。
【請求項１３】
機器を制御するためのシステムであって、請求項５〜１０のいずれかに記載のポインティングデバイスと、請求項１１に記載の機器制御インターフェースとを備えることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に機器の制御方法に関し、特に、制御しようとする機器と相互作用するポインティングデバイスおよび機器制御インターフェースに関する。
【背景技術】
【０００２】
近年、レーザー光源を組み込んで、向けられた対象上に光点を見せる、レーザーポインタまたは“ペン型スキャナ”のようなポインタの利用が広まっている。そのようなポインタは一般に、視聴者にスクリーン上またはプロジェクション上の要素を示すために、物体を指し示すのにのみ用い得るため、本質的には受動素子である。しかしながら、これらポインティングデバイスの利用はそのような状況に限定されており、例えば、機器を制御するのに用いることはできない。
【０００３】
米国特許出願公開第２００３／１７８５５４Ａ１には、制御機能を組み合わせたレーザーポインタが提案されている。ここでは、制御しようとする機器に、レーザー駆動の光スイッチが備え付けられている。手持ち式のレーザーで装置の能動領域または感度領域を掃引して装置の状態を、例えば‘オン’と‘オフ’の間で切り換える。この種の制御システムは、制御しようとする機器に、上のようなレーザー駆動式の光スイッチを備え付ける必要があり、そのようなスイッチを備え付けられない機器を制御するのには不向きである。このレーザーポインタを複数の機器の制御に用いようとする場合、各々の機器にそのようなスイッチを備え付けなければならない。その上、そのようなスイッチの機能は、例えばオン／オフのような、ある特性の２つの状態間の単なる切換えに制限されており、そのような特性の変化度を表すのにはあまり向かない。記載されている光スイッチは、制御しようとする機器にワイヤで直に接続されているため、不必要な配線を削減するためには、スイッチ自体を直に機器自体に組み込まなくてはならない。レーザーポインタは、機器の制御手段すなわちスイッチと効率的に結合する。しかしながらユーザは、スイッチを駆動するために、レーザーポインタを非常に正確にスイッチに向けなければならない。このことは、機器の状態変化を行うために、ユーザは、物理的に機器に接近して機器に直にレーザーポインタを向けなければならないことを意味する。ユーザは、この種のレーザーポインタを用いて、例えば家の他の部屋にある機器を制御することはできない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、本発明の目的は、ポインティングデバイスを使った、電子的または電気的に制御可能な任意の機器の、より便利で柔軟に適用可能な制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
この目的のため、本発明は、機器の制御方法を提供するものであり、その方法は、カメラを備えているポインティングデバイスを、制御しようとする機器の特性を象徴する物体に向けて選択し、前記ポインティングデバイス上の制御入力部を操作して前記特性の変化度（変化量）を指示するステップと、前記ポインティングデバイスが向けられた目標領域の画像を生成するステップと、前記目標領域の画像を解釈して前記選択した物体を識別するステップと、前記選択した物体に基づいて、前記制御しようとする機器の特性を推定するステップと、前記推定した特性の変化度に応じて、前記制御しようとする機器用の制御信号を生成するステップとを含む。
【０００６】
本発明による方法において用いるポインティングデバイスは、ポインティングデバイスを向けた方向における目標領域の画像を生成するためのカメラと、さらに、特性の変化度を指定するための制御入力部とを備えている。
【０００７】
本方法を適用するために、制御しようとする機器とやりとりするための機器制御インターフェースがさらに必要である。そのような機器制御インターフェースは、少なくとも、前記画像を解析するための画像解析ユニットと、制御しようとする機器用の制御信号へ前記変化度を変換するための制御信号生成ユニットと、制御しようとする機器へ前記制御信号を伝えるためのアプリケーション・インターフェースとを備える。後述するように、機器制御インターフェースは、ポインティングデバイスに組み込んだり、または、好適なコミュニケーション・インターフェースによって前記ポインティングデバイスに結合する、外部ユニットとして実現することもできる。
【０００８】
本発明による方法は、ポインティングデバイスの全く新しいアプリケーションを開示するものである。特に、そのようなポインティングデバイスを用いて、ユーザは、専用のセンサまたはスイッチを必要としない機器またはアプリケーションの存在する大体の方向に、ポインティングデバイスを単に向けることによって、任意の電子的または電気的に制御可能な機器またはアプリケーションの、温度、音量のような特性を、必要に応じて増加させたり、低減させたりすることができ、従って、ポインティングデバイスから機器の制御手段を有効に分離することができる。このポインティングデバイスの機能は、そのポインティング様式の利便性と相まって、本発明を日常生活における無数の状況に対応する強力で実用的ツールにすることができる。
【０００９】
従属請求項および以下の記載は、特に、本発明の有利な実施態様および特徴を開示している。
【００１０】
ユーザがポインティングデバイスを向ける物体は、家庭用電化製品、家庭用機器、または、光スイッチ、スピーカーその他のような、任意の種類の電子または電気的に制御できる機器とすることができる。同様にこの物体は、制御しようとする機器を象徴する、任意の受動的なアイテムとすることができる。例えば、ユーザは、ポインティングデバイスをランプに向けるかもしれないが、関連する制御すべき機器は、実際はそのランプのオン・オフを切り換える光スイッチである。物体と、それが象徴する実際の機器との間の関係は、事前に機器制御インターフェースのトレーニングステップにて予め定義して、多数の機器またはアプリケーションを制御できるようにすることが好適である。
【００１１】
物体の画像を生成するためのカメラは、ポインティングデバイスに組み込むことが好適だが、同様に、ポインティングデバイスの上に搭載することもでき、ユーザが狙っているポインティングデバイスの前方の領域の画像を生成する向きに取り付けるのが好適である。カメラは、基本的な様式で構成してもよいし、または、ズーム機能やある種のフィルタのような、強化機能を持たせてもよい。
【００１２】
従って、‘目標領域’とは、カメラで画像として取り込むことができる、ポインティングデバイスの前方の領域を指す。目標領域の画像（または、目標領域画像）は、目標とする物体の小さな一部分のみをカバーしても、物体全体を含んでも、或いは、物体周囲の領域を含んでもよい。物体全体に対する目標領域画像の寸法は、物体の寸法、ポインティングデバイスと物体との間の距離、および、カメラそれ自体の能力によって決まる。例えば、ユーザが部屋の一方の端に立っている場合、ユーザはポインティングデバイスを物体から少し離れた位置で保持することになる。同様に、ユーザは、より詳細な画像を得るために、ポインティングデバイスを物体の非常に近くに保持することもできる。
【００１３】
分り易く使用するため、レーザー光源を向けることにより光点が目標領域のほぼ中心に現れるようにすることが好適である。集中光ビーム源は、最近入手可能なレーザーポインタの多くの種類に用いられているようなレーザー光源とすることができ、さらに、集中光ビームがカメラで捕捉できる目標領域内の一点に向かうように、ポインティングデバイス内または上に配置するのが好適である。従ってこれ以降では、集中光ビーム源はレーザー光源と仮定するが、本発明の範囲をこれに限定するものではない。
【００１４】
機器の特性は、外部制御によって変えることができる、ランプの明るさ、暖房機器の温度、スピーカーの音量、メニューオプション選択等の、任意の特性である。家庭用電気機器の特性は、チャンネル識別子を減少または増加させることによって変えることができる、現在選択されているラジオまたはテレビチャンネルを含むことができる。このような機器の他の特性は、スクリーン上に表示されるメニューにおける対話項目とすることができ、通例の減少／増加機能によって入力される。１つの例では、映画を録画するためにビデオレコーダをプログラムする際、‘ショービュー（ShowView）’番号を入力する。この場合、ある特性を象徴する物体はメニュー選択肢であり、ユーザは、選択肢を表示したスクリーンの場所にポインティングデバイスを向けることにより、その中から選択することができる。
【００１５】
ユーザがポインティングデバイスを向けている物体を簡単に決定するために、機器制御インターフェースの画像解析ユニットは、従来の画像処理技術またはコンピュータビジョンアルゴリズムを適用することによって、目標領域の画像と多数の所定のテンプレートとを比較するのが好適である。比較には１つの所定のテンプレートで十分であるかもしれないし、あるいは、２つ以上のテンプレートと画像データとの比較が必要であるかもしれない。いったん物体をテンプレートで識別すると、その結果、関連する機器と、それによって変えることができる特性とを推定または決定することができる。例えば、ユーザがスピーカーのスピーカーボックスにポインティングデバイスを向け、同時に、制御入力部を押すと、マッチングが検出されるまで、スピーカーボックスの画像とテンプレートとが比較され、関連する機器−‘スピーカー’またはより正確には、スピーカーを駆動する増幅器−を識別することができ、さらに、関連する特性−‘音量’−を、推定することができる。
【００１６】
所定のテンプレートは、機器制御インターフェースの内部メモリに格納することもできるし、または、外部ソースから同様にアクセスできるようにしてもよい。機器制御インターフェースは、物体に対する所定のテンプレートを、例えば内部または外部メモリ、メモリスティック、もしくは、イントラネットまたはインターネットから得るために、適切なインターフェースを有するアクセスユニットを備えるのが好ましい。このようにして、本発明に係るポインティングデバイスで制御することができる電化製品の製造者は、これら機器のユーザが使用できる電化製品向けのテンプレートを作成することができる。テンプレートは、任意の種類の物体のグラフィック表現とすることができ、例えばスピーカー、ラジエータ、調理器具その他のイメージとすることができる。物体が、例えばテレビ画面上に表示されたメニューの選択肢である場合、テンプレートはテレビに対する複数のメニュー選択肢の位置を示しているため、ユーザがポインティングデバイスをテレビに向けている場合に、画像解析ユニットによって目標領域の画像データを解析することにより、ユーザがどの選択肢に照準を合わせているかを判定することができる。
【００１７】
本発明によれば、ユーザは、デバイスに関連する物体にポインティングデバイスを向けている間に、ポインティングデバイス上の制御入力部を操作することによって、機器の特性を変更することができる。そのような制御入力部は、ボタン、ノブまたはダイアルその他のような、ユーザが押下げたり、押したりして駆動することができるのが好適である。同様に、制御入力部は、ユーザにより与えられた接触を記録しうるタッチセンサ領域をポインティングデバイス上に備えることができる。そのような制御入力部によって、ユーザは、 ‘上’または‘下’、‘右’または‘左’、‘増加’または‘減少’のような、任意の可能な‘方向’を直感的に指示することができる。一方、トラッカーボールまたはジョイスティックタイプの制御入力部は、例えば、劇場その他で用いられるステージ照明素子、もしくは他の電動式の家電製品または玩具といった物体がとり得る、回転や移動方向を増やすことができる。選択するための別のボタンを、ポインティングデバイス上に備えてもよい。例えば、ユーザは、あるメニュー項目に到るまで、上／下制御入力部によってメニュー階層のレベルを検索することができ、そして、別のボタンを押下げることによってその項目を指示（選択）することができる。
【００１８】
ユーザは、制御入力部を適切に操作することで、該当する特性を変える程度を指示することができる。例えば、ボタン形状の制御入力部を短い時間だけ押すことによって、ユーザは、関連する特性がほんのわずかだけ変化するように指示できる。一方、ユーザがボタンを押し続けたときは、特性がそれに比例して増加するように指示できる。この‘変化度’は、制御入力部が信号の形式で出力する。
【００１９】
制御しようとする機器と相互作用する機器制御インターフェースは、ポインティングデバイスに組み込むのが好適である。この場合、画像および変化度をそれぞれカメラおよび制御入力部から直接得ることができるため、機器制御インターフェースは受信器を必要としない。画像解析および制御信号の生成は、ポインティングデバイスにおいて行うことができ、さらに、制御信号を、ポインティングデバイスから制御しようとする機器へ、適切な形式で伝送することができる。
【００２０】
一方、これらのユニットの能力は、好適には手に快適に保持することができるように実現したポインティングデバイスの物理的な寸法によって制限されるので、画像解析ユニットは基本的な画像解析のみに十分なものとするが、より大きなユニットを必要とするより高度な画像処理は、制御信号の生成とともに、外部の機器制御インターフェースにおいて行うことができる。
【００２１】
本発明の特に好適な実施態様では、ポインティングデバイスは、機器制御インターフェース並びに画像および変化度の情報を外部機器制御インターフェースに送信するための送信機を組み込む。或いはまた、ポインティングデバイスは、画像解析および制御信号生成機能を全て省くこともでき、これらのタスクを、外部機器制御インターフェースで実行させるようにすることができ、これによりポインティングデバイスをより小さく、コンパクトな形状に実現することができる。
【００２２】
前述したような外部機器制御インターフェースは、スタンドアロンデバイスとしても、既存の家庭エンターテインメント機器、パーソナルコンピュータに組み合わせてもよいし、あるいは、専用の制御インターフェースとして実現することもできる。ポインティングデバイスから情報を受信するために、外部制御インターフェースは、画像処理および制御信号の生成が画像および変化度を受信するための受信ユニットとしての役割を果たす。家庭環境における機器制御インターフェースは、画像処理と制御信号の生成を集中的に行うように実現し、家の中に分布している多数の受信ユニットが、幾つかの位置から画像データおよび変化度を受信することができるようにする。同様に、家の中に分布している幾つかのアプリケーション・インターフェースは、任意の部屋に位置する機器または電気器具へ制御信号を伝送することができる。従って、ユーザは、ある部屋にある物体をポインティングデバイスで指し示して、別の部屋にある機器を制御することができる。
【００２３】
明らかに、機器制御インターフェースは、単一のポインティングデバイスでの使用に限られるものではない。機器制御インターフェースへ画像データおよび変化度の情報を送信するのに、任意の数のポインティングデバイスを用いることができる。家族の全員に、そのようなポインティングデバイスを提供することができる。より高度な実現では、例えば、子供が不注意に暖房の温度を上げることがないように、ポインティングデバイスに画像データおよび変化度とともに許可コードを送信させることが考えられる。許可コードは、ポインティングデバイスのハードウェアに組み込んでもよいし、または、何らかの方法、例えば制御入力部により、ユーザが入力してもよい。
【００２４】
ポインティングデバイスおよび機器制御インターフェースの実用性を最大限にするために、ユーザは、物体を認識し、かつそれらを、制御しようとするある機器に関連付けるように、機器制御インターフェースを学習させることができる。このため、機器制御インターフェースは、ユーザがテンプレート画像または機器制御パラメータに関する情報を入力できるように、キーボードまたはキーパッドのようなユーザインターフェースにすることができる。例えばユーザは、カメラまたはポインティングデバイスのカメラに相当するものを用いて家の中のラジエータの写真を撮影し、さらに、その画像を、機器制御インターフェースの内部メモリに転送することができる。例えば、キーボードまたはキーパッドを介したコマンド入力のような、機器制御インターフェースへの適切な入力コマンドによって、ユーザは、ラジエータの画像を、この場合は暖房システムである、適切な機器に割当てることができる。このように、ユーザは、任意の物体を任意の機器に割当てることができるし、或いは、機器単体に複数の異なる物体を割当てることができる。例えば、ユーザは、ランプの画像を、このランプを制御するスイッチの画像とともに、事実上制御する機器である電灯のスイッチに、割当てることができる。制御入力部を操作しながらこれらの物体のどれかにポインティングデバイス向けると、電灯のスイッチを制御する効果が得られる。同様に、ユーザは、自宅内の任意のまたは全てのラジエータの画像を暖房システムに割当てることができるため、ユーザは、ポインティングデバイスを任意の部屋にあるラジエータに向けるとともに制御入力部を操作することにより温度を制御することができる。さらに、操作の種類を、物体の異なる部分が異なる特性と関連する物体の特定の部分を指し示すことによって指定することができる。例えば、ラジエータのサーモスタットを指し示すことで、このラジエータの温度のみを調節すべきことを指示するのに対し、ラジエータ本体を指し示すことで、暖房システムの全てのラジエータに変化度を適用すべきであることを指示することができる。
【００２５】
目標領域の画像は、例えば、強調された輪郭、コーナー、エッジその他のような、全画像の特異点のみに関係する画像データのみを含んでもよいし、または、写真の質を有する詳細な画像としてもよい。ユーザがポインティングデバイスで狙っている物体を判定する処理に、ユーザが狙っている物体内の点、すなわち目標点を見つけるためのコンピュータビジョン技術を適用すると都合がよい。
【００２６】
目標領域の画像は、ユーザがポインティングデバイスで狙っている実際の物体の近くにある他の項目または物体を含み得るため、選択する物体は、目標領域における特定の目標点を含むかまたは取り囲む画像内の物体を識別することによって決定することが好適である。本発明の１つの実施態様では、ポインティングデバイスの縦軸の方向に仮想線を物体まで延ばすことによって得られる目標領域画像内の１つの定点、好適には目標領域画像の中心、を目標点として用いることができる。
【００２７】
コンピュータビジョンアルゴリズムを用いる物体の目標領域画像の処理方法は、目標画像内の特徴点の検出、物体のテンプレート内の対応点の決定、さらに、目標画像内の点をテンプレート内の対応点にマッピングする変換の展開を含むことができる。この目標領域画像の特徴点は、物体の特徴点とすることもでき、また、同様に物体を取り囲む領域内の点にしてもよい。次にこの変換を用いて、ポインティングデバイスの軸と物体との交点がテンプレート内に位置できるように、物体に対するポインティングデバイスの位置およびアスペクトを決定することができる。このテンプレート内の交点の位置は、物体上の目標点に対応しているため、ユーザがどの物体を狙われているかを簡単に判定するのに用いることができる。このような目標領域画像と所定のテンプレートとの比較は、特徴的な端点のような角点のみの識別および比較に限定することができる。本発明において適用される“比較”という言葉は、広い意味でのものと理解されたい、すなわち、ユーザが狙っている物体の素早い識別に足りる比較のみを意味している。
【００２８】
ユーザによって選択された物体の、考えられる他の決定方法は、目標点周辺に集中する受信した目標領域画像と、物体において目標とされた点に位置する所定のテンプレートとを、パターンマッチングのような手法を用いて、直接比較することである。
【００２９】
本発明の別の実施態様では、制御ユニット内の受信機に目標領域画像の一部として転送される、目標領域内の所定の位置に固定されたレーザー点の位置を、ユーザによって選択された物体が位置する目標点として用いることができる。ユーザが狙った物体にレーザー光線が衝突したとき現れるこのレーザー点は、目標領域の中心に一致することもあるが、同様に、目標領域画像の中心からずれることもある。
【００３０】
以上要するに、本発明は、任意の種類の電子的または電気的に制御可能な機器を制御する簡易でかつ柔軟な方法を提供する。簡単に使用できるようにに、ポインティングデバイスは、ユーザが快適に握ることのできる、細長い形状のペン型スキャナもしくはペンとすることができる。従ってユーザは、物体から離れた距離に位置していても、ポインティングデバイスで物体を指し示すことができる。同様に、ポインティングデバイスはピストル形状とすることもできる。さらに、ポインティングデバイスの内部またはその上に、ポインティングデバイスが狙う領域を照らす別の光源を備え付けることもでき、周囲が暗くても、ユーザは簡単に物体を見つけることができる。
【００３１】
あらゆる種類の環境において実際に用いるために、ポインティングデバイスと機器制御インターフェースを組み合わせ強力な制御システムを与える。例えば、宿泊施設の環境における使用も考えられ、ゲストが宿泊施設の部屋にある不慣れな電気製品を、最初にそれらの機能に慣れる必要なく、便利でかつ直感的な方法で制御するために、ポインティングデバイスを用いることができる。
【００３２】
本発明の他の目的および特徴を、添付の図面を考慮した以下の詳細な説明によって明らかにしていく。しかしながら、図面は単に例示の目的で描いたもので、本発明の制限を定義するものではないことを理解されたい。
【００３３】
図面全体にわたって、同様の物体は同様の番号で示している。ここで記載するポインティングデバイスはユーザ(図示せず)が持って操作している。
【発明を実施するための最良の形態】
【００３４】
図１は、複数の機器Ｄ１，Ｄ２，Ｄ３を制御するためのシステムを示し、ポインティングデバイス２および外部制御インターフェース８を含む。
【００３５】
ポインティングデバイス２は、ポインティングデバイス２のポインティング方向Ｐの前方領域の画像６を生成するカメラ３を含む。ポインティングデバイス２は、本実施例では長細い形状をしているため、ポインティング方向Ｐはポインティングデバイス２の長軸に沿っている。カメラ３は、この図には示していないユーザが狙うポインティングデバイス２の前方領域の画像６を生成するように、ポインティングデバイス２の前面に向けて位置される。
【００３６】
ユーザは、ポインティングデバイス２を、任意の数の物体Ｂ１，Ｂ１´，Ｂ２およびＢ３に向けることができる。図内に示した物体は、ランプＢ１、ランプＢ１用の減光スイッチＢ１´、ラジエータＢ２およびテレビＢ３である。各物体Ｂ１，Ｂ１´，Ｂ２，Ｂ３は、機器Ｄ１，Ｄ２，Ｄ３のいずれか１つに関連している。
【００３７】
この実施例では、ユーザは、ポインティングデバイス２でランプＢ１を狙いながら、制御入力部４を操作して、ランプＢ１の明るさを増加または低減させる指示をする。ここでは、制御入力部４は正／負または＋／−の種類のボタンであるため、ユーザは、明るさの増加を指示するには“＋”ボタンを押し下げ、また、明るさの減少を指示するには“−”ボタンを押し下げる。ユーザが、ポインティングデバイス２でラジエータＢ２を狙っている場合、“＋”部の押下げは直感的に加熱の強化を意味し、“−”部の押下げは加熱を低減させることを意味する。
【００３８】
２つ以上の物体で、制御すべき機器を示すことができる。図１において、実際はランプの明るさを制御するための機器である減光スイッチＤ１は、物体Ｂ１´それ自体として、および、ランプＢ１として両方で示される。結局、ユーザが変えたいものはランプＢ１の明るさであるため、ユーザが直感的に、減光スイッチではなくランプＢ１を直接示すことが理解できる。
【００３９】
ユーザが制御入力部４を操作する程度は、ユーザが望む変化量を示す。“＋”を一度だけ押下げることは、例えば、ユーザが、明るさをほんの少しだけ増加させたいことを指示する。一方、“＋”の押下を繰返すことによって、または、“＋”を長い時間押し続けることによって、ランプＢ１の明るさを大きく増加させたいか、或いは最大限にしたいことを指示することができる。操作のタイプおよび持続時間、すなわち、変化度５は、典型的には電子信号として制御ユニット４から出力される。
【００４０】
変化度５は、カメラ３によって生成される物体Ｂ１の１つまたは複数の画像６と共に、例えば、ブルートゥース、８０２．１１ｂ、または、携帯電話標準のような無線通信方法で、送信ユニット１２によって機器制御インターフェース８へ伝送される。ここで、画像６は、画像解析ユニット９によって解析される。
【００４１】
ユーザが狙う物体Ｂ１，Ｂ１´，Ｂ２，Ｂ３を識別するために、画像６は、画像解析ユニット９が、要求に応じて、データベース２０から、または、アクセスユニット２３を介して外部ソース２１，２２から取り出すことができるテンプレートと比較される。理想的には、アクセスユニット２３は、外部データにアクセスできる多数のインターフェースを有しており、例えば、ユーザは、フロッピー（登録商標）ディスク、ＣＤまたはＤＶＤのような記録媒体２２に格納された所定のテンプレートを提供することができるし、或いは、アクセスユニット２３は、インターネット２１のような外部ネットワークからまたは機器の製造元から、適切なテンプレート情報を取り出すことができる。テンプレートは、例えば、制御する機器Ｄ１，Ｄ２，Ｄ３と物体Ｂ１，Ｂ１´，Ｂ２，Ｂ３との間の相互関係を特定するトレーニングセッションにおいて、ユーザが設定することもできる。テンプレートは、背景に重ね合わせた物体Ｂ１，Ｂ１´，Ｂ２，Ｂ３を示すことができる。ラジエータの場合は、ラジエータ用のテンプレートは、実際のラジエータだけでなく、壁、窓、家具などの環境も示す画像とすることができる。最も単純なテンプレートは、一切の環境を含まずに、ただラジエータを示すものとすることができる。
【００４２】
画像解析ユニット９は、既知の画像処理技術を利用して画像６に最も良くマッチングするテンプレートを見つけ、従って、指されている物体Ｂ１，Ｂ１´，Ｂ２，Ｂ３および制御すべき関連する機器Ｄ１，Ｄ２，Ｄ３を識別する。この情報は制御信号生成ユニット１０に転送され、ユニット１０は今や変化度５を解釈して調整すべき特性を推定することができる。この実施例において、識別された物体はランプＢ１であるため、特性は‘明るさ’であるに違いなく、関連する機器Ｄ１は、減光スイッチである。制御信号生成ユニット１０は、適切な制御信号７を生成し、この制御信号７は次いでアプリケーション・インターフェース１１に転送される。それぞれ異なる種類の信号３０，３１および３２を要求するかもしれない多数のアプリケーションまたは機器Ｄ１，Ｄ２，Ｄ３を駆動するアプリケーション・インターフェース１１は、実際の機器Ｄ１，Ｄ２およびＤ３に適した信号３０，３１および３２を与えるために、制御信号７に必要な任意の変換を行うことができる。この場合、制御信号７は、減光スイッチＤ１を駆動するのに適した形式に変換される。
【００４３】
図に示した機器Ｄ１，Ｄ２およびＤ３は、互いに近づけて位置させてもよいし、または、家の異なる部屋にわたって分布させてもよい。機器制御インターフェース８のアプリケーション・インターフェース１１は、適切なインターフェースを用いて機器と通信することができるため、暖房機器Ｄ２のような機器は、暖房機器Ｄ２それ自体が家の地下室に置かれていたとしても、例えば居間から制御することができる。このようなインターフェースは、バスまたはローカルコミュニケーションネットワークのように配線されていてもよいし、または、無線ＬＡＮネットワーク、ブルートゥースその他のような無線通信にしてもよい。アプリケーション・インターフェース１１は、制御信号生成ユニット１０によって生成される制御信号７を、適切な信号３０，３１および３２にて、適切な機器Ｄ１，Ｄ２およびＤ３へと伝送する。
【００４４】
ポインティングデバイス２は、画像６および変化度５を、連続的に機器制御インターフェース８へ送信してもよいし、或いは、ある時間の長さポインティングデバイス２が動かない場合は、自動的に送信を停止してもよい。この目的のため、ポインティングデバイス２は、図示しない運動センサを備えることができる。ポインティングデバイス２は大体において、図示しないバッテリーによって駆動されるため、バッテリーの寿命を延ばすために、ユーザが実際に制御ユニット４を操作した場合にのみ、機器制御インターフェースにデータを送信することが都合がよい。画像データ６および変化度５の送信は、ユーザが制御ユニット４を何らかの方法で操作するとすぐに開始することができ、さらに、その後は自動的に停止することができる。
【００４５】
図２は、ポインティングデバイス２の他の実施形態を示し、自身のローカル機器制御インターフェース８´内の、自身の画像解析ユニット６´および制御信号生成ユニット１０´を特徴とする。このポインティングデバイス２は、それぞれカメラ３および制御入力部４によって生成された画像データ６および変化度５を解析して、関連する機器Ｄ１，Ｄ２およびＤ２に対する制御信号７を局所的に生成することができる。
【００４６】
この図において、ポインティングデバイス２は、この場合はスピーカーＤ４の前面である物体Ｂ４に向けられており、実際の機器Ｄ４の目に見える部分を含んでいる。目標領域Ａの画像６を生成するために、ユーザは、レーザー光源１５から出る光点ＰＬを用いて、ポインティングデバイス２を物体Ｂ４に向けることができる。物体Ｂ４全体が目標領域Ａ内に見えている必要は無く、図に示すように、識別のためには物体Ｂ４の一部で十分である。画像６は、ポインティングデバイス２が向けられた物体Ｂ４を識別するために、画像解析ユニット９´において解析される。ユーザは、スピーカーＤ４の音の大きさをいくらか変えるために、ポインティングデバイス２の制御入力部４を操作することができる。制御入力部４によって出力される変化度５は、画像解析の結果に従って制御信号発生器８´において処理されて、機器Ｄ４に対する適切な制御信号７を与える。スピーカーＤ４の異なる部分には異なる特性が関連していてもよく、例えば、スピーカーボックスＤ４の上部に向けることで、高音域の増加または低減を指示することができるのに対し、下部に向けることで、低音域の変更を指示することができる。ポインティングデバイスが実際に向けられているスピーカーＤ４の部分は、画像解析ユニット９´によって識別される。
【００４７】
制御信号７は、アプリケーション・インターフェース１１´によってスピーカーＤ４に転送される前に、スピーカーＤ４が理解可能な形式への所要の変換を受ける。使いやすくするため、アプリケーション・インターフェース１１´は、ポインティングデバイス２から信号を受信するための適切な受信機２４を備えたスピーカーＤ４と、無線手段によって通信する。多くの場合、そのような受信機２４は、スピーカーＤ４を駆動する増幅器に接続するか、或いは、その一部とするが、簡単のため、図ではスピーカーＤ４に組み込んで示している。
【００４８】
図２に図解したように、局所的な画像処理ができるということは、ポインティングデバイス２が、図１に示したような別個の機器制御インターフェース８と通信する必要がないことを意味する。画像解析の質は、大体において小形で実用的な型に実現されるポインティングデバイス２の物理寸法によって制限を受け得るので、この独立型の実施態様は、画像解析の正確さが特に重要でない状況、または、ポインティングデバイス２が外部制御インターフェース８と通信することができない状況に対して十分である。
【００４９】
この実施態様はもちろん単に図１の拡張となりえるため、ポインティングデバイス２は、ローカル機器制御インターフェース８´に加え、図１に記載した通信インターフェース１２も利用し、その独立型の機能に加えて、家庭内対話システムのような外部機器制御インターフェース８とともに動作させることができる。この実施態様はまた、ポインティングデバイス２が、カメラ３によって生成された画像を格納できるローカルメモリ２０´を備えることもできる。図示しない適切なインターフェースを用いて、ポインティングデバイス２は、メモリスティック、インターネット、外部機器制御インターフェース８その他の外部ソースから得られるテンプレートを、ローカルメモリ２０´内にロードすることができる。
【００５０】
図３ａ〜図３ｄに、ポインティングデバイス２用の実現可能な制御入力部の幾つかを示す。各図において、ポインティング方向Ｐを表示している。
【００５１】
図３ａにおいて、制御入力部は、音量等の変化を制御するためのリモート制御によく見られる種類の、簡単な＋／−または上／下ボタン４ａで実現している。図３ｂは、２方向のうちの任意の１方向に簡単にスクロールするのに試用されている、マウスの左と右のボタンとの間によく見られる種類のダイアルのような、ダイアル４ｂの型をとっている。
【００５２】
図３ｃおよび３ｄはそれぞれ、２方向のみではなく、３方向以上における変化度を指示するのに用いることのできる、制御入力部４ｃおよび４ｄを示している。制御入力部４ｃは、上下左右の任意の４方向における変化度を指示するのに用いることができる。トラッカーボール４ｄは、実際にはあらゆる方向に動き得るため、より多用途である。
【００５３】
ユーザは、ポインティングデバイス２で、物体を、いつも直正面から狙うわけではなく、ユーザ自身の位置を変えないでポインティングデバイス２で狙うほうがより便利であるため、ポインティングデバイス２で、物体を、大体斜めの方向から狙うことがより多くなる。この様子を図４は示しており、図に示す目標領域画像６の概略的な表示は、物体Ｂ２に遠方から斜めに向けられたポインティングデバイス２で生成されるため、この場合はラジエータＢ２である、目標領域Ａ内の物体Ｂ２のスケールおよび透視図は、目標領域画像６においてゆがんで見える。
【００５４】
物体Ｂ２に対するポインティングデバイス２の角度にかかわらず、目標領域画像６は常に、目標点ＰＴを中心に位置する。レーザー点ＰＬも目標領域画像６内に現れ、目標点ＰＴから離れていることもあれば、目標点ＰＴに一致していることもある。機器制御インターフェースの画像処理ユニットは、ユーザが指し示している物体Ｂ２を決定するために、目標領域画像６と、所定のテンプレートＴとを比較する。
【００５５】
この目的のため、ポインティングデバイス２の長軸と物体Ｂ２との交点ＰＴを目標領域画像６内で決定する。次に、交点ＰＴに対応するテンプレートＴ内の点を決定することができる。
【００５６】
物体Ｂ２のテンプレートＴ内の点［（Ｘａ，Ｙａ），（Ｘｂ，Ｙｂ），（Ｘｃ，Ｙｃ）］に対応する目標領域画像６内の点［（Ｘａ´，Ｙａ´），（Ｘｂ´，Ｙｂ´），（Ｘｃ´，Ｙｃ´）］を決定するために、エッジ／コーナー検出手法を用いるコンピュータビジョンアルゴリズムを適用する。
【００５７】
各点は、ベクトルとして表現することができ、例えば、点（Ｘａ，Ｙａ）は、Ｖa→としてとして表現することができる(上付き矢印はベクトルを表す)。次の段階として、テンプレートＴに目標領域画像６をマップするために、以下の変形関数Ｔλを展開する。
【数１】
2008508587.tif 000003
ここで、ベクトルＶi→はテンプレートＴ内の座標（Ｘi，Ｙi）を表し、ベクトルＶi’→は目標領域画像６内の対応する座標（Ｘi´，Ｙi´）を表す。パラメータ集合λは、上記の関数に対する最もコスト効率のよい解をもたらす画像の回転および平行移動に対するパラメータを含んでおり、物体Ｂ２に対するポインティングデバイス２の位置および回転を決定するために適用することができる。コンピュータビジョンアルゴリズムは、ポインティングデバイス２内部のカメラ３は固定で、ポインティング方向に “見ている”ことを利用する。次の段階で、ポインティング方向Ｐにおけるポインティングデバイス２の長軸と物体Ｂ２との交点ＰＴを計算する。この点は、目標領域画像６の中心とすることができる。ひとたび交点の座標が計算されれば、テンプレートＴ内におけるこの点を決定することは簡単な事である。
【００５８】
本発明を、好適な実施態様およびその変形について開示してきたが、本発明の範囲を逸脱することなく、多数の他の変更や変形を加えることができることを理解されたい。ポインティングデバイスは、電子的または電気的に制御可能な機器を有する家庭内または任意の他の環境において、共通のユーザインターフェースとして機能させることができる。手短に言えば、ユーザは指し示すことによってどこででも意図表示をすることができ、便利である。その小形な形状と便利で分かり易いポインティング様式は、このような簡単なポインティングデバイスを強力で普遍的な遠隔操作機器へと高めることができる。ペン型に代わるものとして、ポインティングデバイスは例えば、カメラ内蔵型のパーソナルデジタルアシスタンス（ＰＤＡ）、または、カメラ内蔵型の携帯電話とすることもできる。
【００５９】
明瞭にするため、本明細書を通した「１つの」という表現は、複数の存在を排除するものではなく、「含む」または「備える」は、他のステップまたは要素を排除するものでないことを理解されたい。「ユニット」は、単一体として記述したものを除いて、多数のブロックまたは機器を含んでもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施態様による、多数の機器を制御するためのポインティングデバイスおよび機器制御インターフェースを含むシステムの概略図である。
【図２】本発明の実施態様による、ポインティングデバイスおよび制御すべき機器の概略図である。
【図３ａ】本発明の実施態様によるポインティングデバイスの概略図である。
【図３ｂ】本発明の実施態様によるポインティングデバイスの概略図である。
【図３ｃ】本発明の実施態様によるポインティングデバイスの概略図である。
【図３ｄ】本発明の実施態様によるポインティングデバイスの概略図である。
【図４】本発明の実施態様による、物体、それらが関連するテンプレート、および、ポインティングデバイスが生成する目標領域画像の概略図である。
【図１】
2008508587.tif 000004
【図２】
2008508587.tif 000005
【図３ａ】
2008508587.tif 000006
【図３ｂ】
2008508587.tif 000007
【図３ｃ】
2008508587.tif 000008
【図３ｄ】
2008508587.tif 000009
【図４】
2008508587.tif 000010
【国際調査報告】
2008508587.tif 000011
2008508587.tif 000012
2008508587.tif 000013