(57)【特許請求の範囲】
【請求項１】
コマンド領域における制御点の位置を制御する方法であって、
−カメラを備えるポインティング装置を前記コマンド領域の方向へ向けるステップと、
−前記ポインティング装置によって向けられるターゲット領域の画像を生成するステップと、
−前記ポインティング装置が向けられるターゲット点を決定するために、前記ターゲット領域の画像を処理するステップと、
−現在規定される仮想的制御領域内における前記ターゲット点の位置に依存して、前記制御点の位置を決定するステップであって、前記仮想的制御領域が、少なくとも部分的に前記コマンド領域を含み、前記仮想的制御領域に対する前記ターゲット点の位置が前記コマンド領域に対する前記制御点の位置に変換される、ステップと、
を含み、
前記コマンド領域に対する前記仮想的制御領域の寸法が、ユーザが前記ポインティング装置を前記現在の仮想的制御領域の外側のターゲット点に向ける場合に、拡張される、方法。
【請求項２】
請求項１に記載される方法であって、前記コマンド領域に対する前記仮想的制御領域の寸法及び／又は位置が可変である、方法。
【請求項３】
請求項２に記載される方法であって、前記コマンド領域に対する前記仮想的制御領域の寸法が、前記ポインティング装置と前記コマンド領域との間の距離に従い規定される、方法。
【請求項４】
請求項２に記載される方法であって、前記仮想的制御領域の寸法が、前記ポインティング装置と前記コマンド領域との間の距離が特定の限度を超える場合に拡張される、方法。
【請求項５】
請求項１乃至４のいずれか一項に記載される方法であって、前記コマンド領域の寸法に対する前記仮想的制御領域の寸法の比率を規定する拡張因数が、少なくとも特定の距離範囲において、前記ポインティング装置と前記コマンド領域との間における距離に比例する、方法。
【請求項６】
請求項１乃至５のいずれか一項に記載される方法であって、前記コマンド領域に対する前記仮想的制御領域の寸法が、前記ユーザが前記ポインティング装置を前記現在の仮想的制御領域の特定の区域の外側のターゲット点に向けていない特定の期間の後に、縮小される、方法。
【請求項７】
請求項１乃至６のいずれか一項に記載される方法であって、隣接するコマンド領域の仮想的制御領域は、当該仮想的制御領域が重ならないように選択される、方法。
【請求項８】
請求項１乃至７のいずれか一項に記載される方法であって、コマンド領域が、前記コマンド領域の特定の区域に向けることによって有効化され得、また当該現在の有効なコマンド領域に関連付けられる拡張された仮想的制御領域は、当該仮想的制御領域が、隣接するコマンド領域の少なくとも前記特定の区域と重ならないように、選択される、方法。
【請求項９】
装置を制御する方法であって、
−カメラを備えるポインティング装置を、制御されるべき前記装置に関連付けられるコマンド領域の方向へ向けるステップであって、前記コマンド領域において、前記装置を制御するためのある数のオプションが提示されている、ステップと、
−前記ポインティング装置によって向けられるターゲット領域の画像を生成するステップと、
−前記ポインティング装置が向けられるターゲット点を決定するために、前記ターゲット領域の画像を処理するステップと、
−前記コマンド領域内における制御点の位置に依存して、選択されるオプションを決定するステップであって、前記制御点の位置が、請求項１乃至８のいずれか一項に記載の方法に従い制御される、ステップと、
を含む方法。
【請求項１０】
コマンド領域における制御点の位置を制御するシステムであって、
−向ける方向におけるターゲット領域の画像を生成するカメラを備えるポインティング装置と、
−前記ポインティング装置が向けられるターゲット点を決定するために、前記ターゲット領域の画像を処理する画像処理ユニットと、
−現在規定される仮想的制御領域内における前記ターゲット点の位置に依存して、前記制御点の位置を決定する制御点位置計算ユニットであって、前記仮想的制御領域が、少なくとも部分的に前記コマンド領域を含み、前記仮想的制御領域に対する前記ターゲット点の位置を前記コマンド領域に対する前記制御点の位置に変換する、制御点位置計算ユニットと、
−前記コマンド領域における前記制御点の視覚化に関する制御点視覚化ユニットと、
を含み、
前記コマンド領域に対する前記仮想的制御領域の寸法が、ユーザが前記ポインティング装置を前記現在の仮想的制御領域の外側のターゲット点に向ける場合に、拡張される、
システム。
【請求項１１】
装置を制御するシステムであって、
−制御されるべき前記装置に関するユーザオプションを視覚的に提示するコマンド領域と、
−請求項１１に記載のシステムに従い、前記コマンド領域内における制御点の前記位置を制御するシステムと、
−前記コマンド領域内における前記制御点の前記位置に依存して、選択されるオプションを決定する解釈ユニットと、
を含むシステム。
【請求項１２】
コマンド領域における制御点の位置を制御するポインティング装置であって、
−向ける方向におけるターゲット領域の画像を生成するカメラと、
−当該ポインティング装置が向けられるターゲット点を決定するために、前記ターゲット領域の画像を処理する画像処理ユニットと、
−現在規定される仮想的制御領域内における前記ターゲット点の位置に依存して、前記制御点の位置を決定する制御点位置計算ユニットであって、前記仮想的制御領域が、少なくとも部分的に前記コマンド領域を含み、前記仮想的制御領域に対する前記ターゲット点の位置を前記コマンド領域に対する前記制御点の位置に変換する、制御点位置計算ユニットと、
を含み、
前記コマンド領域に対する前記仮想的制御領域の寸法が、ユーザが前記ポインティング装置を前記現在の仮想的制御領域の外側のターゲット点に向ける場合に、拡張される、
ポインティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コマンド領域において制御点の位置を制御する方法、及び装置の制御に関する方法に関する。更に、本発明は、コマンド領域において制御点の位置を制御する適切なシステム及びポインティング装置、及び装置を制御する適切なシステムに関する。
【背景技術】
【０００２】
例えば、テレビ、ＤＶＤプレーヤ、チューナなどのいずれかの民生電子機器などの装置の制御に関して、リモートコントロールが一般的に使用される。しかし、平均的な家庭において、複数のリモートコントロールが必要とされ得、多くの場合、各民生電子機器に関して１つである。自身が所有する民生電子機器に十分詳しい人物にとっても、各リモートコントロールにおける各ボタンが実際に何のためにあるのかを憶えることは難題である。更に、特定の民生電子機器に関して利用可能であるスクリーン上のメニューを用いた案内は、特にこの装置に関して利用可能であるオプションの深い知識を有していないかもしれないユーザにとって、多くの場合、直感的であるとはいえない。その結果は、ユーザは、彼が探しているオプションを位置特定するためにスクリーン上に提示されるメニューを継続的に学習し、適切なボタンを探すためにリモートコントロールを見下ろさなければならないことになる。多くの場合、ボタンは、直感的でない名称又は略語を与えられている。加えて、リモートコントロールにおけるボタンは、初めにモードボタンを押すことによってアクセスされなければならない更なる機能をも実装し得る。
【０００３】
しばしば、１つのリモートコントロール装置は、複数の装置を制御するために使用され得る。リモートコントロール自体が、ある装置を他の装置と区別することが可能でないので、リモートコントロールは、各装置に関して専用ボタンを装備しなければならず、ユーザは、所望の装置と相互作用する前に、適切なボタンを明確に押さなければならない。
【０００４】
通常のリモートコントロールに対して可能な代替案は、ポインティング装置であり得る。ポインティング装置に基づくユーザインターフェイスシステムは、国際特許出願第2004/047011A2号にから知られており、本文書において参照として含まれる。このようなシステムの概念は、カメラに接続されるポインティング装置が、例えば、装置のハウジング、スクリーン、又は装置に関連付けられる他のいずれかの実施例又はアクセサリなどの、オブジェクトに向けられることによって、周りにあるいずれかの装置を制御するのに用いられ得る。ポインティング装置のカメラは、向けられているターゲット領域の画像を生成し、これらの画像は、後に分析される。
【０００５】
装置を制御する多くの実施例において、制御されるべき装置に関して複数のユーザオプションが、コマンド領域又はグラフィカルユーザインターフェイスにおいて視覚的に提示される。例えば、スクリーン、ビーム装置又は他の画像再生手段を利用するテレビ、パソコン又はラップトップなどの装置において、このようなコマンド領域は、画像再生装置を活用して提示され得る。更に、制御されるべき装置に関するコマンド領域は、この装置に関するオプションが提示され得る他のいずれの方法によっても提示され得る。例えば、中央制御ユニットは、コマンド領域が提示されるディスプレイを特徴とし得る。これにより、ポインティング軸の正確な位置（すなわち、取り込まれた画像の中央に見える点）が、コマンド領域において決定され得る。このことは、コマンド領域における、例えばカーソルなどの、制御点の瞬間的な制御、そしてメニューを介した案内、並びにスケッチなどを作成するなどグラフィカルユーザインターフェイスを用いて通常可能である他の形式の相互作用、を可能にする。他の重要な可能な相互作用モードは、「スクリーンを越えた」相互作用を含み得、例えば、スクリーンの上又は下を指し示す、スクリーン間のドラッグアンドドロップ動作を実行する、及び所定の又はユーザ規定の幾何学的動きパターンを「空中に」実行することによるジェスチャなどを含む。
【０００６】
離れた場所からコマンド領域における制御点のこのような「マウス風」制御を可能にするために、ユーザの視力、すなわち制御されるオブジェクトの寸法に対する眼の解像度、によって与えられる最大可能距離まで正確な相互作用を可能にすることが必須である。しかし、視覚的な補助を使用すると、このことは、通常、手を正確に配置することが可能である範囲を超える。実際に、コマンド領域への距離が相対的に大きくなる場合、直接相互作用が発生する角度範囲、すなわちコマンド領域がユーザの位置から見られる角度は、相対的に小さくなる。結果として、相互作用は、ポインティング装置を保持する手の震え及び無意識な動きの強い悪影響が原因により、正確に実行することがより困難になる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
したがって、本発明の目的は、コマンド領域における制御点の正確な制御を可能にする簡単且つ合理的な方法を提供することである。
【課題を解決するための手段】
【０００８】
この目的のために、本発明は、コマンド領域における制御点の位置を制御する方法を提供し、上述されるように、カメラを備えるポインティング装置が前記コマンド領域の方向へ向けられ、前記ポインティング装置によって向けられるターゲット領域の画像が生成され、前記ターゲット領域の画像が、前記ポインティング装置が向けられるターゲット点を決定するために処理される。したがって、本発明によると、前記コマンド領域における前記制御点は、現在規定される制御領域内における前記ターゲット点の位置に依存して決定され、前記制御領域は、少なくとも部分的に前記コマンド領域を含む。したがって、本発明によると、ユーザがポインティング装置を「仮想的」制御領域における現実のターゲット点（以下において「実際のターゲット点」とも記される）に向ける場合はいかなる場合でも、仮想的制御領域に対する現実のポインティング位置は、実際のコマンド領域に対する仮想的ポインティング位置へ変換され、これにより、この仮想的ポインティング位置は、制御点位置に対応する。
【０００９】
本発明による方法を用いて仮想的制御領域における現実のターゲット点を確定することによって、且つターゲット点のこの位置を現在のコマンド領域にマッピングすることによって、ターゲット点を位置特定するのに必要とされる制御領域を現在の状況に対して適合することが可能である。特に有利には、制御領域は、特にユーザが装置から離れて位置される場合に、コマンド領域に対して拡大され得る。ポインティング装置とコマンド領域との間の距離に適合された仮想的制御領域の使用は、ポインティングのわずかな動きが、コマンド領域における対応した大きな動きとして解釈されないことを保証し、これにより、ユーザが、ポインティング装置をより正確にコマンド領域内に方向付けることを可能にする。このことは、特に、コマンド領域からの距離が増加するとともに、コマンド領域内の現実のターゲット点が比例的に大きく線形的に動くことになり得る、ポインティング装置の角運動に適用される。
【００１０】
「制御点」は、通常のカーソルだけでなく、ユーザに、このユーザが現在コマンド領域においてどの点に向けているのかを示すいずれの種類の視覚的フィードバックも意味するように意図されている。例えば、この制御点は、必要であれば、個別の装置によって、コマンド領域に投影される光の点であり得る。同様に、様々なメニュー項目が記号で示される特定の領域は、制御点がこのような領域に配置される場合に、メニューに基づくグラフィカルユーザインターフェイスの場合によくあるように強調表示され得る。
【００１１】
制御点が適切な視覚的フィードバックを用いて示されるので、本発明による方法のユーザは、離れた距離においても、コマンド領域の外側をポインティングしているという印象を、たとえ実際にそうで場合であっても、与えられない。ユーザは、このユーザがポインティング装置の長さに沿って眺める場合にのみ、ずれに気が付き得る。代わりに、ユーザは、単に、コマンド領域における制御点のより良い制御性の印象を与えられる。
【００１２】
上述のように、当該方法は、ユーザが遠い距離からコマンド領域と相互作用しようとする場合に特に有利である。したがって、コマンド領域に対して制御領域を拡大することは、本発明の好ましい実施例である。しかし、実際のコマンド領域より小さい仮想的制御領域を作成することも等しく可能である。一つの例は、プレゼンテーションの設定の制御ステップであり得、コマンド領域は、プレゼンテーションに対して背景に大きく拡大されて表示され、プレゼンテーションを与える個人は、背景に対して比較的近くに立っている。このような状況においては、制御領域に関してより小さい領域を指定することが適切であり得、これにより、ユーザが、ポインティング装置の小さい動きを用いて、制御点を含む制御領域における全ての区域をターゲットに向け得るようにされる。
【００１３】
コマンド領域における制御点の位置を制御する適切なシステムは、向ける方向におけるターゲット領域の画像を生成するカメラを備えるポインティング装置と、前記ポインティング装置が向けられるターゲット点を決定するために、前記ターゲット領域の画像を処理する画像処理ユニットと、を含む。本発明によると、当該システムは、更に、現在規定される制御領域内における前記ターゲット点の位置に依存して、前記制御点の位置を決定する制御点位置計算ユニットであって、前記制御領域が、少なくとも部分的に前記コマンド領域を含む、制御点位置計算ユニットを含まなければならない。更に、当該システムは、前記コマンド領域における前記制御点の視覚化に関する制御点視覚化ユニットを含むべきである。
【００１４】
従属項及び後続の説明は、本発明の特に有利な実施例を開示する。
【００１５】
本発明の好ましい実施例において、制御領域の寸法及び／又は位置が、その瞬間におけるポインティング条件及び／又は制御状況に従い規定される。「ポインティング条件」という用語は、距離だけでなく、ポインティング装置及びコマンド領域の間の角度も意味する。前記ポインティング装置の前記コマンド領域に対する位置に依存して、制御領域の寸法だけでなく、アスペクト、すなわち、制御領域が、コマンド領域に対して上に、下に、又は横方向に、オフセットされるかが、決定され得る。「制御状況」という用語は、とりわけ、コマンド領域における、メニューの種類、及び個別のメニュー項目のサイズなどを示唆する。例えば、多数のメニュー項目がコマンド領域に表示される状況であって、各メニュー項目が相対的に小さい有効区域、すなわち、メニュー項目を選択するためにポインティング装置が向けられなければならない領域しか提供しない場合、ユーザが正確に個別のメニュー項目又はその有効区域に向けることを容易にさせるために、コマンド領域から相対的に近い距離の場合であっても、拡大された仮想的制御領域を提供することが道理にかない得る。他方で、相対的に大きい有効化区域を有する相対的に少ない数のオプションがコマンド領域に示される場合、より遠い距離に関しても、制御領域がコマンド領域と同じサイズを維持することで十分であり得る。
【００１６】
上述されるように、制御領域の寸法は、何よりもポインティング装置とコマンド領域との間の距離に従い規定されることが好ましい。制御領域の寸法がポインティング装置とコマンド領域との間の距離に従い拡大される方法に関して複数の可能性が、存在する。
【００１７】
ある実施例において、制御領域の寸法は、前記ポインティング装置と前記コマンド領域との間の距離が特定の限度を超える場合に拡張又は拡大される。当該方法に従うと、例えば、制御領域は、第１の、相対的に近い、距離に関して、コマンド領域と一致し得る。ユーザがコマンド領域から特定の距離しきい値を越えてポインティング装置とともに移動する場合、仮想的制御領域は、特定の量だけ拡大され得る。別の更なる距離しきい値を越えると、仮想的制御領域は、特定の量だけ再び拡大され得る。したがって、距離に応じた、制御領域のインクリメント的なステップ毎の拡大が可能にされる。距離しきい値は、したがって、見かけ上連続的な移行が可能であるように、基本的に、所望のように小さくあるように選択され得る。制御領域の対応する寸法及び距離しきい値に関する値は、表に記憶され得る。
【００１８】
代替的に、制御領域の寸法とコマンド領域からの距離との間における適切な連続的関係は、適切な関数において規定される。例えば、仮想的制御領域の寸法がコマンド領域の実際のサイズと比較して拡大される範囲を特定する、距離依存拡大因数が選択され得る。
【００１９】
好ましくは、少なくとも非常に遠い距離に関して、コマンド領域の寸法に従い制御領域の寸法の拡大又はリサイズを規定する拡大因数は、ポインティング装置とコマンド領域との間の距離に比例するべきである。
【００２０】
更に好ましい実施例において、ユーザがポインティング装置を現在の制御領域の外側のターゲット点に向けている場合に、前記制御領域の寸法が、ターゲット点が新しい制御領域の内側に配置されるように、拡張される。
【００２１】
更に好ましい実施例において、ユーザが前記ポインティング装置を前記現在の制御領域の外側のターゲット点に向けている場合に、制御領域の寸法は、ターゲット点が新しい制御領域の内側に入るように、拡張される。
【００２２】
この特徴を使用する一つの潜在的な選択肢は、常に直接相互作用を可能にすること、すなわち、ユーザがポインティング装置をコマンド領域内の点に向けている限り、仮想的制御領域が、全ての距離に関して物理的なコマンド領域に対応することであり得る。ユーザがコマンド領域の外側を指し示す場合にのみ、拡大因数に関する別の値が適用され、これにより、相対的なスケーリングを可能にさせる。しかし、この方法は、表示境界において非連続性を含むという不利な点を有する。
【００２３】
上記の代替例に対する、好ましい代替例において、相互作用は、初期において直接的である。ユーザが物理的スクリーンの外側における点にポインティング装置を向ける場合、ポインティングの実際の軸、そして究極的には実際のターゲット点が、（更新された）仮想的制御領域の境界における点と一致するように、拡大又は拡張因数は増加される。この代替例において、拡張因数は、したがって、距離だけの関数だけでなく、ユーザの振る舞いにも依存する。このような操作は、ポインティング装置が境界を（見掛け上）横切ろうとする場合に、仮想的制御領域が、まるでその境界が外側へ押される又はパンチされるように振舞うので、「パンチ」と呼ばれ得る。好ましくは、この条件が起動する前には、最小の距離及び／又は最小の時間が適用され得る。
【００２４】
例えば、スクリーンの上又は下を指し示すことによってスクロールアップ／ダウンするなどの、「スクリーンを越えた」相互作用を可能にするために、この特徴は、一方向のみに有効であり得る（この場合、X軸）か、又は長方形の制御領域の４つの側面のうちの１つのみが「パンチ可能」でありえる。いずれの場合においても、ユーザがポインティング装置を遠くに置く又は部屋の中の何か他の物を指し始めるという事実が検出され得、これにより、これらのイベントが仮想的スクリーン領域のパンチを生じさせないようにされる。
【００２５】
好ましい実施例において、ユーザが前記ポインティング装置を前記現在の制御領域の特定の領域の外側のターゲット点に向けていない特定の期間の後に同様に、制御領域の寸法が縮小される。例えば、ユーザがその瞬間の制御領域の境界に対してパンチしない場合、拡張因数は、時間とともにゆっくりと減少し、究極的には、１の値へ至る。好ましくは、時間定数は、例えば、秒から分の程度で、相対的に長い。仮想的制御領域は、したがって、ユーザの好みの寸法に適合し得る。またこの代替例は、この直接的なポインティングの方法を経験したことのないが、計算機のマウスなどの間接的な制御の方法を経験したことがあり得るユーザに、相対的ポインティングの発想から直接操作の発想への精神的な移行を自動的にさせるのを助けになる。
【００２６】
ポインティング装置が非常に様々な装置の制御、特に、それぞれ直近に位置し得る装置の制御、を可能にさせるので、隣接する装置の制御領域の衝突は回避されるべきである。２つの異なる装置の制御領域の重なりは、ユーザが実際に向けている装置に関して不明瞭な結論を生じさせ得る。このような状況に対処するために複数の可能性が存在する。
【００２７】
第１の、非常に簡単な解決法において、隣接するコマンド領域の制御領域は、制御領域が重ならないように選択される。このことは、仮想的制御領域が完全に分離して維持されることを意味する。
【００２８】
更なる好ましい実施例において、例えば、一つの装置の、コマンド領域の中央又は中央区域などの、コマンド領域の特定の区域のみが、残りの隣接する装置の仮想的制御領域の外側にあるように保持され、逆も同様にされる。この場合、好ましくは、コマンド領域は、対応するコマンド領域の特定の区域に向けることによって有効化され得、また当該現在の有効なコマンド領域に関連付けられる拡張された制御領域は、当該制御領域が、隣接するコマンド領域の少なくとも前記特定の区域と重ならないように、選択される。後者の場合、このようなことは、ポインティングの不明瞭性が、先立ってターゲットにされた装置を常に選択することによって、すなわちポインティングの方向がターゲット装置を固有に決定する場合にのみ他の装置に切り替えること、によって解決され得ることを意味する。ユーザは、この場合、ある種のヒステリシスな効果を経験し、制御は、ある装置に対してくっ付く傾向にあり、例えば、コマンド領域の中央部分などの特定の「有効化区域」を指すことによってのみ、焦点は、他の装置へ移動し得る。
【００２９】
本発明に従う装置を制御する方法において、カメラを備えるポインティング装置は、制御されるべき前記装置に関連付けられるコマンド領域の方向へ向けられ、前記コマンド領域は、前記装置を制御するためのある数のオプションが提示されている。その瞬間における制御点の位置の視覚的なフィードバックが、例えば、カーソルの形態でこのコマンド領域に与えられる。その後、上述されるように、前記ポインティング装置によって向けられるターゲット領域の画像が生成され、前記ターゲット領域の画像は、前記ポインティング装置が向けられるターゲット点を決定するために、処理される。本発明によると、選択されるオプションは、前記コマンド領域内における制御点の位置に依存して決定され、前記制御点の位置が、上述の方法に従い制御される。
【００３０】
装置を制御する適切なシステムは、制御されるべき前記装置に関するユーザオプションを視覚的に提示するコマンド領域と、上述のような前記コマンド領域内に位置される制御点を制御するシステムと、前記コマンド領域内における前記制御点の位置に従い、選択されるオプションを解釈又は決定する解釈ユニットと、を含む。この解釈ユニットは、選択されるオプションに従い制御されるべき装置に関して制御信号をも生成し得る。
【００３１】
現在の制御点位置に基づく選択されるオプションの識別、及び制御信号の生成は、例えば、当業者に知られる、マウス制御の実施例に関する場合などと同様なように、通常の態様で有効にされ得る。
【００３２】
制御領域における瞬間的な実際のターゲット点を決定するために、計算機ビジョンアルゴリズムが適用され得る。計算機ビジョンアルゴリズムを使用してターゲット領域画像の画像データを処理する方法は、ターゲット画像データにおける個別の点を検出するステップと、コマンド領域の（既知の）周囲における又は装置の例えばスクリーンなどのコマンド領域のテンプレートにおける対応する点を決定するステップと、画像データにおける点をテンプレートにおける対応する点にマッピングする変換を展開するステップ、を含み得る。この変換は、この場合、コマンド領域を含む仮想的制御領域に対するポインティング装置の位置及びアスペクトを決定するのに用いられ得、これにより、制御領域とのポインティング軸の交差の点が、テンプレートに位置され得るようにされる。テンプレートにおけるこの交差の位置は、制御領域におけるターゲット点に対応し、この制御領域におけるターゲット点は、例えば、どのオプションがユーザによってターゲットにされているかを識別するために、コマンド領域における対応する制御領域を容易に決定するのに使用され得る。画像データを所定のテンプレートと比較することは、したがって、個別の角の点などの目立った点のみを識別及び比較することに制限され得る。本発明において適用される「比較する」という用語は、広義で理解されるべきであり、すなわち、ユーザが指し向けるオプションを素早く識別するために十分な特徴のみを比較することである。
【００３３】
本発明の特に好ましい実施例において、制御領域におけるターゲット点又はコマンド領域における制御点を識別するためにターゲット領域画像を処理するステップは、ポインティング装置自体において実行され得る。しかし、手によって楽に保持されるように実施化されるのが好ましいこのようなポインティング装置の計算能力は、複雑な計算処理によって必要とされる電力によって必然的に制限される。したがって、ターゲット画像は、好ましくは、制御されるべき装置に関連付けられる制御ユニットへ更なる処理のために送信される。制御ユニットは、制御領域におけるターゲット点及びコマンド領域における制御点を識別し、そして更に、例えば、カーソル位置の形態で、ユーザへ制御点位置の視覚的フィードバックを与えるために、コマンド領域を生成する装置へ制御信号を送信し得る。この制御ユニットは、ユーザによって選択される識別されるオプションに基づき、制御されるべき装置に関する制御信号をも決定し得る。
【００３４】
このような制御ユニットは、例えば装置の一部であり得、装置自体と同一の筐体に組み込まれ得る。別の実施例において、この制御ユニットは、制御されるべき装置といずれかの適切な態様で通信し得る個別の構成要素として実施化され得、この場合、このような制御ユニットは、１つより多い装置を制御することが可能であり得る。
【００３５】
上記において説明されるポインティング装置及び制御ユニットは、例えば、家庭、オフィス、美術館、病院、及びホテルの環境などの、実用的ないかなる種類の環境における使用に関して、強力な制御システムを与えるように組み合わせられる。本発明に従う方法は、いずれの電気的、電子的、制御可能装置へ適用され得る。更に、制御ユニット及び制御されるべき装置は、いずれの数のモジュール、コンポーネント又はユニットを含み得、いずれの態様においても割り振られ得る。
【００３６】
本発明の他の目的及び特徴は、添付の図面を参照にして検討される、以下の詳細な説明から明らかである。しかし、図面は、例証のみを目的として設計されており、本発明の制限を規定するものとしては意図されていないことを理解されるべきである。
【００３７】
図において、同様の参照符号は、図面を通して同様のオブジェクトを参照する。記載されるポインティング装置は、図面に示されないユーザによって保持及び操作される。
【発明を実施するための最良の形態】
【００３８】
既に上述されるように、本発明の根本的な原理は、装置の制御に関する様々なオプションが表示される特定のコマンド領域が、仮想的制御領域へ変換されることである。これにより、この仮想的制御領域における現実の又は実際のターゲット点の位置が、コマンド領域内における、カーソルの位置などの、制御点の座標へ変換される。概して、有効にされるのはコマンド領域の仮想的拡大であるので、したがって、ユーザが、コマンド領域の制限内におけるカーソル又は類似の点を指し示すことがより容易にされる。したがって、以下において、コマンド領域へ割り当てられた拡大制御領域の例は、本発明をこの例に制限することなく、例証の目的のために使用される。
【００３９】
図１に示されるように、仮想的拡張制御領域ACTにおける実際のターゲット点Tから実際のコマンド領域ACMにおける制御点Cへの変換の原理は、実際のポインティング線sをコマンド領域ACMの中央により近い仮想的ポインティング線s'へマップすることである。一般的に、このことは、実際のポインティング軸sの極座標(θ,φ)から仮想ポインティング軸s'の極座標(θ',φ')へのマッピングを規定することによって達成される。このマッピングが回転的に対称である、すなわちθのみに依存するべきであることを仮定することは非常に当然なことである。したがって、ユーザすなわちポインティング装置１とコマンド領域ACMとの間の距離rによってパラメータ化される特定の関数ファミリfを用いてφ'=φ及びθ'=fr(θ)を設定し得る。
【００４０】
三角法的複雑性を避けるために、
θ'=arctan(α(r)・tan(θ))
の形式の依存性を選択することが、有利、且つ同時に非常に当然であり、というのも、これは、座標系の原点がコマンド領域の中央に位置するという仮定の下に、コマンド領域ACMの平面における２次元座標へ変更する際に、線形変換で解釈されるからである。この場合、以下の：
x'=α(r)・x
y'=α(r)・y
が適用される。
【００４１】
これにより、距離依存因数α(r)は、スケール因数としてみなされ得る。α(r)の値は、0.0から0.1の間に含まれるべきであり、値が小さいほど、強調因数又は拡大因数は大きくなり、この因数を用いて、仮想的制御領域ACTの寸法がコマンド領域ACMの現実のサイズに対して拡大される。
【００４２】
αのrへの依存性の明示的な選択に関して、以下の制限が好ましくは考慮されるべきである。
【００４３】
非常に遠い距離に関して、ユーザの視点から見える仮想的制御領域が生じる角度は、一定に維持されるべきである。というもの、一方で、角度が距離とともに増加するべき場合直感的でないようになり得る一方で、角度は特定の臨界点より下へは減少するべきでないからである。したがって、スケール因数は、好ましくは、
r→∞に関して、α(r)≒1/r
であるように選択されるべきである。
【００４４】
近距離に関しては、特定の点における制御領域ACTの拡張の利益には、直接相互作用の直感性（「あなたが指し示すものが、あなたが制御するものであること」）が重要とされる。したがって、近距離に関しては、スケール因数は、好ましくは１に近づくべきであり、
小さいrに関して、α(r)=1
とされる。
【００４５】
おそらく、これらの２つの制限を同時に実行する最良の方法は、以下の形式：
α(r)=min(1,r0/r)
により、平滑で、インクリメンタルな組み合わせを用いることである。
【００４６】
距離パラメータr0は、振る舞いがコマンド領域ACMにおける直接相互作用から仮想拡張制御領域ACTにおける相互作用へと円滑に切り替わる距離として解釈され得る。この距離パラメータr0は、例えば、装置に又は現在のアプリケーションに依存して設定され得る。
【００４７】
代替的に、又は追加的に、距離パラメータr0は、ユーザの好み及び／又はユーザの経験／能力に依存して選択もされ得る。例えば、距離パラメータr0は、予想される震え(jitter)の程度に従いユーザによって調整され得、及び／又はユーザのポインティング精度が（較正ステップにおいて）測定され得、r0は適宜調整される。
【００４８】
図２は、本発明に従う方法において使用するポインティング装置の非常に簡素化された実施例を示す。前方端にカメラ２を備えるこのポインティング装置１は、ユーザによって楽に握られ容易に携帯され得る長細い形状の棒又はペンの形状のハウジングを特徴とする。同等に、ポインティング装置は、ピストルの形状で形成され得る。
【００４９】
カメラ２によって生成されるターゲット領域画像Iは、画像処理ユニット３へ送信され、画像処理ユニット３は、ユーザがポインティング装置１を向ける実際のすなわち現実のターゲット点Tの位置を決定するために、ターゲット領域画像Iを処理する。ターゲット点T及び距離rを確定するステップは、コマンド領域ACM又はコマンド領域ACMの周辺の領域のテンプレートを活用して、ターゲット領域画像Iをこれらテンプレートと比較することによって、達成される。ターゲット点Tを決定する実際の方法は、図６を援用して以下により詳細に説明される。
【００５０】
その後、ターゲット点Tは、制御点位置計算ユニット４へ転送され、制御点位置計算ユニット４は、仮想的制御領域ACTにおけるターゲット点Tの座標x,yに従い、制御点位置、すなわちコマンド領域ACMにおける制御点Cの座標x',y'を決定する。現在の制御領域ACTの寸法及び位置は、この制御点処理ユニット４においても決定され得る。また、例えばポインティング装置１とコマンド領域ACMとの間における距離などの、この計算に関する必要なデータは、画像処理ユニット３などからのターゲット領域画像Iから推定され得る。画像処理ユニット３及び制御点処理ユニット４は、例えば、ポインティング装置１のプログラム可能な処理器におけるソフトウェアモジュールの形式で実施化され得る。
【００５１】
制御点Cの座標x',y'は、その後、通信インターフェイス５によって、制御されるべき装置D１の制御ユニット６へ送信され得る（図３を参照）。ブルートゥース、IEEE又は類似の技術などの標準インターフェイスであり得る通信インターフェイス５は、ポインティング装置１に関して他のデータを受信又は送信するようにも実装され得る。例えば、様々な装置に関するテンプレート及び／又は周囲を含む対応するコマンド領域ACMは、このようなインターフェイス５を用いてポインティング装置１へ供給され得、これにより、画像処理ステップがポインティング装置１において実行され得る。ポインティング装置１が、装置D１の制御に関して用いるための追加的な信号が生成され得るのに使用されるボタン、ノブ又は他の種類のユーザインターフェイスなどの他のコンポーネントを利用する限り、これらのデータは、当然、通信インターフェイス５を介しても送信され得る。
【００５２】
言うまでもないが、ポインティング装置１は、ユーザが装置に関する制御信号の生成のための追加的なコマンドを入力し得るのに使用する、例えば、ボタン又はある種のユーザインターフェイスなどの、上述される以外の他のコンポーネントも含み得る。このような追加的なコンポーネントに関しては、国際特許出願第2004/047011A2号に再度参照がなされ、当該文書には、このようなポインティング装置に関して複数の追加的な詳細に記載されている。ポインティング装置は、上述される方法で、制御信号を生成するのにも使用され得る。例えば、単にターゲットに指し向ける以外に、ポインティング装置は、制御信号の生成のために、特定の方法で解釈され得る特定の方法又はジェスチャで動かされ得る。
【００５３】
図３は、非常に簡素化された概略図において、制御されるべき装置D１の、本発明の説明のために必要であるコンポーネントを示す。ここで、制御されるべき装置D1は、モニタ１０を備え、このモニタ１０には、コマンド領域ACMが、ユーザによる選択のために、ある数のメニュー項目M1,M2,M3,M4,M5,M6を特徴とするメニューとともに表示される。この装置D1の更なるコンポーネントは、パソコンに関する場合のように、モニタ１０とは分離して示される制御ユニット６である。この制御ユニット６は、当然、一般的にテレビに関する場合であるように、単一のハウジングにおいてモニタ１０と一緒に組み込まれ得る。
【００５４】
本発明に必要である、この制御ユニット６のコンポーネントは、例えば、ポインティング装置１の通信インターフェイスから信号及びデータを受信する、又はポインティング装置１へ信号及びデータを送信し得る通信インターフェイス７であり得る。更なるコンポーネントは、制御点視覚化ユニット８及び解釈ユニット９であり、これらの機能は以下において説明される。
【００５５】
通信インターフェイス７によって受信されるコマンド領域ACMにおける制御点Cの座標x',y'は、初めに制御点視覚化ユニット８へ転送される。このユニット８を活用して、例えば小さい四角、十字、矢印、又は同等物などのカーソルは、ユーザが見掛け上ポインティング装置１を向けているコマンド領域ACMにおける点を見ることが可能であるように、制御される。制御点Cの座標x',y'は、解釈ユニット９へも転送される。この解釈ユニット９は、コマンド領域ACMにおいて表示されるオプションM1,M2,M3,M4,M5,M6のうちのどれをユーザが選択しているかを決定するために、制御点Cの位置を解釈するように動作する。この目的のために、解釈ユニット９は、コマンド領域ACMにおいて現在示されるメニューの状態を知らなければならない。この場合、解釈ユニット９は、制御点Cの座標x',y'を使用することによって、オプションM1,M2,M3,M4,M5,M6のうちのどれをユーザが現在指し向けているかを決定し得る。
【００５６】
制御点視覚化ユニット８及び解釈ユニット９は、制御ユニット６のプログラム可能な処理器のソフトウェアモジュールの形式で実装され得る。
【００５７】
明らかに、制御ユニット又は制御されるべき装置D1は、例えば、電源、様々なインターフェイス、装置の様々なアプリケーションを制御するコンポーネント、例えば、テレビの場合はテレビ信号を受信する受信器、又はDVDレコーダの場合はDVDカートリッジなどの、このような装置の動作に関して必要又は所望である複数の更なるコンポーネントを含み得る。簡素化のために、これらのコンポーネントは、図３に示されない。しかし、当業者にとって、どのコンポーネントが、それぞれの種類の装置に関して必要であるかは明らかである。
【００５８】
再び、ポインティング装置１において画像処理ユニット３及び制御点処理ユニット４を実装する必要はないことを強調される。これらユニット３及び４の一つ又は両方は、制御ユニット６において同等に十分に実施化され得る。この場合、例えば、カメラ２によって生成されるターゲット点Iは、例えば、送信器モジュール５を介して、制御ユニット６へ直接送信される。同等に、画像処理ユニット３及び制御点位置計算ユニット４は、別個の構成要素において一体として実施化もされ得る。
【００５９】
図４及び５は、それぞれのコマンド領域ACM及びACM'を有する２つの装置が互いに直接並んで位置される状況を例示する。このような状況において、コマンド領域ACM,ACM'と関連付けられる制御領域ACT,ACT'が重なり得る場合に問題が生じ得る。ユーザが重複領域を指し示す場合に、２つの装置のうちのどちらをユーザが制御したいと望んでいるのかに関して決断できない状態を生じさせ得る。
【００６０】
図４は、隣接するコマンド領域ACM,ACM'の制御領域ACT,ACT'間において何の重複も生じないことを保証する１つの解決法を示す。このことは、異なるコマンド領域ACM,ACM'の位置を、装置又はポインティング装置に知られているようにすることによって、及び／又は個別のコマンド領域ACM,ACM'へ制御領域ACT,ACT'が動くことを許される特定の区域を事前に割り当てておくことによって、行われ得る。図４は、このことが、対応するコマンド領域ACM,ACM'について対称ではない、コマンド領域ACM,ACM'の制御領域ACT,ACT'を生じさせ得ることを示す。しかし、理想的には、制御領域ACT,ACT'は、対応するコマンド領域ACMについて各方向に比例して拡張するべきであるが、というのも、このことが、より直感的な相互作用を提供するからである。
【００６１】
制御領域ACTの重複は、異なる仮想的制御領域ACT,ACT'に互いに「反発」させることによって、すなわち制御領域ACT,ACT'が拡大されている場合はいつでも、隣接する制御領域ACT,ACT'を考慮に入れるようにすることによっても回避され得る。隣接する制御領域ACT,ACT'が拡大されている制御領域ACT,ACT'に接触され得る場合、隣接する制御領域は、制御領域ACT,ACT'が拡大されるに従い縮小する、又は制御領域ACT,ACT'の更なる拡大が禁止される。
【００６２】
図５は、更なる代替態様を示す。ここで、制御領域ACT,ACT'は、隣接するコマンド領域ACM,ACM'の特定の領域、いわゆる有効化領域AAC,AAC'、に接触するまで、拡張することを許可される。したがって、たった１つの制御領域ACT,ACT'のみが有効である。有効化は、ユーザが、ポインティング装置を、対応するコマンド領域ACM,ACM'の有効化領域AAC,AAC'において向ける場合に生じさせられる。このことは、ユーザが現在制御することを望む装置に応じて、コマンド領域ACMとコマンド領域ACM'との間で所望に切り替え得ることを意味する。
【００６３】
この点において、図６を用いて、ポインティング装置１を用いて向けられる現実のターゲット点Tの位置x,yが、いかにコマンド領域及び／又はその周辺のテンプレートを活用して決定され得るかが更に詳細に説明され得る。
【００６４】
ユーザは、ポインティング装置１を直接前面からコマンド領域ACMに常には向けておらず、多くの場合、ポインティング装置１を向けることがユーザ自身の位置を変更することよりも便利であるので、ポインティング装置１は、コマンド領域ACMに対して多少傾いた角度で向けられてあり得る。このことは、図６に例示されており、この場合テレビスクリーン又は計算機モニタである装置D2に離れた場所から且つ傾いた角度で向けられるポインティング装置１によって生成されるターゲット領域画像Iの概略図を示し、この場合、ターゲット領域AIにおける装置D2の縮尺及び遠近画は、ターゲット領域画像Iにおいて歪んで見える。
【００６５】
ある数のオプションM1,M2,M3は、装置D2のディスプレイにおいて見られ得る。図に示されないユーザは、ポインティング装置１を活用してこれらのオプションM1,M2,M3のうちの１つを選択することを望み得る。装置D2のディスプレイにおいても、瞬間的な制御点Cの位置におけるカーソルは見ることが可能であり、したがって、ポインティング装置１を指し向けるユーザを支援する。上述されるように、制御点Cの現在の位置は、仮想的制御領域ACTにおける現実のターゲット点Tの位置に応じて計算される。
【００６６】
現実のターゲット点Tの位置を発見するために、ターゲット領域画像Iがより詳細に検討される。装置D2に対するポインティング装置１の角度に関わらず、ターゲット領域画像Iは、ターゲット点Tにおいて中央にされる。したがって、この点は、ターゲット領域画像Iにおいて比較的容易に決定される。この点Tの座標とコマンド領域ACMすなわちコマンド領域ACMの中心との間における関係を決定することのみが残されている。代替的に当然、座標は、コマンド領域ACMにおける別の点に対して、例えば、表示されるユーザオプションの角の点に対して、又はこのような角の点などのモニタのいずれかの目立つ点に対して、決定され得、これにより、これらの座標は、その後、所望の原点へと変換され得る。仮想拡張制御領域の測定は、好ましくは、同一の座標系において実行され、したがって、仮想拡張制御領域ACTにおいて実際のターゲット点Tの座標を決定することは、ささいなことである。
【００６７】
選択される座標系における現実のターゲット点Tの座標の決定のために、画像処理ユニット３は、ターゲット領域画像Iを所定のテンプレートTD2と比較する。
【００６８】
したがって、エッジ及び角検出方法を用いる計算機ビジョンアルゴリズムが、装置D1のテンプレートTD2における点[(xa,ya),(xb,yb),(xc,yc)]に対応するターゲット領域画像Iにおける点[(xa',ya'),(xb',yb'),(xc',yc')]を位置特定するために適用される。
【００６９】
各点は、ベクトルとして表現され得、例えば、点(xa,ya)は、
0005558000.tif 000002
として表現され得る。次のステップとして、変換関数Tλは、ターゲット領域画像IをテンプレートTD2へマップするために展開され：
0005558000.tif 000003
ここでベクトル
0005558000.tif 000004
はテンプレートTD2における座標の対(xi,yi)を表し、ベクトル
0005558000.tif 000005
はターゲット領域画像Iにおける対応する座標の対(x'i,y'i)を表す。この関数に対して最も費用効果のある解決法を生じさせる画像の回転及び変換に関するパラメータを含むパラメータセットλは、コマンド領域ACMに対するポインティング装置１の位置及び向きを決定するために適用され得る。例えばポインティング装置１とコマンド領域ACMとの間の距離は、このように決定され得る。更に、ターゲット点Tが常にターゲット領域画像Iの中心であるので、コマンド領域ACMのテンプレートTD2におけるターゲット点Tの座標が決定され得る。
【００７０】
本発明は、好ましい実施例及び変更態様の形式で開示されているが、本発明の範囲から逸脱することなく、多数の変更態様及び修正態様がなされ得ることを理解され得る。ポインティング装置は、電気的又は電子的制御可能装置を用いて家庭における又はいずれの他の環境における万能なユーザインターフェイスとして動作し得る。要するに、ユーザがポインティング（指し示す）ことによって意思を表現し得るような場合はどのような場合でも有益であり得る。この装置の小型なフォームファクタ及びその便利さ、並びに直感的なポインティング様式は、このような簡単なポインティング装置を、強力で、万能なリモートコントロールに高めることが可能である。ペン形状に対する代替例として、ポインティング装置は、例えば、内蔵カメラを備える個人用デジタル補助装置（PDA）、又は内蔵カメラを備える携帯電話でもあり得る。明瞭性のために、本文書における単数形の構成要素は、複数個の斯様な構成要素の存在を排除しない。「有する」という語句は、請求項に記載される以外の要素又はステップの存在を排除しない。「ユニット」は、明確に単数の実体として記載されない場合、複数のブロック又は装置を備え得る。
【図面の簡単な説明】
【００７１】
【図１】図１は、コマンド領域と関連付けられる拡張された仮想的制御領域の原理の概略的な投射図である。
【図２】図２は、本発明と使用するためのポインティング装置の概略図である。
【図３】図３は、本発明に従う、制御可能である装置のおおまかな概略図である。
【図４】図４は、第１の実施例に従う、２つの隣接するコマンド領域及びこれらの対応する制御領域の概略図である。
【図５】図５は、第２の実施例に従う、２つの隣接するコマンド領域及びこれらの対応する制御領域の概略図である。
【図６】図６は、本発明の実施例に従う、スクリーンによって実施化されるコマンド領域、コマンド領域に関連する制御領域、コマンド領域に関連するテンプレート、及びポインティング装置によって生成されるターゲット領域画像、を示す概略図である。
【図１】
0005558000.tif 000006
【図２】
0005558000.tif 000007
【図３】
0005558000.tif 000008
【図４】
0005558000.tif 000009
【図５】
0005558000.tif 000010
【図６】
0005558000.tif 000011