(57)【要約】      （修正有）【課題】代替の機器（例えば、運動制御器）または入力機構が、最初にあらかじめ定義された機器（例えば、接触画面機器）と働いているように設計された被制御機器上でアプリケーションを制御することを可能にする。【解決手段】運動感知型機器からの出力信号は、あらかじめ定義された制御機器１０２のものとは異なる形態にあることがある。１つの態様によれば、被制御機器１０２は、接触画面からの信号または接触画面用信号に応答するように設計される。運動感知型機器からの出力信号は、被制御機器１０２への運動感知型入力を含み、被制御機器１０２に連結される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、その後被制御機器１０２上で動作するアプリケーションの再構成を伴わずに、被制御機器１０２の挙動を変化させるかまたはそれに応答させる。【選択図】図１
2013008365.tif 000002
【特許請求の範囲】
【請求項１】
運動に基づく制御のためのシステムであって、前記システムは、
接触画面機器からの入力信号に応答するようにあらかじめ構成された少なくとも１つのアプリケーションを含む被制御機器と、
人間の運動に応答する感知器信号を生成する複数の感知器を含む入力機器と、
前記入力機器からの前記感知器信号を第２組の信号に変換することにより、前記入力機器が前記被制御機器上で前記少なくとも１つのアプリケーションを制御することを促進するように構成された処理ユニットであって、前記第２組の信号は、前記接触画面機器からの前記入力信号と実質的に同様のいくつかの信号を含む、処理ユニットと、
を備える、システム。
【請求項２】
前記入力機器が、映像ゲームと対話するために用いられる手持ち型運動制御器であり、かつ、慣性感知器、磁力計、接触パッド、一組のボタン、トリガ、スピーカ、およびジョイスティックのうち少なくとも１つを含む、請求項１に記載のシステム。
【請求項３】
前記処理ユニットが、非接触表面様信号である前記感知器信号から、接触表面様信号である前記第２組の信号に変換するように提供される変換を実行するように構成される、請求項１に記載のシステム。
【請求項４】
前記処理ユニットが前記被制御機器内に含まれ、かつ第１組の信号が前記被制御機器内で遠隔で受信される、請求項３に記載のシステム。
【請求項５】
前記被制御機器が少なくとも２つの別個の機器を含み、第１の機器が表示器および第１の処理ユニットを含み、第２の機器が少なくとも第２の処理ユニットを含み、グラフィックス要素または他の種類のデータが、前記入力機器との使用者による対話に応答して、前記第１の機器および前記第２の機器の間で転送される、請求項１に記載のシステム。
【請求項６】
前記入力機器が運動感知型制御器であり、かつ、前記第１の機器および前記第２の機器の位置が、前記運動感知型制御器がそれらに照準しかつそれらの角座標を記録することにより登録される、請求項５に記載のシステム。
【請求項７】
前記接触画面機器が、タブレット、スマートフォン、および接触画面入力要素を有する電子機器のうち１つであり、前記被制御機器が、テレビジョン、監視器、投影グラフィックス・システム、および表示器を有する計算機器のうち１つであり、前記入力機器が、前記被制御機器とは異なりかつ別個である接触画面機器を含み、前記入力機器からの接触画面入力を含む前記感知器信号が、前記被制御機器に無線で送信される、請求項１に記載のシステム。
【請求項８】
前記感知器信号が、前記被制御機器を制御するために前記第２組の信号にさらに変換される前に運動に基づく身振りに最初に変換され、前記入力機器からの前記入力信号に応答する前記被制御機器内で動作する少なくとも１つのアプリケーションの身振りに基づく制御を可能にする、請求項７に記載のシステム。
【請求項９】
前記入力機器が、前記被制御機器の挙動を制御するために、前記入力機器と共に用いられる空中の仮想２Ｄ入力領域を作成するために用いられる、請求項１に記載のシステム。
【請求項１０】
前記仮想２Ｄ入力領域上における接触の追跡された位置が２Ｄ格子上に投影され、前記感知器信号を含む組み合わされた信号を結果としてもたらし、かつ、前記組み合わされた信号が変換され、前記被制御機器上で前記少なくとも１つのアプリケーションを制御することができる接触画面様信号として前記被制御機器に提示される、請求項９に記載のシステム。
【請求項１１】
被制御機器の運動に基づく制御のための方法であって、前記方法は、
入力機器から制御信号を生成することであって、前記制御信号は、人間の運動に応答する複数の感知器からの感知器信号を含むことと、
接触画面機器からの入力信号に応答するようにあらかじめ構成された少なくとも１つのアプリケーションを含む被制御機器により、前記制御信号が受信されるようにすることと、
前記入力機器からの前記制御信号を、前記接触画面機器からの前記入力信号と実質的に同様のいくつかの信号を含む第１組の信号に変換することと、
前記被制御機器を前記制御信号に応答させることと、
を備える、方法。
【請求項１２】
前記入力機器が、前記被制御機器の挙動を制御するために、前記入力機器と共に用いられる空中の仮想２Ｄ入力領域を作成するために用いられる、請求項１１に記載の方法。
【請求項１３】
前記仮想２Ｄ入力領域上における接触の追跡された位置が２Ｄ格子上に投影され、前記制御信号のうち少なくとも一部を結果としてもたらし、かつ、前記制御信号が変換され、前記被制御機器上で前記少なくとも１つのアプリケーションを制御することができる接触画面様信号として前記被制御機器に提示される、請求項１２に記載の方法。
【請求項１４】
前記入力機器が、慣性感知器、磁力計、接触パッド、一組のボタン、トリガ、スピーカ、およびジョイスティックのうち少なくとも１つを含む手持ち型運動制御器である、請求項１１に記載の方法。
【請求項１５】
前記入力機器からの前記制御信号を、いくつかの信号を含む第１組の信号に変換することが、非接触表面様信号である前記制御信号から、接触表面様信号である前記第１組の信号に変換するための変換を実行するように構成された処理ユニット内で行われる、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の背景
発明の分野
本発明は、概して、電子機器用の人間−機械インターフェースの領域に関係しており、より具体的には：
１）電子機器上でアプリケーションの遠隔操作を可能にするように、接触画面機器からの信号を増強または交換するための、運動感知器、ジョイスティック、ボタン、およびカメラ由来の信号の変換に関係しており、
２）最初に別の機器からの入力を受信するように提供または設計される機器に、使用者入力の代替の技術を提供することに関係しており、かつ、
３）文脈識別子に基づく、当該機器上で動作する既存の機器またはアプリケーションまたはモジュール用の、一組の習慣的な信号および指令への代替の入力信号の変換の構成、再構成、および動的選択に関係している。
【背景技術】
【０００２】
関連技術の記載
人間−機械対話の産業上の設計において、使用者インターフェースは、人間および機械の間における対話が起こる空間である。人間−機械対話の目標は、所望の結果を産生する方法で機械を操作することを容易に、効率的に、かつ楽しくする使用者インターフェースを産生することである。これは、概して、操作者が所望の出力を実現するために最小の入力を提供する必要があることと、また、機械が人間に対する非所望の出力を最小化することと、を意味する。実用的な使用者インターフェースを作成する際に適用可能な設計考慮は、人間工学および心理学等の訓練に関係しているかまたは伴う。
【０００３】
接触画面は、これまで設計された中で最も成功した人間−機械インターフェースのうちの１つであり、多くの電子機器上でほとんど一般に見られる。それらは、コンピュータ、タブレット、およびスマートフォン等の機器内に存在している。接触画面は、当該接触画面の表示領域内で接触の存在および位置を検出することができる電子視覚表示器である。当該用語は、概して、指または手で機器の表示器に接触することを指す。接触画面機器は、スタイラス等の、他の受動物体を感知することもできる。
【０００４】
いくつかのアプリケーションでは、手持ち型で運動感知型の制御器の使用を通じて、接触画面機器を遠隔で制御することが望まれ、そこで、その運動感知型制御器は、下記の感知器：
１）加速度計
２）ジャイロスコープ
３）電子コンパスつまり磁力計
４）ボタン
５）ジョイスティック
６）マイクロフォン
および送信器：
１）発光ダイオード
２）無線通信機器
の組み合わせを含むことがある。
【０００５】
同様に、接触画面機器を遠隔で制御するための入力機器は、２つのカメラからの立体撮像、または飛行に基づくカメラの単一時間等の、２Ｄカメラまたは３Ｄカメラから生じる制御信号を含むことがあるだろう。
【０００６】
接触画面被制御機器を大画面のテレビジョンに接続し、寝椅子にいながらにしてその機能の一部または全部を制御することが望ましいことがあり、一方で、当該機器のグラフィックス出力が当該大画面上に表示される。同様に、（映像、ゲーム、最初に接触画面機器用に構成されたアプリケーション、ウェブ閲覧等を含む、より広い範囲の内容を支持する）スマートテレビジョンの機能の一部または全部を遠隔で制御することが望ましいことがある。この場合では、当該機器との望ましい対話は、当該機器の接触画面でないが、代替の（非接触画面）入力機器である。しかしながら、当該被制御機器上で動作するモジュール（例えば、ソフトウェア・コンポーネント）は、それらの機能を制御するために、接触表面様信号（または、接触表面様信号に習慣的に由来する信号）を受信する必要があることがある。従って、このような代替の機器が、被制御機器、または、それに連結される接触画面機器の有無にかかわらず、その上で動作するモジュールを容易に制御することを促進する技術の必要性がある。
【発明の概要】
【０００７】
概要
本節は、本開示のいくつかの態様を要約し、いくつかの好適な実施形態を簡潔に導入する。本節内ならびに本記載の要約書または表題内での単純化または省略が、本節、要約書、および表題の目的を不明瞭にすることを避けるために行われることがある。このような単純化または省略は、本開示の範囲を制限するように意図されていない。
【０００８】
概して言えば、本発明は、既存の電子機器またはシステム（別名、被制御機器または被制御システム）を遠隔で制御する様々な運動感知型入力を用いるための技術を記載しており、それは、（特定の接触画面機器等の）あらかじめ定義された制御機器から入力を取るために前もって構成された動作中のアプリケーションである。当該入力機器からの出力信号は、あらかじめ定義された制御機器とは異なる形態にあることがある。運動感知型制御器、２Ｄまたは３Ｄのカメラ、またはそれらの組み合わせにより、当該出力信号を生成することができる。本発明の１つの態様によれば、当該被制御機器は、接触画面からの信号または接触画面様信号に応答するように設計される。こうした被制御機器の例としては、大型表示器を含む電子消費者機器（例えば、ＴＶおよび娯楽機器）挙げられるが、それらに限定されず、そこで、当該機器をスマートフォンおよびタブレットＰＣに連結してもしなくてもよい。入力機器からの出力信号は運動感知型入力であり、かつ、その後被制御機器に送信される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、その後、被制御機器上で動作するアプリケーションの再構成を伴わずに、被制御機器の挙動を変化させるかまたはそれに応答させる。
【０００９】
本発明の別の態様によれば、運動制御器からの信号は、その一部または全部が運動制御器内に封入された慣性感知器から生成される感知器信号を含む。当該信号は、接触画面機器からの信号と実質的に同様のいくつかの信号を含む一組の制御信号に変換され、その後被制御機器を制御する。実施に応じて、当該制御信号は、被制御機器に対する運動制御器の並進位置および角度位置、および運動制御器との使用者による一連の対話を含むことがある。１つの場合では、当該制御信号は、（同じ使用者または異なる使用者により用いられる）他の運動制御器からの出力信号を含むことがある。
【００１０】
本発明の別の態様によれば、入力機器からの信号は、被制御機器上またはその近くに位置することがある１つ以上のカメラから、その一部または全部が生成される感知器信号を含む。その画像信号は、接触画面機器からの信号と実質的に同様のいくつかの信号を含む一組の制御信号に変換され、その後被制御機器を制御する。実施に応じて、２Ｄまたは３Ｄの画像平面を仮想接触パッドに変換または投影し、その仮想接触パッドの「被接触」位置を送信することにより、当該制御信号を計算することができる。
【００１１】
方法、機器の一部の装置、または指定された機器内で実行されるソフトウェア・モジュールとして、本発明を実施することができる。１つの実施形態によれば、本発明は、運動に基づく制御のためのシステムであり、前記システムは、接触画面機器からの入力信号に応答するようにあらかじめ構成された少なくとも１つのアプリケーションを含む被制御機器と、人間の運動に応答する感知器信号を生成する複数の感知器を含む入力機器と、前記入力機器からの前記感知器信号を第２組の信号に変換することにより、前記入力機器が前記被制御機器上で前記少なくとも１つのアプリケーションを制御することを促進するように構成された処理ユニットであって、前記第２組の信号は、前記接触画面機器からの前記接触画面入力信号と実質的に同様のいくつかの信号を含む、処理ユニットと、を備える。
【００１２】
別の実施形態によれば、本発明は、被制御機器の運動に基づく制御のための方法であり、前記方法は、入力機器から制御信号を生成することであって、前記制御信号は、人間の運動に応答する複数の感知器からの感知器信号を含むことと、接触画面機器からの入力信号に応答するようにあらかじめ構成された少なくとも１つのアプリケーションを含む被制御機器により、前記制御信号が受信されるようにすることと、前記入力機器からの前記制御信号を、前記接触画面機器からの接触画面入力信号と実質的に同様のいくつかの信号を含む第１組の信号に変換することと、前記機器を前記制御信号に応答させることと、を備える。
【００１３】
本発明の目的、利点、および恩恵の１つは、代替の機器（例えば、運動制御器）または入力機構が、最初にあらかじめ定義された機器（例えば、接触画面機器）と働いているように設計された被制御機器上でアプリケーションを制御することを可能にすることである。
【００１４】
本開示の他の目的、利点、および恩恵は、添付図面と合わせられる際に、好適な実施形態の以下の詳細な記載からより明白になるだろう。
【００１５】
図の簡潔な記載
本発明のこれらおよび他の特徴、態様、および利点は、以下の記載、添付の請求の範囲、および添付図面に関してより良好に理解されるようになるだろう。
【図面の簡単な説明】
【００１６】
【図１】運動制御器、表示器、および１つ以上の接触表面機器が例解される本発明の一実施形態による、ある構成にある様々なコンポーネントを示す。
【図２Ａ−Ｂ】接触表面入力機器の２つの例を示す。
【図３】コンポーネントを接続する異なる方法を用いる、本発明の代替の一実施形態を示す。
【図４】コンポーネントを接続する異なる方法を用いる、本発明のなお別の代替の実施形態を示す。
【図５】コンポーネントの一部を用いる、本発明のさらに別の代替の実施形態を示す。
【図６】入力機器用の異なる構成を有する本発明の別の代替の実施形態を示す。
【図７】被制御機器を制御するためにそのそれぞれを用いることができる、運動感知型制御器の２つの例を示す。
【図８Ａ】仮想接触パッドが追加の入力手段として提供される、本発明の一実施形態を示す。
【図８Ｂ】使用者の行動により、仮想接触パッドの大きさおよび視点を設定する例示的な方法を示す。
【図９Ａ】制御機器を用いる制御を可能にするために、本発明の１つの実施形態において制御がどのように流れるかを明示する。
【図９Ｂ】本発明の１つの実施形態による機能ブロック線図である。
【図１０】本発明の１つの実施形態における信号の流れを明示する流れ図を示す。
【発明を実施するための形態】
【００１７】
本発明の詳細な記載
本発明の詳細な記載は、手順、ステップ、論理ブロック、処理、および、データ処理機器の操作に直接的または間接的に似ている他の記号表現の点から概ね提示されている。こうした処理の記載および表現は、典型的には、彼らの作業の実体を他の当業者に最も効果的に伝えるために、当業者により用いられる。数多くの具体的な詳細が、本発明の完全な理解を提供するために明記されている。しかしながら、こうした具体的な詳細なしに本発明を実施することができることは、当業者にとって自明になるだろう。他の例では、周知の方法、手順、コンポーネント、および回路系は、本発明の態様を不必要に不明瞭にすることを避けるために、詳細には記載されていない。
【００１８】
本明細書における「１つの実施形態」または「一実施形態」への言及は、当該実施形態に関連して記載されている特定の特徴、構造、または特性を、本発明の少なくとも１つの実施形態に含めることができることを意味する。本明細書内の様々な箇所における「１つの実施形態では」という句の出現は、必ずしも全て同じ実施形態に言及しておらず、他の実施形態を相互に除く別個のまたは代替の実施形態でもない。さらに、本発明の１つ以上の実施形態を表す工程の流れ図または線図におけるブロックの順序は、任意の特定の順序を固有に示さず、また本発明においていかなる限定も含蓄しない。
【００１９】
本明細書にて用いられる際に、（使用者）入力機器は、使用者が別の機器の機能の一部または全部を対話的に制御することを可能にする制御子または制御機器である。制御機器のいくつかの一般的な例としては、マウス、キーボード、ジョイスティック、接触感知型表面、（Ｗｉｉ  Ｒｅｍｏｔｅ（商標）、またはＰｌａｙＳｔａｔｉｏｎ  Ｍｏｖｅの制御器、およびエアマウス等の）運動制御器、およびテレビジョン制御器が挙げられる。映像カメラおよびマイクロフォン等の受動型感知器も、使用者入力機器の例である。本発明にて用いられる制御機器は、複数の慣性感知器を含む制御器に概ね関係しており、そこで、当該制御器は、当該慣性感知器からの感知器信号、および他の源（例えば、ジョイスティック、行動ボタン、または格子内における指の被検出位置）からの信号を含む制御信号を生成する。
【００２０】
制御器、制御機器、および入力機器は、被制御機器に対する相対的な用語として、本明細書にて相互交換可能に用いられる。このような入力機器の一例としては、最初に映像ゲーム用に設計された（映像ゲーム）制御器、少なくとも１つの慣性感知器を有するスマートフォン（例えば、ｉＰｈｏｎｅ）、および感知器信号を生成する携帯型計算機器が挙げられるが、それらに限定されないことがある。使用者からのいくつかの行動の結果として、被制御機器またはシステムの挙動の変化を引き起こすために、信号が入力機器から被制御機器へ送信される。被制御機器の多くの例がある。いくつかの一般的な例としては、映像ゲーム・システム、テレビジョン、デジタル映像記録器（ＤＶＲ）、ＤＶＤ再生機、映像カセット記録器、個人用コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、家庭用音声システム、携帯電話、スマートフォン、個人用音楽再生機、グラフィックス表示器、および投影グラフィックス・システムの様々な組み合わせが挙げられる。一般的に、こうした被制御機器は、指定された入力機器から信号を受信するか、または、当該入力機器から受信された信号を間接的に処理するモジュール（例えば、ソフトウェア・モジュール）を動作させる。このようなソフトウェア・コンポーネントのいくつかの例としては、アプリケーション、ゲーム、オペレーティング・システム、ドライバ、ファームウェア、カーネル、使用者インターフェース（ＡＰＩ）等が挙げられる。こうしたソフトウェア・コンポーネントは、特定の種類の信号を「傾聴」しかつそれに応答するように構成される。広範には、こうした信号を下記のどちらかとしてカテゴリ化することができる：
【００２１】
１）ある種類の入力機器を表し、いくつかの例としては、
ａ．「マウス様」機器（例えば、コンピュータ・マウス）から生じる「マウス様」信号と、
ｂ．「キーボード様」機器（例えば、遠隔キーボードまたは被表示キーボード）から生じる「キーボード様」信号と、
ｃ．「接触表面様」機器（例えば、接触パッド）から生じる「接触表面様」信号と、
ｄ．「マイクロフォン様」機器から生じる「音声様」信号と、
が挙げられる。
【００２２】
より広範には、こうした機器を種類によりカテゴリ化し、特定の種類の信号を傾聴しかつそれに応答するように設計することができる。このようにして、当該機器が「マウス様」であり、かつその後「マウス様」ボタン押下および位置信号の変化を提供することがそれを通じて示される、（ＵＳＢ  １．１等の）通信プロトコルを実装することにより、トラックボール等の機器をマウスの代わりに用いることができる。
【００２３】
２）より高水準の信号、つまり、特定の種類の制御要求または制御事象を表す信号を表す。いくつかの例としては、
ａ．「次のスライド［要求された］」、
ｂ．「スクロール・アップ［要求された］」、
ｃ．「ズーム・イン［要求された］」、
が挙げられる。
【００２４】
使用者による行動の結果として、被制御機器の挙動の変化を引き起こすために、信号が使用者入力機器から被制御機器へ送信される。一般的に、こうした抽象的な信号は、多種多様の考えられる入力機器を考慮する必要から解放されるアプリケーション・プログラマの都合を考えて提供される。このようにして、（「ドライバ」等の）ソフトウェア・コンポーネントの実装により、新たな（先験的に未知の）カテゴリの入力信号を当該ソフトウェア・コンポーネントにより要求される「被傾聴」信号に提供する、新たな代替の入力機器からの信号を対応付けることが可能である。このようにして、当該提供は、考えられる源から受信された信号を出力し、その後、既存のアプリケーションを制御するために当該信号を用いるソフトウェア・コンポーネントを書きかつインストールするために、オペレーティング・システムの製造者またはＡＰＩの開発者により行われる。
【００２５】
しかしながら、こうした既存のモデルは、いくつかの実用上の必要性を満足のいくように満たさない。アプリケーションは、通常、特定の種類（例えば、「接触表面様」）の信号を「傾聴」するように書かれる。例えば、Ａｎｄｒｏｉｄのオペレーティング・システムの場合では、それのために書かれてきた多くのアプリケーションがある。現在、大多数のＡｎｄｒｏｉｄの機器は、使用者入力の主要な形態として接触画面を用い、アプリケーション（および他のソフトウェア・コンポーネント）は、度々、特に接触表面様信号を「傾聴」するように書かれる。
【００２６】
運動感知型の機器または制御器等の、新たな非「接触表面様」入力機器を用いて、被制御機器の全ての接触表面機能を制御することを望む場合には、克服しなければならない実用上の問題がある。例えば、多くのソフトウェア・コンポーネントは、特に「接触表面様」信号を「傾聴」しかつそれに応答するように書かれる。同様に、「接触表面様」信号を同様に要求（または「傾聴」）する、（オペレーティング・システム、ドライバ、ＡＰＩ等…のような）追加のソフトウェア・コンポーネントにより間接的に生成される「ズーム・イン」または「スクロール・ダウン」の信号等の、より高水準の信号を「傾聴」するようにソフトウェア・コンポーネントを書くことができる。受容可能でかつ要求される入力の種類を、（ａ）その設計、（ｂ）コンパイラの使用を通じる手段、または、（ｃ）１つ以上の追加のソフトウェア・コンポーネント（例えば、ドライバ、オペレーティング・システム、ＡＰＩ）に対するその依存を通じる手段を含む様々な手段により、既存のソフトウェア・コンポーネントに連結することができる。
【００２７】
こうした入力機器は「接触表面様」機器でなく、「接触表面様」信号を容易に提供することもできない。具体的には、１つの実施形態によれば、入力機器内の感知器の何れも、接触表面様信号を直接的または明白に提供しない。従って、接触表面様入力機器に代わるそれらの適用および使用は、容易に実施または想到されない。
【００２８】
本発明の１つの態様は、入力機器からの感知器信号の接触表面様信号への変換に関係している。接触表面様信号は、２Ｄ表面上に２Ｄ座標を表す情報を包含する。１つの実施形態では、入力機器が、グラフィックス表示器上に示されている項目を直接的に照準するために使用者により用いられており、かつ、（例えば、当該機器および当該グラフィックス表示器の主軸の交点である）被照準位置を推定するように構成される。被照準位置のこのような推定は、「ドリフト・フリー」の「ダウン・ザ・バレル」照準と称される。使用者が、（例えば、グラフィックスのマウス・ポインタ、十字線、またはカーソル等の）グラフィックス的フィードバックの必要なく、表示器上の位置および配向と手持ち型機器の配向の位置を直接的に相関させることができるために、このようなドリフト・フリーのダウン・ザ・バレル照準用の信号は「接触表面様」信号の適切な源である。
【００２９】
本発明の目的、恩恵、および利点のいくつかを、下記の例示的な適用において理解することができる。第一に、マウス様機器の場合では、マウス様機器が２Ｄ平面内の線速度の尺度を提供するが、２Ｄ平面上の絶対位置を提供しない際に、マウスは「ダウン・ザ・バレル」照準信号を提供することはできない。加えて、マウスは、「マウス様信号」を傾聴するアプリケーションにより受信される「マウス様信号」を提供する。このような「マウス様信号」の源を、「接触表面様」信号を傾聴するソフトウェアと共に直接的に用いることはできない。さらに、使用者は、グラフィックスフィードバック（例えば、マウス・ポインタ）の使用なしに、マウスの物理的位置をグラフィックス表示器上の位置と確実に相関させることはできない。
【００３０】
第二に、グラフィックスフィードバックの必要性に付言すると、マウス様機器（マウス信号の源を提供する機器）も２Ｄ値の単一ストリームの源である点において異なるものの、多重接触表面は２Ｄ値の多重ストリームを生成することができる。本発明の１つの態様は、多重接触様信号を提供するように本発明において企図されている制御機器の使用である。第三に、エアマウスの場合では、平面上の一点が、角度位置の相対尺度を得るために、ジャイロスコープからの経時的な角度配向信号の統合を通じて決定される。この尺度は、その後２Ｄ平面上の一点に変換される。この手法の欠点は、
ｉ．計算された配向信号が、ある開始配向に対してのみ測定されることと、
ｉｉ．絶対尺度を得るために観測された相対尺度の統合が、経時的に増加する誤差（推定計算誤差として知られている人為結果）を被ることと、
ｉｉｉ．エアマウスの操作の２Ｄ平面が重力依存性であり、例えば、寝椅子上に寄り掛かっていることがある使用者により、その遠近視点を調節するかまたは傾けることができないことと、
である。
【００３１】
入力機器の配向の測定等の初期較正ステップの後に、当該機器がグラフィックス表示器に照準される間に、ダウン・ザ・バレル照準を提供することが初期に可能であることがある。しかしながら、経時的に、上記の欠点が原因で、推定計算誤差（つまり「ドリフト」）の蓄積、または機器感知器の他の制限（例えば、レイリング（「頭打ち」）、検尺誤差、非線形性、または相殺誤差）は、当該機器の計算された配向がその実際の配向と最終的に誤整列していることがあることを意味する。こうした欠点は、ジャイロスコープ・エアマウス機器を、グラフィックスフィードバックの必要なく「ドリフト・フリー」の「ダウン・ザ・バレル照準」を望む適用に不適切にする。１つの実施形態では、入力機器は、固定基準に対する連続的な再較正による制限を克服するように構成される。１つの実施形態では、当該固定基準は電子コンパスである。別の実施形態では、当該固定基準は外部カメラである。さらに、このような運動感知型機器が、「マウス様」信号とは定性的に異なる（例えば、２Ｄ速度）、（数ある属性の中でも、２Ｄ表面上の絶対位置を表す）使用可能な「接触表面様」信号を提供することができることは以前には想到されていない。「接触表面様」信号は、「マウス様」信号により共有されない追加の特性を有する。こうした追加の特性としては、一組の点に沿う経路を追跡することを、順々にそうした点に個別に接触することを区別する能力、ならびに、同時にいくつかの機器上の多数の点に接触する能力（別名、多重接触）が挙げられる。
【００３２】
運動感知型のＷｉｉ  Ｒｅｍｏｔｅの制御器の場合では、不安定な形態のダウン・ザ・バレル照準が実現される。しかしながら、そうするために、当該機器は、グラフィックス表示器の近くの赤外線ＬＥＤの位置を検出する赤外線感知型カメラを包含する。本明細書に記載されているように、本発明の１つの実施形態は、当該表示器において持ち型の機器またはＬＥＤ内でのカメラの使用を必要としない。
【００３３】
運動感知型のＰｌａｙＳｔａｔｉｏｎ  Ｍｏｖｅ（商標）の制御器の場合では、
ｉ．当該機器は、当該機器を局在させるために、当該制御器の端部上の外部に装着されたカメラおよび大きく内部に照明された色付き玉を使用し、かつ、
ｉｉ．当該機器は、接触表面様信号でなく、運動制御器様信号を傾聴しかつそれに応答するソフトウェア・コンポーネント（例えば、映像ゲーム）に、運動制御器様信号を提供する。「接触表面様」信号を主に傾聴するソフトウェア・コンポーネントに、「接触表面様」信号を提供する機器の既知の使用は全くなかった。
【００３４】
Ｚｅｅｍｏｔｅ（商標）等の、ジョイスティックおよびボタンを包含する外部ゲーム制御器の例は、接触画面機器上で動作するソフトウェア・コンポーネントを制御するために既に用いられている。しかしながら、ゲーム制御器機器からの信号は、接触画面信号の代わりには用いられないが、それよりも、ジョイスティック様、ゲーム制御器様、または方向パッド様の信号として供給され、かつ、そうした種類の信号を明示的に傾聴するソフトウェア・コンポーネントの一部によってのみ使用可能である。対照的に、本発明の１つの態様は、接触表面様信号を傾聴するソフトウェア・コンポーネントの機能の全てを制御するために用いることができる、接触表面信号の代替の源を提供する能力である。
【００３５】
本発明の別の態様は、接触表面を交換または増強するためのジョイスティック信号およびボタン信号の変換に関する。接触表面は、一般的にグラフィックス表示器の全面にオーバーレイされる。接触の位置は非常に重要であり、グラフィックス表示器の枠に対する被接触位置の関連付けも同様である。代替の入力機器の場合では、グラフィックス表示器上のどこに行動が起こることになるのか、または起こったのかを示すための、使用者に対する視覚フィードバックが欠落していることがあり、代替の入力機器からの信号を受信し、それをグラフィックスに提示する機器およびアプリケーションの、オペレーティング・システムにおける提供もないことがある。
【００３６】
本発明のさらに別の態様は、表示器上の代替の入力機器の被照準位置のグラフィックス提示である。この態様は、
ａ．（接触表面様信号でなく、マウス様信号の源の視覚化である）マウス様信号からのカーソルのグラフィックス表示器と、
ｂ．（代替の入力機器でなく、実際の接触感知型表面から実際に生じる、接触表面様信号の視覚化である）接触感知型表面の被接触位置のグラフィックス表示器と、
ｃ．（その信号が接触表面様信号を交換するために変換されない機器である）他の種類の運動制御器、ジョイスティック、またはボタンの信号のグラフィックス表示器と、
とは異なる。
【００３７】
どの変換がどの文脈に適用されるべきかという知識なしに、多数の文脈（例えば、家庭用画面、表示画面の設定、ゲーム、オペレーティング・システムの機能等）用の入力として適切に働く、新たな入力機器からの信号の単一変換が全くないことがある。１つのソフトウェア・コンポーネントについては、グラフィックス画面上ボタンの押下を模擬するように特定の位置における表面の接触を模擬する接触表面様信号を引き起こすために、ジョイスティックを用いることを望むことがある。異なるソフトウェア・コンポーネントについては、接触表面の上方行程の信号を模擬する時系列の接触表面様信号の生成により画面上リストのスクローリングを引き起こすように、ジョイスティック信号を変換することができる。どちらの場合でも、一方の場合に対する、他方の場合の文脈における当該信号の送信は、非所望の効果をもたらすことがある。
【００３８】
より広範には、本発明のこの態様は、
１．変換される信号が接触表面様信号でなく、かつ特に代替の入力機器から生じ、接触表面様信号の源でないことがある点と、
２．変換された信号が、接触表面からの信号を増強または交換するために用いられ、その後、接触表面様信号を傾聴するように構成されたソフトウェア・コンポーネントに提供される点と、
３．被制御ソフトウェア・コンポーネントが、構成可能性のためにいかなる既存の準備も有する必要がない点と、
４．いくつかの入力信号が、遠隔に（すなわち、寝椅子上に）位置する、仮想または実際の接触画面機器からのものであり、アプリケーションをそのためにあらかじめ構成することができるあらかじめ定義された接触画面機器内に存在するよりも、遥かに多くの制御自由度を使用者に与えることができる点と、
において、ある種類からの別の種類への変換に関する関連技術とは異なる。
【００３９】
概して言えば、本発明は、既存の電子機器、その被制御機器、異なる形態で入力を取るために前もって構成された動作中のアプリケーション用の入力機器として運動制御器を用いるための技術を記載している。入力機器からの信号は、制御機器とは異なる形態にあることがある。本発明の１つの態様によれば、当該被制御機器は、接触画面からの信号または接触画面様信号に応答するアプリケーションを提供するように設計された。運動制御器からの入力は、その後被制御機器に送信される接触画面様信号、または被制御機器内で実行されるプログラムに変換され、制御機器の挙動を変化させるかまたはそれに応答させる。
【００４０】
ここで図面を参照すると、図１は、本発明の一実施形態による例示的な構成１００を示す。この実施形態における主要なコンポーネントは、制御機器１０１および被制御機器１０２を含む。制御機器１０１は、その中に封入された運動感知器、および、ボタン感知器、ジョイスティック感知器、ＬＥＤ、およびマイクロフォン入力の任意の組み合わせに由来する信号を提供する。こうした信号は、大型表示器１０３および接触表面入力機器１０４を含むいくつかの要素から成ることがある、被制御機器１０２を制御するように解釈される。例示的な制御機器は、専用制御器、スマートフォン、または他の手持ち型計算機器（例えば、ｉＰｈｏｎｅ）であってよい。例示的な被制御機器は、テレビジョン、ゲーム機、またはアプリケーションを制御するために用いられる計算機器（例えば、テレビジョンに接続されるスマートフォンまたはタブレット）であってよい。
【００４１】
１つの実施形態では、制御機器１０１は、運動感知器（図示せず）、および、ここで彼または彼女の居間内に示され、寝椅子１１０上に快適に座っている、使用者１０９により手持ちされることを目的とする本体内に収容される１つ以上のＬＥＤを含む。この目的のために、１つの実施形態では、制御機器１０１は、通信機器および自己内蔵型電源も包含する。この通信機器は、１つの実施形態ではＢｌｕｅｔｏｏｔｈ（登録商標）の無線機器であるが、代替の実施形態では赤外線通信機器または任意の他の形態の無線通信機器に置き換えることができるだろう。１つの実施形態では、再充電可能電池が電源として用いられる。
【００４２】
別の実施形態では、制御機器１０１内にあるカメラおよび運動感知器を考慮して、制御機器１０１上にある１つ以上のＬＥＤまたは他の点光源と共に、制御機器１０１に取り付けられない外部カメラに由来する信号により、制御機器１０１の運動信号を交換または補完することができる。
【００４３】
制御機器１０１は、様々な実施形態を記載する際に、本明細書において相互交換可能に運動制御器と称されることもある。１つの実施形態では、被制御機器１０２は、少なくとも接触感知型入力機器（例えば、接触画面）または接触表面様入力機器信号（例えば、接触表面入力機器１０４）と通信するか、またはそれにより制御されるいくつかのモジュール（例えば、ソフトウェア・コンポーネント）を実行するように構成された電子機器である。接触感知型入力機器の例としては、グラフィックス表示器の全面に抵抗性または容量性の接触パネルが挙げられる。２つの例、接触画面２０１およびタブレット・コンピュータ２０２を有するスマートフォンが、図２Ａおよび図２Ｂにそれぞれ示されている。接触表面様信号は、接触感知型入力機器上における２Ｄ平面の少なくとも被接触位置または被接触点もしくは領域を記述する信号である。
【００４４】
ボタン感知器、キーボードまたはキーパッドの入力、ジョイスティック感知器、カメラまたは映像部の入力、マイクロフォン入力、または運動感知器の任意の組み合わせにより、被制御機器１０２を追加的に制御することができる。１つの実施形態では、被制御機器１０２は、ＨＤＭＩケーブル等のケーブル１０５を用いて表示器１０３に直接的に取り付けられた、少なくとも１つの接触表面入力機器１０４と共に、テレビジョン、コンピュータ監視器、または投影表示機器等の大型表示器１０３を含む。図３に示されている別の実施形態３００では、被制御機器３０２は、表示器１０３と関連し、かつ表示器１０３に有線で接続されるか、またはその中の処理器に連結されたドッキング・ステーション内に配置された接触表面機器３０４を含む。
【００４５】
図４に示されているなお別の代替の実施形態４００では、被制御機器４００は、表示器４０３に物理的に取り付けられたか、またはその中に組み込まれた受信器／送信器４０５との無線通信で表示器４０３と通信する接触表面機器４０４を含む。
【００４６】
図２、３、および４に示されている実施形態のそれぞれでは、映像信号が接触画面機器から表示機器へ送信される。図５に示されている別の実施形態５００では、被制御機器５０２は接触画面を有しないが、依然として接触表面様信号により制御されるようにあらかじめ構成されたアプリケーションを動作させる。この場合では、（接触画面様でない）その信号を、そうしたアプリケーションを制御するために使用可能な接触画面信号に変換することにより、アプリケーションを制御する方法として制御機器を用いることができる。
【００４７】
図６は、入力機器のいくつかの異なる考えられる構成を有する被制御システム６００を示す。被制御システム６０３は、処理ユニットおよびプログラムまたはソフトウェア・モジュールを動作させる性能を有する、２つの機器６０１および６０２を含む。１つまたは複数の処理ユニットは、表示機器、および接触画面入力機器の中で見つかる。入力機器または制御機器は、ウェブカム６０４、テレビジョン埋め込み型カメラ６０５、立体視用の第２のウェブカム６０６、および運動感知型制御器６０７の任意の構成であってよい。
【００４８】
制御機器６０４−６０７からの信号は、被制御システム６０３内で動作するソフトウェア・コンポーネントを制御するために用いられる。当該ソフトウェア・コンポーネントは、特定の種類または識別可能なカテゴリの信号を傾聴するように構成される。例としては、
−接触画面様信号
−ボタン様信号
−音声様信号
−ジョイスティック様信号
−（例えば、グラフィックステキスト入力フィールドに書き込むために用いられる一連の文字、あるいは、キーボードまたは他の同様のテキスト入力フィールドから受信することができるような一連の制御信号等の）テキスト様信号
−例えば、「ホーム・ボタンが押された」という事象を表す信号
−例えば、「スクロール・ダウンが要求された」という要求を表す信号
が挙げられる。
【００４９】
各場合において、信号の源は未知であることがあるが、被制御システム内で動作するソフトウェア・コンポーネントは、特定の種類または識別可能なカテゴリの信号を「傾聴」するか、またはそうでなければそれにより制御されるように構成される。本明細書にて用いられているように、「Ｘ様」である信号は、あたかもその機器が入力機器Ｘにより制御されるが、必ずしも機器Ｘから生じていないかのようにソフトウェア・コンポーネントを動作させる機器の挙動変化を引き起こすソフトウェア・コンポーネントにより受信される信号と称される。
【００５０】
本発明の１つの態様は、
−示されたカテゴリの物理的機器がない場合に、かつ／または、
−示されたカテゴリの物理的機器に加えて、かつ／または、
−示されたカテゴリの物理的機器の代替の機構として、
１つ以上のソフトウェア・コンポーネントを、特定の種類または識別可能な信号カテゴリの信号により制御することを可能にすることである。
【００５１】
一例として、本発明の１つの実施形態では、本発明は、被制御機器上で動作する複数のソフトウェア・コンポーネントの遠隔制御を可能にし、そこで、接触画面が主要な入力源であり、当該ソフトウェア・コンポーネントが当該接触画面または接触表面様信号により制御可能である。
【００５２】
（接触表面様でない）その信号を、そうしたソフトウェア・コンポーネントを制御するために使用可能な接触表面様信号に変換することにより、そうしたソフトウェア・コンポーネントを制御する方法として１つまたは複数の制御機器を用いることができる。
【００５３】
実施に応じて、多種多様の変換が、制御機器から利用可能な入力信号のカテゴリ、および、被制御機器内のソフトウェア・コンポーネントが応答する信号のカテゴリにとって可能かつ適切である。例示的な変換としては、
−制御機器からのジョイスティック信号を、１つまたは複数の「ページアップ」信号に変換すること、
−内容探索のために、制御機器からのマイクロフォン信号をテキスト入力信号に変換すること、
−入力および目標機器の間において、慣性感知器の軸の再対応付けを模擬するように随意の回転を行った（ことによると、もしあれば、被制御機器の慣性からの入力を交換した）後に、制御機器からの慣性信号を慣性様信号に変換すること、
−制御機器からの運動信号を接触表面様信号に変換すること、
−制御機器からの運動信号をボタン様信号に変換すること、
−制御機器からの運動信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号を接触表面様信号に変換すること、
−被制御システム内の様信号を交換するために、ボタン様信号および音声信号を有する１つの機器からの接触パッド信号を変換および増強すること、
−制御機器からのジョイスティック信号を、グラフィックスのオブジェクトまたはリストのスクローリングを要求するソフトウェア信号に変換すること、
−制御機器からのマイクロフォン入力を接触表面様信号に（例えば、「下へ」（口頭）を接触表面の模擬された下方のスワイプに）変換すること、
−制御機器からのマイクロフォン入力をボタン様信号に（例えば、「ホーム」（口頭）をＨＯＭＥ＿ＢＵＴＴＯＮ＿ＰＲＥＳＳＥＤ＿ＳＩＧＮＡＬに）変換すること、
−制御機器からのジョイスティック信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号およびボタン様信号に連帯的に変換すること、
−仮想接触パッドの視点および大きさを修正するために、画像信号を制御信号に変換すること、および、
−画像信号を２Ｄ接触パッド様信号に変換すること、
が挙げられる。
【００５４】
上記の場合の多くにおいて、１つまたは複数の制御機器からの入力信号は、そうでなければ被制御機器を制御するために用いられる指定された接触表面機器からのものであることになるだろう信号を、交換するかまたはその近くにあるように変換される。当該変換は、全ての場合において、ソフトウェア・コンポーネントが存在することがある、他の物理的機器によるその制御を妨げないが、代わりに、１つまたは複数の制御機器によるソフトウェア・コンポーネントの遠隔制御を可能にすることがある。このような代替の制御器を用いる使用者の望みを示す何らかの事象を検出することにより、当該遠隔制御を初期に可能にすることができる。考えられる事象の例としては、
−ケーブル、ドッキング、または制御機器による無線接触による、被制御機器への接続の検出、
−無電または他の無線通信チャンネルによる被制御機器の検出、または、
−被制御機器に連結されたカメラによる使用者の検出、
が挙げられる。
【００５５】
図７は、図１−６に例解されているとおりの被制御機器を制御するために用いることができる、２つの例示的な運動感知型制御器を示す。１つの好適な実施形態では、運動感知器は制御器内で内部に収容され、そのため明示的に示されていない。制御器のそれぞれの外部アフォーダンスは、格子の後ろにあるマイクロフォン７０１、アナログ・ジョイスティック７０２、およびいくつかのボタン７０３を含む。制御器の別の実施形態は、運動制御器の上面に内蔵された接触パッドを有し、使用者が、滑動し、擦り、軽く叩き、または他の接触に基づく入力を提供することを可能にする。このような遠隔接触パッド機器は、手持ち型制御機器の一部として便利である任意の大きさを有し得るだろう。
【００５６】
図８Ａは、被制御機器の上部に位置するウェブカム８０１、カメラの視界の２Ｄ投影を示すウェブカムの視錐台８０２、およびその視錐台８０２内に位置する仮想ウィンドウ８０３を含む入力機器を示す。１つの実施形態では、仮想ウィンドウ８０３は使用者構成可能な空間であり、その中で活動が接触パッド上で起こるかのように扱われる。言い換えれば、仮想ウィンドウ８０３は仮想接触パッドとしての役割を果たしている。１つの実施形態では、（使用者の）手指のうち１本以上が追跡される。１本の手指が伸ばされる際には、画像平面内の追跡された位置が２Ｄ格子上に投影され、結果として生じる変換された信号が接触画面様信号として被制御機器に提示される。このような接触画面様信号は、接触画面入力用にあらかじめ構成された被制御機器上でアプリケーションを制御することができる。当該手指が伸ばされ、かつ仮想ウィンドウ８０３内にある際には、当該手指は仮想接触パッドに押し付けられるかのようである。当該手指が引っ込められるか、または仮想ウィンドウ８０３の外にある際には、当該手指は仮想接触パッドから持ち上げられたかのようである。１つの実施形態では、仮想接触パッド入力が、被制御機器を駆動するために用いられる増強された制御信号を提供するために、運動被制御入力と組み合わされる。この入力方式の組み合わせは、末端使用者からの入力の大範囲の柔軟性を許容する。
【００５７】
手指の代わりに追跡することができるだろう使用者の多くの部分、例えば、手、またはペン、または押下される際にオンであり、かつ押下されない際にオフである、運動被制御機器の先端上にあるＬＥＤがある。この実施形態にとって必須の要素は、被制御機器を駆動するために用いられる制御信号を増強または交換するために用いることができる仮想接触パッドを作成するための、仮想ウィンドウ８０３の形成およびオブジェクトのカメラに基づく追跡である。
【００５８】
図８Ｂは、本質的に、仮想接触パッド枠８０３を作成するために両方の手８０５で「Ｌ」を形成することにより、仮想接触パッドを作成するために用いられる仮想ウィンドウ８０３の大きさおよび視点を、それにより使用者が設定することができる１つの例示的な方法を示す。１つの実施形態では、枠８０３の大きさは、幅および高さの間の固定比率を有する長方形として単純に決定され、仮想ウィンドウ８０３の幅は、使用者の手により形成された「Ｌ」の隅の間にある画像平面内のＸ個の画素における差異に比例するように決定される。その視点は、画像平面内の手９０２の人差し指および親指の相対的長さに比例するように決定される。
【００５９】
別の実施形態では、当該変換は制御機器上で起こり、その出力信号は被制御機器へ直接的に送信される。好適な一実施形態では、当該被制御機器はネットワーク有効テレビジョンであり、インターネット源から受信される映像を受信しかつ示すか、あるいは、ゲームまたは他のネットワーク化アプリケーションを動作させることができる機器である。図１に示されている例示的な実施形態では、接触感知型入力機器１０４の画面の画像が表示器１０３上に示される。その後、使用者１０９は、接触画面機器について対応する２Ｄ位置を指定するために、運動制御器１０１を画面に向ける。こうした位置の選択は、制御機器の「ダウン・ザ・バレル」照準１０６に対応する。
【００６０】
図６に示されている本発明の１つの実施形態では、その被制御システムは、接触画面有効アプリケーションを動作させることができる２つの機器６０１および６０２を含む。運動制御器６０７は、各機器６０１および６０２の位置に照準し、角座標を保存するために初期に用いられる。運動制御器６０７は、１つの機器に照準しかつそれをマスタとして標識付けることができ、それは、そのことが表示器上に表示される内容を駆動することに関与することになることを意味する。それ以降、表示器に照準することに由来する信号は、たとえマスタ機器が照準されるものでないとしても、変換されてマスタ機器に単独で送信されることになる。２つの機器間で往復して情報を共有すること、例えば、静的ファイル、または、例えば、（ゲーム内でのような）飛行においてアクセスおよび修正されているグラフィックス要素を含む、任意の種類のデータを転送することについて、多くの可能性が明白である。被制御システム６０３内の機器の数は２を超えることがあり、１つよりも多くの機器が、表示器６０１の一部を制御することができることは明らかであり、同じく、１つよりも多くの運動制御器が、全体のシステム６０３を制御することに関わることがあることも明らかである。
【００６１】
本発明の１つの実施形態は、運動制御器からの感知器信号を、上記に記載されているように用いられる際に、接触表面様信号に変換するための方法である。そのグラフィックス表示器は、（カーソル等の）画面上要素として「被照準位置」を示す。当該被照準位置は、運動機器からの運動信号の２Ｄ平面上の点への変換による運動機器の運動を辿る。
【００６２】
制御器の運動信号を画面上の位置に変換するためのいくつかの方法がある。１つの実施形態では、本発明者は、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第１２／８３５，７５０号に記載されているようなレイ・キャスティング法を用いる。「ダウン・ザ・バレル」照準を適切に実現するためには、２つの主な種類の情報が必要とされる。第一に、世界枠内にある制御器の正確な絶対配向が得られ、そこで、当該世界枠が地球および磁北の重力場の方向に対して定義される。第二に、表示器に対する制御器の基準枠からの対応付けが定義される。この対応付けは、制御器に関する表示器の相対位置、ならびに世界枠に対する表示器の相対回転を含む。この第２組の情報を、初期の設定較正段階をもって得ることができる。これをするための１つの方法は、同時係属中の米国出願整理番号第１２／８３５，７５０号に記載されており、そこで、使用者は、対応付けを確定するために、制御器で表示画面上の多数の位置を照準する。
【００６３】
１つの実施形態では、当該制御機器は、少なくとも３つの直交加速度計示度、３つの直交ジャイロスコープ示度、および、地球の重力ベクトルに直交する少なくとも１つの測定結果を有するコンパス示度に対応する感知器信号を生成する。制御器が静止している際に、その配向の３つの成分のうち２つを、本出願により参照により組み込まれる、米国特許第７，９５３，２４６号に記載されているような加速度計を用いて、重力ベクトルの方向を測定することにより計算することができる。第３の成分は、重力ベクトルの周りにおける回転であり、コンパスから直接的に測定することができる。その配向のこうした直接的な測定結果は、常に利用可能であることになるとは限らず、そのため、ジャイロスコープ感知器は、経時的に３つの軸のそれぞれの周りにおける角速度の正確な測定結果を提供することが理解される。重力およびコンパスからの推定値の間における経時的な配向の変化を計算するために、こうした速度を積分することができる。ジャイロスコープ示度の累積積分は、ある期間にわたり、ドリフトとして知られる誤差を蓄積することになることが留意される。配向の正確な「ダウン・ザ・バレル」推定値を保つためには、重力およびコンパスから利用可能な直接推定値に向かって戻るように配向を定期的に調節することが必要であることになる。実際には、重力およびコンパス示度は、ジャイロスコープ示度よりも低い精度および多くの雑音を有する傾向があり、その配向のそれらの推定においてより少ない正確性を結果的にもたらすが、経時的に蓄積される誤差つまりドリフトを受けない。配向の最も良好な推定値を得るためには、こうした２つの種類のデータを混合することが必要である。この混合を扱うための単純な方法は、重力およびコンパス推定値に向かって少しずつ動かすことにより、その補正値を積分された配向に平滑化することである。カルマン・フィルタ、および、雑音のある信号をフィルタリングしかつ組み合わせるための他の既知の方法を含む、より複雑な方法が、実施者にとって利用可能である。
【００６４】
代替的には、三軸コンパスが制御機器内に存在している場合に、配向の全ての３つの成分をコンパスから計算することができる。別の実施形態では、少なくとも３つの直交示度を有するコンパスがジャイロスコープの代わりに用いられる。十分に正確なコンパスについては、世界枠内の制御器の配向の直接推定値としてその示度を用いることができる。使用者が照準しようとする際に微小振動するカーソルを経験することを防ぐために、多数の示度の出力を平滑化（平均化）することにより、その配向における誤差を低減することができる。
【００６５】
さらに別の実施形態では、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第１３／１０５，８６３号に記載されているように、表示器に対する定義された関係にある外部カメラ、およびそのカメラに対して可視の制御器上にある光源の使用をもって、制御器に対する表示器の配向および相対位置の両方を連帯的に得てかつ経時的に更新することができる。
【００６６】
制御器の配向および相対位置を所与として、レイ・キャスティングは、制御器にて生じかつ表示器とその配向に沿って整列した光線間の交点を見つける簡単な操作を提供する。１つの実施形態では、より限られた感知器のみが利用可能である際に、相対照準が「ダウン・ザ・バレル」照準の代わりに用いられる。この実施形態では、運動制御器からのジャイロスコープ示度が、被照準位置を生成するために画面上のカーソルの位置における相対変化に直接的に対応付けされ、加速度計、コンパス感知器、ＬＥＤ、または外部カメラを有する必要性を除去する。
【００６７】
図９Ａは、制御が、制御機器９０１を用いてこの制御を可能にするために、どのように本発明の１つの実施形態にて流れるかを明示する。被制御機器９０４は、プログラムまたはソフトウェア・モジュールを動作させる性能を含む。実施に応じて、被制御機器９０４は、被制御機器９０４内、または接触画面入力機器９１０内、またはその両方で見つかることがある、１つまたは複数の処理ユニットを含む。１つの実施形態では、処理ユニットは接触画面入力機器内に位置する。別の実施形態では、被制御機器９０４は、処理ユニットおよびソフトウェア・コンポーネントを包含するテレビジョンである。
【００６８】
図９Ａに示されているように、制御機器９０１からの信号は、被制御機器９０４内で動作するソフトウェア・コンポーネント９０５を制御するために用いられる。ソフトウェア・コンポーネント９０５は、特定の種類または識別可能なカテゴリの信号を傾聴するように構成される。例としては、
−接触画面様信号
−ボタン様信号
−ジョイスティック様信号
−（例えば、グラフィックステキスト入力フィールドに書き込むために用いられる一連の文字、あるいは、キーボードまたは他の同様のテキスト入力フィールドから受信することができるような一連の制御信号等の）テキスト様信号
−例えば、「ホーム・ボタンが押された」という事象を表す信号
−例えば、「スクロール・ダウンが要求された」という要求を表す信号
が挙げられる。
【００６９】
各場合において、信号の源は未知であることがあるが、被制御機器内で動作するソフトウェア・コンポーネント９０５は、特定の種類または識別可能なカテゴリの信号を「傾聴」するか、またはそうでなければそれにより制御されるように構成される。本明細書にて用いられているように、「Ｘ様」である信号は、あたかもその機器が入力機器Ｘにより制御されるが、必ずしも機器Ｘから生じていないかのようにソフトウェア・コンポーネントを動作させる機器の挙動変化を引き起こすソフトウェア・コンポーネントにより受信される信号と称される。
【００７０】
本発明の１つの態様は、
−示されたカテゴリの物理的機器がない場合に、かつ／または、
−示されたカテゴリの物理的機器に加えて、かつ／または、
−示されたカテゴリの物理的機器の代替の機構として、
１つ以上のソフトウェア・コンポーネントを、特定の種類または識別可能な信号カテゴリの信号により制御することを可能にすることである。
【００７１】
一例として、本発明の１つの実施形態では、本発明は、被制御機器９０４上で動作する複数のソフトウェア・コンポーネントの遠隔制御を可能にし、そこで、接触画面機器９１０が主要な入力源であり、ソフトウェア・コンポーネント９０５が接触画面機器９１０またはそこからの接触表面様信号により制御可能である。
【００７２】
１つの実施形態によれば、（接触表面様でない）その信号９０７を、そうしたソフトウェア・コンポーネント９０５を制御するために使用可能な接触表面様信号９０８に変換することにより、ソフトウェア・コンポーネント９０５を制御するために制御機器９０１を用いることができる。当該実施形態では、変換はモジュール９０６（例えば、ソフトウェア・モジュールまたは回路モジュール）により行われ、本明細書において変換器と称され、信号９０７を被制御機器９０４に使用可能にする。
【００７３】
別の実施形態では、変換器９０６が信号に対して追加の変換を行うことができる。変換は、具体的には、被制御機器９０４上で動作するソフトウェア・コンポーネントおよびアプリケーションを制御するために使用可能な種類の出力信号への、（いくつかの実施形態では、外部カメラに部分的に由来する信号を含むが、被制御機器からの信号を依然として要求する）制御機器９０１に直接的または間接的に由来する入力信号に関係している。
【００７４】
実施に応じて、多種多様の変換が、制御機器から利用可能な入力信号のカテゴリ、および、被制御機器内のソフトウェア・コンポーネントが応答する信号のカテゴリにとって可能かつ適切である。例示的な変換としては、
−制御機器からのジョイスティック信号を、１つまたは複数の「ページアップ」信号に変換すること、
−制御機器からのマイクロフォン信号をテキスト入力信号に変換すること、
−入力および目標機器の間において、慣性感知器の軸の再対応付けを模擬するように随意の回転を行った（ことによると、もしあれば、被制御機器の慣性からの入力を交換した）後に、制御機器からの慣性信号を慣性様信号に変換すること、
−制御機器からの運動信号を接触表面様信号に変換すること、
−制御機器からの運動信号をボタン様信号に変換すること、
−制御機器からの運動信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号をジョイスティック様信号に変換すること、
−制御機器からのジョイスティック信号を接触表面様信号に変換すること、
−そうした接触表面様信号が、画面上指向性制御器の接触を模擬する場合、
−異なるジョイスティックの方向が、異なる接触表面の位置の模擬を結果的にもたらす場合、
−その接触表面様信号が、接触表面機器の行程を模擬する一連の接触信号である場合、
−制御機器からのジョイスティック信号を、グラフィックスのオブジェクトまたはリストのスクローリングを要求するソフトウェア信号に変換すること、
−制御機器からのマイクロフォン入力を接触表面様信号に（例えば、「下へ」（口頭）を接触表面の模擬された下方のスワイプに）変換すること、
−制御機器からのマイクロフォン入力をボタン様信号に（例えば、「ホーム」（口頭）をＨＯＭＥ＿ＢＵＴＴＯＮ＿ＰＲＥＳＳＥＤ＿ＳＩＧＮＡＬに）変換すること、
−制御機器からのジョイスティック信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号に連帯的に変換すること、
−制御機器からの運動信号およびボタン信号を、接触表面様信号およびボタン様信号に連帯的に変換すること、
が挙げられる。
【００７５】
上記の場合の多くにおいて、制御機器９０１からの入力信号は被制御機器９０４内で変換される。当該変換は、全ての場合において、他の物理的機器（例えば、接触画面機器９１０）によるソフトウェア・コンポーネントの制御を妨げないが、代わりに、制御機器９０４によるソフトウェア・コンポーネントの遠隔制御を可能にすることがある。このような代替の制御器を用いる使用者の望みを示す何らかの事象を検出することにより、当該遠隔制御を初期に可能にすることができる。考えられる事象の例としては、
−ケーブル、ドッキング、または制御機器による無線接触による、被制御機器への接続の検出、
−無電または他の無線通信チャンネルによる被制御機器の検出、または、
−被制御機器に連結されたカメラによる使用者の検出、
が挙げられる。
【００７６】
別の実施形態では、当該変換は制御機器上で起こり、その出力信号は被制御機器へ直接的に送信される。１つの実施形態によれば、当該被制御機器はネットワーク有効テレビジョンであり、インターネット源から受信される映像を受信しかつ示すか、あるいは、ゲームまたは他のネットワーク化アプリケーションを動作させることができる機器である。図１に示されている実施形態では、接触感知型入力機器１０４の画面の画像が表示器１０３上に示される。その後、使用者１０９は、接触画面機器について対応する２Ｄ位置１０７を指定するために、運動制御器１０１を画面１０３に向ける。こうした位置の選択は、制御機器１０１の「ダウン・ザ・バレル」照準１０６に対応する。
【００７７】
本発明の１つの実施形態は、運動制御器からの感知器信号を、本明細書に記載されているように用いられる際に、接触表面様信号に変換するための方法である。そのグラフィックス表示器は、（カーソル等の）画面上要素として「被照準位置」を示す。当該被照準位置は、運動機器からの運動信号の２Ｄ平面上の点への変換による運動機器の運動を辿る。
【００７８】
制御器の運動信号を画面上の位置に変換するためのいくつかの方法がある。１つの実施形態では、本発明者は、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第１２／８３５，７５０号に記載されているようなレイ・キャスティング法を用いる。「ダウン・ザ・バレル」照準を適切に実現するためには、２つの主な種類の情報が必要とされる。第一に、世界枠内にある制御器の正確な絶対配向が得られ、そこで、当該世界枠が地球および磁北の重力場の方向に対して定義される。第二に、表示器に対する制御器の基準枠からの対応付けが定義される。この対応付けは、制御器に関する表示器の相対位置、ならびに世界枠に対する表示器の相対回転を含む。この第２組の情報を、初期の設定較正段階をもって得ることができる。これをするための１つの方法は、同時係属中の米国出願整理番号第１２／８３５，７５０号に記載されており、そこで、使用者は、対応付けを確定するために、制御器で表示画面上の多数の位置を照準する。
【００７９】
１つの実施形態では、当該制御機器は、少なくとも３つの直交加速度計示度、３つの直交ジャイロスコープ示度、および、地球の重力ベクトルに直交する少なくとも１つの測定結果を有するコンパス示度に対応する感知器信号を生成する。制御器が静止している際に、その配向の３つの成分のうち２つを、本出願により参照により組み込まれる、米国特許第７，９５３，２４６号に記載されているような加速度計を用いて、重力ベクトルの方向を測定することにより計算することができる。第３の成分は、重力ベクトルの周りにおける回転であり、コンパスから直接的に測定することができる。その配向のこうした直接的な測定結果は、常に利用可能であることになるとは限らず、そのため、ジャイロスコープ感知器は、経時的に３つの軸のそれぞれの周りにおける角速度の正確な測定結果を提供することが理解される。重力およびコンパスからの推定値の間における経時的な配向の変化を計算するために、こうした速度を積分することができる。ジャイロスコープ示度の累積積分は、ある期間にわたり、ドリフトとして知られる誤差を蓄積することになることが留意される。配向の正確な「ダウン・ザ・バレル」推定値を保つためには、重力およびコンパスから利用可能な直接推定値に向かって戻るように配向を定期的に調節することが必要であることになる。実際には、重力およびコンパス示度は、ジャイロスコープ示度よりも低い精度および多くの雑音を有する傾向があり、その配向のそれらの推定においてより少ない正確性を結果的にもたらすが、経時的に蓄積される誤差つまりドリフトを受けない。配向の最も良好な推定値を得るためには、こうした２つの種類のデータを混合することが必要である。この混合を扱うための単純な方法は、重力およびコンパス推定値に向かって少しずつ動かすことにより、その補正値を積分された配向に平滑化することである。カルマン・フィルタ、および、雑音のある信号をフィルタリングしかつ組み合わせるための他の既知の方法を含む、より複雑な方法が、実施者にとって利用可能である。
【００８０】
代替的には、三軸コンパスが制御機器内に存在している場合に、配向の全ての３つの成分をコンパスから計算することができる。別の実施形態では、少なくとも３つの直交示度を有するコンパスがジャイロスコープの代わりに用いられる。十分に正確なコンパスについては、世界枠内の制御器の配向の直接推定値としてその示度を用いることができる。使用者が照準しようとする際に微小振動するカーソルを経験することを防ぐために、多数の示度の出力を平滑化（平均化）することにより、その配向における誤差を低減することができる。
【００８１】
さらに別の実施形態では、本出願により参照により組み込まれる、同時係属中の米国出願整理番号第１３／１０５，８６３号に記載されているように、表示器に対する定義された関係にある外部カメラ、およびそのカメラに対して可視の制御器上にある光源の使用をもって、制御器に対する表示器の配向および相対位置の両方を連帯的に得てかつ経時的に更新することができる。
【００８２】
制御器の配向および相対位置を所与として、レイ・キャスティングは、制御器にて生じかつ表示器とその配向に沿って整列した光線間の交点を見つける簡単な操作を提供する。１つの実施形態では、より限られた感知器のみが利用可能である際に、相対照準が「ダウン・ザ・バレル」照準の代わりに用いられる。この実施形態では、運動制御器からのジャイロスコープ示度が、被照準位置を生成するために画面上のカーソルの位置における相対変化に直接的に対応付けされ、加速度計、コンパス感知器、ＬＥＤ、または外部カメラを有する必要性を除去する。
【００８３】
次に、我々は、１つの実施形態により接触表面様信号を生成するために、こうした２Ｄ交点、被照準位置を、制御機器からの他の信号（例えば、行動信号）とどのように組み合わせるかを記載する。
【００８４】
下記に記載されている操作モードの詳細は、それらの応用において制限的ではなく例解的であるように意図されている。ボタンを押さえることが記載されている場合には、トリガを押下すること、あるいは、接触、光、または容量性の感知器を覆うこと等の同様の方法を、代わりに用いることができる。軸の周りにおける回転が記載されている場合には、入力機器を与えられた使用者にとってより快適または自然であるように感じられれば、軸または回転方向の異なる選択を用いることができる。
【００８５】
１つの実施形態では、表示機器上の被照準位置は、接触表面信号を生成する際に、接触表面入力機器上のその対応する位置に戻って対応付けられる。接触画面機器を有しない実施形態については、表示器上の２Ｄ被照準位置が、ソフトウェア・コンポーネント用の接触様信号を生成するために直接的に用いられる。プログラムとの使用者の対話の追加の変換および方法は、下記のいくつかの一部を含む代替の実施形態にて用いられることになる：
【００８６】
ボタンが押さえられる間のグラフィックスオーバーレイおよび解放時の選択：ボタンを押下および押さえることにより、表示器オーバーレイ・ソフトウェア・コンポーネント６０９により生成および表示される、様々なグラフィックス要素（ボタン、リスト、テキスト、ボックス等…）の出現が引き起こされる。ボタンの解放時には、被照準位置にて表される任意のグラフィックス要素がその機能を起動され、グラフィックスオーバーレイが消滅する。
【００８７】
音量制御：制御機器上のボタンを押下および押さえることにより、音量変更モードが入力される。制御器の先端を（上から見て、見下ろす際に）右に回転させることにより、音量が増加する。制御器の先端を（上から見て、見下ろす際に）左に回転させることにより、音量が減少する。
【００８８】
左および右にスクロールする：制御機器上のボタンを押下および押さえることにより、表示されたグラフィックス要素の位置の変化が引き起こされる。運動制御器の先端の水平運動（すなわち、上から見た際の、制御器の先端の左／右運動）により、グラフィックス要素の水平運動が引き起こされる。
【００８９】
上および下にスクロールする：ボタンを押下および押さえることにより、表示されたグラフィックス要素の位置の変化が引き起こされる。運動制御器の先端の垂直運動（すなわち、側面から見た際の、制御器の先端の上／下運動）により、グラフィックス要素の垂直運動が引き起こされる。
【００９０】
身振り制御：使用者が認識可能な種類の運動をする場合に、「ホーム・ボタンを押下する」、「スクロール・アップする」、「変更を保存する」、「取り消す」、または、ソフトウェア・コンポーネントについて前もって定義された同様の認識可能な信号等の、ソフトウェアの事象または要求について対応する模擬信号を生成することができる。
【００９１】
接触に対する身振り制御：使用者が認識可能な種類の運動をする場合に、あらかじめ定義された一連の被照準位置に対応する一連の接触表面信号を生成することができる。アプリケーション、または、使用者による以前の一連の生成された接触信号のどちらかにより、当該一連の位置を定義することができるだろう。例えば、使用者は、上記に詳述されている単一接触法または多重接触法のうち１つを用いて一連の被照準位置を指定し、その後、その一連が一例の運動と同様の運動、またはそれらが提供する一組の運動と関連するように指定することができるだろう。
【００９２】
音声制御：使用者が認識可能な可聴信号を起こす場合に、「ホーム・ボタンを押下する」、「スクロール・アップする」、「変更を保存する」、「取り消す」、または、ソフトウェア・コンポーネントについて前もって定義された同様の認識可能な信号等の、対応する模擬されたソフトウェアの事象または要求の信号を生成することができる。
【００９３】
音声量制御：被制御機器の出力音量を制御するために、使用者からの音声入力の音量を用いる。例えば、その２つのデシベル水準を整合させることを決定することができるだろう。
【００９４】
テキスト入力に対する音声：被制御機器上で動作するソフトウェア・コンポーネントにテキスト入力を提供するか、またはそれを交換するための、制御機器からの音声信号の変換。１つの実施形態では、当該変換が、Ｓｐｅｅｄ  ＡＰＩに対するＧｏｏｇｌｅ  Ａｎｄｒｏｉｄのテキストのように、Ｓｐｅｅｃｈ  ＡＰＩに対する既存のテキストを用いて実施される。
【００９５】
キーボード様入力に対する運動：被制御機器上で動作するソフトウェア・コンポーネントにテキスト入力を提供する接触入力を提供または交換するための、制御機器からの運動制御信号の変換。１つの実施形態では、当該変換は、ボタン信号および運動信号から、画面上キーボード上に示されるキーの選択を模擬する接触表面様信号へのものである。
【００９６】
テキスト入力に対する運動：別の実施形態では、当該変換は、選択された単語の要素を表す画面上記号に被照準位置を通すことによる、ボタン信号および運動信号から、単語の描画を模擬する接触表面様信号へのものである。曖昧性解消法が必要とされる。１つの実施形態では、Ｓｗｙｐｅ等の、既存のソフトウェア・コンポーネントが用いられる。
【００９７】
図９Ｂは、本発明の１つの実施形態による機能ブロック線図を示す。当該実施形態は、制御機器からの信号の、プロファイルに基づく被制御機器上のソフトウェア・コンポーネントを制御するのに適切な信号への変換の動的選択を含み、そこで：
−プロファイルが文脈および変換を含み、
−文脈が、その中で当該変換が適用されるべきである識別可能な状況であり、
−変換が、上記に記載されているとおりである。
【００９８】
プロファイルは、指定された文脈内の変換の動的適用をさらに表す。すなわち、その文脈が適用される場合に、被制御機器から感知器信号を取り、変換を適用し、結果として生じる信号を被制御機器上で動作するソフトウェア・コンポーネントに提供するということである。
【００９９】
当該文脈の例としては、下記のものが挙げられるが、それらに限定されない：
【０１００】
−識別されたグラフィックス使用者インターフェース要素（ウィンドウ、画面、ボックス、ボタン、スライダ等…）の状態
プロファイルの例：
ＩＦ（スクロール・バー要素が現在表示されている）  ＴＨＥＮ  制御機器からのジョイスティック信号を、スクロール・アップまたはスクロール・ダウンを引き起こす接触表面信号に変換する。
【０１０１】
−活動中のソフトウェアの処理
プロファイルの例：
ＩＦ（フォト・ギャラリーのフォト・ビューアー・アプリケーションが動作している）  ＴＨＥＮ  運動感知器信号を、ズーム・インまたはズーム・アウトを引き起こす接触表面信号に変換する。
または、
ＩＦ（フォト・ギャラリーのフォト・ビューアー・アプリケーションが動作している）  ＴＨＥＮ  運動感知器信号を、ズーム・インまたはズーム・アウトを明示的に表す接触高水準信号に変換する。
ＩＦ（何らかのゲームが現在動作している）  ＴＨＥＮ  （制御機器からの運動信号を、被制御機器の模擬運動信号に）変換する。
【０１０２】
−制御機器の検出
プロファイルの例：
ＩＦ（制御機器が検出されかつ任意の他の状態である）  ＴＨＥＮ  前方の押しを表す制御機器のジョイスティック信号を、上方行程を模擬する接触表面信号に変換する。
【０１０３】
制御機器の任意の運動の検出：
プロファイルの例：
ＩＦ（制御機器の運動が検出された）
ＴＨＥＮ（ＡをＢに変換する）
ＩＦ（制御機器の運動が検出されかつ他の文脈が検出された）
ＴＨＥＮ（ＡをＢに変換する）
ＩＦ（テキスト入力用の表示グラフィックス要素が選択される）
ＴＨＥＮ  制御機器からの音声信号をテキスト入力に変換する。
ＩＦ（制御機器が垂直配向にて保持される）
ＴＨＥＮ  制御機器からの音声信号をテキスト入力に変換する。
【０１０４】
１つの実施形態では、プロファイルはプログラミング・コードとして実装され、それを（ことによると、編集ステップおよび結合ステップの後に）、被制御機器または制御機器上で実行することができる。
【０１０５】
その好適な実施形態では、プロファイルはコンピュータ・データとして表され、同様に、容易に、データベースに保存、複製、編集、修正、入力されるか、または電子的に送信される。この場合では、当該プロファイルの機能は、当該プロファイルをロードすることができる追加のソフトウェア・コンポーネント６１１により実行される。
【０１０６】
本発明の１つの実施形態によれば、図１０は、制御機器（例えば、運動感知型機器）が、被制御機器と対話するためにどのように用いられているかという流れ図つまり工程１０００を示し、そこで、当該制御機器からの信号は、当該被制御機器にとって容認可能な信号に対応付けられる。上記に記載されているように、当該対応付けまたは変換をプロファイルに従って行うことができる。実施に応じて、ソフトウェアまたはソフトウェアおよびハードウェアの組み合わせにおいて、工程１０００を実施することができる。
【０１０７】
１００２において、工程１０００は、制御機器（例えば、ｉＰｈｏｎｅ）が被制御機器（例えば、スマートＴＶ）と通信することができるかどうかを確認する。ＷｉＦＩ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または赤外線等の、多くの方法の１つにおいて当該通信を行うことができる。その目的は、制御機器からの信号を被制御機器により受信することができることを保証することである。工程１０００は、制御機器からの信号を被制御機器により受信することができる際に進むことができる。１００４において、制御機器の使用者は制御機器をあちこちに動かす。上記に記載されているように、制御機器は一組の感知器を含み、それらのうち少なくともいくつかは運動信号を生成する慣性感知器である。１００６において、制御機器は、制御機器の配向の測定値等について較正され、一方で、当該機器は被制御機器の表示器に照準される。従って、ダウン・ザ・バレル照準を提供することが初期に可能である。
【０１０８】
感知器信号は変換により変換される。実施に応じて、当該変換を異なる方法で実施することができ、そのいくつかは上記に記載されてきた。当該変換のための機能のうち１つは、感知器信号を（行動信号と共に）、被制御機器がそのために設計される制御信号と実質的に同様に変換することである。例えば、当該被制御機器は、接触画面機器からの制御信号により制御されるか、または接触画面機器からの入力信号を受信するように設計される。感知器信号の一部または全部を、接触画面機器からの制御信号と実質的に同様に変換するように、当該変換を１つの実施形態において設計することができる。結果として、被制御機器を制御するために制御機器を用いることができる。
【０１０９】
表示器にかなり正確に照準するために、表示器の２Ｄ表面上の制御機器の絶対位置が、基準枠に対して（例えば、表示器に対して）１０１０にて計算される。その一方で、制御機器は他の信号を生成することもできる。典型的には、１０１２において命令および入力を受信するように、制御機器を使用者と連動させることができる。当該機器は、行動を起動する１つ以上のキーまたはボタンを含むこともある。従って、制御機器内の感知器からの感知器信号の他に、１０１４において制御機器からのものであることもある行動信号がある。１００８と同様に、当該行動信号は、被制御機器が１０１６において受容することができる行動信号と実質的に同様に変換される。１つの実施形態では、感知器信号および行動信号の両方は、使用者がどのように被制御機器を制御することを望むかに応じて、同時に被制御機器に送信される。１０１０からの照準位置と共に、行動信号は１０１８において被制御機器に挙動変化を引き起こすことができる。
【０１１０】
例えば、使用者は少数の項目を有するメニューをスクロールする必要があり、そこで、当該メニューは被制御機器上に表示される。従って、どの項目が照準されているかを決定するために、表示器上の制御機器の照準位置を決定することが必要である。制御機器上の行動（例えば、クリック）により、制御機器が、被制御機器により受容可能な行動に変換されることになる行動信号を発信する。その決定された位置をもって、被制御機器は、メニュー内のどの項目が選択されており、かつ起動されることになるかを決定するように構成される。
【０１１１】
本発明の上記の記載は、制御機器からの信号の、被制御機器上で動作するソフトウェア・コンポーネントへの変換に注目してきた。ソフトウェア・コンポーネントからの出力を、使用者にそれらを表示する前に追加的に変更することが望ましいことがある。いくつかの被制御機器については、新たな制御器を与えられる使用者経験を改善するために、出力データの追加の情報を用いることができるだろう。グラフィックスデータの追加の変換の例としては、（ボタン、スライダ、またはメニュー等の）追加の表示された制御子を、表示器の未使用部分に加えることが挙げられる。縦表示モードにおけるスマートフォン等の機器から生じるグラフィックスデータについては、出力接触表面信号において用いられる被照準点を生成するために、追加の領域を使用者に提供するために用いることができるテレビジョン画面または監視器等の表示器内に、大きい未使用領域があることがある。加えて、グラフィックス要素を、接触感知型機器の出力から除去し、かつ（主表示器の側面等に対する）新たな構成内に配置するか、または完全に除去するかのどちらかをすることができるだろう。画面の底部に仮想ゲームパッドを有するゲーム・アプリケーションを考慮されたい。入力制御器がジョイスティックを有する場合には、使用者に仮想ジョイパッドを表示する必要性が全くないことがあり、使用者にとってより明瞭な画像を作り、一方で、制御機器の入力ジョイスティック信号を、最初の接触表面機器上の制御子の位置に対応する接触表面信号に対応付けることを依然として可能にする。
【０１１２】
本発明は、好ましくはソフトウェアにおいて実施されるが、ハードウェアまたはハードウェアおよびソフトウェアの組み合わせにおいて実施することもできる。本発明を、コンピュータ可読媒体上のコンピュータ可読コードとして具現することもできる。当該コンピュータ可読媒体は、その後コンピュータ・システムにより読み取ることができるデータを保存することができる任意のデータ記憶機器である。当該コンピュータ可読媒体の例としては、読み取り専用メモリ、ランダム・アクセス・メモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、光学式データ記憶機器、および搬送波が挙げられる。当該コンピュータ可読媒体を、当該コンピュータ可読コードが配布されるように保存および実行されるように、ネットワーク結合型コンピュータ・システムを通じて配布することもできる。
【０１１３】
本発明は、ある程度の具体性をもって十分に詳細に記載されてきた。本実施形態の開示がほんの一例として行われてきたことと、特許請求されているとおりの本発明の精神および範囲から逸脱することなく、部品の配列および組み合わせにおける数多くの変更に頼ることができることとが、当業者に理解される。従って、本発明の範囲は、先の実施形態の記載ではなく、添付の請求の範囲により定義される。
【図１】
2013008365.tif 000003
【図２Ａ】
2013008365.tif 000004
【図２Ｂ】
2013008365.tif 000005
【図３】
2013008365.tif 000006
【図４】
2013008365.tif 000007
【図５】
2013008365.tif 000008
【図６】
2013008365.tif 000009
【図７】
2013008365.tif 000010
【図８Ａ】
2013008365.tif 000011
【図８Ｂ】
2013008365.tif 000012
【図９Ａ】
2013008365.tif 000013
【図９Ｂ】
2013008365.tif 000014
【図１０】
2013008365.tif 000015