(57)【要約】オペレータによって制御されるコンピュータなどのデバイス（１）に入力信号を提供する装置は、制御されるデバイスへのインターフェースの仮想イメージ（２）を生成する手段（３）と、オペレータによって動かされる操作部（４）の位置を検出する手段（５）と、操作部（４）の仮想イメージ（８）を生成する手段（６、７、３）と備え、操作部（４）の移動に伴う操作部のイメージ（８）の移動が、デバイスに入力信号を提供するインターフェース・イメージ（２）と相互作用する。入力信号を提供する方法も開示されている。検出する手段（５）は、好適に立体イメージ・ジェネレータを備え、仮想イメージを生成する手段は、仮想環境プロセッサ（３）を含む。操作部を、都合のよい位置に保持することができるということから、この装置および方法の利点は、使用の容易さにある。
2004523811.tif 000002
【特許請求の範囲】
【請求項１】
オペレータによって制御されるデバイス（１）に入力信号を提供する装置であって、該装置は、
制御されるデバイスへのインターフェースの仮想イメージ（２）を生成する手段（３）と、
オペレータによって動かされる操作部（４）の位置を検出する手段（５）と、
操作部の仮想イメージ（８）を生成する手段（６、７、３）と、
を備え、
操作部（４）の移動に伴う操作部のイメージ（８）の移動が、デバイスに入力信号を提供するインターフェース・イメージ（２）と相互作用するように構成されている、装置。
【請求項２】
請求項１に記載の装置において、
インターフェースの仮想イメージを生成する前記手段が、仮想環境プロセッサ手段（３）を備える、装置。
【請求項３】
請求項１又は請求項２に記載の装置において、
前記操作部（４）が、オペレータの手を含む、装置。
【請求項４】
請求項１又は請求項２に記載の装置において、
前記操作部（４）が、オペレータの手または他の身体部分に保持されるように構成された、スタイラスまたはポインターなどのツールを備える、装置。
【請求項５】
請求項１〜請求項４の何れか１項に記載の装置において、
操作部の位置を検出する前記手段が、立体イメージ・ジェネレータ（５）を備える、装置。
【請求項６】
請求項５に記載の装置において、
前記立体イメージ・ジェネレータ（５）が、既知の光学特性又は計算可能な光学特性を有する一対のピンホール・カメラを備える、装置。
【請求項７】
請求項５又は請求項６に記載の装置において、
操作部の仮想イメージを生成する前記手段が、立体データを処理するために、立体的な一対のイメージからのデータが渡されるイメージ準備手段（６）を含む、装置。
【請求項８】
請求項７に記載の装置において、
操作部の仮想イメージを生成する前記手段が、立体データを使用して操作部（４）の３次元座標を示す信号を生成するために、イメージ準備手段（６）からのデータが渡される信号ジェネレータ（７）を含む、装置。
【請求項９】
請求項８に記載の装置において、
前記仮想環境プロセッサ手段（３）が、操作部（４）の仮想イメージ（８）の生成を完成させるために、信号ジェネレータ（７）から３次元座標信号を受け取る、装置。
【請求項１０】
請求項９に記載の装置において、
前記仮想環境プロセッサ手段（３）が、ユーザのために、インターフェースのイメージ（２）を操作部のイメージ（８）と合成する、装置。
【請求項１１】
請求項２〜請求項１０の何れか１項に記載の装置において、
前記仮想環境プロセッサ手段（３）が、操作部イメージ（８）とインターフェース・イメージ（２）との相互作用に従って、デバイスに入力信号を提供する、装置。
【請求項１２】
請求項１〜請求項１０の何れか１項に記載の装置において、該装置はさらに、
アプリケーション・プログラムをデバイス上で動作可能にするアプリケーション・プログラミング・インターフェースを、
含む装置。
【請求項１３】
請求項２〜請求項１２の何れか１項に記載の装置において、
前記仮想環境プロセッサ手段（３）が、モニタ、ＴＶ、またはヘッドアップディスプレイなどの出力ディスプレイに、出力信号を提供する、装置。
【請求項１４】
請求項２〜請求項１２の何れか１項に記載の装置において、
前記仮想環境プロセッサ手段（３）が、外部デバイスを制御するために、出力信号を生成する、装置。
【請求項１５】
オペレータによって制御されるデバイスに入力信号を提供する方法であって、該方法は、
制御されるデバイスへのインターフェースの仮想イメージ（２）を生成するステップと、
オペレータによって動かされる操作部（４）の位置を検出するステップと、
操作部（４）の仮想イメージ（８）を生成するステップと、
操作部（４）の移動に伴う操作部イメージ（８）の移動がインターフェース・イメージ（２）と相互作用するように、操作部の仮想イメージ（８）をインターフェースの仮想イメージ（２）と関係付けるステップと、
操作部イメージとインターフェース・イメージとの相互作用から入力信号をデバイスに提供するステップと、
を含む方法。
【請求項１６】
請求項１５に記載の方法において、
前記インターフェース・イメージ（２）の生成が、仮想環境プロセッサ手段（３）によって実行される、方法。
【請求項１７】
請求項１５または請求項１６に記載の方法において、
操作部の位置の前記検出が、立体イメージ・ジェネレータ（５）によって実行される、方法。
【請求項１８】
請求項１５〜請求項１７の何れか１項に記載の方法において、
操作部イメージ（８）の前記生成が、
イメージ準備手段（６）と、
立体データから操作部の３次元座標を示す信号を生成する信号ジェネレータ（７）と、
３次元座標を使用する仮想環境プロセッサ手段（３）と、
によるデータ処理によって、実行される方法。
【請求項１９】
請求項１５〜請求項１８の何れか１項に記載の方法において、
操作部イメージをインターフェース・イメージに関係付ける前記ステップが、仮想環境プロセッサ手段（３）によって実行される、方法。
【請求項２０】
請求項１５〜請求項１９の何れか１項に記載の方法において、
デバイスへの入力信号の生成前記が、仮想環境プロセッサ手段（３）によって実行される、方法。
【請求項２１】
請求項１５〜請求項２０の何れか１項に記載の方法において、
前記仮想環境プロセッサ手段（３）が、外部デバイスからの信号またはプログラムをインターフェース・イメージ（２）で操作することができるように、これらを受け取る、方法。
【請求項２２】
請求項１５〜請求項２１の何れか１項に記載の方法において、
前記仮想環境プロセッサ手段（３）が、出力ディスプレイ用の出力信号、または外部デバイスを制御するための出力信号を提供する、方法。
【請求項２３】
オペレータによって制御されるデバイス（１）に入力信号を提供する装置において、該装置は、
制御されるデバイスの入力デバイスに応答して、制御空間でオペレータによって動かされる操作部（４）の位置を光学的に検出する手段（５）を備え、
制御空間の操作部（４）の移動が、出力デバイス（２０）上に表示され、かつそのデバイスに入力信号が提供され、
操作部の位置を検出する前記手段が、立体イメージ・ジェネレータ（５）を備えることを特徴とする装置。
【請求項２４】
請求項２３に記載の装置において、
前記操作部（４）が、オペレータの手を含む、装置。
【請求項２５】
請求項２３に記載の装置において、
前記操作部（４）が、オペレータの手または他の身体部分に保持されるように構成された、スタイラスまたはポインターなどのツールを備える、装置。
【請求項２６】
請求項２３〜請求項２５の何れか１項に記載の装置において、
前記立体イメージ・ジェネレータ（５）が、周知の光学特性又は計算可能な光学特性を有する一対のピンホール・カメラを備える、装置。
【請求項２７】
請求項２３〜請求項２６の何れか１項に記載の装置において、
立体的な一対のイメージからのデータが、立体データを処理するために、イメージ準備手段（６）に渡される、装置。
【請求項２８】
請求項２７に記載の装置において、
前記イメージ準備手段（６）が、立体データを使用して操作部（４）の３次元座標を示す信号を生成する信号ジェネレータ（７）にデータを渡す、装置。
【請求項２９】
請求項２８に記載の装置において、
信号ジェネレータ（７）からの信号が、制御されるデバイスに入力信号を提供する、装置。
【請求項３０】
請求項２３〜請求項２８の何れか１項に記載の装置において、
制御空間の操作部（４）の移動が、デバイスに直接的に入力信号を提供する、装置。
【請求項３１】
請求項２３〜請求項３０の何れか１項に記載の装置において、
前記立体イメージ・ジェネレータ（５）、前記イメージ準備手段（６）および前記信号ジェネレータ（７）が、制御されるデバイスとは分離して、単一ユニット（２１）内で結合されている、装置。
【請求項３２】
請求項３１に記載の装置において、
前記入力信号が、電線（２２）あるいは赤外線または他の適切な無線プロトコルによって、制御されるデバイスに、ユニット（２１）から中継される、装置。
【請求項３３】
請求項２３〜請求項３０の何れか１項に記載の装置において、
前記立体イメージ・ジェネレータ（５）、前記イメージ準備手段（６）および前記信号ジェネレータ（７）が、制御されるデバイス内に、組み込まれている、装置。
【請求項３４】
オペレータによって制御されるデバイスに入力信号を提供する方法であって、該方法は、
制御されるデバイスの入力デバイスに対応する制御空間を規定するステップと、
制御空間における、オペレータによって動かされる操作部（４）の位置を、立体イメージ・ジェネレータ（５）の手段によって光学的に検出するステップと、
制御空間での操作部（４）の移動からデバイスに入力信号を提供するステップと、
制御空間での操作部（４）の移動を、制御されるデバイスの出力デバイス（２０）上に表示するステップと、
を含む方法。
【請求項３５】
請求項３４に記載の方法において、
入力信号を提供する前記ステップが、
イメージ準備手段（５）と、
立体データから操作部の３次元座標を示す信号を生成する信号ジェネレータ（６）と、
によってデータ処理することによって、実行される、方法。
【請求項３６】
請求項３４又は請求項３５に記載の方法において、
出力デバイス上に操作部（４）の移動を表示する前記ステップが、表示画面上のカーソルの移動として、実行される、方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、オペレータによって制御されるデバイスに入力信号を提供する装置、及びその入力信号を提供する方法に関する。
【０００２】
【発明の背景】
デバイス（例えば、パーソナル・コンピュータ、その他の電子デバイスなど）への入力信号は、通常、オペレータが入力デバイス（例えば、キーボード、マウス、タッチスクリーン等）に触れることによって、提供される。コンピュータは、一般に、出力が表示されるモニタまたは他のディスプレイを有する。モニタは、場合によって、入力信号も提供するタッチスクリーンとして、使用することができる。通常、パーソナル・コンピュータ用のモニタ及び入力デバイスは、大きな空間を占める。また、身体障害者であるユーザが標準的な入力デバイスを操作することは、困難な場合もある。入力デバイスとして、ホログラフィック（ｈｏｌｏｇｒａｐｈｉｃ）・イメージを提供することも提案されている。そのオペレータは、入力信号を提供するためにイメージにタッチし、そのタッチは、光学的に検出される。このことによって、物理的なキーボードまたはマウスの必要性は、解消されるが、イメージが実際にいつタッチされたかをオペレータが知ることは、困難な場合がある。
【０００３】
ＧＢ−Ａ−２  ３４５  ５３８（英国特許出願公報第３４５，５３８号）は、ユーザの手または他の身体部分を追跡するビデオカメラの使用を開示している。手の位置および向きは、コンピュータによって分析され、そのコンピュータを制御するために、使用される。完全な制御のために、３次元における手の位置を正確に検出すること可能にすることが、重要である。しかし、ビデオカメラでこれを行うことは困難である。なぜならば、カメラに向かう僅かな移動とカメラから遠ざかる僅かな移動とを精密に検出することは、困難であることが既に判明しているからである。
【０００４】
【発明の概要】
（第１の態様）
本発明の第１の態様によれば、オペレータによって制御されるデバイスに入力信号を提供する装置は、制御されるデバイスへのインターフェースの仮想イメージを生成する手段と、オペレータによって動かされる操作部の位置を検出する手段と、操作部の仮想イメージを生成する手段とを備え、操作部の移動に伴う操作部のイメージの移動が、デバイスに入力信号を提供するインターフェース・イメージと相互作用するように構成されている。
【０００５】
したがって、本発明の第１の態様において、デバイス・インターフェースは、仮想イメージとして提供されており、操作部自体ではなく、操作部の仮想イメージが、入力信号を提供するために、インターフェース・イメージと相互作用する。このインターフェース・イメージは、モニタ・ディスプレイを含むことができ、また可能ならばキーボードまたは他の入力デバイスを含むことができる。これにより、モニタと入力デバイスとを物理的に提供する必要はない。この装置は、オペレータが物理的にイメージにタッチする必要はなく、その代わりに、オペレータは操作部の仮想イメージを操作するので、使用しやすい。すなわち、オペレータは、操作部を、使用の際に都合のよい位置に保持することができるということである。これによって、操作部が、全範囲の入力信号を容易に提供するように使用する可能であるため、本発明は、障害のあるユーザにとって、特に、適したものとなっている。
【０００６】
好ましくは、インターフェースの仮想イメージを生成する手段は、仮想環境プロセッサ手段を備える。これは、ハードウェアまたはソフトウェアあるいはその組み合わせとして、デバイスに組み込むことができる。この仮想イメージは、３次元イメージである。
【０００７】
操作部は、オペレータの手、又は適切なツール（例えば、オペレータの手またはオペレータの他の身体部分に、保持されるように構成されたスタイラス（ｓｔｙｌｕｓ）またはポインターなど）を備えることができる。スタイラスは、障害を持ったユーザにとって、特に適している場合がある。
【０００８】
操作部の位置を検出する手段は、立体イメージ・ジェネレータを備えている。これによって、操作部の位置を検出する特に正確な方法が提供される。立体イメージを獲得するいかなる周知の手段も、使用することができる。好ましい手段は、既知の光学特性又は算出可能な光学特性を持つ、一対のピンホール・カメラを備える。
【０００９】
好ましくは、立体的な一対のイメージからのデータは、操作部の仮想イメージを生成する手段の一部を構成するイメージ準備手段に、渡される。イメージ準備手段は、ハードウェアまたはソフトウェアとして、実行することができる。イメージ準備手段は、操作部の仮想イメージを生成する手段の次の部分に対してさらに有用になるように、立体データを処理する。
【００１０】
好ましい操作部の仮想イメージを生成する手段は、立体データを使用して操作部の３次元座標を示す信号を生成する信号ジェネレータを含む。信号ジェネレータは、立体データから３次元座標を決定する外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）機能を、便宜的に使用する。この外挿機能は、ハードウェアまたはソフトウェアによって、実行することができる。
【００１１】
３次元座標信号は、操作部の仮想イメージの生成を完成させるために、仮想環境プロセッサ手段に渡される。仮想環境プロセッサ手段は、ユーザ用のインターフェース・イメージを、操作部のイメージと合成する。また、仮想環境プロセッサ手段は、操作部イメージとインターフェース・イメージとの相互作用に従って、デバイスに入力信号を提供する。仮想環境プロセッサ手段は、事実上、デバイスに対するオペレーティング・システムとして、動作することができる。
【００１２】
仮想環境プロセッサ手段は、任意の要求された入力デバイス（例えば、（任意の所与の言語による）キーボード、ジョイスティック、マウスまたは遠隔制御キーパッドなど）の仮想イメージを、生成し操作することができる。
【００１３】
この場合、デバイスは、他のアプリケーション・プログラムが仮想環境プロセッサ手段で動作することができるように、アプリケーション・プログラミング・インターフェースを含む。例えば、標準型ワードプロセッシングまたはデータベースアプリケーションを、仮想環境プロセッサ手段によって、実行することができる。
【００１４】
また、仮想環境プロセッサ手段は、出力ディスプレイ（例えば、モニタ、ＴＶ、またはヘッドアップディスプレイなど）に、出力信号を提供することもできる。さらに、仮想環境プロセッサ手段は、外部デバイス（例えば、ビデオレコーダなど）を制御するために、出力信号を生成することもできる。これによって、外部デバイス用の物理的な遠隔制御装置に対する必要性は、解消される。
【００１５】
（第２の態様）
本発明の第２の態様によれば、オペレータによって制御されるデバイスに入力信号を提供する方法は、
制御されるデバイスへのインターフェースの仮想イメージを生成するステップと、
オペレータによって動かされる操作部の位置を検出するステップと、
操作部の仮想イメージを生成するステップと、
操作部の移動に伴う操作部イメージの移動が、インターフェース・イメージと相互作用するように、操作部の仮想イメージをインターフェースの仮想イメージと関係付けるステップと、
操作部イメージとインターフェース・イメージとの相互作用から入力信号をデバイスに提供するステップと、を含む。
【００１６】
前述のように、この方法は、ハードウェアではなく仮想イメージを使用することによって、入力信号を生成する方法を提供するものであり、その使用は、容易である。
【００１７】
好ましくは、インターフェース・イメージの生成は、仮想環境プロセッサ手段によって、実行される。仮想環境プロセッサ手段は、インターフェース（例えば、モニタ・ディスプレイ、可能ならば入力デバイス（例えば、キーボード）など）の３次元イメージを生成する。
【００１８】
好ましくは、操作部の位置の検出は、立体イメージ・ジェネレータによって、実行される。立体イメージ・ジェネレータは、操作部の正確な位置の計算を可能にする立体データを生成する。
【００１９】
そのデータは、操作部イメージの生成の第１の部分として、イメージ準備手段によって、処理することができる。この生成の次の部分は、立体データから操作部の３次元座標を示す信号を生成する信号ジェネレータと、３次元座標を使用する仮想環境プロセッサ手段とによって、実行される。
【００２０】
また、操作部イメージをインターフェース・イメージに関係付けるステップは、デバイスへの入力信号の生成として、仮想環境プロセッサ手段によって、実行される。
【００２１】
仮想環境プロセッサ手段は、外部デバイスからの信号又はプログラムが、インターフェース・イメージ内で操作され得るように、これらを受け入れることができる。仮想環境プロセッサ手段は、ディスプレイ用の出力信号、または外部デバイスを制御する出力信号を、提供することもできる。
【００２２】
（第３の態様）
本発明の第３の態様によれば、オペレータによって制御されるデバイスに入力信号を提供する装置は、制御されるデバイスの入力デバイスに応答して、制御空間でオペレータによって動かされる操作部の位置を光学的に検出する手段を備え、制御空間の操作部の移動が、出力デバイス上に表示され、かつそのデバイスに入力信号が提供される。操作部の位置を検出する手段は、立体イメージ・ジェネレータを備える。
【００２３】
したがって、制御空間の操作部の移動は、入力信号を提供するのと同様に、出力ディスプレイ上にも表示され、その移動が制御されるデバイスによってどのように解釈されているかに関して、オペレータにフィードバックが提供される。したがって、この装置は、オペレータが物理的にイメージにタッチすることを必要とせず、その代わりに、オペレータは制御空間で操作部を単に移動し、その移動がどのように解釈されたかを見る（または感知する）ことができるので、使用し易い。すなわち、オペレータは、使用するのに都合のよい位置に操作部を保持することができるということである。これによって、入力信号の全範囲を容易に提供するように、操作部を使用することができるので、本発明は、障害を持ったユーザにとって、特に適している。さらに、従来型の入力デバイスは、操作部がこれに取って替わるので、必要なくなる。立体イメージ・ジェネレータは、３次元での操作部の位置を検出する特に正確な方法を提供し、デバイスを制御する操作部を使用することを可能にする。
【００２４】
操作部は、オペレータの手、または適切なツール（例えば、オペレータの手または他の身体部分で、保持するように構成されたスタイラスまたはポインターなど）を備えることができる。スタイラスは、障害のあるユーザにとって、特に適切な場合がある。
【００２５】
好ましくは、立体イメージ・ジェネレータは、既知の光学特性あるいは計算可能な光学特性を持つ、一対のピンホール・カメラを備える。
好ましくは、立体的な一対のイメージからのデータは、立体データを処理するイメージ準備手段に、渡される。イメージ準備手段は、ハードウェアまたはソフトウェアによって、実行することができる。
【００２６】
イメージ準備手段は、データを信号ジェネレータに渡し、信号ジェネレータは、立体データを使用して操作部の３次元座標を示す信号を生成する。信号ジェネレータは、立体データから３次元座標を決定するために外挿機能を、便宜的に使用する。外挿機能は、ハードウェアまたはソフトウェアによって実行することができる。次いで、信号ジェネレータからの信号は、制御されるデバイスに入力信号を提供する。
【００２７】
最も単純な形態において、制御空間での操作部の移動は、デバイスに直接的に入力信号を提供する。次いで、操作部は、パーソナル・コンピュータのマウスのように、或いは、デジタル・テレビジョン受信機またはＤＶＤプレーヤの遠隔制御のように、動作する。その移動は、カーソルの移動として、またはディスプレイとして、あるいは任意の他の適切な方法で、画面等の出力ディスプレイ上に表示される。
【００２８】
次いで、立体イメージ・ジェネレータと、イメージ準備手段と、信号ジェネレータとは、制御されるデバイスとは分離して、単一ユニット内に、便宜的に結合することができる。入力信号は、任意の適切な手段（例えば、電線あるいは赤外線または他の適切な無線プロトコルなど）によって、制御されるデバイスに、そのユニットから中継される。
【００２９】
別法として、立体イメージ・ジェネレータと、イメージ準備手段と、信号ジェネレータとは、制御されるデバイスに、組み込むことができる。
出力ディスプレイは、視覚的であることが好ましく、また実在のもの（モニタまたはテレビジョンの画面）であってよい。
【００３０】
装置またはデバイスは、アプリケーション・プログラムがデバイス上で動作することを可能にするアプリケーション・プログラミング・インターフェースを含むことができる。例えば、制御されているデバイスが、デジタル・テレビジョン受信機の場合、装置は、、Ｍｉｃｒｏｓｏｆｔの「ｐａｉｎｔ」プログラムと類似の方法で、画面上に絵を描くためにオペレータに操作部を使用させることを可能にする、パーソナル・コンピュータ上で使用されるプログラムを含むことができる。
【００３１】
（第４の態様）
本発明の第４の態様によれば、オペレータによって制御されるデバイスに入力信号を提供する方法は、
制御されるデバイスの入力デバイスに対応する制御空間を規定するステップと、
制御空間における、オペレータによって動かされる操作部の位置を、立体イメージ・ジェネレータの手段によって、光学的に検出するステップと、
制御空間での操作部の移動から、デバイスに入力信号を提供するステップと、
制御空間での操作部の移動を、制御されるデバイスの出力デバイス上に表示するステップと、を含む。
【００３２】
前述のように、この方法は、物理的な入力デバイスを使用するのではなく、立体イメージ・ジェネレータによる制御空間での操作部の移動を光学的に検出することによって、入力信号を生成する方法を提供するものであり、この方法は、使用が容易である。立体イメージ・ジェネレータは、操作部の正確な位置を計算可能にする立体データを作る。
【００３３】
入力信号を提供することは、イメージ準備手段と信号ジェネレータとによるデータ処理によって、実行される。このとき、この信号ジェネレータ立体データから操作部の３次元座標を示す信号を生成する。
【００３４】
好ましくは、出力デバイス上で操作部の移動を表示することは、表示画面上のカーソルの移動として、実行される。
【００３５】
【発明の実施形態】
本発明の様々な態様の実施形態が、添付の図面で例として示される。
図１は、オペレータ（図示せず）からコンピュータ１に入力信号を提供するための装置の図面を示している。装置の大部分は、現実に、そのコンピュータの処理装置に組み込まれている。
【００３６】
装置は、コンピュータ１へのインターフェースに関する３次元仮想イメージ２を生成する手段を含み、コンピュータ１は、コンピュータ１の処理装置の一部を構成する仮想環境プロセッサ３を備える。また、この装置は、オペレータによって動かされる操作部４の位置を検出する手段も有し、立体イメージ・ジェネレータ５を備える。操作部４は、図示するように、スタイラス（ｓｔｙｌｕｓ）を含むが、これは、オペレータの片手または両手であっても同様によい。この装置はさらに、操作部４の仮想イメージを生成する手段を含み、この手段は、イメージ準備手段６と、信号生成手段７と、仮想環境プロセッサ３とを備える。イメージ準備手段６および信号生成手段７は、ハードウェア、ソフトウェアまたは組み合わせであってよい。ここでは両方とも、コンピュータ処理装置に組み込まれているが、それらは、コンピュータ処理装置から分離してもよい。イメージ準備手段６は、立体イメージ・ジェネレータ５からのデータを処理し、その処理したデータを信号生成手段７に渡し、そこで、そのデータは、仮想環境プロセッサ３によって使用される３次元座標に外挿され、操作部４の仮想イメージ８が、生成される。また、仮想環境プロセッサ３は、操作部イメージ８をインターフェース・イメージ２と合成し、コンピュータ１に入力信号を提供するために、これら２つのイメージ８および２の相互作用を処理する。図２は、合成されたイメージを示し、操作部４がオペレータの両手を備えている。
【００３７】
また、装置は、仮想環境プロセッサ３と相互作用するアプリケーション・プログラミング・インターフェース９と、これもまた環境プロセッサ３と相互作用する外部デバイス１１と、を含む。以下で詳述するように、これらは、任意選択の機能である。
【００３８】
仮想環境プロセッサ３は、ハードウェアとソフトウェアとの組み合わせであり、記載の実施態様において、実際に、コンピュータ１の主要なオペレーティング・システムとして、動作する。仮想環境プロセッサ３は、遠近法効果のある３次元環境として、図２に示すように、ディスプレイ（例えば、画面（スクリーン）など）の仮想イメージを生成する。また、仮想環境プロセッサ３は、任意の標準タイプの物理的な入力デバイス（例えば、キーボード、マウス、ジョイスティックまたは他のキーパッドなど）の仮想イメージでも生成することができる。
【００３９】
操作部４の仮想イメージによる入力デバイスの仮想イメージまたは仮想ディスプレイの要素の操作は、仮想環境プロセッサ３によって検出され、次いで、この仮想環境プロセッサ３は、要求された操作を実行するように、コンピュータ１に信号で伝える。
【００４０】
立体イメージ・ジェネレータ５は、任意の既知のタイプであってもよく、オペレータの手の高さとほぼ同じ高さに、配置される。通常、イメージ・ジェネレータ５は、広角であり、既知の距離ｄ（測定または計算することができる）だけ離れた、既知の焦点特性を有する一対のレンズを有する。これらのレンズは、一対の立体イメージ１０を生じさせ、その一対のイメージは、イメージ準備手段６に渡され、データが、処理される。立体イメージ・ジェネレータは、一般的に、上記のように立体ピンホール・カメラであるが、２つのピンホールを有する単一レンズを使用することもできることが理解されよう。
【００４１】
イメージ準備手段６は、その一対の一方の立体イメージ上の各点に対して他方のイメージ上の対応する点を見つけるステップと、それらの点の差を計算するステップとによって、対応する機能を実行する。イメージ準備手段６は、立体イメージの各対に対して差異マップを構築し、信号生成手段７に渡される立体データを構成する。
【００４２】
信号生成手段７は、差異マップと、レンズの焦点距離と、立体設定の幾何学的配置（すなわちレンズの相対的位置及び向き）とを使用して、立体イメージ対のすべての点に関する３次元デカルト座標（ｘ，ｙ，ｚ）を計算する。次いで、これらの座標は、操作部４の仮想イメージの生成を完成させるために、仮想環境プロセッサ３に渡される。
【００４３】
アプリケーション・プログラミング・インターフェース９は、コンピュータ・オペレーティング・システムとして動作する仮想環境プロセッサ３と、相互作用する。インターフェース９は、標準的なアプリケーション・プログラム（例えば、ワードプロセッシング、データベース、スプレッドシートまたは電子メールパッケージなど）が、仮想イメージ８および２を使用して操作可能になるように、それらのプログラムを仮想環境プロセッサ３で実行され得るようにする。
【００４４】
ビデオレコーダなどの外部デバイス１１は、仮想環境プロセッサ３から、操作することもできる。したがって、ビデオレコーダの遠隔制御キーパッドが、仮想環境プロセッサ３によって仮想イメージとして、作成される場合、操作部のイメージ８によるキーパッドの操作において、プロセッサ３は、ビデオレコーダを操作するために、適切な出力信号を生成する。装置を使用する前に、オペレータの手および／または任意の他の操作部４に対してシステムを較正することが、通常、要求されることになる。この較正を支援するために、標準的なスタイラスを、使用することができる。この較正は、色、オペレータの手の大きさ、および活動領域の規定に関する較正を含む。
【００４５】
したがって、較正ルーチンは、以下の通りである：
既知の大きさのスタイラスを示し、相対的スケールを決定可能にするステップ；
手のひらをカメラに示し、オペレータの手のひらの色及び輝度を決定可能にするステップ；
手の甲の色と輝度のために、手を裏返すステップ。手のひらと甲とに関する値が、所定の範囲から外れている場合、システムは、正確に動作せず、操作を続行するために、照明条件を変更するか又は手袋をはめる必要がある；
オペレータの手の移動の規定を試みる際に装置が最初に考慮する１次起動指を規定するステップ；
１次起動指を使用して宙に浮いた矩形を描き、活動領域を規定するステップ。システムは、この領域内での動作にのみ反応し、コンピュータ１を操作することを意図しない他の移動は、装置に対するコマンドとして、その装置によって認識されることがない。
【００４６】
較正が完了すると、仮想環境プロセッサ３は、仮想イメージ２および８をオペレータに提示する（図２に示す通り）。手またはスタイラスの移動は、仮想イメージに反映され、したがって、仮想の手とインターフェース・イメージ２内のオブジェクトとの相互作用が、可能になる。
【００４７】
仮想環境プロセッサ３は、相互作用用の入力デバイスに関するイメージを生成することができる。１次起動指を、ポインターとして、また、マウスをクリックするデバイスとして、使用することができるので、手またはスタイラスは、マウスの必要性に取って、代わることができる。実際、手またはスタイラスの動作（例えば、ポインティングしたり、押したり、引いたり等）を、オブジェクト（例えば、ウィンドウ、メニュー等）を選択するために、使用することができる。例えば、図２において、宙に浮いたファイル・メニューは、ポインティングすることによって、選択することができ、このファイル・メニューは、選択を示すために、色を変える。１次起動指を、メニュー上の選択ボタンを押すために、使用することができる。
【００４８】
装置および方法を使用する主な利点は、物理的な入力デバイスが、もはや必要なく、したがって、空間を節約することができる。また、障害を持ったオペレータが使用する際に、障害を持ったオペレータは、仮想イメージ・システムを使用して、障害を持たないユーザによって実行されるすべての機能を再現することができるという利点もある。障害をもったオペレータは、手、足または口に保持したスタイラスを使用して、コンピュータ１を完全にかつ容易に操作することができる。
【００４９】
図３は、オペレータ（図示せず）からデジタル・テレビジョン受信機２０に、入力信号を提供するための装置の変形例を示している。この装置は、仮想環境プロセッサが省略されているように、図１に示した装置を簡略化したバージョンである。なお、対応する参照番号が、対応する部分に適用されている。
【００５０】
図３において、テレビジョン受信機２０は、装置から分離されており、装置は、立体イメージ・ジェネレータ５と、イメージ準備手段６と、信号ジェネレータ７とを備えている。これらはすべて、単一ユニット２１内で結合されて、単一ユニット２１は、電線２２によって受信機２０に接続されている。
【００５１】
図１に示すように、操作部４は、スタイラスを含んでおり、遠隔制御などの入力デバイスに対応する制御空間を移動する。この移動は、前述と同様に、立体イメージ・ジェネレータ５によって検出され、立体データは、イメージ準備手段６によって処理される。信号ジェネレータ７は、立体データを３次元座標に外挿し、それらは、受信機２０に対する入力信号を構成するように処理される。
【００５２】
信号ジェネレータ７は、電線２２を介して、テレビジョン受信機２０に直接的に入力信号を提供するが、代わりに、赤外線または他の無線プロトコルを、使用してもよい。
【００５３】
受信機２０は、遠隔制御入力デバイスが使用されているかのように、テレビジョンの画面上の表示を生成する。移動がどのように解釈されているかをオペレータが見ることができるように、操作部４の移動は、この表示を変化させる。例えば、この表示は、メニューを生成することができるが、そのメニューからの項目は、操作部４の移動によって、ハイライト表示することができ、また、検出器への移動によって、ボタンを「クリック」したかのように、選択することができる。
【００５４】
図１によって、較正ルーチンは、操作をセットアップするために必須である。
また、装置は、テレビジョンの画面上に表示するために、操作部によって操作されるアプリケーション・プログラムも含むことができる。例えば、このプログラムは、図形を作成するために、オペレータが画面上で（遠隔操作部を使用して）「描画」することを可能にすることができる。
【００５５】
一修正形態（図示せず）において、図３の簡略化された装置は、標準的なマウス入力デバイスに取って替わって操作部４を備え、且つキーボードおよびモニタ・ディスプレイを備える従来型パーソナル・コンピュータに、使用される。その代わりに、オペレータは、１本の指に適切なシンブル（ｔｈｉｍｂｌｅ）を装着し、キーボードを使用していない時に、この指を示して、コンピュータを制御することができる。この場合、装置は、シンブルを装着した指の移動を、マウスの移動として、解釈し、カーソルを移動させ、入力デバイスとして動作させる。このシンブルは、低反射特性の素材でできており、必要に応じて、着色することができる。シンブルをツートン・カラーにして、検出器に対して適切なコントラストを提供してもよい。
【００５６】
この実施形態の利点は、オペレータは、マウスを使用する必要がなく、一本の指を使用して、コンピュータを制御することができる点にある。
【図面の簡単な説明】
【図１】
パーソナル・コンピュータに入力信号を提供する装置を示すブロック図である。
【図２】
入力信号を生成するために使用される仮想イメージを示す図である。
【図３】
デジタル・テレビジョン受信機に入力信号を提供するように、変更された装置を示すブロック図である。
【国際公開パンフレット】
2004523811.tif 000003
2004523811.tif 000004
2004523811.tif 000005
2004523811.tif 000006
2004523811.tif 000007
2004523811.tif 000008
2004523811.tif 000009
2004523811.tif 000010
2004523811.tif 000011
2004523811.tif 000012
2004523811.tif 000013
2004523811.tif 000014
2004523811.tif 000015
2004523811.tif 000016
2004523811.tif 000017
2004523811.tif 000018
2004523811.tif 000019
2004523811.tif 000020
2004523811.tif 000021
2004523811.tif 000022
2004523811.tif 000023
2004523811.tif 000024
2004523811.tif 000025
2004523811.tif 000026
2004523811.tif 000027
【国際公開パンフレット（コレクトバージョン）】
2004523811.tif 000028
2004523811.tif 000029
【国際公開パンフレット（コレクトバージョン）】
2004523811.tif 000030
2004523811.tif 000031
【国際調査報告】
2004523811.tif 000032
2004523811.tif 000033
2004523811.tif 000034