(57)【要約】【課題】コンピューティングデバイスとの遠隔ユーザインタフェースを可能にするためのシステムと関連する方法を提供すること。【解決手段】視覚キューを用いてコンピュータとインタフェースをとるシステムと、視覚キューによる動作を行う方法。中央演算処理ユニット(CPU)と、メモリと、データ格納デバイスと、ユーザにより形式化された指令を受信し、解釈し、かつ実行するためのインタフェースと、を有するコンピュータシステム内に、カメラの視覚領域でユーザが入力することが出来るように、カメラが位置付けられている。コンピュータを遠隔動作させるために、ユーザは、カメラの視野内で、予め定められた動き、または一連の動きを行う。カメラは、ユーザの画像を取り込み、かつこの画像をビデオデータストリームにデジタル化する。ビデオプロセッサは、ユーザが、既定された動きを行うことにより視覚キューを入力したことが、このビデオデータストリームにより示されるのをモニタする。視覚キューが認識されると、ビデオプロセッサは、次に、認識されたキューに対応する指令の組を生成する。この指令の組は、次に、コンピュータの指令プロセッサに供給され、実行される。コンピュータの図形表示装置を用いて、カメラが取り込み中のユーザの画像上に指令テンプレートを重ね合せることにより、視覚キューによるインタフェースは、さらに使い易くなる。【選択図】図５
2005502115.tif 000002
【特許請求の範囲】
【請求項１】
視覚キューを用いて遠隔でコンピュータとインタフェースをとることが出来るシステムであって、
- 画像を取り込み、かつ前記取り込まれた画像をビデオデータストリームに変換することが出来るビデオカメラと、
- 前記ビデオカメラと通信状態にあるビデオプロセッサと、
を有し、
前記ビデオプロセッサが、少なくとも一つの視覚キューを認識することが出来、かつ、
視覚キューを認識することに応答して、コンピュータ指令の組を生成し、かつ前記コンピュータ指令の組を実行のために前記コンピュータに提示する、
システム。
【請求項２】
前記ビデオカメラにより取り込まれた画像を選択的に表示するための、図形表示装置用のインタフェースモジュールを介して前記ビデオプロセッサと通信状態にある図形表示デバイスをさらに有する、請求項1に記載のシステム。
【請求項３】
前記ビデオプロセッサが、さらに、前記図形表示デバイス上に表示するための視覚キューの指令テンプレートを生成することが出来る、請求項2に記載のシステム。
【請求項４】
前記システムが、取り込まれた画像を、前記図形表示デバイス上に表示することが出来る、請求項2に記載のシステム。
【請求項５】
前記システムが、さらに、
- 複数のビデオカメラと、
- 当該複数のビデオカメラの各々と通信状態にあり、かつ前記ビデオプロセッサと通信状態にある多重化装置と、
を有し、
前記ビデオプロセッサが、前記多重化装置からの多重化されたビデオデータストリームを処理することが出来る、請求項1に記載のシステム。
【請求項６】
前記ビデオプロセッサが、選択されたカメラにしか対応しないビデオデータを前記ビデオストリーム内に含めるように、前記多重化装置に指示することが出来る、請求項5に記載のシステム。
【請求項７】
視覚キューを用いてコンピュータとインタフェースをとる方法であって、
- ビデオ画像を取り込みかつビデオデータストリームにデジタル化するためのビデオカメラを設けるステップと、
- 前記デジタル化されたビデオデータストリームを受信するための、前記ビデオカメラと通信状態にあるビデオプロセッサを設けるステップと、
- 視覚キューが実行されたことを前記ビデオプロセッサ内で認識するステップと、
- 前記コンピュータに提示するために、前記認識された視覚キューに対応する指令の組を、前記ビデオプロセッサ内で生成するステップと、
を有する方法。
【請求項８】
視覚キューが実行されたことを前記ビデオプロセッサ内で認識する前記ステップが、さらに、
- 前記ビデオプロセッサと通信状態にあるデータベース内に視覚キューの情報を格納するステップと、
- 前記ビデオデータストリームの選択された部分を捕らえるステップと、
- 前記ビデオデータストリームの前記捕えられた選択部分を格納するステップと、
- 前記ビデオデータストリームの前記格納された部分を、前記データベース内に格納されている視覚キュー情報と比較することにより、視覚キューが前記ユーザにより実行されたか否かを決定するステップと、
を有する、視覚キューを用いてコンピュータとインタフェースをとる請求項7に記載の方法。
【請求項９】
ユーザ確認用の問い合わせを生成するステップをさらに有する、視覚キューを用いてコンピュータとインタフェースをとる請求項7に記載の方法。
【請求項１０】
前記コンピュータに提示するための指令の組を前記ビデオプロセッサ内で生成する前記ステップが、ユーザ確認用の問い合わせに対する肯定的応答が受信されるまで完了しない、視覚キューを用いてコンピュータとインタフェースをとる請求項9に記載の方法。
【請求項１１】
前記肯定的応答が、明示的な肯定的応答である、視覚キューを用いてコンピュータとインタフェースをとる請求項10に記載の方法。
【請求項１２】
前記方法が、視覚キューのテンプレートを生成するステップをさらに有する、視覚キューを用いてコンピュータとインタフェースをとる請求項7に記載の方法。
【請求項１３】
前記方法が、前記コンピュータに接続されたモニタ上に前記視覚キューテンプレートを表示するステップをさらに有する、視覚キューを用いてコンピュータとインタフェースをとる請求項7に記載の方法。
【請求項１４】
前記方法が、前記コンピュータに接続されたモニタ上に前記ビデオカメラが取り込み中の画像を表示するステップをさらに有する、視覚キューを用いてコンピュータとインタフェースをとる請求項7に記載の方法。
【請求項１５】
ビデオ画像を取り込み、かつビデオデータストリームにデジタル化するためのビデオカメラを設ける前記ステップが、
- 複数のビデオカメラを設けるステップと、
- 前記複数のビデオカメラからのビデオデータを処理することが出来るビデオプロセッサを設けるステップと、
を含む、視覚キューを用いてコンピュータとインタフェースをとる請求項7に記載の方法。
【請求項１６】
中央演算処理ユニットと、
図形表示デバイスと、
少なくとも一つのビデオカメラと、
を有する、ユーザにより実行された視覚キューを検出することによりコンピュータシステムを遠隔動作させるためのビデオプロセッサであって、
- 当該少なくとも一つのビデオカメラからビデオデータを受信し、
- ビデオデータが視覚キューに対応する情報を含んでいる場合、これを認識し、かつ、
- 視覚キューに対応する指令の組を生成すること、
が可能な、
コンピュータシステムを遠隔動作させるためのユーザにより実行された視覚キューを検出するビデオプロセッサ。
【請求項１７】
前記コンピュータシステムが、
複数のビデオカメラと、
多重化装置と、
を含み、かつ、
当該ビデオプロセッサが、多重化されたビデオデータストリームをモニタすることが出来る、
請求項16に記載のビデオプロセッサ。
【請求項１８】
当該ビデオプロセッサが、認識された視覚キューを受信したビデオカメラがどれなのかを決定することが出来る、請求項17に記載のビデオプロセッサ。
【請求項１９】
当該ビデオプロセッサが、前記多重化デバイスに制御指令を送信することが出来る、請求項18に記載のビデオプロセッサ。
【請求項２０】
当該ビデオプロセッサが、
- 前記ビデオデータから選択されたビデオフレームを予め定められた間隔で捕らえ、
- 前記ビデオデータからの前記捕らえられたビデオフレームを格納し、かつ、
- 前記格納されたビデオフレームを比較することにより、前記ビデオカメラによって取り込まれた画像内に、1つの間隔と別の間隔との間における変化があったか否かを決定する、
ことにより視覚キューを認識する、請求項16に記載のビデオプロセッサ。
【請求項２１】
当該ビデオプロセッサが、さらに、取り込まれた画像内の変化が視覚キューに対応しているか否かを決定することが出来る、請求項20に記載のビデオプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、コンピュータで用いるための遠隔インタフェースデバイスと、より具体的には、ユーザが視覚キューを用いて遠隔でコンピュータとインタフェースをとることを可能にするシステムと方法とに関する。
【背景技術】
【０００２】
コンピュータは、僅か数十年の間に、政府機関と学術機関にしか使用されない精巧かつ大型の電子機械から、ほとんど誰でも何らかの方法で使用することが出来る、大衆化した、小型で、かつ手ごろなデバイスとなった。コンピュータ操作にあまり塾達していない個人でも、今や、最小限の命令を用いて、多くの作業を行うことが出来ることを期待している。コンピュータが大衆化した理由の1つは、今日のコンピュータは、それほど遠い過去のものではない以前の機種よりも、操作がはるかに容易になったためである。
【０００３】
指令（つまり、コンピュータに対する命令）は、元々、相当量の訓練を積まなければ、個人で習得することは非常に困難であったが、今では相対的に容易になった。この容易性の理由の1つは、今では指令が、教育を受けた専門家にしか理解されない、難解で、かつ多くの場合は不可解な省略形と記号との組の記憶されている組ではなく、自然に使用されている言語により類似したものになるように設計されているためである。事実、コンピュータ指令は、単語、記号、または省略形しか用いないものから、所定の動作を行おうと試みているユーザを補助する、画面上における視覚デバイスの操作へと進化してきた。例えば、新たなプロジェクトを開始させたいと望んでいるユーザが、簡単に記憶することが出来る少数のキーストロークを入力するのみで、ユーザを適切な設定手順に導く一連の視覚による照会が示される。換言すれば、ユーザは、もはや、過去のシステムの場合には要求されたであろうほど明確かつ正確である必要はなく、行うべき動作を、このような要求に反応するように予め適切にプログラムされているコンピュータに、自然な方法で容易に知らせることが出来る。
【０００４】
入力デバイス、つまりコンピュータと通信するための電気機械的な手段も、使い易くなった。穿孔カードまたは磁気テープの準備による面倒な作業と、通信用のテレタイプ（商標）用機械の使用は、今や、現代の様々な入力デバイスに置き換えられている。初期のこのようなデバイスの1つが、タイプライタのキーボードの形に作られた一組のキーだったことは、もっともなことである。コンピュータのキーボードにより、ユーザには、アルファベット文字と他の文字を表す記号が付された複数のスイッチが与えられる。個々のキーを、それ単体で、または他のキーと組み合わせて打つと、固有の電気信号がコンピュータのキーボードインタフェース回路に戻され、ここで適切な解釈が行われる。このキーボードデバイスを介して、人間であるユーザは、コンピュータがそれに基づいて作用する指令とデータを入力する。ユーザの命令の結果は、様々な方法で現れるが、もっとも一般的なものは、視覚表示装置上に、指令、命令、またはデータ自体が現れるか、または要求された計算の結果が現れるかの何れかである。
【０００５】
ユーザ入力をより敏速かつ容易にするために、「マウス」と呼ばれるデバイスが開発された。マウスとは、ユーザがこれに加えた運動を、コンピュータのマウスインタフェースが解釈可能な一連の電気信号に変換することが出来る、コンピュータに接続されるデバイスのことである。マウスには、ユーザの図形表示装置（多くの場合、モニタと呼ばれる）上で視覚可能な、矢印のような図形ポインティングデバイスが、ほとんど例外なく結合されている。コンピュータに命令を与えるために、ユーザがマウスの位置を操作するのみで、このマウスはコンピュータに情報を送信し、ポインティングデバイスを視覚表示装置上で動き回らせる。ユーザは、このようにしてポインタが適切な場所に来るまでポインタを操作し、かつ次いで、この場所に配置された指令が、ユーザが活性化させたい指令であることを、コンピュータに知らせる。通常、ユーザはこのことを、ボタンを押すこと（多くの場合「クリック」と呼ばれる）、または場合によって、キーボード上の特定のキーまたはキーの組み合わせを押し下げることにより行うであろう。
【０００６】
コンピュータ上に常駐するソフトウエアプログラムは、マウスとインタフェースをとることが出来るので、コンピュータは、視覚表示装置上のポインティングデバイスの位置座標を適切な指令に翻訳することが出来る。留意すべき点は、マウスが、完全に従来のコンピュータ用キーボードの代わりとなるのではなく、多くの場合、これらのキーボードと併用されることである。今日のほとんどのコンピュータユーザは、マウスとキーボードを組み合わせて使用することに順応している。何れか一方の使用で十分な場合、ほとんどのユーザは、自分達が如何なる場合においても行おうとする特定の動作に最も便利な何れかのデバイスしか使用しないであろう。
【０００７】
他の一般的なユーザインタフェース用のデバイスには、ジョイスティック、ステアリングホイール、およびフットペダルが含まれる。これらは、多くの場合、ユーザの視覚表示装置上を移動する視覚対象物を導くために使用される。これらのデバイスは、飛行機、自動車、または他の車両内に見出される、類似の制御デバイスを模倣したものである。しかしながら、これらのデバイスは、適切なユーザ操作に応答して、様々な視覚対象物を表示装置画面の方々に移動させることが出来るので、これらのデバイスの使用は、車両の動きをシミュレートするコンピュータプログラムに限定されない。
【０００８】
これらのインタフェースデバイスは、従来、ケーブルを介してコンピュータに接続されていたが、ワイヤレス無線接続または赤外線信号により、コンピュータに入力を伝送することも出来る。距離的な制約があるだけでなく、動き回す間に切り離されてしまったり、またはユーザの邪魔となってしまうことがある物理的なワイヤによる制約を受けることがないので、これらのワイヤレスデバイスには、インタフェースデバイスの再配置を可能にする利便性がある。
【０００９】
これらのワイヤレスインタフェースデバイスは、コンピュータの「遠隔」動作、すなわち、物理的に接続されていない動作を、ある意味では可能にするが、基本的には、キーボード、マウス、ジョイスティックなどの従来のコンピュータインタフェース方法に依存したままである。かつ、ユーザが、入力デバイス自体と物理的に接触していなければならないことは、言うまでもない。したがって、多くの場合、従来のインタフェース機器を必要とせずにコンピューティングデバイスと通信する、真に遠隔での方法を用いることが、有利となるであろう。本発明は、正にこのようなシステムと方法を提供する。
【発明の開示】
【課題を解決するための手段】
【００１０】
本発明の目的は、コンピューティングデバイスとの遠隔ユーザインタフェースを可能にするためのシステムと関連する方法とを提供することである。
【００１１】
本発明は、一態様の場合、
画像取り込みデバイスと、
この画像取り込みデバイスに接続された、画像の全てまたは一部をデジタル化してコンピュータに伝送するための画像デジタル化デバイスと、
を含む、コンピュータとインタフェースをとるためのシステムである。このシステムは、さらに、デジタル化された信号をコンピュータに伝送するための物理的接続手段または電磁気的接続手段の何れかを含む。このシステムには、さらに、デジタル化装置から受信したデジタル化された画像を解釈するための、コンピュータ上に常駐するソフトウエアが含まれる。このシステムには、様々な指令と要求の結果をユーザに示すためのビデオ表示装置を含ませても良い。
【００１２】
本発明は、別の態様の場合、
ユーザがアクセス可能な画像取り込みデバイスを設けるステップと、
取り込まれた画像をデジタル化し、かつコンピュータに伝送して解釈させることが出来るように、画像取り込みデバイスとコンピュータとに接続された画像デジタル化デバイスを設けるステップと、
を含む、コンピューティングデバイスとの遠隔インタフェースを可能にする方法である。
【００１３】
上述の内容は、当業者が、以下の発明の詳細な説明をより良く理解することが出来るように、本発明の特徴と技術的な利点とを幾分広く概説したものである。以下、本発明の請求項の主題を形成する、本発明のさらなる特徴と効果を説明する。当業者は、開示されている着想と特定の実施例とを、本発明と同じ目的を実行するための他の構造体を変更または設計するための基礎として、容易に利用することが出来ることを認識すべきである。当業者は、このような同等の構成体が、本発明の、その最も広範な形態における精神と範囲から逸脱しないことも認識すべきである。
【００１４】
本発明を詳細に説明する前に、本特許明細書全体で用いられている特定の語句の定義を説明することが有益かも知れない。「含む」と「有する」という語、およびこれらの派生語は、限定なく含むことを意味する。「または」という用語は包括的であり、および／または、という意味である。「〜に関連付けられる」と「それに関連付けられる」という句、およびこれらの派生語は、〜を含む、〜の中に包含される、〜と相互接続する、〜を包含する、〜の中に包含される、〜に接続する、〜に結合する、〜に伝達可能である、〜と協同する、交互配置する、並置する、〜に近似している、〜に結び付けられている、有する、〜の属性を有する、などを意味することが出来る。かつ、「制御装置」、「プロセッサ」、または「機器」という用語は、少なくとも一つの動作を制御するいかなるデバイス、システム、またはその部分を意味し、このようなデバイスは、ハードウエア内、ファームウェア内、またはソフトウエア内、またはこれらの少なくとも2つを組み合せることにより実施可能である。留意すべき点は、任意の特定の制御装置に関連付けられている機能性を、局所的であろうと遠隔的であろうと、集中化または分散化させることが出来ることである。特に、制御装置は、アプリケーションプログラムおよび／またはオペレーティングシステムプログラムを1つ以上実行する1つ以上のデータプロセッサ、および関連付けられた入出力デバイスとメモリを有することが出来る。特定の語句に対する定義は、本特許明細書全体に渡って適用される。このような定義は、ほとんどの例とは言えなくとも多くの例において、このように定義された語句の以前の使用と将来の使用に適用されることを、当業者は理解すべきである。
【発明を実施するための最良の形態】
【００１５】
次に、本発明と本発明の利点をより完全に理解するために、添付の図面と共に以下の説明を参照する。図中、同様の番号は、同様の対象を示している。
【００１６】
以下に述べる図1〜図6、および本発明の原理を説明するために用いられている本特許明細書内の様々な実施例は、単に例示的なものであり、かつ本発明の範囲を限定するものと解釈すべきではない。以下の例示的な実施例の説明の場合、本発明は、パーソナルコンピュータと、関連する周辺デバイスとに組み込まれたり、またはこれらと併用される。本発明の例示的な実施例を、コンピュータシステムとインタフェースをとるための他の類似のシステム内における使用に合わせて容易に変更することが出来ることを、当業者は認識するであろう。
【００１７】
図1は、本発明の実施例と併用することが出来るようなパーソナルコンピュータ10の図である。コンピュータの筐体12の内部には、とりわけ、中央演算処理ユニット(CPU)と、メモリレジスタと、1つ以上のデータ格納デバイス（図2を参照）とがある。メモリレジスタは、一般的に、コンピュータが現在処理中の動作に関する様々な命令とデータを一時的に格納するための、電子的な格納デバイスである。データ格納デバイスは、コンピュータへのパワーがオフになっている期間を含むより長い期間、データと命令を格納し、かつメモリ内に保存可能な情報よりもはるかに多くの情報を保持するために使用される。図1に示す実施例の場合、データ格納デバイスには、ハードディスク駆動装置（図示せず）と、フロッピー（登録商標）ディスク駆動装置14と、コンパクトディスク駆動装置16とが含まれる。フロッピー（登録商標）ディスク駆動装置14とコンパクトディスク駆動装置16は、取り外し可能な記憶媒体を用いており、これにより、格納容量は無限に増加し、かつコンピュータ10に新たなプログラムとデータを導く1つの方法が提供される。
【００１８】
図1に示すコンピュータ10は、ケーブル21と23の各々を介してコンピュータ10に接続されている、キーボード20とマウス22というユーザ入力デバイスを特徴とする。コンピュータの筐体12の上には、グラフィックス表示画面25を有するモニタ18が配置されていて、ユーザは、このモニタ上で、コンピュータ10が実行中の動作の状態を見ることが出来る。モニタ18の上には、パーソナルコンピュータ10を操作しているユーザを撮すように向けられたビデオカメラ26が配置されている。カメラ26も、ケーブル（図示せず）を介してコンピュータ10に接続されており、かつカメラ26は、ビデオ会議、または単なる映像撮影用のデバイスのような、いかなる数の用途にも使用可能である。本明細書で用いられているカメラとは、視覚画像を取り込み、かつこれを、後の処理のために、ビデオストリームまたは一連のデジタル信号にデジタル化するデバイスのことである。本発明によると、画像取り込みデバイスと画像デジタル化デバイスを、独立した構成要素とすることも出来る。
【００１９】
図1は、パーソナルコンピュータの典型的な構成を示したものであり、本発明を他の種類のコンピュータシステムにも用いることが出来ることに留意されたい。さらに、図1に示すマウス22とキーボード20は、本発明の機能に望ましいものではあるが、必ずしも必要なものではなく、オプションの構成要素である点にも留意すべきである。
【００２０】
同様に、モニタ18とカメラ26は、別の位置に配置しても良く、かつ相互に隣接した状態に配置する必要はない。さらに、ビデオ入力用に利用することが出来るカメラまたは他の画像取り込み用デバイスは、複数あっても良い。本発明に関する多くのアプリケーションの場合、視覚キュー入力システムに関連付けられたビデオ処理ユニットを物理的に独立させても良い点にも留意されたい。この構成は、（より完全に後述する）幾つかのビデオカメラを使用する場合、特に有利なものとなる。
【００２１】
図2は、図1のパーソナルコンピュータ10の選択された構成要素の機能的な相互接続を示す概要図である。CPU 200は、パーソナルコンピュータの中心部であり、かつメモリ205とデータ記憶デバイス210と通信状態にある。CPU 200は、指令（すなわち、CPU 200に適切な形式で送出される命令）を実行することが出来る。しかしながら、いかなる入力デバイスも、CPUが理解可能な電気信号に翻訳されなければならない、それ独自の形式の電気信号を生じる。この作業は、マウスインタフェース222、キーボードインタフェース223、ビデオインタフェース224のようなインタフェースにより達成される。
【００２２】
図形表示装置（モニタ）インタフェース232とプリンタインタフェース234のような出力インタフェースも同様である。（出力インタフェースは、多くの場合、「ドライバ」と呼ばれる。）留意すべき点は、図2に示すこれらの様々なインタフェース構成要素が機能的に示されていることである。すなわち、これらのインタフェース構成要素は、物理的に独立したデバイスである必要はなく、代わりに、異種の入出力デバイスがCPU 200と通信することを可能にするために必要な任意の組み合せのハードウエアとソフトウエアを含んでいる。それ自身のビデオインタフェース224に関連付けられた状態で図示されているビデオプロセッサ240にも、同じことが当てはまる。一実施例においては、ビデオプロセッサ240には、その専用のメモリレジスタとデータ格納装置（図示せず）も含まれる。しかしながら、これらの構成要素を、コンピュータ自身のCPU、メモリ、およびデータ格納装置を単純に共有する適切なソフトウエアとしても良い。ビデオプロセッサ240の機能は、以下に詳述するように、カメラから受信したビデオ入力をモニタし、視覚キューを認識し、かつ指令の組を生成することである。
【００２３】
図3は、複数のカメラによる本発明の実施例による、様々な構成要素の相互接続を示す概略図である。複数のカメラは必要ではないが、特定の用途には好ましい。例えば、広い室内で、ユーザが様々な場所から視覚キューを入力し、かつさらに、所定のコンピュータ動作が完了する前に、その室内の1つの領域から別の領域へ移動することを望む場合さえある。例示した実施例の場合、カメラ26a、26b、26cは、異なる視野からビデオ画像を取り込むことが出来るように配置されている。これらのカメラは、ビデオデータを多重化装置250に伝送し、ここで、このビデオデータは、単一のビデオストリームに結合され、かつビデオプロセッサ240に供給される。別の実施例の場合、ビデオプロセッサ240と多重化装置250は、単一のユニットに結合される。多重化された信号は、ビデオ会議のような他の用途にも利用することが出来る点に留意されたい。
【００２４】
何れの実施例の場合においても、ビデオプロセッサ240は、視覚キューが複数のカメラの何れにより受信されても、これらのカメラからのビデオ入力をモニタすることが出来る。ビデオプロセッサ240が、適切な場合には、カメラ26a、26b、26cからの信号の組み合わせ比率を多重化装置250に調整させることが出来るように、ビデオプロセッサ240に、認識された視覚キューの出所を決定する機能を行わせても良い。他の一実施例の場合、各ビデオカメラがビデオプロセッサ240に画像を順番に送信することが出来るように、各ビデオカメラには、同期化が可能なタイミング機能が含まれている。この場合、ビデオストリームを多重化することは全く不可能である。最後に、複数のカメラの接続方法は多数あり、かつ図3の実施例は単なる一例に過ぎないことに留意されたい。
【００２５】
図4は、本発明の実施例による表示画面25の見本を表す図である。好ましい一実施例の場合、（図1に示されるモニタ18上にも現れる）画面25は、カメラ26により取り込まれている画像40を表示する。この画像40は、連続的に表示させても良いし、または視覚キューシステムが活性化している場合にしか現れないようにしても良い。図3に表すような複数のカメラによるシステムの場合、ビデオプロセッサが、様々なカメラの内の1つにより視覚キューが入力されていることを知覚するまで、これらのカメラにより取り込まれた画像を画面で循環させても良い。取り込まれた画像40には、ビデオプロセッサ240（図4には図示せず）により生成されたテンプレート45が重ね合わせられる。テンプレート45には、ユーザが視覚キューを正確に実行し易くする視覚要素46a、46b、46cが含まれている。ユーザは、例えば、画面を見ながら、手が、テンプレート45の視覚要素の位置に来るまで手を移動させる。テンプレート40は、本発明を実施するためには必須ではないが、これにより、より洗練された視覚キューを便利に使用することが、可能になる。テンプレート45は、当然、コンピュータ動作が進行するにつれて適切に変化するであろうし、かつ好ましい実施例の場合、各個人ユーザに合わせてカスタマイズさせても良い。
【００２６】
図5は、コンピュータを遠隔動作させるための、本発明の方法の一実施例を示す流れ図である。開始50においては、本発明を実施するために利用される上述したハードウエアとソフトウエアは、すでにインストールされている。換言すると、パーソナルコンピュータまたは他のコンピューティングデバイスは、本発明の視覚キューによる遠隔動作が行えるように構成されている。
【００２７】
ステップ52で、インタフェースが活性化される。すなわち、ユーザ入力の受信準備が整う。インタフェースを、継続的に活性化された状態のままにすることを可能にすることが望ましい場合もあれば、選択的に活性化させる方が望ましい場合（例えば、疑似入力に対する機会が多い場合）もあることに留意されたい。前者の例の場合、コンピュータが起動状態にあれば、このインタフェースをいつでも活性化することが出来る。後者の例の場合、キーボードまたはマウスの操作、または認識可能な音声指令などの、他の利用可能な任意のインタフェースデバイスを用いることによって、活性化させることが出来る。しかしながら、使用されるデバイスが何であろうとも、システムが一度活性化されると、視覚キューを用いた遠隔動作の準備が整う。
【００２８】
勿論、このようなキューが入力されるまでに暫く時間がかかる場合もあるが、システムが一度活性化されると、システム（すなわち、ビデオプロセッサ240）へのビデオ入力は、始動信号が受信される（ステップ56）まで、連続的にモニタされる（ステップ54）。この始動信号は、ユーザによって実行される場合、ビデオプロセッサ240によってベースラインデータベース内に格納されているビデオ信号にマッチングしていると思われるビデオ信号となる、予め定められた視覚キューである。ビデオカメラは、ビデオ入力の受信とデジタル化を連続的に行うので、視覚キューを、変動する背景の運動、陰などから確実に区別出来るように、視覚キューの定義付けは十分に行わなければならない。システムを始動させるためには、例えば、ビデオカメラの視界内で手を速く振ることをユーザに要求しても良い。
【００２９】
ステップ56で一度始動が行われると、インタフェースシステムは、コンピュータが処理する指令内に形成されるべき一つ以上の（追加的な）視覚キューを受信する状態になる。好ましい一実施例の場合、一度始動が起こると、システムにより、視覚キューのテンプレートが、コンピュータの図形表示デバイス上に現れる（ステップ58）。このテンプレートは、多種多様に設計出来るが、ユーザには、表示画面上の領域が明確に示されているように見える必要がある（例えば、図4の例示的なテンプレート40を参照）。このテンプレートは、カメラが写している画像上に重ね合わせられる。このようにして、ユーザは、例えば、手が画面上の「電子メール」と称されるグラフィカルユーザインタフェースを覆った状態に見えるように、カメラの前の所定位置に手を置くことにより、適切な視覚キューをより容易に実行することが出来る。
【００３０】
このテンプレートの使用は有利であるが、ユーザが、表示装置画面上のどの場所に手を置くべきかを明確に知っている場合は、これは不要となることに留意されたい。これに代わる一実施例の場合、ユーザは、手を保持するのみで良く、例えば、この結果、手は、表示装置画面上の右上端に見える。この実施例の場合、テンプレートが自動的に現れることはないが、例えば、カメラの位置決めまたはインタフェースの較正を行っているユーザ、または視覚キューを正確に実行することが困難なユーザが、テンプレートを呼び出すことができるようにしておくことが好ましい。
【００３１】
同様に、始動ステップ56は、必須としなくても良い。例えば、ユーザは、表示装置画面が見える場所に位置しないが、カメラの前に座っている間、通常手を右側に置くことにより、コンピュータに特定の機能を行わせるようにしても良い。これは、例えば、同一の図形表示デバイスが、コンピュータ用モニタと、動画表示装置画面との両方に用いられる場合、有効な場合がある。表示装置から2〜3メートル離れて腰掛けているユーザは、これらの2つの機能を表示装置で交互に切り換えることが出来る。または、ユーザは、左または右の向きを示すような視覚キューによって、移動中のフィギャまたは参照点が、表示装置画面上のどの方向を「見る」またはどの方向に向くべきかを指示しても良い。しかしながら、この場合も、始動は独立したステップではないので、システムが視覚キューを受信するできる状態にあることを確認したいと望むユーザが利用することが出来る、機構（例えば、「作動可能(ready light)」指示器）を有することが好ましい。
【００３２】
視覚キューとは、手を振ること、手を特定の箇所に静止状態で保持すること、またはカメラの見える所にただ立っているような、カメラが画像として取り込むことが出来る、予め定められた任意のユーザ行為のことである。ユーザが実行可能な視覚キューにより、コンピュータがこれ以外の態様で実行することが出来るいかなる機能も、開始、停止、または実行させることが出来る。視覚キューによるインタフェースを用いて、例えば、インタフェースシステムをオン・オフすることによって、インタフェースシステム自体を動作させたりまたは調整することにより、カメラの照準の再設定（カメラの照準の遠隔設定が可能な場合）、または視覚キューのテンプレートの変更（利用可能な視覚キューのテンプレートが1つ以上ある場合）を行っても良い。視覚キューによるインタフェースが、他の入力インタフェース、特に、音声認識のような、離れた場所からの操作も可能な入力インタフェースと併用される可能性が最も高いであろう。
【００３３】
ビデオプロセッサは、ビデオプロセッサが認識する視覚キューに対応するビデオ信号を受信すると（ステップ62）、明示的なユーザ確認が必要か否かを決定する（ステップ64）。この必要か否かの設定は、ユーザがシステムをカスタム化する際に行わせても良いし、または非活性化のような特定の指令に対する、初期設定により行うものとしても良い。例えば、「電子メールを検索する」に対応する取り込まれた画像領域内に手を保持するユーザは、この指令を実行することが望まれる場合、ビデオ表示装置、または（予め録音または合成された）音声による問い合わせの何れかにより、肯定的に応答することを求められる。この時点で、ユーザは、手信号、または利用可能な入力デバイスに対応した他の適切な方法を用いて、応答することが出来る。（図示しない）別の実施例の場合、暗示的確認のみで十分であるとしても良い。すなわち、ユーザには、要求された指令が実行されることが何らかの方法で通知されるが、視覚キューによってまたは「いいえ」と言うのみで指令を取り消す機会が与えられる。この指令を規定時間内に取り消さないことは、暗示的確認と見なされる。
【００３４】
確認が受信された場合（ステップ68）、または確認が不要な場合、ビデオプロセッサは、認識された視覚キューに対応する指令の組を生成する（ステップ70）。指令の組とは、単純に、CPUの指令プロセッサが理解することが出来る、所望のコンピュータ動作を実行させるための1つ以上の命令の組のことである。指令の組は、ユーザが視覚キューによって要求した動作を行うために必要なものとして、単一の指令または幾つかの指令の集合（「マクロ」と称される場合もある）としても良い。指令の組は、生成後直ちに、CPUによる実行を可能にさせ、次いで、CPUが通常この指令の組を処理することが好ましい。いかなるエラーメッセージも、通常通りにユーザに返信され、また、実行されている動作に適切なさらなるデータまたは命令に対するいかなる要求も、同様に返信されるであろう。好ましい一実施例の場合、CPUは、指令が実行済みであること、またはCPUがより多くの情報またはさらなる命令を必要としていることを、ビデオプロセッサに通知するであろう。
【００３５】
ビデオプロセッサが、ステップ72で、指令の組の実行が済んでいないことを決定した場合、処理は、さらなる入力を受信するためにステップ62に戻る。指令の組が適切に実行されている場合、ビデオプロセッサは、次に、非活性化することが適切か否かを決定する（ステップ74）。適切でない場合、処理はステップ54に戻り、かつさらなる入力のためにビデオストリームをモニタし続ける。他方、非活性化に対する要求が、ユーザにより明確に行われたり、または特定の動作後には非活性化させると言う初期設定により行われた場合、システムは、再び活性化されるまで動作を停止させる（ステップ76）。留意すべき点は、決定ステップ74に予め定めた遅延時間を含め、この遅延時間の間に、ユーザが明示的に非活性化命令を入力したり、または、システムがユーザに決定を行うよう問い合わせたり、または、ユーザが別の視覚キューを単に入力することにより、否定的な決定が行われるようにしても良いことである。
【００３６】
視覚キューによるインタフェースの活性化と非活性化が、定期的に行われるか否か、またはコンピュータシステムを特定の目的のために設計するか否かは、主にユーザの選択の問題である。実際には、ほとんどの時間起動されているシステムもあれば、必要なときにしか起動されないシステムもある。この点に関して留意すべき点は、本発明は始動のためにビデオ入力を必要とするので、この処理の開始時にコンピュータシステムの電源が入れられていることも通常必要になることである。1つの例外は、ビデオプロセッサが、主要なコンピュータユニットの外部に独立したデバイスとして設けられている場合である。この例では、本発明の視覚キューによりインタフェースが活性化される（このステップは図示せず）と、コンピュータの電源を投入するための機構を、ビデオ処理ユニット内に含めることが望ましい。
【００３７】
図6は、本発明の一実施例による視覚キューを認識するための方法を示す流れ図である。図6は、大体、図5で概説した方法に従っているが、特に、ビデオプロセッサ240の認識ステップ（図5のステップ52）に焦点を当てている点に留意されたい。図6の開始100では、ビデオキューシステムが動作するように、適切なハードウエアとソフトウエアがインストール済みであることが、ここでも、仮定されている。しかしながら、認識を可能にするためには、視覚キューのベースライン情報を、システムデータベース上にロードしなければならない（ステップ102）。この情報は、システムにより認識される様々な視覚キューと、各視覚キューが関連付けられたコンピュータ動作とを記述したデータから構成されている。視覚キューにより動作するソフトウエア内には、基本的なベースライン情報が存在していても良いが、ユーザが、自分達の特定の必要事項に合わせてこれらのキューをカスタマイズすることが出来ることが、一般的に好ましい。さらに、視覚キューがそれに対して実行される背景が、一貫して存在する場合、システムが疑似入力をより良好にフィルタリングすることを可能にするために、この背景に関する情報をデータベースに加えても良い。
【００３８】
この情報が一度ロードされると、視覚キューによりインタフェースを活性化することが可能になる（（図5にも示されている）ステップ52）。これに応じて、ビデオプロセッサ240は、ビデオ入力を受信する。前述したように、この入力は、一台のカメラ、ビデオ信号を順々に送信する複数のカメラ、または複数のカメラからの入力をそれ自体で受信する多重化装置からのものとすることが出来る。ビデオプロセッサは、ビデオストリームを受信すると（ステップ104）、ビデオのフレームを捕らえ、かつメモリ内に格納する（ステップ106）。本明細書で用いられているフレームとは、単一の完全な映像、または取り込み中の画像の「スナップショット」に対応する、所定のカメラからのビデオストリームの一部のことである。この場合も、メモリレジスタは、パーソナルコンピュータ10のもの、またはこの目的専用の独立した構成要素のものとすることが出来る。カメラが複数ある環境下の場合、ビデオプロセッサは、モニタされている各カメラに対してこの処理を繰り返すことにより、各フレームの出所であるカメラの識別が可能になるように、各フレームを格納する。予め定められた期間後、さらなるフレームが捕らえられ、かつ格納される（ステップ108）。次に、これらの格納されたフレームが比較され、第一フレームから第二フレームへの著しいレベルの変化を観察することが出来るか否かが判断される（ステップ110）。観察されない場合、変化が示されるまで、この処理はいつまでも繰り返される。しかしながら、留意すべき点は、有限数のフレームしかメモリ内に保持出来ないので、予め設定された限界値に達すると、新たなフレームが捕らえられかつ格納される度に、最も古いフレームが廃棄されることである（このステップは図示せず）。
【００３９】
しかしながら、ステップ110で変化が示された場合には、これらの格納されたフレームをデータベース内のベースライン情報と比較することにより、視覚キューが入力済みまたは入力中であるか否かが判断される（ステップ112）。入力済みまたは入力中でない場合、処理はステップ108に戻り、ここで、さらなるフレームが、捕らえられ、格納され、かつ予め得られたフレームと比較される。潜在的な視覚キューが入力中であると識別された場合、処理は、これに代えて、確認ステップ114へ進む。このステップは、図5のステップ64から始まると説明した確認処理とは異なるもので、かつこの確認処理の前に行われることが好ましい。本明細書の場合、ステップ114における確認とは、可能性のある視覚キューの識別後に、さらなるビデオフレームを捕らえ、かつ比較する処理のことである。これらのさらなる比較結果を用いることにより、視覚キューの誤指示が、フィルタリング除去される。視覚キューを認識するために、キューの位置を静的（静止）状態で1〜3秒間のような予め定められた期間のみ保持してから、動的な（動きのある）キューを所定の期間、特定の回数のみ繰り返すことを、ユーザに要求することが好ましい。ビデオプロセッサは、最初はこれらのキューに注目するかも知れないが、要求通りに保持または繰り返されなかったキューは、確認ステップにより拒絶されるであろう。したがって、確認ステップ114では、短く、ほとんど検知されない遅延が生じるであろう。次に、ビデオプロセッサは、確認ステップ114で得られた結果に基づいて、視覚キューを認識するかまたは拒絶するかを決定する（ステップ116）。拒絶する場合、例示した実施例の場合、続いて、（そのカメラからのフレームが）メモリから消去され、かつステップ104で再び処理が始まる。ステップ116で視覚キューが認識された場合、図5の処理が継続され、ステップ64が始まる。
【００４０】
ビデオフレームが各カメラから順々に捕らえられ、かつ、勿論、フレームを比較するステップが、この特定のカメラからの他のフレームとの関係で実行される点を除き、上述の処理と同じ処理は、複数のカメラによる実施例にも適用することが出来ることに留意されたい。さらに、潜在的な視覚キューが識別された場合（図6のステップ112）、ビデオプロセッサ240は、他のカメラからの入力を一時的に保留するか、または様々な入力の結合のさせ方を調整することにより、元のカメラからの入力を含める割合を増加させるように、多重化装置250に命令させても良い。
【００４１】
本発明を、特定の実施例に関して詳述して来たが、当業者は、本発明の考え方と範囲から逸脱することのないその最も広い形態において、本発明を様々に変更させ、代替物によって変更し、改変し、および適合化することが出来ることを理解すべきである。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施例により構成可能なパーソナルコンピュータシステムの典型的なものを示す。
【図２】本発明の実施例による図1のパーソナルコンピュータシステムの選択された構成要素間の相互接続を示す概要図である。
【図３】複数のカメラによる本発明の実施例によって構成された様々な選択された構成要素間の相互接続を示す概要図である。
【図４】本発明の実施例によるテンプレートを表示している表示装置画面の見本を表す図である。
【図５】本発明の一実施例による視覚キューを用いてコンピュータを動作させるための方法を示す流れ図である。
【図６】本発明の一実施例によって視覚キューを認識するための方法を示す流れ図である。
【符号の説明】
【００４３】
10…コンピュータ
12…コンピュータの筐体
14…フロッピー（登録商標）ディスク駆動装置
16…コンパクトディスク駆動装置
18…モニタ
20…キーボード
21…ケーブル
22…マウス
23…ケーブル
25…グラフィックス表示画面
26…ビデオカメラ
40…ビデオカメラが取り込み中の画像
45…テンプレート
46…視覚要素
50…開始
52…インタフェースが活性化されるステップ
54…システムへのビデオ入力が連続的にモニタされ続けるステップ
56…始動信号が受信されるステップ
58…視覚キューのテンプレートがコンピュータの図形表示デバイス上に現れるステップ
62…ビデオプロセッサが認識する視覚キューに対応するビデオ信号を受信するステップ
64…明示的なユーザ確認が必要か否かを決定するステップ
66…確認を要求するステップ
68…確認が受信されるステップ
70…認識された視覚キューに対応する指令の組を生成するステップ
72…指令の組の実行が済んでいることを決定するステップ
74…非活性化が適切か否かを決定するステップ
76…再活性化されるまで動作を停止させるステップ
100…開始
102…視覚キューのベースライン情報をシステムデータベース上にロードするステップ
104…ビデオストリームを受信するステップ
106…ビデオのフレームを捕らえかつメモリ内に格納するステップ
108…さらなるフレームが捕らえられかつ格納されるステップ
110…第一フレームから第二フレームへの著しい水準変化を観察することが出来るか否かが判断されるステップ
112…視覚キューが入力済みまたは入力中か否かが判断されるステップ
114…短くほとんど重要ではない遅延が生じる確認ステップ
116…視覚キューを認識するかまたは拒絶するかを決定するステップ
118…メモリを消去するステップ
200…中央演算処理ユニット
205…メモリ
210…データ記憶デバイス
222…マウスインタフェース
223…キーボードインタフェース
224…ビデオインタフェース
232…図形表示装置（モニタ）インタフェース
234…プリンタインタフェース
240…ビデオプロセッサ
250…多重化装置
【図１】
2005502115.tif 000003
【図２】
2005502115.tif 000004
【図３】
2005502115.tif 000005
【図４】
2005502115.tif 000006
【図５】
2005502115.tif 000007
【図６】
2005502115.tif 000008
【国際公開パンフレット】
2005502115.tif 000009
2005502115.tif 000010
2005502115.tif 000011
2005502115.tif 000012
2005502115.tif 000013
2005502115.tif 000014
2005502115.tif 000015
2005502115.tif 000016
2005502115.tif 000017
2005502115.tif 000018
2005502115.tif 000019
2005502115.tif 000020
2005502115.tif 000021
2005502115.tif 000022
2005502115.tif 000023
2005502115.tif 000024
2005502115.tif 000025
2005502115.tif 000026
2005502115.tif 000027
2005502115.tif 000028
2005502115.tif 000029
2005502115.tif 000030
2005502115.tif 000031
【国際公開パンフレット（コレクトバージョン）】
2005502115.tif 000032
【国際調査報告】
2005502115.tif 000033
2005502115.tif 000034
2005502115.tif 000035