(57)【特許請求の範囲】
【請求項１】
少なくとも１つのリモート・コントロール可能デバイス（１１）のジェスチャー・コントロールのための方法であって、
ジェスチャー・サーバ・デバイス（１）において少なくとも１つのセンサ入力デバイス（９、１１、１４）からの情報を受信するステップと、
前記ジェスチャー・サーバ・デバイス（１）によって、前記少なくとも１つのセンサ入力デバイス（９、１１）からの前記受信された情報内のジェスチャーを検知するステップと、
前記ジェスチャー・サーバ・デバイス（１）によって、前記検知されたジェスチャーに従って前記少なくとも１つのリモート・コントロール可能デバイス（１１）をリモート・コントロールするステップとを含み、
前記ジェスチャー・サーバ・デバイス（１）において少なくとも１つのセンサ入力デバイス（９、１１）からの情報を受信する前記ステップが、前記ジェスチャー・サーバ・デバイス（１）において、前記センサ入力デバイス（９、１１）によって認識されたオブジェクト（１０、１１、１２）に関する情報を受信するステップを含み、
認識されるオブジェクト（１０、１１、１２）に関する定義データを前記ジェスチャー・サーバ・デバイス（１）から前記センサ入力デバイス（９、１１）に提供するさらなるステップを含む方法。
【請求項２】
ジェスチャー・サーバ・デバイス（１）において少なくとも１つのセンサ入力デバイス（９、１１）からの情報を受信する前記ステップが、前記ジェスチャー・サーバ・デバイス（１）において少なくとも１つのビデオ入力デバイス（９）、タッチ・スクリーン・デバイス（１４）、および／またはＲＦＩＤリーダ・デバイスからの情報を受信するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記ジェスチャー・サーバ・デバイス（１）において前記少なくとも１つのリモート・コントロール可能デバイス（１１）を登録するさらなるステップであって、それによって、前記ジェスチャー・サーバ・デバイス（１）が、ジェスチャー・コントロールに関する情報を前記リモート・コントロール可能デバイス（１１）から受信する、さらなるステップ
を含むことを特徴とする、請求項１に記載の方法。
【請求項４】
前記ジェスチャー・サーバ・デバイス（１）において自己識別オブジェクト（１１、１２）を登録するさらなるステップであって、それによって、前記ジェスチャー・サーバ・デバイス（１）が、前記自己識別オブジェクト（１１、１２）を認識するためのオブジェクト定義を前記自己識別オブジェクト（１１、１２）から受信する、さらなるステップ
を含むことを特徴とする、請求項１に記載の方法。
【請求項５】
前記自己識別オブジェクト（１１、１２）が、少なくとも１つのセンサ入力デバイス（９、１１）を含み、
前記ジェスチャー・サーバ・デバイス（１）において自己識別オブジェクト（１１、１２）を登録する前記ステップが、前記自己識別オブジェクト（１１、１２）の前記少なくとも１つのセンサ入力デバイス（９、１１）から前記ジェスチャー・サーバ・デバイス（１）への情報の送信を開始するステップを含む
ことを特徴とする、請求項４に記載の方法。
【請求項６】
前記ジェスチャー・サーバ・デバイス（１）において一般的なジェスチャーを定義するさらなるステップと、
一般的なジェスチャーをオブジェクト（１０、１１、１２）に結合することによって、前記ジェスチャー・サーバ・デバイス（１）においてジェスチャーを定義するさらなるステップと
を含むことを特徴とする、請求項１に記載の方法。
【請求項７】
オブジェクト（１０、１１、１２）および／またはジェスチャーを前記ジェスチャー・サーバ・デバイス（１）向けにトレーニングするさらなるステップと、
前記トレーニングされたオブジェクト（１０、１１、１２）および／またはジェスチャーをリモート・コントロール可能デバイス（１１）のリモート・コントロールに割り振るさらなるステップと
を含むことを特徴とする、請求項１に記載の方法。
【請求項８】
前記ジェスチャー・サーバ・デバイス（１）において、前記少なくとも１つのセンサ入力デバイス（９、１１）からの前記受信された情報内のジェスチャーを検知する前記ステップが、ユーザを識別するステップを含み、
前記ジェスチャー・サーバ・デバイス（１）によって、前記検知されたジェスチャーに従って前記リモート・コントロール可能デバイス（１１）のリモート・コントロールを実行する前記ステップが、前記識別されたユーザに従って前記リモート・コントロール可能デバイス（１１）のリモート・コントロールを認証するステップを含む
ことを特徴とする、請求項１に記載の方法。
【請求項９】
前記ジェスチャー・サーバ・デバイス（１）によって、前記受信された情報内のジェスチャーを検知する前記ステップが、
複数のセンサ入力デバイス（９、１１）の受信された情報を、結合された処理として処理するステップと、
複数のセンサ入力デバイス（９、１１）の前記受信された情報内のジェスチャーを検知するステップと
を含むことを特徴とする、請求項１に記載の方法。
【請求項１０】
少なくとも１つのセンサ入力デバイス（９、１１）からの情報を受信するステップを行うための入力コネクタ（６）と、
前記少なくとも１つのセンサ入力デバイス（９、１１）からの前記受信された情報内のジェスチャーを検知するステップを行うための処理ユニットと、
前記検知されたジェスチャーに従って前記少なくとも１つのリモート・コントロール可能デバイス（１１）をリモート・コントロールするステップを行うための出力コネクタ（６）と
を含むジェスチャー・サーバ・デバイス（１）であって、それによって、
方法請求項１乃至９のいずれか１項による前記方法を実行するように適合されている、ジェスチャー・サーバ・デバイス（１）。
【請求項１１】
前記少なくとも１つのリモート・コントロール可能デバイス（１１）のリモート・コントロールを認証するためのアイデンティティー／承認サーバ（４）を含む
ことを特徴とする、請求項１０に記載のジェスチャー・サーバ・デバイス（１）。
【請求項１２】
前記ジェスチャー・サーバ・デバイス（１）が、オブジェクト（１０、１１、１２）および／またはジェスチャーのトレーニングを実行するように適合されており、それによって、
前記処理ユニットが、前記少なくとも１つのセンサ入力デバイス（９、１１）からの前記受信された情報を、トレーニングされたオブジェクト（１０、１１、１２）および／またはジェスチャーとして識別するように適合されている
ことを特徴とする、請求項１０に記載のジェスチャー・サーバ・デバイス（１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも１つのリモート・コントロール可能デバイスのジェスチャー・コントロールのための方法、上述の方法を実行するジェスチャー・サーバ・デバイス、およびジェスチャー・サーバ・デバイスに情報を提供するためのセンサ入力デバイスに関する。
【背景技術】
【０００２】
ジェスチャー認識の分野においては、いくつかの種類のデバイスが知られており、それらのデバイスは、ジェスチャーによってコントロールされることが可能である。ジェスチャーは、たとえばデバイスのタッチ・スクリーン・ディスプレイ上で実行され、次いでデバイスがそのジェスチャーを認識するか、またはその認識は、デバイスへの接触を伴わずに、たとえばユーザの方に向けられているビデオ・カメラによって実行される。ビデオ・カメラは、デバイスの一体部分、またはそのデバイスに接続されている別個のデバイスであることが可能である。デバイスは、特に自分の目的のためにジェスチャーを検知して解釈するためのアルゴリズムを有する。そのようなデバイスのジェスチャー・コントロールは、信頼できることがわかっており、ますますさまざまな種類のデバイスのために提供されている。
【０００３】
上述のようなジェスチャー・コントロールの既存の実施態様の欠点は、それぞれのデバイスが、ジェスチャー・コントロールのための手段を個別に提供されなければならず、かつそれぞれのデバイスが、ジェスチャー・コントロール・アルゴリズムを実装して実行しなければならないということである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、本発明の１つの目的は、いかなる種類のリモート・コントロール可能デバイスにもジェスチャー・コントロールを適用すること、および高い信頼性を伴うジェスチャー認識を行えることを可能にする、ジェスチャー・コントロールのための方法およびジェスチャー・サーバ・デバイスを提供することである。本発明のさらなる目的は、ジェスチャーが実行される方法からの高いレベルの独立性を有する、可変のジェスチャー・コントロールを可能にすることである。本発明の別の目的は、ジェスチャー・サーバ・デバイスに情報を効率よく提供するための、および上述の方法およびジェスチャー・サーバ・デバイスによるジェスチャーの検知を容易にするセンサ入力デバイスを提供することである。
【課題を解決するための手段】
【０００５】
この目的は、独立請求項によって達成される。有利な実施形態は、従属請求項において与えられる。
【０００６】
詳細には、本発明は、少なくとも１つのリモート・コントロール可能デバイスのジェスチャー・コントロールのための方法であって、ジェスチャー・サーバ・デバイスにおいて少なくとも１つのセンサ入力デバイスからの情報を受信するステップと、ジェスチャー・サーバ・デバイスによって、少なくとも１つのセンサ入力デバイスからの受信された情報内のジェスチャーを検知するステップと、ジェスチャー・サーバ・デバイスによって、検知されたジェスチャーに従って少なくとも１つのリモート・コントロール可能デバイスをリモート・コントロールするステップとを含む方法を提供する。
【０００７】
本発明はまた、少なくとも１つのセンサ入力デバイスからの情報を受信するステップを行うための入力コネクタと、少なくとも１つのセンサ入力デバイスからの受信された情報内のジェスチャーを検知するステップを行うための処理ユニットと、検知されたジェスチャーに従って少なくとも１つのリモート・コントロール可能デバイスをリモート・コントロールするステップを行うための出力コネクタとを含むジェスチャー・サーバ・デバイスであって、それによって、上述の方法を実行するように適合されている、ジェスチャー・サーバ・デバイスを提供する。
【０００８】
さらに、本発明は、ジェスチャー・サーバ・デバイスに情報を提供するためのセンサ入力デバイスであって、それによって、オブジェクトの検知および／またはオブジェクトの動きを情報として提供するように適合されている、センサ入力デバイスを提供する。
【０００９】
本発明の基本的なアイディアは、ジェスチャー検知を特定のデバイスから独立させることであり、それによって、いかなる種類のリモート・コントロール可能デバイスにもジェスチャー・コントロールが適用されることが可能になる。いかなるリモート・コントロール可能デバイスも、それぞれのデバイス上で個々にジェスチャー・コントロールを実施することなく容易にコントロールされることが可能であり、かつジェスチャー・コントロールのためのリソースは、リモート・コントロール可能デバイスのリソースから独立していることが可能である。このことは、低い計算能力を有するデバイスのためのジェスチャー・コントロールの使用を可能にする。バッテリー駆動型のデバイスは、それらのデバイス上でジェスチャー検知のためのパワーが必要とされないため、エネルギーを節約することができる。ジェスチャー・サーバ・デバイスは、少なくとも１つのセンサ入力デバイスからの情報を受信するステップと、ジェスチャーを検知するステップと、検知されたジェスチャーに従って少なくとも１つのリモート・コントロール可能デバイスをリモート・コントロールするステップとを行う中央デバイスとして提供される。ジェスチャーは、ジェスチャー・サーバ・デバイスにおいて定義され、少なくとも１つのセンサ入力デバイスの情報も、ジェスチャー・サーバ・デバイスによって処理される。ジェスチャー・サーバ・デバイスと、少なくとも１つのセンサ入力デバイスとの間における通信接続は、センサ入力デバイスの情報出力コネクタと、ジェスチャー・サーバ・デバイスの入力コネクタとの間において確立される。この通信接続の実装形態は、有線通信接続および／もしくはワイヤレス通信接続またはそれらの組合せを含む任意の適切な種類のものであることが可能である。ジェスチャー・サーバ・デバイスは、自分の出力コネクタを介してリモート・コントロール可能デバイスをコントロールする。対応するコントロール・コマンドが、出力コネクタから通信接続を介してリモート・コントロール可能デバイスのコントロール入力コネクタへ送信される。センサ入力デバイスと、ジェスチャー・サーバ・デバイスとの間における上述の通信接続に従って、ジェスチャー・サーバ・デバイスの出力コネクタと、リモート・コントロール可能デバイスのコントロール入力コネクタとの間における通信接続は、任意の種類のものであることが可能である。好ましくは、ジェスチャー・サーバ・デバイスの入力および出力コネクタは、結合された入力／出力コネクタとして提供される。ジェスチャー・サーバ・デバイスは、ここでは単一のデバイスとして説明されているが、複数の独立したデバイスを有して実装されることも可能である。とりわけ、処理ユニットは、複数の個別のプロセッサを有する共有されている処理ユニットとして、たとえばクラウドベースの処理ユニットとして実装されることが可能である。センサ入力デバイスは、任意の種類のデバイスであることが可能である。少なくとも１つのセンサ入力デバイスから受信される情報は、センサ入力デバイスによって収集された情報、またはセンサ入力デバイスによって収集された情報の任意の種類の事前処理から得られた情報である。そのような事前処理は、データ圧縮を含むことができる。
【００１０】
上述のジェスチャーは、リモート・コントロール可能デバイスをコントロールするのに適している、オブジェクトの任意の種類の認識および／またはオブジェクトの動きを指す。オブジェクトは、リモート・コントロール可能デバイス自体、または、人体の部分もしくは人体を含む、オブジェクト定義によって認識可能であるその他の任意のオブジェクトであることが可能である。したがって、そのようなジェスチャーは、人間によって、たとえば腕もしくは手を動かすことによって、オブジェクトの動きを用いて、または別々のオブジェクトの認識の組合せによって実行されることが可能である。そのようなジェスチャーは、リモート・コントロール可能デバイスの前に位置している人間であることが可能であり、それは、その人間がこのデバイスを使用したいと望んでいるということを示している。このデバイスのそれぞれのリモート・コントロールは、そのスクリーン上でパワー供給することの中に存在することが可能である。ここで例として与えられる別のジェスチャーは、モバイル・コンピューティング・デバイス、たとえば、ハンドヘルド、タブレット、またはラップトップ・コンピュータであるオブジェクトを、第２のオブジェクトとしてのプリンタの方向に、このモバイル・コンピューティング・デバイス上に現在表示されているドキュメントの印刷を開始するために動かすことである。
【００１１】
好ましい一実施形態においては、ジェスチャー・サーバ・デバイスにおいて少なくとも１つのセンサ入力デバイスからの情報を受信するステップは、ジェスチャー・サーバ・デバイスにおいて少なくとも１つのビデオ入力デバイス、タッチ・スクリーン・デバイス、および／またはＲＦＩＤリーダ・デバイスからの情報を受信するステップを含む。一般には、オブジェクトを認識するのに適している任意の種類のセンサ入力デバイスが使用されることが可能である。言及したセンサ入力デバイスは、適切なセンサ入力デバイスの例にすぎない。好ましくは、ビデオ入力デバイスは、スタンドアロンのビデオ・カメラ、または、ビデオ・カメラを装備している任意の装置、たとえば、モバイル電話、タブレットＰＣ、もしくはＴＶセットのビデオ・カメラである。ビデオ入力デバイスは、可視光、紫外光、および／または赤外光を含む、任意の適切なレンジの波長の光をカバーするビデオ・イメージの形態の情報を収集するように適合されている。
【００１２】
好ましい一実施形態によれば、ジェスチャー・サーバ・デバイスにおいて少なくとも１つのセンサ入力デバイスからの情報を受信するステップは、ジェスチャー・サーバ・デバイスにおいて、センサ入力デバイスによって認識されたオブジェクトに関する情報を受信するステップを含む。したがって、センサ入力デバイスは、自分の収集した情報の事前処理を実行し、その事前処理された情報をジェスチャー・サーバ・デバイスに提供する。この事前処理は、好ましくは、センサ入力デバイスにおいて定義されているオブジェクトの認識、および／またはオブジェクトの動きの認識を含む。たとえば、ビデオ・カメラ・デバイスは、ジェスチャー・サーバ・デバイスへの情報としてビデオ・イメージ内の既知のオブジェクトの認識情報を提供するだけであり、このことは、ビデオ・イメージ全体を供給することと比較すると、センサ入力デバイスとジェスチャー・サーバ・デバイスとの間におけるデータ・トラフィックを低減する。シンプルなオブジェクト認識アルゴリズムが、ビデオ・カメラ・デバイスにおいて容易に実施されることが可能であり、それによって、ビデオ・カメラを装備している既存の装置、たとえば、モバイル電話、ハンドヘルド・コンピュータ、タブレットＰＣ、またはＴＶセットは、低い処理負荷で自分の内蔵ビデオ・カメラ・デバイスに基づいてオブジェクト認識を実行することができる。オブジェクトの認識は、センサ入力デバイス内に格納されているオブジェクト定義を含む定義データに基づく。これらのオブジェクト定義は、一般的な事前定義されたオブジェクト定義であることが可能である。
【００１３】
好ましい一実施形態においては、この方法は、認識されるオブジェクトに関する定義データをジェスチャー・サーバ・デバイスからセンサ入力デバイスに提供するさらなるステップを含む。その定義データは、オブジェクト定義を含み、そのオブジェクト定義は、個別のまたは一般的な事前定義されたオブジェクト定義であることが可能である。したがって、ジェスチャーを実行するのに適しているオブジェクトのみが、センサ入力デバイスによって検知される。たとえば、人体の部分の動きに基づくジェスチャーのみが定義される場合には、センサ入力デバイスのパフォーマンスを高めるために、その他のオブジェクトの認識は無効にされる。好ましくは、ジェスチャー・サーバ・デバイスは、センサ入力デバイスにとって適切な定義データ、たとえば、ビデオ・カメラ・デバイスにとってのオブジェクト寸法、またはＲＦＩＤリーダ・デバイスにとってのＲＦＩＤ識別子を提供するだけである。
【００１４】
好ましい一実施形態においては、この方法は、ジェスチャー・サーバ・デバイスにおいて少なくとも１つのリモート・コントロール可能デバイスを登録するさらなるステップであって、それによって、ジェスチャー・サーバ・デバイスが、ジェスチャー・コントロールに関する情報をリモート・コントロール可能デバイスから受信する、さらなるステップを含む。リモート・コントロール可能デバイスは、ジェスチャー・コントロールに関するさまざまな種類の情報を提供することができる。第１に、リモート・コントロール可能デバイスは、ジェスチャーを実行するためのオブジェクトに関するオブジェクト定義および／または動き定義を含む、ジェスチャー・コントロールを実行するためのサポートされるジェスチャーに関する情報を提供することができる。第２に、リモート・コントロール可能デバイスは、リモート・コントロール可能であるサポートされる機能に関する情報を提供することができる。第３に、ジェスチャーと、関連付けられているリモート・コントロール可能な機能との組合せが提供されることが可能である。さらに、登録されているリモート・コントロール可能デバイスが、ジェスチャー・サーバ・デバイスのカバレッジ・エリアを去った場合、またはオフにされた場合には、そのリモート・コントロール可能デバイス自体および／またはジェスチャー・サーバ・デバイスは、そのリモート・コントロール可能デバイスを登録解除することができる。したがって、そのリモート・コントロール可能デバイスのジェスチャー・コントロールに関する情報は、除去されるか、またはジェスチャー・サーバ・デバイスにおいて非アクティブ化される。ジェスチャー・コントロールに関する情報は、リモート・コントロール可能デバイスによって直接提供されることが可能であり、またはそれらの情報は、リモート・コントロール可能デバイスの一意の識別に基づいて別の情報ソースから得られることも可能である。たとえば、この一意の識別に基づいて、リモート・コントロール可能デバイスに関するジェスチャー・コントロールのための情報を受信するために、ジェスチャー・サーバ・デバイスによってインターネット・データベースがコンタクトされることが可能である。
【００１５】
好ましい一実施形態によれば、この方法は、ジェスチャー・サーバ・デバイスにおいて自己識別オブジェクトを登録するさらなるステップであって、それによって、ジェスチャー・サーバ・デバイスが、自己識別オブジェクトを認識するためのオブジェクト定義をその自己識別オブジェクトから受信する、さらなるステップを含む。自己識別オブジェクトは、ジェスチャーを実行するために使用されるだけである。自己識別オブジェクトは、リモート・コントロール可能デバイスを含む任意の種類のオブジェクトであることが可能である。オブジェクト定義は、センサ入力デバイスのうちの少なくとも１つの種類に適しているオブジェクト定義データを含む。認識されるためのそのオブジェクト定義を提供することによって、前述のように、その情報に基づいてジェスチャー・コントロールが実行されることが可能である。したがって、ジェスチャーによって定義される様式で自己識別オブジェクトを動かすことによって、たとえば、リモート・コントロール可能デバイスをコントロールするためにオブジェクトをそのデバイスの方に向けることによって、ジェスチャーが定義されることが可能である。また、自己識別オブジェクトを認識するための情報は、上述のように、オブジェクト自体から直接、またはオブジェクトの一意の識別に基づいて独立した情報ソースから提供されることが可能である。
【００１６】
好ましい一実施形態においては、自己識別オブジェクトは、少なくとも１つのセンサ入力デバイスを含み、ジェスチャー・サーバ・デバイスにおいて自己識別オブジェクトを登録するステップは、自己識別オブジェクトの少なくとも１つのセンサ入力デバイスからジェスチャー・サーバ・デバイスへの情報の送信を開始するステップを含む。したがって、リモート・コントロール可能ではないオブジェクトも、ジェスチャーの検知を改善するための情報をジェスチャー・サーバ・デバイスに提供することができる。多くの種類のそのようなオブジェクトは、少なくとも１つのセンサ入力デバイスを含み、そのセンサ入力デバイスは、ジェスチャー・コントロールのために使用されることが可能である。したがって、ジェスチャー・コントロールは、センサ入力デバイスの１種類のインフラストラクチャーを提供する必要性を伴わずに行えるようにされることが可能である。たとえば、最近のモバイル電話、ハンドヘルド、タブレットＰＣ、ラップトップ、コンピュータ、およびＴＶのようなオブジェクトは通常、さまざまなセンサ入力デバイスを備えている。いかなる種類のリモート・コントロール可能デバイスにもジェスチャー・コントロールを適用するためには、上述の自己識別オブジェクトのうちの少なくとも１つのセンサ入力デバイスから、ジェスチャーを検知するためのジェスチャー・サーバ・デバイスに情報を提供することが必要とされるだけである。そのような自己識別オブジェクトのセンサ入力デバイスの使用は、１種類のインフラストラクチャーを形成しているセンサ入力デバイスと組み合わされることも可能である。
【００１７】
好ましい一実施形態によれば、ジェスチャー・サーバ・デバイスは、オブジェクトおよび／もしくはジェスチャー、ならびに／またはリモート・コントロール可能デバイスのリモート・コントロールを学習するように適合されている。それらの情報は、任意の種類のインターフェースを介してジェスチャー・サーバ・デバイスに提供されることが可能である。したがって、自分自身をジェスチャー・サーバ・デバイスに登録することができないオブジェクトおよび／またはリモート・コントロール可能デバイスも、ジェスチャー・コントロールのために使用されることが可能である。
【００１８】
好ましい一実施形態によれば、ジェスチャー・サーバ・デバイスは、オブジェクトおよび／またはジェスチャーのトレーニングを実行するように適合されており、それによって、処理ユニットは、少なくとも１つのセンサ入力デバイスからの受信された情報を、トレーニングされたオブジェクトおよび／またはジェスチャーとして識別するように適合されている。好ましくは、ジェスチャー・サーバ・デバイスは、トレーニングされたオブジェクトをジェスチャーに、および／またはトレーニングされたジェスチャーをリモート・コントロール可能デバイスのリモート・コントロールに割り振るように適合されている。ジェスチャー・サーバ・デバイスは、好ましくは、特別なオペレーション・モードでオブジェクトおよび／またはジェスチャーのトレーニングを実行するように適合されている。したがって、この方法は、オブジェクトおよび／またはジェスチャーをジェスチャー・サーバ・デバイス向けにトレーニングするさらなるステップと、トレーニングされたオブジェクトおよび／またはジェスチャーをリモート・コントロール可能デバイスのリモート・コントロールに割り振るさらなるステップとを含む。基本的に、任意のリモート・コントロール可能デバイスの任意のリモート・コントロール可能な機能が、特定のジェスチャーに割り振られることが可能である。好ましくは、ジェスチャーをトレーニングするステップは、既知のまたはトレーニングされたオブジェクトを用いてジェスチャーを定義するステップと、リモート・コントロール可能な機能にそのジェスチャーを割り振るステップとを含む。好ましい一実施形態においては、ジェスチャーのトレーニングは、別々のユーザごとに個別に実行される。
【００１９】
好ましい一実施形態によれば、この方法は、ジェスチャー・サーバ・デバイスにおいて一般的なジェスチャーを定義するさらなるステップと、一般的なジェスチャーをオブジェクトに結合することによって、ジェスチャー・サーバ・デバイスにおいてジェスチャーを定義するさらなるステップとを含む。オブジェクトは、任意の種類のもの、特に自己識別オブジェクトであることが可能である。そのような一般的なジェスチャーに関する一例は、リモート・コントロール可能デバイスをプリンタの方に、たとえばプリンタの物理的なロケーションまたはプリンタの任意の種類の仮想表示の方に動かすことである。この一般的な印刷ジェスチャーを、オブジェクトとしてのこのリモート・コントロール可能デバイスの寸法に関する情報と結合することによって、このリモート・コントロール可能デバイス上で印刷を行うための特定のジェスチャーが定義されることが可能である。したがって、ビデオ・カメラ・デバイスは、リモート・コントロール可能デバイスに対応するオブジェクトを識別した場合には、その情報をジェスチャー・サーバ・デバイスに提供し、ジェスチャー・サーバ・デバイスは、そのデバイスの動きをモニタする。ジェスチャー・サーバ・デバイスは、印刷ジェスチャーを識別し、現在のスクリーンまたはドキュメントを印刷するためにリモート・コントロール可能デバイスをコントロールする。
【００２０】
好ましい一実施形態においては、ジェスチャー・サーバ・デバイスにおいて、少なくとも１つのセンサ入力デバイスからの受信された情報内のジェスチャーを検知するステップは、ユーザを識別するステップを含み、ジェスチャー・サーバ・デバイスによって、検知されたジェスチャーに従ってリモート・コントロール可能デバイスのリモート・コントロールを実行するステップは、検知されたジェスチャーに従ってリモート・コントロール可能デバイスのリモート・コントロールを認証するステップを含む。したがって、リモート・コントロールは、承認されたユーザのみに限定される。たとえば、リモート・コントロール可能デバイスに対するアクティブ化またはログオンのためのジェスチャーは、このデバイスに関するユーザのアクセス権に依存させられることが可能である。さらにいっそう好ましくは、アクティブ化またはログオンは、ユーザのアクセス権に依存させられることが可能であり、たとえば、あるパーソナル・コンピュータは、識別されたユーザに対応する特定のログインを用いてアクティブ化されることが可能である。
【００２１】
対応するジェスチャー・サーバ・デバイスは、少なくとも１つのリモート・コントロール可能デバイスのリモート・コントロールを認証するためのアイデンティティー／承認サーバを含む。ジェスチャー・サーバ・デバイスは、アイデンティティー／承認サーバを含む単一のデバイスであることが可能であり、またはジェスチャー・サーバ・デバイスは、アイデンティティー／承認サーバとして機能する少なくとも１つの個別のデバイスと、ジェスチャーを検知するための１つの個別のデバイスとを含む。ジェスチャー・サーバ・デバイスは、別々のタスクおよび／またはサブタスクを実行するための複数の個別のデバイスを含むことさえ可能である。
【００２２】
好ましい一実施形態においては、ジェスチャー・サーバ・デバイスによって、受信された情報内のジェスチャーを検知するステップは、複数のセンサ入力デバイスの受信された情報を、結合された処理として処理するステップと、複数のセンサ入力デバイスの受信された情報内のジェスチャーを検知するステップとを含む。したがって、センサ入力デバイスのカバレッジに起因する限界、たとえばビデオ・カメラ・デバイスの限られた視角、またはＲＦＩＤリーダ・デバイスの限られたラジオ・レンジにもかかわらず、高い信頼性を伴ってジェスチャー認識が実行されることが可能である。好ましくは、シーンの全体的なビューを提供するために複数のビデオ・カメラ・デバイスからの情報が結合される。さらにいっそう好ましくは、ジェスチャー・サーバ・デバイスは、複数のビデオ・カメラ・デバイスの情報に基づいて３次元のシーンを生成することができる。
【００２３】
好ましい一実施形態においては、入力コネクタおよび／または出力コネクタは、データ接続を確立するためのネットワーク・コネクタ、特にワイヤレス・ネットワーク・コネクタである。したがって、センサ入力デバイスから提供される情報は、情報ストリームとして、たとえば、データ接続を介したビデオ・ストリームとして、または任意の種類の事前処理されたデジタル情報ストリームとして提供されることが可能である。好ましくは、センサ入力デバイスとジェスチャー・サーバ・デバイスとの接続性は、ワイヤレス・ネットワーク・コネクタを使用することによって高められる。入力コネクタおよび出力コネクタは、個別に、または結合された入力／出力コネクタとして提供されることが可能である。
【００２４】
このジェスチャー・コントロール方法およびジェスチャー・サーバ・デバイスによって認識されるジェスチャーの種類は、個々のデバイスのいかなる種類のジェスチャー・コントロールからも独立している。ジェスチャー・コントロールは、任意のリモート・コントロール可能デバイスをコントロールするために、および／または複数のリモート・コントロール可能デバイスの間における対話をコントロールするために提供される。一例においては、別々のリモート・コントロール可能デバイスの相対的な地理的位置が、センサ入力デバイス、たとえばビデオ・カメラ・デバイスによって検知されて、それらの別々のリモート・コントロール可能デバイスの間におけるコンテンツのドラッグ・アンド・ドロップを可能にするためのアイコンによってタッチ・スクリーン上に表示されることが可能である。次いでコンテンツが、任意の種類の通信接続、すなわち既存のまたは明確に確立された通信接続によって、１つのデバイスから他のデバイスへ転送されることが可能である。さらに、類似したオブジェクトどうしに関しては、たとえばデバイス・インスタンス識別を付加することによって、複数のインスタンスが定義されることが可能である。このデバイス・インスタンス識別は、バーコードまたはシリアル・ナンバーを用いて実現されることが可能である。人間のユーザのケースにおいては、たとえば、網膜スキャン、指紋スキャン、またはバッジを読み取ることによって、インスタンスどうしが区別されることが可能である。したがって、あるセンサ入力デバイスは、オブジェクトを検知するために使用されることが可能であり、別のセンサ入力デバイスは、そのオブジェクトのインスタンスを識別するために提供されることが可能である。センサ入力デバイスとしてのビデオ・カメラ・デバイスのケースにおいては、たとえば、あるカメラは、単一のオブジェクトの識別を可能にするために部屋をカバーすることができ、その一方で別のビデオ・カメラ・デバイスは、たとえば、バーコード、シリアル・ナンバー、または網膜を読み取ることによって、そのようなオブジェクトのインスタンスを識別するために使用されることが可能である。第２のビデオ・カメラ・デバイスは、ユーザとともに携帯されるモバイル・デバイス、および／または、詳細を検知するために向きを変えられることおよびズーム・インされることが可能である方向転換されるデバイスであることが可能である。方向転換は、第１のカメラ・デバイスまたはジェスチャー・サーバ・デバイスによって実現されることが可能である。また、部屋をモニタするためのビデオ・カメラ・デバイスと、インスタンス識別を実行するための別のセンサ入力デバイス、たとえば、バッジを読み取るためのＲＦＩＤリーダとの組合せが適用されることも可能である。
【００２５】
さらに、ジェスチャー・サーバ・デバイスは、リモート・コントロール可能デバイスを、そのデバイスまたはそのデバイスのインスタンスの識別および登録を容易にするようにコントロールすることができる。好ましくは、ジェスチャー・サーバ・デバイスは、リモート・コントロール可能デバイス、すなわち、そのデバイスの単一のインスタンスにコンタクトし、それをコントロールして、視覚的に認識可能なシグナルを生成する、たとえば、ライトを瞬間的に点灯する、ディスプレイをオンにする、特定のディスプレイ・スクリーンを表示する、ＬＥＤを点灯する、赤外線または紫外線ＬＥＤシグナルを、好ましくは特定のシーケンスを伴って提供する。これらのシグナルは、ビデオ・カメラ・デバイスによって認識されることが可能であり、ビデオ・カメラ・デバイスは、それによって、リモート・コントロール可能デバイスのインスタンスのロケーションを検知することができる。さらに、これらの視覚的に認識可能なシグナルは、ジェスチャー・サーバ・デバイスをトレーニングする目的でオブジェクトをマークするために使用されることが可能である。ジェスチャー認識は、仮想オブジェクトを暗示することができ、仮想オブジェクトは、たとえばスクリーンまたは別の視覚化デバイス上に表示される。これらの仮想オブジェクトは、上述のようなジェスチャーのために使用されることが可能である。
【００２６】
次いで、本発明の実施形態による装置および／または方法のいくつかの実施形態について、単なる例として、添付の図面を参照しながら説明する。
【図面の簡単な説明】
【００２７】
【図１】シーンと、ジェスチャー認識のためのジェスチャー・サーバ・デバイスとを示す概略図である。
【図２】ジェスチャー・サーバ・デバイスおよび接続されているセンサ入力デバイス、自己識別オブジェクト、ならびにリモート・コントロール可能デバイスを初期化するための図である。
【図３】ログイン・ジェスチャーのジェスチャー・コントロールを実行するための図である。
【図４】印刷ジェスチャーのジェスチャー・コントロールを実行するための図である。
【発明を実施するための形態】
【００２８】
図１は、シーン２内でジェスチャー・コントロールを実行するためのジェスチャー・サーバ・デバイス１を示している。ジェスチャー・サーバ・デバイス１は、ジェスチャー認識デバイス３およびアイデンティティー／承認サーバ４を含む。ジェスチャー認識デバイス３およびアイデンティティー／承認サーバ４は、ＬＡＮ接続５を用いて接続されている。したがって、この実施形態におけるジェスチャー認識デバイス３およびアイデンティティー／承認サーバ４は、ジェスチャー・サーバ・デバイス１の個々のデバイスである。ジェスチャー認識デバイス３は、処理ユニットを含み、その処理ユニットは、図においては明確に示されていない。
【００２９】
ジェスチャー・サーバ・デバイス１は、２つの入力／出力コネクタ６をさらに含み、それらの入力／出力コネクタ６は、ＬＡＮ接続５に接続されており、ジェスチャー・サーバ・デバイス１へのデータ接続の確立を可能にする。ネットワーク接続７は、ＷｉＦｉデバイス８を含み、ＷｉＦｉデバイス８は、ネットワーク接続７をワイヤレス・ネットワーク接続へ拡張する。
【００３０】
３つのビデオ・カメラ・デバイス９のセットが、ＷｉＦｉデバイス８を介して、または直接、ネットワーク接続７に接続されている。ビデオ・カメラ・デバイス９のうちのそれぞれは、βとして示されている視角を伴うビデオ・カメラと、処理ユニットとを有しており、それらは両方とも、図においては明確に示されていない。ビデオ・カメラ・デバイス９は、各自の視角βに従ってシーン２の一部分に関する情報を提供し、ジェスチャー認識のためのインフラストラクチャーの部分を形成している。
【００３１】
シーン２は、２つの内蔵ビデオ・カメラ（それらの視角βによって示されている）を伴うタブレットＰＣ１１を手にしているユーザの人体１０を含む。タブレットＰＣ１１はまた、ＷｉＦｉデバイス８を介してネットワーク接続７に接続するためのＷｉＦｉモジュールを装備している。したがってタブレットＰＣ１１は、ビデオ・カメラ・デバイス９の機能を引き継ぐことができる。シーン２は、ＷｉＦｉデバイス８を介してネットワーク接続７に接続されているプリンタ１２と、ネットワーク接続７に直接接続されているＴＶセット１３とをさらに含む。
【００３２】
さらに、ジェスチャー・サーバ・デバイス１のオペレーション、およびジェスチャー・サーバ・デバイス１によって実行される方法について詳細に説明する。
【００３３】
図２に関連して、アイデンティティー／承認サーバ４および接続されているデバイス９、１１、１２、１３を伴うジェスチャー認識デバイス３の初期化および発見フェーズについて説明する。ステップＳ１１から開始して、ジェスチャー認識デバイス３は、ジェスチャー・サービスの初期化をアイデンティティー／承認サーバ４および接続されているデバイス９、１１、１２、１３に告知する。
【００３４】
ステップＳ１２において、ジェスチャー・サーバ３は、人体および人体の部分の形状を含む認識されるオブジェクトのオブジェクト定義を、すべての接続されているデバイス９、１１、１２、１３へのブロードキャストとして提供する登録フェーズを開始する。ビデオ・カメラ・デバイス９およびタブレットＰＣ１１は、以降で説明するように、それらのオブジェクト定義をさらなる使用のために受信する。一代替実施形態においては、認識されるオブジェクトの寸法に関する情報は、視覚的な情報を評価することができるデバイスにのみ提供される。
【００３５】
ステップＳ１２においてジェスチャー・サーバ３によってトリガーされたタブレットＰＣ１１は、ステップＳ１３において、ジェスチャー・コントロールに関する情報をジェスチャー認識デバイス３に提供する。詳細には、タブレットＰＣ１１は、自分の寸法、サポートされるジェスチャー、およびリモート・コントロール可能な機能に関する情報をジェスチャー認識デバイス３に提供する。したがって、タブレットＰＣ１１は、自己識別オブジェクトおよびリモート・コントロール可能デバイスである。次いで、タブレットＰＣ１１の寸法に関する情報、すなわちオブジェクト定義が、ジェスチャー認識デバイス３によって、すべての接続されているデバイス９、１１、１２、１３へのブロードキャストとして提供される。ビデオ・カメラ・デバイス９およびテーブルＰＣ１１は、上述のように、この情報をさらなる使用のために受信する。一代替実施形態においては、タブレットＰＣ１１は、自分のオブジェクト定義に関する情報を、すべての接続されているデバイス９、１１、１２、１３へのブロードキャストとして提供する。
【００３６】
ステップＳ１４において、プリンタ１２は、ジェスチャー認識デバイス３への登録を行う。したがって、ジェスチャー認識デバイス３は、プリンタ１２を認識するための情報、すなわちプリンタ１２の寸法に関する情報、すなわちプリンタ１２のオブジェクト定義を受信する。この情報は、ジェスチャー認識デバイス３から、すべての接続されているデバイス９、１１、１２、１３に提供される。プリンタ１２は、この実施形態においてはリモート・コントロール可能ではなく、自己識別オブジェクト１２である。一代替実施形態においては、プリンタ１２は、自分の寸法に関する情報を、すべての接続されているデバイス９、１１、１２、１３へのブロードキャストとして提供する。
【００３７】
上述の初期化フェーズの後には、センサ入力デバイスとして機能するビデオ・カメラ・デバイス９およびタブレットＰＣ１１によって提供される情報に基づいてジェスチャー認識が実行される。この情報は、ビデオ・カメラ・デバイス９およびタブレットＰＣ１１によって、人体１０、タブレットＰＣ１１、およびプリンタ１２をオブジェクトとして検知することの中に存在する。
【００３８】
ジェスチャー認識デバイス３は、ネットワーク接続７を介して、この情報を受信する。ジェスチャー認識デバイス３の処理ユニットは、受信された情報を処理して、その中のジェスチャーを検知する。検知されたジェスチャーに従って、ジェスチャー認識デバイス３は、以降でさらに説明するように、リモート・コントロール可能デバイス１１、すなわちタブレットＰＣ１１をコントロールする。ビデオ・カメラ・デバイス９およびタブレットＰＣ１１から受信される情報の処理は、結合された処理として実行され、結合された処理された情報を評価することによって、ジェスチャーが検知される。
【００３９】
図３に関連して、ユーザ認証ジェスチャーについて詳細に説明する。ステップＳ２１において、ビデオ・カメラ・デバイス９およびタブレットＰＣ１１は、ある特定のロケーションにおいて人体１０が検知されているということを示す情報をジェスチャー認識デバイス３に提供する。ステップＳ２２において、ジェスチャー認識デバイス３は、人体１０の隣のロケーションにおいてタブレットＰＣ１１が検知されているということを示すさらなる情報を受信する。したがって、ジェスチャー・サーバ３は、タブレットＰＣ１１を手にしているユーザがそのタブレットＰＣ１１上でログインを実行するジェスチャーを識別する。ステップＳ２３において、タブレットＰＣ１１は、ユーザに向いている自分のビデオ・カメラを用いてユーザの顔の写真を撮って、その写真をアイデンティティー／認証サーバ４に提供し、アイデンティティー／認証サーバ４は、顔認識を用いてその写真に基づいてユーザの識別を実行し、タブレットＰＣ１１に対してユーザを承認する。
【００４０】
次いで図４に関連して、結合されたジェスチャーとしての印刷を行うためのジェスチャーの検知について説明する。
【００４１】
ステップＳ３１において、ユーザ１０は、タブレットＰＣ１１の前側におけるタッチ・スクリーン１４上に示されている画像にタッチする。さらに、ビデオ・カメラ・デバイス９は、ユーザの人体１０の腕がプリンタ１２へ向かう動きを検知する。ビデオ・カメラ・デバイス９は、この検知された動きを情報としてジェスチャー認識デバイス３に提供する。同時に、タブレットＰＣ１１は、タッチ・スクリーン１４上でユーザによってタッチされた画像を認識する。ステップＳ３２において、ジェスチャー認識デバイス３は、タブレットＰＣ１１をプリンタ１２の方に動かす動きによる印刷ジェスチャーを識別する。ジェスチャー認識デバイス３は、印刷オペレーションを実行するためにタブレットＰＣ１１をコントロールする。ステップＳ３３におけるタブレットＰＣ１１は、ステップＳ３１における選択された画像を考慮して印刷コマンドを実行し、印刷されることになる画像をプリンタ１２へ送信する。一代替実施形態においては、タブレットＰＣ１１はまた、タッチ・スクリーン１４からの情報をジェスチャー認識デバイス３に提供し、ジェスチャー認識デバイス３は、ジェスチャー検知のためにこの情報を評価する。
【００４２】
さまざまな上述の方法のステップは、プログラムされたコンピュータによって実行されることが可能であるということを当業者なら容易に認識するであろう。本明細書においては、いくつかの実施形態は、プログラム・ストレージ・デバイス、たとえば、デジタル・データ・ストレージ・メディアをカバーするようにも意図されており、それらのプログラム・ストレージ・デバイスは、マシンまたはコンピュータによって読み取り可能であり、命令のマシン実行可能プログラムまたはコンピュータ実行可能プログラムをエンコードし、前記命令は、上述の前記方法のステップのうちのいくつかまたはすべてを実行する。プログラム・ストレージ・デバイスは、たとえば、デジタル・メモリ、磁気ディスクおよび磁気テープなどの磁気ストレージ・メディア、ハード・ドライブ、または光学的に読み取り可能なデジタル・データ・ストレージ・メディアであることが可能である。これらの実施形態は、上述の方法の前記ステップを実行するようにプログラムされたコンピュータをカバーするようにも意図されている。
【００４３】
説明および図面は、本発明の原理を例示しているにすぎない。したがって、本明細書において明示的に説明または図示されていないが、本発明の原理を具体化し、本発明の趣旨および範囲内に含まれるさまざまな構成を当業者なら考案できるであろうということがわかるであろう。さらに、本明細書において列挙されているすべての例は、主として、本発明の原理、および、当技術分野を進展させることに対して本発明者（ら）によって寄与されたコンセプトを読者が理解する際に役立つための教示上の目的のものにすぎないことが明示的に意図されており、また、そのような具体的に列挙された例および状況に限定されるものではないと解釈されるべきである。その上、本発明の原理、態様、および実施形態、ならびにそれらの特定の例を列挙する本明細書におけるすべての記述は、それらの均等物を包含することを意図されている。
【００４４】
「プロセッサ」とラベル付けされているあらゆる機能ブロックを含む、図において示されているさまざまな要素の機能は、専用のハードウェア、ならびに、適切なソフトウェアと関連付けてソフトウェアを実行できるハードウェアの使用を通じて提供されることが可能である。それらの機能は、プロセッサによって提供される場合には、単一の専用のプロセッサによって、単一の共有プロセッサによって、または複数の個別のプロセッサ（それらのうちのいくつかは、共有されることが可能である）によって提供されることが可能である。その上、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行できるハードウェアだけを指すと解釈されるべきではなく、デジタル・シグナル・プロセッサ（ＤＳＰ）ハードウェア、ネットワーク・プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ソフトウェアを格納するための読み取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、および不揮発性ストレージを暗に含むことができるが、それらには限定されない。その他のハードウェアが、通常のものであれ、および／またはカスタムのものであれ、含まれることも可能である。同様に、図において示されているあらゆるスイッチは、概念上のものにすぎない。それらの機能は、プログラム・ロジックのオペレーションを通じて、専用のロジックを通じて、プログラム・コントロールと専用のロジックとの対話を通じて、または手動でさえ、実行されることが可能であり、特定の技術は、コンテキストからさらに具体的に理解された際に実施者によって選択可能である。
【００４５】
本明細書におけるあらゆるブロック図は、本発明の原理を具体化する例示的な回路の概念的な図を表しているということを当業者なら理解するはずである。同様に、あらゆるフローチャート、流れ図、状態遷移図、疑似コードなどは、コンピュータ可読メディアにおいて実質的に表されることが可能な、したがってコンピュータまたはプロセッサによって実行されることが可能な（そのようなコンピュータまたはプロセッサが明示的に示されているか否かにかかわらず）さまざまなプロセスを表しているということがわかるであろう。
【図１】
0005826408.tif 000002
【図２】
0005826408.tif 000003
【図３】
0005826408.tif 000004
【図４】
0005826408.tif 000005