(57)【要約】  遠隔制御装置（１）は、少なくとも１つの移動した物体（３）の移動パターン及び／又は距離パターンを用いて制御すべき機構（２）を制御するために使用される。遠隔制御装置（１）は、立体画像を受信し、移動した物体（３）を検出するカメラモジュール（４）を有する。画像評価モジュール（８）は、移動評価サブモジュール（１４）及び距離評価サブモジュール（１５）を有する。これらのサブモジュールは、検出されたカメラ信号データから、検出された物体（３）に関する移動値及び距離値を特定する。遠隔制御装置（１）の制御・通信モジュール（２４）は、特定された移動値又は距離値に応じて、少なくとも１つの機構制御信号を生成し、それを制御すべき機構（２）に送信する。遠隔制御装置（１）のモジュール間又は遠隔制御装置（１）のモジュールのうちの少なくとも１つと外部機構（２）との間で通信するために、インタフェースモジュールを使用することができる。インタフェースモジュールは、データメモリと、コンパレータサブモジュールであって、供給される実際の移動パラメータが、データメモリに記憶された移動パラメータセットからの所望の移動パラメータと比較される、コパレータサブモジュールと、通信サブモジュールと、を有する。通信サブモジュールは、実際の各パラメータと所望の移動パラメータのうちの１つとが適切に一致する場合、テーブルにおいて割り当てられた制御信号を遠隔制御装置のモジュール又は外部機構に送信する。
2014509103.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの移動した物体（３）の移動パターン及び／又は距離パターンを用いて制御すべき機構（２）を制御する遠隔制御装置（１）であって、
−  立体画像を受信し、前記移動した物体を検出するカメラモジュール（４）と、
−  前記カメラモジュール（４）と信号接続される画像評価モジュール（８）と、
−  制御・通信モジュール（２４）と、
を有し、前記画像評価モジュールが、
検出されたカメラ信号データから、前記検出された物体（３）に関する移動値を決定する、移動評価サブモジュール（１４）と、
前記検出されたカメラ信号データから、前記検出された物体（３）に関する距離値を決定する、距離評価サブモジュール（１５）と、
を有し、前記制御・通信モジュールが、前記画像評価モジュール（８）と信号接続され、前記決定された移動値及び／又は前記決定された距離値に応じて、少なくとも１つの機構制御信号を生成し、それを制御すべき前記機構（２）に送信する、
遠隔制御装置。
【請求項２】
少なくとも３台のカメラ（５〜７）を有するカメラモジュール（４）を特徴とする、請求項１に記載の遠隔制御装置。
【請求項３】
前記画像評価モジュール（８）が輝度評価サブモジュール（１６）を有し、前記輝度評価モジュール（８）は、前記検出されたカメラ信号データから、前記検出された物体（３）に関するコントラスト値及び／又はカラー値を決定することを特徴とする、請求項１又は２に記載の遠隔制御装置。
【請求項４】
前記画像評価モジュール（８）が、細部事前選択サブモジュール（１７）を有し、前記細部事前選択サブモジュール（１７）が、検出された未処理カメラ信号データから、前記カメラモジュール（４）により全体として検出可能である画像領域の画像細部の選択及び事前選択を行い、前記画像細部の前記カメラ信号データがさらに評価されることを特徴とする、請求項１〜３のいずれか一項に記載の遠隔制御装置。
【請求項５】
前記画像評価モジュール（８）が、画像誤差評価サブモジュール（２０）を有し、前記画像誤差評価サブモジュール（２０）が、前記検出されたカメラ信号データから、撮像誤差を決定することを特徴とする、請求項１〜４のいずれか一項に記載の遠隔制御装置。
【請求項６】
前記画像評価モジュール（８）が、前記検出されたカメラ信号データからテクスチャを決定するテクスチャ評価サブモジュール（２１）を有することを特徴とする、請求項１〜５のいずれか一項に記載の遠隔制御装置。
【請求項７】
前記画像評価モジュール（８）が、データメモリ（２３）を有するアクティブ化評価サブモジュール（２２）を有し、前記アクティブ化評価サブモジュール（２２）が、前記検出されたカメラ信号データから、物体シグネチャを決定し、前記物体シグネチャを、前記データメモリ（２３）に記憶されたアクティブ化シグネチャと比較して、決定された前記物体シグネチャと前記アクティブ化シグネチャとが適切に一致する場合、アクティブ化信号が前記制御・通信モジュール（２４）に送信され、制御すべき前記機構（２）がアクティブ化されることを特徴とする、請求項１〜６のいずれか一項に記載の遠隔制御装置。
【請求項８】
前記制御・通信モジュール（２４）と信号接続され、制御すべき前記機構（２）のフィードバック信号及び／又は前記移動した物体（３）のフィードバック信号を前記遠隔制御装置（１）に表示するフィードバックモジュール（２７）を特徴とする、請求項１〜７のいずれか一項に記載の遠隔制御装置。
【請求項９】
前前記カメラモジュール（４）及び前記制御・通信モジュール（２４）と信号接続されるカメラアクティブ化モジュール（１０）が設けられ、前記制御・通信モジュール（２４）は、前記決定された移動値及び／又は前記決定された距離値に応じて、少なくとも１つのカメラ制御信号を生成し、それを前記カメラモジュール（４）に送信することを特徴とする、請求項１〜８のいずれか一項に記載の遠隔制御装置。
【請求項１０】
前記移動した物体（３）の前記移動パターン及び／又は前記距離パターンを用いて作動可能である入力モジュール（３１）が設けられ、前記入力モジュール（３１）は前記制御・通信モジュール（２４）と信号接続され、前記物体（３）の移動により機構制御信号を入力することを特徴とする、請求項１〜９のいずれか一項に記載の遠隔制御装置。
【請求項１１】
前記カメラモジュール（４）により前記移動した物体（３）を検出可能である検出領域を照明する照明モジュール（３３）が設けられることを特徴とする、請求項１〜９のいずれか一項に記載の遠隔制御装置。
【請求項１２】
前記照明モジュール（３３）が、複数の放射色を有する光源（３４）を有することを特徴とする、請求項１１に記載の遠隔制御装置。
【請求項１３】
未処理シグネチャメモリモジュール（３６）が設けられ、前記未処理シグネチャメモリモジュール（３６）では、割り当てられた移動値及び／又は距離値の移動パラメータセット並びにこれらのセットに割り当てられた制御信号がテーブルに記憶され、
前記未処理シグネチャメモリモジュール（３６）はコンパレータモジュール（３９）を有し、前記コンパレータモジュール（３９）では、前記カメラモジュール（４）及び前記画像評価モジュール（８）を用いて検出される実際の移動パラメータが、前記記憶されている未処理シグネチャメモリモジュール（３６）からの所望の移動パラメータと比較され、
前記制御・通信モジュール（２４）は、前記実際の移動パラメータと、前記所望の移動パラメータのうちの１つとが適切に一致する場合、前記割り当てられた制御信号を、制御すべき前記機構（２）に送信することを特徴とする、請求項１〜１２のいずれか一項に記載の遠隔制御装置。
【請求項１４】
請求項１〜１３のいずれか一項に記載の遠隔制御装置（１）のモジュール間で、又は前記遠隔制御装置（１）の前記モジュールのうちの少なくとも１つと外部機構（２）との間で通信するためのインタフェースモジュール（４１）であって、
前記インタフェースモジュール（４１）は、データメモリ（４４）とコンパレータサブモジュール（４５）と通信サブモジュール（４７）とを有し、
前記データメモリ（４４）では、割り当てられた移動値及び／又は距離値の移動パラメータセット、及びこれらのセットに割り当てられた制御信号がテーブルに記憶され、
前記コンパレータサブモジュール（４５）では、前記インタフェースモジュール（４１）に供給される実際の移動パラメータが、前記データメモリ（４４）に記憶された前記移動パラメータセットからの所望の移動パラメータと比較され、
前記通信サブモジュール（４７）は、前記実際の移動パラメータのそれぞれと前記所望の移動パラメータのうちの１つが適切に一致する場合、前記テーブルにて割り当てられた前記制御信号を、前記遠隔制御装置（１）の前記モジュール（８、２４）又は前記外部機構（２）に送信する、インタフェースモジュール（４１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも１つの移動した物体の移動パターン及び／又は距離パターンを用いて制御すべき機構を制御する遠隔制御装置に関する。さらに、本発明は、この種の遠隔制御装置のモジュール間又は遠隔制御装置のモジュールのうちの少なくとも１つと外部機構との間で通信するためのインタフェースモジュールに関する。
【背景技術】
【０００２】
遠隔制御装置は、特許文献１及び特許文献２から既知である。人の腕を向けるジェスチャを用いて、制御すべき外部機構、例えば、空調システム又はテレビセットを制御する遠隔制御装置が、特許文献３から既知である。特許文献４には、装置入力コントローラが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１０／０１９９２２８ Ａ１号明細書
【特許文献２】国際公開第２００８／０５８７８３ Ａ１号パンフレット
【特許文献３】米国特許出願公開第２００６／０１６８５２３ Ａ１号明細書
【特許文献４】欧州特許出願公開第１６３７９８５ Ａ２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、移動した物体を用いた機構の制御が、特に、好ましくない環境状況であってさえも可能なような、冒頭に述べた種類の遠隔制御装置を開発することである。
【課題を解決するための手段】
【０００５】
この目的は、請求項１に開示される特徴を有する遠隔制御装置により、本発明により達成される。
【０００６】
カメラモジュールは、立体画像を受信する少なくとも２台のカメラを有し得る。カメラモジュールのカメラは、ウェブカムとして設計し得る。カメラモジュールのカメラは色を検出することができる。カメラモジュールのカメラは、非同期で機能することができる。互いに対するカメラの空間割り当ては重要ではない。２つ以上の画像を生成する単一のカメラユニット、例えば、分割光学系を有するセンサも可能である。この種のカメラユニットは、複数の光学系又はミラー光学系を有して、空間画像寸法を測定し得る。移動した物体はユーザの人体部分であり得る。次に、遠隔制御装置をジェスチャ制御に使用することができ、画像評価モジュールが、検出された移動値及び距離値から移動パターン及び／又は距離パターンを導出し、前記移動パターン及び／又は距離パターンは制御ジェスチャに割り当てられ、そして、制御ジェスチャは機構制御信号に割り当てられる。ジェスチャ制御の枠組みでは、遠隔制御装置は、指、拳、手足、頭、顔の表情、胴体、及びユーザの人体部分全体の移動を検出することができる。特に、複数の人体部分により同時に実行することもできる人体部分のある方向を指す動き若しくは回転、様々な空間方向への線形移動、又はこれらの移動の組み合わせを検出することができる。移動値は速度、加速度、及び移動した物体の測定位置変化のより高次の微分であり得る。本発明に係る遠隔制御装置による画像評価は、いかなる移動モデル、距離モデル、又は設計モデルも仮定しない。画像評価は、移動、換言すれば、移動した物体の流れ及び距離を用いて排他的に行うことができる。移動値又は距離値から生じる移動パターン又は距離パターンは、統計学的移動戦略を用いて画像評価モジュールにおいて特徴付けられる。この場合、カルマンフィルタをさらに使用し得る。この特徴付けは、画像評価モジュールにおいて行うことができる。例えば、生理学的に「不可能」なジェスチャをこれにより除外することができる。移動パターン又は距離パターンの特徴付けは、カメラモジュールにより検出されるポイントクラウド又は識別された格子点の特定の移動、速度、又は距離値の時間蓄積により行うことができる。移動パターンは、物体の時間追跡により、例えば、移動方向、方向変化、移動の永続度、換言すれば、例えば、ジェスチャの一時停止、移動シーケンス、移動速度、又はこれらの移動値の組み合わせにより得ることができる。距離パターンをそれに従って得ることができる。画像評価は、ティーチインプロセス、すなわち、時間の経過に伴い検出中に適応される空間及び／又は時間移動モジュールにより検出される移動値及び／又は距離値の割り当ての安定化を含み得る。しかし、この種のティーチインプロセスは、遠隔制御装置が機能する必須条件ではなく、機能安定化の可能性である。検出される物体は、移動パターン又は距離パターンの評価から得られ、シグネチャとも呼ばれる移動パラメータ又は距離パラメータの一致の適切な測定により識別することができる。これらの移動パラメータ又は距離パラメータは、カメラモジュールにより検出される個々の画像を評価することにより、画像評価モジュールにおいて生成される。距離評価、換言すれば、カメラ信号データからの距離値の特定は、三角測量により行うことができる。画像評価モジュールを用いての物体の移動及び距離の評価は、絶対的にリアルタイムで行う必要はない。評価がすぐに実行される場合、それで十分である。物体移動が検出されてから評価されるまでの時間遅延は、最長で２００ｍｓであり得る。
【０００７】
遠隔制御装置は、コンピュータを制御する入力装置として構成することができる。例えば、遠隔制御装置により、インターネットでナビゲーションを行うか、又はブラウザゲームで遊ぶことができる。遠隔制御装置は、家庭内の、例えば、テレビセット、ビデオ装置、若しくはＤＶＤプレーヤ、ステレオシステム、又は家庭制御システムの従来のリモコンに取って代わり、減光、照明、暖房、又はコンピュータを制御することができる。遠隔制御装置又は遠隔制御装置の構成要素若しくはモジュールは、制御すべき機構に統合し得る。制御すべき機構は、特に、ＵＳＢ及びＷＬＡＮ等の追加のインタフェースを有し、追加のメモリカード及びネットワーク機能を有し得る追加のコンピュータ機能を有するテレビセット、特に、インターネット対応テレビセットであり得る。テレビセットは、特に、ハイブリッドブロードキャストブロードバンドＴＶであり得る。テレビセットを制御する遠隔制御装置が、全体として、構成要素単位で、又はモジュール単位で一体化される、この種のテレビセットは、本発明の独立した態様である。遠隔制御装置は、拡張現実を使用するシステム環境の構成要素であり得る。この場合、遠隔制御装置は、対応するインタフェースによりシステム制御環境にリンクすることができる。遠隔制御装置は、モデルから独立して、換言すれば、事前処理されたカメラ信号データから独立して、機能することができるため、例えば、カメラモジュールのカメラとユーザとの間で、カメラモジュールの検出領域内の移動した物体が静的アイテム、例えば、花束で部分的に隠される場合は重要ではない。
【０００８】
請求項２に係る少なくとも３台のカメラにより、より広い距離範囲にわたり距離分解能を増大させることができる。加えて、少なくとも３台のカメラにより、より少数のカメラを有するカメラモジュールを使用する場合には、例えば、静止した第３の物体により隠される物体領域を評価することができる。カメラは、カメラモジュールの行内に互いに隣り合わせて配置し得る。
【０００９】
請求項３に係る画像評価モジュールは、コントラスト値の変化又はカラー値の変化を検出することができるように構成し得る。これらのコントラスト値又はカラー値の空間変化又は時間変化の検出が可能である。検出されたコントラスト値又はカラー値は、移動値又は距離値の特定に使用することもできる。
【００１０】
請求項４に係る細部事前検出サブモジュールは、画像検出の精度を増大させる。信号データのより集中的な計算を、選択された画像細部において行うことができる。制御すべき複数の機構に対して同時に動作することができる。制御すべき同一の機構を操作する複数のオペレータが、複数の画像細部を事前選択することもできる。この場合、遠隔制御装置は追加の優先度制御を含み、それにより、どのオペレータ若しくはユーザが、その他のオペレータ若しくはユーザよりも高い優先度を有するか、又はオペレータの１人がその他のオペレータに取って代わることができるか否かを事前選択することができる。事前選択された画像細部の動的適合も可能である。画像細部データ、換言すれば、エリア又はボリューム要素であり得る画像細部の高さ、及び／又は幅、及び／又は深さは、画像評価モジュールのデータメモリに記憶し得る。画像細部の幅に割り当てられた水平方向を、制御すべき機構の位置により、又はカメラモジュールの位置により、特に、互いに対する少なくとも２台のカメラの位置により、事前選択することができる。事前選択された画像細部が、活動のない状態での事前選択された時間後、例えば、数秒が経過した後、再び削除させる時間切れサブモジュールは、細部事前選択サブモジュールと協働することができ、したがって、続けて、検出可能な画像全体にわたり検出が再び行われるか、又は新しい画像細部を事前選択することができる。細部事前検出サブモジュールは、非アクティブ化サブモジュールと協働することができ、非アクティブ化サブモジュールにより、事前選択された画像細部は、非アクティブ化シグネチャの認識後、再び削除される。カメラモジュールにより検出することができる、物体空間内のボリュームは様々なゾーンに分割することができ、ゾーン内で、物体の移動が画像評価モジュールにより別様に評価される。
【００１１】
請求項５に係る画像誤差評価サブモジュールは、カメラモジュールの固有画像誤差を検出することも、生成されたか、若しくは遠隔制御装置の動作中に生成される固有誤差を検出することもできる。これは、画像評価モジュールでの画像評価を補正するために使用することができる。
【００１２】
請求項６に係るテクスチャ評価サブモジュールは、遠隔制御装置の可能性を拡張する。テクスチャは、移動及び距離、例えばより少数の物体格子点を用いる抽象物体特徴付けを超えるさらに詳細な物体データである。格子点特徴付けはポリゴンにより行うことができる。格子点データ及びテクスチャデータは両方とも、換言すれば、画像評価モジュールにより評価することができるすべての信号データは、同一のカメラモジュール、特に１台の同じカメラにより生成することができる。
【００１３】
請求項７に係るアクティブ化評価サブモジュールは、アクティブ化シグネチャ、例えば、制御すべき機構又はカメラモジュールを指すユーザのジェスチャを評価することができる。あるいは、制御すべき機構のアクティブ化は、移動センサにより、例えば、赤外線移動センサにより開始することもでき、移動センサは遠隔制御装置の構成要素でもある。移動した物体の確認シグネチャの検出及び評価は、制御すべき機構のアクティブ化の必須条件を作成することができる。アクティブ化評価サブモジュールは、制御すべき機構へのアクティブ化信号が、画像評価モジュールによる確認シグネチャの評価及び確認後にのみ送信されるように設計することができる。
【００１４】
請求項８に係るフィードバックモジュールは、ディスプレイとして、１つ又は複数の光源、例えば、１つ又は複数のＬＥＤとして、オーディオフィードバックとして、画面上のカーソル又は別の印として、例えば、ズーム機能又は仮想湾曲による画面詳細の強調として設計することができる。制御すべき機構のフィードバック信号は、機構が所望のように機能している程度、例えば、前の制御信号が正確に解釈されたか否かをユーザに示す。移動した物体のフィードバック信号の表示は、ユーザのジェスチャが遠隔制御装置により所望のように検出される程度をユーザに示す。
【００１５】
請求項９に係るカメラアクティブ化モジュールはさらに、画像評価モジュールと信号接続されることができる。カメラアクティブ化モジュールは、カメラモジュールの感度制御及びフォーカス制御をもたらすことができ、それにより、例えば、移動した物体もフォーカスされ、物体が適切な感度で検出される。
【００１６】
請求項１０に係る入力モジュールは、ディスプレイ上のマウスとして、ディスプレイ上の空間ポインタとして、又はディスプレイ上のキーボードとして設計することができる。入力モジュールへの入力は、特に、指のジェスチャにより行うことができる。その結果、ゲームコントローラをディスプレイ上で実現することができる。入力モジュールは、「仮想」設置モジュールとして設計することができる。この種のモジュールを実現する装置は、商標名「Ａｉｒｓｃｏｕｔｅｒ」（商標）の下で知られている。カメラモジュールは、この種の入力モジュールを有するユーザ側構成要素に統合することもできる。入力モジュールは、自動車のフロントガラスにおいて既知のように、ユーザの眼鏡に設置することもできる。入力モジュールは仮想平面に示すことができる。入力平面が空間内でユーザの前に漂っているような印象をユーザに与えることができる。この種の様々な入力平面を、入力モジュールとして提供し、選択することができ、これらは、例えば、オルガンの鍵盤のように重なったキーボードとして構成される。
【００１７】
請求項１１に係る照明モジュールは、例えば、ＬＥＤの形態の光源を有し得る。センサ制御されるフィードバックにより、輝度調整を行うことができる。照明モジュールは輝度センサを有し得る。輝度センサはフォトダイオードとして設計し得る。照明モジュールの照明により、コントラスト変動及び／又はコントラスト変位をもたらすことができる。
【００１８】
請求項１２に係るマルチカラー光源は、ＲＧＢ光源として、又は２つ、３つ、４つ、若しくは５つ以上の色を有するＶＩＳ／ＮＩＲ／ＭＩＲ光源として構成することができる。照明モジュールの光源は、昼光源として設計することができる。
【００１９】
未処理シグネチャは、請求項１３に係る遠隔制御装置の未処理シグネチャメモリモジュールに記憶され、個々に事前選択されたオペレータジェスチャに対応し得る。未処理シグネチャは、全自由度の回転及び並進移動並びに様々な縮尺で未処理シグネチャメモリモジュールに記憶し得る。
【００２０】
本発明のさらなる目的は、物体移動を制御信号に確実に変換することができるような、冒頭に述べた種類のインタフェースモジュールを開発することである。
【００２１】
この目的は、請求項１４において開示される特徴を有するインタフェースモジュールにより、本発明により達成される。
【００２２】
この種のインタフェースモジュールは、物体移動を制御信号に普遍的に変換することができる。インタフェースモジュールは、ブラウザのコンピュータ実施の一部であり得る。インタフェースモジュールのコンパレータサブモジュールは、遠隔制御装置の画像評価モジュールに関して上述したものと同様の統計学的評価を実行することができる。
【００２３】
本発明の実施形態について図面を用いて以下により詳細に説明する。
【図面の簡単な説明】
【００２４】
【図１】少なくとも１つの移動した物体の移動パターン及び／又は距離パターンを用いて、制御すべき機構を制御する遠隔制御装置の概略ブロック図を示す。
【図２】図１による遠隔制御装置のモジュール間又は図１による遠隔制御装置のモジュールのうちの少なくとも１つと外部機構との間で通信するためのインタフェースモジュールを示す。
【発明を実施するための形態】
【００２５】
遠隔制御装置１は、少なくとも１つの物体３の移動パターン及び／又は距離パターンを用いて、制御すべき機構２を制御するために使用される。制御すべき機構は、娯楽電子装置、例えば、テレビセット又はステレオシステムからの機構であり得る。制御すべき機構２は、コンピュータ又は別のデータ処理機構であり得る。遠隔制御装置１は、制御すべき機構２に統合し得る。
【００２６】
移動した物体３は遠隔制御装置１のユーザである。移動した物体は、ユーザの指、手、拳、一方若しくは両方の腕、頭、胴体、又は他の手足である。移動した物体３は、ユーザによりガイドされる物体、例えば、ポインタの形態のポインティング装置又は別のポインティング実施でもあり得る。
【００２７】
遠隔制御装置１は、立体画像を受信し、移動した物体３を検出する２台のカメラ５、６を有するカメラモジュール４を有する。この信号検出は、図１では信号経路ＳＷにより示される。代替の構成では、カメラモジュール４は３台のカメラを有してもよい。カメラモジュール４の第３のカメラ７は、図１では破線で示される。カメラ５〜７はウェブカムとして構成することができる。カメラモジュール４のカメラ５、６又は５〜７は、様々な色を検出し区別することができる。さらなる変形形態では、カメラモジュール４は、２つ以上の画像を生成する単一のカメラユニットを有し得る。空間画像寸法を測定し、換言すれば、空間深度を検出するこの種のカメラユニットは、複数の光学系又はミラー光学系を有し得る。この種のカメラユニットの例は、インターネットページｗｗｗ．ｌｏｒｅｏ．ｃｏｍに記載されているＣａｐ（商標）内の製品Ｌｏｒｅｏ（商標）３Ｄレンズである。カメラモジュールは、ユーザが配置された空間内に静止して配置し得るが、代替として、ユーザ自身が携帯してもよい。
【００２８】
遠隔制御装置１は、画像評価モジュール８をさらに有し、画像評価モジュール８は、信号接続９によるカメラアクティブ化モジュール１０への信号接続と、カメラモジュール４のカメラ５、６への信号線１１、１２とのさらなる信号接続による信号接続を有する。対応する信号線１３が、任意選択的な第３のカメラ７をカメラアクティブ化モジュール１０に接続し、したがって、信号接続が画像評価モジュール８と任意選択的な第３のカメラ７との間にも提供される。
【００２９】
画像評価モジュール８は移動評価サブモジュール１４を有し、移動評価サブモジュール１４は、検出されたカメラ信号データから、検出された物体３に関する移動値を特定する。移動値は、物体３の速度及び加速度である。
【００３０】
画像評価モジュール８は距離評価サブモジュール１５をさらに有し、距離評価サブモジュール１５は、検出されたカメラ信号データから、検出された物体３に関する距離値を特定する。距離値は、例えば、検出された物体構造の広がりと、検出された物体野で既知のサイズを有する静止物体の広がりとの比較により、又は様々なカメラ５、６又は５〜７のカメラ信号データを用いての比較的評価により特定される。３台のカメラ５〜７が使用される場合、物体構造の位置のより精密な特定が、追加のカメラ情報に基づいて可能である。次に、例えば、第３のカメラ７及び２台のカメラ５、６のうちの一方からは見えるが、他方のカメラ６、５からは見えない物体構造の測定が可能である。
【００３１】
検出された物体３に関する移動値及び距離値は、識別された物体構造の位置の比較により、カメラモジュール４の連続画像を評価することにより特定される。
【００３２】
画像評価モジュール８は、検出された移動値及び距離値から、移動パターン及び距離パターンを生成し、これらのパターンは統計学的評価戦略を用いて特徴付けられる。これは、カメラモジュール４により検出されるポイントクラウドの移動値の時間蓄積により行うことができる。移動パターンは、物体の時間追跡により移動値から得ることができる。同じことが距離パターンにも適用される。物体３又は物体３の関連する経路が、画像評価モジュール８により、カメラモジュールにより検出された個々の画像の評価により生成される移動パラメータ、いわゆる、シグネチャの一致の適切な測定により識別される。距離値は、三角測量により特定し得る。
【００３３】
カメラ信号データの評価中、デジタルフィルタ、例えば、カルマンフィルタを使用し得る。
【００３４】
画像評価モジュール８は、輝度評価サブモジュール１６をさらに含む。検出されたカメラ信号データから、輝度評価サブモジュール１６は、検出された移動した物体３に関するコントラスト値及び／又はカラー値を特定する。画像評価モジュール８は、輝度評価サブモジュール１６により特定されるコントラスト値又はカラー値の変化を計算することができるように構成される。輝度評価サブモジュール１６により、画像評価モジュール８によるコントラスト値又はカラー値の空間変化又は時間変化を検出することが可能である。特定されたコントラスト値又はカラー値は、移動値及び距離値を特定するために使用することもできる。
【００３５】
画像評価モジュール８は、細部事前選択サブモジュール１７をさらに有する。これは、検出された未処理カメラ信号データから、カメラモジュール４により全体として検出することができる画像又は検出領域の細部を選択するとともに、画像細部としてこの選択された細部を事前選択し、この画像細部からのカメラ信号データが、次に、更なる評価を受ける。細部事前選択サブモジュール１７により、複数の画像細部の選択及び事前選択も可能であり、前記画像細部は、検出可能な全体細部において互いに別個に配置されてもよく、又はカメラモジュール４の検出可能な全体細部において互いに重なってもよい。複数の画像細部が事前選択される場合、画像評価モジュール８は、優先度割り当てを事前選択し、換言すれば、様々な事前選択される画像細部での相互に競合する物体移動が、制御すべき機構２の望ましくない機能につながらないことを保証する。カメラモジュール４により全体的に検出することができるボリュームは、細部事前選択サブモジュール１７により様々なボリュームゾーンに分割することもできる。
【００３６】
画像評価モジュール８は、データメモリ１８をさらに有し、データメモリ１８には、細部事前選択サブモジュール１７により選択されるエリア又はボリュームに関する、例えば、画像細部の高さ、幅、及び深さに関連する画像細部データが記憶される。高さ、幅及び深さ寸法の定義の水平方向は、制御すべき機構２の位置により、又は互いに対するカメラモジュール４の少なくとも２台のカメラ５、６又は５〜７の位置により事前選択することができる。
【００３７】
画像評価モジュール８は、非アクティブ化サブモジュール又は時間切れサブモジュール１９をさらに有する。時間切れサブモジュール１９はカウンタ又はクロックを有し、したがって、細部事前選択サブモジュール１７により事前選択された画像細部は、オブジェクト３の移動が検出されない所定の非アクティブ化時間期間後に再び削除される。
【００３８】
細部事前選択サブモジュール１７により事前選択される画像細部は、非アクティブ化シグネチャ、換言すれば、物体３の対応する移動シーケンス又はジェスチャの認識後、非アクティブ化サブモジュール１９により再び削除することができる。
【００３９】
画像評価モジュール８は、画像誤差評価サブモジュール２０をさらに有する。検出されたカメラ信号データから、画像誤差評価サブモジュール２０は撮像誤差、例えば、固有撮像誤差又は互いに対するカメラの変位若しくは回転により動作中に生成される種類の撮像誤差、或いは事前にすでに生成された、換言すれば、外因性の撮像誤差を特定する。次に、カメラ信号データの評価において、特定された撮像誤差をデータ補正に使用することができる。
【００４０】
画像評価モジュール８は、テクスチャ評価サブモジュール２１をさらに有する。テクスチャ評価サブモジュール２１は、検出されたカメラ信号データからテクスチャを特定する。このために、さらなる物体データであるテクスチャがまず、例えば、ポリゴンにより、移動値及び距離値、例えば、より少数の格子点により抽象的に特徴付けられた物体に割り当てられる。画像評価モジュール８により評価されるすべての信号データ、換言すれば、格子点データ及びテクスチャデータの両方は、カメラモジュール４の同じ各カメラ５、６又は５〜７により生成することができる。
【００４１】
画像評価モジュール８は、データメモリ２３を有するアクティブ化評価サブモジュール２２をさらに有する。アクティブ化評価サブモジュール２２は、検出されたカメラ信号データから、制御すべき機構２がなおスタンバイ動作で実行されている限り、物体シグネチャを特定し、それをデータメモリ２３に記憶されているアクティブ化シグネチャと比較する。特定された物体シグネチャが、記憶されているアクティブ化シグネチャと適切に一致する場合、アクティブ化評価サブモジュール２２は、アクティブ化信号を制御すべき機構２に送信する。アクティブ化シグネチャは、制御すべき機構２を指すジェスチャ又はカメラモジュール４を指すジェスチャであり得る。あるいは、制御すべき機構２のアクティブ化は、移動センサにより開始することもでき、移動センサは赤外線移動センサとして構成し得る。この種の移動センサは、この代替の構成では、遠隔制御装置１の構成要素でもある。アクティブ化シグネチャの確認に使用することができる確認シグネチャも、アクティブ化評価サブモジュールのデータメモリ２３に記憶し得る。この場合、アクティブ化信号は、認識されたアクティブ化シグネチャを有効な確認シグネチャに割り当てることができる場合のみ、換言すれば、ユーザが、アクティブ化ジェスチャ後に確認ジェスチャもする場合のみ、アクティブ化評価サブモジュール２２から送信される。
【００４２】
遠隔制御装置１は、制御・通信モジュール２４をさらに有する。制御・通信モジュール２４は、信号接続２５により画像評価モジュール８と通信する。制御・通信モジュール２４は、特定され評価された移動値及び／又は特定され評価された距離値に応じて、機構制御信号を生成する。制御・通信モジュール２４は、インタフェース２６により、制御すべき機構２へのデータ接続を有する。
【００４３】
遠隔制御装置１はフィードバックモジュール２７をさらに有する。これは、信号接続２８により制御・通信モジュール２４と通信する。フィードバックモジュール２７を使用して、制御すべき機構２のフィードバック信号を遠隔制御装置１に表示する。フィードバックモジュール２７はコンピュータサブモジュール２９を有し、コンピュータサブモジュール２９は、制御すべき機構２から得られる応答データからシステムフィードバックを計算する。さらに、フィードバックモジュール２７はフィードバック装置３０を有し、フィードバック装置３０は、ディスプレイ、例えば、ＬＥＤの形態の１つ若しくは複数の光源、又はオーディオフィードバックのためのラウドスピーカ装置であり得る。ディスプレイにおいて、カーソル又は別の印として構成することができる印で、例えば、レンズ機能又は仮想湾曲により表示細部を強調表示することにより、フィードバックをさらに特定することができる。
【００４４】
物体３とフィードバックモジュール２７との間での信号交換を、さらなる信号経路ＳＷ２により図１に示す。
【００４５】
遠隔制御装置１は入力モジュール３１をさらに有する。これは、フィードバックモジュール２７により制御・通信モジュール２４と信号接続する。入力モジュール３１は、信号接続３２によりフィードバックモジュール２７又はフィードバック装置３０と通信する。ユーザは入力モジュール３１を使用して、機構制御信号を入力する。入力モジュール３１は、空間ポインタ、マウス、又はキーボードと対話するディスプレイであり得る。入力モジュール３１は、ユーザの仮想野に仮想的に設置されてもよい。Business brother（登録商標）からの対応する製品が、「Airscouter（商標）」の名により知られている。入力モジュール３１に適し得る実施形態が米国特許出願公開第２００９／０００２７９１ Ａ１号明細書に記載されている。
【００４６】
入力モジュール３１は、対応するアクティブ化シグネチャによる選択によりユーザによりアクティブ化することができる様々な入力平面を提供し得る。例えば、キーボードの形態の対応する入力エイドに対応するを有するこれらの様々な入力レベルは、オルガンの鍵盤のように空間的にジグザグに配置し得る。
【００４７】
遠隔制御装置１は、検出領域を照明する照明モジュール３３をさらに有し、検出領域では、物体３をカメラモジュール４で検出することができる。照明モジュール３３は、信号接続３３ａによりカメラアクティブ化モジュール１０と通信する。照明モジュール３３は、例えば、ＬＥＤの形態の光源３４を備える。照明モジュール３３は輝度センサ３５をさらに備える。照明モジュール３３は、検出可能な物体野の輝度の調整又は通信が細部事前選択サブモジュール１７と行われる場合には、事前選択された画像細部の輝度の調整をもたらす。輝度調整は、輝度センサ３５により制御される光源３４のフィードバックアクティブ化により行われる。輝度センサ３５は、フォトダイオードとして構成し得る。照明モジュール３３は、画像評価モジュール８との対応する通信により、光源３４の対応するアクティブ化による所望のコントラスト変動又はコントラスト変位をもたらすことができる。光源３４は、複数の色を有する照明をもたらし得る。本明細書では、波長焦点を有する光の部分を色と呼ぶ。これらの焦点の波長は、異なる色では互いに大きく異なる。光源３４は、ＲＧＢ光源であり得るが、可視スペクトル範囲（ＶＩＳ）、及び／又は近赤外線スペクトル範囲（ＮＩＲ）、及び／又は中赤外線範囲（ＭＩＲ）から色を発する光源であってもよい。光源は２色、３色、４色、又は５色以上を発することができる。光源３４は昼光源であり得る。
【００４８】
遠隔制御装置１は、未処理シグネチャメモリモジュール３６をさらに有する。移動パラメータセット或いは割り当てられた移動値及び／又は距離値のシグネチャセット並びにこれらのセットに割り当てられた制御信号は、未処理シグネチャメモリモジュール３６のテーブルに記憶される。未処理シグネチャメモリモジュール３６は、信号接続３７により画像評価モジュール８と通信するとともに、信号接続３８により制御・通信モジュール２４と通信する。
【００４９】
遠隔制御装置１はコンパレータモジュール３９をさらに有し、コンパレータモジュール３９は、信号接続４０により未処理シグネチャメモリモジュール３６と通信する。コパレータモジュール３９では、カメラモジュール４により検出され、画像評価モジュール８を用いて評価される実際の移動パラメータは、未処理シグネチャメモリモジュール３６からの所望のパラメータと比較される。実際の移動パラメータ又は実際のシグネチャと、所望の移動パラメータの１つ又は所望のシグネチャとが適切に一致する場合、制御・通信モジュール２４は、インタフェース２６により、割り当てられた制御信号を制御すべき機構２に送信する。未処理のシグネチャ、換言すれば、所望の移動パラメータ又は所望のシグネチャは、個々のオペレータジェスチャに対応し得る。これらの未処理のシグネチャは、全自由度の回転及び並進移動且つ様々なサイズ縮尺で未処理シグネチャメモリモジュール３６に記憶される。
【００５０】
遠隔制御装置１を使用したジェスチャ制御は以下のように行われる：ユーザ、換言すれば、移動した物体３が、カメラモジュール４の検出範囲内に移り、まず、アクティブ化サブモジュール２２により認識される移動又はアクティブ化ジェスチャにより、制御すべき機構２をアクティブ化する。次に、ユーザは、機構２を制御するために、事前に練習されたか、又は直観的なジェスチャを使用する。これらのジェスチャの移動値及び距離値は、すでに上述したように、カメラモジュール４により検出され、画像評価モジュール８により評価される。カメラアクティブ化モジュール１０は、個々のカメラ５、６又は５〜７の制御とは別に、輝度補償を保証するとともに、細部事前選択モジュール１７との通信により、カメラ５、６又は５〜７を少なくとも１つの事前選択された画像細部に焦点合わせするか、又はその照明を最適化することができる。
【００５１】
直接的なジェスチャ制御、例えば、テレビセットの番組の切り替え又は音量若しくは画像輝度の調整とは別に、対話的制御はフィードバックモジュール２７によっても可能である。このために、ユーザのジェスチャにより、ユーザは、例えば、対応する指のポインティング、空間中にユーザの前に設置されるキーボード、遠隔制御装置１の画面、若しくは機構２に与えられる文字の選択により、ユーザのジェスチャを用いて、フィードバックモジュール２７又は入力モジュール３１により提供される入力エイドを制御することができる。
【００５２】
遠隔制御装置１を使用して、コンピュータ、例えば、インターネットナビゲーションを制御し、又はブラウザゲームを実行することができる。遠隔制御装置１は、拡張現実を使用するためのシステム環境の構成要素であり得る。このために、遠隔制御装置１は、対応するインタフェースによりシステム制御環境にリンクされる。インターネットページは、位置、平均速度、平均回転速度、及び加速度等の３Ｄ制御入力並びに厳格に定義されるジェスチャに対して、ＨＴＭＬ／Ｊａｖａ（登録商標）スクリプト又はブラウザプラグイン、例えば、Ｊａｖａ（登録商標）により反応することができる。このために、ＨＴＭＬ、Ｊａｖａ（登録商標）スクリプト、又はブラウザプラグインが、マウス及びキーボードによる入力のために、すでに存在する音声要素に加えて、ジェスチャ要素により拡張される。
【００５３】
カメラモジュール４により検出することができる画像ボリュームは、フィードバックモジュール２７及び／又は入力モジュール３１により分割して、様々なボリュームゾーン、例えば、オフゾーン、事前ゾーン、移動ゾーン、クリックゾーン、又は事後ゾーンにすることができる。
【００５４】
オフゾーンは、例えば、キーボードの形態で入力モジュール３１により設置される入力エイドの入力平面の前にある領域を記述する。オフゾーン内で検出された移動値又は距離値はすべて、遠隔制御装置１により自動的に無視される。オフゾーンは、入力モジュール３１により定義し得る入力平面から最も離れた領域であり得る。
【００５５】
事前ゾーンはオフゾーンと境界を接する。検出された移動値及び／又は距離値は、ボリュームセクションにおいてここでは収集することができ、ボリュームセクションは、深度が互い違いになったチェス盤のように立方体として互いに隣接する。移動値又は距離値の蓄積の分布から、画像評価モジュール８を用いてパターンを計算することができ、パターンは、設置される監視画像上に暗くなりつつある「影」として重ねられて、物体３の部分、例えば、換言すれば、人体部分を正しい位置に置く。
【００５６】
移動ゾーンは事前ゾーンと境界を接する。局所的に入力平面に最も近くに来る移動物体、例えば、差し伸べられたユーザの指は、例えば、入力平面からの距離が低減するにつれて小さくなり、矢印が中心点に配置される円として、入力平面において特徴を変化させるポインタとして特徴付けられる。ポインタは、機能を始動させずにこのゾーン内で移動する。円のサイズはフィードバックに使用され、したがって、ユーザがジェスチャを実行する人体部分を監視するために使用される。
【００５７】
クリックゾーンは移動ゾーンと境界を接する。クリックゾーンは仮想入力平面の領域に配置される。クリックゾーンに入る際に小さくなった円は、例えば、制御コマンドの始動を表示するために、クリックノイズを伴った星になることができる。
【００５８】
移動パラメータを変更することにより、異なる制御コマンドを始動させることができ、これは、例えば、プログラムメニューの様々なメニューコマンドに匹敵する。クリックゾーンに到達し、所定の短い時間期間後に再びそこを去り、加えて、物体３の移動部により入力平面において、所定の短い経路のみがカバーされる場合、対応する制御コマンドが始動し、クリックノイズで確認される。入力平面に比較的長い時間にわたって留まる場合、異なる制御コマンドを始動することができ、これは移動ゾーンの監視と組み合わせることもできる。
【００５９】
ジェスチャを実行している複数の人体部分が、入力平面において検出される場合、これらの人体部分の検出された移動の組み合わせが、さらなる制御コマンド、例えば、ズーム、示される物体の回転、又は垂直若しくは水平のスクロールを始動させることができる。
【００６０】
事後ゾーンはクリックゾーンの背後、換言すれば、移動ゾーンから離れて配置される。この事後ゾーンは、画像評価モジュール８による対応する評価によるさらなる制御コマンドを始動するために検出することができる。例えば、水平スクロールと垂直スクロールとを区別することができる。
【００６１】
カメラモジュール４から進む、上述したようにジグザグゾーンが定義される。カメラモジュール４がユーザに対向して配置されず、ユーザと並んで配置され、ユーザにより携帯される場合、対応するゾーンのジグザグが生成される。
【００６２】
図２は、遠隔制御装置１の様々なモジュール間で通信するため、例えば、画像評価モジュール８と制御・通信モジュール２４との間、又は制御・通信モジュール２４とフィードバックモジュール２７との間、又は少なくとも遠隔制御装置１のモジュールのうちの１つと外部装置、例えば、機構２との間で通信するためのインタフェースモジュール４１を示す。図１を参照してすでに上述した構成要素に対応する構成要素は、同じ参照符号を有し、再び詳述しない。画像評価モジュール８と制御・通信モジュール２４との間で通信するためのインタフェースモジュールが図２に示される。制御すべき機構２が画像評価モジュール８に取って代わることもできる。インタフェースモジュール４１は、例えば、遠隔制御装置１のインタフェース２６の代わりに使用し得る。
【００６３】
インタフェースモジュール４１は、信号接続４２により、画像評価モジュール８と通信するとともに、信号接続４３により制御・通信モジュール２４と通信する。
【００６４】
インタフェースモジュール４１はデータメモリ４４を有する。割り当てられた移動値及び／又は距離値の移動パラメータセットが、データメモリ４４に記憶される。これらのセットに割り当てられた制御信号もデータメモリ４４に記憶される。セット及び制御信号の割り当ては、これらをテーブルに記憶することにより行われる。
【００６５】
インタフェースモジュール４１はコンパレータサブモジュール４５をさらに有する。コパレータサブモジュール４５は、信号接続４６によりデータメモリ４４と通信する。信号接続４２によりインタフェースモジュール４１に供給される実際の移動パラメータは、コンパレータサブモジュール４５のデータメモリ４４からの所望の移動パラメータと比較される。
【００６６】
インタフェースモジュール４１は、通信サブモジュール４７をさらに有する。これは、信号接続４８によりコンパレータサブモジュール４５と通信する。実際の移動パラメータと所望の移動パラメータのうちの１つとが一致する場合、通信サブモジュール４７は、データメモリ４４に割り当てられた制御信号を、信号接続４３により遠隔制御装置１の制御・通信モジュール２４又は制御すべき機構２に送信する。
【００６７】
インタフェースモジュール４１は、ブラウザのソフトウェア環境に統合することができる。コンパレータサブモジュール４５は、図１による遠隔制御装置１に関連してすでに上述したように、統計学的評価を実行し得る。
【００６８】
インタフェースモジュール４１は、標準化された移動パラメータセットと普遍的に使用することができ、様々な端末機器とのジェスチャ通信を可能にする。
【図１】
2014509103.tif 000003
【図２】
2014509103.tif 000004
【国際調査報告】
2014509103.tif 000005
2014509103.tif 000006
2014509103.tif 000007
2014509103.tif 000008
2014509103.tif 000009
2014509103.tif 000010