(57)【要約】  ユーザの手の映像又は一連の静止画像を取り込むためのデジタルカメラを含む装置の実施形態を開示する。１又は２以上のプロセッサが、デジタルカメラに結合されて映像又は一連の静止画像を処理してユーザの手のデジタル表現を生成し、デジタル表現からユーザの手の動作及び運動を決定し、かつ動作又は動作／運動組合せをユーザインタフェース指令と相関させる。ユーザインタフェースコントローラが、１又は２以上のプロセッサからユーザインタフェース指令を受信するために結合される。ディスプレイが、ユーザインタフェースコントローラに結合される。ユーザインタフェースコントローラは、１組の１又は２以上のユーザインタフェース制御器をディスプレイ上に出現させる。ユーザインタフェース指令は、１組の表示されたユーザインタフェース制御器のうちの１又は２以上を選択又は調節し、選択されたユーザインタフェース制御器の運動は、実質的にリアルタイムでユーザの手の運動を追跡する。他の実施形態を開示して特許請求する。【選択図】      図１Ａ
2020537209.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの手の映像又は一連の静止画像を取り込むためのデジタルカメラと、
前記デジタルカメラに結合されて前記映像又は前記一連の静止画像を処理して前記ユーザの手のデジタル表現を生成し、該デジタル表現から該ユーザの手の動作及び運動を決定し、かつ該動作、該動作／運動の組合せをユーザインタフェース指令と相関させる１又は２以上のプロセッサと、
前記１又は２以上のプロセッサから前記ユーザインタフェース指令を受信するために結合されたユーザインタフェースコントローラと、
前記ユーザインタフェースコントローラに結合されたディスプレイであって、該ユーザインタフェースコントローラが、１組の１又は２以上のユーザインタフェース制御器を該ディスプレイ上に出現させ、前記ユーザインタフェース指令が、該１組の表示されたユーザインタフェース制御器のうちの１又は２以上を選択又は調節し、該選択されたユーザインタフェース制御器の運動が、実質的にリアルタイムで前記ユーザの手の前記運動を追跡する前記ディスプレイと、
を含むことを特徴とする装置。
【請求項２】
前記ユーザインタフェースコントローラに結合された１又は２以上のシステムを更に含み、
前記表示されたユーザインタフェース制御器の１又は２以上の選択又は調節が、前記１又は２以上のシステムの属性を選択又は調節する、
ことを特徴とする請求項１に記載の装置。
【請求項３】
前記１組の表示されたユーザインタフェース制御器は、コンテクスト特定のものであることを特徴とする請求項１に記載の装置。
【請求項４】
前記デジタルカメラは、立体カメラ又は飛行時間カメラであることを特徴とする請求項１に記載の装置。
【請求項５】
前記１又は２以上のプロセッサに結合されたユーザフィードバック機構を更に含むことを特徴とする請求項１に記載の装置。
【請求項６】
前記ユーザフィードバック機構は、前記ユーザの身体の一部をタップするように位置決めされたタッピング機構を含むことを特徴とする請求項５に記載の装置。
【請求項７】
前記タッピング機構は、前記１又は２以上のプロセッサによって前記動作、前記運動、又は該動作及び該運動を前記ユーザインタフェースと相関させることができない場合に前記ユーザにフィードバックを提供することを特徴とする請求項６に記載の装置。
【請求項８】
前記ユーザインタフェースコントローラは、前記ディスプレイ上に前記手の前記デジタル表現を表示することを特徴とする請求項１に記載の装置。
【請求項９】
前記ユーザインタフェースコントローラに結合された少なくとも１つの追加のディスプレイを更に含むことを特徴とする請求項１に記載の装置。
【請求項１０】
前記動作／運動組合せは、
各扇形がユーザインタフェース指令に対応する複数の扇形に分割された円環を含むユーザインタフェース要素を起動する第１の動作／運動組合せと、
特定の扇形の方向の運動と組み合わされてその扇形によって表現される前記ユーザインタフェース指令を選択する第２の動作と、
を含む、
ことを特徴とする請求項１に記載の装置。
【請求項１１】
前記特定の扇形は、前記第２の動作の前記運動に比例して塗り潰され、かつ完全に塗り潰された時に前記ユーザインタフェース指令を起動することを特徴とする請求項１０に記載の装置。
【請求項１２】
前記第１の動作／運動組合せは、
円運動で移動される伸ばされた人差し指、
円運動で移動される伸ばされた人差し指及び中指、及び
前記手が前記画面と実質的に平行であるように全ての指が完全に伸ばされて円運動で移動される状態の開いた手の平、
のうちの１つである、
ことを特徴とする請求項１０に記載の装置。
【請求項１３】
前記第２の動作は、前記手が前記画面と実質的に平行であるように全ての指が完全に伸ばされた状態の開いた手の平であることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記動作／運動組合せは、
各ブロックがユーザインタフェース指令に対応する複数の列の２次元又は３次元ブロックを含むユーザインタフェース要素を起動する第１の動作／運動組合せと、
特定の列及び特定のブロックの方向の運動と組み合わされてそのブロックによって表現される前記ユーザインタフェース指令を選択する第２の動作と、
を含む、
ことを特徴とする請求項１に記載の装置。
【請求項１５】
前記第１の動作／運動組合せは、前記手が前記画面と実質的に平行であるように全ての指が完全に伸ばされて左右の運動で移動される状態の開いた手の平であることを特徴とする請求項１４に記載の装置。
【請求項１６】
前記第２の動作は、前記指が実質的に前記画面に向けて指向するように全ての指が完全に伸ばされた状態の開いた手の平であり、前記運動は、
前記手を上又は下に指向して列を選択すること、
前記手を左右に移動して列内のブロックを選択すること、及び
特定のブロックの上に留まってその特定のブロックを選択すること
であることを特徴とする請求項１５に記載の装置。
【請求項１７】
運転者席、１又は２以上の同乗者席、及びダッシュボードディスプレイをそこに有するダッシュボードを含む自動車と、
運転者の手の映像又は一連の静止画像を取り込むためのデジタルカメラ、
前記デジタルカメラに結合されて前記映像又は前記一連の静止画像を処理して前記運転者の手のデジタル表現を生成し、該デジタル表現から該運転者の手の動作及び運動を決定し、かつ該動作、該動作／運動の組合せをユーザインタフェース指令と相関させる１又は２以上のプロセッサ、
前記１又は２以上のプロセッサから前記ユーザインタフェース指令を受信するために結合されたユーザインタフェースコントローラ、及び
前記ユーザインタフェースコントローラに結合されたディスプレイであって、該ユーザインタフェースコントローラが、１組の１又は２以上のユーザインタフェース制御器を該ディスプレイ上に出現させ、該ユーザインタフェースコントローラが、前記ユーザインタフェース指令を使用して該１組の表示されたユーザインタフェース制御器のうちの１又は２以上を選択又は調節し、該選択されたユーザインタフェース制御器の運動が、実質的にリアルタイムで前記ユーザの手の前記運動を追跡する前記ディスプレイ、
を含む動作及び運動認識システムと、
を含むことを特徴とするシステム
【請求項１８】
前記ユーザインタフェースコントローラに結合された１又は２以上のシステムを更に含み、
前記表示されたユーザインタフェース制御器のうちの１又は２以上の選択又は調節が、前記１又は２以上のシステムの属性を選択又は調節する、
ことを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記１又は２以上のシステムは、音響システム、ナビゲーションシステム、電話システム、又は車システムを含むことを特徴とする請求項１８に記載のシステム。
【請求項２０】
各同乗者席のための同乗者カメラ及び同乗者ディスプレイを更に含み、
各同乗者カメラが、前記１又は２以上のプロセッサに結合され、各同乗者ディスプレイが、前記ユーザインタフェースコントローラに結合される、
ことを特徴とする請求項１７に記載のシステム。
【請求項２１】
各後部同乗者席のための前記同乗者ディスプレイは、対応する前部座席の背面に位置付けられることを特徴とする請求項２０に記載のシステム。
【請求項２２】
各後部座席同乗者ディスプレイが、作り付け備品を含み、その中にタブレットコンピュータが固定され、かつ電気的に接続されて該ディスプレイを提供することができ、
前記作り付け備品は、前記同乗者カメラ及び追加の顔面カメラを含む、
ことを特徴とする請求項２０に記載のシステム。
【請求項２３】
前記デジタルカメラ及び前記同乗者カメラは、立体カメラ又は飛行時間カメラであることを特徴とする請求項２０に記載のシステム。
【請求項２４】
前記１又は２以上のプロセッサに結合されたユーザフィードバック機構を更に含むことを特徴とする請求項１７に記載のシステム。
【請求項２５】
前記ユーザフィードバック機構は、前記運転者の席の背面に位置決めされたタッピング機構を含むことを特徴とする請求項２４に記載のシステム。
【請求項２６】
前記タッピング機構は、前記動作、前記運動、又は該動作及び該運動が前記１又は２以上のプロセッサによって認識されない場合にフィードバックを前記ユーザに提供することを特徴とする請求項２５に記載のシステム。
【請求項２７】
前記ユーザインタフェースコントローラは、前記ディスプレイ上に前記手の前記デジタル表現を表示することを特徴とする請求項１７に記載のシステム。
【請求項２８】
前記動作／運動組合せは、
各扇形がユーザインタフェース指令に対応する複数の扇形に分割された円環を含むユーザインタフェース要素を起動する第１の動作／運動組合せと、
特定の扇形の方向の運動と組み合わされてその扇形によって表現される前記ユーザインタフェース指令を選択する第２の動作と、
を含む、
ことを特徴とする請求項１７に記載のシステム。
【請求項２９】
前記特定の扇形は、前記第２の動作の前記運動に比例して塗り潰され、かつ完全に塗り潰された時に前記ユーザインタフェース指令を起動することを特徴とする請求項２８に記載のシステム。
【請求項３０】
前記第１の動作／運動組合せは、
円運動で移動される伸ばされた人差し指、
円運動で移動される伸ばされた人差し指及び中指、及び
前記手が前記画面と実質的に平行であるように全ての指が完全に伸ばされて円運動で移動される状態の開いた手の平、
のうちの１つである、
ことを特徴とする請求項２８に記載のシステム。
【請求項３１】
前記第２の動作は、前記手が前記画面と実質的に平行であるように全ての指が完全に伸ばされた状態の開いた手の平であることを特徴とする請求項３０に記載のシステム。
【請求項３２】
前記動作／運動組合せは、
各ブロックがユーザインタフェース指令に対応する複数の列の２次元又は３次元ブロックを含むユーザインタフェース要素を起動する第１の動作／運動組合せと、
特定の列及び特定のブロックの方向の運動と組み合わされてそのブロックによって表現される前記ユーザインタフェース指令を選択する第２の動作と、
を含む、
ことを特徴とする請求項１７に記載のシステム。
【請求項３３】
前記第１の動作／運動組合せは、前記手が前記画面と実質的に平行であるように全ての指が完全に伸ばされて左右の運動で移動される状態の開いた手の平であることを特徴とする請求項３２に記載のシステム。
【請求項３４】
前記第２の動作は、前記指が実質的に前記画面に向けて指向するように全ての指が完全に伸ばされた状態の開いた手の平であり、前記運動は、
前記手を上又は下に指向して列を選択すること、
前記手を左右に移動して列内のブロックを選択すること、及び
特定のブロックの上に留まってその特定のブロックを選択すること
であることを特徴とする請求項３３に記載のシステム。
【請求項３５】
ユーザの手の映像又は一連の静止画像を取り込む段階と、
前記映像又は前記一連の静止画像を処理して前記ユーザの手のデジタル表現を生成し、該デジタル表現から該ユーザの手の動作及び運動を決定し、かつ該動作又は該動作／運動の組合せをユーザインタフェース指令と相関させる段階と、
１組の１又は２以上のユーザインタフェース制御器をディスプレイ上に出現させる段階であって、前記ユーザインタフェース指令が、該１組の表示されたユーザインタフェース制御器のうちの１又は２以上を選択又は調節し、該選択されたユーザインタフェース制御器の運動が、実質的にリアルタイムで前記ユーザの手の前記運動を追跡する前記出現させる段階と、
を含むことを特徴とする方法。
【請求項３６】
前記表示されたユーザインタフェース制御器のうちの１又は２以上を選択又は調節する段階は、前記１又は２以上のシステムの属性を選択又は調節することを特徴とする請求項３５に記載の方法。
【請求項３７】
前記１組の表示されたユーザインタフェース制御器は、コンテクスト特定のものであることを特徴とする請求項３５に記載の方法。
【請求項３８】
触覚フィードバックをユーザに提供する段階を更に含むことを特徴とする請求項３５に記載の方法。
【請求項３９】
前記触覚フィードバックは、前記ユーザの身体の一部をタップする段階を含むことを特徴とする請求項３８に記載の方法。
【請求項４０】
フィードバックが、前記動作、前記運動、又は該動作及び該運動を前記ユーザインタフェース指令と相関させることができない場合に前記ユーザに提供されることを特徴とする請求項３９に記載の方法。
【請求項４１】
前記動作／運動組合せは、
各扇形がユーザインタフェース指令に対応する複数の扇形に分割された円環を含むユーザインタフェース要素を起動する第１の動作／運動組合せと、
特定の扇形の方向の運動と組み合わされてその扇形によって表現される前記ユーザインタフェース指令を選択する第２の動作と、
を含む、
ことを特徴とする請求項３５に記載の方法。
【請求項４２】
前記特定の扇形は、前記第２の動作の前記運動に比例して塗り潰され、かつ完全に塗り潰された時に前記ユーザインタフェース指令を起動することを特徴とする請求項４１に記載の方法。
【請求項４３】
前記第１の動作／運動組合せは、
円運動で移動される伸ばされた人差し指、
円運動で移動される伸ばされた人差し指及び中指、及び
前記手が前記画面と実質的に平行であるように全ての指が完全に伸ばされて円運動で移動される状態の開いた手の平、
のうちの１つである、
ことを特徴とする請求項４２に記載の方法。
【請求項４４】
前記第２の動作は、前記手が前記画面と実質的に平行であるように全ての指が完全に伸ばされた状態の開いた手の平であることを特徴とする請求項４３に記載の方法。
【請求項４５】
前記動作／運動組合せは、
各ブロックがユーザインタフェース指令に対応する複数の列の２次元又は３次元ブロックを含むユーザインタフェース要素を起動する第１の動作／運動組合せと、
特定の列及び特定のブロックの方向の運動と組み合わされてそのブロックによって表現される前記ユーザインタフェース指令を選択する第２の動作と、
を含む、
ことを特徴とする請求項３５に記載の方法。
【請求項４６】
前記第１の動作／運動組合せは、前記手が前記画面と実質的に平行であるように全ての指が完全に伸ばされて左右の運動で移動される状態の開いた手の平であることを特徴とする請求項４５に記載の方法。
【請求項４７】
前記第２の動作は、前記指が実質的に前記画面に向けて指向するように全ての指が完全に伸ばされた状態の開いた手の平であり、前記運動は、
前記手を上又は下に指向して列を選択すること、
前記手を左右に移動して列内のブロックを選択すること、及び
特定のブロックの上に留まってその特定のブロックを選択すること
であることを特徴とする請求項４６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
開示する実施形態は、一般的にユーザインタフェースに関連し、より具体的には、以下に限定するものではないが、動作と動作／運動組合せとを使用するユーザインタフェースとのタッチレス対話に関する。
【背景技術】
【０００２】
電子機器が急増したので、それら及びそれらの属性を制御する方法は実質的に改善している。最初は、ほとんどの電子機器は、物理的な制御器、すなわち、ノブ、スライダ、ボタンなどを使用して制御されていた。今日では、多くの電子機器は、ソフトウエアで制御されるが、それらは、多くの場合にユーザによる何らかの種類の直接的又は間接的な物理的タッチを依然として必要とし、その例は、マウスを用いたポインティング及びクリッキング、及びタッチスクリーン又はタッチパッド上の項目の選択又は操作を含む。これらの制御方法の欠点は、ユーザが通常は当該のデバイスに注意を払う必要があり、従って、他のタスクから注意を乱すこと、及びユーザが物理的制御デバイスにタッチすることができなければならず、これは物理的制御デバイスが不便に置かれた場合に困難であるかもしれないことを含む。
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の開示は、ユーザインタフェースの動作及び運動ベースの制御のための装置及び方法の実施形態を議論する。装置は、ユーザの手の映像又は一連の静止画像を取り込むためにデジタルカメラを含む。１又は２以上のプロセッサが、映像又は一連の静止画像を処理してユーザの手のデジタル表現を生成し、デジタル表現からユーザの手の動作及び運動を決定し、かつ動作又は動作／運動組合せをユーザインタフェース指令と相関させるためにデジタルカメラに結合される。ユーザインタフェースコントローラが、１又は２以上のプロセッサからユーザインタフェース指令を受信するために結合される。ディスプレイが、ユーザインタフェースコントローラに結合される。ユーザインタフェースコントローラは、１組の１又は２以上のユーザインタフェース制御器をディスプレイ上に出現させる。ユーザインタフェース指令は、１組の表示されたユーザインタフェース制御器のうちの１又は２以上を選択又は調節し、選択されたユーザインタフェース制御器の運動は、実質的にリアルタイムでユーザの手の運動を追跡する。
【０００４】
本方法は、ユーザの手の映像又は一連の静止画像を取り込む段階を含む。映像又は一連の静止画像は、処理されてユーザの手のデジタル表現を生成し、デジタル表現からユーザの手の動作及び運動を決定し、かつ動作又は動作／運動組合せをユーザインタフェース指令と相関させる。１組の１又は２以上のユーザインタフェース制御器がディスプレイ上に現れる。ユーザインタフェース指令は、１組の表示されたユーザインタフェース制御器のうちの１又は２以上を選択又は調節し、選択されたユーザインタフェース制御器の運動は、実質的にリアルタイムでユーザの手の運動を追跡する。
【図面の簡単な説明】
【０００５】
別段の指定がない限り様々な図の全体を通して同じ参照番号が同じ部分を指す以下の図を参照して非限定的かつ非包括的実施形態を説明する。
【図１Ａ】動作及び動作／運動組合せを使用して対話することができるユーザインタフェースシステムの実施形態のブロック図である。
【図１Ｂ】動作及び動作／運動組合せを使用して対話することができるユーザインタフェースシステムの実施形態のブロック図である。
【図２】図１Ａ〜１Ｂに示すユーザインタフェースシステムの作動の実施形態の流れ図である。
【図３Ａ】図１Ａ〜１Ｂに示すもののようなユーザインタフェースシステムの自動車用途の実施形態の図である。
【図３Ｂ】図１Ａ〜１Ｂに示すもののようなユーザインタフェースシステムの自動車用途の実施形態の図である。
【図３Ｃ】図１Ａ〜１Ｂに示すもののようなユーザインタフェースシステムの自動車用途の実施形態の図である。
【図４Ａ】動作及び動作／運動組合せを使用するユーザインタフェースシステムの作動の実施形態の図である。
【図４Ｂ】動作及び動作／運動組合せを使用するユーザインタフェースシステムの作動の実施形態の図である。
【図４Ｃ】動作及び動作／運動組合せを使用するユーザインタフェースシステムの作動の実施形態の図である。
【図４Ｄ】動作及び動作／運動組合せを使用するユーザインタフェースシステムの作動の実施形態の図である。
【図４Ｅ】動作及び動作／運動組合せを使用するユーザインタフェースシステムの作動の実施形態の図である。
【図５Ａ】動作及び動作／運動組合せを使用するユーザインタフェースシステムの作動の別の実施形態の図である。
【図５Ｂ】動作及び動作／運動組合せを使用するユーザインタフェースシステムの作動の別の実施形態の図である。
【図５Ｃ】動作及び動作／運動組合せを使用するユーザインタフェースシステムの作動の別の実施形態の図である。
【図５Ｄ】動作及び動作／運動組合せを使用するユーザインタフェースシステムの作動の別の実施形態の図である。
【図６Ａ】ソフトウエア定義式ディスプレイの数又はサイズを変えるための対話の実施形態の図である。
【図６Ｂ】ソフトウエア定義式ディスプレイの数又はサイズを変えるための対話の実施形態の図である。
【図６Ｃ】ソフトウエア定義式ディスプレイの数又はサイズを変えるための対話の実施形態の図である。
【図６Ｄ】ソフトウエア定義式ディスプレイの数又はサイズを変えるための対話の実施形態の図である。
【図７Ａ】複数のディスプレイとのユーザ対話の実施形態の図である。
【図７Ｂ】複数のディスプレイとのユーザ対話の実施形態の図である。
【図７Ｃ】複数のディスプレイとのユーザ対話の実施形態の図である。
【図８Ａ】ディスプレイから情報を選択するためのユーザ対話の実施形態の図である。
【図８Ｂ】ディスプレイから情報を選択するためのユーザ対話の実施形態の図である。
【図８Ｃ】ディスプレイから情報を選択するためのユーザ対話の実施形態の図である。
【図９Ａ】ディスプレイから情報を選択かつ削除するためのユーザ対話の実施形態の図である。
【図９Ｂ】ディスプレイから情報を選択かつ削除するためのユーザ対話の実施形態の図である。
【図９Ｃ】ディスプレイから情報を選択かつ削除するためのユーザ対話の実施形態の図である。
【図９Ｄ】ディスプレイから情報を選択かつ削除するためのユーザ対話の実施形態の図である。
【図１０Ａ】ディスプレイ上に示された３次元インタフェースを回転させるためのユーザ対話の実施形態の図である。
【図１０Ｂ】ディスプレイ上に示された３次元インタフェースを回転させるためのユーザ対話の実施形態の図である。
【図１０Ｃ】ディスプレイ上に示された３次元インタフェースを回転させるためのユーザ対話の実施形態の図である。
【図１１】ディスプレイ上に示された項目をズームイン及びズームアウトするためのユーザ対話の実施形態の図である。
【図１２】動作認識システムを起動及び停止するためのユーザ対話の実施形態の図である。
【発明を実施するための形態】
【０００６】
動作又は動作／運動組合せを使用するユーザインタフェースとのタッチレス対話のための装置、システム、及び方法の実施形態を説明する。実施形態の理解を提供するために特定の詳細を説明するが、当業者は、説明する詳細の１又は２以上なしで又は他の方法、構成要素、材料などを使用して本発明を実施することができることを認識するであろう。。一部の事例では、公知の構造、材料、又は作動は、詳細に示されず又は説明されないが、それにも関わらず本発明の範囲内である。
【０００７】
本明細書を通して「一実施形態」又は「実施形態」への言及は、説明する特徴、構造、又は特性を少なくとも１つの説明する実施形態に含めることができ、そのために「一実施形態では」又は「実施形態では」の出現の全てが必ずしも同じ実施形態を指すとは限らないことを意味する。更に、説明する特徴、構造、又は特性は、１又は２以上の実施形態にあらゆる適切な方式で組み合わせることができる。
【０００８】
図１Ａは、１又は２以上の人体部分の動作及び動作／運動組合せによってユーザがユーザインタフェースと対話し、かつユーザインタフェースを通して１又は２以上の内在システムを制御することが可能になるユーザインタフェースシステム１００の実施形態を示している。図示の実施形態では、人体部分は、人間の手であるが、他の実施形態では、頭又は顔のような他の人体部分の動作又は動作／運動組合せを使用することもできる。更に他の実施形態は、複数の身体部分の動作及び動作／運動組合せを使用することができる。
【０００９】
システム１００は、画像処理プロセッサ１１４に通信的に結合されたカメラ１０２を含む。画像処理プロセッサ１１４は、次に、コンピュータ１１６に通信的に結合され、コンピュータ１１６は、コントローラ／グラフィックユーザインタフェース（ＧＵＩ）ドライバ１２４に通信的に更に結合される。コントローラ／ＧＵＩドライバ１２４は、次に、ディスプレイ１２６、１又は２以上の内在システム１〜３に、及び一部の実施形態では１又は２以上の追加のディスプレイ１３６に通信的に更に結合される。
【００１０】
カメラ１０２は、人間の手１１０のような物体の立体画像又は映像を生成するために協働する１対の離間したレンズ１０４ａ〜１０４ｂを含むＲＧＢ立体カメラである。レンズ１０４ａ〜１０４ｂは、各レンズが手１１０の僅かに異なる視点を有するように離間しており、手１１０の異なる視点は、手の立体的（すなわち、３次元）画像を提供することができるのに必要である。各レンズ１０４ａ〜１０４ｂは、各レンズがその対応する画像センサの上に画像をフォーカスさせるように画像センサに光学的に結合され、センサＳ１は、レンズ１０４ａに光学的に結合され、センサＳ２は、レンズ１０４Ｂに光学的に結合される。センサＳ１及びＳ２は、マイクロプロセッサ１０６に通信的に結合され、それは、次に、通信インタフェース１０８に結合され、それを通してカメラ１０２は、取り込まれた映像又は静止画像を画像処理プロセッサ１１４に送信することができる。カメラ１０２として使用することができる適切な市販の立体カメラは、カリフォルニア州サンタクララ所在のインテル・コーポレーション製のＲｅａｌＳｅｎｓｅ系列のカメラである。
【００１１】
画像処理プロセッサ１１４及びコンピュータ１１６は、カメラ１０２から受信した画像を連携して処理し、ユーザの手１１０の動作又は動作／運動組合せを決定する。図示の実施形態では、画像処理プロセッサ１１４及びコンピュータ１１６は、別々の構成要素として示すが、他の実施形態では、画像処理プロセッサ１１４及びコンピュータ１１６は、同じ構成要素に具現化することができ、例えば、別の実施形態では、画像処理プロセッサ１１４及びコンピュータ１１６は、単一コンピュータ上で実行される、すなわち、単品のハードウエア上で実行される異なる処理とすることができる。
【００１２】
図示の実施形態では、カメラ１０２から画像又は映像を受信した画像処理プロセッサ１１４は、その画像又は映像を処理してユーザの手１１０のデジタル表現を生成することができる。例えば、画像処理プロセッサ１１４上で実行されるソフトウエアは、一実施形態では指関節又は他の関節のような手のある一定の有利な部分を識別し、これらの有利な部分の場所に基づいて手のデジタル表現を生成することができる。手１１０の動作のデジタル表現を生成した状態で、画像処理プロセッサ１１４は、デジタル表現に基づいて、手１１０によって行われた動作又は動作／運動組合せを識別することができる。これに代えて、動作識別は、コンピュータ１１６によって実行されるか、又は部分的に画像処理プロセッサ１１４によってかつ部分的にコンピュータ１１６によって実行することができる。デジタル表現を生成して動作を識別することができる適切な市販ソフトウエアは、東京所在のソニー・コーポレーション製のＳｏｆｔＫｉｎｅｔｉｃソフトウエアを含む。
【００１３】
本出願の目的に対して、手の動作は、例えば、手の異なる部分の相対位置を指す。手の運動は、Ｘ、Ｙ、又はＺ方向の手の直線平行移動、Ｘ、Ｙ、又はＺ軸のいずれかの周りの手の角度回転、Ｘ、Ｙ、又はＺ軸に沿った又はそれらの周りの人差し指１１２のような手のいずれかの部分の平行移動又は回転、手１１０又は手のいずれかの部分の速度、加速度、加速度の変化率のような直線的又は角度的な運動に関連付けられた量、又は手又は手のいずれかの部分の運動の欠如のうちのいずれかを指す。
【００１４】
コンピュータ１１６は、画像処理プロセッサ１１４に通信的に結合され、かつメモリ１１８とストレージ１２２の両方に通信的に結合されたマイクロプロセッサ１２０を含む。一実施形態では、コンピュータ１１６は、画像処理プロセッサ１１４から手のデジタル表現を受信し、次に、そのデジタル表現を分析して手１１０によって行われた動作又は動作／運動組合せを識別することができる。動作又は動作／運動組合せを識別した状態で、コンピュータ１１６は、識別した動作又は動作／運動組合せをユーザインタフェース指令に関連付けようと試みることができる。これは、例えば、識別した動作又は動作／運動組合せをライブラリ、データベース、ルックアップテーブルに格納された既知の動作及び動作／運動組合せと比較することにより、又はメモリ１１８又はストレージ１２２に格納された他の検索及び関連付け機構によって行うことができる。動作又は動作／運動の識別が個別の画像処理プロセッサ１１４によって以前に行われてた場合に、コンピュータ１１６は、単に画像処理プロセッサから情報を受信し、それを直接に使用してユーザインタフェース指令に識別された動作又は動作／運動組合せを関連付けることができる。他の実施形態では、システムは、厳密に符合及び比較アルゴリズムを実行するのではなく、「学習」及び適応して動作を識別することができる。例えば、データベースとライブラリが存在する場合でも、システムは、依然として個々のパターンを区別することを学習し、精度を改善するために個々のパターンに関する情報を追加してデータベースを修正することができる。
【００１５】
コントローラ／ＧＵＩドライバ１２４は、コンピュータ１１６が手１１０によって行われた動作又は動作／運動組合せに対応すると決定したユーザインタフェース指令を受信するためにコンピュータ１１６に通信的に結合される。図示の実施形態では、それは、別々の構成要素として示すが、他の実施形態では、コントローラ／ＧＵＩドライバ１２４の機能は、コンピュータ１１６に組み込んでそれによって実行することができる。コントローラ／ＧＵＩドライバ１２４はまた、ディスプレイ１２６に結合され、それは、１組の１又は２以上のグラフィックユーザインタフェース制御器を表示することができ、それは、次に、コンピュータ１１６から受信したユーザインタフェース指令に基づいて選択、操作、又は他に対話することができる。一部の実施形態では、コントローラ／ＧＵＩドライバ１２４はまた、１又は２以上の追加のディスプレイ１３６に結合することができる。追加のディスプレイ１３６を有する実施形態では、異なるディスプレイは、同じか又は異なるユーザインタフェース制御の対を表示することができ、動作又は動作／運動組合せは、１つのディスプレイから別のものに制御を移すのに使用することができる。
【００１６】
ディスプレイ１２６上に示されるグラフィックユーザインタフェース制御器は、コンテクスト依存とすることができ、すなわち、ディスプレイ１２６上に示されるユーザインタフェース制御器の特定の組は、それらが使用されているシステム、又は特定システム内でそれらが使用されている機能に依存する可能性がある。図示の実施形態では、グラフィックユーザインタフェース制御器は、内在システムの何らかの属性を変更するために手１１０の正しい動作及び運動によって位置１３２ａから位置１３２ｂまでハンドル１３２をその上で移動することができるスライダ１３０である。そのようなグラフィックユーザインタフェース制御器は、例えば、音響システムの音量が１つの値から別のものに調節される実施形態で有用である可能性があると考えられる。音響システムの低音、高音、バランス、フェードなどのような複数の音質を調節する時に、グラフィックユーザインタフェース制御器の異なる組、例えば、複数のスライダ又は何らかの他のタイプの制御器（例えば、図４Ａ〜１０を参照）を使用することができるであろう。一部の実施形態では、手１１０によって行われた動作のグラフィック表現１２８は、ディスプレイ１２６上に及び存在する場合は追加のディスプレイ１３６上に表示することができ、画面上のその運動は、視覚ユーザフィードバックを提供するために手１１０の実際の運動を追跡することができる。異なる又は追加の視覚ユーザフィードバックを提供するために、他の制御器の代わりに又はそれに加えて可視カーソルのようなユーザインタフェース制御器を設けることができる。
【００１７】
システム１００は、ユーザが動作を使用してディスプレイ上に示されたユーザインタフェース制御器と対話し、一方で実質的にリアルタイムのフィードバックをユーザに提供することを可能にする。取りわけ、実質的にリアルタイムのフィードバックは、ユーザインタフェース制御器のような画面上に表示された項目の運動に手の動作／運動組合せのうちの運動との関係を持たせることによって提供される。例えば、上述のスライダ実施形態では、動作がカーソルを画面上に出現させることができると考えられる。画面上のそのカーソルの運動は、次に、手の運動をリアルタイムで追跡し、ユーザがスライダに到達してそれを選択することを支援するであろう。スライダが選択された状態で、次に、位置１３２ａから１３２ｂまで移動しているスライダの運動も、ユーザの手の運動を追跡し、リアルタイムの視覚フィードバックをユーザに提供することができる。ユーザインタフェース制御器及びディスプレイとの動作／運動対話の多くの他の例は、以下に図に示して議論する。
【００１８】
ユーザフィードバックデバイス１３４は、ディスプレイ１２６及び１３６を通じた以外にフィードバックをユーザに提供することができるようにするためにコンピュータ１１６に通信的に結合される。例えば、様々な実施形態では、手１１０の動作又は動作／運動組合せが画像処理プロセッサ１１４で認識されなかった場合、又はコンピュータ１１６によって既知のユーザインタフェース制御器と相関させることができない場合に、フィードバックデバイス１３４は、動作が認識されなかったので再入力する必要があること、動作は認識されたが指令が失敗したこと、アクションが確認されたことなどのある一定の条件をユーザに警告することができる。一実施形態では、ユーザフィードバックデバイス１３４は、視覚的（例えば、光又は他の視覚インジケータ）又は聴覚的（すなわち、音）フィードバックをユーザに提供することができるが、他の実施形態では、ユーザフィードバックデバイス１３４は、振動のような触覚フィードバックをユーザの身体の一部に提供することができる。例えば、自動車では、ユーザフィードバックデバイス１３４は、フィードバックとして運転者の背中に振動を与えるために運転席の背面に位置決めされた振動機構とすることができる。
【００１９】
内在システム１〜３もコントローラ／ＧＵＩドライバ１２４に結合される。図示の実施形態では３つのシステムだけを示すが、他の実施形態は、図示よりも多いか又は少ないシステムを有することができる。システム１〜３は、その属性が、コントローラ／ＧＵＩドライバ１２４によってディスプレイ１２６及び１３６上に表示されるユーザインタフェース制御器との手の動作又は動作／運動組合せの対話によって制御されるシステムである。例えば、自動車実施形態では、システム１は、ディスプレイ上に示されたスライダ１３０と対話する動作及び運動で音量が調節される音響システムとすることができる。自動車実施形態では、システム１〜３は、音響システム、ナビゲーションシステム、電話システム、又はステアリング、サスペンション、空調、車内照明、車外照明、施錠、バッテリ管理、及び動力管理などを制御するような自動車システムを含むことができる。
【００２０】
図１Ｂは、制御システム１５０の別の実施形態を示している。制御システム１５０は、ほとんどの点で制御システム１００と類似している。制御システム１００と１５０の主な違いは、制御システム１５０が立体カメラ１０２を飛行時間カメラ１５２で置換している点である。飛行時間カメラ１５８は、画像センサＳ１に光学的に結合された単一レンズ１５４を含む。１又は２以上の放射線源１５６ａ〜１５６ｂは、放射線１５８を手１１０に向ける。センサＳ１は、プロセッサ１５９と連携して、反射された放射線１６０の遅延を測定して放射線の飛行時間を決定する。次に、プロセッサ１５９は、飛行時間情報を使用して手１１０の３次元画像又は映像を生成することができる。制御システム１５０の実施形態に使用することができる適切な市販の飛行時間カメラは、ベルギー所在のＭｅｌｅｘｉｓ  ＮＶ又はその関連会社から入手可能なものを含む。
【００２１】
図２は、システム１００及び１５０がそれによって作動することができる処理２００の実施形態を示している。処理２００は、ブロック２０２から始まる。ブロック２０４では、カメラは、起動されて、それがその視野内にかつその被写界深度内に現れる動作及び／又は運動を見る状態に置かれる。
【００２２】
ブロック２０６では、カメラは、ユーザの手の映像、静止画像、又は一連の静止画像を取り込む。ブロック２０８では、処理は、現在のユーザインタフェース（ＵＩ）コンテクストが動作だけを必要とするか、又は動作／運動組合せを必要とするか否かを決定する。ブロック２０８では、現在のユーザインタフェースコンテクストが動作及び運動を必要とすると処理が決定した場合に、処理は、ブロック２１０に進み、次にブロック２１２に進んでユーザの手のデジタル表現を生成する。
【００２３】
ブロック２１４では、処理は、ブロック２１２で生成された手のデジタル表現に基づいて動作を決定し、ブロック２１６では、同じくブロック２１２で生成されたデジタル表現に基づいて手の運動を計算する。ブロック２１８では、処理は、動作／運動組合せが、現在のＵＩコンテクスト内のユーザインタフェース制御器に関連付けられた動作のライブラリ内に見つかるか否かを調べる。
【００２４】
ブロック２１８では、動作／運動組合せが現在のライブラリにないと処理が決定した場合に、処理は、ブロック２１９に進み、動作／運動組合せが見つからなかった又は受容されなかったことを示すユーザフィードバックを提供し、次にブロック２０４に戻り、更に動作及び／又は運動を見る。しかし、ブロック２１８では、動作／運動組合せが実際にライブラリ内に見つかると処理が決定した場合に、処理は、ブロック２２０に進み、表示されたＵＩ制御器の組内のＵＩ制御器に対して動作／運動を相関させるか又は関連付ける。ブロック２２２では、処理は、適用可能なユーザインタフェース制御器にＵＩ指令を送信し、それに応じてＵＩ制御器を更新し、次にブロック２２４に進む。ブロック２２４では、指令が、起動又は操作されたばかりのユーザインタフェース制御器に関連付けられたシステムにユーザインタフェースコントローラから送られる。次に、処理は、ブロック２２５に進み、適用可能な場合はインタフェースコンテクストを有するユーザを更新し、次にブロック２０４に戻り、ユーザからの更に別の動作及び／又は運動を見る。
【００２５】
ブロック２０８では、現在のユーザインタフェースコンテクストが動作だけを必要とすると処理が決定した場合に、処理は、ブロック２２６に進む。ブロック２２８では、処理は、手１１０のデジタル表現を生成し、ブロック２３０では、処理は、ブロック２２８で生成されたデジタル表現に基づいて、手によって形成された動作を決定する。ブロック２３２では、処理は、ブロック２３０で決定された動作が現在の動作ライブラリに存在するか否かを決定する。ブロック２３２では、動作が現在のライブラリにないと処理が決定した場合に、処理は、ブロック２３３に進み、動作が受容されなかったこと及び新たな試みを必要とすることを示すフィードバックをユーザに提供する。
【００２６】
ブロック２３２では、動作が実際に現在の動作ライブラリにあると処理が決定した場合に、処理は、ブロック２３４に進み、現在表示されているユーザインタフェース制御器に関連付けられたユーザインタフェース指令に対して動作を相関させるか又は関連付ける。ブロック２３６では、ユーザインタフェース指令がユーザインタフェース制御器に適用され、ブロック２３８では、指令が、ユーザインタフェース制御器により、起動又は操作されたばかりのユーザインタフェース制御器に関連付けられたシステムに送信される。音響システムの音量調節に関する上述の自動車の例において、ブロック２３８では、スライダを正しい音量に調節した場合に、その情報が内在の音響システムに送られて実際に音量を調節する。次にシステムは、ブロック２４０に進み、適用可能な場合はＵＩコンテクストが更新され、次にブロック２０４に戻り、更に別の動作を見る。
【００２７】
図３Ａ〜３Ｂは、ユーザインタフェースシステム１００又は１５０の自動車実施形態を示している。図３Ａは、複数のディスプレイを含む自動車のダッシュボード３０２を示している。図示の実施形態では、ダッシュボード３０２は、３つのソフトウエア構成可能表示領域３０４、３０６、及び３０８に異なるものを表示するように構成することができる単一ディスプレイを含むが、他の実施形態では、ダッシュボード３０２は、図示とは異なる数の表示領域を含むことができ、更に他の実施形態では、領域３０４、３０６、及び３０８は、物理的に別々のディスプレイとすることができる。図示の実施形態では、ソフトウエア構成可能表示領域３０６は、運転者及び同乗者が動作で対話することができる対話型マップを示すことができる。ダッシュボード３０２はまた、表示領域３０４、３０６、及び３０８の下方に位置決めされた手動作認識カメラ３１０及び３１２を含み、これらは、運転者の手の少なくとも一方と前席同乗者の両手との映像又は画像を取り込むことができる。ディスプレイ３１３は、ユーザ入力デバイスとして作用し、かつ追加の表示機能を運転者に提供するためにステアリングホイールの中心に位置決めすることができる。
【００２８】
顔面カメラ３０５も、運転者及び前席同乗者の顔の映像又は静止画像を取り込むために車室内に、例えば、バックミラーのある場所に、又はそれがない場合はそれが通常ある場所に位置決めすることができる。カメラ３０５は、顔認識のために使用することができ、又は顔の動作又は運動認識を支援する動作認識システムのために使用することができる。例えば、一実施形態では、カメラ３０５は、車の正規ユーザを識別するために顔認識を使用することができる。他の実施形態では、カメラ３０５を使用してある一定のユーザ頭部運動、すなわち、承諾（すなわち、「イエス」）を示すうなずき、又は不承諾（すなわち、「ノー」）を示す頭の左右回転を認識することができる。更に他の実施形態は、手動作と頭部運動の間の相互作用を使用することができる。例えば、手動作を使用してユーザインタフェースから項目を選択し、次に頭部運動を使用してその選択を承諾又は不承諾にすることができる。更に他の実施形態では、頭部運動の認識は、例えば、頭部運動が現在のユーザインタフェースコンテクスト内で関連していない場合は動作認識システムにより、又は彼らが頭部運動を使用したくない場合はユーザにより、選択的にオン及びオフにすることができる。
【００２９】
上述の異なる構成要素は、実質的にシステム１００又は１５０のように互いに結合されて自動車内装の中に動作認識機能を提供する。システム１００又は１５０の他の要素は、車内の他所に、例えば、ダッシュボードに又はトランクに置くことができる。
【００３０】
図３Ｂは、自動車内装３００の平面図である。自動車内装３００は、ダッシュボード３０２を含み、運転席、前席同乗者席、及び２つの後部同乗者席も含む。上述のように、ダッシュボード３０２内のディスプレイ３０４、３０６、及び３０８は、運転席及び前席同乗者席に座った個人にディスプレイを提供する。後部同乗者席に座っている個人にディスプレイを提供するために、後席同乗者ディスプレイ３１４を運転席及び前席同乗者席の背面に位置決めすることができる。各後席同乗者ディスプレイ３１４は、表示ユニット、自撮り画像又は顔の動作及び運動を取り込むための顔面カメラ３１５、及び各同乗者の手の動作及び運動を取り込むためのハンドカメラ３１６を含む。
【００３１】
フィードバック機構３１８は、動作システムの使用に関する触覚フィードバックをユーザに提供するために、運転席の背面に、並びに前席同乗者席の背面及び後部同乗者席の背面に位置決めされる。従って、車の座席を占めている各個人は、たとえそれらが手の動作、顔の動作などであっても、動作を通して自分のディスプレイを制御することができる。運転者の混乱を防ぐために、フィードバック機構３１８によって動作制御システムに提供される触覚フィードバックは、車内の他の触覚フィードバックと異なるものとすることができる。例えば、車線支援システムが振動フィードバックを提供する場合に、フィードバックシステム３１８は、まるで小さいハンマーで打たれたように感じる鋭いタップ（タップティックフィードバックとしても公知）をユーザに提供することができる。異なるタップパターンを使用して、成功（又は失敗）アクションが顔又は手の動作によって開始されたという異なる条件を確認することができる。
【００３２】
図３Ｃは、例えば、自動車内装３００の中で後席同乗者ディスプレイとして使用することができるディスプレイ３２５の実施形態を示している。ディスプレイ３２５は、後方の同乗者が自分のタブレットコンピュータをディスプレイとして使用することができるように前部座席の背面に取り付けることができる。言い換えれば、ディスプレイ３２５は、ディスプレイブラケット３２６を個別のタブレットコンピュータ３３４と組み合わせて座席の背面にディスプレイを形成する。
【００３３】
ディスプレイ３２５は、ディスプレイブラケット３２６と、複数のクランプ３３２ａ〜３３２ｄとを含む。ブラケット３２６に結合されているのは、１対のカメラ、すなわち、顔面カメラ３２８及びハンドカメラ３３０である。顔面カメラ３２８は、自撮り画像、顔の動作認識、又は顔に関連付けられた生体認証機能のために後席同乗者によって使用することができるのに対して、ハンドカメラ３３０は、後席同乗者から手の動作及び運動を検出してそれぞれのディスプレイを制御するのに使用することができる。後部座席の同乗者にディスプレイを提供するために、同乗者は、タブレットコンピュータ３３４をブラケット３２６に挿入することができ、その場合に、タブレットコンピュータ３３４は、タブ３３２ａ〜３３２ｄによって定位置に保持される。図には示さないが、ブラケット３２６はまた、タブレットコンピュータ３３４がユーザインタフェースシステム１００又は１５０と通信するのに必要とされる電気接続及び通信接続を提供する。
【００３４】
図４Ａ〜４Ｅは、特定のユーザインタフェース制御器を起動してかつ使用するために動作及び運動を使用する実施形態を示している。図４Ａ〜４Ｃは、ディスプレイ４０２上のユーザインタフェース制御器を起動するのに使用することができる動作／運動組合せを示している。親指４０４ａ、人差し指４０４ｂ、中指４０４ｃ、薬指４０４ｄ、及び小指４０４ｅを含む手４０４は、全ての指を完全に伸ばして手のひら又は手の甲をディスプレイ４０２と実質的に平行にした状態に保持し、次に矢印４０６に示すようにカメラ４０３の視野内で左右に移動してユーザインタフェース制御器を起動する。
【００３５】
図４Ｂは、ディスプレイ４０２上のユーザインタフェース制御器を起動する別の実施形態を示している。手４０４では、人差し指４０４ｂを伸ばした状態に保持する一方、中指、薬指、及び小指４０４ｃ〜４０４ｄを引っ込める。人差し指４０４ｂの端部を単独で又は手４０４の残った部分と共にカメラ４３２に対して円運動で移動してディスプレイを起動する。
【００３６】
図４Ｃは、ディスプレイ４０２を起動する別の実施形態を示している。手４０４は、手のひら又は手の甲をディスプレイ４０２と実質的に平行にした状態に、かつ人差し指４０４ｂ及び中指４０４ｃを伸ばして残りの指を引っ込めた状態に保持する。次に、手４０４をカメラ４０３の前で円運動又は楕円運動で移動してユーザインタフェース制御器を起動する。
【００３７】
図４Ｄは、図４Ａ〜４Ｃに示す動作で起動することができるユーザインタフェースの実施形態を示している。ユーザインタフェース制御器４０８は、１〜８の番号が付けられた複数の扇形に分割された円環であり、各扇形は、異なる指令オプションを表している。従って、ユーザインタフェース４０８は、８つの異なる指令オプションをユーザに提供する。
【００３８】
図４Ｅは、ユーザインタフェース４０８から指令オプションを選択する実施形態を示している。指令オプション１〜８のうちの１つを選択するために、手４０４は、指を伸ばして手のひら又は手の甲をディスプレイ４０２と実質的に平行にした状態に保持する。扇形及び従ってその扇形によって表された指令オプションを選択するために、手４０４を円環の中心から望ましい扇形への方向に実質的に対応する方向に移動する。従って、手４０４は、矢印４の方向に動いて扇形４を選択する。手が扇形４の方向に動く時に扇形４は徐々に塗り潰され、完全に塗り潰された状態でそれが表す指令が選択される。同様に、ユーザが指令オプション１を選択したい場合に、手４０４を円環の中心から扇形１への方向に実質的に対応する矢印１の方向に移動する。手４０４が扇形１の方向に動く時に、扇形１は徐々に塗り潰され、完全に塗り潰された状態でその扇形によって表される指令が選択される。
【００３９】
図５Ａ〜５Ｄは、ユーザインタフェース制御器の起動及びそのユーザインタフェース制御器からの指令オプションの選択の別の実施形態を示している。図５Ａは、全ての指４０４ａ〜４０４ｅを伸ばし、手のひら又は手の甲をディスプレイ４０２と実質的に平行にした状態に手４０４を保持して、矢印に示すようにカメラ４０３の視野内で左右に手を移動することによるユーザインタフェース制御器の起動を示している。
【００４０】
図５Ｂは、図５Ａに示す動作／運動によって起動されるユーザインタフェース制御器を示している。ユーザインタフェース制御器は、２列のボックス、すなわち、１〜４の番号が付いたボックスを有する上段列と、５〜８の番号が付いたボックスを有する下段列とを含む。勿論、他の実施形態は、図示とは異なる数のボックスを有することができる。
【００４１】
図５Ｃは、ユーザインタフェース制御器から列のうちの１つの選択を示している。上段列を選択するために、手４０４は、手のひらを平らにして指を伸ばした状態に保持する。次に、伸ばした指を上に向けて上段列を選択し、又は下に向けて下段列を選択する。
【００４２】
図５Ｄは、図５Ｂのユーザインタフェース制御器内の特定列内の特定ボックス、この場合は上段列のボックス４の選択を示している。図５Ｃに示すように上段列を選択すると、上段列を選択するのに使用するのと同じ動作及び向きに手４０４を保持し（すなわち、上方指向の指）、左右に移動して特定のボックスを選択する。図示の例では、ユーザがボックス４を選択したい場合に、ボックス４が強調表示されるまで手４０４をディスプレイ４０２の右側に向けて移動する。ボックス４が強調表示された状態で、手４０４を動かさないように保ってボックスが選択され、言い換えると、ボックス４が塗り潰され、選択されたことを示すまで、手は定位置に留まることが許される。
【００４３】
図６Ａ〜図６Ｄは、図３Ｂに示すようなソフトウエア定義式ディスプレイ内の表示領域の大きさを修正する動作対話の実施形態を示している。図示の実施形態では、画面は最初に２つのソフトウエア定義式領域６０２及び６０４に分割される。図示の実施形態では、領域６０２は、自動車関連情報と電子バックミラーとを示すのに対して、領域６０４は地図ディスプレイを示している。第３のソフトウエア定義式表示領域６０６を生成するために、ユーザは動作を使用して領域６０４を縮小することができる。図６Ａ〜６Ｂは、第１の実施形態を示している。ユーザは最初に人差し指を伸ばす動作を行い、次に、実質的にリアルタイムで指の運動を追跡する円形カーソルが領域間（又は表示内）セパレータの場所にほぼ対応する場所６１０に位置決めされるように手を位置決めする。人差し指を伸ばしたままで、ユーザは、場所６１０から場所６１２に手を移動する。手が動く時に、領域間セパレータが追従し、実質的にリアルタイムで手の運動を追跡し、手が止まると停止する。更に、領域間セパレータ６０８が追従する時に、新しいソフトウエア定義式表示領域６０６がその片側に、この実施形態では右側に現れる。手が場所６１２に達すると、ユーザは単に手を下げて領域間セパレータがこの時点で望ましい位置にあり、３つの表示領域は望ましい大きさであることを示す（図６Ｂを参照）。
【００４４】
図６Ｃ〜６Ｄは、第２の実施形態を示している。ユーザは最初に人差し指を伸ばす動作を行い、次に、実質的にリアルタイムで指の運動を追跡する円形カーソルが領域間（又は表示内）セパレータ６０８の場所にほぼ対応する場所６１０に位置決めされるように手を位置決めする。領域間セパレータ６０８を選択するために、ユーザは、次に、セパレータ６０８を把持するかのように拳を作る。手に拳を作ったままで、ユーザは場所６１０から場所６１２に拳を移動する。拳が動く時に、領域間セパレータが追従し、実質的にリアルタイムで拳の運動を追跡し、拳が止まると停止する。更に、領域間セパレータ６０８が追従する時に、新しいソフトウエア定義式表示領域６０６がその片側に、この実施形態では右側に現れる。拳が場所６１２に達すると、ユーザは単に指を伸ばして開いた手にし（図６Ｄ参照）、それによって彼らの把持を解除し、領域間セパレータがこの時点で望ましい位置にあり、表示領域６０４及び６０６が望ましい大きさであることを示す。
【００４５】
図７Ａ〜７Ｃは、共に別の表示領域から地図タイムラインに事象を追加する実施形態を示している。ディスプレイ７００は、図３Ｂに示す車のダッシュボードディスプレイのようなディスプレイであり、すなわち、異なるソフトウエア定義式表示領域７０２、７０４、及び７０６上に異なるものを表示するように構成された単一ディスプレイ７００である。図示の実施形態では、中央領域７０４に地図及びタイムラインが表示されるのに対して、領域７０６は利用可能な食事オプションのような情報を示している。ユーザは、表示領域７０６から食事オプションの１つをスケジュールに追加したいと望む場合に、手の動作及び運動を使用して領域７０６から望ましい娯楽事象を選択し、領域７０４にドラッグすることができる。
【００４６】
図７Ａに示すように、図示の実施形態では、ユーザは、人差し指を伸ばして円形カーソル７０８を出現させる。人差し指を伸ばしたままで、ユーザは手を移動し、手が動く時にカーソル７０８は人差し指に追従し、実質的にリアルタイムで指の運動を追跡して指が止まると停止する。カーソル７０８が望ましい項目７１０に到達すると、項目は強調表示される。図７Ｂに示すように、望ましい項目が強調表示された状態で、ユーザはつまむ動作に変えて、項目を把持するかのように人差し指、中指、及び場合によっては薬指及び小指を親指と合わせる。手がつまむ動作をしたままで、ユーザは、矢印に示すように地図ディスプレイに向けて手を移動し、カーソル７０８及び選択された項目７１０は、それに応じて表示領域７０６から表示領域７０８に移動し、矢印に示すように実質的にリアルタイムで手の運動を追跡する。図７Ｃに示すように、カーソル７０８及び選択された項目７１０が地図上に現れると手は止まる。選択した項目７１０を地図上に解放するために、ユーザは、手のひらをディスプレイに向けた状態で手が完全に開くように指を全て伸ばす。表示領域７０４で解放されると、選択された項目７１０は、タイムラインに追加され、ローカル又はリモートの適切なユーザデータソース全ては、新しい事象を含むように相応に更新される。
【００４７】
図８Ａは、ユーザがディスプレイ８００から項目を選択する実施形態を示している。ディスプレイ８００は、３つのソフトウエア定義可能表示領域８０２、８０４、及び８０６を有する単一ディスプレイである。とりわけ、表示領域８０６は、車内で再生することができる音楽のような娯楽オプションを示している。図示の実施形態では、ユーザは人差し指を伸ばして表示領域８０６に向け、円形カーソル８０８を出現させる。表示から項目を選択するために、ユーザは人差し指を伸ばしたままで手を移動し、手が動く時にカーソル８０８は人差し指に追従し、実質的にリアルタイムで指の運動を追跡して指が止まると停止する。カーソル８０８が望ましい項目８１０に到達すると、ユーザは、矢印に示す通りに手又は人差し指だけを画面に向け、ぐいと押して画面を突こうとするかのように項目８１０が望ましい選択であることを確認する。
【００４８】
図８Ｂは、ユーザがディスプレイ８００から項目を選択する実施形態を示している。図示の実施形態では、ユーザは、親指、人差し指、中指、薬指、及び小指を伸ばして手のひらを表示領域８０６に向けた状態で平手を形成し、円形カーソル８０８を出現させることにより、項目を選択する。表示から項目を選択するために、ユーザは手を移動し、手が動く時にカーソル８０８は手に追従し、実質的にリアルタイムで手の運動を追跡して手が止まると停止する。カーソル８０８が望ましい項目８１０に到達すると、ユーザは、迅速に手を閉じて拳にし、次に手を再び開いて手のひらをディスプレイに向けた状態の平手に戻すことにより、この項目を自分の選択として確認する。図示の実施形態は、人差し指、中指、薬指、及び小指の全４本を伸ばした平手動作を使用するが、他の実施形態では４本の指全てを使用する必要はなく、これらの指のうちの１本、２本、又は３本を使用する動作を使用することができ、確認動作を形成するために閉じる（例えば、手を閉じて拳又はつまむ動作を形成する）必要がある指の数は相応に修正される。
【００４９】
図８Ｃは、ユーザがディスプレイ８００から項目を選択する実施形態を示している。図示の実施形態では、ユーザは、親指、人差し指、中指、薬指、及び小指を伸ばして手のひらを表示領域８０６に向けた状態で平手を形成し、円形カーソル８０８を出現させることにより、項目を選択する。表示から項目を選択するために、ユーザは手を移動し、手が動く時にカーソル８０８は手に追従し、実質的にリアルタイムで手の運動を追跡して手が止まると停止する。カーソル８０８が望ましい項目８１０に到達すると、ユーザは、上下の運動８１２でうなずいて「イエス」を示すことにより、この項目を自分の選択として確認する。ユーザが何かをユーザに示唆する実施形態では、ユーザは、左右の運動８１４で頭を振って「ノー」を示すことにより、提案を断ることができる。図示の実施形態は、人差し指、中指、薬指、及び小指の全４本を伸ばした平手動作を使用するが、他の実施形態では４本の指全てを使用する必要はなく、これらの指のうちの１本、２本、又は３本を使用する動作を使用することができる。他の実施形態はまた、図示とは異なる頭部運動を使用することができる。
【００５０】
図９Ａ〜９Ｄは、地図タイムラインから項目を選択してかつ削除する実施形態を示している。ディスプレイ９００は、３つのソフトウエア定義可能表示領域９０２、９０４、及び９０６を有する単一ディスプレイである。地図とタイムラインは中央表示領域９０４に示されている。図９Ａ〜９Ｂは、第１の実施形態を示している。図示の実施形態では、システムは、事象をタイムライン上に自動的に示すことにより、示唆された事象９０８を有している。ユーザは、示唆された事象９０８を断りたい場合に、人差し指を伸ばして表示領域９０４のタイムラインに向ける。人差し指を伸ばしたままで、ユーザは手を移動し、手が動く時にカーソル９０７は、実質的にリアルタイムでタイムラインに沿った指の運動を追跡する。カーソル９０７が事象の上に来ると、ユーザは、矢印に示す通りに手又は人差し指だけを画面に向け、ぐいと押して画面を突こうとするかのように事象９０８を選択する。図９Ｂに示すように、事象９０８を選択した後に、ユーザはつまむ動作に変えて、項目を把持するかのように人差し指、中指、及び場合によっては薬指及び小指を親指と合わせる。手がつまむ動作をしたままで、ユーザは、矢印に示すように表示領域９０２に向けて手を移動し、選択された項目９０８は、それに応じて表示領域９０４から表示領域９０２に移動し、矢印に示すように実質的にリアルタイムで手の運動を追跡する。事象９０８は、表示領域９０４にもはやないと直ちに、タイムラインから自動的に削除され、必要な全てのデータソースが相応にアップロードされる。
【００５１】
図９Ｃ〜９Ｄは、別の実施形態を示している。ユーザが、示唆された事象９０８を断りたい場合に、ユーザは、親指、人差し指、中指、薬指、及び小指を伸ばし、手のひらをディスプレイに向けて平手を形成する。手を開いたままで、ユーザは手を移動し、手が動く時に手の運動はカーソル９０７によって追跡され、実質的にリアルタイムで表示される。図９Ｄに示すように、カーソル９０７が示唆された事象９０８に到達すると、ユーザは、示唆された事象９０８を把持するかのように手を閉じて拳を作り、事象９０８を選択する。示唆された事象９０８を選択した後に、ユーザは、手で拳を形成したままで表示領域９０２に向けて手を移動し、それにより、示唆された事象９０８を表示領域９０２に向けてドラッグする。項目９０８は、相応に表示領域９０４から表示領域９０２に移動し、矢印に示すように、実質的にリアルタイムで手の運動を追跡する。事象９０８がもはや表示領域９０４にないと、ユーザは、手を再び開いて手のひらをディスプレイに向けた状態の平手に戻すことにより、項目を解放し、それによって削除する。図示の実施形態は、人差し指、中指、薬指、及び小指を伸ばした平手動作を使用するが、他の実施形態では４本の指全てを使用する必要はなく、これらの指のうちの１本、２本、又は３本を使用する動作を使用することができ、選択動作を形成するために閉じる（例えば、手を閉じて拳又はつまむ動作を形成する）必要がある指の数は、相応に修正される。
【００５２】
図１０Ａ〜１０Ｃは、ユーザがディスプレイから項目を選択する実施形態を示している。ディスプレイ１０００は、３つのソフトウエア定義可能表示領域１００２、１００４、及び１００６を有する単一ディスプレイである。取りわけ、表示領域１００４は、３次元ユーザインタフェースオブジェクト１００８を示し、その周りには様々な選択可能ユーザオプション１０１２が位置決めされている。図１０Ａは、一実施形態を示している。図示の実施形態では、ユーザは、オブジェクト１００８を抱くかのように手を抱く位置に保持する。手を抱く位置にしたままで、ユーザは手を回転させ、手が回転すると、オブジェクト１００８は手の回転に追従し、手の運動を実質的にリアルタイムで追跡し、手が止まると停止する。特定のユーザオプションが前面に位置決めされた（すなわち、ユーザの最も近くに現れた）状態でオブジェクト１００８が停止すると、そのオプションが自動的に選択される。
【００５３】
図１０Ｂは、別の実施形態を示している。この実施形態では、ユーザは、手のひらをディスプレイに向けて、手が開くように親指、人差し指、中指、薬指、及び小指を伸ばした状態に手を保持する。手を開いた状態で、ユーザは手を上下又は左右に移動し、手が動く時に、３次元インタフェースオブジェクト１００８の回転が手の運動に追従し、実質的にリアルタイムで手の運動を追跡し、手が止まると停止する。ユーザは、望ましい選択可能ユーザオプション１０１２が前面に来た（すなわち、ユーザの最も近くに現れた）時に、迅速に手を閉じて拳にし、次に再び手を開いて手のひらをディスプレイに向けた平手に戻すことにより、そのオプション１０１２を自分の選択として確認する。図示の実施形態は、人差し指、中指、薬指、及び小指を伸ばした平手動作を使用するが、他の実施形態では４本の指全てを使用する必要はなく、これらの指のうちの１本、２本、又は３本を使用する動作を使用することができ、確認動作を形成するために閉じる（例えば、手を閉じて拳又はつまむ動作を形成する）必要がある指の数は、相応に修正される。
【００５４】
図１０Ｃは、アクションを逆にするための動作の実施形態を示している。図示の実施形態では、ユーザは、３次元ユーザインタフェースオブジェクト１００８からユーザオプション１０１２を既に選択している。その項目を選択することにより、メニュー１０１４が現れる。しかし、メニュー１０１４を見直した際にユーザがそのメニューに望んだものが現れていないことに気付いた場合に、ユーザは、手を開いた状態に（手のひらが横を向くように親指、人差し指、中指、薬指、及び小指を伸ばした状態に）保持して、何らかの平手打ちをするかのように強打する運動を作ることにより、３次元ユーザインタフェースオブジェクト１００８に戻ることができる。図示の実施形態では、手の運動は右から左であり、運動中に何らかの手の加速がある。しかし、他の実施形態では、手の運動は左から右とすることができる。３次元ユーザインタフェースオブジェクト１００８及び関連のメニューのコンテキストで例示したが、例示した動作は、以前の状態に戻るためにユーザがアクションを逆にしたいと望むいずれの接点でも使用することができる。図示の実施形態は、人差し指、中指、薬指、及び小指を伸ばした平手動作を使用しているが、他の実施形態では４本の指全てを使用する必要はなく、これらの指のうちの１本、２本、又は３本を使用する動作を使用することができる。
【００５５】
図１１は、例えば、項目を大きく見せる（すなわち、ズームイン）又は小さく見せる（すなわち、ズームアウト）ことにより、ディスプレイ上の項目の外観を修正するのに使用することができる動作及び運動の実施形態を示している。図示の実施形態では、ユーザは、親指、人差し指、中指、薬指、及び小指を伸ばし、手のひらをディスプレイに向けて平手を形成する。手を開いたままで、ユーザは手を移動し、手が動く時に、手の運動はカーソル１１０８によって実質的にリアルタイムで追跡されて表示される。ユーザがズームイン又はズームアウトを望む表示領域（この実施形態では地図ディスプレイを有する中央表示領域１１０４）にカーソル１１０８がある時に、ユーザは、表示領域１１０４を把持するかのように手を閉じて拳を作り、それを選択する。表示領域１１０４を選択した後に、ユーザは、手で拳を形成したままで、表示領域１１０４に向けて（すなわち、画面及び／又は動作カメラに向けて）手を移動し、ディスプレイに示されているものを拡大（すなわち、ズームイン）し、又は表示領域１１０４から離れる（すなわち、画面及び／又は動作カメラから離れる）方向に手を移動してディスプレイに示されているものを小さく（すなわち、ズームアウト）する。
【００５６】
図１２は、動作認識システムを起動する又は停止するのに使用することができる動作及び運動の実施形態を示している。一部の事例では、動作認識システムが常に有効ではないことが有用である可能性がある。車では、例えば、運転者と同乗者は、会話中に多くの手の動作及び運動を使用する可能性があるが、動作認識システムでそれらの動作又は運動を見る又は解釈することを意図しない場合がある。動作認識がこれらの動作又は運動を見て解釈する場合に、設定、選択などが誤って修正される可能性があり、又はディスプレイ上の項目が絶えず運き回って運転者の注意をそらす可能性がある。これを防ぐために、システムを停止するか、又は完全には停止状態ではないとしても動作に起因する表示の運動を示さない状態に設定することができる。その結果、システムを部分的又は完全に起動する又は停止する動作及び運動が必要になる可能性がある。
【００５７】
図示の実施形態では、システムは、指定の期間にわたって区域１２０８を調査することができ、指定の期間にわたってその区域に動作又は運動が見られない場合に部分的又は完全に動作認識を停止することができる。これに代えて、動作認識システムは、手がハンドル１２１０に触れた時のような別の事象によって部分的又は完全に停止することができる。動作認識システムが部分的又は完全に停止されている場合に、親指、人差し指、中指、薬指、及び小指を伸ばして手のひらを下に向けて平手を形成することにより、ユーザはシステムを再起動することができる。この動作は、次に、ディスプレイを起動するために固定期間にわたって実質的に静止に保持される。
【００５８】
以上の図に例示する特定の動作、運動、及びユーザインタフェースは、限定を意図したものではない。他の多くの動作、運動、及びユーザインタフェースが他の実施形態で可能であり、かつ本明細書に包含される。他の実施形態では、動作及び運動は、以下を含むことができる。
・天井に向けて手を移動することにより、メニューが表示される。
・ユーザは、指を使ってメニューを回転させる。
・ある一定の構成で指を使用して表示画面に向けて及び表示画面から離れる方向に手を移動することにより、回転を制御することができる。１つのモードでは、ディスプレイは、手の運動を追跡するユーザの手の画像を示す。
・ユーザは、アイコン又はファイルを掴んで異なる表示画面定義式区域に又は車の後部にある画面にさえもドラッグすることができる。
・オプション又はアプリを選択するために、定められた時間にわたって画面の区域の上に留まる動作がクリックに取って代わる。
・ユーザが手で円を描くと、選択オプションのボックスを有する円が表示される。
・動作がボックスの上に留まると、ボックスは次第に塗り潰され、それが色で中実になった状態で選択される。
・手を画面に近づけることにより、残留時間起動が速くなる。
・別の変形は、選択オプションのボックスの水平表示である。その変形に関して、円を表示して残留時間／待機時間を示し、円の縁が時間と共に時計回りに次第に強調表示される。ユーザは、残留動作で項目を選択すること又はタッチパッドを使用することの間で交替することができる。
【００５９】
実施形態の上記説明は、要約に説明するものを含めて包括的であること又は説明する形態に本発明を限定することを意図していない。本発明の特定の実施形態及びそのための実施例を例示目的で本明細書に説明したが、当業者が認識するように、上述の詳細説明に照らして本発明の範囲内で様々な同等な修正が可能である。
【符号の説明】
【００６０】
１００  ユーザインタフェースシステム
１０２  カメラ
１１０  人間の手
１２８  グラフィック表現
１３０  スライダ
【図１Ａ】
2020537209.tif 000003
【図１Ｂ】
2020537209.tif 000004
【図２】
2020537209.tif 000005
【図３Ａ】
2020537209.tif 000006
【図３Ｂ】
2020537209.tif 000007
【図３Ｃ】
2020537209.tif 000008
【図４Ａ】
2020537209.tif 000009
【図４Ｂ】
2020537209.tif 000010
【図４Ｃ】
2020537209.tif 000011
【図４Ｄ】
2020537209.tif 000012
【図４Ｅ】
2020537209.tif 000013
【図５Ａ】
2020537209.tif 000014
【図５Ｂ】
2020537209.tif 000015
【図５Ｃ】
2020537209.tif 000016
【図５Ｄ】
2020537209.tif 000017
【図６Ａ】
2020537209.tif 000018
【図６Ｂ】
2020537209.tif 000019
【図６Ｃ】
2020537209.tif 000020
【図６Ｄ】
2020537209.tif 000021
【図７Ａ】
2020537209.tif 000022
【図７Ｂ】
2020537209.tif 000023
【図７Ｃ】
2020537209.tif 000024
【図８Ａ】
2020537209.tif 000025
【図８Ｂ】
2020537209.tif 000026
【図８Ｃ】
2020537209.tif 000027
【図９Ａ】
2020537209.tif 000028
【図９Ｂ】
2020537209.tif 000029
【図９Ｃ】
2020537209.tif 000030
【図９Ｄ】
2020537209.tif 000031
【図１０Ａ】
2020537209.tif 000032
【図１０Ｂ】
2020537209.tif 000033
【図１０Ｃ】
2020537209.tif 000034
【図１１】
2020537209.tif 000035
【図１２】
2020537209.tif 000036
【国際調査報告】
2020537209.tif 000037
2020537209.tif 000038
2020537209.tif 000039
2020537209.tif 000040
2020537209.tif 000041