(57)【要約】  インタラクションモード選択装置の実施形態は、ユーザとマシンインタフェースの一部との間の距離を推定するための距離推定器と、距離推定器に通信可能に接続され、推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択するための、インタラクション選択器と、を含んでも良い。距離推定器は、デプスセンサ、３次元カメラ、２次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、及び／又は超音波センサを含んでも良い。使用可能なインタラクションモードは、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、及び／又は顔解析インタラクションモードを含んでも良い。他の実施形態が開示され、請求される。
2019533846.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ・マシンインタラクションシステムであって、
１つ以上の出力デバイス及び１つ以上の入力デバイスを含み、前記１つ以上の出力デバイスは、ディスプレイ、スピーカー、又はハプティックフィードバックデバイスのうちの１つ以上を含み、前記１つ以上の入力デバイスは、キーボード、マウス、タッチ入力デバイス、マイクロフォン、又はカメラのうちの１つ以上を含む、ユーザ・マシンインタフェースと、
前記ユーザ・マシンインタフェースに通信可能に接続され、前記ディスプレイ、前記スピーカー、又は前記ハプティックフィードバックデバイスのうちの前記１つ以上の出力を制御し、ユーザと前記ユーザ・マシンインタフェースとの間の使用可能なインタラクションモードを制御するユーザインタフェースコントローラであって、前記使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含む、ユーザインタフェースコントローラと、
前記ユーザ・マシンインタフェースに通信可能に接続され、前記ユーザと前記ユーザ・マシンインタフェースの選択された部分との間の距離を推定するための距離推定器と、
前記距離推定器と前記ユーザインタフェースコントローラに通信可能に接続され、前記推定された距離に基づいて前記使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択するためのインタラクション選択器と、
を備える、ユーザ・マシンインタラクションシステム。
【請求項２】
前記インタラクション選択器及び前記ユーザインタフェースコントローラに通信可能に接続され、前記選択された１つ以上のアクティブなインタラクションモードを前記ユーザに示す、インタラクションモードインジケータをさらに含む、請求項１に記載のユーザ・マシンインタラクションシステム。
【請求項３】
前記ユーザインタフェースコントローラは、前記選択された１つ以上のアクティブなインタラクションモードを示すために、前記ディスプレイ上の仮想フィードバック、前記スピーカーに対するオーディオフィードバック、又は前記ハプティックフィードバックデバイスに対する触知性フィードバックのうちの１つ以上をさらに提供する、請求項２に記載のユーザ・マシンインタラクションシステム。
【請求項４】
インタラクションモード選択装置であって、
ユーザとユーザ・マシンインタフェースの一部との間の距離を推定するための距離推定器と、
前記距離推定器に通信可能に接続され、前記推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションを選択するためのインタラクション選択器と、
を備える、インタラクションモード選択装置。
【請求項５】
前記距離推定器は、デプスセンサ、３次元カメラ、２次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、超音波センサのうちの１つ以上を含む、請求項４に記載のインタラクションモード選択装置。
【請求項６】
前記２つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含む、請求項４又は５のいずれかに記載のインタラクションモード選択装置。
【請求項７】
前記インタラクション選択器に通信可能に接続され、前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記推定された距離と前記推定された距離における効果的に使用可能なインタラクションモードとの相関を記憶する、モード・距離相関器をさらに含む、請求項４又は５のいずれかに記載のインタラクションモード選択装置。
【請求項８】
前記モード・距離相関器は、有効にされるインタラクションモードのテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に含む、請求項７に記載のインタラクションモード選択装置。
【請求項９】
前記モード・距離相関器は、有効にされるデバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの１つ以上のテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に含む、請求項７に記載のインタラクションモード選択装置。
【請求項１０】
前記選択された１つ以上のアクティブなインタラクションモードを前記ユーザに示すためのインタラクションインジケータをさらに含む、請求項４又は５のいずれかに記載のインタラクションモード選択装置。
【請求項１１】
インタラクションモードを選択する方法であって、
ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することと、
前記推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択することと、
を含む、インタラクションモードを選択する方法。
【請求項１２】
前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記距離を推定することが、デプスセンサ、３次元カメラ、２次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの１つ以上からのデータに基づいて、前記推定された距離を決定すること、を含む、請求項１１に記載のインタラクションモードを選択する方法。
【請求項１３】
前記２つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含む、請求項１１又は１２のいずれかに記載のインタラクションモードを選択する方法。
【請求項１４】
前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記推定された距離を前記推定された距離における効果的に使用可能なインタラクションモードと相関させること、
をさらに含む、請求項１１又は１２のいずれかに記載のインタラクションモードを選択する方法。
【請求項１５】
有効にされるインタラクションモードのテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶すること、
を、さらに含む、請求項１４に記載のインタラクションモードを選択する方法。
【請求項１６】
有効にされるデバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの１つ以上のテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に、記憶すること、
をさらに含む、請求項１４に記載のインタラクションモードを選択する方法。
【請求項１７】
前記選択された１つ以上のアクティブなインタラクションを前記ユーザに示すこと、
をさらに含む、請求項１１又は１２に記載のインタラクションモードを選択する方法。
【請求項１８】
インタラクションモード選択装置であって、
ユーザとユーザ・マシンインタフェースの一部との間の距離を推定する手段と、
前記推定された距離に基づいて、２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択する手段と、
を備える、インタラクションモード選択装置。
【請求項１９】
前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記距離を推定する手段が、
デプスセンサ、３次元カメラ、２次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの１つ以上からのデータに基づいて、前記推定される距離を決定する手段と、
を含む、請求項１８に記載のインタラクションモード選択装置。
【請求項２０】
前記２つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含む、請求項１８又は１９のいずれかに記載のインタラクションモード選択装置。
【請求項２１】
前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記推定された距離を前記推定された距離における効果的に使用可能なインタラクションモードと相関させる手段と、
をさらに含む、請求項１８又は１９のいずれかに記載のインタラクションモード選択装置。
【請求項２２】
有効にされるインタラクションモードのテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に記憶する手段と、
をさらに含む、請求項２１に記載のインタラクションモード選択装置。
【請求項２３】
有効にされるデバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの１つ以上のテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に記憶する手段と、
をさらに含む、請求項２１に記載のインタラクションモード選択装置。
【請求項２４】
前記選択された１つ以上のアクティブなインタラクションモードを前記ユーザに示す手段と、
をさらに含む、請求項１８又は１９のいずれかに記載のインタラクションモード選択装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、一般にユーザインタフェースに関連する。より具体的には、本実施形態は、ユーザとマシンインタフェースとの間で検出された距離に基づくインタラクションモード選択に関連する。
【０００２】
本出願は、２０１６年９月３０日に出願された米国特許出願１５／２８２，４１４号に対する優先権の利益を主張する。
【背景技術】
【０００３】
様々なタイプの入力デバイスと、それらの入力デバイスによってサポートされるユーザインタラクション（user  interactions）がよく知られている。キーボードやコンピュータマウスは、コンピューティングデバイスに対するユーザ入力をサポートする一般的な入力デバイスである。マイクロフォンは、コンピュータシステムとの音声（ボイス）インタラクション（voice  interaction）をサポートすることができる。タッチパッド又はタッチスクリーンは、コンピューティングデバイスとのタッチインタラクション（touch  interaction）をサポートすることができる。カメラは、コンピューティングデバイスとのジェスチャインタラクション（gesture  interaction）又は顔検出／認識インタラクション（facial  detection/recognition  interaction）をサポートすることができる。
【図面の簡単な説明】
【０００４】
以下の図面を参照しながら、以下の明細書及び添付請求項を読むことにより、本実施形態の様々な利点が、当業者に明らかになる。
【図１】実施形態によるユーザ・マシンインタラクションシステムの例のブロック図である。
【図２】実施形態によるインタラクションモード選択装置の例のブロック図である。
【図３Ａ】実施形態によるインタラクションを選択する方法の例のフローチャートである。
【図３Ｂ】実施形態によるインタラクションを選択する方法の例のフローチャートである。
【図３Ｃ】実施形態によるインタラクションを選択する方法の例のフローチャートである。
【図４Ａ】実施形態によるユーザ・マシンインタラクションシステムの別の例の説明である。
【図４Ｂ】実施形態によるユーザ・マシンインタラクションシステムの別の例の説明である。
【図４Ｃ】実施形態によるユーザインタラクションモード対距離のテーブルの例である。
【発明を実施するための形態】
【０００５】
これから図１を参照すると、ユーザ・マシンインタラクションシステム（user-machine  interaction  system）１０の実施形態は、１つ以上の出力デバイス１２（例えば、ディスプレイ１２ａ、スピーカー１２ｂ、及び／又はハプティックフィードバックデバイス（haptic  feedback  device）１２ｃなど）と１つ以上の入力デバイス１３（例えば、キーボード１３ａ、マウス１３ｂ、タッチデバイス１３ｃ、マイクロフォン１３ｄ、及び／又はカメラ１３ｅなど）を含むユーザ・マシンインタフェース（user-machine  interface）１１を含んでも良い。タッチデバイス（touch  device）の非制限的な例は、トラックパッドとタッチスクリーンを含んでも良い。ユーザインタフェースコントローラ１４は、ユーザ・マシンインタフェース１１に通信可能に接続され、ディスプレイ１２ａの出力を制御し、ユーザとユーザ・マシンインタフェース１１との間の使用可能なインタラクションモード（available  interaction  modes）を制御できる。使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード又は顔解析インタラクションモードのうちの２つ以上を含んでも良い。顔解析の非制限的な例は、顔検出（face  detection）、顔認識（facial  recognition）及び顔表情認識（facial  expression  recognition）を含む。距離推定器（distance  estimator）１５は、ユーザとユーザ・マシンインタフェース１１の選択された部分との間の距離を推定する（estimate  a  distance）ためにユーザ・マシンインタフェース１１に通信可能に接続されても良い。インタラクション選択器（interaction  selector）１６は、推定された距離に基づいて、使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択するために、距離推定器１５及びユーザインタフェースコントローラ１４に通信可能に接続されても良い。
【０００６】
ユーザ・マシンインタラクションシステム１０のいくつかの実施形態は、インタラクション選択器１６及びユーザインタフェースコントローラ１４に通信可能に接続され、選択された１つ以上のアクティブなインタラクションモードをユーザに示すためのインタラクションモードインジケータ１７をさらに含んでも良い。例えば、ユーザインタフェースコントローラ１４は、選択された１つ以上のアクティブなインタラクションモードを示す、ディスプレイ１２ａ上のビジュアルフィードバック、スピーカー１２ｂへのオーディオフィードバック、又はハプティックフィードバックデバイス１２ｃへの触知性フィードバック（tactile  feedback）のうちの１つ以上を提供するようにさらに構成されても良い。加えて、又は代わりに、ユーザインタフェースコントローラ１４は、選択された１つ以上のアクティブなインタラクションモードを示すために別の出力デバイスに別のフィードバックを提供するように構成されても良い。ユーザは、一般には人間であるが、また、例えば、ロボット又はドローンであっても良い。
【０００７】
いくつかの従来のビジュアルコンピューティングシステムの課題は、様々なインタラクションモード（interaction  modes）が使用可能であっても、様々なインタラクションモードの有効性（effectiveness）が、システムに対するユーザの距離に依存して変化し得る点である。例えば、音声インタラクションは、ユーザがマイクロフォンに近いとき、より効果的（more  effective）であるが、ユーザがマイクロフォンよりさらに遠く離れるとより効果的ではなくなり（例えば、マイクロフォンがシステム上の固定位置にあり、ユーザがあちこちに移動した場合）、音声インタラクションのエラー率は、増加し得る。同様に、顔解析アプリケーションに対して、ユーザが非常に遠く離れている場合は、エラー率が増加し得る。インタフェースとインタラクト（interact）する各モードに対して、ユーザがインタフェースとインタラクトするためには、ユーザがインタフェースから離れているための最適な距離又はより効率的な距離の範囲が一般にある。
【０００８】
ジェスチャ、顔及び人アナリティク（face  and  people  analytics）などのコンピュータビジョンベースユーザインタラクションの有効性は、距離依存性であり得る。カメラセンサからの非最適又はより効果的でない距離で行われるジェスチャ制御、顔アナリティクス又は体解析は、ユーザの体験に否定的に影響する可能性があるより高い誤検出結果（higher  false  positive  results）又はより高いエラー率を有するかも知れない。有利なことに、いくつかの実施形態は、より効果的な又は最適なインタラクション距離において使用され、有効なセンサ／インタラクションモードに基づいてユーザインタフェースといかにインタラクトするかについてアクティブなフィードバックをユーザに提供するための、ユーザインタフェースに接続されたコンピュータビジョンセンサを有効にしても良い。ユーザが、コンピュータビジョンベースユーザインタフェースによっていかに最適に又はより効果的にインタラクトできるかを知るようにすることができる。エラー率も、低減され、それによってユーザの不満も削減できる。それらのインタラクションモードがより効果的ではないときに、詳細な顔アナリティクス及び／又は詳細なジェスチャ認識を無効にすることからの別の利益は、それらの機能は比較的複雑であるので、それらを無効にすることによって他のタスクに対するコンピューティング処理能力を増加することができる。
【０００９】
有利なことに、ユーザインタフェースとインタラクトするためのモードは、ユーザとユーザインタフェースのディスプレイスクリーンとの間の距離に基づいて変更され得るので、ユーザ・マシンインタラクションシステム１０のいくつかの実施形態は、ユーザ体験を向上させることができる。例えば、有効にされるユーザインタラクションモードは、ユーザとユーザインタフェースのディスプレイスクリーンとの間のデプス測定に基づいて構成可能でも良い。いくつかの実施形態において、ユーザインタフェースに接続されるセンサのサブセットは、有効なインタラクションモードに基づいて、有効（enabled）又は無効（disabled）にすることができる。様々な実施形態を実装することができるマシンの非制限的な例は、インタラクティブキオスク、ベンディングマシン、ゲームコンソール又はデバイス、デスクトップコンピュータ、ラップトップ、ノートブック、タブレット、及びコンバーチブルコンピュータ（例えば、２イン１コンピュータ）を含む。
【００１０】
コンピュータビジョンベースユーザインタフェース（例えば、顔アナリティクス、ジェスチャ制御、体解析、音声制御）は、コンピューティングシステムとインタラクトするエンドユーザに対して人気のある方法になる傾向があり得る。インタラクションモードとセンサを改良し、又は最適化する能力は、望ましい機能であるコンピュータビジョンベースユーザインタフェースによってインタラクトするユーザに対してユーザ体験を向上することができる。有利なことに、いくつかの実施形態は、有効にされたインタラクションモードでアクティブなフィードバックをユーザに提供することができ、ユーザインタフェースとインタラクトするために彼又は彼女に何が期待されているかを知ることによってコンピュータビジョンベースユーザインタフェースとユーザがより効果的にインタラクトできるようにする。例えば、ユーザがコンピュータビジョンセンサの効果的な又は最適な動作の距離内におらず、ユーザがこの条件に気付いていないなどの理由により、有効になっているインタラクションモードにおいて、アクティブなフィードバックをユーザに提供することにより、ユーザインタフェースが働いていないと思われるとき、ユーザの不満を削減することもできる。
【００１１】
有利なことに、ユーザとユーザ・マシンインタフェース１１の一部との間の距離を推定し、推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択することによって、システム１０のいくつかの実施形態は、より良いユーザ体験を提供することができる。例えば、ユーザ・マシンインタフェースシステム１０の実施形態は、キオスク又はコンピューティングデバイス（例えば、ラップトップ）として実装され、カメラ１３ｅは、ディスプレイ１２ａのトップの近くにマウントされたデプス測定カメラを含んでも良い（例えば、キオスク又はコンピューティングデバイス上のタッチスクリーンディスプレイ）。例えば、カメラ１３ｅは、インテル  ＲＥＡＬＳＥＮＳＥカメラ又はマイクロソフト  ＫＩＮＥＣＴカメラと同様の３次元（３Ｄ）取得又は測定能力を有しても良い。
【００１２】
システム１０は、ユーザの存在を検出し、そして、ユーザとカメラ１３ｅとの間の距離を測定しても良い。測定された距離は、ユーザとディスプレイ１２ａとの間の距離を推定するために変換しても良い（例えば、カメラ１３ｅとディスプレイ１２ａとの位置における差に基づいて）。推定された距離は、次にストレージレコード（例えば、データベース）を検索しても良く、ストレージレコードは、推定された距離において、どのインタラクションのモードが最も又は十分に効果的かを示す。システム１０は、次に、インタラクションのいくつかのモードを有効にし、インタラクションのいくつかのモードを無効にし（例えば、推定された距離においてより効果的ではない又はエラーの傾向がある）、及び／又はストレージレコードに示されたものに基づいて、インタラクションのモード特性を変更しても良い（例えば、赤外（ＩＲ）放射の出力を減らす、ノイズキャンセルを実行する／スキップする、顔表情解析を実行する／スキップする、指ベースジェスチャ認識を実行する／スキップするなど）。上述のユーザ・マシンインタフェース１１、ユーザインタフェースコントローラ１４、距離推定器１５、インタラクション選択器１６、インタラクションモードインジケータ１７、及び他のシステムコンポーネントのそれぞれの実施形態は、ハードウェア、ソフトウェア、又はそれらの任意の適切な組み合わせで実装されても良い。
【００１３】
例えば、ハードウェア実装は、例えば、プログラマブルロジックアレイ（ＰＬＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、結合プログラマブルロジックデバイス（ＣＰＬＤ）などの構成可能なロジック、又は例えば、特定用途向け集積回路（ＡＳＩＣ）、相補型金属酸化膜半導体（ＣＭＯＳ）又はトランジスタ・トランジスタロジック（ＴＴＬ）技術などの回路技術を使用した固定機能ロジックハードウェア、又はそれらの組み合わせを含んでも良い。代わりに、又は加えて、これらのコンポーネントは、プロセッサ又はコンピューティングデバイスによって実行できるように、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、ファームウェア、フラッシュメモリなどのマシン又はコンピュータ読取可能記憶媒体に記憶された論理命令の組として１つ以上のモジュールに実装されても良い。例えば、コンポーネントの動作を実行するコンピュータプログラムコードは、ＪＡＶＡ（登録商標）、ＳＭＡＬＬＴＡＬＫ、Ｃ＋＋、Ｃ＃などのオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来からの手続型のプログラミング言語を含む１つ以上のオペレーティングシステムに適用可能な／適切なプログラミング言語の任意の組み合わせで書かれても良い。
【００１４】
これから図２を参照して、インタラクションモード選択装置２０の実施形態は、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定するための距離推定器２１及び距離推定器２１に通信可能に接続され、推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択するためのインタラクション選択器２２を含んでも良い。例えば、距離推定器２１は、デプスセンサ（例えば、デプスカメラ）、３Ｄカメラ、２次元（２Ｄ）カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ（例えば、デバイス三角測量目的のためのＷＩＦＩアクセスポイント）、ビーコンセンサ、近接センサ、又は超音波センサのうちの１つ以上を含んでも良い。例えば、２つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の部分のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含んでも良い。
【００１５】
インタラクションモード選択装置２０のいくつかの実施形態は、インタラクション選択器２２に通信可能に接続され、ユーザとユーザ・マシンインタフェースとの間の推定された距離と、推定された距離における効果的に使用可能なインタラクションモードとを相関させるためのモード・距離相関器２３をさらに含んでも良い。例えば、モード・距離相関器２３は、推定された距離の値によって参照されるテーブルエントリを持つ、有効にされるインタラクションモードのテーブルを含んでも良い。例えば、モード・距離相関器２３は、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうの１つ以上のテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に含んでも良い。インタラクションモード選択装置２０は、選択された１つ以上のアクティブなインタラクションをユーザに示すためのインタラクション選択器２２に通信可能に接続されたインタラクションインジケータ２４も含んでも良い。
【００１６】
多数のデバイス及び／又は技法が、適切な距離推定器２１の実施形態を実装するために活用することができる。上述のとおり、正確な距離の推定（例えば、＋／−数センチ）に容易に変換できるカメラからのデプス（深度（depth））又は距離測定を直接提供するのに適切なハードウェア及びソフトウェアを、デプスカメラは含んでも良い。例えば、デプスカメラは、ディスプレイスクリーンの前の仮想プレーンを形成することができ、ユーザ又はオブジェクトが仮想プレーンに入ると、距離が測定されても良い。加えて、又は代わりに、デプスカメラを利用するシステムは、顔検出を実行し、次に、検出された顔の中心からカメラまでの距離を測定しても良い（例えば、顔検出は、顔認識又は顔アナリティクスより、より複雑ではないかも知れない）。加えて、又は代わりに、デプスカメラを利用するシステムは、胴、手、又は他の体の一部を検出し、ユーザとユーザ・マシンインタフェースの関連部分との間の距離を推定するために検出した体の一部とカメラとの間距離を測定しても良い。いくつかの実施形態は、各ユーザに対するそれぞれの距離推定によるマルチ・ユーザ検出をサポートしても良い。
【００１７】
デプスカメラは、比較的高い精度を提供することができる。しかしながら、いくつかの実施形態は、高い精度を必要としないか、又は実際の距離測定すら必要としない。いくつかの実施形態において、推定された距離は、近接レベル（例えば、非常に近い、近い、中間、遠い、非常に遠いなど）で表現することができる。近接センサは、オブジェクト又はユーザがセンサにどれだけ近いかを決定するために、レーダー又は超音波（例えば、超音波距離計）を使用しても良い。いくつかのセンサは、検知した近さに比例する出力信号を生成することができる。出力信号は、デジタル値に変換され、さらに正確で十分な距離推定値を生成するためにさらに処理しても良い。距離の直接測定によらなくても、２Ｄカメラ、２Ｄカメラのアレイ、及び／又はマイクロフォンのアレイによって推定された距離を外挿することができる。例えば、単独の２Ｄカメラは、既知の距離でのユーザの顔の校正イメージを取得することによって校正することができ、その後、校正イメージと比較することによって、ユーザの新たなイメージを取得することによって推定された距離を外挿することができ、目又は他の顔の特徴の間のピクセルの数を決定することができる。そのようなデバイス及び／又は技法は、デプスカメラ又は他の距離推定デバイス若しくは技法に加えて、又は代わりに利用することができる。
【００１８】
加えて、又は代わりに、距離は、ユーザが身につけているデバイスに基づいて測定しても良い。いくつかのデバイスは、距離を推定するために利用できる、比較的正確な位置情報サービス（例えば、グローバスポジショニングサテライト（ＧＰＳ）デバイス）を提供することができる。加えて、又は代わりに、ユーザのスマートフォン又はウェアラブルデバイスによって発せられる無線信号の信号強度に基づいて、距離を推定することができる。例えば、近距離無線通信（NFC）は、比較的近い範囲の信号であり、ブルートゥース（登録商標）は中間の範囲の信号であり、電気電子技術者協会（IEEE）の８０２．１１規格（例えば、Wi-Fi）に基づくワイヤレスローカルエリアネットワーク（WLAN）製品は、比較的長い距離の信号であり得る。三角測量技法は、ユーザのデイバスから発せられる無線信号から正確な十分な距離の推定をもたらすためにさらに正確さを提供することができる。これらの技法は、デプスカメラ又は他の距離推定デバイス若しくは技法に加えて、又は代わりに活用することができる。本明細書の利益を前提とすると、適切な距離推定器に関する多数の他の実施形態を、当業者は思いつくだろう。
【００１９】
本インタラクションモード選択装置２０の上述の距離推定器２１、インタラクション選択器２２、モード・距離相関器２３、インタラクションインジケータ２４、及び他のコンポーネントのそれぞれの実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせにおいて実装することができる。例えば、ハードウェア実装は、例えば、ＰＬＡ、ＦＰＧＡ、ＣＰＬＤなどの構成可能なロジック、又は例えば、ＡＳＩＣ、ＣＭＯＳ、又はＴＴＬ技術などの回路技術を使った固定機能ロジックハードウェア、又はそれらの組み合わせを含んでも良い。代わりに、又は加えて、これらのコンポーネントは、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ファームウェア、フラッシュメモリなどのマシン又はコンピュータ読取可能記憶媒体に記憶され、プロセッサ又はコンピューティングデバイスによって実行される、論理命令の組として、１つ以上のモジュールに実装することができる。例えば、コンポーネントの動作を実行するコンピュータプログラムコードは、ＪＡＶＡ、ＳＭＡＬＬＴＡＬＫ、Ｃ＋＋、Ｃ＃などのオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来からの手続型のプログラミング言語を含む１つ以上のオペレーティングシステムに適用可能な／適切なプログラミング言語の任意の組み合わせで書かれても良い。
【００２０】
ここから図３Ａから図３Ｃを参照して、インタラクションモードを選択する方法３０の実施形態は、ブロック３１において、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することと、ブロック３２において推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択することを含んでも良い。例えば、ブロック３３において、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することは、デプスセンサ、３Ｄカメラ、２Ｄカメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの１つ以上からのデータに基づいて推定された距離を決定することを含んでも良い。例えば、ブロック３４において、２つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含んでも良い。
【００２１】
方法３０のいくつかの実施形態は、ブロック３５において、ユーザとユーザ・マシンインタフェースとの間の推定された距離と、推定された距離において効果的に使用可能なインタラクションモードとを相関させることをさらに含んでも良い。例えば、ブロック３６で、方法３０は、有効にされるインタラクションモードのテーブルを推定された距離の値で参照されるテーブルエントリと一緒に記憶することも含んでも良い。ブロック３７で、方法３０は、有効にされるデバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの１つ以上のテーブルを推定された距離によって参照されるテーブルエントリと一緒に記憶することを含んでも良い。方法３０のいくつかの実施形態は、ブロック３８で、選択された１つ以上のアクティブなインタラクションモードをユーザに示すことをさらに含んでも良い。
【００２２】
方法３０の実施形態は、例えば、本明細書で説明されるような、ユーザ・マシンインタラクションシステム又はインタラクションモード選択装置において、実装することができる。より具体的には、方法３０のハードウェア実装は、例えば、ＰＬＡ、ＦＰＧＡ、ＣＰＬＤなどの構成可能なロジック、又は例えば、ＡＳＩＣ、ＣＭＯＳ、又はＴＴＬ技術などの回路技術を使用した固定機能ロジックハードウェア、又はそれらの組み合わせを含んでも良い。代わりに、又は加えて、方法３０は、プロセッサ又はコンピューティングデバイスによって実行されるように、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ファームウェア、フラッシュメモリなどのマシン又はコンピュータ読取可能記憶媒体に記憶される論理命令の組として、１つ以上のモジュールに実装しても良い。例えば、コンポーネントの動作を実行するコンピュータプログラムコードは、ＪＡＶＡ、ＳＭＡＬＬＴＡＬＫ、Ｃ＋＋、Ｃ＃などのオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来からの手続型のプログラミング言語を含む１つ以上のオペレーティングシステムに適用可能な／適切なプログラミング言語の任意の組み合わせで書かれても良い。例えば、方法３０は、以下の例１８から例２４に関連して説明されるコンピュータ読取可能媒体上に実装されても良い。
【００２３】
これから図４Ａから図４Ｃを参照すると、ユーザ・マシンインタラクションシステム４０の実施形態は、ユーザインタフェースのディスプレイスクリーン４２に機械的に接続されたデプスセンシングカメラ４１を含んでも良い。カメラ４１とディスプレイ４２は、ユーザインタフェースホスト４３（例えば、コンピューティングデバイス）に通信可能に接続されても良く、ユーザインタフェースホスト４３は、ユーザ４４及びディスプレイ４２との間の距離を検出し、推定する適切なハードウェア、ファームウェア、及び／又はソフトウェアを有する。ユーザインタフェース４３は、ユーザインタラクションモード対距離のテーブル４５を記憶しても良い。例えば、テーブル４５の各エントリは、距離パラメータ（例えば、最小及び最大デプス）、センサエントリ、及びユーザインタラクション構成ポインタを包含しても良い。
【００２４】
いくつかの実施形態によると、デプスセンシングカメラ４１は、ユーザインタフェースディスプレイスクリーン４２の前でユーザ４４を検出し、デプスセンサは、次に、ユーザ４４とディスプレイスクリーン４２との間の距離を測定し、測定をユーザインタフェースホスト４３のインタラクション選択器４６に転送しても良い。インタラクション選択器４６は、マッチするテーブルエントリを見つけるために、測定された距離をユーザインタラクションモード対距離のテーブル４５中の距離パラメータと比較しても良い。インタラクション選択器４６は、次に、ユーザインタラクションモードを有効／無効にする（enable/disable）ために、マッチしたテーブルエントリにおける構成情報に基づいて、ユーザインタフェースホスト４３のセンサ及び／又はソフトウェアドライバを設定しても良い。
【００２５】
例えば、スクリーン４２（例えば、図４Ａを参照）から半メートル（＜０．５）未満の推定距離において、システム４０は、音声、タッチ、及び顔解析（例えば、カメラ４１がユーザ４４の顔バイオメトリックスを効果的に取得することができる）を有効にするか決定することができる（例えば、テーブル４５のエントリ１参照）。キーボード、トラックパッド、及びマウスインタラクションも有効にされても良い。ユーザが、スクリーン４２（例えば、図４Ｂ参照）から１メートルから２メートル（１−２）の間に移動した場合、次に、詳細なアナリティクスに対して顔は遠すぎるかも知れず、ユーザ４４は、スクリーンにタッチするには遠すぎ、及び／又はユーザ４４は、効果的な音声制御に対してマイクロフォンから遠すぎるかも知れない（キーボード、トラックパッド、及びマウスインタラクションもその距離の範囲では、非効果的であり得る）。システム４０は、その結果、手レベルジェスチャ制御が有効にされること（例えば、テーブル４５のエントリ３）を決定しても良い。ジェスチャ・制御カーソルインタラクションを介してユーザがインタフェースとインタラクトできることを示す手のアイコン４７などのインタラクションインジケータ（図示せず）は、ビジュアル表示をディスプレイ４２上に示すようにしても良い。０．５メートルと１メートルとの間（０．５−１）は、指レベルジェスチャ解像度に対して十分に近く、すべての５本の指がコマンドを発行し、又はインタフェースとインタラクトできる解像度であるように、赤・緑・青（ＲＧＢ）カメラは、有効にされる（例えば、テーブル４５のエントリ２参照）。
【００２６】
有利なことに、いくつかの実施形態は、コンピュータビジョンベースユーザインタラクションシステムを含み、ユーザとユーザインタフェースのディスプレイスクリーン（又はシステムの別の部分）との間の推定された又は測定された距離に基づいて、ユーザがユーザインタフェースとインタラクトするためのモードは変化しても良い。例えば、いくつかの実施形態は、ユーザインタフェースディスプレイスクリーンに接続された、ユーザフェーシングデプスセンシングカメラ（例えば、デプス測定能力を持つインテル  ＲＥＡＬＳＥＮＳＥカメラ）を含んでも良い。デプスカメラは、ユーザとカメラとの間の距離を測定し、ユーザとユーザインタフェースディスプレイスクリーンとの間の距離を推定するためにそのデータを使用することができる。測定した距離に基づいて、システムは、有効にするセンサのサブセット及びユーザインタフェースとインタフェースするモードを決定することができる。いくつかの実施形態において、ユーザインタフェースとインタラクトするモードがユーザインタフェースのグラフィカルコンテンツのサブセットを変更するとき、ディスプレイスクリーンは、有利に、彼又は彼女がユーザインタフェースといかにインタラクトできるかについてユーザに情報を提供し又はガイドすることを有利に変更することもできる。
【００２７】
従来のシステムと比較して、ユーザがユーザインタフェースとインタラクトするのに必要な有効なセンサ及び／又はソフトウェアモジュールの組を改良又は最適化することができ、一方、ユーザインタラクションと干渉する可能性がある他のものを無効にする。例えば、ユーザがディスプレイスクリーンから１・５メートルを超えて離れているとき、デプスセンシングカメラは、ユーザが手のジェスチャを使用してディスプレイスクリーン上でカーソルを制御できるようにカーソルモードに構成されても良く、一方、タッチスクリーンインタフェース及び顔認識、凝視、ジェンダー、年齢層、肌の色合い、メガネをかけている人、顔の表情及び感情検知のような顔アナリティクスは、ユーザがスクリーンにタッチできず、及び人の顔の特徴の正確なアセスメントを提供するカメラセンサから最適な又は効果的な距離にいないので、無効にされても良い（例えば、ＲＧＢビデオストリームは、一時的に無効にされても良い）。ユーザがディスプレイスクリーンから半（０．５）メートル未満の場合、ユーザがタッチを使用してディスプレイスクリーンとインタラクトすることができるようカーソルモードは、無効にされ、一方、顔アナリティクスは、また有効にしても良い（ＲＧＢビデオストリームが再び有効にされる）。デプスカメラのＩＲ放射出力は、ユーザに対するＩＲの眩しさを減少するために削減されても良い。
【００２８】
ユーザインタフェースとインタラクトするいくつかのモードは、近い距離でより効果的であり得（例えば、タッチ、音声制御、及び顔アナリティクス）、一方、その他のモードは、中距離（例えば、ジェスチャ）又はより遠い距離（例えば、手又は体の一部のカーソル及び体解析）で、より良く働くことができる。より遠い距離では、例えば、手カーソル制御を、一般に利用することができる。しかし、他の体の部分（例えば、頭又は胴）又は誰かが手に持っているオブジェクト（例えば、ワンド）が加えて、又は代わりにカーソル制御に関して使用されても良い。
【００２９】
いくつかの実施形態にしたがうと、ユーザ・マシンインタラクションシステムは、有利なことに、ユーザインタフェース（例えば、ディスプレイスクリーン）からのそれらの相対距離に基づいてユーザインタフェースとインタラクトする最も適切なモードの使用をユーザに可能とする。例えば、仮想試着室鏡ディスプレイシステム（virtual  fitting  room  mirror  display  system）は、体解析を実行し、彼／彼女が、仮想試着セッションの間に鏡ディスプレイから１．５メートル以上離れていると推定されたとき、鏡ディスプレイスクリーン上で制御するための手カーソルの使用をユーザに可能とする。体解析は、体の部分上でサイズ測定するような体の測定を含んでも良い（例えば、身長、体形、体のサイズ、各体の部分の相対的位置とサイズ）。そのような測定は、ドレス、シャツ、パンツ、靴、手袋、メガネ、マスク、帽子、宝石などの拡張現実仮想衣服試着に対して利用することができる。
【００３０】
体解析は、いくつかの体の部分及びこれらのインタラクション（例えば、手、肘、肩、頭、足、胴など）の位置、動き、及び向きを取得すること、及びアクションを実行し、アクションを起動するためにこれらの情報を使用することを含んでも良い。ゲームシステムに関して、例えば、体の部分の組を動かすと、アバター又は仮想のキャラクタがいくつかの体の動きにしたがってダンスする。人がハンドルを握り、ハンドルを回転されるように２つの手を回転することは、仮想の車又は仮想のオブジェクトの方向を変えることができる。体解析は、また人のポーズ（例えば、立っている、座っている、しゃがんでいる、体を曲げている、手を上げている、足も一緒に、片足で立っているなど）又は人の体の向き（例えば、人が向いている向き）を決定することを含んでも良い。
【００３１】
仮想試着セッションをユーザが終えたとき、彼／彼女は、購入又は他のオプションのために鏡ディスプレイに近づくことができる。ユーザが、ディスプレイから０．５メートル未満にいると推定されたとき、タッチ、音声制御及び顔アナリティクスを用いてディスプレイとインタラクトすることをユーザに可能にするために、体の測定とカーソルモードは無効にされるかも知れない。いくつかの実施形態において、システムが、タッチ／音声制御モードにあるとき、鏡ディスプレイのグラフィカルコンテンツは、変更され得る（例えば、アクティブなタイルは、マイクロフォンが有効になっていることを見せるように）。
【００３２】
いくつかの実施形態において、例えば、センサエントリは、有効／無効にされるセンサに関する情報を包含しても良い（例えば、近接センサ、デプスセンサ、カメラセンサ、マイクロフォンなど）。いくつかの実施形態において、ユーザインタラクションモードを無効にすることは、必ずしもセンサ又はソフトウェアモジュールを無効にすることなく、インタラクションモードを含むセンサデータを単に無視する又はバイパスすることを含んでも良い。センサは、ときどき他の通信又は他のセンサとインタフェースしないように無効にされる。例えば、ユーザがマイクロフォンに十分に近いとき、次に、背景ノイズ（例えば、誤った伝達）のようなストレイサウンドを拾わないように、マイクロフォンはオフにされても良い。加えて、又は代えて、センサの動作特性又は関連するセンサのファームウェア及び／又はソフトウェアの処理は、修正することができる。例えば、ユーザがインタフェースからさらに離れるに連れて、効果的な音声インタラクションを維持するために、環境がノイズフリーでなければ、マイクロフォンのゲインは、増加されても良い。別の例は、ノイズフィルタリングアルゴリズムは、ユーザがインタフェースからもっと遠くに離れているときに利用され、ユーザがインタフェースにより近いときにスキップされるか又は利用されなくても良い。別の例は、ユーザがスクリーンに近づいている場合、注意をそらす光を避けるために、ＩＲレーザ放射センサ出力は、低下されても良い。
【００３３】
いくつかの実施形態において、ユーザインタラクションモードを有効にする／無効にするために必要な追加の情報を包含するファイル又はデータ構造を指し示すポインタを包含することができるユーザインタラクション構成ポインタエントリを、テーブル４５は含んでも良い。いくつかの実施形態において、ユーザインタラクションモードを有効にする／無効にすることは、ユーザインタラクションモードを活性化する／非活性化するために特定の動作を実行する／スキップするために、１つ以上のドライバ又はソフトウェアモジュールを起動することを含んでも良い。例えば、ソフトウェアモジュール、アプリケーション、又はアルゴリズムは、距離に基づいて有効化され／無効化され又は変更され得る（例えば、顔検知対顔アナリティクス、指解像度対手解像度）。有利なことに、効果的なそのようなインタラクションに対するインタフェースからユーザが非常に離れているために、複雑なユーザインタフェースが無効化された場合、計算の複雑さ及びエラー率は、両方とも減少し得る。
【００３４】
いくつかの実施形態において、テーブル４５は、インタラクションモード間で過剰にディザリング（dithering）しないように、オーバーラップする距離の範囲を含んでも良い（例えば、０〜０．７ｍ、０．６ｍ〜１．２ｍ、１．１ｍ〜２ｍ）。例えば、推定される距離が、特定の範囲内にとどまる限り、インタラクションモードは、同じままであり、インタラクションモードがスイッチする前に、ユーザは、別の範囲に入るように十分遠くに動かなければならない。加えて、又は代わりに、タイマは、インタラクションモード間の過剰なディザリングを避けるために利用されても良い。
【００３５】
テーブル４５は、特定のシステム（例えば、キオスク）のためにロックされても良いし、又は構成可能でも良い。ユーザは、テーブル中のプリファレンスを編集することができても良く（例えば、セッティングインタフェースを通してユーザが選択可能な距離及び／又はインタラクションモードを示す）又は構成は、ファームウェア中に固定しても良い（例えば、システムプロバイダによってのみ更新できる）。別個のテーブルが異なるユーザに対して提供されても良い。ユーザは、デバイス及び／又はインタラクションモードを登録することができても良い（例えば、スマートフォン又はヘッドセットを追加する）。例えば、ユーザが近い場合は、システムマイクロフォンは、音声コマンドに関して有効にされても良い。ユーザがさらに遠くに移動した場合、音声コマンドに関してヘッドセット又はスマートフォンのマイクロフォンに対して通信が確立されても良い（例えば、ユーザの許可によるブルートゥース接続）。
【００３６】
例えば、スマートフォンなどのユーザのデバイスは、追加のインタフェースインタラクションを提供するか、又はフィードバックをユーザに提供するために利用されても良い。例えば、システムは、ジェスチャコマンドがうまく受信されたときに、ヘッドセット又はスマートフォンにビープ音を鳴らすようにしても良い。加えて、又は代わりに、スマートフォンがハプティックフィードバックデバイス（例えば、振動）を含む場合、システムは、スマートフォンがユーザにハプティックフィードバックを与えるようにしても良い。システムが、マシンビジョン、オブジェクト認識、及び／又はオブジェクト検出能力を含む場合は，システムは、検出した利用できるデバイスに基づいて、インタラクションのテーブル又はモードを自動的に調整しても良い。例えば、システムは、ヘッドセット又はスマートフォンが近くのテーブル上にあり、その結果、ユーザと一緒になく、追加の音声インタラクション又はフィードバックに対して使用可能ではないことを検出しても良い。
【００３７】
いくつかの実施形態において、ユーザは、システムによって特定され、又は認識されても良い。システムは、次にユーザを追跡し、他に介在するユーザ又はオブジェクトからのインタラクションを拒否しても良い。加えて、又は代えて、いくつかの実施形態は、マルチ・ユーザインタラクションをサポートしても良い。個別の距離推定は、対応するインタラクションモードによって各ユーザに対して行っても良い。個別のモード・距離テーブルは、ユーザに対して利用可能なデバイスに依存して、各ユーザに対して利用されても良い。例えば、より遠くのユーザがヘッドセットを身に着け、次に、音声インタラクションは、そのユーザに対して有効なままでも良く、一方、より近くのユーザが顔バイオメトリックスに対して有効な適切なセンサを有しても良い。
【００３８】
補注及び例
例１は、ユーザ・マシンインタラクションシステムを含み、ユーザ・マシンインタラクションシステムは、１つ以上の出力デバイス及び１つ以上の入力デバイスを含み、１つ以上の出力デバイスは、ディスプレイ、スピーカー、又はハプティックフィードバックデバイスのうちの１つ以上を含み、１つ以上の入力デバイスは、キーボード、マウス、タッチ入力デバイス、マイクロフォン、又はカメラのうちの１つ以上を含む、ユーザ・マシンインタフェースと、マシンインタフェースに通信可能に接続され、ディスプレイ、スピーカー、又はハプティックフィードバックデバイスのうちの１つ以上の出力を制御し、ユーザとマシンインタフェースとの間の使用可能なインタラクションモードを制御するユーザインタフェースコントローラであって、使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含む、ユーザインタフェースコントローラと、マシンインタフェースに通信可能に接続され、ユーザとマシンインタフェースの選択された部分との間の距離を推定するための距離推定器と、距離推定器とユーザインタフェースコントローラに通信可能に接続され、推定された距離に基づいて使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択するためのインタラクション選択器とを含む。
【００３９】
例２は、例１のユーザ・マシンインタラクションシステムを含んでも良く、インタラクション選択器に通信可能に接続されたインタラクションモードインジケータと、選択された１つ以上のアクティブなインタラクションモードをユーザに示すためのユーザインタフェースコントローラと、をさらに含む。
【００４０】
例３は、例２のユーザ・マシンインタラクションシステムを含んでも良く、ユーザインタフェースコントローラは、選択された１つ以上のアクティブなインタラクションモードを示すために、ディスプレイ上のビジュアルフィードバック、スピーカーへのオーディオフィードバック、又はハプティックフィードバックデバイスへの触知性フィードバックのうちの１つ以上をさらに提供する。
【００４１】
例４は、インタラクションモード選択装置を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定するための距離推定器と、距離推定器に通信可能に接続され、推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択するためのインタラクション選択器と、を備える。
【００４２】
例５は、例４のインタラクションモード選択装置を含んでも良く、距離推定器は、デプスセンサ、３次元カメラ、２次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの１つ以上を含む。
【００４３】
例６は、例４から例５のいずれかのインタラクションモード選択装置を含んでも良く、２つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含む。
【００４４】
例７は、例４から例６のいずれかのインタラクションモード選択装置を含んでも良く、インタラクション選択器に通信可能に接続され、ユーザとユーザ・マシンインタフェースの一部との間の推定された距離と、推定された距離における効果的に使用可能なインタラクションモードとの間の相関を記憶する、モード・距離相関器をさらに備える。
【００４５】
例８は、例７のインタラクションモード選択装置を含んでも良く、モード・距離相関器は、有効にされるインタラクションモードのテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に含む。
【００４６】
例９は、例７か例８のいずれかのインタラクションモード選択装置を含んでも良く、モード・距離相関器は、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの１つ以上のテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に含む。
【００４７】
例１０は、例４から例９のいずれかのインタラクションモード選択装置を含んでも良く、選択された１つ以上のアクティブなインタラクションモードをユーザに示すためのインタラクションインジケータをさらに備える。
【００４８】
例１１は、インタラクションモードを選択する方法を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することと、推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択することと、を含む。
【００４９】
例１２は、例１１のインタラクションモードを選択する方法を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することは、デプスセンサ、３次元カメラ、２次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの１つ以上からのデータに基づいて推定された距離を決定することを含む。
【００５０】
例１３は、例１１から例１２のいずれかのインタラクションモードを選択する方法を含んでも良く、２つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含む。
【００５１】
例１４は、例１１から例１３のいずれかのインタラクションモードを選択する方法を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の推定された距離を、推定された距離で効果的に使用可能なインタラクションモードと相関させることをさらに含む。
【００５２】
例１５は、例１４のインタラクションモードを選択する方法を含んでも良く、有効にされるインタラクションモードのテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶することをさらに含む。
【００５３】
例１６は、例１４から例１５のいずれかのインタラクションモードを選択する方法を含んでも良く、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの１つ以上のテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶することをさらに含む。
【００５４】
例１７は、例１１から例１６のいずれかのインタラクションモードを選択する方法を含んでも良く、選択された１つ以上のアクティブなインタラクションモードをユーザに示すことをさらに含む。
【００５５】
例１８は、少なくとも１つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、ユーザとユーザ・マシンインタフェースの一部との距離を推定し、推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択するようにさせる命令の組を含む。
【００５６】
例１９は、例１８の少なくとも１つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、
デプスセンサ、３次元カメラ、２次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの１つ以上からのデータに基づいて推定された距離を決定する命令の組をさらに含む。
【００５７】
例２０は、例１８から例１９のいずれかの少なくとも１つのコンピュータ読取可能媒体を含んでも良く、２つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含む。
【００５８】
例２１は、例１８から例２０のいずれかの少なくとも１つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、ユーザとユーザ・マシンインタフェースの一部との間の推定された距離を、推定された距離における効果的に使用可能なインタラクションモードと相関させる命令の組をさらに含む。
【００５９】
例２２は、例２１の少なくとも１つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、有効にされるインタラクションモードのテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶させる命令の組をさらに含む。
【００６０】
例２３は、例２１から例２２のいずれかの少なくとも１つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの１つ以上のテーブルを、推定される距離の値によって参照されるテーブルエントリと一緒に記憶させる命令の組をさらに含む。
【００６１】
例２４は、例１８から例２３のいずれかの少なくとも１つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに選択された１つ以上のアクティブなインタラクションモードをユーザに示させる命令の組をさらに含む。
【００６２】
例２５は、インタラクションモード選択装置を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定する手段と、推定された距離に基づいて２つ以上の使用可能なインタラクションモードから１つ以上のアクティブなインタラクションモードを選択する手段と、を含む。
【００６３】
例２６は、例２５のインタラクションモード選択装置を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定する手段は、デプスセンサ、３次元カメラ、２次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの１つ以上からのデータに基づいて推定された距離を決定する手段を含む。
【００６４】
例２７は、例２５から例２６のいずれかのインタラクションモード選択装置を含んでも良く、２つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの２つ以上を含む。
【００６５】
例２８は、例２５から例２７のいずれかのインタラクションモード選択装置を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の推定された距離と、推定された距離における効果的に使用可能なインタラクションモードとを相関させる手段をさらに備える。
【００６６】
例２９は、例２８のインタラクションモード選択装置を含んでも良く、有効にされるインタラクションモードのテーブルを、推定される距離の値によって参照されるテーブルエントリと一緒に記憶する手段をさらに備える。
【００６７】
例３０は、例２８から例２９のいずれかのインタラクションモード選択装置を含んでも良く、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの１つ以上のテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶する手段をさらに含む。
【００６８】
例３１は、例２５から例３０のいずれかのインタラクションモード選択装置を含んでも良く、選択された１つ以上のアクティブなインタラクションモードをユーザに示すための手段をさらに備える。
【００６９】
実施形態は、半導体集積回路（「ＩＣ」）チップのすべてのタイプと一緒に使用するのに適している。これらのＩＣチップの例は、制限されず、プロセッサ、コントローラ、チップセットコンポーネント、ＰＬＡ、メモリチップ、ネットワークチップ、システムオンチップ（ＳｏＣ）、ＳＳＤ／ＮＡＮＤコントローラ、ＡＳＩＣなどを含む。加えて、図面のいくつかには、信号伝導体線は、線で表現されている。より構成を表す信号経路を示すため、数字のラベルを持つ多くの構成する信号経路を示すため、及び／又は１端以上で矢印を持つ主要な情報の流れの向きを示すために、いくつかは異なっても良い。これは、しかしながら、制限的な方法で解釈すべきではない。むしろ、そのような追加された詳細は、回路をより容易に理解することを手助けする１つ以上の典型的な実施形態と関連して使用されても良い。付加的な情報を有するか否かを問わず、任意の表現された信号線は、実際には多方向に進むことができる１つ以上の信号を含むことができ、例えば、差動対、オプティカルファイバー線、及び／又はシングルエンド線で実装されたデジタル線又はアナログ線などの任意の適切な種類の信号方式で実装することができる。
【００７０】
実施形態は、同じものに限定されないが、例となるサイズ／モデル／値／範囲が、与えられても良い。製造する技法（例えば、フォトリソグラフィ）が時間と共に成熟するにつれて、より小さいサイズのデバイスが製造できることが予想される。さらに、説明及び検討の容易さのため、及び実施形態の特定の態様を分かりにくくしないように、ＩＣチップ及び他のコンポーネントへの周知の電源／グラウンド接続は、図内に示されている場合もあるし示されていない場合も有り得る。さらに、実施形態を曖昧にすることを回避するために、またそのようなブロック図配置の実施に関する詳細が実施形態が実施されるプラットフォームに大きく依存するという事実を考慮して、構成をブロック図形式で示すことができ、すなわち、そのような詳細は当業者の知識の範囲内であるべきである。例となる実施形態を説明するために特定の詳細（例えば、回路）が説明されたが、これらの特定の詳細の変形なく、又は変形して、実施形態を実施できることは、当業者にとって明らかであろう。説明は、故に、限定的ではなく、例示的とみなされるべきである。
【００７１】
用語、「接続された（coupled）」は、問題になっているコンポーネント間での任意の種類の関係、直接又は間接を指すために本明細書で使用されて良く、電気的な、機械的な、流動的な、光学的な、電磁気的な、電気機械的な、又は他の接続に適用することができる。加えて、用語「第１の（first）」、「第２の（second）」などは、本明細書で検討を容易にするためにのみに使用され得、特段の指示が無い限り、時間的な又は年代順の重要性を伝えない。
【００７２】
本明細書及び請求項において使用されるように、用語「１つ以上の（one  or  more  of）」と一緒に使用される項目のリストは、リストされた用語の任意の組み合わせを意味しても良い。例えば、表現「Ａ、Ｂ、又はＣのうちの１つ以上」は、Ａ；Ｂ；Ｃ；Ａ及びＢ；Ａ及びＣ；Ｂ及びＣ；又はＡ、Ｂ及びＣを意味しても良い。本明細書及び請求項において使用されるように、用語「２つ以上の（two  or  more  of）」と一緒に使用される項目のリストは、リストされた項目の２つ以上の任意の組み合わせを意味しても良い。例えば、表現「Ａ、Ｂ又はＣのうちの２つ以上」は、Ａ及びＢ；Ａ及びＣ；Ｂ及びＣ；又はＡ、Ｂ及びＣを意味しても良い。
【００７３】
当業者であれば上述の説明から、実施形態の広い技法が様々な形式で実装できることを理解する。したがって、実施形態は、その特定の例に関連して説明してきたが、図面、明細書及び添付の請求項を検討すれば他の変更も当業者にとって明らかになるので、実施形態の正確な範囲は、そのように制限されるべきではない。
【図１】
2019533846.tif 000003
【図２】
2019533846.tif 000004
【図３Ａ】
2019533846.tif 000005
【図３Ｂ】
2019533846.tif 000006
【図３Ｃ】
2019533846.tif 000007
【図４Ａ】
2019533846.tif 000008
【図４Ｂ】
2019533846.tif 000009
【図４Ｃ】
2019533846.tif 000010
【国際調査報告】
2019533846.tif 000011
2019533846.tif 000012