(57)【要約】  ジェスチャ認識のための装置、方法、およびコンピュータプログラム製品。装置は、１次センサ（２０２）によって検出された身体部分の移動に基づいてジェスチャ（２０８）を分類する。装置は、２次センサ（２０４）の信頼性レベル（２１４）を決定し、信頼性レベルが基準を満たすとき、２次センサ（２０４）を使用して身体部分の移動に関連する確証情報を得る。次いで装置は、確証情報に基づいてジェスチャ（２１６）の分類を確認または否認する。２次センサは、装置にとってすでに既知のセンサであり得、すなわちセンサは、ユーザによって現在着用されており、または２次センサは、後でユーザによって着用されるセンサであり得る。後者のケースでは、装置は、新しいセンサの存在を検出し、新しいセンサのジェスチャ認識能力を決定し、新しいセンサをジェスチャ認識プロセスに統合する。【選択図】  図２
2016540276.tif 000002
【特許請求の範囲】
【請求項１】
ジェスチャ認識の方法であって、
身体部分の移動に基づいてジェスチャを分類することと、前記移動が１次センサによって検出される、
２次センサの信頼性レベルを決定することと、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得ることと、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認することと、
を備える方法。
【請求項２】
２次センサの信頼性レベルを決定することが、前記２次センサに関連する環境条件を測定することを備える、請求項１に記載の方法。
【請求項３】
前記環境条件が、サウンドレベルまたは光レベルのうちの１つまたは複数を備える、請求項２に記載の方法。
【請求項４】
前記確証情報が、前記身体部分のイメージまたは前記身体部分から発散される音のうちの１つまたは複数を備える、請求項１に記載の方法。
【請求項５】
前記１次センサと前記２次センサが異なるタイプのセンサである、請求項１に記載の方法。
【請求項６】
前記ジェスチャの前記分類を確認または否認することが、
前記確証情報に基づいて確証ジェスチャを決定することと、
前記確証ジェスチャが前記ジェスチャの前記分類に合致するとき、前記ジェスチャの前記分類を確認することと、
を備える、請求項１に記載の方法。
【請求項７】
確証ジェスチャを決定することが、前記確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較することを備える、請求項６に記載の方法。
【請求項８】
１次センサによって検出された身体部分の移動に基づいてジェスチャを分類することが、
前記身体部分の前記移動の結果として生じる運動活動を検知することと、
検知した運動活動を、ジェスチャのライブラリにマッピングされる１つまたは複数の対応する記憶された運動活動と比較することと、
前記検知した運動活動が、前記ジェスチャにマッピングされる前記記憶された運動活動に合致するとき、前記身体部分が前記ジェスチャを行ったと結論付けることと、
を備える、請求項１に記載の方法。
【請求項９】
前記ジェスチャの前記分類が前記確証情報に基づいて否認されるとき、ジェスチャの前記ライブラリを更新することをさらに備える、請求項８に記載の方法。
【請求項１０】
ジェスチャの前記ライブラリを更新することが、前記検知された運動活動に対応する前記記憶された運動活動を、異なるジェスチャに再マッピングすることを備え、前記異なるジェスチャが、前記確証情報に基づいて決定される確証ジェスチャに対応する、請求項９に記載の方法。
【請求項１１】
前記ジェスチャが関連する信頼レベルを有し、前記方法が、
前記信頼レベルをしきい値と比較することと、
前記信頼レベルが前記しきい値を満たさないときにのみ、前記決定することと、前記得ることと、前記確認または否認することとを実施することと、
をさらに備える、請求項１に記載の方法。
【請求項１２】
前記決定することと、前記得ることと、前記確認または否認することとを実施する前に、前記２次センサの前記存在を検出することをさらに備える、請求項１に記載の方法。
【請求項１３】
前記身体部分の前記移動中に提供される前記２次センサからのデータを監視することと、
前記２次センサによって提供されるデータに基づいて、前記１次センサによって提供されるデータの信頼性を評価することと、
をさらに備える、請求項１に記載の方法。
【請求項１４】
ジェスチャ認識のための装置であって、
身体部分の移動に基づいてジェスチャを分類するための手段と、前記移動が１次センサによって検出される、
２次センサの信頼性レベルを決定するための手段と、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得るための手段と、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認するための手段と、
を備える装置。
【請求項１５】
２次センサの信頼性レベルを決定するための前記手段が、前記２次センサに関連する環境条件を測定するように構成される、請求項１４に記載の装置。
【請求項１６】
前記環境条件が、サウンドレベルまたは光レベルのうちの１つまたは複数を備える、請求項１５に記載の装置。
【請求項１７】
前記確証情報が、前記身体部分のイメージまたは前記身体部分から発散される音のうちの１つまたは複数を備える、請求項１４に記載の装置。
【請求項１８】
前記１次センサと前記２次センサが異なるタイプのセンサである、請求項１４に記載の装置。
【請求項１９】
前記ジェスチャの前記分類を確認または否認するための前記手段が、
前記確証情報に基づいて確証ジェスチャを決定し、
前記確証ジェスチャが前記ジェスチャの前記分類に合致するとき、前記ジェスチャの前記分類を確認する
ように構成される、請求項１４に記載の装置。
【請求項２０】
前記ジェスチャの前記分類を確認または否認するための前記手段が、確証ジェスチャを決定するために、前記確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較するようにさらに構成されることによって確証ジェスチャを決定する、請求項１９に記載の装置。
【請求項２１】
１次センサによって検出された身体部分の移動に基づいてジェスチャを分類するための前記手段が、
前記身体部分の前記移動の結果として生じる運動活動を検知し、
検知した運動活動を、ジェスチャのライブラリにマッピングされる１つまたは複数の対応する記憶された運動活動と比較し、
前記検知した運動活動が、前記ジェスチャにマッピングされる前記記憶された運動活動に合致するとき、前記身体部分が前記ジェスチャを行ったと結論付ける
ように構成される、請求項１４に記載の装置。
【請求項２２】
ジェスチャを分類するための前記手段が、前記ジェスチャの前記分類が前記確証情報に基づいて否認されるとき、ジェスチャの前記ライブラリを更新するように構成される、請求項２１に記載の装置。
【請求項２３】
ジェスチャを分類するための前記手段が、前記検知された運動活動に対応する前記記憶された運動活動を、異なるジェスチャに再マッピングするようにさらに構成されることによってジェスチャの前記ライブラリを更新し、前記異なるジェスチャが、前記確証情報に基づいて決定される確証ジェスチャに対応する、請求項２２に記載の装置。
【請求項２４】
前記ジェスチャが関連する信頼レベルを有し、前記装置が、
前記信頼レベルをしきい値と比較するための手段と、
前記信頼レベルが前記しきい値を満たさないときにのみ、前記決定することと、前記得ることと、前記確認または否認することとを実施するための手段と、
をさらに備える、請求項１４に記載の装置。
【請求項２５】
前記決定することと、前記得ることと、前記確認または否認することとを実施する前に、前記２次センサの前記存在を検出するための手段をさらに備える、請求項１４に記載の装置。
【請求項２６】
前記身体部分の前記移動中に提供される前記２次センサからのデータを監視するための手段と、
前記２次センサによって提供されるデータに基づいて、前記１次センサによって提供されるデータの信頼性を評価するための手段と、
をさらに備える、請求項１４に記載の装置。
【請求項２７】
ジェスチャ認識のための装置であって、
メモリと、
前記メモリに結合され、
身体部分の移動に基づいてジェスチャを分類し、前記移動が１次センサによって検出される、
２次センサの信頼性レベルを決定し、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認する
ように構成された処理システムと、
を備える装置。
【請求項２８】
前記処理システムが、前記２次センサに関連する環境条件を測定するように構成されることによって２次センサの信頼性レベルを決定する、請求項２７に記載の装置。
【請求項２９】
前記環境条件が、サウンドレベルまたは光レベルのうちの１つまたは複数を備える、請求項２８に記載の装置。
【請求項３０】
前記確証情報が、前記身体部分のイメージまたは前記身体部分から発散される音のうちの１つまたは複数を備える、請求項２７に記載の装置。
【請求項３１】
前記１次センサと前記２次センサが異なるタイプのセンサである、請求項２７に記載の装置。
【請求項３２】
前記処理システムが、
前記確証情報に基づいて確証ジェスチャを決定し、
前記確証ジェスチャが前記ジェスチャの前記分類に合致するとき、前記ジェスチャの前記分類を確認する
ようにさらに構成されることによって前記ジェスチャの前記分類を確認または否認する、請求項２７に記載の装置。
【請求項３３】
前記処理システムが、前記確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較するように構成されることによって確証ジェスチャを決定する、請求項３２に記載の装置。
【請求項３４】
前記処理システムが、
前記身体部分の前記移動の結果として生じる運動活動を検知し、
検知した運動活動を、ジェスチャのライブラリにマッピングされる１つまたは複数の対応する記憶された運動活動と比較し、
前記検知した運動活動が、前記ジェスチャにマッピングされる前記記憶された運動活動に合致するとき、前記身体部分が前記ジェスチャを行ったと結論付ける
ように構成されることによって、１次センサによって検出された身体部分の移動に基づいてジェスチャを分類する、請求項２７に記載の装置。
【請求項３５】
前記処理システムが、前記ジェスチャの前記分類が前記確証情報に基づいて否認されるとき、ジェスチャの前記ライブラリを更新するようにさらに構成される、請求項３４に記載の装置。
【請求項３６】
前記処理システムが、前記検知された運動活動に対応する前記記憶された運動活動を、異なるジェスチャに再マッピングするようにさらに構成されることによってジェスチャの前記ライブラリを更新し、前記異なるジェスチャが、前記確証情報に基づいて決定される確証ジェスチャに対応する、請求項３５に記載の装置。
【請求項３７】
前記ジェスチャが関連する信頼レベルを有し、前記処理システムが、
前記信頼レベルをしきい値と比較し、
前記信頼レベルが前記しきい値を満たさないときにのみ、前記決定することと、前記得ることと、前記確認または否認することとを実施する
ようにさらに構成される、請求項２７に記載の装置。
【請求項３８】
前記処理システムが、前記決定することと、前記得ることと、前記確認または否認することとを実施する前に、前記２次センサの前記存在を検出するようにさらに構成される、請求項２７に記載の装置。
【請求項３９】
前記処理システムが、
前記身体部分の前記移動中に提供される前記２次センサからのデータを監視し、
前記２次センサによって提供されるデータに基づいて、前記１次センサによって提供されるデータの信頼性を評価する
ようにさらに構成される、請求項２７に記載の装置。
【請求項４０】
ジェスチャ認識のためのコンピュータプログラム製品であって、
身体部分の移動に基づいてジェスチャを分類することと、前記移動が１次センサによって検出される、
２次センサの信頼性レベルを決定することと、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得ることと、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認することと、
のためのコードを備えるコンピュータ可読媒体
を備えるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]本願は、参照によりその全体が本明細書に明白に組み込まれる、「ＣＬＡＳＳＩＦＣＡＴＩＯＮ  ＯＦ  ＧＥＳＴＵＲＥ  ＤＥＴＥＣＴＩＯＮ  ＳＹＳＴＥＭＳ  ＴＨＲＯＵＧＨ  ＵＳＥ  ＯＦ  ＫＮＯＷＮ  ＡＮＤ  ＹＥＴ  ＴＯ  ＢＥ  ＷＯＲＮ  ＳＥＮＳＯＲＳ」という名称の、２０１３年９月３０日に出願された米国非仮出願第１４／０４２６６０号の優先権を主張する。
【０００２】
[0002]本開示は、一般にはジェスチャ認識に関し、より詳細には、既知の、まだ着用されていないセンサの使用によるジェスチャ検出システムの分類に関する。
【背景技術】
【０００３】
[0003]拡張現実（ＡＲ）を実装するためのシステムおよびアプリケーションは、非常に人気があり、広まっている。ＡＲシステムは通常、ユーザが、ｅメールやメディアプレーヤなどのアプリケーションと対話しながら、同時にユーザの周囲を確認し、ユーザの周囲と対話することを可能にするヘッドマウントディスプレイ（ＨＭＤ）を含む。多くのＡＲアプリケーションがスマートフォンおよびタブレット上で実行され得るが、ＡＲシステムを実装するための最も自然な形状因子は、眼鏡などの光学デバイスである。
【０００４】
[0004]いくつかのＡＲシステムは、アプリケーションのジェスチャ活動化（gesture activation）と、ファイルおよび文書の選択とを実現し、活動化または選択は、ＡＲグラスの視野内に存在する手または指の様々な運動に応答して行われる。しかしながら、そのような方法には、ジェスチャ検出精度に関して著しい欠点がある。たとえば、カメラに依存する従来型システムは、不十分な照明または低速なフレームレートに起因して、様々な精度のレベルでハンドジェスチャを追跡し得る。したがって、ジェスチャ検出および分類の精度を改善することが望ましい。
【発明の概要】
【０００５】
[0005]ジェスチャ認識のための装置、方法、およびコンピュータプログラム製品が提供される。装置は、１次センサによって検出された身体部分の移動に基づいてジェスチャを分類する。装置は、２次センサの信頼性レベルを決定し、信頼性レベルが基準を満たすとき、２次センサを使って身体部分の移動に関連する確証情報（corroborating information）を得る。次いで装置は、確証情報に基づいてジェスチャの分類を確認または否認する。２次センサは、装置にとってすでに知られているセンサであり得、センサはユーザによって現在着用されており、または２次センサは、後でユーザによって着用されるセンサであり得る。後者のケースでは、装置は、新しいセンサの存在を検出し、新しいセンサのジェスチャ認識能力を決定し、新しいセンサをジェスチャ認識プロセスに統合する。
【図面の簡単な説明】
【０００６】
【図１】[0006]ジェスチャ認識装置と、ジェスチャを分類するために装置によって使用され得る様々なタイプのセンサとを示す図。
【図２】[0007]ジェスチャ認識装置内の様々なモジュール／手段／構成要素の動作を示す流れ図。
【図３】[0008]ＡＲグラスとジェスチャ認識リストバンドとを含むＡＲシステムの図。
【図４】[0009]ジェスチャ認識の方法の流れ図。
【図５】[0010]処理システムを利用するジェスチャ認識装置についてのハードウェア実装の一例を示す図。
【発明を実施するための形態】
【０００７】
[0011]添付の図面とともに以下で説明される詳細な説明は、様々な構成の説明として意図され、本明細書で説明される概念が実施され得る唯一の構成を表すことは意図されない。詳細な説明は、様々な概念の完全な理解を与える目的で特定の詳細を含む。しかしながら、これらの特定の詳細なしに概念が実施され得ることは当業者には明らかであろう。いくつかの例では、そのような概念を不明瞭にすることを避けるために、周知の構造および構成要素がブロック図形式で示される。
【０００８】
[0012]次に、様々な装置および方法を参照しながらジェスチャ認識装置のいくつかの態様が提示される。これらの装置および方法が、様々なブロック、モジュール、構成要素、回路、ステップ、プロセス、アルゴリズムなど（「要素」と総称される）によって、以下の詳細な説明で説明され、添付の図面で示される。これらの要素は、電子ハードウェア、コンピュータソフトウェア、またはそれらの任意の組合せを使用して実装され得る。そのような要素がハードウェアとして実装されるか、それともソフトウェアとして実装されるかは、特定の適用分野と、システム全体に課される設計制約とに依存する。
【０００９】
[0013]例として、要素、または要素の任意の部分、または要素の任意の組合せは、１つまたは複数のプロセッサを含む「処理システム」とともに実装される。プロセッサの例としては、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、状態機械、ゲート論理、ディスクリートハードウェア回路、および本開示全体にわたって説明される様々な機能を実施するように構成された他の適切なハードウェアがある。処理システム内の１つまたは複数のプロセッサがソフトウェアを実行し得る。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語として呼ばれるか、あるいはその他の名称で呼ばれるかに関わらず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、プロシージャ、関数などを意味すると広く解釈されるものとする。
【００１０】
[0014]したがって、１つまたは複数の例示的実施形態では、記載の機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体上に記憶され、あるいはコンピュータ可読媒体上の１つまたは複数の命令またはコードとして符号化され得る。コンピュータ可読媒体はコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の入手可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備え得る。本明細書では、ディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ｄｉｓｃ）（ＣＤ）と、レーザーディスク（登録商標）（ｄｉｓｃ）と、光ディスク（ｄｉｓｃ）と、デジタルバーサタイルディスク（ｄｉｓｃ）（ＤＶＤ）と、フロッピー（登録商標）ディスク（ｄｉｓｋ）と、ブルーレイ（登録商標）ディスク（ｄｉｓｃ）とを含み、ディスク（ｄｉｓｋ）は通常、データを磁気的に再現し、一方、ディスク（ｄｉｓｃ）はデータをレーザーで光学的に再現する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【００１１】
[0015]図１は、ジェスチャ認識装置１００と、ジェスチャを分類するために装置によって使用され得る様々な異なるセンサとを示す。センサは、たとえば、カメラなどの視覚センサ１０２と、光センサ１０４と、マイクロフォンなどのサウンドセンサ１０６と、運動センサ１０８と、温度センサ１１０と、筋電計測（ＥＭＧ）センサ１１２とを含み得る。上記のセンサは、ジェスチャ分類装置によって利用し得るセンサタイプの代表的サンプルである。他のタイプのセンサも利用され得る。センサはセンサ信号を供給し、あるいはワイヤード接続１１４、またはＢｌｕｅｔｏｏｔｈ（登録商標）などのワイヤレス接続１１６を通じてジェスチャ認識装置と通信し得る。
【００１２】
[0016]ジェスチャ認識装置１００は、センサ可用性に応じて、異なる時に異なるセンサを利用し得るという点で動的である。この目的で、ジェスチャ認識装置１００は、新しいセンサおよび既存のセンサの存在を検出するように構成される。たとえば、ジェスチャ認識装置１００のユーザは、装置の初期使用時に運動センサを着用していないが、後で運動センサを着用し始めることがある。したがって、装置１００はセンサを周期的に走査する。そのような操作は、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ（登録商標）、ＷｉＦＩ  Ｄｉｒｅｃｔ、およびセルラーを通じて行われ得る。従来の既存のセンサがもはや利用可能ではない場合、または新しいセンサが利用可能となった場合、ジェスチャ認識装置１００は、それに応じてその動作を調節する。そのような調節が以下でさらに説明される。
【００１３】
[0017]図２は、１次センサ２０２と、２次センサ２０４と、信頼性センサ２０６とを含む３つの異なるセンサから信号を受信するジェスチャ認識装置２００を示す図である。ジェスチャ認識装置２００は、身体部分の移動に対応するジェスチャ分類を出力するように構成される。ジェスチャ認識装置２００は、たとえば、１つまたは複数のセンサによって検知された、身体運動と、身体イメージと、身体音とを含むジェスチャイベントを、装置２００によって出力されたジェスチャ分類の全精度を改善する方式で処理する。
【００１４】
[0018]センサ２０２、２０４、２０６の各々は、ジェスチャ認識装置２００とともに配置され得、または装置とは別々に配置され得る。たとえば、ジェスチャ認識装置２００は、ユーザによって着用されるＡＲグラス内に含まれ得る。ＡＲグラスは、２次センサ２０４として機能し得るカメラと、信頼性センサ２０６として機能し得る光センサとを含み得る。ＡＲグラスのユーザは追加の装置を着用し得、追加の装置は１次センサ２０２を含み得る。たとえば、追加の装置は、ユーザによって着用されるリストバンドであり得る。
【００１５】
[0019]ジェスチャ認識装置２００は、１次ジェスチャ分類器２０８と、２次ジェスチャ分類器２１０と、信頼度モジュール２１２と、信頼性モジュール２１４と、ジェスチャ確認モジュール２１６とを含む。一構成では、１次センサ２０２は、身体移動を検知し、対応する移動信号を１次ジェスチャ認識デバイス２０８に出力するように構成される。１次センサ２０８は、身体移動を検出するＥＭＧセンサまたは圧力センサであり得る。
【００１６】
[0020]１次ジェスチャ分類器２０８は、移動信号を処理し、身体移動を、ジェスチャ認識装置２００によってサポートされるいくつかのジェスチャのうちの１つとして分類する。たとえば、１次ジェスチャ分類器２０８は、ジェスチャのルックアップテーブルを含み得、それによって、特定のジェスチャが移動信号の特定の特徴にマッピングされる。このケースでは、１次ジェスチャ分類器２０８は、受信した移動信号を処理し、信号特徴、たとえば周波数、振幅、曲線の形状、傾き、最小値、最大値、ヒステリシス、平均、中央値、標準偏差、分散、加速度を抽出し、合致する信号特徴をルックアップテーブルで探す。合致する信号特徴にマッピングされるジェスチャは、１次ジェスチャ分類器２０８により、１次センサによって検出されたジェスチャであると決定される。したがって、１次ジェスチャ分類器２０８は、図２で「分類済みジェスチャ」と呼ばれる、検出されたジェスチャの表示を出力する。
【００１７】
[0021]信頼度モジュール２１２は、１次ジェスチャ分類器２０８から分類済みジェスチャの表示を受信し、ルックアップテーブルに基づいて、このジェスチャの信頼レベルを決定する。信頼度ルックアップテーブルは、１次センサ２０２から得られた移動信号と、移動信号に応答して１次ジェスチャ分類器２０８によって提供される分類済みジェスチャが正確であるという信頼度の対応する尺度とに基づいて分類され得るジェスチャのリスティングを含む。たとえば、ＥＭＧセンサなどの特定のセンサは、指を鳴らすことを検出すること、次いで手振りを検出することがより正確であり得る。したがって、そのセンサについてのルックアップテーブルは、分類済みジェスチャが指を鳴らし、次いで分類済みジェスチャが手振りであるとき、より高いレベルの信頼度を有することになる。信頼度ルックアップテーブルは、１次センサ２０２に対応するセンサタイプについての利用可能な情報に基づき得、または１次センサ２０２からの移動信号に応答して１次ジェスチャ分類器２０８によって行われた分類済みジェスチャ決定での過去の誤りに基づき得る。
【００１８】
[0022]分類済みジェスチャに対応する信頼レベルの決定時に、信頼度モジュール２１２は、信頼レベルをしきい値と比較する。しきい値が満たされる場合、ジェスチャ認識装置２００は、分類済みジェスチャを確認済みジェスチャとして出力する。しきい値が満たされない場合、ジェスチャ確認プロセスが開始され、そのケースでは、１次ジェスチャ分類器２０８によって出力された分類済みジェスチャが、以下で説明されるように、さらなる処理のためにジェスチャ確認モジュール２１６に提供される。
【００１９】
[0023]信頼レベルおよびしきい値に関して、一実装では、これらの尺度がパーセントで表される。たとえば、しきい値は９８％にプログラムされ得る。この場合、信頼度モジュール２１２は、分類済みジェスチャの信頼レベルパーセントをしきい値パーセントと比較する。信頼レベルがしきい値を満たす場合、たとえばしきい値を超過する、しきい値以上である、などである場合、分類済みジェスチャがジェスチャ認識装置２００によって確認済みジェスチャとして出力される。信頼レベルがしきい値未満である場合、ジェスチャ確認プロセスが開始される。プログラミングを通じて、ジェスチャ確認プロセスを迂回することが可能である。たとえば、一構成では、すべてのジェスチャのジェスチャ信頼レベルが１００％に設定され得る。あるいは、しきいしきい値が常に満たされるように値が０に設定され得る。
【００２０】
[0024]ジェスチャ確認プロセスが開始されるケースでは、ジェスチャ認識装置２００は２次センサ２０４を活動化し得る。２次センサ２０４は、１次センサ２０２によって検知される身体移動に関する確証イベントを取り込む任意のセンサであり得る。たとえば、２次センサ２０４は、身体移動のイメージを取り込むように構成されるカメラ、または身体移動に関連する音を取り込むように構成されたマイクロフォンであり得る。
【００２１】
[0025]代替構成では、ジェスチャ認識装置２００はまず、２次センサ２０４によって提供される情報が信頼できると決定し得る。このケースでは、ジェスチャ認識装置２００は、信頼性センサ２０６を活動化し、２次センサ２０４の信頼性が確認されるまで２次センサ２０４の活動化を遅延する。
【００２２】
[0026]２次センサ信頼性モジュール２１４は、信頼性センサ２０６から受信した入力に基づいて、２次センサ２０４によって提供されるデータが信頼できるかどうかを評価する。たとえば、２次センサ２０４がカメラである場合、信頼性センサ２０６は光検出器であり得る。このケースでは、信頼性モジュール２１４は、室内に光がどれほどあるかを評価する。光レベルが特定のルーメン数などのしきい値を満たす場合、信頼性モジュール２１４は、２次センサからのデータは信頼できると結論付ける。別の例として、２次センサ２０４がサウンド検出器である場合、信頼性センサ２０６はマイクロフォンであり得る。このケースでは、信頼性モジュール２１４は、２次センサ２０４の近傍のサウンドレベルを評価する。サウンドレベルが、特定のデシベル数未満など音または騒音が大き過ぎない環境を示す、しきい値を満たす場合、信頼性モジュール２１４は、２次センサ２０４が効果的なセンサであり、２次センサからのデータは信頼できると結論付ける。
【００２３】
[0027]２次センサ２０４が信頼できると決定したとき、ジェスチャ認識装置２００は２次センサ２０４をオンにする。確証情報が２次センサ２０４によって取り込まれ、２次ジェスチャ分類器２１０に提供される。２次ジェスチャ分類器２１０は、確証情報を処理し、確証情報に関連する身体移動を、２次ジェスチャ分類器２１０によってサポートされるいくつかのジェスチャのうちの１つとして分類する。たとえば、２次ジェスチャ分類器２１０は、ジェスチャのルックアップテーブルを含み得、それによって、特定のジェスチャが、カメラによって取り込まれたイメージ、またはサウンド検出器によって取り込まれた音の特定の特徴にマッピングされる。このケースでは、２次ジェスチャ分類器２１０は、受信した確証情報を処理し、適切な特徴、たとえば、イメージのケースでは縁部の存在、強度ヒストグラム、色勾配など、音のケースでは基本周波数、クロッシングレート、ロールオフ、スペクトル平滑度および広がりなどを抽出し、合致する特徴をジェスチャルックアップテーブルで探す。合致する特徴にマッピングされるジェスチャが、２次ジェスチャ分類器１０８により、２次センサによって検出されたジェスチャであると決定される。したがって、２次ジェスチャ分類器２１０は、図２で「分類済みジェスチャ」と呼ばれる、検出されたジェスチャの表示を出力する。
【００２４】
[0028]２次ジェスチャ分類器２１０は、確証ジェスチャをジェスチャ確認モジュール２１６に提供する。１次ジェスチャ分類器２０８によって信頼度モジュール２１２を通じて提供された分類済みジェスチャと、２次ジェスチャ分類器２１０によって提供された確証ジェスチャとが、確認済みジェスチャを決定するために処理される。一構成では、確認モジュール２１６は、分類済みジェスチャと確証ジェスチャとが同一のジェスチャであるかどうかを決定するためにそれらを比較する。２つのジェスチャが合致する場合、合致するジェスチャが確認済みジェスチャとして出力される。２つのジェスチャが合致しない場合、ジェスチャ決定誤りがジェスチャ検出装置２００によって出力される。
【００２５】
[0029]信頼度モジュール２１６はまた、１次ジェスチャ分類器２０８、２次ジェスチャ分類器２１０、ならびにシステムに追加され得る任意の追加のセンサおよび対応するジェスチャ分類器のそれぞれの信頼レベルに基づいて、確認済みジェスチャを出力する。たとえば、ＥＭＧセンサリストバンドの形態で１次センサと対にされる１次ジェスチャ分類器、マイクロフォンの形態で第２のセンサと対にされる２次ジェスチャ分類器、および腰の運動を検知するＦｉｔｂｉｔと対にされる３次ジェスチャ分類器のケースでは、システムは、システムが受信するすべてのジェスチャ分類を考慮し、どのジェスチャ分類が最高の信頼レベルを有するかに基づいて、確認済みジェスチャ決定を行い得る。たとえば、１次ジェスチャ分類器が、ジェスチャが指を鳴らすことであることを９０％の信頼度とし、２次ジェスチャ分類器が、ジェスチャが指を鳴らすことであることを６０％の信頼度とし、３次ジェスチャ分類器が、ジェスチャが手振りの挨拶であることを１０％の信頼度とする場合、システムは、指を鳴らすことを確認済みジェスチャとして出力する。別の構成では、恐らくはすべての信頼レベルが実質的に同一であるとき、システムは、多数決規則に基づいて確認済みジェスチャを決定し得る。
【００２６】
[0030]例示的な一実装では、対象のジェスチャが親指によって形成されるピンチであり、ユーザのインデックスフィギュアおよび１次センサ２０２がＥＭＧセンサである。ＥＭＧセンサによって提供される移動信号に基づいて、１次ジェスチャ分類器２０８は、ジェスチャがピンチであると決定する。このジェスチャの信頼レベルは、信頼度しきい値を満たさない。したがって、ジェスチャ認識装置２００は、ジェスチャ検出を確認するために、カメラである２次センサ２０４を活動化する。カメラ内に含まれる光検出器であり得る信頼性センサ２０６から受信した情報に基づいて、信頼性モジュール２１４は、たとえば、典型的なオフィスについては５００ルーメンなどのしきいルーメン数に基づいて、部屋が十分に照明されているかどうかを決定する。部屋が十分に照明されている場合、カメラ２０４が写真を撮り、２次ジェスチャ分類器２１０が、ピンチを示す円を生成するように人差し指と親指とが互いにくっつくことを写真は実証するかどうかを決定するために写真を処理する。写真の処理は、ユーザがジェスチャを行うために自分の手をカメラの正面に持って来たことの表示として働く、皮膚を探すためのスキントーン検出、または直線、すなわち指の縁部を探すハフ直線変換を含み得る。２次ジェスチャ分類器２１０がピンチを決定した場合、ジェスチャ確認モジュール２１６は、分類済みジェスチャと確証ジェスチャとの間のマッチに基づいて、ピンチを確認済みジェスチャとして出力する。
【００２７】
[0031]別の例示的実装では、ジェスチャが１対の順次的に指を鳴らすことであり、１次センサ２０２が手の甲の感圧バンドである。感圧バンドによって提供される移動信号に基づいて、１次ジェスチャ分類器２０８は、ジェスチャが指を鳴らすこと、たとえば、１対の指を鳴らすことのうちの最初に指を鳴らすことであると決定する。このジェスチャの信頼レベルは、信頼度しきい値を満たさない。したがって、ジェスチャ認識装置２００はジェスチャ確認プロセスを開始する。このプロセスでは、装置２００は、２次センサを活動化する前に、マイクロフォンである信頼性センサ２０６を活動化する。最初に指が鳴らされた場所の近傍でマイクロフォンによって取り込まれる音に対応する信号が、信頼性モジュール２１４に提供される。信頼性モジュール２１４は、最初に手がたたかれた場所の近傍で音が大き過ぎるかどうか、たとえば、サウンドレベルがしきいデシベルレベルより高いかどうかを決定するために、近傍サウンド信号を処理する。部屋の音が大き過ぎないと決定される場合、ジェスチャ認識装置２００は、マイクロフォンである２次センサ２０４をオンにする。
【００２８】
[0032]２次センサマイクロフォン２０４はジェスチャの近傍で音を取り込み、２次ジェスチャ分類器２１０は、指を鳴らすこと、たとえば２回目に指を鳴らすことを音が立証するかどうかを決定するために音を処理する（たとえば、ＤＳＰ処理）。２次ジェスチャ分類器２１０が指を鳴らしたと決定する場合、ジェスチャ確認モジュール２１６は、分類済みジェスチャと確証ジェスチャとの間の合致に基づいて、指を鳴らすことを確認済みジェスチャとして出力する。
【００２９】
[0033]上記の例では、２次センサ２０４と信頼性センサ２０６とはどちらもマイクロフォンであり、同一のマイクロフォンであり得る。このケースでのセンサ２０４、２０６の間の違いは、信頼性モジュール２１４および２次ジェスチャ分類器２１０によってそれぞれ実施される音の処理の精巧さのレベルである。信頼性モジュール２１４のケースでは、サウンド処理は、デシベルレベルを求めることに関係する、大きさに関係する。２次ジェスチャ分類器２１０のケースでは、サウンド処理は、より複雑なデジタル信号処理に関係する、ＦＦＴを介して音の周波数領域を得ること、１次周波数を、トレーニング中に記録された、ユーザが指を鳴らすことの１次周波数と比較することなどの、ジェスチャに関する信号特徴に関係する。したがって、サウンドレベル基準が満たされるまでの複雑なデジタル信号処理の活動化の遅延の結果、電力および処理の消費の点でのシステム効率が生じ得る。
【００３０】
[0034]図２に関連して説明されるジェスチャ認識装置２００は、１次センサと、２次センサと、信頼性センサとを含む。これらのセンサは、機能の点で装置２００の他の構成要素とともに考慮され得、必ずしも異なる物理センサに対応するとは限らないことがある。たとえば、音検知のケースでは、信頼性モジュールによって処理される音と、２次ジェスチャ分類器によって処理される音とを取り込むために、同一のマイクロフォンが使用され得る。このケースでは、１次センサおよび２次センサは同一の構成要素である。別のケースでは、各センサは、基礎となる異なる技術、ＥＭＧ、イメージサウンド、圧力、運動などに基づき得る。
【００３１】
[0035]ジェスチャ認識装置２００は、基礎となる異なる技術にそれぞれ基づき得る４つ以上のセンサを有し得る。装置２００は柔軟性を有し得、異なるセンサを１次センサ、２次センサ、および信頼性センサとして指定している。一構成では、センサは、電力消費がより低いセンサが最初に使用される動作の順序を達成するように設計され得る。たとえば、ＥＭＧセンサは、消費する電流がカメラよりもずっと低い。したがって、ＥＭＧセンサは、分類済みジェスチャを決定するために使用される１次センサに指定され得、一方、カメラは２次センサに指定され、確証ジェスチャが必要であるときにのみ使用される。
【００３２】
[0036]２次ジェスチャ分類器２１０からのデータおよび結果は、再トレーニングを通じて１次ジェスチャ分類器２０８の性能を改善する助けとなり得る。たとえば、１次センサ、たとえばＥＭＧセンサが移動信号を提供し、その時、１次ジェスチャ分類器２０８が、ジェスチャがピンチであり、または指を鳴らすことであると決定するが、２次センサ２０４、たとえばカメラが確証情報を提供し、その時、２次ジェスチャ分類器２１０が、ジェスチャがピンチであると決定する場合、１次ジェスチャ分類器を更新またはサイトレーニングすることが有益であり得る。この目的で、その時に取り込まれたＥＭＧデータ、すなわち移動信号が、１次ジェスチャ分類器２０８内にフィードバックされ、移動信号特徴をジェスチャにマッピングする１次ジェスチャ分類器のジェスチャルックアップテーブルが更新され、その結果、１次ジェスチャ分類器によるピンチまたは指を鳴らすことの検出を結果として得るために使用されたＥＭＧ信号の検知それが、ピンチのみとしてより正確に検出される。
【００３３】
[0037]ジェスチャ認識装置２００は、後で利用可能となるセンサと対になるように構成され得る。たとえば、ジェスチャ認識装置２００のユーザが歩数計を着用し始めた場合、システムは、歩数計から入手可能な情報から恩恵を受け得る。装置２００は、新しいセンサの存在を検出し、その能力を決定し得る。これらの能力に基づいて、システムは、ジェスチャ決定プロセスの追加の機能を実装し得る。歩数計のケースでは、歩数計の認識時に、ジェスチャ認識装置２００は機能を実装し得、それによって歩数計が、ＥＭＧ１次センサ２０２に対して信頼性センサ２０６として機能する。ユーザが歩いていることを歩数計が信頼性モジュール２１４に示すとき、信頼性モジュールは、ＥＭＧセンサによって提供される信号から導出されるどんなジェスチャ分類器の出力も装置に無視させる。これは、歩いた結果、不安定な電気的グランドのためにＥＭＧ信号の雑音が多くなり、その結果、ＥＭＧベースのジェスチャ決定が不正確となるという前提に基づく。
【００３４】
[0038]新しいセンサ能力を追加する例示的シナリオでは、ジェスチャ認識装置２００は、ＡｌｌＪｏｙｎなどの井戸既知技術を使用して、新しいデバイスを周期的に探す。新しいデバイスがオンにされるとき、装置２００はデバイスを認識し、たとえば何らかのオープンスタンダードによってデバイスに接続する。接続されると、装置２００は、デバイス内に含まれるセンサから利用可能なデータについてデバイスに照会する。新しいデバイスのユーザが様々なジェスチャを行うとき、装置２００は、これらの新しいセンサからのデータストリーム中のパターンを探す。
【００３５】
[0039]装置２００の視覚分類器構成要素２０８、２１０が、新しいセンサによって提供されたデータと、対応するジェスチャとの関係を発見した場合、そのような対応関係が分類器のジェスチャルックアップテーブルに追加され、新しいセンサが、ジェスチャ分類装置２００内のセンサとして使用され得る。たとえば、ユーザの腕にひもで結びつけられ、運動に対応するデータを提供するデバイスのケースでは、分類器は、ユーザが指を鳴らすたびにそれを発見し得、デバイスは、反復可能で一貫性のある移動信号を提供する。同様に、装置２００の分類器構成要素２０８、２１０が、新しいセンサによって提供されたデータと、対応するジェスチャとの間の関係を発見しない場合、システムは、新しいセンサからのデータを無視する。たとえば、新しいセンサが温度をレポートする温度センサであるが、装置２００が、温度変化は指を鳴らすジェスチャとは関連しないと決定する場合、温度データは装置によって無視される。
【００３６】
[0040]図３は、ＡＲグラスの形態のＡＲデバイス３０２と、リストバンドの形態のジェスチャセンサデバイス３０４とを含むＡＲシステム３００の図である。ＡＲグラス３０２は、当技術分野で周知の方法を使用して、そのレンズを通じてコンテンツを投影するように構成され得る。たとえば、ＡＲグラス３０２は、そのレンズを通じて、ｅメール、文書、ウェブページなどのアプリケーションコンテンツ、またはビデオゲーム、ムービー、電子書籍などのメディアコンテンツを投影するように構成され得る。他のタイプのＡＲデバイス３０２は、スマートフォン、タブレット、ラップトップなどを含み得る。
【００３７】
[0041]ＡＲグラス３０２は、ジェスチャセンサデバイス３０４と通信するための通信デバイス３０６を含む。通信デバイス３０６は、たとえばＢｌｕｅｔｏｏｔｈデバイスであり得る。ＡＲグラス３０２は、ジェスチャセンサデバイス３０４から受信した信号を処理するためのプロセッサ３１８をさらに含む。プロセッサ３１８は、図２に示されるジェスチャ認識装置２００の構成要素のうちの１つまたは複数を含み得る。
【００３８】
[0042]ジェスチャセンサデバイス３０４は、身体部分に関連付けられるように構成され、そのような関連付けを提供することに資する任意の形態であり得る。たとえば、身体部分が手または指である場合、ジェスチャ認識デバイスは、リストバンド３０４として構成され得る。
【００３９】
[0043]ジェスチャセンサデバイス３０４は、図２に示されるジェスチャ認識装置の１つまたは複数のセンサを含み得る。たとえば、一構成では、ジェスチャセンサデバイス３０４は、ＥＭＧ検知能力を提供する１対の電極３０８、３１０の形態の１次センサ２０２を含む。好ましくは、電極３０８、３１０は、リストバンド上に配置され、その結果、ユーザがリストバンド３０４を着用しているとき、手首の筋肉移動の結果として生じる電気的活動を検知するように電極が配置される。電極３０８、３１０は、ＥＭＧ検出素子（図示せず）とともに、身体部分の移動を示す信号を提供するＥＭＧセンサとして機能する。ＥＭＧ検知能力は周知の技術に基づく。
【００４０】
[0044]ジェスチャセンサデバイス３０４は、１次センサとして機能し得る、運動センサ３１２や圧力センサ３１４などの他のタイプのセンサを含み得る。運動センサ３１２は、リストバンド上の任意の場所に配置され得、身体部分の移動を示す信号を提供する。提供される表示は、身体部分の全般的な全体移動、またはジェスチャに対応する身体部分のより細かい移動の一方であり得る。運動センサ３１２は、たとえば、加速度計、ジャイロスコープ、または磁力計であり得る。ジェスチャセンサデバイス３０４はまた、ＡＲグラス３０２と通信するための通信デバイス３１６をも含む。
【００４１】
[0045]図４は、ジェスチャ決定の方法の流れ図である。プロセスは、１次および２次センサの使用によって改善された精度でジェスチャを決定することを対象とする。プロセスは、図２のジェスチャ認識装置２００によって実施され得る。
【００４２】
[0046]ステップ４０２で、装置は、身体部分の移動に基づいてジェスチャを分類する。身体部分の移動は１次センサによって検出される。より具体的には、ジェスチャを分類することは、身体部分の移動の結果として生じる運動活動を感知すること、検知した運動活動を、ジェスチャのライブラリにマッピングされた１つまたは複数の対応する記憶された運動活動と比較すること、および検知した運動活動が、ジェスチャにマッピングされた記憶された運動活動に合致するとき、身体部分がジェスチャを行ったと結論付けることを含み得る。
【００４３】
[0047]ステップ４０４で、装置は、分類済みジェスチャが正確であるという信頼度のレベルを決定し得る。この点で、分類済みジェスチャは、関連する信頼レベルを有する。信頼レベルは１次センサタイプに基づく。言い換えれば、様々なセンサが他のセンサよりも良好に一定のジェスチャを検出し得るので、各タイプのセンサ、たとえば、運動、ＥＭＧ、圧力センサなどは、ジェスチャを信頼レベルにマッピングする関連するルックアップテーブルを有する。
【００４４】
[0048]センサタイプおよびジェスチャに対応する信頼レベルが決定されると、ステップ４０６で、装置は、信頼レベルをしきい値と比較する。しきい値が満たされる場合、ステップ４０８で、装置は、分類済みジェスチャを確認済みジェスチャとして出力する。
【００４５】
[0049]しきい値が満たされない場合、ステップ４１０で、装置はジェスチャ認識確認プロセスを開始し、装置は、利用可能な２次センサの信頼性レベルを決定する。２次センサの信頼性レベルを決定することは、２次センサに関連する環境条件を測定することを含み得る。たとえば、環境条件は、サウンドレベルまたは光レベルのうちの１つまたは複数であり得る。一実装では、ジェスチャ認識確認プロセスを開始する前に、装置は、２次センサの存在を検出する。
【００４６】
[0050]信頼性レベルが決定されると、ステップ４１２として、装置は、信頼性レベルを基準と比較する。たとえば、カメラである２次センサのケースでは、信頼性レベルは、信頼性センサによって測定される光の尺度であり得、基準は、測定される光レベルが満たさなければならない、たとえば合致しなければならない、または超過しなければならない、５００ルーメンなどのしきい光レベルであり得る。基準が満たされない場合、ステップ４１４で、装置は、ジェスチャ検出誤りを出力する。
【００４７】
[0051]基準が満たされる場合、ステップ４１６で、装置は、２次センサに基づいて確証ジェスチャを決定する。より具体的には、装置は、２次センサを使用して、身体部分の移動に関連する確証情報を得、確証情報に基づいて確証ジェスチャを決定する。確証情報は、身体部分のイメージまたは身体部分から発散される音のうちの１つまたは複数であり得る。確証ジェスチャを決定することは、確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較することを含む。
【００４８】
[0052]ステップ４１８で、装置は、確証情報に基づいてジェスチャの分類を確認または否認する。より具体的には、ステップ４２０で、装置は、分類済みジェスチャと確証ジェスチャとを比較する。
【００４９】
[0053]ステップ４２２で、ジェスチャが合致する場合、ステップ４２４で、装置は、分類済みジェスチャおよび確証ジェスチャに対応する確認済みジェスチャを出力する。ジェスチャが合致しない場合、ステップ４２６で、装置は、ジェスチャ検出誤りを出力する。あるいは、装置は、分類済みジェスチャと、１つまたは複数の確証ジェスチャの属性を処理し得、それに応じて確認済みジェスチャを出力する。たとえば、分類済みジェスチャおよび１つまたは複数の確証ジェスチャの各々は、関連する信頼レベルを有し得る。このケースでは、装置は、それぞれの信頼レベルを比較し、最高の信頼度を有するジェスチャを確認済みジェスチャとして出力する。別の例として、それぞれの信頼レベルが実質的に同一である場合、たとえば、互いに、１０％など、数パーセント以内である場合、装置は、多数決規則に基づいて確認済みジェスチャを出力し得、最も多く示されるジェスチャが、確認済みジェスチャとして出力される。
【００５０】
[0054]図５は、処理システム５２０を利用するジェスチャ認識装置１００’についてのハードウェア実装の一例を示す図である。装置は、１次センサによって検出された身体部分の移動に基づいてジェスチャを分類するジェスチャ分類モジュール５０４と、２次センサの信頼性レベルを決定する信頼性モジュール５０６と、信頼性レベルが基準を満たすとき、２次センサを使用して身体部分の移動に関連する確証情報を得る確証モジュール５０８と、確証情報に基づいてジェスチャの分類を確認または否認する確認／否認モジュール５１０とを含む。
【００５１】
[0055]装置１００’は、前述の図４の流れ図でアルゴリズムの各ステップを実施する追加のモジュールを含み得る。したがって、前述の図４の流れ図の各ステップは、モジュールによって実施され得、装置は、それらのモジュールのうちの１つまたは複数を含み得る。モジュールは、具体的には記載のプロセス／アルゴリズムを実施するように構成され、記載のプロセス／アルゴリズムを実施するように構成されたプロセッサによって実装され、プロセッサによる実装のためにコンピュータ可読媒体内に記憶され、またはそれらの何らかの組合せである、１つまたは複数のハードウェア構成要素であり得る。
【００５２】
[0056]処理システム５２０は、バス５２４によって全般的に表されるバスアーキテクチャとともに実装され得る。バス５２４は、処理システム５２０の特定の適用および全体の設計制約に応じて、任意の数の相互接続バスおよびブリッジを含み得る。バス５２４は、プロセッサ５２２によって表される１つまたは複数のプロセッサおよび／またはハードウェアモジュール、モジュール５０４、５０６、５０８、５１０、およびコンピュータ可読媒体／メモリ５２６を含む様々な回路を互いにリンクする。バス５２４はまた、当技術分野で周知であり、したがってさらには説明されない、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路をもリンクし得る。
【００５３】
[0057]処理システム５２０は、コンピュータ可読媒体／メモリ５２６に結合されたプロセッサ５２２を含む。プロセッサ５２２は、コンピュータ可読媒体／メモリ５２６上に記憶されたソフトウェアの実行を含む一般的処理を担当する。ソフトウェアは、プロセッサ５２２によって実行されるとき、任意の特定の装置について上記で説明された様々な機能を処理システム５２０に実行させる。コンピュータ可読媒体／メモリ５２０はまた、ソフトウェアを実行するときにプロセッサ５２２によって操作されるデータを記憶するために使用され得る。処理システムは、モジュール５０４、５０６、５０８、および５１０のうちの少なくとも１つをさらに含む。モジュールは、コンピュータ可読媒体／メモリ５２６内に常駐する／記憶されたプロセッサ５２２内で実行中のソフトウェアモジュール、プロセッサ５２２に結合された１つまたは複数のハードウェアモジュール、またはそれらの何らかの組合せであり得る。
【００５４】
[0058]一構成では、ジェスチャ認識のための装置１００／１００’は、１次センサによって検出された身体部分の移動に基づいてジェスチャを分類するための手段と、２次センサの信頼性レベルを決定するための手段と、信頼性レベルが基準を満たすとき、２次センサを使用して身体部分の移動に関連する確証情報を得るための手段と、確証情報に基づいてジェスチャの分類を確認または否認するための手段とを含む。
【００５５】
[0059]いくつかの構成では、ジェスチャは、関連する信頼レベルを有し、そのケースでは、ジェスチャ認識のための装置１００／１００’は、信頼レベルをしきい値と比較するための手段と、信頼レベルがしきい値を満たさないときにのみ、決定すること、得ること、および確認または否認することを実施するための手段とをさらに含み得る。
【００５６】
[0060]ジェスチャ認識のための装置１００／１００’はまた、決定すること、得ること、および確認または否認することを実施する前に、２次センサの存在を検出するための手段と、身体部分の移動中に提供される２次センサからのデータを監視するための手段と、２次センサによって提供されたデータに基づいて、１次センサによって提供されたデータの信頼性を評価するための手段とを含み得る。
【００５７】
[0061]前述の手段は、前述の手段によって列挙される機能を実施するように構成された、装置１００の前述のモジュールおよび／または装置１０２’の処理システム５２０のうちの１つまたは複数であり得る。
【００５８】
[0062]開示されるプロセス中のステップの特定の順序または階層は例示的手法の例示であることを理解されたい。設計上の選好に基づいて、プロセス中のステップの特定の順序または階層が再構成され得ることを理解されたい。さらに、いくつかのステップが組み合わされ、または省略され得る。添付の方法クレームは、様々なステップの要素をサンプル順序で提示し、提示される特定の順序または階層に限定されることを意味するわけではない。
【００５９】
[0063]前の説明は、当業者が本明細書で説明される様々な態様を実施することを可能にするように提供される。これらの態様に対する様々な修正が当業者には容易に明らかであり、本明細書で定義される一般原理は他の態様に適用され得る。したがって、特許請求の範囲は、本明細書に示される態様に限定されることは意図されず、言語クレームに適合する全範囲が与えられるべきであり、単数の要素に対する参照は、具体的にそのように記述されるのでない限り、「唯一無二」を意味するのではなく、「１つまたは複数の」を意味することを意図する。「例示的」という語は、本明細書では、「一例、実例、または例示としての役割を果たす」ことを意味するように使用される。本明細書で「例示的」なものとして説明される任意の態様は、必ずしも他の態様よりも好ましい、または有利であると解釈されるべきであるとは限らない。別段に具体的に記載されていない限り、「いくつかの」は１つまたは複数を指す。「Ａ、Ｂ、またはＣのうちの少なくとも１つの」、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、Ｃ、またはそれらの任意の組合せ」などの組合せは、Ａ、Ｂ、および／またはＣの任意の組合せを含み、複数のＡ、複数のＢ、または複数のＣを含み得る。具体的には、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、Ｃ、またはそれらの任意の組合せ」などの組合せは、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ＡおよびＢおよびＣであり得、任意のそのような組合せは、Ａ、Ｂ、またはＣのうちの１つまたは複数のメンバを含み得る。本開示全体にわたって説明される様々な態様の要素に対するすべての構造的および機能的均等物は、当業者には周知であり、または後に周知となり、参照により本明細書に明白に組み込まれ、特許請求の範囲によって包含されることを意図する。さらに、本明細書で開示されるものは、そのような開示が特許請求の範囲に明示的に記載されているかどうかに関わらず、公衆に捧げられないことを意図する。クレーム要素は、要素が「のための手段（ｍｅａｎｓ  ｆｏｒ）」という句を使用して明白に記載されるのでない限り、手段および機能と解釈されるべきではない。
【図１】
2016540276.tif 000003
【図２】
2016540276.tif 000004
【図３】
2016540276.tif 000005
【図４】
2016540276.tif 000006
【図５】
2016540276.tif 000007
【手続補正書】
【提出日】平成28年6月13日(2016.6.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ジェスチャ認識の方法であって、
身体部分の移動に基づいてジェスチャを分類することと、前記移動が１次センサによって検出され、前記ジェスチャが関連する信頼レベルを有する、
前記信頼レベルをしきい値と比較することと、
前記信頼レベルが前記しきい値を満たさないときに、以下を実施することと、
２次センサの信頼性レベルを決定することと、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得るために前記２次センサを活動化することと、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認することと、
を備える方法。
【請求項２】
２次センサの信頼性レベルを決定することが、前記２次センサに関連する環境条件を測定することを備える、請求項１に記載の方法。
【請求項３】
前記環境条件が、サウンドレベルまたは光レベルのうちの１つまたは複数を備える、請求項２に記載の方法。
【請求項４】
前記確証情報が、前記身体部分のイメージまたは前記身体部分から発散される音のうちの１つまたは複数を備える、請求項１に記載の方法。
【請求項５】
前記１次センサと前記２次センサが異なるタイプのセンサである、請求項１に記載の方法。
【請求項６】
前記ジェスチャの前記分類を確認または否認することが、
前記確証情報に基づいて確証ジェスチャを決定することと、
前記確証ジェスチャが前記ジェスチャの前記分類に合致するとき、前記ジェスチャの前記分類を確認することと、
を備える、請求項１に記載の方法。
【請求項７】
確証ジェスチャを決定することが、前記確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較することを備える、請求項６に記載の方法。
【請求項８】
１次センサによって検出された身体部分の移動に基づいてジェスチャを分類することが、
前記身体部分の前記移動の結果として生じる運動活動を検知することと、
前記検知した運動活動を、ジェスチャのライブラリにマッピングされる１つまたは複数の対応する記憶された運動活動と比較することと、
前記検知した運動活動が、前記ジェスチャにマッピングされる前記記憶された運動活動に合致するとき、前記身体部分が前記ジェスチャを行ったと結論付けることと、
を備える、請求項１に記載の方法。
【請求項９】
前記ジェスチャの前記分類が前記確証情報に基づいて否認されるとき、ジェスチャの前記ライブラリを更新することをさらに備える、請求項８に記載の方法。
【請求項１０】
ジェスチャの前記ライブラリを更新することが、前記検知された運動活動に対応する前記記憶された運動活動を、異なるジェスチャに再マッピングすることを備え、前記異なるジェスチャが、前記確証情報に基づいて決定される確証ジェスチャに対応する、請求項９に記載の方法。
【請求項１１】
前記決定することと、前記得ることと、前記確認または否認することとを実施する前に、前記２次センサの存在を検出することをさらに備える、請求項１に記載の方法。
【請求項１２】
前記身体部分の前記移動中に提供される前記２次センサからのデータを監視することと、
前記２次センサによって提供されるデータに基づいて、前記１次センサによって提供されるデータの信頼性を評価することと、
をさらに備える、請求項１に記載の方法。
【請求項１３】
ジェスチャ認識のための装置であって、
身体部分の移動に基づいてジェスチャを分類するための手段と、前記移動が１次センサによって検出され、前記ジェスチャが関連する信頼レベルを有する、
前記信頼レベルをしきい値と比較するための手段と、
前記信頼レベルが前記しきい値を満たさないときに、決定することと、得ることと、確認または否認することとを実施するための手段と、
を備え、実施するための前記手段は、
２次センサの信頼性レベルを決定するための手段と、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得るために前記２次センサを活動化するための手段と、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認するための手段と、
を備える装置。
【請求項１４】
２次センサの信頼性レベルを決定するための前記手段が、前記２次センサに関連する環境条件を測定するように構成される、請求項１３に記載の装置。
【請求項１５】
前記環境条件が、サウンドレベルまたは光レベルのうちの１つまたは複数を備える、請求項１４に記載の装置。
【請求項１６】
前記確証情報が、前記身体部分のイメージまたは前記身体部分から発散される音のうちの１つまたは複数を備える、請求項１３に記載の装置。
【請求項１７】
前記１次センサと前記２次センサが異なるタイプのセンサである、請求項１３に記載の装置。
【請求項１８】
前記ジェスチャの前記分類を確認または否認するための前記手段が、
前記確証情報に基づいて確証ジェスチャを決定し、
前記確証ジェスチャが前記ジェスチャの前記分類に合致するとき、前記ジェスチャの前記分類を確認する
ように構成される、請求項１３に記載の装置。
【請求項１９】
前記ジェスチャの前記分類を確認または否認するための前記手段が、確証ジェスチャを決定するために、前記確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較するようにさらに構成されることによって確証ジェスチャを決定する、請求項１８に記載の装置。
【請求項２０】
１次センサによって検出された身体部分の移動に基づいてジェスチャを分類するための前記手段が、
前記身体部分の前記移動の結果として生じる運動活動を検知し、
前記検知した運動活動を、ジェスチャのライブラリにマッピングされる１つまたは複数の対応する記憶された運動活動と比較し、
前記検知した運動活動が、前記ジェスチャにマッピングされる前記記憶された運動活動に合致するとき、前記身体部分が前記ジェスチャを行ったと結論付ける
ように構成される、請求項１３に記載の装置。
【請求項２１】
ジェスチャを分類するための前記手段が、前記ジェスチャの前記分類が前記確証情報に基づいて否認されるとき、ジェスチャの前記ライブラリを更新するように構成される、請求項２０に記載の装置。
【請求項２２】
ジェスチャを分類するための前記手段が、前記検知された運動活動に対応する前記記憶された運動活動を、異なるジェスチャに再マッピングするようにさらに構成されることによってジェスチャの前記ライブラリを更新し、前記異なるジェスチャが、前記確証情報に基づいて決定される確証ジェスチャに対応する、請求項２１に記載の装置。
【請求項２３】
前記決定することと、前記得ることと、前記確認または否認することとを実施する前に、前記２次センサの存在を検出するための手段をさらに備える、請求項１３に記載の装置。
【請求項２４】
前記身体部分の前記移動中に提供される前記２次センサからのデータを監視するための手段と、
前記２次センサによって提供されるデータに基づいて、前記１次センサによって提供されるデータの信頼性を評価するための手段と、
をさらに備える、請求項１３に記載の装置。
【請求項２５】
ジェスチャ認識のための装置であって、
メモリと、
前記メモリに結合され、
身体部分の移動に基づいてジェスチャを分類し、前記移動が１次センサによって検出され、前記ジェスチャが関連する信頼レベルを有する、
前記信頼レベルをしきい値と比較し、
前記信頼レベルが前記しきい値を満たさないときに、以下を実施し、
２次センサの信頼性レベルを決定し、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得るために前記２次センサを活動化し、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認する
ように構成された処理システムと、
を備える装置。
【請求項２６】
前記処理システムが、前記２次センサに関連する環境条件を測定するように構成されることによって２次センサの信頼性レベルを決定する、請求項２５に記載の装置。
【請求項２７】
前記環境条件が、サウンドレベルまたは光レベルのうちの１つまたは複数を備える、請求項２６に記載の装置。
【請求項２８】
前記確証情報が、前記身体部分のイメージまたは前記身体部分から発散される音のうちの１つまたは複数を備える、請求項２５に記載の装置。
【請求項２９】
前記１次センサと前記２次センサが異なるタイプのセンサである、請求項２５に記載の装置。
【請求項３０】
前記処理システムが、
前記確証情報に基づいて確証ジェスチャを決定し、
前記確証ジェスチャが前記ジェスチャの前記分類に合致するとき、前記ジェスチャの前記分類を確認する
ようにさらに構成されることによって前記ジェスチャの前記分類を確認または否認する、請求項２５に記載の装置。
【請求項３１】
前記処理システムが、前記確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較するように構成されることによって確証ジェスチャを決定する、請求項３０に記載の装置。
【請求項３２】
前記処理システムが、
前記身体部分の前記移動の結果として生じる運動活動を検知し、
前記検知した運動活動を、ジェスチャのライブラリにマッピングされる１つまたは複数の対応する記憶された運動活動と比較し、
前記検知した運動活動が、前記ジェスチャにマッピングされる前記記憶された運動活動に合致するとき、前記身体部分が前記ジェスチャを行ったと結論付ける
ように構成されることによって、１次センサによって検出された身体部分の移動に基づいてジェスチャを分類する、請求項２５に記載の装置。
【請求項３３】
前記処理システムが、前記ジェスチャの前記分類が前記確証情報に基づいて否認されるとき、ジェスチャの前記ライブラリを更新するようにさらに構成される、請求項３２に記載の装置。
【請求項３４】
前記処理システムが、前記検知された運動活動に対応する前記記憶された運動活動を、異なるジェスチャに再マッピングするようにさらに構成されることによってジェスチャの前記ライブラリを更新し、前記異なるジェスチャが、前記確証情報に基づいて決定される確証ジェスチャに対応する、請求項３３に記載の装置。
【請求項３５】
前記処理システムが、前記決定することと、前記得ることと、前記確認または否認することとを実施する前に、前記２次センサの存在を検出するようにさらに構成される、請求項２５に記載の装置。
【請求項３６】
前記処理システムが、
前記身体部分の前記移動中に提供される前記２次センサからのデータを監視し、
前記２次センサによって提供されるデータに基づいて、前記１次センサによって提供されるデータの信頼性を評価する
ようにさらに構成される、請求項２５に記載の装置。
【請求項３７】
ジェスチャ認識のためのコンピュータプログラム製品であって、
身体部分の移動に基づいてジェスチャを分類することと、前記移動が１次センサによって検出され、前記ジェスチャが関連する信頼レベルを有する、
前記信頼レベルをしきい値と比較することと、
前記信頼レベルが前記しきい値を満たさないときに、以下を実施することと、
２次センサの信頼性レベルを決定することと、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得るために前記２次センサを活動化することと、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認することと、
のためのコードを備えるコンピュータ可読媒体
を備えるコンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
[0063]前の説明は、当業者が本明細書で説明される様々な態様を実施することを可能にするように提供される。これらの態様に対する様々な修正が当業者には容易に明らかであり、本明細書で定義される一般原理は他の態様に適用され得る。したがって、特許請求の範囲は、本明細書に示される態様に限定されることは意図されず、言語クレームに適合する全範囲が与えられるべきであり、単数の要素に対する参照は、具体的にそのように記述されるのでない限り、「唯一無二」を意味するのではなく、「１つまたは複数の」を意味することを意図する。「例示的」という語は、本明細書では、「一例、実例、または例示
としての役割を果たす」ことを意味するように使用される。本明細書で「例示的」なものとして説明される任意の態様は、必ずしも他の態様よりも好ましい、または有利であると解釈されるべきであるとは限らない。別段に具体的に記載されていない限り、「いくつかの」は１つまたは複数を指す。「Ａ、Ｂ、またはＣのうちの少なくとも１つの」、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、Ｃ、またはそれらの任意の組合せ」などの組合せは、Ａ、Ｂ、および／またはＣの任意の組合せを含み、複数のＡ、複数のＢ、または複数のＣを含み得る。具体的には、「Ａ、Ｂ、またはＣのうちの少なくとも１つ
」、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、Ｃ、またはそれらの任意の組合せ」などの組合せは、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ＡおよびＢおよびＣであり得、任意のそのような組合せは、Ａ、Ｂ、またはＣのうちの１つまたは複数のメンバを含み得る。本開示全体にわたって説明される様々な態様の要素に対するすべての構造的および機能的均等物は、当業者には周知であり、または後に周知となり、参照により本明細書に明白に組み込まれ、特許請求の範囲によって包含されることを意図する。さらに、本明細書で開示されるものは、そのような開示が特許請求の
範囲に明示的に記載されているかどうかに関わらず、公衆に捧げられないことを意図する。クレーム要素は、要素が「のための手段（ｍｅａｎｓ  ｆｏｒ）」という句を使用して明白に記載されるのでない限り、手段および機能と解釈されるべきではない。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ジェスチャ認識の方法であって、
身体部分の移動に基づいてジェスチャを分類することと、前記移動が１次センサによって検出される、
２次センサの信頼性レベルを決定することと、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得ることと、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認することと、
を備える方法。
［Ｃ２］
２次センサの信頼性レベルを決定することが、前記２次センサに関連する環境条件を測定することを備える、Ｃ１に記載の方法。
［Ｃ３］
前記環境条件が、サウンドレベルまたは光レベルのうちの１つまたは複数を備える、Ｃ２に記載の方法。
［Ｃ４］
前記確証情報が、前記身体部分のイメージまたは前記身体部分から発散される音のうちの１つまたは複数を備える、Ｃ１に記載の方法。
［Ｃ５］
前記１次センサと前記２次センサが異なるタイプのセンサである、Ｃ１に記載の方法。
［Ｃ６］
前記ジェスチャの前記分類を確認または否認することが、
前記確証情報に基づいて確証ジェスチャを決定することと、
前記確証ジェスチャが前記ジェスチャの前記分類に合致するとき、前記ジェスチャの前記分類を確認することと、
を備える、Ｃ１に記載の方法。
［Ｃ７］
確証ジェスチャを決定することが、前記確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較することを備える、Ｃ６に記載の方法。
［Ｃ８］
１次センサによって検出された身体部分の移動に基づいてジェスチャを分類することが、
前記身体部分の前記移動の結果として生じる運動活動を検知することと、
検知した運動活動を、ジェスチャのライブラリにマッピングされる１つまたは複数の対応する記憶された運動活動と比較することと、
前記検知した運動活動が、前記ジェスチャにマッピングされる前記記憶された運動活動に合致するとき、前記身体部分が前記ジェスチャを行ったと結論付けることと、
を備える、Ｃ１に記載の方法。
［Ｃ９］
前記ジェスチャの前記分類が前記確証情報に基づいて否認されるとき、ジェスチャの前記ライブラリを更新することをさらに備える、Ｃ８に記載の方法。
［Ｃ１０］
ジェスチャの前記ライブラリを更新することが、前記検知された運動活動に対応する前記記憶された運動活動を、異なるジェスチャに再マッピングすることを備え、前記異なるジェスチャが、前記確証情報に基づいて決定される確証ジェスチャに対応する、Ｃ９に記載の方法。
［Ｃ１１］
前記ジェスチャが関連する信頼レベルを有し、前記方法が、
前記信頼レベルをしきい値と比較することと、
前記信頼レベルが前記しきい値を満たさないときにのみ、前記決定することと、前記得ることと、前記確認または否認することとを実施することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１２］
前記決定することと、前記得ることと、前記確認または否認することとを実施する前に、前記２次センサの前記存在を検出することをさらに備える、Ｃ１に記載の方法。
［Ｃ１３］
前記身体部分の前記移動中に提供される前記２次センサからのデータを監視することと、
前記２次センサによって提供されるデータに基づいて、前記１次センサによって提供されるデータの信頼性を評価することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１４］
ジェスチャ認識のための装置であって、
身体部分の移動に基づいてジェスチャを分類するための手段と、前記移動が１次センサによって検出される、
２次センサの信頼性レベルを決定するための手段と、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得るための手段と、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認するための手段と、
を備える装置。
［Ｃ１５］
２次センサの信頼性レベルを決定するための前記手段が、前記２次センサに関連する環境条件を測定するように構成される、Ｃ１４に記載の装置。
［Ｃ１６］
前記環境条件が、サウンドレベルまたは光レベルのうちの１つまたは複数を備える、Ｃ１５に記載の装置。
［Ｃ１７］
前記確証情報が、前記身体部分のイメージまたは前記身体部分から発散される音のうちの１つまたは複数を備える、Ｃ１４に記載の装置。
［Ｃ１８］
前記１次センサと前記２次センサが異なるタイプのセンサである、Ｃ１４に記載の装置。
［Ｃ１９］
前記ジェスチャの前記分類を確認または否認するための前記手段が、
前記確証情報に基づいて確証ジェスチャを決定し、
前記確証ジェスチャが前記ジェスチャの前記分類に合致するとき、前記ジェスチャの前記分類を確認する
ように構成される、Ｃ１４に記載の装置。
［Ｃ２０］
前記ジェスチャの前記分類を確認または否認するための前記手段が、確証ジェスチャを決定するために、前記確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較するようにさらに構成されることによって確証ジェスチャを決定する、Ｃ１９に記載の装置。
［Ｃ２１］
１次センサによって検出された身体部分の移動に基づいてジェスチャを分類するための前記手段が、
前記身体部分の前記移動の結果として生じる運動活動を検知し、
検知した運動活動を、ジェスチャのライブラリにマッピングされる１つまたは複数の対応する記憶された運動活動と比較し、
前記検知した運動活動が、前記ジェスチャにマッピングされる前記記憶された運動活動に合致するとき、前記身体部分が前記ジェスチャを行ったと結論付ける
ように構成される、Ｃ１４に記載の装置。
［Ｃ２２］
ジェスチャを分類するための前記手段が、前記ジェスチャの前記分類が前記確証情報に基づいて否認されるとき、ジェスチャの前記ライブラリを更新するように構成される、Ｃ２１に記載の装置。
［Ｃ２３］
ジェスチャを分類するための前記手段が、前記検知された運動活動に対応する前記記憶された運動活動を、異なるジェスチャに再マッピングするようにさらに構成されることによってジェスチャの前記ライブラリを更新し、前記異なるジェスチャが、前記確証情報に基づいて決定される確証ジェスチャに対応する、Ｃ２２に記載の装置。
［Ｃ２４］
前記ジェスチャが関連する信頼レベルを有し、前記装置が、
前記信頼レベルをしきい値と比較するための手段と、
前記信頼レベルが前記しきい値を満たさないときにのみ、前記決定することと、前記得ることと、前記確認または否認することとを実施するための手段と、
をさらに備える、Ｃ１４に記載の装置。
［Ｃ２５］
前記決定することと、前記得ることと、前記確認または否認することとを実施する前に、前記２次センサの前記存在を検出するための手段をさらに備える、Ｃ１４に記載の装置。
［Ｃ２６］
前記身体部分の前記移動中に提供される前記２次センサからのデータを監視するための手段と、
前記２次センサによって提供されるデータに基づいて、前記１次センサによって提供されるデータの信頼性を評価するための手段と、
をさらに備える、Ｃ１４に記載の装置。
［Ｃ２７］
ジェスチャ認識のための装置であって、
メモリと、
前記メモリに結合され、
身体部分の移動に基づいてジェスチャを分類し、前記移動が１次センサによって検出される、
２次センサの信頼性レベルを決定し、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認する
ように構成された処理システムと、
を備える装置。
［Ｃ２８］
前記処理システムが、前記２次センサに関連する環境条件を測定するように構成されることによって２次センサの信頼性レベルを決定する、Ｃ２７に記載の装置。
［Ｃ２９］
前記環境条件が、サウンドレベルまたは光レベルのうちの１つまたは複数を備える、Ｃ２８に記載の装置。
［Ｃ３０］
前記確証情報が、前記身体部分のイメージまたは前記身体部分から発散される音のうちの１つまたは複数を備える、Ｃ２７に記載の装置。
［Ｃ３１］
前記１次センサと前記２次センサが異なるタイプのセンサである、Ｃ２７に記載の装置。
［Ｃ３２］
前記処理システムが、
前記確証情報に基づいて確証ジェスチャを決定し、
前記確証ジェスチャが前記ジェスチャの前記分類に合致するとき、前記ジェスチャの前記分類を確認する
ようにさらに構成されることによって前記ジェスチャの前記分類を確認または否認する、Ｃ２７に記載の装置。
［Ｃ３３］
前記処理システムが、前記確証情報を、ジェスチャのライブラリにマッピングされる、対応する情報と比較するように構成されることによって確証ジェスチャを決定する、Ｃ３２に記載の装置。
［Ｃ３４］
前記処理システムが、
前記身体部分の前記移動の結果として生じる運動活動を検知し、
検知した運動活動を、ジェスチャのライブラリにマッピングされる１つまたは複数の対応する記憶された運動活動と比較し、
前記検知した運動活動が、前記ジェスチャにマッピングされる前記記憶された運動活動に合致するとき、前記身体部分が前記ジェスチャを行ったと結論付ける
ように構成されることによって、１次センサによって検出された身体部分の移動に基づいてジェスチャを分類する、Ｃ２７に記載の装置。
［Ｃ３５］
前記処理システムが、前記ジェスチャの前記分類が前記確証情報に基づいて否認されるとき、ジェスチャの前記ライブラリを更新するようにさらに構成される、Ｃ３４に記載の装置。
［Ｃ３６］
前記処理システムが、前記検知された運動活動に対応する前記記憶された運動活動を、異なるジェスチャに再マッピングするようにさらに構成されることによってジェスチャの前記ライブラリを更新し、前記異なるジェスチャが、前記確証情報に基づいて決定される確証ジェスチャに対応する、Ｃ３５に記載の装置。
［Ｃ３７］
前記ジェスチャが関連する信頼レベルを有し、前記処理システムが、
前記信頼レベルをしきい値と比較し、
前記信頼レベルが前記しきい値を満たさないときにのみ、前記決定することと、前記得ることと、前記確認または否認することとを実施する
ようにさらに構成される、Ｃ２７に記載の装置。
［Ｃ３８］
前記処理システムが、前記決定することと、前記得ることと、前記確認または否認することとを実施する前に、前記２次センサの前記存在を検出するようにさらに構成される、Ｃ２７に記載の装置。
［Ｃ３９］
前記処理システムが、
前記身体部分の前記移動中に提供される前記２次センサからのデータを監視し、
前記２次センサによって提供されるデータに基づいて、前記１次センサによって提供されるデータの信頼性を評価する
ようにさらに構成される、Ｃ２７に記載の装置。
［Ｃ４０］
ジェスチャ認識のためのコンピュータプログラム製品であって、
身体部分の移動に基づいてジェスチャを分類することと、前記移動が１次センサによって検出される、
２次センサの信頼性レベルを決定することと、
前記信頼性レベルが基準を満たすとき、前記２次センサを使用して、前記身体部分の前記移動に関連する確証情報を得ることと、
前記確証情報に基づいて前記ジェスチャの前記分類を確認または否認することと、
のためのコードを備えるコンピュータ可読媒体
を備えるコンピュータプログラム製品。
【国際調査報告】
2016540276.tif 000008
2016540276.tif 000009