(57)【特許請求の範囲】
【請求項１】
センサシステム用の状態追跡ベースのジェスチャ認識エンジンのための方法であって、前記方法は、
有限状態機械の複数の順次状態を定義するステップであって、前記有限状態機械は、状態遷移確率行列を備えるＮ状態隠れマルコフモデル（ＨＭＭ）である、ステップと、
複数のシーケンス進捗レベルのうちの１つを前記有限状態機械の前記複数の順次状態のそれぞれに割り当てるステップと、
ランタイム中に離散時間インスタンスにおいてセンサから測定されたデータを受信するステップと、
前記データに対して、前記有限状態機械の状態に対する状態確率分布を計算するステップと、
状態確率分布をシーケンス進捗レベルにマップするステップと、
前記マップされたシーケンス進捗レベルを利用することにより、前記センサシステムの出力値を判定するステップと
を含み、
各離散時間インスタンスについて、前記センサからの前記データは、前記Ｎ状態ＨＭＭに対する状態確率分布を計算する前記有限状態機械に転送され、
各離散時間インスタンスについて、最大確率を伴う状態が選択され、前記状態と関連付けられるシーケンス進捗レベルが出力される、方法。
【請求項２】
最後の状態の後には、前記複数の順次状態の最初の状態が続く、請求項１に記載の方法。
【請求項３】
前記センサシステムは、３次元（３Ｄ）感知システムである、請求項１に記載の方法。
【請求項４】
前記３Ｄセンサシステムは、近距離場容量センサシステムまたは中／遠距離場センサシステムである、請求項３に記載の方法。
【請求項５】
前記中／遠距離場センサシステムは、ビデオまたは赤外線カメラシステムを使用する、請求項４に記載の方法。
【請求項６】
前記近距離場容量センサシステムは、準静電場測定に基づく容量式非接触３Ｄセンサシステムである、請求項４に記載の方法。
【請求項７】
前記センサシステムは、２次元（２Ｄ）感知システム、容量または抵抗タッチシステム、もしくはタッチスクリーンシステムである、請求項１に記載の方法。
【請求項８】
前記センサシステムは、１次元（１Ｄ）感知システムである、請求項１に記載の方法。
【請求項９】
前記複数の状態は、円形ジェスチャの状態である、請求項１に記載の方法。
【請求項１０】
前記状態遷移確率行列は、各行に最大確率値を備える、請求項１に記載の方法。
【請求項１１】
各行の全ての確率は、最大１００％まで加算する、請求項１０に記載の方法。
【請求項１２】
前記ＨＭＭはさらに、所定の移動方向の確率を示す観察行列を使用する、請求項１に記載の方法。
【請求項１３】
前記観察行列は、各行に最大確率値を備える、請求項１２に記載の方法。
【請求項１４】
各行の全ての確率は、最大１００％まで加算する、請求項１３に記載の方法。
【請求項１５】
各時間インスタンスについて、シーケンス進捗レベルは、前記状態確率分布から計算され、出力される、請求項１に記載の方法。
【請求項１６】
前記方法は、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別する、請求項１に記載の方法。
【請求項１７】
最大尤度規則は、最も可能性の高い状態を計算するように適用される、請求項１に記載の方法。
【請求項１８】
複数の順次出力値について、円滑化アルゴリズムは、順次出力値の後処理中に適用される、請求項１２に記載の方法。
【請求項１９】
請求項１に記載の方法を含むジェスチャ認識のための方法であって、前記方法は、パターンベースのジェスチャ認識モードをさらに含み、前記方法は、所定の条件が満たされるときに、前記パターンベースのジェスチャ認識モードと、前記状態追跡ベースのジェスチャ認識エンジンによって提供される状態追跡ベースのジェスチャ認識モードとの間で切り替える、方法。
【請求項２０】
各状態は、観察確率分布に割り当てられる、請求項１９に記載の方法。
【請求項２１】
前記状態追跡ベースのジェスチャ認識モード中に、各離散時間インスタンスについて、前記センサからの前記データは、前処理され、前記Ｎ状態隠れマルコフモデルの各状態に対する状態確率分布を計算する前記有限状態機械に転送される、請求項１９に記載の方法。
【請求項２２】
各時間インスタンスについて、シーケンス進捗レベルは、前記状態確率分布から計算され、出力される、請求項２１に記載の方法。
【請求項２３】
前記状態追跡ベースのジェスチャ認識モードは、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別する、請求項２１に記載の方法。
【請求項２４】
前記方法は、動きのないジェスチャに対する所定の時間閾値が満たされる場合に、前記パターンベースのジェスチャ認識モードに戻るように切り替える、請求項２３に記載の方法。
【請求項２５】
最大尤度規則は、最も可能性の高い状態を計算するように適用される、請求項２１に記載の方法。
【請求項２６】
複数の順次出力値について、円滑化アルゴリズムは、順次出力値の後処理中に適用される、請求項２１に記載の方法。
【請求項２７】
複数の順次出力値について、円滑化アルゴリズムは、順次出力値の後処理中に適用される、請求項２２に記載の方法。
【請求項２８】
請求項１に記載の方法を実装するように構成されたデバイスを操作する方法であって、前記出力値は、前記デバイスの機能を制御するために使用される、方法。
【請求項２９】
前記機能は、音量レベルを増加または減少させること、調光器を制御すること、もしくはスクロール機能を制御することである、請求項２８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願への相互参照）
本出願は、２０１３年７月１９日に出願された米国仮出願第６１／８５６，５３１号の利益を主張する。上記文献は、その全体として本明細書において援用される。
【０００２】
（技術分野）
本開示は、ヒューマンインターフェースのための方法およびデバイスに関し、具体的には、センサシステム用のＨＭＭベースのジェスチャ認識エンジンにおける状態追跡に関する。
【背景技術】
【０００３】
（背景）
マルチレベル制御、例えば、消費者家電製品における音量制御または画面／光輝度制御に既知のシステムは、多くの場合、円形タッチパッドまたは容量線形スライダ（ほとんどの場合、ノート型パソコンのキーボードの上方に搭載される）を使用し、またはそれらは、指がタッチパッドの右境界上の専用スライダ領域中で動いているときに一般ノート型パソコンタッチパッドからのタッチ情報を使用している。
【０００４】
これらのセンサは、指先についての絶対位置情報、したがって、円形タッチパッド上の指先の角度またはスライダ上の位置、すなわち、率直に制御レベルに直接的または特異的にマップすることができる情報を提供する。
【０００５】
具体的には、タッチホイールにとって、指先およびホイールの幾何学的中心がホイール上の基準点と角度を構築することが重要であり、この角度を評価することができる。
【０００６】
固定幾何学的中心位置がない円のジェスチャの認識に関しては、円の動きでの角度を判定することは、もはや簡単ではない。これは、例えば、一般的な非円形タッチパッドについて、近距離場容量センサシステムを使用する２Ｄ／３Ｄ自由空間ジェスチャ、またはビデオもしくは赤外線カメラシステムのような中／遠距離場センサシステムの場合に当てはまる。
【０００７】
時計回りまたは反時計回りのいずれかであり得る、円の動きを考慮し、固定開始または停止位置を有することにそれを限定しない。毎回、円の動き中に、リアルタイム適用のために、現在まで取得されているデータのみ、すなわち、部分的ジェスチャパターンのみを評価することができる。描かれた円の中心を把握することなく、動きの始めに、検出ユニットは、円の方向を知ることができない。例えば、左右の動きは、時計回りの円の最上部に現れるが、反時計回りの円の底部にも現れる。
【発明の概要】
【課題を解決するための手段】
【０００８】
（要約）
実施形態によると、センサシステム用の状態追跡ベースのジェスチャ認識エンジンのための方法は、有限状態機械の複数の順次状態を定義するステップと、各状態に対してシーケンス進捗レベル（ＳＰＬ）を判定するステップと、ランタイム上で状態確率分布を（単一の）ＳＰＬにマップするステップと、センサシステムの出力値としてマップされたＳＰＬ推定値を利用するステップとを含む。
【０００９】
さらなる実施形態によると、最後の状態の後には、複数の順次状態の最初の状態が続くことができる。さらなる実施形態によると、センサシステムは、３次元（３Ｄ）感知システムであり得る。さらなる実施形態によると、３Ｄセンサシステムは、近距離場容量センサシステムまたは中／遠距離場センサシステムであり得る。さらなる実施形態によると、中／遠距離場センサシステムは、ビデオまたは赤外線カメラシステムを使用してもよい。さらなる実施形態によると、近距離場容量センサシステムは、準静電場測定に基づく容量式非接触３Ｄセンサシステムであり得る。さらなる実施形態によると、センサシステムは、２次元（２Ｄ）感知システム、容量または抵抗タッチシステム、もしくはタッチスクリーンシステムであり得る。さらなる実施形態によると、センサシステムは、１次元（１Ｄ）感知システムであり得る。さらなる実施形態によると、複数の状態は、円形ジェスチャの状態であり得る。さらなる実施形態によると、有限状態機械は、一次マルコフモデルであり得る。さらなる実施形態によると、最も可能性の高い状態は、順方向（バウム・ウェルチ）アルゴリズムを使用して計算することができる。さらなる実施形態によると、最も可能性の高い状態および／または最も可能性の高い状態シーケンスは、ビタビアルゴリズムを使用して計算することができる。さらなる実施形態によると、本方法は、状態遷移確率行列を備える、Ｎ状態隠れ（Ｈｉｄｄｅｎ）マルコフモデル（ＨＭＭ）を使用する。さらなる実施形態によると、状態遷移確率行列は、各行に最大確率値を備えてもよい。さらなる実施形態によると、各行の全ての確率は、最大１００％まで加算してもよい。さらなる実施形態によると、ＨＭＭはさらに、所定の移動方向の確率を示す観察行列を使用してもよい。さらなる実施形態によると、観察行列は、各行に最大確率値を備えてもよい。さらなる実施形態によると、各行の全ての確率は、最大１００％まで加算してもよい。さらなる実施形態によると、各離散時間インスタンスについて、センサシステムによって提供されるデータは、Ｎ状態ＨＭＭに対する状態確率分布を計算する有限状態機械に転送することができる。さらなる実施形態によると、各離散時間インスタンスについて、最大確率を伴う状態を選択することができ、状態と関連付けられるＳＰＬが出力される。さらなる実施形態によると、各時間インスタンスについて、ＳＰＬは、状態確率分布から計算することができ、出力される。さらなる実施形態によると、本方法は、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別してもよい。さらなる実施形態によると、最大尤度規則を、最も可能性の高い状態を計算するように適用することができる。さらなる実施形態によると、複数の順次出力値について、円滑化アルゴリズムを、順次出力値の後処理中に適用することができる。
【００１０】
別の実施形態によると、ジェスチャ認識のための方法は、上記で説明されるような方法を含み、さらに、パターンベースのジェスチャ認識モードを含んでもよく、本方法は、所定の条件が満たされるときに、パターンベースのジェスチャ認識モードと、状態追跡ベースのジェスチャ認識エンジンによって提供される状態追跡ベースのジェスチャ認識モードとの間で切り替える。
【００１１】
そのような方法のさらなる実施形態によると、状態追跡ベースのジェスチャ認識モードは、確率行列を備える、Ｎ状態隠れマルコフモデル（ＨＭＭ）を使用してもよい。そのような方法のさらなる実施形態によると、各状態を、観察確率分布に割り当てることができる。そのような方法のさらなる実施形態によると、状態追跡ベースのジェスチャ認識モード中に、各離散時間インスタンスについて、センサシステムによって提供されるデータを前処理し、Ｎ状態ＨＭＭの各状態に対する状態確率分布を計算する有限状態機械に転送することができる。そのような方法のさらなる実施形態によると、各離散時間インスタンスについて、最大確率を伴う状態を選択することができ、状態と関連付けられるＳＰＬが出力される。そのような方法のさらなる実施形態によると、各時間インスタンスについて、ＳＰＬは、状態確率分布から計算することができ、出力される。そのような方法のさらなる実施形態によると、状態追跡ベースのジェスチャ認識モードは、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別してもよい。そのような方法のさらなる実施形態によると、本方法は、動きのないジェスチャに対する所定の時間閾値が満たされる場合に、パターンベースのジェスチャ認識モードに戻るように切り替えてもよい。そのような方法のさらなる実施形態によると、最大尤度規則を、最も可能性の高い状態を計算するように適用することができる。そのような方法のさらなる実施形態によると、複数の順次出力値について、円滑化アルゴリズムを、順次出力値の後処理中に適用することができる。そのような方法のさらなる実施形態によると、出力値は、デバイスの機能を制御するために使用することができる。そのような方法のさらなる実施形態によると、機能は、音量レベルを増加または減少させること、調光器を制御すること、もしくはスクロール機能を制御することであり得る。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
センサシステム用の状態追跡ベースのジェスチャ認識エンジンのための方法であって、前記方法は、
有限状態機械の複数の順次状態を定義するステップと、
各状態に対してシーケンス進捗レベル（ＳＰＬ）を判定するステップと、
ランタイム上で状態確率分布を（単一の）ＳＰＬにマップするステップと
前記センサシステムの出力値として前記マップされたＳＰＬ推定値を利用するステップと
を含む、方法。
（項目２）
最後の状態の後には、前記複数の順次状態の最初の状態が続く、項目１に記載の方法。
（項目３）
前記センサシステムは、３次元（３Ｄ）感知システムである、項目１に記載の方法。
（項目４）
前記３Ｄセンサシステムは、近距離場容量センサシステムまたは中／遠距離場センサシステムである、項目３に記載の方法。
（項目５）
前記中／遠距離場センサシステムは、ビデオまたは赤外線カメラシステムを使用する、項目４に記載の方法。
（項目６）
前記近距離場容量センサシステムは、準静電場測定に基づく容量式非接触３Ｄセンサシステムである、項目４に記載の方法。
（項目７）
前記センサシステムは、２次元（２Ｄ）感知システム、容量または抵抗タッチシステム、もしくはタッチスクリーンシステムである、項目１に記載の方法。
（項目８）
前記センサシステムは、１次元（１Ｄ）感知システムである、項目１に記載の方法。
（項目９）
前記複数の状態は、円形ジェスチャの状態である、項目１に記載の方法。
（項目１０）
前記有限状態機械は、一次マルコフモデルである、項目１に記載の方法。
（項目１１）
最も可能性の高い状態は、順方向（バウム・ウェルチ）アルゴリズムを使用して計算される、項目１０に記載の方法。
（項目１２）
最も可能性の高い状態および／または最も可能性の高い状態シーケンスは、ビタビアルゴリズムを使用して計算される、項目１０に記載の方法。
（項目１３）
前記方法は、状態遷移確率行列を備えるＮ状態隠れマルコフモデル（ＨＭＭ）を使用する、項目１に記載の方法。
（項目１４）
前記状態遷移確率行列は、各行に最大確率値を備える、項目１３に記載の方法。
（項目１５）
各行の全ての確率は、最大１００％まで加算する、項目１４に記載の方法。
（項目１６）
前記ＨＭＭはさらに、所定の移動方向の確率を示す観察行列を使用する、項目１３に記載の方法。
（項目１７）
前記観察行列は、各行に最大確率値を備える、項目１６に記載の方法。
（項目１８）
各行の全ての確率は、最大１００％まで加算する、項目１７に記載の方法。
（項目１９）
各離散時間インスタンスについて、前記センサシステムによって提供されるデータは、前記Ｎ状態ＨＭＭに対する状態確率分布を計算する前記有限状態機械に転送される、項目１３に記載の方法。
（項目２０）
各離散時間インスタンスについて、前記最大確率を伴う状態が選択され、前記状態と関連付けられるＳＰＬが出力される、項目１９に記載の方法。
（項目２１）
各時間インスタンスについて、ＳＰＬは、前記状態確率分布から計算され、出力される、項目１９に記載の方法。
（項目２２）
前記方法は、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別する、項目２０に記載の方法。
（項目２３）
最大尤度規則は、最も可能性の高い状態を計算するように適用される、項目２０に記載の方法。
（項目２４）
複数の順次出力値について、円滑化アルゴリズムは、順次出力値の後処理中に適用される、項目１６に記載の方法。
（項目２５）
項目１に記載の方法を含むジェスチャ認識のための方法であって、前記方法は、パターンベースのジェスチャ認識モードをさらに含み、前記方法は、所定の条件が満たされるときに、前記パターンベースのジェスチャ認識モードと、前記状態追跡ベースのジェスチャ認識エンジンによって提供される状態追跡ベースのジェスチャ認識モードとの間で切り替える、方法。
（項目２６）
前記状態追跡ベースのジェスチャ認識モードは、確率行列を備えるＮ状態隠れマルコフモデル（ＨＭＭ）を使用する、項目２５に記載の方法。
（項目２７）
各状態は、観察確率分布に割り当てられる、項目２６に記載の方法。
（項目２８）
前記状態追跡ベースのジェスチャ認識モード中に、各離散時間インスタンスについて、前記センサシステムによって提供されるデータは、前処理され、前記Ｎ状態ＨＭＭの各状態に対する状態確率分布を計算する前記有限状態機械に転送される、項目２６に記載の方法。
（項目２９）
各離散時間インスタンスについて、前記最大確率を伴う状態が選択され、前記状態と関連付けられるＳＰＬが出力される、項目２８に記載の方法。
（項目３０）
各時間インスタンスについて、ＳＰＬは、前記状態確率分布から計算され、出力される、項目２８に記載の方法。
（項目３１）
前記状態追跡ベースのジェスチャ認識モードは、時計回りの円形ジェスチャ、反時計回りの円形ジェスチャ、または動きのないジェスチャを区別する、項目２９に記載の方法。
（項目３２）
前記方法は、動きのないジェスチャに対する所定の時間閾値が満たされる場合に、前記パターンベースのジェスチャ認識モードに戻るように切り替える、項目３１に記載の方法。
（項目３３）
最大尤度規則は、最も可能性の高い状態を計算するように適用される、項目２９に記載の方法。
（項目３４）
複数の順次出力値について、円滑化アルゴリズムは、順次出力値の後処理中に適用される、項目２９に記載の方法。
（項目３５）
複数の順次出力値について、円滑化アルゴリズムは、順次出力値の後処理中に適用される、項目３０に記載の方法。
（項目３６）
項目１に記載の方法を実装するように構成されたデバイスを操作する方法であって、前記出力値は、前記デバイスの機能を制御するために使用される、方法。
（項目３７）
前記機能は、音量レベルを増加または減少させること、調光器を制御すること、もしくはスクロール機能を制御することである、項目３６に記載の方法。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施形態による２Ｄジェスチャ認識システムを示す。
【図２】図２は、実施形態による３Ｄジェスチャ認識システムを示す。
【図３】図３は、複数の受信電極を使用する交流電気近距離場評価に基づくジェスチャ検出システムの例示的実施形態を示す。
【図４】図４は、オブジェクトの距離に関する受信センサの典型的な出力信号を示す。
【図５】図５は、図１−３によるシステムによって検出することができる、複数のジェスチャを示す。
【図６】図６は、図３によるシステムのセンサ電極に関する反時計回りの円形ジェスチャを示す。
【図７】図７は、図６によるジェスチャの動きでも現れる際の方向ベクトルのセットを示す。
【図８】図８−１０は、種々の状態図を示す。
【図９】図８−１０は、種々の状態図を示す。
【図１０】図８−１０は、種々の状態図を示す。
【図１１】図１１および１２は、種々の実施形態による方法によって生成される、複数の出力値を示す。
【図１２】図１１および１２は、種々の実施形態による方法によって生成される、複数の出力値を示す。
【図１３】図１３は、レベルが円形ジェスチャの検出時に特異的に更新される、棒グラフレベル計を伴う例示的用途を示す。
【発明を実施するための形態】
【００１３】
（詳細な説明）
この先、提案された解決策の一部は、観察されるジェスチャ（またはパターン）を識別することである。提案された方法では、これは、確率測度を使用して、（ランダムな動きを表す無意味なジェスチャを含み得る）他の起こり得るジェスチャのセットと比較することによって行われる。いったん最も確率が高いジェスチャが識別されると、例えば、半円を描いた後に、ジェスチャの進捗が追跡される。（この進捗追跡はまた、まさにジェスチャの（検出された）開始時に開始することもできる。また、可能性の低いジェスチャの進捗も、異なる目的で同時に追跡されてもよい。）
【００１４】
種々の実施形態では、ａ）有限状態機械の各状態対してシーケンス進捗レベル（ＳＰＬ）を先験的に定義または判定するように、ｂ）ランタイム上で状態確率分布を（単一の）ＳＰＬにマップするように、およびｃ）情報源（使用事例）としてこのＳＰＬ推定値を利用するように、方法を提供することができる。
【００１５】
ジェスチャ進捗を追跡するための提案された方法を用いると、固定基準位置さえも必要とされない。我々の方法は、限定されないが、前述のセンサシステムの全てに適用可能であり、以下の実施例でさらに説明されるであろう。
【００１６】
図１は、例えば、典型的な２次元（２Ｄ）検出システム１００を示す。２Ｄセンサ１２０は、例えば、センサ１２０によって提供される未加工情報を復号し、２Ｄインターフェース１１０と連結されたデータ処理システム１３０に提供される、それぞれのデータおよび／またはコマンドを生成するように構成される、２Ｄインターフェース１１０と連結される、容量または抵抗トラックパッドまたはタッチスクリーン検出器であり得る。
【００１７】
図２は、例示的な３次元検出システム２００を示す。本システムは、３Ｄ評価回路２２０、例えば、データ処理システム１３０と連結することができる、出願者によって製造された集積回路デバイスＭＧＣ３１３０と連結される、複数の電極を伴う準静電場検出システム２１０を使用してもよい。図３は、プリント回路基板（ＰＣＢ）３０５上に配列された複数の受信電極３１０−３４０を備える、そのようなシステムに使用可能である、例示的な電極配列を示す。ＰＣＢはまた、通常、ＰＣＢの下層で、例えば、準静電場を生成するためのＰＣＢ３０５の底部側に配列される、伝送電極も提供する。そのようなシステムは、例えば、受信電極３１０−３４０の上方の領域空間中で延在する伝送電極に供給される、１００ｋＨｚ交流信号、例えば、方形パルス列を使用することによって、電場を生成してもよい。検出空間内で行われる非タッチジェスチャは、伝送電極の周囲および／または上方に配列される受信電極３１０−３４０によって、または伝送電極の負荷を測定することによって検出することができる、電場の擾乱を引き起こす。そのような回路基板は、同時に、評価チップ３５０を含み、例えば、データ処理システム用のＵＳＢインターフェース３６０を提供することができる。電場に進入するオブジェクトは、同電場を乱し、種々の電極３１０−３４０における信号は、とりわけ、オブジェクトまでの距離に応じて、異なって減衰させられる。したがって、電極３１０−３４０によって提供される未加工データの処理は、実際の３Ｄデータを提供する。図４に示されるように、それぞれの電極３１０−３４０までのオブエジェクとの距離が大きいほど、測定値が小さくなることが、そのような電場３Ｄ検出システムに固有であり得る。しかしながら、本願は、そのような挙動に制限されず、電場システムは、異なる信号応答を提供してもよい。隠れマルコフモデル（ＨＭＭ）ベースのジェスチャ認識システムを使用して、ジェスチャを検出することができる。モデルは、それらの真／実際の状態を直接観察することができないため、「隠れ」と称される。各状態の「好ましい」移動方向は、観察確率を介して、それに結び付けられる。離散ジェスチャ事象、例えば、図５に示されるようなフリックおよび円の認識が、その全体で参照することにより本明細書に組み込まれる、「ＡＵＴＯＭＡＴＩＣ  ＧＥＳＴＵＲＥ  ＲＥＣＯＧＮＩＴＩＯＮ  ＦＯＲ  Ａ  ＳＥＮＳＯＲ  ＳＹＳＴＥＭ」と題された同時係属米国特許出願公開第ＵＳ２０１４／００５０３５４号で開示されている。
【００１８】
センサシステムは、例えば、測定値が、導電性オブジェクトと電極との間の距離の端直測度である、センサ電極を伴う容量センサシステムであり得る。ジェスチャ認識に使用される特徴は、例えば、センサ測定値から計算される２次元（ｘ，ｙ）面内の指の動きを表す、２次元方向ベクトルの兆候であり得る。上記で説明されるように、３Ｄシステムは、光学、音響等の任意の検出システムであり得る。再度、データ処理システムは、例えば、図１および２に示されるように、２Ｄシステムまたは３Ｄインターフェースから処理された情報を受信してもよい。
【００１９】
提案された方法はまた、１次元（１Ｄ）センサシステム、例えば、第２の次元を必要としない、タッチまたはタッチレススライダ機能に適用することもできる。以下では、ほとんどの実施例は、時計回りまたは反時計回りの円ジェスチャ等の円形ジェスチャを指す。しかしながら、本願で記述されるように、提案された方法はまた、１Ｄ、２Ｄ、または３Ｄ感知システムに適用することもできる。
【００２０】
実施例：連続円ジェスチャ位相追跡（「エアホイール」）
行列Ａが、ＨＭＭの状態遷移確率行列（行内が現在の状態、列内が次の状態）であり、行列Ｂが、観察確率行列（行内が状態、列内が観察）であり、πが、初期状態確率ベクトルである、表１で定義される４状態円形ＨＭＭを含む、隠れマルコフモデル（ＨＭＭ）ベースのジェスチャ認識システムを提供されると仮定されたい。Ｂの列は、行列Ｂの最上部で示されるものと同一の順序で、図７の方向ベクトルに対応する。ＨＭＭは、反時計回りの円ジェスチャを表す。
【００２１】
図６は、４つの受信電極３１０−３４０とともに図３に示されるような電場３Ｄセンサを使用するシステムを用いた、ＨＭＭ状態に関する全ての可能な特徴ベクトルの関連を示す。観察空間は、その前の手の動きの追跡を提供する４つの受信電極３１０−３４０によって提供される測定データから抽出される、４つの方向ベクトルのセットである。図７は、４つの方向ベクトルのセットを伴う観察空間を示す。図８は、ＨＭＭの状態図を示す。確率行列Ｂを用いると、第１の状態「ｓ１」が、方向ベクトルを左上に出力する高い確率Ｂ［１，１］＝０．９５、およびベクトルを右上に生成する非常に小さい確率Ｂ［１，４］＝０．０２を有することが分かる。
【００２２】
図６および８に示されるように、反時計回りの円形ジェスチャの検出については、行列Ｂ（表１参照）は、それぞれの方向ベクトルと関連付けられる最大値を有するように設計されている。行列Ａは、それぞれのジェスチャの状態および起こり得る遷移を反映するように設計されている。したがって、例えば、状態ｓ１については、反時計回りのジェスチャの状態ｓ３およびｓ４への遷移が存在しない。唯一のゼロではない遷移確率は、状態ｓ１からそれ自体まで、またはｓ２までである。好ましくは、各行の行列ＡおよびＢ内の確率は、最大１００％まで加算する。ジェスチャの円形により、行列Ｂ内の現在の状態、例えば、ｓ１は、前の状態ｓ４および次の状態ｓ２によって境界される。各状態は、優勢、すなわち、極めて確率が高い観察（この状態に関連付けられるＢの行内の明確な最大値）、または高い確率を伴う類似観察のセットと関連付けられる。例えば、表１のＢの行の全体を通して、すなわち、各状態については、その最も可能性の高い方向ベクトルとは反対の方向を伴う方向ベクトルを生成する確率が最も小さく、例えば、状態ｓ２であるときに右上の動きを生成する確率が最も小さく、ｓ２の最も可能性の高い観察は、左下である。表１は、どのようにして確率を割り当てることができるかという実施例を示すにすぎない。それぞれのジェスチャおよびその特性に応じて、他の値および最大確率が適用される。例えば、ジェスチャおよびその関連ＨＭＭは、円形ではなく、明確な開始および終了を有していない場合がある。ジェスチャは、異なり得、円形である必要はない。
【表１】
0006463579.tif 000002
【００２３】
円形ジェスチャを使用する実施例に関して、手が、位相φ＝０を伴う正のｘ軸上で始まって反時計回りに動かされるとき、センサからのいくつかのサンプルの後に、図６の座標系の第１象限内の円の動きの優勢方向が、左上に向かい、対応する方向ベクトルが、ＨＭＭが状態ｓ１にあるときに生成される可能性が最も高いため、状態ｓ１は、所与のＨＭＭで最も可能性の高いものであろう。左上方向ベクトルに対応する、行列Ｂの第１列内の最大値は、状態ｓ１に対応する行１内にある。手が反時計回りの動きを続けると、最も可能性の高い状態は、続けてｓ２、ｓ３、ｓ４、ｓ１等になるであろう。
【００２４】
したがって、反時計回りの円が手の動きによって実行されることを把握し、かつ対応するＨＭＭで最大の可能性の状態を把握すると、空間内の描かれた円の絶対位置を把握する必要なく、「場所」について、すなわち、円内のどの位相で手が現在動いているかを推定することができる。
【００２５】
一般説明：
Ｎ個の状態を伴う有限状態機械（ＦＳＭ）が与えられていると仮定されたい。また、特徴空間、すなわち、離散時間インスタンスで連続時間パターンをサンプリングするセンサによって提供される、測定データから選択または抽出することができる特徴のセットも与えられている。ＦＳＭの各状態は、ある確率を伴う特徴セットの中の特徴（または観察）を生成すると仮定され、すなわち、各状態が観察確率分布に割り当てられる。最も単純な場合では、各状態は、確率１を伴う特徴セットのうちの単一の特徴にマップする。これらの分布は、一般的に、いわゆる観察行列Ｂに記憶される。ＦＳＭは、特定のパターンまたは特定のパターンのセットを表している。
【００２６】
この観察確率分布に基づいて、シーケンスの進捗に従って増大する順序で、連続時間パターンでのシーケンス進捗レベル（ＳＰＬ）を各状態に（先験的に）割り当てる。一般性を失うことなく、ＳＰＬの値範囲を［０，Ｎ］に設定する。実施例：図６は、初歩的な実施例について、それぞれ、状態ｓ１、ｓ２、ｓ３、およびｓ４に割り当てられる、Ｎ＝４つのＳＰＬ、すなわち、ｑ１＝Ｑ（１）＝０．５、ｑ２＝Ｑ（２）＝１．５、ｑ３＝Ｑ（３）＝２．５、およびｑ４＝Ｑ（４）＝３．５を示す。そのようにする動機は、以下の通りである。［０，Ｎ］の範囲内のＳＰＬが、ｑ＝０を伴う正のｘ軸上で始まり、ｑ＝１を伴う正のｙ軸、ｑ＝２を伴う負のｘ軸、ｑ＝３を伴う負のｙ軸を経由し、ｑ＝４を伴う正のｘ軸に戻って、単調に一周パターンにわたって分布していると仮定されたい。Ｑ（１）〜Ｑ（４）は、それらの対応する状態ｓ１〜ｓ４の優勢観察に合致する、パターンの位置に配置される。
【００２７】
ランタイム上で、ＦＳＭおよびセンサデータから抽出された特徴を考慮すると、状態確率分布が、ＦＳＭの状態について計算され、各新しいセンササンプルについて更新される。各離散時間インスタンスで、ＳＰＬ推定値を得る最も単純な方法は、この分布で最大確率を伴う状態を選択し、この状態に割り当てられたＳＰＬを出力することである。別のより精巧なアプローチが、以下のリスト１に示されている。
【００２８】
時計回りの円の検出のためのＨＭＭは、時計回りの遷移を伴う（矢印が図８に示されるものと反対方向を指し示す）図８に示されるような類似状態モデルを使用する。例えば、フィルタ状態確率の追跡を用いて、最も可能性の高い状態が、主に左上方向ベクトルに関連付けられるとき（行列Ｂ内の左上方向ベクトルの優勢確率）、φ＝４５°と仮定することができる。次の状態への遷移は、角度のほぼ９０°の変化に対応する。次いで、状態遷移の累積数を出力することができる。
【００２９】
図９は、時計回りおよび反時計回り両方のジェスチャ検出のための双方向円形ＨＭＭを提供する、別の実施形態を示す。このモデルは、１つは時計回りの円のため、もう１つは反時計回りの円のためである、２つの既存の単方向円ＨＭＭに潜在的に取って代わるために使用することができ、これは、実際の実施形態のためのフラッシュメモリの節約につながり得る。
【００３０】
図１１で出力されるような階段形状を平滑化するための付加的なフィルタが必要であり得る。モデルは、例えば、指が動いていないときに、仮想スクロールホイール（ＶＳＷ）モードで拡張タイムアウトを含むことによって、前方／後方スクロールを可能にする停止基準を含むように、さらに修正することができる。他の実施形態によると、状態の数は、より細かい粒度のために増加させることができ、４つの状態を使用する実施例に限定されない。
【００３１】
ランタイム上で状態確率分布を計算するための規則は、最も可能性の高い状態または最も可能性の高い状態シーケンスを計算する最大尤度（ＭＬ）または最大事後確率（ＭＡＰ）規則であり得る。
【００３２】
各状態が、状態指数ｉおよびＳＰＬ  Ｑ（ｉ）に割り当てられる。
【００３３】
ａ）自己設計型ＦＳＭ：所定の連続パターン（または「シーケンス」）については、対応するＳＰＬがこのＦＳＭによって表される連続パターンで現れる順序と同一の順序または反対の順序に状態指数があるように、ＦＳＭの各状態が、この連続時間パターンで、ある離散時間インスタンス（ＳＰＬ）に割り当てられる。各ＳＰＬは、好ましくは、セグメント中心で、Ｎ個の隣接シーケンスセグメントのうちの１つの内側に位置する。次いで、各状態については、観察確率分布は、典型的には、センサがこのセグメントで連続時間パターンをサンプリングしているときに得られる観察に類似するように選択される。
実施例：初歩的な実施例は、そのような自己設計型ＦＳＭ、より正確には、Ｎ＝４個の状態を伴う一次円形隠れマルコフモデルである。図６は、４つのＳＰＬ、すなわち、ｑ１、ｑ２、ｑ３、およびｑ４の周囲のシーケンスセグメント（４つの円の４分の１、各象限に１つ）を示す。表１の状態遷移行列Ａは、モデルの円形構造を反映する。上記のように、ゼロではない確率を伴う遷移は、ある状態からそれ自体、または次に高い指数を伴う状態へ、および第４の状態ｓ４からｓ１に戻ってのみ起こる。各状態については、観察行列Ｂは、セグメント内の優勢な移動方向に対応する、優勢、すなわち、最も確率が高い観察を有する。
【００３４】
ｂ）所定のＦＳＭ（例えば、訓練されたＨＭＭ）：その状態のそれぞれに割り当てられた観察確率分布を伴うＦＳＭを考慮すると、所定の連続パターン（または「シーケンス」）については、対応するＳＰＬが連続時間パターンで現れる同一の順序に（または反対の順序に）指数があるように、連続時間パターン内の典型的なＳＰＬ  Ｑ（ｉ）が、各状態ｓｉについて識別されるものである。
実施例：観察のセット、および各状態の観察にわたって確率分布を含有する行列Ｂを考慮して、各状態の平均または期待観察（例えば、算術平均）を計算する。割り当てられたＳＰＬ、例えば、このパターンの典型的な時間的持続にわたって一様に分布しているＳＰＬを伴う基準パターンを考慮して、各状態については、その期待観察が適合するパターンでＳＰＬを識別し、このＳＰＬを状態に割り当てる。行列ＡおよびＢの別の例示的なセット、ならびにＳＰＬ０．５、１．５、２．５、および３．５に対応する関連方向矢印を示す、表２の観察確率行列Ｂを考慮すると、モデルの循環的構造を考慮しながら、期待観察（分布の平均値または加重和）の計算は、以下のように第２の状態ｓ２に有効であろう。行列Ｂ内の状態ｓ２に対応する行２内の最大値を検索し、列４内の右上への方向ベクトルにＢ（２，４）＝０．９を生じる。この確率は、この観察に対応するＳＰＬ  ｑ＝３．５を加重している。したがって、列３内の確率Ｂ（２，３）は、ＳＰＬ  ｑ＝２．５を加重している。モデルの循環的構造、およびＮを法とするＳＰＬの結果として生じる計算により、各観察については、それが最も可能性の高い観察の前に、またはその後に生じると見なされるものであるかどうかが決定される必要がある。最大確率が列４内にあるため、列１内の周期的にその右側にある観察のＳＰＬは、ｑ＝０．５＋（Ｎ＝４）＝４．５であり、対応する確率は、Ｂ（２，１）＝０．０５である。列４内の最大値Ｂ（２，４）＝０．９の周期的に右側にある列１内の確率Ｂ（２，１）＝０．０５が、最大値の左側の確率Ｂ（２，３）＝０．０４より大きいため、列２もまた、周期的に第４列の右側にあると見なされ、ＳＰＬ  ｑ＝５．５を生じる。したがって、ＳＰＬの加重和は、以下となる。
【数１】
0006463579.tif 000003
【００３５】
この結果がＮより大きく、または０より小さくなれば、Ｎを法として計算する必要があろう。ＳＰＬを状態に割り当てるための異なるアプローチも可能であり、例えば、最大確率を伴う方向ベクトルの反対方向に対面する方向ベクトルを無視する。
【表２】
0006463579.tif 000004
【００３６】
表２に示される実施形態によると、状態遷移確率行列Ａは、双方向円形ＨＭＭが図１１および図１２に示されるようなスクリーンショットを生成するために設定される。図１０は、双方向円形ＨＭＭの関連状態図を示す。図１１は、３つの連続区分に分割されたジェスチャのシステムの出力レベルの実施例を視覚化する。第１のセクションは、活動がないことを示し、その後にＶＳＷモードを起動する時計回りの円ジェスチャが続く。段階は、それぞれ、関連増大スクロールパラメータ、もしくは２つまたはそれを上回る状態間の遷移を示す。ある時計回りの円の時間後に、ユーザは、即時に、図１１に示されるような関連パラメータを減少させる、反時計回りのジェスチャを行い続ける。
【００３７】
停止基準、すなわち、連続時間パターンの終了を検出するための決定規則は、パターンが、あるより短い時間量にわたってほとんど変化していないときに、停止を検出しないように適合される必要があり得る。
【００３８】
上記のように、他の実施形態によると、レベルの数を増加させることによって、すなわち、状態の数を増加させることによって、進捗レベルの粒度を向上させることができる（すなわち、２つの連続レベルの間の段階をより小さくすることができる）。
【００３９】
さらなる実施形態によると、２つのレベルの間の遷移を平滑化するように、後処理を適用することができ、すなわち、最高確率を伴う状態を選択する規則を、より精巧な規則に置換することができる。ｑに、我々のアルゴリズムによって計算されるＳＰＬ推定値を示させる。いかなる一般性も失うことなく、ｑの値範囲を［０，Ｎ］内のｑにさせ、Ｎは、考慮中のＨＭＭでの状態の数である。Ｑ＝［Ｑ（１）Ｑ（２）…Ｑ（Ｎ）］に、各状態のＳＰＬを含有するベクトルを示させ、全てにＱ（ｉ）＜＝Ｑ（ｉ＋１）が当てはまり、ｉ＝１，２，…，Ｎ−１であり、Ｑ（ｉ）はｑと同一の値範囲を有する。平滑化のための第１のステップは、状態確率伝搬の内部平滑化を活用することである。最大確率を伴う状態を選択する代わりに、アルファ（ｉ）によって状態ｓｉの（前向き）確率を示す、全ての状態の確率を使用して、平均ＳＰＬを計算する。状態遷移を平滑化するための第２の提案は、ＳＰＬ推定値ｑを徐々に更新するために、［０，１］に記憶因数シータを導入することである。明確な開始および停止を伴うシーケンス／パターン（非周期的）と、ジェスチャ認識と関連する円のような周期的シーケンス（周期的）とを区別する。ｑ（ｋ）に、離散時間インスタンスｋでのｑを示させる。
ａ）非周期的：
【数２】
0006463579.tif 000005
ｂ）周期的：現在、ｑの範囲は、［０，Ｎ］内のｑである。ＨＭＭの周期性により、非周期的な場合のような加重和は、可能ではない。代わりに、例えば、高いＳＰＬを伴う状態から低いＳＰＬを伴う状態への状態遷移が起こるときに、オーバーフロー／アンダーフロー問題を回避するために、微分更新アプローチが行われる。ＳＰＬ推定値ｑの更新は、Ｎ／２未満の量だけ許可されるのみである。
【表３】
0006463579.tif 000006
【００４０】
リスト１は、測定データが取得され、ＨＭＭ前向き確率が計算された後に各離散時間段階で適用される、例示的な更新規則を表示する。図１１および１２は、ＳＰＬ割り当てが図６と同様である、表２の状態遷移確率行列とともに双方向円形ＨＭＭを使用する、（反）時計回りの円の追跡を示す。時計回りの円の動きは、図中で信号のレベルを増加させ、反時計回りの円は、信号レベルを減少させる。したがって、図１２は、平滑化後処理を伴う実装を視覚化する。第１に、グラフに示されるスクロールパラメータを増加させるように、いくつかの時計回りの円が実施され、次いで、一時停止、次いで、いくつかの反時計回りの円、一時停止、さらにいくつかの反時計回りの円が続く。表２の双方向円形ＨＭＭが、本実施例に使用されている。図１２では、動きの一時停止中にある、信号レベルがほぼ一定である、描画された信号内のセグメントもある。図１１と比較して、信号の階段特性は、平滑化により、有意に低減させられる。
【００４１】
平滑化はまた、他の実施形態によると、行列Ａおよび／またはＢ内のＨＭＭモデルパラメータを修正することによって達成することもできる。
【００４２】
特徴のうちのいくつかの概要
実施形態によると、最大確率を伴う状態は、必ずしも選択されてなくてもよいが、状態確率分布の平均値を得ることによって、「補間」状態指数および対応するＳＰＬを計算することができる。
【００４３】
種々の実施形態によると、以下の特徴のうちの１つまたはそれを上回るものが実装されてもよい。
【００４４】
ＦＳＭは、有限記憶を有してもよい。ＦＳＭは、マルコフ性を満たしてもよく、すなわち、ＦＳＭは、一次マルコフモデルであり得る。順方向（バウム・ウェルチ）アルゴリズムを使用して、最も可能性の高い状態を計算することができる。ビタビアルゴリズムを使用して、最も可能性の高い状態および／または最も可能性の高い状態シーケンスを計算することができる。マルコフモデルの状態は、隠されており、すなわち、ＦＳＭは、隠れマルコフモデル（ＨＭＭ）である。ＦＳＭは、ＨＭＭのセットから、連続時間パターン、またはその対応する観察の離散時間シーケンスが与えられる、最も可能性の高いものが判定され、観察シーケンスが、所与の開始時間インスタンスと所与の停止時間インスタンスとの間でセンサから得られる特徴のシーケンスである、従来の事象ベースのパターン認識システムで使用される、隠れマルコフモデルであり得る。
１．所定の条件が、ＳＰＬ追跡に備えたＨＭＭについて満たされるとき、次いで、それは、従来の事象ベースのパターン認識モードからＳＰＬ追跡モードに切り替えられてもよい。
２．この条件は、所定の確率を超えることである。
３．従来の事象ベースのパターン認識中の停止検出のための基準は、ＳＰＬ追跡モード中に適用されるものとは異なり得る。
【００４５】
連続時間パターンは、ジェスチャであり得、ジェスチャは、所定の動きのパターンとして定義される。例えば、連続時間パターンは、円のジェスチャであり得る。しかしながら、上記のように、他の種類のジェスチャ、非円形型のジェスチャさえも、または非ジェスチャパターンさえも使用することができる。ＨＭＭは、線形ＨＭＭまたは円形ＨＭＭであり得る。ＨＭＭは、双方向ＨＭＭであり得る。次いで、ＳＰＬ追跡は、パターンの反対方向、すなわち、前方および後方でも行うことができる。
【００４６】
検出方法の適用
円形ジェスチャは、回転ノブの制御に類似し、したがって、例えば、好ましくは、例えば、ハイファイセットの仮想音量制御ホイールとして使用することができる。時計回りの動きは、音量を増加させ、反時計回りの動きは、音量を減少させる。しかしながら、種々の実施形態によると、任意の他の回転ノブ機能を実装することができる。
【００４７】
図１３は、時計回り／反時計回りの円のジェスチャのＳＰＬに対応する、それぞれのレベルを示す、垂直棒グラフを使用する例示的な設計を示し、すなわち、ＳＰＬが、ある量だけ増加／減少したときに（例えば、円の各４分の１の後に）、グラフのレベルが１本の棒だけ増加／減少させられる。図１３は、位相インジケータを伴う音量制御ホイールとして使用され得る用途、および明るくなったＬＥＤの棒の高さが音量を示すＬＥＤディスプレイを示す。明るくなったＬＥＤがないことは、消音に対応し、全てのＬＥＤが明るくなっていることは、最大音量に対応する。音量ホイールを回すことは、音量を増加／減少させ、ホイールが、定義された量だけ、例えば、９０度（Δφ＝１に対応する）だけ回されたとき、１つのＬＥＤが明るくなるか、またはオフにされる。理論上は、音量ホイールを無限量だけ回すことができるが、ＬＥＤ棒グラフは、消音または最大音量で飽和する。上記のように、任意の他の種類の回転ノブ機能が適用されてもよい。
【００４８】
例えば、限定的ではないが、他の用途は、以下を含んでもよい。
−円形タッチパッドから知られている任意のメディアプレーヤ制御型機能性
−光スイッチにおける調光器を制御する
−パソコンのマウスのスクロールホイールの代替品
−センサシステム／測定入力デバイスの種類（実施例）
１．１Ｄスライダ機能、または他の１次元ジェスチャ
２．２Ｄタッチパネル／タッチディスプレイ、２Ｄビデオカメラ
３．３Ｄビデオカメラ、３Ｄ容量センサシステム
−認識のロバスト性を増加させるためのパターン認識システム内のＳＰＬ情報の内部利用
【００４９】
他のモード
１Ｄ、２Ｄ、または３Ｄ測位システム（例えば、カメラベース、または容量センサシステム）を提供されると、例えば、画像処理技法を使用して、部分的パターン（例えば、部分的に描かれた円）を評価することも可能である。しかしながら、これは、付加的なアルゴリズム機械（スケーリング、回転、新しい距離測度）を必要とし、したがって、提案された方法ほど既存のＨＭＭベースのパターン認識システムに容易に組み込まれない。注意：ＳＰＬ追跡とともにカメラベースのセンサシステムを使用することは、好ましい方法と見なされ得る。
【００５０】
部分的パターンはまた、部分的ＨＭＭを使用して検出することもできる。しかしながら、次いで、ジェスチャ認識アルゴリズムが、計算の複雑性の有意な増加を推測する、各部分的ＨＭＭについて実行される必要があろう。
【００５１】
拡張
−双方向円ＨＭＭはまた、時計回りおよび反時計回りの円のための２つのＨＭＭに取って代わるために使用することもできる。時計回りまたは反時計回りの動きの間の決定は、ジェスチャ停止検出後の累積微分ＳＰＬが、その兆候についてチェックされる、後処理段階で行うことができる。
−ＨＭＭパターン認識アルゴリズムへの観察（方向ベクトル）の入力は、検出される動きがあるときの時間インスタンスに限定することができる。このようにして、例えば、時計回りの円を描き、一時停止し、反時計回りの円を描くとき、いかなる観察も動きの一時停止で入力されず、方向ベクトルは、実際の動きの情報ではなく、雑音のみに依存している。
【００５２】
参考文献
【化１】
0006463579.tif 000007
【図１】
0006463579.tif 000008
【図２】
0006463579.tif 000009
【図３】
0006463579.tif 000010
【図４】
0006463579.tif 000011
【図５】
0006463579.tif 000012
【図６】
0006463579.tif 000013
【図７】
0006463579.tif 000014
【図８】
0006463579.tif 000015
【図９】
0006463579.tif 000016
【図１０】
0006463579.tif 000017
【図１１】
0006463579.tif 000018
【図１２】
0006463579.tif 000019
【図１３】
0006463579.tif 000020