(57)【要約】  本発明は、タッチ感応装置のインタラクション面でユーザによって与えられたタッチイベントを判定する方法であって、トランスデューサ、特に圧電トランスデューサによって生信号を感知し、この感知された信号をローパスフィルター処理するステップと、フィルター処理された生信号をベースライン信号と少なくとも１つの有用信号とに分割するステップと、上記少なくとも１つの有用信号を分析して上記タッチイベントの特性を決定するステップとを備えている。
2013531305.tif 000002
【特許請求の範囲】
【請求項１】
タッチ感応装置のインタラクション面でユーザによって与えられたタッチイベントを判定する方法であって、
トランスデューサ、特に圧電トランスデューサによって生信号を感知し、この感知された信号をローパスフィルター処理するステップａと、
フィルター処理された生信号をベースライン信号と少なくとも１つの有用信号とに分割するステップｂと、
上記少なくとも１つの有用信号を分析して上記タッチイベントの特性を決定するステップｃと
を備えたことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、
ステップｂにおいては、上記フィルター処理した生信号を分割するために、統計モデルを適用することを特徴とする方法。
【請求項３】
請求項１または２に記載の方法において、
ステップｂは時間ドメインの中で実行されることを特徴とする方法。
【請求項４】
請求項１乃至３のいずれか１に記載の方法において、
上記フィルターは、最大通過周波数が１００Hz、特には５０Hz、中でも３０Hzであることを特徴とする方法。
【請求項５】
請求項１乃至４のいずれか１に記載の方法において、
ステップｂは期待値最大化（ＥＭ）アルゴリズム、特に分類期待値最大化（ＣＥＭ）アルゴリズムを含んでいることを特徴とする方法。
【請求項６】
請求項１乃至５のいずれか１に記載の方法において、
統計モデルを適用するために、上記ベースライン信号と上記有用信号との双方ともがガウス分布を有し、かつ、それらの信号エネルギはガンマ分布に従う、と仮定されることを特徴とする方法。
【請求項７】
請求項６に記載の方法において、
上記ＥＭアルゴリズムの初期化ステップで、上記２つの分布の分散は信号エネルギに基づいており、上記有用信号の種類は最大エネルギに関係する一方、上記ベースラインの種類はメジアンエネルギに関係することを特徴とする方法。
【請求項８】
請求項１乃至７のいずれか１に記載の方法において、
ステップｂにおける分割の間に、上記感知された信号の所定持続時間の流れを分析することを特徴とする方法。
【請求項９】
請求項８に記載の方法において、
後続の流れは重なり合うことを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、
ステップｂ中において、予め定められた量の流れ、特に２または３つの流れの中で同一の有用信号が特定できている場合には、次の流れは前の流れの上記有用信号の終わりまでその部分と重ならないことを特徴とする方法。
【請求項１１】
請求項８乃至１０のいずれか１に記載の方法において、
上記流れは最大で２秒の長さを有することを特徴とする方法。
【請求項１２】
請求項１乃至１１のいずれか１に記載の方法において、
ステップcにおいては、有用信号がステップcに送られてしまうやいなやタッチイベントの属性を得ることを特徴とする方法。
【請求項１３】
請求項１乃至１２のいずれか１に記載の方法において、
ステップａでは、２つ以上の、特に４つのトランスデューサによって生信号を感知し、感知された信号の各々に対してステップｂを実行することを特徴とする方法。
【請求項１４】
請求項１乃至１３のいずれか１に記載の方法において、
ステップｃでは、種々のジェスチャ、特に、ドラッグとドラッグ方向および／または回転と回転方向および／またはズームインおよび／もしくはズームアウトを、ステップｂで特定された有用なタッチ信号の１以上の所定の特徴間の時間遅延および／またはそれらの上記２以上の感知された生信号のための相対値に基づいて特定することを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、
上記１以上の所定の特徴は、上記有用信号の最大、最小、または信号平均クロッシングの位置に関係していることを特徴とする方法。
【請求項１６】
請求項１４または１５に記載の方法において、
ジェスチャのタイプは、上記時間遅延と上記インタラクション面に対するトランスデューサの位置に基づいてのみ決定されることを特徴とする方法。
【請求項１７】
請求項１乃至１６のいずれか１に記載の方法において、
ステップｃの前に上記有用信号を平滑化するステップをさらに備えたことを特徴とする方法。
【請求項１８】
請求項１のステップｂおよびステップｃを実行するためのコンピュータ実行可能な指示を有する１以上のコンピュータ読み取り可能な媒体を備えたコンピュータプログラム製品。
【請求項１９】
ユーザによって与えられたタッチイベントを受けるためのインタラクション面と、信号を感知するための少なくとも１つのトランスデューサ、特に、圧電トランスデューサと、ローパスフィルターユニットと、請求項１乃至１７のいずれか１に記載の方法に従って上記タッチイベントを特定するよう構成された信号分析ユニットとを備えたことを特徴とするタッチ感応装置。
【請求項２０】
請求項１９に記載のタッチ感応装置を備えたことを特徴とするモバイル機器。
【請求項２１】
請求項２０に記載のモバイル機器において、
上記モバイル機器の前面および／または後面に請求項１９に記載のタッチ感応装置を備えるとともに、上記前面に表示装置が設けられていることを特徴とするモバイル機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチ感応装置のインタラクション面でユーザによって与えられたタッチイベントを判定する方法に関する。本発明はさらに、この方法を実行するように構成されたタッチ感応装置に関する。
【背景技術】
【０００２】
タッチ感応インターフェースを提供する複数の異なる技術が存在する。人は、容量式、抵抗式、表面音波式、または、屈曲波(bending waves)に基づく音響技術などの技術を挙げることができる。これらの技術に共通なことは、インタラクション面上での指のドラッグインタラクションといったタッチイベントや、ズームインタッチジェスチャやズームアウトタッチジェスチャ等（その間、2つの指が互いに近づいたり遠ざかったりする）のマルチタッチのタッチイベントは、タッチイベントを構築するタッチポイントのｘ、ｙ座標が、基礎となる分析方法によって特定されると、特定されるということである。
【０００３】
しかし、１つのタッチイベントの種々のタッチポイントのｘ、ｙ座標を決定するために、これらの複雑なジェスチャを特定するのに必要なハードウェア及びソフトウェアはかなり要求が多く、結果、複雑で、より高価な機能になってしまう。したがって、このような機能を備えたタッチ感応装置は高品質の最終製品にしか搭載されない。
【０００４】
タッチイベント中に生成されタッチ感応インタラクション面内をトランスデューサに向かって移動する屈曲波に基づく音響技術を取り上げると、ジェスチャを構築する箇々のタッチポイントの場所を特定できるようにするには基準音響信号を備えたデータベースを構築する必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、低コストアプリケーションでもこの種の技術を導入できるようにするために、または、一般的に、低コストでこの機能を提供することができるために、タッチイベント判定方法を簡素化することが本発明の目的である。
【課題を解決するための手段】
【０００６】
上記目的は、請求項１に係るタッチイベント判定方法によって達成される。ローパスフィルター処理された感知された信号（以下、感知信号ともいう）に基づいてタッチイベントの特性を特定することが本当に可能であるということは、本発明の驚くべき発見である。上述の音響技術において、低周波数はハイパスフィルタリングによって拒否されていた。この拒否の理由は、低周波数とノイズとの干渉であった。ここでは、フィルター処理した生信号(filtered raw signals)を、ノーム(norm)を表すベースライン信号に分割する追加ステップを導入することによって、有用な信号（以下、有用信号）は低周波数を利用することが可能になる。
【０００７】
ここで、用語「タッチイベント(touch event)」は、ユーザとインタラクション面との間のインタラクションに関し、それは、ユーザの１本の指またはスタイラスによって与えられる１つのインパクトである得るし、また、たとえば同時に２本以上の指でインタラクション面を打つことなどによる、マルチタッチイベントでもあり得る。また、用語「タッチイベント(touch event)」は、ユーザがその１本の指またはスタイラスをインタラクション面上で動かすドラッグイベント（これも単一タッチイベントまたはマルチタッチイベントであり得る）にも関する。たとえば、単一ドラッグタッチイベントは電子装置で使用されているスワイプ(swipe)ジェスチャまたはフリック(flick)ジェスチャに関係しており、マルチタッチドラッグイベントは、回転、ズームイン、ズームアウトのタッチイベントに関係している。
【０００８】
好ましい実施形態によれば、ステップｂにおいては、フィルター処理した生信号を分割するために、統計モデルを適用することができる。統計モデルは以下の利点がある。すなわち、インタラクションの正確な形態を知ることなく、有用信号とベースライン信号とのいくつかの特徴の違いを知るだけで、２つの種類（クラス）から構築し得る信号から一方の種類のイベントまたは他方の種類のイベントを特定することが可能である。したがって、閾値（これよりも上であれば信号は有用と判断され、下であればベースライン／ノイズと判断される）を定める必要が無い。
【０００９】
好ましくは、この方法は時間ドメインの中で実行できる。したがって、周波数ドメインへの変換を実行する必要はなく、これにより、本発明に係る方法を実現するのに必要なハードウェアを単純化できる。
【００１０】
好ましくは、上記フィルターは、最大通過周波数を１００Hzとすることができ、特には５０Hzとすることができ、中でも３０Hzとすることができる。この周波数領域では、トランスデューサの近傍で発生するタッチイベントは、一方においては、生信号データの有用信号部を特定するために、他方においては、タッチイベントの所定の特徴を決定するために利用することができるパターンとなる。
【００１１】
さらに好ましくは、ステップｂは期待値最大化アルゴリズム（expectation maximization algorithm）、特に分類期待値最大化アルゴリズム（classification expectation maximization algorithm）を含んでいる。これらの統計的手法は、データが不完全な時にはいつでも尤度を最大化できる反復技術であり、データの混合物の場合に使用することができる。このアルゴリズムは、収束するという利点がある。変形例では、追加的な分類が導入され、各種類が所定の時間に起こる尤度をゼロまたは１とする。この分類アルゴリズムは、より速く収束するのでリアルタイム処理に好適であるという利点がある。
【００１２】
好ましくは、ベースライン信号と有用信号との双方ともガウス分布を有し、かつ、それらの対応する信号エネルギはガンマ分布に従う、と仮定される。ガウス分布とガンマ分布とはアルゴリズムのプログラミングを簡単にする既知の特性を有しているので、アルゴリズムを実現するのに必要なハードウェアを簡単なままにでき、かつ、処理スピードを高いままにできる。
【００１３】
好ましくは、上記期待値最大化アルゴリズムの分割ステップの間、上記２つの分布の分散は信号エネルギに基づいており、上記有用信号の種類は最大エネルギに関係する一方、上記ベースラインの種類はメジアン（median）エネルギに関係する。これらの初期分散は期待値最大化アルゴリズムの迅速な収束へと至る開始条件を形成する。
【００１４】
有利なことに、ステップｂの間に、所定の持続時間分の感知信号の流れを分析できる。一般的に、ズームインジェスチャ、ズームアウトジェスチャ、回転ジェスチャ、スワイプジェスチャ、フリックジェスチャ等といったモバイル機器上のジェスチャは５００ミリ秒を超える時間を要しない。したがって、長くても２秒の持続時間を有する感知信号のデータ流れを分析するだけで十分である。実際、一般的なジェスチャのタッチイベントよりも長いデータ流れを与えることにより、常にいくらかのベースライン情報を提供することができるので、ＣＥＭアルゴリズムは収束して２つの分布を特定することができる。
【００１５】
好ましくは、ステップｂ中に有用信号が特定されるやいなや、その有用信号はすでに分析することができ、データ流れ全部が分析される前に、対応のタッチイベントの特性を判定することができる。したがって、与えられたジェスチャに対応するコマンドが出力される前にデータ流れの最後まで待つ必要はない。したがって、この方法は、リアルタイム条件下で走らせることができる。
【００１６】
好ましくは、上記ＣＥＭアルゴリズムは、入力分散の推定値(estimate)を向上させるために、少なくともベースライン信号の初期条件について重み付けステップを備えることができる。特に、ＣＥＭアルゴリズムが有用信号を見つけ出さなかった場合に、求められた（determined）分散値を、次のラン(run)でのベースライン信号のための入力分散として用いることができる。最終的にはメモリ効果を加えることができる。
【００１７】
好ましくは、感知信号の後続のデータ流れは重なり合う。したがって、少なくとも部分的に、処理済みのデータは再度分析し直されるので、本発明の分割ステップの信頼性を高めるために用いることができる。
【００１８】
また、この方法は、有利なことに、有用信号が少なくとも２回特定されたときのみ、その有用信号をステップcに送るように構成することができる。これは、あるノイズイベントが不適切な出力を引き起こす危険を減らすことができる。
【００１９】
さらに好ましくは、ステップｂ中において、予め定められた量の流れ、特に２または３つの流れの中で同一の有用信号が特定できている場合には、次の流れは前の流れの上記有用信号の終わりまでその部分と重ならない。したがって、一旦有用信号の存在が所定の回数確認されると、上記感知信号のこの部分は再度処理される必要が無いので、計算容量が節約でき、そのことが、リアルタイムでのデータ分析性能を提供するのにさらに役立つ。
【００２０】
好ましくは、本発明の方法では８０〜９５％の信号の重なり（オーバーラップ）が行われる。
【００２１】
好ましい実施形態によれば、ステップcは、有用信号がステップcに送られてしまうやいなやタッチイベントの属性を得ることを含むことができる。したがって、たとえばある機能をオンに切り替えたりオフに切り替えたりするために衝撃等のタッチイベントがインタラクション面上で生じたと判定することを探し求めているだけであれば、有用信号の特定で十分である。
【００２２】
この種のインタラクションについては、非常に簡単なタッチイベント感知方法を提供可能である。好ましい実施形態によれば、ステップａでは、２つ以上の、特に４つのトランスデューサによって生信号を感知し、このように感知された信号（感知信号）の各々に対してステップｂを実行することができる。本発明に従って分析された低周波数領域において、タッチイベントを受信したときに感知信号において観測されたパターンはトランスデューサの近傍で観測されることがわかった。したがって、複数のトランスデューサを設けることにより、衝撃が生じたと特定するばかりではなく、いずれのトランスデューサの近くでそのタッチイベントが生じたかを、そして、もちろんのことながら、何時生じたかを特定することが可能となる。
【００２３】
さらに好ましくは、ステップcでは、種々のジェスチャ、特に、ドラッグとその方向および／または回転とその回転方向および／またはズームインおよび／またはズームアウトを、ステップｂで特定された有用信号の１以上の所定の特徴間の時間遅延および／またはそれらの上記２以上の生信号のための相対値に基づいて特定する。好ましくは、上記１以上の所定の特徴は、有用信号の最大、最小、または、信号平均クロッシングの位置に関係している。したがって、複雑な計算なしで、そして、データベースを構築する必要なしに、そして、より詳しくは、タッチジェスチャタッチイベントを構築するタッチポイントの正確なｘ、ｙ座標を特定する必要なしに、低周波数信号を分析することで、単に有用信号が所定のトランスデューサで発生した瞬間を見ることにより、そして、最終的にはパターンの特別な特徴の絶対値の比較により、これらのジェスチャの種類を特定することが可能となる。
【００２４】
好ましい実施形態によれば、ジェスチャのタイプは、上記時間遅延と上記インタラクション面に対するトランスデューサの位置に基づいてのみ決定される。したがって、さらに複雑なタッチイベントジェスチャを特定できる安価なタッチ感応装置を提供することができる。
【００２５】
本発明の有利な実施形態によれば、上記方法はステップcに先立ち有用信号を平滑化するステップをさらに備えることができる。例えばさらなるローパスフィルターの使用による平滑化ステップを適用することにより、さらなるノイズの低減を達成してタッチイベント認識を最適化することができる。
【００２６】
本発明の上記目的は、本発明の方法のステップｂおよびステップｃを実行するためのコンピュータ実行可能な指示を有する１以上のコンピュータ読み取り可能な媒体を備えたコンピュータプログラム製品によっても達成される。
【００２７】
本発明の上記目的は、上記方法に従ってタッチイベントを特定するよう構成された、請求項１９に係るタッチ感応装置によっても達成される。この結果、マルチタッチジェスチャ等のさらに複雑なジェスチャを特定できるタッチ感応装置が提供できると共に、このタッチ感応装置は安価なままとすることができるので最下位アプリケーションでも使用可能である。これは特に、予め定められたデータベースも複雑なデータ処理も不要であることによる。インタラクション面は任意の個体材料、特には、ガラス、プラスチック、金属またはそれらの混合物（mixture）から作ることができる。
【００２８】
さらに、本発明の上記目的は、上述のタッチ感応装置を備えたモバイル機器によっても達成される。特に、かなり小さい形態ファクター（form factor）を持つモバイル機器については、装置の表面に多数のトランスデューサを配置する必要のない上記の方法によって、全ての種類のタッチイベントを特定できる。一般に、所望の機能を提供するには４〜６個のトランスデューサで十分である。
【００２９】
有利な実施形態によれば、上記モバイル機器は、その前面側および／または後面側にタッチ感応装置の機能を有することができるが、表示装置は前面側に設けられる。したがって、表示装置の側でタッチイベントジェスチャを実行することによりモバイル機器に入力することが可能であるが、反対側でのタッチジェスチャを介して入力することも可能であり、それはなおも装置を単純なままに保つ。
【００３０】
以下では、本発明の実施形態を添付の図に関連して詳細に説明する。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１実施形態に係るタッチ感応装置を示す。
【図２】タッチイベントが付近で発止したときにトランスデューサによって感知された典型的（一般的）信号を示す。
【図３】本発明の第２実施形態に係る方法のブロック図を示す。
【図４】２つの異なるトランスデューサで特定され同じタッチイベントに属する２つの有用信号を示す。
【図５】インタラクション面上の４つのトランスデューサの配置例を示す。
【図６】本発明の第３実施形態に係る方法のブロック図を示す。
【発明を実施するための最良の形態】
【００３２】
図１は本発明の第１実施形態に係るタッチ感応装置１を示している。このタッチ感応装置１は、インタラクション面３と、ローパスフィルターユニット７および信号分析ユニット９に連結された４つのトランスデューサ５ａ−５ｄとを備えている。このタッチ感応装置１は、電子機器、例えば、任意のタイプのモバイル機器、携帯電話、ＭＰ３プレーヤ、ディスプレー付きまたはディスプレーなしのユーザインターフェースを必要とする任意の装置等々の一部であり得る。タッチ感応装置１は、ユーザがインタラクション面に触れる（例えば、インタラクション面を１本または２本以上の指で触れる、または、インタラクション面上で１本または２本以上の指をドラッグする）ことで付与されるタッチイベントを特定して、それらの特性を特定し、それらが、例えば、ある方向に沿ったドラッグとして、例えば、フリックまたはスワイプジェスチャまたはフリックジェスチャとして、回転方向を伴う回転として、ズームインジェスチャまたはズームアウトジェスチャとして、あるいは、単純なタッチとして分類されるように構成されている。特定されたタッチイベントは、インターフェース１１を介して電子機器の制御装置に出力することができる。
【００３３】
上記インタラクション面３は、ガラス、プラスチック、金属等の任意の固体材料で作ることができる。本実施形態のトランスデューサ５ａ−５ｄは圧電トランスデューサであるが、マイクロフォンやＭＥＭＳであってもよい。それらは、インタラクション面３上を走る又はインタラクション面３を貫通する信号を、分析可能な電気信号に変換する。この信号は、ユーザが与えたタッチイベントの結果である。もちろん、４つのトランスデューに代えて、タッチ感応装置１のアプリケーション及び必要な分解能に応じて、より多くのまたはより少ない数のトランスデューサを用いることができる。タッチイベントが発生したかどうかを特定したいだけならば、たった１つのトランスデューサ５ａだけでも正常に機能することができる。さらに、この実施形態では、トランスデューサ５ａ−５ｄは、インタラクション面３のユーザがタッチジェスチャを提供する側とは反対側に配列される。
【００３４】
上記ローパスフィルターユニット７は、カットオフ周波数が最大１００Ｈｚであるが、好ましくは５０Ｈｚ、さらに良いのは３０Ｈｚであり、アナログフィルターであってもディジタルフィルターであってもよい。トランスデューサ５ａ−５ｄによって感知されたフィルター処理済みの信号は、信号分析ユニット９に送られる。
【００３５】
実際、トランスデューサ５ａ−５ｄでは、トランスデューサの近傍でタッチイベントが発生すると、非常に低い周波数領域において図２に示すようなパターンを観測することができる。タッチイベントがトランスデューサの近くであればあるほど、パターンはより強くなる。図２は実際に、カットオフ周波数が３０Ｈｚであるときの信号の振幅を時間の関数として表している。図２において、５つのタッチイベントが特定できる。
【００３６】
「信号のトランスデューサ５ａ−５ｄ近傍度への依存性」とは、ドラッグ等のタッチイベントが所定のトランスデューサ（例えば、トランスデューサ５ａ）の近くで起きたときはいつでも、上記のパターンに類似したパターンを引き起こし、このドラッグが別のトランスデューサ（例えば、トランスデューサ５ｂ）に移動すると、その後しばらくしてそのトランスデューサの近くで同様のパターンを引き起こす。
【００３７】
タッチイベントが発生した正確な座標を分析する必要がないので、上述のようなジェスチャを特定することが可能となる。ドラッグの場所を検出する問題は、ドラッグするタッチイベントまたはタッチとインタラクション面３に取り付けられたトランスデューサとの間の近傍度を検出する問題に取って代わられる。したがって、近似のドラッグ場所とその方向を推定(estimate)することが可能である。これは、（さらに正確な場所情報を必要としない）電子機器で使用されるタッチジェスチャ（スイッチオン／オフ、フリック、スワイプ、回転、ズーム）の一般的アプリケーションに対しては十分である。これは、特に、小面積のアプリケーションについて言える。というのは、この種のジェスチャを特定するのに必要なトランスデューサの数は小さく抑えられるからである（例えば、この実施形態では４つ）。
【００３８】
対応する分析が信号分析ユニット９で実行される。次に、図３のブロック図を用いて、タッチイベントの分類が実行できるように、タッチイベントの特性を特定するためにタッチ感応装置１によって実現される本発明の方法の第２実施形態を詳細に説明する。
【００３９】
まず最初に、トランスデューサ５ａ−５ｄによって感知された全ての生信号が入力バッファに格納される。これらの生信号は、普通、１０００Ｈｚのサンプリングレートでサンプリングされる（ステップＳ１）。各分析ラン(run)において、所定量の感知信号のデータ流れが分析される。この実施形態では、約２秒に相当する２０４８個の感知信号ポイントのデータ流れを分析する。
【００４０】
次いで上記データ流れの感知された生信号に対して、カットオフ周波数が１００Ｈｚ、好ましくは５０Ｈｚ、さらに好ましくは３０Ｈｚのローパスフィルター（フィルター処理ユニット５）を適用する（ステップＳ２）。分析しなければならないデータを低減するために、感知された生信号を例えば係数３２のダウンサンプリングによってダウンサンプリングする任意選択のステップＳ３を導入することができる。約２秒のデータ流れをダウンサンプリングすることによって、約２０４８測定ポイントの表示が６４測定ポイントに低減される。これは、処理すべきデータ量が低減できるにもかかわらず、それでもなおユーザによって与えられたタッチイベントが特定できるという利点がある。
【００４１】
本発明の方法における次のステップＳ４は、フィルター処理されかつダウンサンプリングされた生信号をノイズに対応するベースライン信号の期間およびタッチイベントに対応する有用信号の期間に分割するために使用される、いわゆるトリガステップまたは分割ステップである。ベースラインに対応するデータ流れの部分は拒否され、一方、有用信号を運ぶ残りの部分は、ステップＳ５においてデータ分析ユニット９によってさらに処理されることになる。
【００４２】
以下で、トリガステップＳ４をさらに詳細に説明する。
【００４３】
トリガステップＳ４の主要な目的は、フィルター処理された生信号データ流れをベースライン信号および有用信号に分割することである。この第２実施形態で適用された基本的な仮定は、感知された信号データが、ベースライン信号または有用信号であっても、ガウス分布に従うことである。尖度ベースのトリガは、ベースラインデータだけがガウス分布であると仮定することに留意されたい。トランスデューサ５ａ−５ｄによってそれぞれ与えられた各信号に対して、分割動作を実行する。したがって４つのトランスデューサの場合には、４つのデータ流れが分析される。
【００４４】
その結果、ステップＳ３の後に出力された、フィルター処理されかつダウンサンプリングされた感知信号は、２種類の混合物を表すと仮定される。ベースラインである第１種類および有用信号である第２種類は、ユーザにより与えられたタッチイベントによって引き起こされ、１つ以上のトランスデューサ５ａ−５ｄによって感知されると想定された。したがってトリガ動作は分割動作と等価であり、この動作で最大２種類の信号から成る混合物から有用信号を検出することが望まれている。
【００４５】
本発明によれば、期待値最大化（ＥＭ：Expectation Maximization）と呼ばれる、尤度最大化に基づくアルゴリズムが、分割動作を実行するために適用される。これは反復プロセスであり、このプロセスは、２種類のうちの１種類を、現在分析中のデータ流れのあらゆる測定ポイントに自動的に割り当てることからなる。
【００４６】
ＥＭアルゴリズムは、通常、混合物のデータで使用される。言い換えればＥＭアルゴリズムは、ｍ種類｛Ｃｋ，ｋ＝１．．．ｍ｝から成る一式と、ｘｉが種類Ｃｋに属する場合のサンプルｘ＝｛ｘ１，ｘ２，．．．，ｘｎ｝とを有すると想定される。各種類Ｃｋは、その適切なパラメータベクトルΘｋおよびその事前確率πｋを介して定義される。問題は、尤度最大化を用いてパラメータベクトルΘ＝［π１，π２，．．．，πｍ，Θ１，Θ２，．．．，Θｍ］を推定することにある。一般的ＥＭアルゴリズムは、次の通りに要約することができる。
【００４７】
１−初期パラメータΘを与える、
２−事後確率を推定する、
３−新パラメータを評価することにより最大化動作が尤度を最大化する、
４−収束するまで２へ進む
【００４８】
実際、サンプルｘｉが種類Ｃｋに属する対数尤度は、
【数１】
2013531305.tif 000003
で示され、
【数２】
2013531305.tif 000004
は、サンプルｘｉが種類Ｃｋに属する確率である。これは、ベクトルｘ＝｛ｘ１，ｘ２，．．．，ｘｎ｝の対数尤度が、
【数３】
2013531305.tif 000005
で与えられることを意味する。ｍ種類の混合物を扱うと、対数尤度は、
【数４】
2013531305.tif 000006
のように書くことができる。この形式は、どんな分析解も有しない。
【００４９】
本発明によれば、この問題を解決する１つのやり方は、サンプルｘｉが種類Ｃｋによって発生する場合、ｚｉｋ＝１で、そのほかの場合、ｚｉｋ＝０である、ｎ個の欠測（欠損）データを導入することである。ベクトルｚを導入すると、対数尤度の式が簡素化される。
【数５】
2013531305.tif 000007
【００５０】
ＥＭアルゴリズムに代えて、その変形形態、いわゆる分類ＥＭ（Classification-EM）アルゴリズムをデータ流れに適用することも可能である。このアルゴリズムは、さらに分類ステップを備えている。最大事後確率決定則（ＭＡＰ）を用いると、事後確率は０および１に等しい。
【００５１】
分類ＥＭは、ＥＭアルゴリズムよりも速いという利点があるので、測定データのリアルタイム処理に、より良好に適合している。
【００５２】
分類ＥＭアルゴリズムは、混合物の場合、次のように表すことができる。
【００５３】
１−初期化：
【数６】
2013531305.tif 000008
２−推定：事後確率の評価：
【数７】
2013531305.tif 000009
３−分類：ＭＡＰ決定則の使用
【数８】
2013531305.tif 000010
４−最大化：
【数９】
2013531305.tif 000011
５−収束するまで２へ進む
【００５４】
本発明によれば、人は、感知され、フィルター処理されかつダウンサンプリングされた生データが、２つのガウス分布の種類から成る混合物に対応すると判断する。第１種類はベースラインに関係し（タッチイベントがなされないとき）、第２種類は有用信号を示す（タッチイベントが発生するとき）。人は、さらにこれらの種類がゼロ平均ガウス分布であると仮定を行うことができる、例えば図２を参照。これは、σをこの分布の分散とすると、あらゆるサンプルｘｉが、Ｎ（０，σ12）またはＮ（０，σ22）に属することを意味する。しかしながら本発明は、収集されたデータから２種類を特定することに限定されない。最終的にはガンマ分布の特徴的な属性を備えた３つ以上の分布もまた、もちろん特定することができる。これは、例えばインタラクション面上で異なるインパクトを特定するためには、興味深いことである。
【００５５】
２つの分布を分離できるように、人は信号エネルギに注意を向ける。分割動作を可能にするために、ｎポイントのデータ流れを用いるエネルギ変換が使用される。さらに、サンプルが独立しているという仮定が取り入れられるが、これは、サンプルのエネルギがガンマ分布に従うことを意味する。独立したｘｉ〜Ｎ（０，σ２）の場合、
【数１０】
2013531305.tif 000012
は、ガンマ分布
【数１１】
2013531305.tif 000013
に従う。
【００５６】
したがって最初は、両種類とも、分散σ12およびσ22を有するゼロ平均ガウス分布である。次いで全分類ＥＭアルゴリズムを、次の通りに書くことができる。
【００５７】
１−ｎポイント上のエネルギ推定。出力はＮポイントから成る混合物
【数１２】
2013531305.tif 000014
である。
２−初期化：初期パラメータベクトルは、
【数１３】
2013531305.tif 000015
であり、πｉはあらゆる分布に対する事前確率を示し、σｉはｔ＝０における対応する標準偏差を示す。｛ｋ＝１，２およびｊ＝１．．．Ｎ｝に対して、
３−事後確率を推定する：
【数１４】
2013531305.tif 000016
４−分類：
【数１５】
2013531305.tif 000017
５−尤度最大化後にパラメータをアップデートする：
【数１６】
2013531305.tif 000018
および
【数１７】
2013531305.tif 000019
６−収束するまで３へ進む。
【００５８】
対数尤度の最大値を探索している間、導関数を計算しかつこの導関数をゼロに設定することによって、本方法における最後の方程式が得られる。次のパラメータベクトル
【数１８】
2013531305.tif 000020
を計算することで対数尤度の最大化が構成される。ここで、
【数１９】
2013531305.tif 000021
であり、２つのガンマ分布を指す。
【００５９】
これは、次を最大化することにある。
【数２０】
2013531305.tif 000022
【数２１】
2013531305.tif 000023
は、
【数２２】
2013531305.tif 000024
を与える。事前確率πｋは、種類Ｃｋに属するポイント数と測定ポイントの総量との比率としてアップデートされる。
【００６０】
本発明の実施形態によれば、ステップ１−の信号エネルギは、データ流れの中の連続する２つのポイントを用いて計算される。
【００６１】
ステップ２の初期条件を設定すると、所望の種類を検出するようにこのアルゴリズムを導くことが可能となる。迅速な収束を可能にする仮定は、初期分散σ２として最大エネルギおよびメジアンエネルギ(median energy)を用いることである。ベースラインの種類はメジアンエネルギに割り当てられ、有用信号の種類は最大エネルギに割り当てられる。この選択には、現在の状況に適応的であるという利点がある。有用信号を特定することにおいて、この仮定はうまく機能すると分かったが、本当のところ、特定時にこの２種類が、分析されたデータ流れの中に存在していた。上述したように、十分に長いデータ流れを取り込むことによって、この仮定は、ほとんどの場合に満たすことができるので、長い持続時間にわたって延びるタッチイベントおよびしたがって有用信号が、ベースラインとして分類されることを防止する。
【００６２】
上述したように、本発明の方法における次のステージＳ５では、タッチイベントの特性を判定して、あるジェスチャを所定のタッチイベントによるものとすることができるようにする。そうするために、人は、異なるトランスデューサに対応する有用信号間の時間遅延、ならびに／または有用信号の最大値および／もしくは最小値の相対振幅を利用する。
【００６３】
詳細には、まず最初にＳ５１において、データ流れのウィンドウ内でかつ４つのトランスデューサ５ａ−５ｃ間で、有用信号の集団が検出される。そうするために、処理手順は、トランスデューサ間の共通の間隔を探索することにより、データ流れのウィンドウを候補タッチイベントに分割する。本実施形態において、２つの連続する独立したタッチイベントが少なくとも３００ｍｓの間隔を置かれることを想定しているが、この時間はもちろん状況の変化に適応させることができる。これは、２つの異なるトランスデューサ上で２つのインターバルが３００ｍｓを上回る間隔を置かれるときはいつでも、これらの２つのインターバルは２つの異なるタッチイベントに割り当てられることを意味する。
【００６４】
考えられるタッチイベントがＳ５１においていったん特定されると、トランスデューサ間の時間遅延が分析される。この遅延量は、あるパターンが別のパターンの先に起こるか、それとも後に起こるかを判定する。このため、簡易な技術は、両パターンに対して最大値と最小値とを比較することにある。実際、パターンが正弦曲線期間に似ているとしてもよいので、その正の半期間に対応する最大値および負の半期間に対応する最小値が存在する。問題は、パターン１の最大値がパターン２の最大値より先に起こるかどうか、およびパターン１の最小値がパターン２の最小値より先に起こるかどうかを判定することにある。この場合、トランスデューサ１は、トランスデューサ２より先に起こると推定される。最大位置と最小位置が一致しないとき、ゼロクロッシング位置が、パターン間の遅延量を推定するのに使用される。
【００６５】
一変形例によれば、残りのノイズによってあまり混乱しないように、遅延の処理手順が平滑化された信号に対して実行されるが、この信号は有用信号がローパスフィルター処理されたバージョンである。
【００６６】
図４に一例が示され、２つのトランスデューサ（例えば信号４１を有するトランスデューサ５ａ及び信号４３を有するトランスデューサ５ｂ）上に観測された低周波数信号を時間の関数として示している。この例は、したがって、トランスデューサ５ａからトランスデューサ５ｂへ動かすドラッグタッチイベントに対応する。したがってデータ分析ユニット９は、トランスデューサ５ａからトランスデューサ５ｂの方向へのドラッグタッチイベントを出力することになる。データ分析ユニット９は、速度に依存してフリックイベントまたはスワイプイベントを出力することになる。
【００６７】
すでに述べたように、タッチイベントのタイプを検出するためには、トランスデューサを、遅延量に関して並べ替える必要があり、観測された振幅に関しても並べ替える必要がある。
【００６８】
インタラクション面３および４つのトランスデューサ５ａ−５ｄを示している、図５に図示するようなトランスデューサ構成にとって、タッチジェスチャは、次のようなやり方で特定される。例えば、具体的なドラッグは、次のパターン並べ替えａ）ｄ）ｂ）ｃ）を与えることができ、これは、一パターンが最初にトランスデューサ５ａ上で観測され、次いでトランスデューサ５ｄ上、次いでトランスデューサ５ｂ上および最後にトランスデューサ５ｃ上で観測されたことを意味する。この認定は、ドラッグが、右側から左側へおよび左側から右側へ発生したことを意味する。このドラッグは、トランスデューサ５ａからトランスデューサ５ｂへ、およびトランスデューサ５ｄからトランスデューサ５ｃへ通過する。分析ユニット９は、２重のドラッグタッチイベントとして、このドラッグを特定することになり、このイベントは典型的にはズームアウトジェスチャとして分類される。ズームアウトジェスチャは、パネルの中央近くで、右側から左側へ、および左側から右側へ通過することにある。これは、ズームアウトジェスチャが、トランスデューサ５ｂおよび５ｃに対するもの（（−）として特定された信号エネルギ）よりも高い信号エネルギ（＋）を、トランスデューサ５ａおよび５ｄに対して引き起こすことを意味する。
【００６９】
振幅情報の並べ替え（ソーティング）とトランスデューサの並べ替え（ソーティング）との融合が、ジェスチャのタイプおよびその方向を推定するために想定される。さらなる例が、次表で与えられる。
【００７０】
【表１】
2013531305.tif 000025
【００７１】
この表は網羅的ではなく、タッチイベントを分類するために他の規則を規定することができる。振幅およびトランスデューサの並べ替えがコヒーレントでない（not coherent）（位相がそろっていない）ときはいつでも、分析ユニット９は、タッチイベントをノイズとして分類するように構成される。この処理決定ステージは、本発明の方法における各アプリケーションに依存して改善してもよい。例えば、別のジェスチャが望まれる、または別のトランスデューサの場所がテストされるときはいつでも、対応する決定基準が、上述したような表を構築するように構成されることになる。
【００７２】
なお、有用信号が特定されるやいなやその有用信号がすでに分析でき、データ流れ全部が分析されてしまう前に対応するタッチイベントの特性を判定できるように、本実施形態に従う方法を構成することができる。したがって、与えられたジェスチャに対応するコマンドが出力される前に、データ流れの最後まで待つ必要はない。したがって、この方法は、リアルタイム条件下で走らせることができる。かなり長く、データ流れのウィンドウを超えて延びるタッチイベントに対して、同じことが有効である。例えば、画面に示されたページの読み取り中に、下方または上方へゆっくりスクロールすることも、本方法によって特定することができる。
【００７３】
本発明の第３実施形態によれば、図３に示した方法は、図６に示すように補正される。
【００７４】
ステップＳ１−Ｓ４は、第１実施形態のように実行される。ステップＳ５へ進む前に、ステップＳ２−Ｓ４が再度実行され、入力バッファ（ステップＳ１）から取り込まれた新たなデータ流れであって、先行するデータ流れと重なり合う新たなデータ流れが、分析される。例えば、この新たなデータ流れは、この場合もトランスデューサ当たり２０４８ポイントを有し、約９４％の重なり合い、したがって１９２０ポイントの重なり合いを有する。もちろん重なり合いは、アプリケーションに依存して変化させることができる。
【００７５】
タッチイベントの分類を向上させるために、ステップＳ５は、同一の有用信号が２つのデータ流れの中に特定されている（ステップＳ６）場合だけ実行される。もちろん予め定められる所定の回数は、有用信号が少なくとも３回以上示す必要があるように適合させることができる。１９２０ポイントの重なり合いの例では、同一のシーケンスを最大１６回まで分析することができる。
【００７６】
これは、残りのノイズが信号分析ユニット９による不適切な出力を引き起こすことを防止するために、なされる。
【００７７】
他方では、これは、タッチイベントが最大１６回まで処理され検出されるときはいつでも、次のステップＳ５で分類されるジェスチャであると決定するのに最初の２回だけで足りることを意味する。
【００７８】
ステップＳ６において決定がいったん行われると、第３実施形態のさらなる変形例に従って、次の分析ランにおいて、特定された有用信号を備えた先行するデータ流れの部分とはもはや重ならないデータ流れを取り込むことが可能である。
【００７９】
この変形例には、リアルタイム処理の態様がより良好に実現でき、同時にジェスチャ検出の信頼性が保たれるという利点がある。
【００８０】
続いて起こる最初の２つのデータ流れの中に有用信号が特定されている場合に、１２．５％の処理だけで決定することは、外部ノイズが許容し得るとき、本当のところ十分であるとみなしてもよい。ノイズレベルがより高い場合には、本方法は、さらなるデータ流れの中に有用信号が観測されている場合にだけ、ステップＳ５に進むように構成することができる。閾値の適応は、自動化することができる。
【００８１】
第４実施形態によれば、分類ＥＭアルゴリズムではステップ２−の初期条件の推定は、以前のデータ流れの以前の処理ステップからの情報を考慮することによって適応させられる。分類ＥＭがベースラインを検出するときはいつでも、ベースラインの対応する分散がノイズレベルに関係し、したがってこの分散が、次のステップ中におけるベースラインの種類に対する入力分散の推定値として使用できることは明らかである。最終的には、新たなベースライン分散が初期ベースライン分散と新分散の組み合わせであるような重み付けステップを含むことができる。例えばベースライン分散は、ベースライン分散＝（先行ベースライン分散の（ｎ−１）／ｎ）＋（新分散の１／ｎ）によって規定することもできる。したがって、特に、ベースラインがまだ知られていないプロセスの開始時点で、ベースライン信号特性の迅速な適応を確立することができる。
【００８２】
分類ＥＭが、初期条件から始まって、処理中に実際の分散を反映すると想定される新分散を推定すること、およびこれらの全推定−初期および最終の−が、自動的に得られて、各信号に適応していることに留意されたい。したがってこのプロセスは、種々のアプリケーション、インタラクション面に関する種々の形状（形態）要因などに、容易に適応することができる。
【００８３】
本発明に係るタッチ感応装置及び本発明に係る方法は、タッチイベントを構築するタッチポイントのｘ、ｙ座標を正確に特定する必要がないので、おそらく種々のタイプのタッチジェスチャを特定するという利点がある。これは、低周波数ドメイン内での測定生信号の統計的分析に基づく簡単なプロセスを用いて成すことができる。次いで特定された有用信号は、信号間および振幅間の時間遅延に関する規則に従って分析される。音響的特徴を特定するために所定のデータベースとの比較は必要でなく、複雑なデータ変換は必要ないので、簡単な電子機器を使用することができ、低価格アプリケーションにもタッチジェスチャが利用可能とできる。本発明は、例えば携帯装置で使用されているようなむしろ小さいインタラクション面に関して、ジェスチャを特定するのに必要なトランスデューサの数を少量に保つことができるので、特に有利である。
【図１】
2013531305.tif 000026
【図２】
2013531305.tif 000027
【図３】
2013531305.tif 000028
【図４】
2013531305.tif 000029
【図５】
2013531305.tif 000030
【図６】
2013531305.tif 000031
【手続補正書】
【提出日】平成25年5月10日(2013.5.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
タッチ感応装置のインタラクション面（３）でユーザによって与えられたタッチイベントを判定する方法であって、
トランスデューサ（５ａ−５ｄ）、特に圧電トランスデューサによって生信号を感知し、この感知された信号をローパスフィルター処理するステップａと、
フィルター処理された生信号をベースライン信号と少なくとも１つの有用信号とに分割するステップｂと、
上記少なくとも１つの有用信号を分析して上記タッチイベントの特性を決定するステップｃと
を備えた方法において、
ステップｂは期待値最大化（ＥＭ）アルゴリズムを含んでいることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、
ステップｂにおいては、上記フィルター処理した生信号を分割するために、統計モデルを適用することを特徴とする方法。
【請求項３】
請求項１または２に記載の方法において、
ステップｂは時間ドメインの中で実行されることを特徴とする方法。
【請求項４】
請求項１乃至３のいずれか１に記載の方法において、
上記フィルターは、最大通過周波数が１００Hz、特には５０Hz、中でも３０Hzであることを特徴とする方法。
【請求項５】
請求項１乃至４のいずれか１に記載の方法において、
ステップｂは分類期待値最大化（ＣＥＭ）アルゴリズムを含んでいることを特徴とする方法。
【請求項６】
請求項２乃至５のいずれか１に記載の方法において、
統計モデルを適用するために、上記ベースライン信号と上記有用信号との双方ともがガウス分布を有し、かつ、それらの信号エネルギはガンマ分布に従う、と仮定されることを特徴とする方法。
【請求項７】
請求項６に記載の方法において、
上記ＥＭアルゴリズムの初期化ステップで、上記２つの分布の分散は信号エネルギに基づいており、上記有用信号の種類は最大エネルギに関係する一方、上記ベースラインの種類はメジアンエネルギに関係することを特徴とする方法。
【請求項８】
請求項１乃至７のいずれか１に記載の方法において、
ステップｂにおける分割の間に、上記感知された信号の所定持続時間の流れを分析することを特徴とする方法。
【請求項９】
請求項８に記載の方法において、
後続の流れは重なり合うことを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、
ステップｂ中において、予め定められた量の流れ、特に２または３つの流れの中で同一の有用信号が特定できている場合には、次の流れは前の流れの上記有用信号の終わりまでその部分と重ならないことを特徴とする方法。
【請求項１１】
請求項８乃至１０のいずれか１に記載の方法において、
上記流れは最大で２秒の長さを有することを特徴とする方法。
【請求項１２】
請求項１乃至１１のいずれか１に記載の方法において、
ステップcにおいては、有用信号がステップcに送られてしまうやいなやタッチイベントの属性を得ることを特徴とする方法。
【請求項１３】
請求項１乃至１２のいずれか１に記載の方法において、
ステップａでは、２つ以上の、特に４つのトランスデューサ（５ａ−５ｄ）によって生信号を感知し、感知された信号の各々に対してステップｂを実行することを特徴とする方法。
【請求項１４】
請求項１乃至１３のいずれか１に記載の方法において、
ステップｃでは、種々のジェスチャ、特に、ドラッグとドラッグ方向および／または回転と回転方向および／またはズームインおよび／もしくはズームアウトを、ステップｂで特定された有用なタッチ信号の１以上の所定の特徴間の時間遅延および／またはそれらの上記２以上の感知された生信号のための相対値に基づいて特定することを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、
上記１以上の所定の特徴は、上記有用信号の最大、最小、または信号平均クロッシングの位置に関係していることを特徴とする方法。
【請求項１６】
請求項１４または１５に記載の方法において、
ジェスチャのタイプは、上記時間遅延と上記インタラクション面に対するトランスデューサの位置に基づいてのみ決定されることを特徴とする方法。
【請求項１７】
請求項１乃至１６のいずれか１に記載の方法において、
ステップｃの前に上記有用信号を平滑化するステップをさらに備えたことを特徴とする方法。
【請求項１８】
請求項１のステップｂおよびステップｃを実行するためのコンピュータ実行可能な指示を有する１以上のコンピュータ読み取り可能な媒体を備えたコンピュータプログラム製品。
【請求項１９】
ユーザによって与えられたタッチイベントを受けるためのインタラクション面（３）と、信号を感知するための少なくとも１つのトランスデューサ（５ａ−５ｄ）、特に、圧電トランスデューサと、ローパスフィルターユニット（７）と、請求項１乃至１７のいずれか１に記載の方法に従って上記タッチイベントを特定するよう構成された信号分析ユニット（９）とを備えたことを特徴とするタッチ感応装置。
【請求項２０】
請求項１９に記載のタッチ感応装置を備えたことを特徴とするモバイル機器。
【請求項２１】
請求項２０に記載のモバイル機器において、
上記モバイル機器の前面および／または後面に請求項１９に記載のタッチ感応装置を備えるとともに、上記前面に表示装置が設けられていることを特徴とするモバイル機器。
【国際調査報告】
2013531305.tif 000032
2013531305.tif 000033
2013531305.tif 000034
2013531305.tif 000035
2013531305.tif 000036