(57)【要約】  直交する独立した２列の線形静電容量式センサを用いることにより、タッチセンサの面上の複数のタッチポイントの検出および追跡を提供するタッチセンサ面のためのシステムおよび方法。
2012506571.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのタッチポイントを検出する装置であって、
第１の次元と第２の次元を有する面と、
前記第１の次元に沿って配置され、前記少なくとも１つのタッチポイントにより生じる複数の第１感知信号を生成し、前記複数の第１感知信号を前記第１の次元における位置についての第１関数として示す第１データセットを提供する複数の第１センサと、
前記第２の次元に沿って配置され、前記少なくとも１つのタッチポイントにより生じる複数の第２感知信号を生成し、前記複数の第２感知信号を前記第２の次元における位置についての第２関数として示す第２データセットを提供し、前記複数の第１センサと独立して動作する複数の第２センサと、
前記少なくとも１つのタッチポイントのそれぞれの位置を決定するために、前記第１データセットおよび第２データセットを処理する、学習されたモデルに基づく処理手段と、
を備える装置。
【請求項２】
前記処理手段は、前記第１データセットおよび第２データセットの統計的特徴に基づき、前記少なくとも１つのタッチポイントの数を判定するタッチポイント分類器を備える、
請求項１に記載の装置。
【請求項３】
前記統計的特徴は、平均、標準偏差、および歪度である、
請求項２に記載の装置。
【請求項４】
前記タッチポイント分類器は、学習用データを用いることでモデルを更新し、前記モデルは、前記少なくとも１つのタッチポイントの数により、前記第１データセットと第２データセットとを分類する、
請求項２に記載の装置。
【請求項５】
前記タッチポイント分類器は、ガウス密度分類器である、
請求項２に記載の装置。
【請求項６】
前記ガウス密度分類器は、Ｋ分割交差検定により前記モデルを更新する、
請求項５に記載の装置。
【請求項７】
前記処理手段は、さらに、前記タッチポイント分類器により判定された少なくとも１つのタッチポイントの数を統計的に検証する確認モジュールを備える、
請求項２に記載の装置。
【請求項８】
前記確認モジュールは、前記タッチポイント分類器によって検証された判定履歴に基づき、前記タッチポイント分類器により判定される少なくとも１つのタッチポイントの数の出現確率を決定する、
請求項７に記載の装置。
【請求項９】
前記確認モジュールは隠れマルコフモデルを用いる、
請求項７に記載の装置。
【請求項１０】
前記確認モジュールは、一様性隠れマルコフモデルを用いる、
請求項９に記載の装置。
【請求項１１】
前記処理手段は、さらに、前記少なくとも１つのタッチポイントの次の位置を予測する追跡器を備える、
請求項７に記載の装置。
【請求項１２】
前記追跡器はカルマンフィルタを用いる、
請求項１１に記載の装置。
【請求項１３】
前記処理手段は、さらに、各タイムポイントにおける前記少なくとも１つのタッチポイントのそれぞれに対する位置の履歴データを記憶するデータ記憶部を備え、前記追跡器は、前記少なくとも１つのタッチポイントのそれぞれに対して、少なくとも１つの軌跡を予測して付与し、前記処理手段は、タッチポイントに付与された軌跡を用いることによって、前記少なくとも１つのタッチポイントのそれぞれの位置を決定する、
請求項１１に記載の装置。
【請求項１４】
複数の第１感知信号をタッチ面の第１の次元における位置についての第１関数として示す第１データセットを検出し、
複数の第２感知信号をタッチ面の第２の次元における位置についての第２関数として示す第２データセットを検出し、
前記第１データセットおよび第２データセットを処理し、学習されたモデルを用いて、前記タッチ面における少なくとも１つのタッチポイントのそれぞれの位置を決定する、
方法。
【請求項１５】
前記方法は、さらに、
各タイムポイントにおける前記少なくとも１つのタッチポイントのそれぞれに対する位置の履歴データを収集し、
前記少なくとも１つのタッチポイントのそれぞれに対して、少なくとも１つの軌跡を予測して付与し、
前記タッチポイントに付与された軌跡を用いて、前記少なくとも１つのタッチポイントのそれぞれの位置を決定する、
請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のタッチポイントの検出および追跡を行うことができるマルチタッチ面に関する。
【背景技術】
【０００２】
消費者用電子機器に対する人と機械とのインタラクションは、既存のマウスおよびキーボードによる方法ではないタッチやジェスチャーによる、より直感的な方法に重心が置かれるようになってきている。基礎となるシステムとユーザがインタラクションを行うために、多くの用途にタッチセンサ面が用いられている。同じタッチ面が多くの用途のディスプレイとしても用いられている。消費者用電子機器のディスプレイは、より薄く安価になってきている。したがって、マルチタッチ体験を提供する、薄くて安価なタッチ面の需要がある。
【０００３】
パネルの表面上におけるマルチタッチ・インタラクションを提供するために、ＩＲセンサ、カメラセンサおよび圧力センサ等、複数の異なるセンサが用いられている。これらのセンサは、高価で複雑、かつ広いスペースを要する場合があり、その結果ディスプレイが厚くなり、最終製品がより大きくなる。静電容量式センサは、安価で薄い代替品となる。２次元静電容量式センサは、表面積が小さいマルチタッチを利用する際に用いられてきた。しかしながら、表面積が広いマルチタッチを利用する際に静電容量式センサを用いることは、多くの情報処理が必要になるため難しいことがある。２次元静電容量式センサの複雑性は、表面積が増加すると共に指数関数的に高くなる。複雑性に伴い、２次元静電容量式センサを製造するためのコストも増加する。
【０００４】
本開示は、直交する独立した２列の線形静電容量式センサを提供する。本開示の１つ以上の実施形態は、広い面を有するマルチタッチを利用するために、２次元静電容量式センサよりも簡略化した安価な代替物を提供する。本開示の１つ以上の実施形態は、マルチタッチの解決策として他のセンサを用いるよりも安価なコストで、非常に薄いフォイルに納めることができる。本開示の１つ以上の実施形態は、複数のタッチポイントを正確に検出し、追跡することを目的としている。
【０００５】
本開示の発明者は、少なくとも１つのタッチポイントを検出する装置を提案する。本装置は、第１の次元と第２の次元とを有する面を備える。複数の第１センサは、第１の次元に沿って配置されており、少なくとも１つのタッチポイントにより生じる複数の第１感知信号を生成する。複数の第１センサは、複数の第１感知信号を第１の次元における位置についての第１関数として示す第１データセットを提供する。複数の第２センサは、第２の次元に沿って配置され、少なくとも１つのタッチポイントにより生じる複数の第２感知信号を生成する。複数の第２センサは、複数の第２感知信号を第２の次元における位置についての第２関数として第２データセットを提供する。複数の第１センサと複数の第２センサは、互いに独立して動作する。学習されたモデルに基づく処理手段は、第１および第２のデータセットを処理して少なくとも１つのタッチポイントのそれぞれの位置を決定する。
【図面の簡単な説明】
【０００６】
ここで説明する図面は、例示を目的として選択された実施形態のみの図面であり、可能性のあるすべての実施形態を示していないが、本開示の範囲を限定することを意図するものではない。
【図１Ａ】マルチタッチ装置を示す図である。
【図１Ｂ】本開示の一実施形態を示す概略図である。
【図２】１つのタッチポイントの静電容量検出時の測定値の一例を示す図である。
【図３】１つのタッチポイントに対する放物線近似の一例を示す図である。
【図４】２つのタッチポイントに対する静電容量の測定値の一例を示す図である。
【図５】２つのタッチポイントに対する放物線近似の一例を示す図である。
【図６】本開示の別の実施形態を示す概略図である。
【図７Ａ】１つのタッチポイントに対する静電容量検出時の測定値の一例を示す図である。
【図７Ｂ】２つのタッチポイントに対する静電容量の測定値の一例を示す図である。
【図８Ａ】１つのタッチポイントに対する学習用データの一例を示す図である。
【図８Ｂ】２つのタッチポイントに対する学習用データの一例を示す図である。
【図９】Ｋ分割交差検定を示す図である。
【図１０】本開示の別の実施形態を示す概略図である。
【図１１】本開示の一実施形態に係るタッチポイント追跡器による処理の一例を示す図である。
【図１２】隠れマルコフモデルを示す図である。
【０００７】
図面を通して、同じ参照符号は同様の構成要素を示す。
【発明の概要】
【０００８】
本開示が完全でかつ当業者にその範囲を十分伝えるものにするように実施形態を例示する。本開示の実施形態を十分理解できるように、特定の部品、装置、および方法の例などの多くの具体的内容を示す。この具体的内容を用いる必要はなく、例示の実施形態を様々な形式で用いてもよく、かつ本開示の範囲を制限すると解釈すべきではないことは当業者には明らかである。例示した一部の実施形態において、周知の工程、周知の装置の構造、および周知の技術の詳細は記載していない。
【０００９】
本明細書で使用する用語は、例示した特定の実施形態を説明するためのものであり、限定を目的とするものではない。本明細書で使用する、単数を示す「ａ」、「ａｎ」、および「ｔｈｅ」は、明確に指定していない限りは、複数も含むように意図するものである。「ｃｏｍｐｒｉｓｅｓ（備える）」「ｃｏｍｐｒｉｓｉｎｇ（備え）」「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｈａｖｉｎｇ（有する）」という用語は、包含的であるため、記載された特徴、整数、ステップ、処理、要素、および／または部品の存在を特定するが、１つ以上の他の特徴、整数、ステップ、処理、要素、部品、および／またはこれらのグループの存在または追加を除外するものではない。本明細書に記載する方法ステップ、工程、および処理は、実行の順序を具体的に記載していない限り、必ずしも記載または図示された特定の順序で実行する必要はないと解釈される。追加のまたは代替のステップを用いてもよいとも理解される。
【００１０】
要素または層が他の要素または層の「上」にあるか、「係合される」、「接続される」、または「結合される」と言及されている場合、他の要素または層に対して、すぐ上にあるか、直に係合、接続、または結合されているか、その間に要素または層が介在する場合もある。これに対して、他の要素または層に「直接接している」、「直接係合されている」、「直接接続されている」、または「直接結合されている」と記載されている場合、介在する要素または層はなくてもよい。要素間の関係性を示す他の文言も同様に解釈すべきである（たとえば、「間」と「〜の間に直に」、「隣接」と「直に隣接」など）。本明細書で使用する、「および／または」という用語は、記載された関連用語の１つまたは複数のあらゆる組み合わせを含むものである。
【００１１】
第１、第２、第３などの用語は、本明細書において種々の要素、部品、領域、層、および／または部分を説明するために用いてもよいが、これらの要素、部品、領域、層、および／または部分はこの用語により制限されるものではない。上記の用語は、ある要素、部品、領域、層または部分を他の領域、層、または部分と区別するためにのみ用いてもよい。「第１」、「第２」や他の数字を表す用語が本明細書において用いられた場合、明記されていない限り順序または序列を意味するものではない。したがって、以下に述べた第１の要素、部品、領域、層または部分は、例示した実施形態の教示から逸脱することなく、第２の要素、部品、領域、層または部分と称してもよい。
【００１２】
「内側」、「外側」、「直下」、「下方」、「下部」、「上方」、「上部」などの空間的な相対語は、本明細書においては図面に示すような、他の要素または特徴に対する、ある要素または特徴の関係性を容易に説明するために用いられる。空間的な相対語は、図面に示す方向に加え、使用中または動作中の装置の異なる方向を含むことを意図してもよい。たとえば、図面に示された装置が回転されて上下反対に示されている場合、他の要素または特徴に対して「下方」または「直下」の要素と記載されている場合、他の要素または特徴に対して「上方」の方向であってもよい。よって、例示した「下方」という用語は、上方および下方のどちらの方向も含むことができる。装置は他の方向に向けられてもよく（９０度回転させた方向または他の方向）、本願明細書で用いる空間的な相対を示す記述語は、上述したように解釈される。
【００１３】
図１Ａを参照して、本開示の１つ以上の実施形態をここに説明する。インタラクティブ・フォイル１２は、マルチタッチ装置のマルチタッチ面１１に用いられる。インタラクティブ・フォイルは、独立した２列の静電容量式センサ１３を有する。静電容量式センサが本実施形態にて用いられているが、インタラクティブ・フォイル１２において、他の種類の独立した２列のセンサを代わりに用いてもよい。独立した２列の静電容量式センサ１３は、インタラクティブ・フォイルの垂直および水平の両方向に配置される。垂直方向をｙ軸と称し、水平方向をｘ軸と称する。よって、静電容量式センサ１３の一方の列は、フォイル１２面上のタッチポイントのｘ座標を検出し、静電容量式センサ１３のもう一方の列はタッチポイントのｙ座標を検出する。１つ以上の静電容量式センサ１４をｘ軸またはｙ軸における各検出ポイントに配置することができる。よって、２列の静電容量式センサ１３により、インタラクティブ・フォイル１２の上を指で触れた箇所等のタッチポイントの位置を求めることができる。インタラクティブ・フォイル１２は、１つのガラス面に実装するか、２つのガラス面の間に挟むこともできる。あるいは、テレビスクリーンのパネルのような表示画面に実装することもできる。
【００１４】
静電容量式センサ１４は、人間の体の一部のような導電性の対象物がインタラクティブ・フォイル１２の表面の近くにある時、その対象物を感知する。静電容量式センサ１３は、感知した静電容量値をｘ軸およびｙ軸において別々に読み取る。たとえば指などの対象物が表面に十分接近すると、対応するｘ軸およびｙ軸上の静電容量値が増加する。よって、ｘ軸およびｙ軸の値により、インタラクティブ・フォイル１２上の１つまたは複数のタッチポイントを検出することが可能になる。具体的な例を挙げると、フォイル１２の対角の長さは３２インチであってもよく、長辺と短辺との比が１６：９であってもよい。したがって、これに対応するセンサの間隔は、ｘ軸において約２２．６９ｍｍであり、ｙ軸において約１３．１６ｍｍである。
【００１５】
次に、図１Ｂを参照して、本開示の１つ以上の実施形態に係る、学習されたモデルに基づく処理部の全体構造を説明する。検出器１８は、独立した２列の静電容量式センサ１３の静電容量値を連続的に読み取る。検出器１８は、追跡器１９を初期化して１つ以上のタッチポイントを追跡する。追跡器１９は、検出器１８にフィードバックを行う。検出器１８は、自己の予測に関して追跡器１９を更新することもできる。独立した２列の静電容量式センサ１３からの静電容量の測定値に基づいてマルチタッチポイントを検出するために、他のモジュールおよびアルゴリズムも用いられる。これらの詳細は後述する。
【００１６】
独立した２列の静電容量式センサ１３の測定値から、複数のタッチポイントを検出することを説明する前に、インタラクティブ・フォイル１２上の１つのタッチポイントの検出について参考として簡単に説明する。次に、図２を参照し、インタラクティブ・フォイル１２から、１つのタッチポイントの静電容量の測定値の例を示す。１つのタッチポイントに対して、ｘ軸およびｙ軸におけるすべての静電容量式センサ１３は、静電容量の測定値を生成する。ｘ軸およびｙ軸には、それぞれ１つのピークが存在する。このピークを検出するためには、検出器１８が静電容量式センサ１３から静電容量の測定値を受信し、ｘ軸およびｙ軸両方の最大静電容量値を検索する。ｘ軸およびｙ軸におけるピーク（２１、２２）のそれぞれに対応するｘおよびｙの値の結果は、タッチポイントの位置を示す。この検出により、少なくともピクセルレベルの精度が得られる。
【００１７】
次に、図３を参照すると、検出されたピーク値（３１、３６）の精度を、局所的に放物線を近似する手法を用いて向上させることができる。この手法は、検出されたピーク位置（３１、３６）の左の検出ポイント（３２、３７）および右の検出ポイント（３３、３８）をどちらも含むことができる。この局所的に放物線を近似する手法の詳細は、後述する。一般的には、次に放物線の最大の位置が求められ、これがサブピクセルレベルのピーク位置とみなされる。
【００１８】
次に、図４を参照し、本開示の１つ以上の実施形態に係る、複数のタッチポイントの検出を説明する。この説明を簡単にするために、２つのタッチポイントを検出して追跡する場合を検討する。しかしながら、ここに記載した技術は、２つを超えるタッチポイントを検出して追跡する場合にも適用可能である。一般的には、インタラクティブ・フォイルの表面上の２つのタッチポイントから、静電容量検出時の測定値に２つの極大値（４１、４２；４６、４７）が生じる。しかしながら、ノイズの影響により、２つを超える極大値が検出される場合もある。また、２本の指が非常に近い場合には、２本の指は１つのタッチポイントと類似する可能性があり、静電容量の測定値においては１つの極大値しか検出されないかもしれない。このような状況を区別するために、より高度な曲線近似アルゴリズムを用いてもよい。たとえば、このような近似は、複数のガウス関数を組み合わせたものに基づいてもよい。ガウス関数に基づく手法についても後述する。インタラクティブ・フォイル１２上の２つのタッチポイントに対する、静電容量式センサ１３からの静電容量の測定値の一例を図４に示す。対応する近似およびサブピクセルのタッチ位置を図５に示す。
【００１９】
２つのタッチポイントを検出する場合は、背景のノイズもガウス分布としてモデル化されるため、合計３つのガウス関数が近似される。構成する３つのガウス関数のうちの２つは、検出すべき２つのタッチポイントと相関すると見なされる。他の２つと比較して非常に小さなピーク値を有する３つ目のガウス関数は、ノイズとして除外することができる。
【００２０】
ここで、静電容量式センサ１２の静電容量の測定値から１つ以上のピーク位置を検出かつ検索することに関して説明する。しかしながら、本開示の１つ以上の実施形態では、静電容量の検出結果からピーク位置を探す上述の手法を用いることができ、そこでは生成される静電容量の測定値のタッチポイントの数を事前に把握しておく必要がある。この理由は単純である。もし１つのタッチポイントがインタラクティブ・フォイルにある場合、１つのピーク位置のみを探す必要があり、２つ以上のタッチポイントがインタラクティブ・フォイルにある場合、２つ以上のピーク位置を探す必要がある。
【００２１】
次に、図６を参照し、本開示の１つ以上の実施形態において、静電容量式センサ１３からの静電容量の測定値を分析して、インタラクティブ・フォイル１２に存在するタッチポイントの数を判定するタッチポイント分類器６１を用いてもよい。ここから、インタラクティブ・フォイルに１つまたは２つのタッチポイントのみを有する場合を検討する。しかしながら、ここに記載した技術は、インタラクティブ・フォイルにおいて２つを超えるタッチポイントを有する場合にも適用可能である。
【００２２】
静電容量式センサ１３からの静電容量の測定値は、タッチポイント分類器６１にまず送信され、このタッチポイント分類器は、１つのタッチポイントと２つのタッチポイントとを分類することをオフラインですでに学習している。この分類結果が隠れマルコフモデル６２に与えられて、事後確率が更新される。事後確率が所定の閾値に到達すると、対応するタッチポイントの数が確認され、ピーク検出器６３が測定値を検索して極大値を検出する。そして、カルマン追跡器６４が、タッチポイントの動きを追跡するために用いられる。
【００２３】
次に、図７Ａを参照すると、１つのタッチポイントの測定値の例を示している。この図における座標系のｘ軸は、インタラクティブ・フォイル１２のｘ軸またはｙ軸の位置に対応している。座標系のｙ軸は、インタラクティブ・フォイル１２のｘ軸またはｙ軸上の任意の位置における静電容量式センサからの検出値に対応する。図７Ｂも同様に、２つのタッチポイントの静電容量の測定値の例を示している。
【００２４】
本開示の１つ以上の実施形態の目的の１つは、静電容量の測定値を分析し、その検出結果が１つのタッチポイントか２つのタッチポイントからのものかを判定することである。本開示の発明者は、計算メカニズムを用いて静電容量の測定値を分析し、たとえば、静電容量の測定値が１つのタッチポイントか２つのタッチポイントからのものであるかを統計的に判定することを提案する。この計算メカニズムは、学習されたモデルに基づくメカニズムであってもよい。本開示の発明者はさらに、この分析に分類器を用いることを提案する。
【００２５】
分類器は、分類されていないインスタンスに対して、内部データ構造に応じて種別を示す分類をマッピングする機能として定義できる。たとえば、静電容量の測定値を１つのタッチポイントまたは２つのタッチポイントとして分類するために分類器を用いてもよい。この分類器は、受信情報（本実施形態では静電容量の測定値）から、顕著な特徴を抽出し、それらの特徴に基づき受信情報を分類する。これらの特徴は、受信情報の明確な種別が確認できるような方法で選択してもよい。
【００２６】
分類器は、受信情報を後で正確に分類するために学習用データを用いて学習する必要がある。学習の間に、サンプルデータの潜在的な確率密度関数が推定される。
【００２７】
次に、図８Ａを参照し、１つのタッチポイントに対する、３次元座標系における学習用サンプルデータを示す。学習用サンプルデータは、たとえば、学習用のフォイルに配置される２次元静電容量式センサを用いることにより生成することができる。３次元座標系のｘ−ｙ平面は、学習用フォイルのｘ−ｙ平面に対応する。３次元座標系のｚ軸は、学習用フォイルのｘ−ｙ面の所定のポイントにおける２次元静電容量式センサの静電容量の測定値に対応する。図８Ｂも同様に、２つのタッチポイントの学習用サンプルデータを示す。視覚化されたサンプルデータは点群として称される。
【００２８】
本開示の発明者はさらに、ガウス密度の分類器を用いることを提案する。学習の間、たとえば、２次元静電容量式センサから受信した点群は、ガウス密度分類器によって、１タッチポイントの種別と２タッチポイントの種別という、２つの種別のうちの一方に分類される。ガウス密度分類器において、異なる種別に関する受信データの確率密度関数（たとえば点群）は、多変量ガウス確率密度関数の線形結合としてモデルが作成される。
【００２９】
各群のサンプルが多変量ガウス密度、Ｎ（μｋ、Σｋ）、ｋ＝１、２からのものであると仮定する。ｘｉｋ∈Ｒｄを、ｋ番目の群のｉ番目のサンプルポイントとし、ｉ＝１、・・・、Ｎｋとする。各群に対して、平均値μｋと共分散行列σｋの最尤法（ＭＬ）は、以下の通りである。
【００３０】
【数１】
2012506571.tif 000003
【００３１】
この推定により、境界は確率密度関数（ＰＤＦ）曲線と等しいとして定義され、ｘＴＱｘ＋Ｌｘ＋Ｋ＝０によって求められ、式中Ｑ＝Σ−１１−Σ−１２、Ｌ＝−２（μ１Σ１−１−μ２Σ−１２）、およびＫ＝μＴ１Σ１−１μ１−μ２ＴΣ２-１μ２−ｌｏｇ｜Σ１｜＋ｌｏｇ｜Σ２｜とする。
【００３２】
次に、本開示に係る１つまたはそれ以上の実施形態において分類されているガウス密度分類器に対して、抽出する必要がある静電容量の検出測定値から特徴を判定することについて説明する。本開示の発明者は、抽出される特徴として、平均、標準偏差、および正規化された高次の中心モーメントなどの、静電容量の測定値の統計を用いることを提案する。この測定値の統計は、それぞれのセンサのピーク位置および値が変動しても安定すると思われる。特徴は、各軸における静電容量の測定値の統計として選択される。本開示の発明者は、正規化された８次の中心モーメントまでの特徴を有する学習用データセットにおいて、Ｋ分割交差検定を用いて、特徴の好適な組および／または特徴の数を決定することを提案する。
【００３３】
一般的には、Ｋ分割交差検定において、学習用データセットがランダムに、互いに排他的なほぼ同じサイズのＫ個のサブセットに分割される。Ｋ個のサブセットのうち、１つのサブセットが、モデルをテストするための検定データとして保持され、残りのＫ−１個のサブセットが学習用データとして用いられる。交差検定の工程は、Ｋ回（分割数）繰り返され、Ｋ個の各サブセットは、検定データとして厳密には１回用いられる。分割数からのＫ個の結果は、１つの推定にするために平均化しても（または組み合わせても）よい。
【００３４】
本開示の１つ以上の実施形態において、ガウス密度分類器を学習して有効にするためにＫ分割交差検定が用いられる。推定された偽陽性率および偽陰性率を図９に示す。この検定に基づき、本開示の発明者は、好ましい特徴の数は３つであり、その特徴は静電容量の測定値の平均、標準偏差、および歪度であると判断する。
【００３５】
よって、本開示の１つ以上の実施形態は、静電容量式センサから任意の時間ｔに受信した静電容量の測定値の平均、標準偏差、および歪度を抽出することが可能である。そしてガウス密度分類器は、抽出された特徴に基づいて、受信した静電容量の測定値が１つのタッチポイントまたは２つのタッチポイントからであるかを判定する。
【００３６】
さらに、本開示の発明者は、ガウス密度分類器からの結果（つまり、１つのタッチポイントまたは２つのタッチポイント）を経時的に関連付けることにより確率的観点から長期間にわたる検出結果を平滑化し、ガウス密度分類器によって判定された結果を確認することができることを認識している。本開示の１つ以上の実施形態において、確認モジュールがタッチポイント分類器６１から現在得られた信号を受信し、以前受信した信号の結果に基づき、現在の結果（つまり、１つのタッチポイントまたは２つのタッチポイントのいずれか）の出現確率を決定する。その確率が所定の閾値に達する場合、タッチポイント分類器６１からの現在の結果が確認される。本開示の発明者は、さらに、確認モジュールにおいて隠れマルコフモデルを用いることを提案する。
【００３７】
次に図１２を参照して、本開示の１つまたはそれ以上の実施形態において用いられた隠れマルコフモデル（ＨＭＭ）を説明する。ＨＭＭは、一連の観察結果の出現確率を評価するために用いることができる。たとえば、観察結果は、タッチポイント分類器６１から判定された結果、つまり１つのタッチポイントまたは２つのタッチポイントのいずれかであるかということであってもよい。時間ｔにおける観察結果は、Ｘｔ∈｛Ｏ１、Ｏ２｝と表すことができ、Ｏ１およびＯ２は、２つの観察結果、つまり、１つのタッチポイントおよび２つのタッチポイントそれぞれの結果を示す。
【００３８】
一連の観察結果は、直接観察することができない状態の推移を含む、潜在的なマルコフ連鎖の確率関数としてモデル化してもよい。たとえば、ＨＭＭは２つの隠れた状態を有することがある。任意の時間ｔにおいて、隠れた状態はＺｔ∈｛Ｓ１、Ｓ２｝として表すことができ、ここでＳ１およびＳ２は、１つのタッチポイントの状態および２つのタッチポイントの状態をそれぞれ示す。ここでは、１つまたは２つのタッチポイントのみが考慮されているため、２つの隠れた状態がＨＭＭに使用される。２つを超えるタッチポイントを検出する必要がある場合には、２つを超える隠れた状態をＨＭＭに使用することができる。
【００３９】
時間ｔにおけるＺｔの状態から、時間（ｔ＋１）におけるＺｔ＋１に推移する確率は、以下のように示される。
【００４０】
【数２】
2012506571.tif 000004
【００４１】
時間ｔにおいてＨＭＭが状態Ｚｔの場合、Ｘｔを観察する確率は、Ｐ（Ｘｔ｜Ｚｔ）として表される。
【００４２】
本開示の発明者は、一様性ＨＭＭを本開示に係る１つまたはそれ以上の実施形態に適用することができることを発見する。一様性ＨＭＭでは、２つの連続したタイムポイントにおいて推移確率は同じであり、
【数３】
2012506571.tif 000005
である。また、２つの近いタイムポイントを観察する確率は同じであり、
【数４】
2012506571.tif 000006
である。
【００４３】
ベルヌーイ分布に基づき、時間０における推移確率はＰ（Ｚ０）＝０．５と推定される。任意の時間ｔにおいて、時間（ｔ−１）における状態Ｐ（Ｚｔ−１）の確率が既知であり、観察結果Ｘｔをタッチポイント分類器６１から受信したと仮定すると、隠れた状態はベイス規則により以下のように更新される。
【００４４】
【数５】
2012506571.tif 000007
【００４５】
本開示の発明者は、結合尤度を最大にして状態推移の最も良い順序を求めることに基づく代わりに、事後確率Ｐ（Ｚｔ｜Ｘｔ、Ｚｔ−１）に基づいて決定することができることを発見した。閾値は、タッチポイント分類器からの観察結果を検証するために、予め定義しておくこともできる。算出された事後確率Ｐ（Ｚｔ｜Ｘｔ、Ｚｔ−１）が予め定義された閾値よりも高い場合、時間ｔにおける状態は、事後確率Ｐ（Ｚｔ｜Ｘｔ、Ｚｔ−１）によって確認される。より高い精度を得るために高い閾値を設定してもよい。
【００４６】
タッチポイント分類器６１からの結果は、ここで確認モジュールによって確認される。すなわち、静電容量式センサからの静電容量の測定値は、タッチポイント分類器によって分析され、この例において１つのタッチポイントおよび２つのタッチポイントのいずれかからのものであるかが確認される。
【００４７】
次に、再度図６を参照すると、タッチポイントの数Ｎｔがピーク検出器６３に送信される。ピーク検出器６３は、静電容量の測定値も受信し、最初の最大極大値Ｎｔを探す。たとえば、タッチポイント分類器６１と確認モジュールとからの結果が１つのタッチポイントを示している場合、ピーク検出器６３は、インタラクティブ・フォイル１２のｘ軸およびｙ軸の両軸における静電容量の測定値から、全体での最大値を探す。タッチポイント分類器６１と確認モジュールとからの結果が２つのタッチポイントを示している場合、ピーク検出器６３は、インタラクティブ・フォイル１２のｘ軸およびｙ軸の両軸における静電容量の測定値から、２つの極大値を探す。ピーク検出器６３は、ｘ軸およびｙ軸のそれぞれで検出された２つのピーク値に対して比判定法も用いる。ある１つの軸における静電容量の測定値の２つのピーク値の比が所定の閾値を超える場合、低い方のピークはノイズとみなされ、２つのタッチポイントは、インタラクティブ・フォイル１２におけるその軸で互いに一致するとみなされる。
【００４８】
サブピクセル精度を達成するために、本開示の発明者は、インタラクティブ・フォイルの各軸（ｘ軸およびｙ軸）における極大値ペア（ｘｍ、ｆ（ｘｍ））に対して、放物線近似処理を用いることを提案する。ここで、ｘｍが位置であり、ｆ（ｘｍ）は静電容量の測定値である。ピーク位置の両側の点である（ｘｍ−１、ｆ（ｘｍ−１））および（ｘｍ＋１、ｆ（ｘｍ＋１））とともに、極大値ペア（ｘｍ、ｆ（ｘｍ））が、放物線ｆ（ｘ）＝ａｘ２＋ｂｘ＋ｃに近似される。これは、線形系
【数６】
2012506571.tif 000008
を解くことと同等である。したがって、ピーク位置は、
【数７】
2012506571.tif 000009
に修正される。
【００４９】
本開示の１つ以上の実施形態において、上述の技術を用いてピーク検出器６３は、ｘ軸およびｙ軸それぞれに対して１つまたは２つのピーク位置を決定することができる。その他の実施形態において、各軸における２つを超えるピーク位置を同様に決定することができる。
【００５０】
インタラクティブ・フォイル１２における２列の静電容量式センサ１３がそれぞれ独立しているため、インタラクティブ・フォイル１２の２次元平面におけるタッチポイントを判定するためにｘ軸およびｙ軸における位置に関連付ける必要がある。ｘ軸（ｘ１、ｘ２）およびｙ軸（ｙ１、ｙ２）の両軸には２つのピークがあり、可能性のある関連付けは、（ｘ１、ｙ１）、（ｘ２、ｙ２）および（ｘ１、ｙ２）、（ｘ２、ｙ１）の２つのペアであり、これらは同じ確率を示す。本開示の発明者は、関連付けの決定に役立つデータが他に収集されていない場合、可能性のある上記２つの関連付けを行うと、検出の初期段階では曖昧さが生じることがあると認識している。よって、本開示の発明者は、１つのタッチポイントの検出から開始するように検出に制限を加えることを提案する。
【００５１】
本開示の１つ以上の実施形態において、検出されたタッチポイントの履歴が本実施形態のデータ記憶部に記憶される。データ記憶部は、たとえば処理手段内に配置することができる。データ記憶部における表は、各タイムポイントにおけるタッチポイントそれぞれのｘ値およびｙ値を記録する。この履歴データは、追跡器１９によって利用され、タッチポイントの動きが判定される。履歴データに基づく追跡器１９は、１つのタッチポイントに対して１またはそれ以上の軌跡を予測し、割り当てることができる。判定された軌跡に基づいて、追跡器１９は、ピーク検出器６３により検出されたｘ軸およびｙ軸における現在のピークの関連性を決定することができる。この方法で、処理手段は各タッチポイントの現在の位置をより正確に決定することができる。
【００５２】
本開示の発明者は、検出結果を改良し、さらにタッチポイントが動く度に軌跡を滑らかにするための技術を提案する。どのような検出方法を用いても、偽陽性および偽陰性のどちらの観点においても必然的に、誤った検出が含まれる。誤った検出は、システムもしくは環境のノイズ、またはタッチ面の触り方により起こることがある。たとえば、タッチ面を人差し指で触ろうとしていたが、中指または親指が面に非常に近かったため、それらの指を誤って検出してしまう可能性がある。検出結果を改良して、タッチポイントが動く度に軌跡をさらに滑らかにするために、追跡方法が採用される。
【００５３】
本開示の１つ以上の実施形態において、本開示の発明者はタッチポイント追跡器の基礎となるモデルとしてカルマンフィルタを用いることを提案する。カルマンフィルタは、以前の観察結果に基づいて予測し、検出が確認された後に基礎となるモデルを更新することもできる。カルマンフィルタは、タッチポイントが動く速度を記録し、タッチポイントの前回の位置と速度に基づいて予測を行う。
【００５４】
次に、図１０を参照し、本開示の１つ以上の実施形態に係るカルマンフィルタを備えるタッチポイント追跡器を示す。
【００５５】
タッチポイント追跡器１１０は、基礎となる動きモデルとしてカルマンフィルタ１１１を用いて、以前検出されたタッチポイントに基づいて予測を出力することができる。この予測結果に基づいて、マッチファインダ１１２を用いて、検出されたデ―タセットにおいて最良のマッチを見つける。１つのマッチが見つかると、新たに測定が行われ、基礎モデル１１３はその測定結果に基づいて更新される。
【００５６】
次に、図１１を参照し、タッチポイント追跡器１１０の動作の例を示す。追跡されたポイントの組は２つのポイントを有する（ポイント１およびポイント２）。この例におけるポイント１およびポイント２は、始めは、インタラクティブ・フォイルの（Ｘ＝１４．２、Ｙ＝８．３）および（Ｘ＝８．６、Ｙ＝１０．８）の位置にある。そしてタッチポイント追跡器は、２つのポイントそれぞれに対して予測を行う。この例において、タッチポイント追跡器はポイント１、２が位置（Ｘ＝１４．４、Ｙ＝８．５）と、位置（Ｘ＝８．９１、Ｙ＝３．８）とのそれぞれに移動すると予測する。そして、それぞれの予測に対して、検索アルゴリズムが用いられて検出データセットにおいてマッチが見つけられる。この例において、検出データセットは２つのポイント、（Ｘ＝１４．３、Ｙ＝８．１）および（Ｘ＝２０．６、Ｙ−２．８）を含む。ポイント１に対するマッチは、ポイント（Ｘ＝１４．３、Ｙ＝８．１）に見つかったが、ポイント２に対しては見つかっていない。マッチポイントが見つかると、マッチしたポイントの位置は、そのタッチポイントの測定値として記録され、そのタッチポイントに対して、タッチポイントモデルの基礎となる動きモデルは、適宜更新される。このタッチポイントに関する信頼度が更新される。マッチポイントが見つからず、動きモデルが更新されない場合には、そのタッチポイントに対する信頼度が更新されない。新たなタッチポイント、つまり、追跡ポイントセットにマッチを有さない検出ポイントが検出されると、そのタッチポイントに対して決定された新たな記録が追加され、対応する信頼水準が初期化される。この例において、ポイント（Ｘ＝２０．６、Ｙ＝２．８）に対する新たな記録が追加される。あるタッチポイントに対して決定された信頼度が十分でなかった場合（たとえば、所定の閾値を満たさない場合）、そのタッチポイントの記録を削除してもよい。
【００５７】
本開示の１つ以上の実施形態において、異なる時間枠のタッチポイントを関連付け、さらにその推移を平滑化するために、速度が一定のモデルを有するカルマンフィルタが用いられる。状態ベクトルは、
【数８】
2012506571.tif 000010
と定義され、式中、（ｘ、ｙ）はタッチスクリーン上の位置であり、（Δｘ、Δｙ）は、隣接する時間枠との位置の変化であり、
【数９】
2012506571.tif 000011
は、ピーク検出器からの位置推定である測定ベクトルである。
【００５８】
カルマンフィルタの推移は、
【数１０】
2012506571.tif 000012
を満たし、ここでは、
【数１１】
2012506571.tif 000013
および
【数１２】
2012506571.tif 000014
が推移および観察行列であり、ｗ〜Ｎ（０、Ｒ）およびｖ〜Ｎ（０、Ｑ）が、共変行列ＲおよびＱを有するホワイト・ガウス・ノイズである。
【００５９】
過去の観察結果
【数１３】
2012506571.tif 000015
から以前の情報が与えられると、測定が可能になった時に以下のように更新が行われる。
【００６０】
【数１４】
2012506571.tif 000016
【００６１】
式中、
【数１５】
2012506571.tif 000017
は、測定値
【数１６】
2012506571.tif 000018
が与えられた時の修正であり、μｔは、前回の時間枠からの予測である。前回の時間枠から推定すると、現在の時間枠において最も近いタッチポイントはユークリッド距離の観点において見つけられ、これはタッチポイントの位置の修正を見つけるためのカルマンフィルタを更新する手段として行われる。最も近いポイントが所定の閾値の範囲外であった場合は、測定値は検出されなかったとみなされる。予測は、現在の時間枠における位置として示される。この処理全体を通して、各ポイントに対して信頼レベルが維持される。測定値が検出されると信頼レベルが向上し、検出されない場合には信頼レベルが低下する。信頼レベルが低すぎると、そのポイントの記録が削除されてそのタッチポイントは消滅したとみなされる。
【００６２】
簡略化のため、１つおよび２つのタッチポイントが検出される場合のみを記載したが、提案するシステムおよび技術は、分類器の学習中に種別を追加して、上述のように簡略化隠れマルコフモデルにおける状態を向上させることにより、２つを超えるタッチポイントを扱うように拡張することができる。たとえば、３つのポイントを検出し追跡するために、学習中に３つの種別が分類器において定義され、３つの状態が簡略化隠れマルコフモデルに定義される。
【００６３】
上述した実施形態の説明は、図示および説明の目的で示した。これは、包括的なものではなく、本発明を限定することも意図しない。特定の実施形態のそれぞれの要素または特徴は、通常はその特定の実施形態に限定されるものではないが、適応可能な場合は相互に変更可能であり、またこれらが具体的に図示または記載されていなくても選択された実施形態において用いることができる。これは、様々な変更を行ってもよい。このような変形例は本発明からの逸脱とはみなされず、またこのような改良はすべて本発明の範囲内に含まれることを意図する。
【図１Ａ】
2012506571.tif 000019
【図１Ｂ】
2012506571.tif 000020
【図２】
2012506571.tif 000021
【図３】
2012506571.tif 000022
【図４】
2012506571.tif 000023
【図５】
2012506571.tif 000024
【図６】
2012506571.tif 000025
【図７Ａ】
2012506571.tif 000026
【図７Ｂ】
2012506571.tif 000027
【図８Ａ】
2012506571.tif 000028
【図８Ｂ】
2012506571.tif 000029
【図９】
2012506571.tif 000030
【図１０】
2012506571.tif 000031
【図１１】
2012506571.tif 000032
【図１２】
2012506571.tif 000033