"マルチタッチ装置が提供する入力画像7000から任意の数のタッチを検出する方法であって、前記の入力画像7000を処理して、処理画像8000を取得する工程1010~1050と、前記の処理画像8000を閾値処理によりセグメント化して、セグメント化画像を取得する工程2010と、前記のセグメント化画像の領域を識別する工程2030と、各極大値が1画素サイズの極大値であり、各領域内の一つのサブ領域に属する、極大値を発見する工程と、前記の極大値に基づき、少なくとも一つのタッチ位置9000を決定する工程と、を有する方法。当該のサブ領域がN×Nサイズの画素であり、ここで、Nは奇数である請求項1に記載の方法。当該のNが3に等しい請求項2に記載の方法。当該の極大値を発見する工程が、複数の反復工程から成り、各反復工程において、当該のサブ領域の中心に一つの領域の一つの画素が有り、その画素が反復工程毎に変化するように、当該のサブ領域を定義し、当該のサブ領域の中心に有る画素以外の当該のサブ領域内の画素の値が、当該のサブ領域の中心に有る画素の値よりも小さいか否かを検証し、前記の工程により、小さくないと検証された場合に、当該のサブ領域の中心に有る画素を1画素サイズの極大値として識別する、請求項1から3までのいずれか一つに記載の方法。当該の領域が、繋がった画素のグループである請求項1から4までのいずれか一つに記載の方法。当該の入力画像の処理工程が、当該の入力画像7000をフィルタリングすること1010,1030,1050,2020から構成される請求項1から5までのいずれか一つに記載の方法。所定の条件により幾つかの領域を破棄する請求項1から6までのいずれか一つに記載の方法。当該の所定の条件が、当該の領域の面積、四角形類似度係数及び各領域内で発見された1画素サイズの極大値の数の中の一つ以上に基づく条件である請求項7に記載の方法。当該の少なくとも一つのタッチ位置を決定する工程が、当該の破棄後に残った各領域の幾何学的中心を計算すること2050から構成される請求項7又は8に記載の方法。一つの領域が一つの1画素サイズの極大値を有する場合、その領域の全ての画素を考慮して、当該の計算を実行する請求項9に記載の方法。一つの領域が複数の1画素サイズの極大値を有する場合、その領域の各極大値が中心に有るサブ領域内の画素だけを考慮して、当該の計算を実行する請求項9に記載の方法。ベースライン画像Irefを取得するための校正工程1020を有する請求項1から11までのいずれか一つに記載の方法。当該の入力画像7000から当該のベースライン画像Irefを減算して、符号付き画像を取得して、誤ったタッチを発見する工程を有する請求項12に記載の方法。当該のフィルタリングが、第一の濃淡レベル画像フィルタリング1030を含む請求項6から13までのいずれか一つに記載の方法。当該の第一の濃淡レベル画像フィルタリング1030がスムーザーで構成される請求項14に記載の方法。当該のフィルタリングが、更に、当該の入力画像7000の時間領域フィルタリング1010を含む請求項6から15までのいずれか一つに記載の方法。当該のフィルタリングが、更に、第一の濃淡レベル画像フィルタリング1030を含む請求項6から16までのいずれか一つに記載の方法。当該のフィルタリングが、更に、二進画像フィルタリング2020を含む請求項6から17までのいずれか一つに記載の方法。当該の二進画像フィルタリングが、二進モルフォロジーフィルタ2023で構成される請求項18に記載の方法。当該の領域を識別する工程2030が、当該の領域へのラベル付与と領域の分析で構成される請求項1から19までのいずれか一つに記載の方法。当該のタッチ位置に基づき軌跡を生成する工程3009と、軌跡毎に、各軌跡を割当済み又は未割当として識別する状態ビットFIFOを割り当てる工程と、ラベルを付与されている軌跡毎に線形割当問題を解く工程3010と、ラベルを付与されていない軌跡毎に線形割当問題を解いて、ラベルを付与されている軌跡を更新する工程3020,3023,3024と、前記の更新されたラベルを付与されている軌跡をフィルタリングする工程3030と、を更に有する請求項1から20までのいずれか一つに記載の方法。当該のタッチ位置毎に軌跡を生成する工程が、距離行列Cを計算すること3018を含む請求項21に記載の方法。当該のタッチ位置毎に軌跡を生成する工程が、位置、速度単位、方向の変化、及び強度の変化、のパラメータを考慮して、尤度行列を計算することを含む請求項22に記載の方法。当該のフィルタリング3030に基づき、当該のパラメータを更新すること3031を有する請求項23に記載の方法。一つのジェスチャ又は簡単なジェスチャを検出するために予備分析を行なうこと4001と、ジェスチャを検出しなかった場合に、相対運動ベクトルの座標を出力すること4003と、簡単なジェスチャを検出した場合に、シンプルジェスチャ信号を出力すること4005と、一つのジェスチャであるが、簡単なジェスチャでない場合に、基準ジェスチャ4008との比較を実行すること4006,4007,4009と、を更に有する請求項1から24までのいずれか一つに記載の方法。プロセッサにより実行可能な命令を有する不揮発性の有形コンピュータ読取可能媒体であって、前記の命令が実行された場合に、請求項1から25までのいずれか一つに記載の方法が実施される不揮発性の有形コンピュータ読取可能媒体。マルチタッチ装置用のマルチタッチ機器であって、マルチタッチ装置が出力する入力画像7000を処理して、処理画像8000を取得する処理手段と、前記の処理画像8000を閾値処理して、セグメント化画像を取得するセグメント化手段2010と、セグメント化画像の領域2030を識別する識別手段と、1画素サイズの極大値を計算する手段と、前記の極大値に基づき、一つ又は複数のタッチ位置9000を決定する決定手段と、を備えたマルチタッチ機器。以上のことから、マルチタッチ装置から任意の数のタッチをロバストに、正確に、かつ指の整列形態と独立して検出する方法が必要とされている。また、検出するタッチ数を制限しない、手/スタイラスによる書込/描画アプリケーションに適した任意の数のタッチを検出する方法も必要とされている。周知の解決策と比べて低い全体的処理要件により任意の数のタッチを検出し、追尾する方法も必要とされている。追尾するタッチ数を制限しない、二人以上の人又は三本以上の手による使用に適した任意の数のタッチを追尾する方法も必要とされている。また、柔軟なジェスチャ認識、即ち、如何なる数の指による如何なる種類のジェスチャの認識が可能な、任意の数のタッチを追尾する方法も必要とされている。上記の課題は、本発明による請求項1に記載のマルチタッチ装置から任意の数のタッチを検出する方法と、請求項26に記載の不揮発性の有形コンピュータ読取可能媒体及び請求項27に記載のマルチタッチ機器によって達成される。ここで開示した方法の従来技術と比べた利点は、特に、タッチ数に関する制限が無く、周知の解決策と比べて低い全体的処理要件を必要とする真のマルチタッチ検出が可能なことである。有利には、本発明による方法は、手/スタイラスによる書込/描画アプリケーションに適用可能である。本方法は、追尾するタッチ数に関する制限が無く、二人以上の人による使用にも適したロバストなマルチタッチ追尾が可能である。有利には、本発明による方法は、如何なる種類の指による如何なる種類のジェスチャも認識できるので、柔軟なジェスチャ認識が可能である。本発明による方法は、従来技術による別のアプローチと比べて速く、タッチ数に対するタッチ検出速度の依存性を無視できる。更に、入力データの品質に対してロバストであり、有利には、ここで開示した方法によって、品質が低い、即ち、雑音レベルが高く解像度が低い入力データを良好に取り扱うことができる。本発明は、以下の図面に図示された実施例の記述によって、より良く理解される。図2は、本発明による方法の一つの好ましい実施形態のフローチャート図を図示している。マルチタッチ装置の容量検知式集積回路CSICの画像出力、例えば、16ビットの画像が、第一の校正予備処理ブロック1000の入力画像7000として使用されている。この入力画像は、符号を持たない、即ち、負の画素値を含まない。この第一のブロック1000の次に、セグメント化分析ブロック2000と追尾ブロック3000が続いている。これらのブロックは、入力画像シーケンスのフレーム毎に処理している。本文脈において、ブロックとの名詞は、機能を提供する機能ユニットを意味する。一つのブロックは、ハードウェアコンポーネント及び/又はソフトウェアコンポーネントにより実現できる。本文脈において、画像との用語は、マルチタッチ装置の各検知コンデンサにおける電荷の二次元又は多値表現形式などのマルチタッチ装置の状態の二次元表現形式を表す。一つの画像は、必ずしも表示されている、或いは表示を意図している画像ではない。追尾ブロック3000の出力は、N個のベクトルから構成され、各ベクトルは、N,ID,x,y,zの形式であり、ここで、Nは、一つの時点において、マルチタッチ装置上に存在するタッチ数であり、IDは、特定のタッチを識別する数であり、xとyは、IDに対応するタッチのタッチ位置の平面座標であり、zは、タッチ強度、即ち、マルチタッチ装置の上又は近傍に物体が存在することにより生じる電界の変化に比例する値である。言い換えると、タッチ強度zは、本装置に対する物体の距離と物体の当量誘電率又は伝導度に比例する。ゼロタッチ基準画像或いはベースライン又はベースライン画像を取得するための初期校正1020は、平均減算1040、即ち、入力画像7000からの前記のベースライン画像の減算と共に、タッチを良好に特定できた場合に、符号付き差分画像を抽出できる。符号付き画像は、負と正の両方の画素値を持つことができる。工程1020と1040は、更に、ゼロタッチ基準原画像が理想的なケースと同様に不均一な場合でも、即ち、マルチタッチ装置上に物体が存在しないが、基準画像が異なる濃淡値を有する場合でも、タッチを等しく良好に検出できる。三つのフィルタリングブロック1010,1030,1050は、大きく崩れた画像を綺麗にするために使用でき、時間領域フィルタリングブロック1010は、主にシステム及び周囲雑音から成る白色雑音を濾過して取り除くために、主に非巡回式高速平均処理をベースとし、第一の濃淡レベル画像フィルタリングブロック1030は、主にマルチタッチ装置上での手との誘導結合により生じる1画素雑音などの急峻な雑音を濾過して取り除き、第二の濃淡レベル画像フィルタリングブロック1050は、例えば、ディスプレイ、周囲又はシステムの50Hzの雑音による大きな摂動を濾過して取り除くことができる。前記の入力画像7000の処理工程後、処理画像8000が得られて、セグメント化分析ブロック2000の入力として使用される。ブロック2000の第一の工程は、処理画像8000を前景、即ち、タッチ残留雑音と背景に分離するために、一定の閾値を用いて実行される画像セグメント化2010である。その次に、処理画像内において、一つ又は複数の領域を識別する。一つの好ましい実施形態では、一つの領域は、一つのタッチに対応付けることが可能な繋がった画素のグループ、例えば、そのグループの全ての画素が所定の閾値を上回る値を有する繋がった画素のグループである。繋がった画素との表現における繋がったとの意味は、N個の周囲の、或いは隣接する画素が繋がっているとの概念に関し、ここで、Nは偶数である。一つの好ましい実施形態では、N=4である。この場合、N/2個、例えば、2個の周囲の、或いは隣接する画素が同じ行又は同じ列に有って、所定の閾値を上回る値を有する場合、それらは同じ領域に属する、即ち、それらはN個、例えば、4個の繋がった画素である。二進画像フィルタリング2020は、疎らな、或いは無意味な領域などの二進雑音を除去する。領域ラベル付与ブロック2030は、前記のフィルタリング後に残った識別領域の座標を取得するために実行される。その次に、ラベルを付与されている領域が、工程2040において、面積、四角形類似度及び極大値の数に関して分析される。本文脈において、四角形類似度との表現は、その領域が如何なる程度で四角形であるのかを意味する。それは、与えられた幅幅Rと高さ高さRの長方形を与えられた形状の領域に嵌め込んで、次の通り定義される四角形類似度係数を計算することによって求められる。Min幅R,高さR/Max幅R,高さR本文脈において、1画素サイズの極大値との表現は、一つの最大値、即ち、タッチ強度zが一つの画素で最大値となることを表す。この最大値は、一つの領域内のサブ領域に関して求められるので、局所的である。一つの実施形態では、そのようなサブ領域のサイズは、N×N画素であり、ここで、Nは奇数である。一つの好ましい実施形態では、N=3である。極大値の数値決定に関する主要な問題は、強いて単一の画素とする必要が無いが、複数の画素に分散する可能性が有ることである。任意のサイズの極大値を探すことは、多くの計算資源が必要であり、一般的にグラデーション画像空間導関数を計算することと、多くの処理工程により微分画像を綺麗にすることとを意味する。本発明による方法は、有利には、極大値の探索を1画素サイズの極大値の探索に限定して、それを非常に容易にするとともに、それらの発見に必要な計算リソースを削減している。本方法は、そのような限定によって、タッチ検出の信頼度を大きく悪化させずに処理能力を非常に大きく削減できることの発見に基づいている。実際に、本発明の改善された方法は、誤検出される数を低減するとともに、検出されないタッチ数を大きく増大させない。その要因の一つは、複数画素に極大値を有するサブ領域は通常一時的にしか存在せず、通常数フレーム後には1画素サイズの極大値を有するサブ領域に置き換えられてしまうとの事実である。極大値を探索する前に実行される全てのフィルタリング工程1010,1030,1050,2020は、マルチタッチ装置上の1本の指が非常に高い確率で1画素サイズの極大値を生じさせることを保証している。そして、本発明による方法は、微分も、微分の後処理も必要とせず、そのため従来技術による別の方法と比べて全く低い処理要件しか必要としない。図3Aは、二つの領域AとBから構成されるセグメント化された画像SIの例を図示している。各領域は、複数の画素から成り、各画素の値は、ゼロと異なり、タッチ強度zに比例する。サブ領域SRの中心は、各領域の各画素上に有る。図3Aの例では、そのような破線で図示されたサブ領域のサイズは3×3画素である。サブ領域SRの中心の画素、即ち、調査中の画素は、サブ領域内のそれ以外の8個の画素の値が調査中の画素の値を下回れば極大値である。図3Aの例では、領域Bの画素Pを調査している。サブ領域SR内のそれ以外の8個の画素の中には、この画素Pの値1よりも大きい値9を有する二つの画素が有るので、Pは1画素サイズの極大値ではない。領域Bの値9を有する二つの画素の各々は、それらの二つの画素を中心とするサブ領域内のそれ以外の8個の画素の中には、調査中の画素と同じ値である値9を有する一つの画素が有るので、同じ理由から、一つの極大値ではない。領域Bは1画素サイズの極大値が無いので、その領域は破棄される。しかし、図3Aの例は、同じ大きな値を有する二つの画素が隣接することが稀であるため、領域B内の画素の一般的には珍しい配置を図示している。値9を有する領域Bの二つの画素は、数学的には2画素サイズの極大値である。また、それらは、領域B内で最も大きな値なので、領域Bに関する局所的な最大値RMであり、セグメント化した画像SIの全ての画素の中で最も大きな値なので、全体的な最大値GMである。異なる形式の最大値が図3Bに図示されている。図3Bによると、領域A内には、1画素サイズの極大値LMが三つ有り、1画素サイズの二つの極大値は値6を有し、1画素サイズの一つの極大値は値7を有し、この極大値も領域Aに関する局所的な最大値RMである。本発明による方法は、発見した1画素サイズの極大値に基づきタッチ位置を決定する。前述した通り、一つの領域が少なくとも一つの1画素サイズの極大値を含まない場合、その領域全体は破棄される。1画素サイズの一つの極大値を含む場合、その領域の全ての画素を用いて、その領域の幾何学的中心を計算することによって、タッチ位置が決定される。1画素サイズの極大値が複数有る場合、各極大値を中心とするサブ領域内の9個の画素だけが幾何学的中心の計算に考慮される。幾つかの領域は、それらの面積、四角形類似度係数、並びに前述した通り、領域内で発見された極大値の数に基づく所定の条件により破棄される。大きな領域、例えば、四角の形状と大きく異なる領域や多くの極大値を有する領域は、誤ったタッチである可能性が非常に高く、従って排除される。一つの領域が非常に大きい場合や複数の大きい領域が有る場合、マルチタッチ装置上に大きな物体、例えば、手、耳などが有る可能性が非常に高い。そのような場合、本発明による方法は停止される。領域内の多少とも中心に有ると期待される極大値の位置、画像内の幾つかの領域は有望な候補とされ、その他は保留されるか、或いは一時的に保留される領域の位置、大抵のタッチは少なくとも数フレーム続く前又は後の画像などに基づき幾つかの領域を破棄することも可能である。領域が誤ったタッチであり破棄すべき確率は、複数の条件及び重み係数に基づき計算することも可能である。本方法が続行される場合、工程2050において、幾つかの周知の公式に基づき各有効領域の幾何学的中心を計算する。これらの工程後に、タッチ位置9000が決定される。次に、全ての有効なタッチは、既に追尾ラベルを付与しているタッチと共に線形割当3010に送られる。ラベルの付与に成功したタッチは、軌跡フィルタリング3030に転送した後、出力できる。軌跡フィルタリングは、簡単な短いローパスフィルタによって実行される。割り当てられなかったタッチは、追尾しているが、ラベルを付与されていないタッチと共に線形割当3020に転送される。ラベルを付与されていないタッチは、複数のフレームの間に割当に成功しなかった場合、誤ったタッチである可能性が非常に高く、そのため削除される。しかし、ラベルを付与されていないタッチが複数のフレームの間に割当に成功した場合、真のタッチである可能性が非常に高く、そのため同じくラベルを付与される。最後に、所望又は必要な場合、校正を実行できる。動的な校正を必要とする主な理由は、マルチタッチ装置上に残留する脂、汗又は液体雨のためであり、恐らく周囲の電界が変化するためである。本方法から出力されるIDは、第一の指の接触以降、その同じ指が離れるまでの運動中一定でなければならない。座標xとyは、マルチタッチ装置に対して相対的な実際のタッチ位置に関して出来る限り正確にする。本方法全体は、ハードウェア、ファームウェア又はソフトウェアにより、或いはそれらを組み合わせて実現できる。二進画像フィルタリングを含む、それまでのブロック1010~2010は、画素単位の部分的な並列処理にも完全な並列処理にも適している。後述する通り、ブロック3000で計算されるコスト行列が大きくても、計算時間を1ms以内とすることができる。マルチタッチ装置上にタッチが存在しない、或いは大きな物体が存在する場合、本方法を停止し、そのため計算動作を低減する。更に、本方法のサイクル数/秒は、アイドルモードでの最大遅延要件を保証できる最低周波数、ソフトキーボードアプリケーション電話番号ダイヤル、打鍵、メニュー選択等のための低い周波数10~25Hz、ポインタカーソル指定及びマルチタッチアプリケーションのための平均的な周波数25~50Hz、並びに手/スタイラスによる書込/描画アプリケーションのための高い周波数50~200Hzの状況及びアプリケーションに応じて、最小値にまで動的に低減できる。時間領域フィルタリング1010の間に、入力画像7000の各画素信号の推移を時間に関してフィルタリングして、高い周波数成分、即ち、100~200Hzを上回る周波数成分を抑制する。しかし、定常信号例えば、50Hzの特定のフィルタリングも実行できる。時間領域フィルタリング1010は、デジタルフィルタリング技術及びデジタルフィルタ設計分野において周知の様々な手法有限インパルス応答及び無限インパルス応答フィルタにより実現できる。図4は、タイムスロットを重ね合わせない形の複数の入力フレームに渡る真の平均化による非連続及び非再帰式時間領域フィルタリングの例を図示している。この平均は、ローパスフィルタを用いた近似平均の取得と異なり、算術平均公式により計算しているので、この時間スロットに関する真の平均である。符号1011は、所定の長さの信号を表し、この場合、N=1024であり、符号1012は、サイズW=16の時間スロットを重ね合わせた場合の真の平均を表している。このサイズは、信号1012の水平部分の長さである。初期校正1020は、ベースライン画像Irefを取得するために、時間領域フィルタリング1010と同様に実行される。そのため、この校正は、マルチタッチ装置上に留まる物体が無い形で実行される。多数のフレームに渡る真の平均を計算して、ベースライン画像Irefを取得した後、それを基準画像バッファに保存する。校正を時々繰り返さなければならない場合、保存しているベースライン画像は、古いベースライン画像Iref_oldを大きな重みαで加重平均することによって、時間領域フィルタリングした新たなベースライン画像Iref_newにより更新できる。この更新方法も、時間領域フィルタリングである。次に、更新された時間領域フィルタリングしたベースライン画像は、次の通りとなる。αIref_old1-αIref_new、ここで、0<<α<1初期校正1020において、マルチタッチ装置上に導電性の物体が存在しないことが保証されない場合、ベースライン画像が均一であるか、或いは十分に希薄であるかを判定するために、幾つかの発見的方法を使用できる。そうでなければ、所望の均一性又は希薄性が得られるまで、校正を繰り返すことができる。組み合わせることも可能である幾つかの考え得る発見的方法は、ベースライン画像の平均的な大きさと共に標準偏差を計算して、それが十分に小さい場合に、マルチタッチ装置上に動きが無い可能性が非常に高いとし、十分に小さいとの意味は実験で決定することと、全変動ノルム、即ち、ベースライン画像の空間導関数のL1ノルムを計算して、それが十分に小さい場合に、画像が均一であるとし、又もや十分に小さいとの意味は実験で決定することと、である。上記の提案した第二の発見的方法の方が速く信頼できるが、粗い解像度の入力画像7000を与えられた場合、空間導関数を離散化する際に特別な注意を払わなければならない。時間領域フィルタリング1010と校正1020に追加して、時間領域フィルタリングした画像を処理して、フレーム毎にマルチタッチ装置上の真のタッチの良好に推定した真のx-y平面座標を取得する。マルチタッチ検出の主要な難しさは、マルチタッチ装置上の真のタッチ数が予め定められもせず分かりもしないことである。そのため、入力画像7000を処理して、領域、即ち、異なるタッチの各々に対応する繋がった画素のグループを確実に取得しなければならない。完全には分からない連携モデルを用いた複数の指の接触による検知コンデンサの間の連携は、次の効果の中の一つを入力画像に与える。マルチタッチ装置の一方の側下面に、真のタッチと全く同じ強度と面積のゴーストタッチを生じさせる効果と、マルチタッチ装置の他方の側上面に、同じくゴーストタッチを生じさせるが、その強度が弱く、符号が逆となる効果。一般的に、下側が上側と比べて幾つかの利点を有する場合でも、上側が使用される。組立済み、例えば、筐体内に組み込み済みのマルチタッチ装置では、組み立てた装置全体を分解して、引っ繰り返し、再び組み立てる必要が有るので、画面を引っ繰り返すことは難しい。そのような場合、一般的には上側が使用される。何れの側を使用するかを決定できる場合、下側では、大きな信号対雑音比を得ることができる。下側の利点は、画像フィルタリングを大幅に低減できることであるが、ゴーストの問題を適切なアルゴリズムで解決する必要が有る。別の幾つかの雑音源のために、逆符号の小さいピークが真の雑音ピークとなるので、メジアンカラムフィルタ、例えば、1×3画素のメジアンフィルタを用いた第一の濃淡レベル画像フィルタリング1030によって、それらの小さいピークを濾過して取り除く。メジアンフィルタリングは非線形であるので、それは分離できない、即ち、行に関する二回目の動作は、情報又は歪を相当に損失すること無しには実行できない。それに代わる手法は、2×2画素のメジアンフィルタを適用することであるが、一般的に偶数画素のマスクを用いた非二進画像フィルタリングは、フィルタの中心が存在しないので避けられている。3×3画素のメジアンフィルタを使用すると、入力画像に粗さが有る場合に大抵の真のタッチを除去してしまう可能性が非常に高い。依然として行に関する二回目の動作を追加する必要が有る場合、図5に図示されている通り実行される。第一の濃淡レベル画像フィルタリング1030の入力画像1031は、1×3画素のメジアンフィルタ1032と3×1画素のメジアンフィルタ1033に送られ、これらの両方のフィルタは並列に動作する。次に、フィルタリングされた画像1035は、二つのフィルタ1032と1033の出力を平均化することによって計算される。言い換えると、第一の濃淡レベル画像フィルタ1030は、有利には、スムーザー1034、即ち、真のタッチの単調性を回復するためのローパスアベレージャで構成される。次に、フィルタリングされた画像1035は、平均減算ブロック1040又はベースライン画像減算ブロックの入力となる。この減算は、タッチ及び残留雑音だけを含む画像を取得するために実行される。上面にマルチタッチ装置を使用した場合、真のタッチは、一般的にベースライン又はゼロタッチ基準画像よりも小さい濃淡レベル値を生じさせる。従って、ブロック1040において、次の式により、第一の濃淡レベル画像フィルタリングブロック1030の出力1035Ifiltered_1からベースライン画像Irefを減算する。Isub=Iref-Ifiltered_1ここで、Isubは、符号付き画像であり、真のタッチでは主に正であり、ゴーストタッチでは主に負である。雑音は、正と負の振幅の両方で存在し、完全には濾過して取り除かれないゴーストの周囲に誤検出を生じさせる。誤検出の発生を低減するために、符号付き画像Isubは、第二の濃淡レベルフィルタリングブロック1050に送られて、次の通り、マスクを用いて、例えば、3×3画素の加重平均によりフィルタリングされる。Ifiltrered_2=HIsubここで、Hは、例えば、次の正方行列である。kとIは、それぞれ各画素の行と列の指数であり、シンボルは、IsubとHの畳込積分を表す。Ifiltrered_2も符号付き画像である。ローパスフィルタの係数h11...h33は、σ=1で[-2,-2]×[2,2]ドメインにおける二次元ガウス核をサンプリングすることによって得られる。内部及び外部雑音源は、ランダムな非定常時間関数として、行及び/又は列毎の画素の平均に大きな偏位を生じさせる。そのため、そのような形式の摂動を従来のフィルタリング技術によって濾過して取り除くことは難しい。行及び/又は列のほぼ全体の平均は一度にシフトするので、処理を逆転させることができるとともに、特殊用途の行/列フィルタを表す図6に図示されている通り、行及び/又は列毎に平均又は中間値を計算、減算することが可能である。第二の濃淡レベルフィルタリングブロック1050の入力画像1051の行毎に、行当たりの平均を計算して1052、それが正である場合、当該の行から減算する1053。全ての行を処理した後、同じことを列に適用して、入力画像1051の列毎に、列当たりの平均を計算して1054、それが正である場合、当該の列から減算する1055。全ての列を処理した後には、依然として符号付きのフィルタリングされた画像1056が得られる。次に、その画像は、整流によって、再び符号無しの画像8000に変換される、即ち、負の値がゼロに設定される。特殊用途フィルタの出力8000は非常に綺麗である、即ち、真のタッチ又は背景に対応する画素を多く含み、雑音及び誤検出に対応する画素を僅かしか含まない。この処理された画像は、次に、セグメント化分析ブロック2000に送られる。そのため、二進画像セグメント化2010は、次の通り、小さい一定の閾値による簡単な閾値処理によって実現される。この閾値thは、範囲全体の0.005~0.1、例えば、16ビットのデータに対して64~512に設定される。セグメント化された画像は二進である。有効二進画像フィルタリング2020は、二進モルフォロジーフィルタリングによって実行できる。特に、モルフォロジー開始演算子は、構造化要素、即ち、所定の形状を有する画素のグループに一致する画素を維持しつつ、それ以外の画素をゼロに設定する。言い換えると、この構造化要素は、濃淡レベル/強度ではなく、型/形状に関してフィルタリングするためのパターン又は形状マスクである。図7A~7Cに図示されている通り、二進モルフォロジー開始演算子2023は、モルフォロジー収縮2021とそれに続くモルフォロジー膨張2022として定義される。収縮2021は、構造化要素フィルタマスクによって覆われている、そのブロックの入力画像の画素にAND演算子を適用して、構造化要素の中心の画素を最終結果として設定することによって実現できる。膨張2022は、構造化要素によって覆われている画素にOR演算子を適用して、全ての覆われている画素を結果として設定することによって実現できる。最終的に、この開始演算子2023は、覆われている画素にAND演算子を適用して、それらの画素を結果として設定することによって容易に実現できる。構造化要素の簡単な選択肢は、一回のモルフォロジー開始操作を必要とする2×2画素の四角形である。一回の操作とは、フィルタリングした画像を取得するために、フィルタリングする画像の各画素を一回通過させる、或いはフィルタリングすることを意味する。二回の操作とは、最終的な画像を取得するために、一回目と二回目のフィルタリングを画像に実施することを意味する。一回のモルフォロジー開始操作との記載は、四つの異なる構造化要素を使用する方法、従って、図8に図示されている通りの四回の操作と異なり、最終的な出力を取得するために、画像全体を一回だけフィルタリングすることを意味する。図8は、タッチ検出のための最も有効なフィルタリングを図示しており、四つの構造化要素2024を用いたモルフォロジー開始フィルタリング2023の四回の独立したオペレーション又は異なる操作を実行した後、四つの独立したオペレーション2023から得られた画像に画素単位のOR演算子2026を適用して、フィルタリングした画像2027を取得している。構造化要素行列2024内の符号Zは、それが構造化要素自体の一部でない0でも1でもないことを意味する。構造化要素は如何なる形状を持つこともできるが、画像処理において、保存のために四角形の行列を使用しているので、例えば、L形状を表すために、構造化要素を構成しない画素に対して、Zなどの所定のシンボルを使用している。領域ラベル付与工程2030は、領域を識別するために実行される。本文脈において、一つの領域は、四つの繋がった画素の区画として定義される。隣接する画素は、それらが四つの繋がった画素であり、そのため、同じ領域に属する場合、同じIDのラベルを付与される。例えば、四つの画素は、それらが同じ行と同じ列上で隣接する場合、同じ領域に属する。領域ラベル付与アルゴリズムは、文献により周知である。領域の認証又は排除工程2040のために、領域毎に次の特性を計算する。領域を取り囲む四角形の幅=kmax-kmin1kminとkmaxは領域の最小列と最大列の指数である、領域を取り囲む四角形の高さ=Imax-Imin1IminとImaxは領域の最小行と最大行の指数である四角形類似度係数=min幅R,高さR/max幅R,高さR、画素単位の面積、L1ノルム領域に対応する全ての画素の合計、局所的な最大値のk,I,zmax、ここで、zmaxは、局所的に最大な値強度、即ち、領域内に複数の最大値が有る場合に、領域の最も大きな最大値又は極大値の強度である。図3Aと3Bを参照して説明した通り、本方法は、1画素サイズの極大値の数を発見し、計数する工程を有する。好ましい実施形態では、そのサブ領域は、3×3サイズの画素である。次に、幾つかの領域は、それらの面積、四角形類似度係数及び発見された極大値の数に基づく所定の条件により破棄される。一つの実施形態では、極大値は、その極大値を中心とする3×3のサブ領域に含まれる画素の積算合計が所定の閾値を下回る場合に破棄される。次の条件の中の一つを満たした場合、領域は誤ったタッチ領域である可能性が非常に高い。面積<面積min面積>面積max四角形類似度係数<実験に基づき7/12≒0.6極大値の数>5又は<1面積minと面積maxの値は、実験により決定され、物理的なコンデンサの大きさに依存する。次の条件の中の一つを満たした場合、大きな物体がマルチタッチ装置上に存在する或いはマルチタッチ装置が無効データを提供している可能性が非常に高い。最大面積>2面積max或いは>画像全体の面積の10排除された区画の数>2実験により、或いは例えば、二本の親指がパネルを保持している場合次に、それ以外の領域の重心又は幾何学的中心xc,ycを計算する。前述した通り、一つの領域が一つの1画素サイズの極大値を有する場合、タッチ位置は、その領域の全ての画素の座標を用いて、その領域の幾何学的中心を計算することによって決定される。複数の1画素サイズの極大値が有る場合、各極大値を中心とするサブ領域内の9個の画素の座標だけを考慮して、幾何学的中心を計算する。幾何学的中心の計算は、文献により周知であり、例えば、次の通り実行できる。更にデータ処理を改善した形態では、大きな物体がマルチタッチ装置上に存在する場合、その物体が複数数千のフレームに渡って留まる可能性が高い。そのため、画像を認証/排除した結果は、誤ったタッチ画像履歴ビットFIFOに保存される。そのFIFO内の全てのビットが偽である場合、有効なタッチ/領域のxc,yc,zmaxを追尾部分に転送し、そうでなければ、本方法を停止して、次のフレームの取得を継続できる恐らく低い周波数で実行される。マルチタッチ方法の追尾部分の主な目的は、検出したタッチがマルチタッチ装置上に留まっている間それらのタッチの正しい識別子を維持することである。二次的ではあるが、劣らず重要な目的は、タッチの誤検出、即ち、真のタッチとして検出されるがマルチタッチ装置上に物理的に存在しないタッチを抑制することである。第三の目的は、空間的及び時間的に一定の軌跡を集めることである。それは、本質的に正しい識別子を維持することと関連する。空間的及び時間的に一定の軌跡が得られると、如何なる複雑な軌跡のフィルタリング、平滑化又は分析も可能となる。従って、空間的及び時間的に一定の軌跡によって、ユーザの入力手段及び機能性を豊富にすることができる。本方法の追尾部分の入力9000N個のタッチ座標ベクトルは希薄であるので、希薄追尾技術を適用できる。本方法全体の入力原画像7000が非常に綺麗であれば、距離に基づく最隣接法、統計/状態に基づく最隣接標準フィルタなどの簡単な手段を用いて、関連付けを実行できる。しかし、通常のマルチタッチ装置では、著しく損傷した入力データのために、多くの誤検出が発生して、複数のフレームの間に真の目標を見失う可能性が有る。そのため、線形和割当問題LSAPを解決して、新たなタッチを既存の軌跡にロバストに合致させることを提案する。希薄な及び濃密なデータを関連付けるためにLSAPを使用することは文献により周知である。ここで提案する方法の追尾部分の全体が図9に図示されている。発見された軌跡毎に、一つの割当状態ビットFIFOが有る。次の二つの形式の軌跡が有る。ラベルを付与されていない軌跡TrNL:誤検出と真の目標とする軌跡を含み、ラベルを付与されていない軌跡は、一つのID、関連付けられた割当状態ビットFIFO及び最後に成功した割当のx,y,zを有する。ラベルを付与されている軌跡TrL:真の目標とする軌跡だけを含み含むべきであり、ラベルを付与されている軌跡は、一つのID、関連付けられた割当状態ビットFIFO及び最後に成功したK個の割当に関する長さKのx,y,z軌跡FIFOを有する。二つの形式の軌跡を設けることによって、ラベルを付与されている軌跡への割当に成功しなかった場合に、ラベルを付与されていない軌跡にタッチを集めること3020によって、誤検出を抑制することができる。ラベルを付与されていない軌跡が複数回の割当に成功したら、その軌跡はラベルを付与され、そうでなければ、削除される。最終的に、ラベルを付与されている軌跡だけが出力として使用される3030。タッチの入力毎に、軌跡追加ブロック3009は、次の通り、軌跡を生成する。割当完了状態FIFOを偽にリセットする、IDはその時点の割当可能なIDであり、軌跡の生成後に、その時点のIDを増分する、ラベルを付与されていない軌跡に対しては、検出したタッチのx,y,zにx,y,zを単純に設定する、ラベルを付与されている軌跡に対しては、軌跡完了FIFOをゼロに設定して、検出したタッチのx,y,zをそのFIFOに挿入する。検出したタッチが無い場合及び入力画像全体が排除された場合には、それぞれゼロ更新軌跡ブロック3008が実行される。このブロックは、軌跡ラベルを付与されている軌跡及びラベルを付与されていない軌跡が得られる毎に割当状態FIFOに偽を挿入する。ラベルを付与されている軌跡の更新ブロック3023は、割当ベクトルを受け取る。そのベクトルの一つの要素の指数は、更新する軌跡の軌跡IDである。割当ベクトルの一つの要素の値は、軌跡に挿入するタッチの指数又は対応する軌跡を更新しない、或いはタッチに割り当てないことを意味するNOT_ASSIGNEDである。同様のブロック3024は、ラベルを付与されていない軌跡を更新する。ブロック3002~3006は、全てのタッチと全てのラベルを付与されている軌跡及びラベルを付与されていない軌跡の分析が可能な判定ブロックである。リセット条件が満たされた場合、条件付き軌跡リセット3025が発動されて、全ての選択された軌跡が削除される。一般的に、合理的なリセット条件は、選択された軌跡の全ての状態FIFOバッファの全てのビットが、K個のフレームの間選択された軌跡の何れも割当に成功しなかったことを意味する偽であるか否かであり、ここで、Kは、FIFOバッファの長さである。ラベルを付与されている軌跡に関しては、全ての軌跡を一挙に削除して、その後の割当用の軌跡IDの一貫性を保証するのが賢明である。条件付き軌跡削除3026は、条件付きリセット3025と同様に実現できるが、一つの特定の軌跡割当状態FIFOだけが分析されて、全てのビットが偽である場合に、その特定の軌跡だけを削除することが相違する。その実現形態によっては、軌跡の削除は、軌跡IDの一貫性を保証しない何れにせよ、それはラベルを付与されていない軌跡にとって重要ではない。ラベルを付与されていない軌跡の割当状態FIFOは、新たなラベルを付与されていない軌跡を管理するブロック3021に繋がるブロック3007で分析される。特定のラベルを付与されていない軌跡に十分な条件を適用する場合、ラベルを付与されている軌跡を新たに生成して3022、その特定のラベルを付与されていない軌跡のx,y,zにより軌跡FIFOの第一のエントリを初期化する。次に、そのラベルを付与されていない軌跡を削除する。この十分な条件とは、真のビット数が所定の閾値数Tを上回るか否かである。それは、それ以前のK個のフレームの間にT個を上回るフレームに渡って、ラベルを付与されていない軌跡の割当に成功したことを意味し、ここで、KはFIFOバッファの大きさである。次に、時間的及び空間的な関連性及び一貫性に関して、ラベルを付与されている軌跡をフィルタリングする3030。以下で説明する通り、フィルタリングした軌跡に基づき、幾つかのパラメータを更新できる3031。軌跡フィルタリング3030は、カルマンフィルタリングにより実行できる。しかし、使用したシステムにおいて、カルマンフィルタは、十分な平滑度を提供しない。そのため、カルマンによる平滑化は使用可能であるが、リアルタイムの実現形態において良い選択肢ではない。しかしながら、十分に満足できる平滑度は、例えば、次の通り、一定数のサンプルによる簡単な移動平均ローパスフィルタによって実現できる。使用されているマルチタッチシステムにおいて、次の通り、Nに関して良好な選択肢が三つだけ存在することが実験により発見されている。N=2:平滑度が最も低く、応答が速く、出力が指の動きに良く対応しているとの感覚を与え、時には、軌跡が完全にはフィルタリングされていないとの印象を残す、N=3:平滑度は十分であり、応答も申し分無く、滑らかであるとの印象を与えるが、依然として許容可能な遅延を認める人も有る、N=4:非常に滑らかで、応答が遅く、その結果非常に滑らかな軌跡となるが、それ以前の三つのフレームまでの平均を計算するとの事実が応答を遅くしている。N=1は、フィルタリングしないことを意味する。更に、Nの選択は、明らかに本方法を動作させる周波数に依存し、その周波数を著しく上昇させた場合には、より一層大きなNを選択するのが賢明である。線形和割当問題LSAP3010,3020は、組合せの最適化に関する昔からの問題であり、そのため周知である。その本来の形態は、次の通り記述される。サイズN×Nの正方行列Cが与えられ、その要素が0又は正である場合に、行及び列毎にちょうど一つの要素を発見して、その発見したN個の要素の合計を取り得る最も小さい合計とする。コスト行列Cが軌跡を目標に合致させる或る種の距離又は逆尤度で占められている場合、複数の目標を追尾するためのデータ関連付け問題を解決するために、このLSAPを使用できることも知られている。前述した通りの本来の形態では、この解法は、Nの合計の計算及び比較を必要とし、そのため、実行時間が指数関数的に増大する。非常に悪い状況において、On3により問題を解決するアルゴリズムが知られている。マルチタッチ追尾に関して、ムンクレスMunkresアルゴリズムは、軌跡数が必ずしもタッチ数と同じではない矩形行列に容易に拡張でき、ソフトゲーティングが可能である、即ち、事前に或る種の割当を容易に実現できないので、そのアルゴリズムをLSAPを解くために使用する。ラベルを付与されていない軌跡は、主に誤検出を抑制するために設けられているので、ラベルを付与されていない軌跡及びタッチのLSAPに関するコスト行列は、次の通り、簡単にソフトゲート距離から成る距離行列とすることができる。TrNLiは、ラベルを付与されていない軌跡iのx,yを意味し、Tojは、タッチjのx,yを意味する。ソフトゲート距離測度DSGは、次の式で与えられる。無限距離∝は、NOT_ALLOWED割当を意味する。実現形態では、NOT_ALLOWEDは、使用する数値範囲の最も大きな値とすることができる例えば、コスト行列を16ビットで計算する場合、NOT_ALLOWED=0×FFFF。Dmaxは、ゲート距離である。ラベルを付与されていない軌跡の割当に関して、一定のゲート距離を使用できる。このゲート距離は、実験により、或いは物理的なコンデンサの大きさが与えられた場合に、二つの連続するフレーム間の物理的に取り得る最大偏位、即ち、物理的な指の最大速度との関連を推定することによって求められる。一つの好ましい実施形態では、二つの連続するフレーム間の最大偏位を2cmまで物理的なコンデンサの大きさが7×7mm2まで可能とするDmax=3である。図10Aは、ラベルを付与されていない軌跡の初期化を可能とする、フレームKにおいて検出された三つのタッチ3015を図示している。図10Bは、フレームKにおいて検出されたタッチ3015とフレームK1において検出されたタッチ3016を図示している。ソフトゲート3017の外の一つのタッチは、図示された半径Dmaxゲート距離の円内に含まれていないので、そのタッチが決定される。図10Cでは、フレームK1において、割当3018が発見されている。ラベルを付与されている軌跡をタッチに合致させるためのコスト行列Cは、基本的にラベルを付与されていない軌跡用の行列と同じであるが、次の相違点を有する。四つ以内のサンプルが軌跡に使用可能な場合、それらに関連するコスト行列の要素がラベルを付与されていない軌跡と同じ手法で計算され、四つ以上のサンプルが使用可能な場合、最も新しい四つのサンプルの平均速度単位三つの近似瞬間速度値の平均が計算され、この平均速度単位<1の場合、コスト行列の関連する要素がラベルを付与されていない軌跡と同じ手法で計算され、この平均速度単位≧1の場合、次の工程が実行され、最も新しい四つのサンプルの平均相対方向変化三つの近似瞬間速度値の平均が計算され、この平均速度単位と平均相対方向変化に基づき、次の通り、タッチ位置が予測され、次の通り、ゲート距離が設定増大され、Dmax,new=平均||VTrL,i||Dmax関連する平均速度単位≧1の軌跡のコスト行列の要素が、予測された位置に関して計算され、ソフトゲート処理が、ゲート距離を増大して実行される。これらの相違点は、大きな偏位に関する位置を予測しているので、誤検出に弱くならずに、大きな偏位速い動きを可能としている。図11は、大きな偏位に関して予測したタッチ位置を用いて、ゲート距離及び割当の変化D’max<D’’max<D’’’maxを図示している。以下の記述は、基本的に両方ラベルを付与されていない軌跡とラベルを付与されている軌跡のコスト行列の計算に関して有効であるが、追尾方法の設定のために、ラベルを付与されていない軌跡だけに有効である。ラベルを付与されていない軌跡とタッチの第二のLSAP3020に関してコスト行列を計算する場合、ラベルを付与されている軌跡とタッチの第一のLSAP3010後に如何なるタッチに対する軌跡の割当に成功したのかを保持しなければならない。既に割り当てられたタッチの要素は、単純に不定NOT_ALLOWEDに設定される。それは、一つのタッチが決して二回割り当てられないことを保証している。言い換えると、本方法の追尾部分は、データの関連付けLSAPとフィルタリングを意味する。この追尾方法の最終出力3032は、N個のID,N,x,y,zであり、ここで、Nは、割当状態FIFOが一定の条件を満たす、ラベルを付与されている軌跡の数である。合理的な条件は、割当状態FIFOの中の少なくとも一つが1真であることである。それは、ラベルを付与されている軌跡が、K-1Kは状態FIFOの長さ個のフレームの間に見失われた場合でも出力されることを保証している。IDは、対応する軌跡の識別子であり、x,y,zは軌跡フィルタの出力である。タッチ座標x,yとタッチ強度zは、両方とも特定の指と関係しない。図12は、本発明による追尾方法の一つの実施形態の主要工程の簡略化したフローチャートを図示している。タッチ検出部分10002000の出力その時点のフレームに基づき、その時点のフレームの検出位置と予測位置の間の距離を含む距離行列を計算する3018。別の実施形態では、距離行列の代わりに尤度行列を計算する。その行列は、次の四つのパラメータ状態の同時尤度の推定値を有する。距離速度単位の変化運動方向の変化強度の変化次に、線形割当問題3010,3020を解く。それは、パターン照合無しの追尾に関する良好な選択肢を示し、大きな偏位速い動きと不連続が有った場合に追尾を見失い易い。図示されていないフィルタリング後に、軌跡FIFO3029を更新して3031、軌跡の最後のエントリ3028に基づき、行列の計算3018を再び開始する。図13は、本発明の一つの実施形態によるジェスチャ認識4000の主要工程のフローチャートを図示している。簡単なジェスチャの場合、軌跡の分析が実行される。複雑なジェスチャの場合、メモリに保存している基準ジェスチャ軌跡とのロバストな比較が実行される。軌跡FIFO3029に関する予備分析4001は、簡単なジェスチャ又はジェスチャでないことを検出できる。ジェスチャでない場合4002、座標又は相対運動ベクトルが出力される4003。簡単なジェスチャの場合4004、シンプルジェスチャ信号が出力される4005。簡単なジェスチャでない場合、次の工程が実行される。軌跡の連鎖符号化4006基準軌跡4008に関するレーベンシュタイン距離の計算4007距離が最も小さいジェスチャの選択4009ここで提案したジェスチャ認識は、如何なる種類の指による如何なる種類のジェスチャも認識できるので、柔軟である。前述した方法を用いて、複数のタッチが検出されて、それらが動かなくてもマルチタッチ装置上に留まっている限り追尾される。しかし、ソフトウェアキーボードアプリケーションは、マルチタッチ装置上に有る指からではなく、タップしている指からの入力だけを必要とする。図2の方法に適用しなければならない次の工程によって、N個の指によるソフトウェアキーボードアプリケーション、例えば、手がマルチタッチ装置上に留まることを許容する10本の指によるソフトウェアキーボードアプリケーションを実現できる。第二の濃淡レベルフィルタリングブロック1050の出力Fk:t=kにおけるフレームを画像セグメント化2010に供給する代わりに、t=kにおけるフレームを保存して、本方法を最初から繰り返し、一つのインスタンス後に、第二のフレームFk1:t=k1におけるフレームを取得し、離散的な時間微分dFk1=Fk1-Fkを計算し、この時間微分を整流し、即ち、負の画素に対してゼロを設定し、dFを残る工程に供給して、ID,N,x,y,zを取得する。この時間微分を計算する処理は、時間的にほぼ一定である情報を取り除いて、動的な情報だけを含む画像を残す。そのため、dFは、手又は指がマルチタッチ装置上で静止している場合にはゼロであり、指でタップしている場合にはゼロと異なる。更なる処理は、パルス動いていないことだけを許容したり、フレーム毎に一つのタッチだけを許容するように調整する必要がある。微分画像が悪すぎる場合、軌跡及び割当状態バッファの分析により本方法を通常通り実行するための追尾ブロック3000後に、タップ情報も抽出できる。本出願において説明した方法及び処理工程は、汎用プロセッサ、デジタル信号プロセッサDSP、特定用途向け集積回路ASIC、フィールドプログラム可能ゲートアレイFPGA、個別部品又はそれらの組合せにより実行されるソフトウェアによって実施できる。異なるブロックの機能を実行するために、並びに単一のブロックに対しても、異なるハードウェアコンポーネント及び/又はソフトウェアコンポーネントを使用できる。従って、本発明による方法の如何なる工程も、ハードウェア、プロセッサにより実行されるソフトウェア又は両者の組合せにより実現できる。ソフトウェアには、ファームウェアが含まれ、ハードウェアのドライバは、オペレーティングシステム又はアプリケーションプログラム内で動作する。そのため、本発明は、ここで述べたオペレーションを実行するためのコンピュータプログラム製品にも関する。ソフトウェアで実現する場合、ここで述べた機能は、コンピュータ読取可能媒体に一つ以上の命令として保存できる。使用できる記憶媒体の例には、ランダムアクセスメモリRAM、読取専用メモリROM、フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、その他の光ディスク、或いはコンピュータやそれ以外のIT機器/器具からアクセスできる使用可能な媒体が含まれる。"