(57)【要約】タッチ面（５４、２５４、３５４）に対するポインタを検出する装置（５０）は、タッチ面を包含して重なり合う視界を有し、間隔を置いて配置された少なくとも２つの撮像組立体（５８）を有する。撮像組立体は、タッチ面を３次元で斜視図として見る。撮像組立体は、異なる位置からの重なり合う画像を捕捉する。プロセッサ（６０）は、タッチ面に対するポインタの位置を決定するために、少なくとも１つの撮像組立体により生成された画像データを受信し、処理する。
2007536652.tif 000002
【特許請求の範囲】
【請求項１】
タッチ面に対するポインタを検出する装置であって、
前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスであって、前記撮像デバイスは前記タッチ面を３次元で斜視図として見ており、前記撮像デバイスは異なる位置からの重なり合う画像を取得する、前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスと、
前記タッチ面に対する前記ポインタの位置を決定するために、少なくとも１つの前記撮像デバイスにより生成された画像データを受信し処理するプロセッサと、を有するタッチ面に対するポインタを検出する装置。
【請求項２】
前記斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために各撮像デバイスは較正され、取得した画像内でポインタが捕捉されたときに各撮像デバイスはポインタ座標データを生成する請求項１記載の装置。
【請求項３】
前記タッチ面に対する前記ポインタの前記位置を決定するために、前記プロセッサは前記ポインタ座標データを三角測量する請求項２記載の装置。
【請求項４】
一対の撮像デバイスを有する請求項３記載の装置。
【請求項５】
各撮像デバイスは、前記タッチ面の異なるコーナーに隣接して配置される請求項４記載の装置。
【請求項６】
各撮像デバイスは、前記タッチ面から間隔を置いて配置され、前記タッチ面の前方に配置される請求項５記載の装置。
【請求項７】
各撮像デバイスは、前記タッチ面の周囲の全体が最低でも各撮像デバイスの視界内に納まるように、前記タッチ面に対して配置される請求項６記載の装置。
【請求項８】
各撮像デバイスは、前記タッチ面の前方に少なくとも２.５センチメートルに等しい距離だけ間隔を置いて配置される請求項７記載の装置。
【請求項９】
前記タッチ面は、ベゼルによって境界を接せられる請求項８記載の装置。
【請求項１０】
各撮像デバイスの光軸が、前記タッチ面のコーナーと一致し、前記タッチ面の上端縁と約４５度に等しい角度を形成するように、各撮像デバイスが指向されている請求項７記載の装置。
【請求項１１】
各撮像デバイスの外部オリエンテーション・パラメタ（Ｘ0、Ｙ0、Ｚ0）及び（ω、φ、κ）が、較正の間に決定される請求項３記載の装置であって、
（Ｘ0、Ｙ0、Ｚ0）は、前記撮像デバイスの前記光学的中心の前記空間的位置であり、
（ω、φ、κ）は、前記タッチ面の前記３次元の座標系に対する前記撮像デバイスの前記光軸の前記方位角である請求項３記載の装置。
【請求項１２】
各撮像デバイスの内部オリエンテーション・パラメタｆ、ｘ0、ｙ0及びΔx、Δyが、較正の間に決定される請求項１１記載の装置であって、
（Δx、Δy）は、前記撮像デバイスのレンズの不完全な性質のために導入される歪曲項を表し、
ｆは、前記撮像デバイスの前記焦点距離であり、
（ｘ0、ｙ0）は、前記撮像デバイスの前記主点の前記座標である、請求項１１記載の装置。
【請求項１３】
前記関係は、共線性方程式を使用して次式のように表現される請求項１２記載の装置であって、
【数１】
2007536652.tif 000008
【数２】
2007536652.tif 000009
ここで、
（ｘ、ｙ）は、前記３次元斜視図内の点（Ｘ、Ｙ、Ｚ）に対応する取得した画像内の点の前記座標であり、
（Ｒ1、Ｒ2、Ｒ3）は、点（Ｘ、Ｙ、Ｚ）と、前記空間的位置（Ｘ0、Ｙ0、Ｚ0）と、前記方位角（ω、φ、κ）に依存する項である請求項１２記載の装置。
【請求項１４】
較正の間に、前記タッチ面上の較正点（Ｘ、Ｙ、Ｚ）と前記較正点に対応する像点（ｘ、ｙ）が測定され、前記共線性方程式は前記測定した較正点と像点を使用して解かれ、その結果により前記外部及び内部オリエンテーション・パラメタを決定する請求項１３記載の装置。
【請求項１５】
前記共線性方程式は、最小二乗法を使用して解かれる請求項１４記載の装置。
【請求項１６】
前記較正点は、前記タッチ面の前記周囲に沿って間隔を置いた位置にある請求項１４記載の装置。
【請求項１７】
前記較正点は、前記タッチ面の前記コーナーと端縁の中点とに位置している請求項１６記載の装置。
【請求項１８】
前記外部オリエンテーション・パラメタは、消失点法を使用して決定される請求項１１記載の装置。
【請求項１９】
前記決定した外部オリエンテーション・パラメタは、最小二乗法を使用して改良される請求項１８記載の装置。
【請求項２０】
前記外部及び内部オリエンテーション・パラメタは、平面相同を使用して決定される請求項１８記載の装置。
【請求項２１】
前記外部オリエンテーション・パラメタは、３点法を使用して決定される請求項１８記載の装置。
【請求項２２】
各撮像デバイスは、前記取得した画像内の前記ポインタを前記撮像デバイスが確かに識別した確実度を表す確実度値も生成する請求項３記載の装置。
【請求項２３】
前記確実度値は、前記タッチ面に対する前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記プロセッサにより使用される請求項２２記載の装置。
【請求項２４】
前記撮像デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記プロセッサは前記撮像デバイスにより生成されたポインタ座標データを無視する請求項２３記載の装置。
【請求項２５】
一対の撮像デバイスを有する請求項２４記載の装置。
【請求項２６】
各撮像デバイスは、前記タッチ面の異なるコーナーに隣接して配置される請求項２５記載の装置。
【請求項２７】
各撮像デバイスは、前記タッチ面から間隔を置いて配置され、前記タッチ面の前方に配置される請求項２６記載の装置。
【請求項２８】
各撮像デバイスは、前記タッチ面の周囲の全体が最低でも各撮像デバイスの視界内に納まるように、前記タッチ面に対して配置される請求項２７記載の装置。
【請求項２９】
各撮像デバイスの光軸が、前記タッチ面の前記コーナーと一致し、前記タッチ面の上端縁と約４５度に等しい角度を形成するように、各撮像デバイスが指向されている請求項２８記載の装置。
【請求項３０】
前記撮像デバイスは、取得した画像内のポインタの決定を支援するために交信する請求項３記載の装置。
【請求項３１】
前記撮像デバイスの取得した画像内のポインタを検出する前記撮像デバイスは、他の撮像デバイスとデータを最初に交信し、前記撮像デバイスの取得した画像内のポインタを検出して前記他の撮像デバイスを支援する請求項３０記載の装置。
【請求項３２】
各撮像デバイスは、前記撮像デバイスが前記取得した画像内の前記ポインタを確かに識別した確実度を表す確実度値も生成する請求項３１記載の装置。
【請求項３３】
前記確実度値は、前記タッチ面に対する前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記プロセッサにより使用される請求項３２記載の装置。
【請求項３４】
前記撮像デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記プロセッサは前記撮像デバイスにより生成されたポインタ座標データを無視する請求項３３記載の装置。
【請求項３５】
一対の撮像デバイスを有する請求項３４記載の装置。
【請求項３６】
各撮像デバイスは、前記タッチ面の異なるコーナーに隣接して配置される請求項３５記載の装置。
【請求項３７】
各撮像デバイスは、前記タッチ面から間隔を置いて配置され、前記タッチ面の前方に配置される請求項３６記載の装置。
【請求項３８】
各撮像デバイスは、前記タッチ面の周囲の全体が最低でも各撮像デバイスの視界内に納まるように、前記タッチ面に対して配置される請求項３７記載の装置。
【請求項３９】
各撮像デバイスの光軸が、前記タッチ面の前記コーナーと一致し、前記タッチ面の上端縁と約４５度に等しい角度を形成するように、各撮像デバイスが指向されている請求項３８記載の装置。
【請求項４０】
各撮像デバイスは、各取得した画像内のピクセルのサブセットを処理する請求項３記載の装置。
【請求項４１】
前記ピクセル・サブセットは、前記撮像デバイスの前記斜視図内の前記タッチ面の前記境界に対応する請求項４０記載の装置。
【請求項４２】
各撮像デバイスは、前記撮像デバイスが前記取得した画像内の前記ポインタを確かに識別した確実度を表す確実度値も生成する請求項４１記載の装置。
【請求項４３】
前記確実度値は、前記タッチ面に対する前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記プロセッサにより使用される請求項４２記載の装置。
【請求項４４】
前記撮像デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記プロセッサは前記撮像デバイスにより生成されたポインタ座標データを無視する請求項４３記載の装置。
【請求項４５】
一対の撮像デバイスを有する請求項４４記載の装置。
【請求項４６】
各撮像デバイスは、前記タッチ面の異なるコーナーに隣接して配置される請求項４５記載の装置。
【請求項４７】
各撮像デバイスは、前記タッチ面から間隔を置いて配置され、前記タッチ面の前方に配置される請求項４６記載の装置。
【請求項４８】
各撮像デバイスは、前記タッチ面の周囲の全体が最低でも各撮像デバイスの視界内に納まるように、前記タッチ面に対して配置される請求項４７記載の装置。
【請求項４９】
各撮像デバイスの光軸が、前記タッチ面の前記コーナーと一致し、前記タッチ面の上端縁と約４５度に等しい角度を形成するように、各撮像デバイスが指向されている請求項４８記載の装置。
【請求項５０】
前記撮像デバイスは、携帯用である請求項４記載の装置。
【請求項５１】
各撮像デバイスは、ハウジング内に搭載されたディジタル・カメラとディジタル信号処理プロセッサを有し、前記ディジタル信号処理プロセッサは、前記ポインタ座標データを生成するために、前記ディジタル・カメラにより取得された画像フレームを処理する請求項５０記載の装置。
【請求項５２】
各撮像デバイスは、ディジタル・カメラとディジタル信号処理プロセッサを有し、複数の撮像デバイスの両方が単一のハウジング内に搭載されており、前記ディジタル信号処理プロセッサは、前記ポインタ座標データを生成するために、前記ディジタル・カメラにより取得された画像データを処理する請求項５０記載の装置。
【請求項５３】
前記タッチ面に沿って間隔を置いた位置に３つ以上の撮像デバイスを有し、各撮像デバイスは前記タッチ面の異なる部分を包含する視界を有する請求項３記載の装置。
【請求項５４】
前記撮像デバイスは２つが１対として配置され、各１対の撮像デバイスは前記タッチ面の異なる部分を見る請求項５３記載の装置。
【請求項５５】
ポインタを使用してコンタクトが行われる全体として長方形の受動タッチ面と、
前記タッチ面の少なくとも２つのコーナーに隣接して取り外し可能に搭載されたカメラ・デバイスであって、前記カメラ・デバイスのそれぞれは、前記タッチ面に向かって全体を見渡せるような視界を有し、前記タッチ面の前記平面の前方に配置されており、前記カメラ・デバイスの前記視界は、前記タッチ面の上に重なり合っており、前記カメラ・デバイスは、前記タッチ面の画像を取得する、前記タッチ面の少なくとも２つのコーナーに隣接して取り外し可能に搭載されたカメラ・デバイスと、
三角測量によって前記タッチ面に対する前記ポインタの前記位置を決定するために、前記画像データを受信し処理するプロセッサと、を有するカメラ・ベースのタッチ・システム。
【請求項５６】
前記斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために各カメラ・デバイスは較正され、取得した画像内でポインタが捕捉されたときに各カメラ・デバイスはポインタ座標データを生成する請求項５５記載のタッチ・システム。
【請求項５７】
各カメラ・デバイスは、各取得した画像内のピクセルのサブセットを処理する請求項５６記載のタッチ・システム。
【請求項５８】
前記ピクセル・サブセットは、前記カメラ・デバイスの前記斜視図内の前記タッチ面の前記境界に対応する請求項５７記載のタッチ・システム。
【請求項５９】
各カメラ・デバイスは最低でも前記タッチ面の前記４つのコーナーを各カメラ・デバイスの視界内に見るように、各カメラ・デバイスが前記タッチ面の前方に十分な距離の間隔を置いて配置される請求項５８記載のタッチ・システム。
【請求項６０】
各カメラ・デバイスは、前記カメラ・デバイスが前記取得した画像内の前記ポインタを確かに識別した確実度を表す確実度値も生成する請求項５９記載のタッチ・システム。
【請求項６１】
前記確実度値は、前記タッチ面に対する前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記プロセッサにより使用される請求項６０記載のタッチ・システム。
【請求項６２】
前記カメラ・デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記プロセッサは前記カメラ・デバイスにより生成されたポインタ座標データを無視する請求項６１記載のタッチ・システム。
【請求項６３】
全体として長方形のタッチ面に対するポインタを検出する装置であって、
前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスであって、前記撮像デバイスは前記タッチ面を３次元で斜視図として見ており、前記斜視図は前記タッチ面の少なくとも前記４つのコーナーを含み、前記撮像デバイスは異なる位置からの重なり合う画像を取得する、前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスと、
三角測量を使用して前記タッチ面に対する前記ポインタの位置を決定するために、少なくとも１つの前記撮像デバイスにより生成された画像データを受信し処理するプロセッサと、を有する全体として長方形のタッチ面に対するポインタを検出する装置。
【請求項６４】
前記斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために各撮像デバイスは較正され、取得した画像内でポインタが捕捉されたときに各撮像デバイスはポインタ座標データを出力する請求項６３記載の装置。
【請求項６５】
各撮像デバイスの前記タッチ面の全体に対する視界が遮られるのを阻止するために、各撮像デバイスは前記タッチ面の前方に十分な距離の間隔を置いて配置されている請求項６４記載の装置。
【請求項６６】
各撮像デバイスは、前記撮像デバイスが前記取得した画像内の前記ポインタを確かに識別した確実度を表す確実度値も生成する請求項６５記載の装置。
【請求項６７】
前記確実度値は、前記タッチ面に対する前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記プロセッサにより使用される請求項６６記載の装置。
【請求項６８】
前記撮像デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記プロセッサは前記撮像デバイスにより生成されたポインタ座標データを無視する請求項６７記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に対話型の入力システムに関し、特にタッチ面に対応するポインタを検出するための装置及び方法に関する。
【背景技術】
【０００２】
タッチ・システムは、当該分野において公知であり、利用者入力を生成するためにポインタを使用してコンタクトが行われるタッチ面を有するタッチ・スクリーンを通常有している。タッチ面を使用してポインタ・コンタクトが検出され、ポインタ・コンタクトが行われるタッチ面のエリアに応じて対応する出力を生成するために使用される。普通のタッチ・システムは、タッチ面上のポインタ・コンタクトを識別するために、アナログ抵抗性、電磁気的、容量性、音響的あるいは機械のビジョン技術を利用する。
【０００３】
たとえば、２００１年７月５日に出願され、２００２年１月１０日にＰＣＴ特許出願公開明細書第ＷＯ  ０２／０３３１６として公開された、本発明の譲受人 SMART Technologies Inc. に譲渡された、国際ＰＣＴ特許出願公開明細書ＰＣＴ／カナダ０１／００９８０は、コンピュータにより生成された画像がその上に表示される受動形のタッチ面を含むタッチ・スクリーンを有するカメラ・ベースのタッチ・システムを開示している。長方形のベゼルあるいはフレームが、タッチ面を囲み、そのコーナーに複数のディジタル・カメラを支えている。複数のディジタル・カメラは、タッチ面の平面を取り囲み、全体として一方の端から他方の端まで見渡せる、重なり合っている視界を有する。複数のディジタル・カメラは、異なる位置から一方の端から他方の端までタッチ面を見渡せる画像を取得し、画像データを生成する。ディジタル・カメラにより取得された画像データは、捕捉した画像データの中にポインタが存在するかどうかを判定するために、ディジタル信号処理プロセッサにより処理される。捕捉した画像データの中にポインタが存在すると判定された場合には、ディジタル信号処理プロセッサは、マスター・コントローラにポインタ特性データを送る。次にマスター・コントローラは、タッチ面に対応する（ｘ、ｙ）座標内のポインタの位置を判定するために、三角測量を使用してポインタ特性データを処理する。ポインタ座標データは、１つまたは複数のアプリケーション・プログラムを実行するコンピュータに運ばれる。コンピュータは、タッチ面に表示されるコンピュータにより生成された画像を更新するために、ポインタ座標データを使用する。したがって、タッチ面上のポインタ・コンタクトは、書き込みあるいは図面として記録されることが可能であり、あるいは、コンピュータにより実行されるアプリケーション・プログラムの実行を制御するために使用できる。
【０００４】
上記のタッチ・システムは、非常に良く機能を発揮するが、ビジョン・ベースのタッチ・システムの改良が連続して求められている。
【０００５】
したがって、タッチ面に対応するポインタを検出するための新規な装置及び方法を提供することが、本発明の目的である。
【発明の開示】
【０００６】
本発明の１つの態様によれば、間隔を置いて配置され、タッチ面を包含して重なり合う視界を有する少なくとも２つの撮像デバイスを有し、タッチ面に対するポインタを検出する装置が提供される。撮像デバイスは、タッチ面を３次元で斜視図として見る。撮像デバイスは、異なる位置から画像を取得する。プロセッサは、タッチ面に対するポインタの位置を決定するために、少なくとも１つの撮像デバイスにより生成された画像データを受信し処理する。
【０００７】
各撮像デバイスは、各撮像デバイスの斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために、較正される。各撮像デバイスは、取得した画像内でポインタが捕捉されると、ポインタ座標データを生成する。プロセッサは、タッチ面に対するポインタの位置を決定するために、ポインタ座標データを三角測量する。
【０００８】
１つの実施態様においては、装置は一対の撮像デバイスを有し、各撮像デバイスはタッチ面の異なるコーナーに隣接して配置されている。各撮像デバイスは、タッチ面から間隔を置いて配置され、タッチ面の前方に間隔を置いて配置されている。各撮像デバイスは、タッチ面の周囲の全体が最低でも各撮像デバイスの斜視図内に納まるように、タッチ面に対して配置されている。
【０００９】
１つの実施態様においては、較正の間に、タッチ面上の較正点（Ｘ、Ｙ、Ｚ）と較正点に対応する像点（ｘ、ｙ）が測定される。撮像デバイスの外部及び内部オリエンテーション・パラメタを決定するために、測定された較正点と像点を使用して、共線性方程式が解かれる。共線性方程式は、最小二乗法を使用して解かれる。較正点は、タッチ面のコーナー及びエッジ中点のようなタッチ面の周囲に沿って間隔を置いた位置にある。別の実施態様においては、撮像デバイスの外部オリエンテーション・パラメタは、消失点法を使用して決定される。さらに別の実施態様においては、撮像デバイスの外部及び内部オリエンテーション・パラメタは、平面相同を使用して決定される。さらに別の実施態様においては、撮像デバイスの外部オリエンテーション・パラメタは、３点法を使用して決定される。
【００１０】
１つの実施態様においては、各撮像デバイスは、撮像デバイスが取得した画像のポインタを確かに識別した確実度を表す確実度値を生成する。確実度値は、タッチ面に対するポインタの位置を決定するために使用されるポインタ座標データを決定するために、プロセッサにより使用される。撮像デバイスに関連する確実度値がスレッショルド・レベル以下である場合は、プロセッサは撮像デバイスにより生成されたポインタ座標データを無視する。
【００１１】
本発明の別の態様によれば、ポインタを使用してコンタクトが行われる全体として長方形の受動タッチ面を有するカメラ・ベースのタッチ・システムが提供される。カメラ・デバイスは、タッチ面の少なくとも２つのコーナーに隣接して取り外し可能に搭載されている。カメラ・デバイスのそれぞれは、タッチ面に向かって全体を見渡せるような視界を有し、タッチ面の平面の前方に配置されている。カメラ・デバイスの視界は、タッチ面の上に重なり合っている。カメラ・デバイスは、タッチ面の画像を取得する。三角測量によってタッチ面に対するポインタの位置を決定するために、プロセッサは画像データを受信し処理する。
【００１２】
本発明のさらに別の態様によれば、タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスを有し、全体として長方形のタッチ面に対するポインタを検出する装置が提供される。撮像デバイスはタッチ面を３次元で斜視図として見ており、斜視図は最低でもタッチ面の４つのコーナーを含んでいる。撮像デバイスは、重なり合う画像を異なる位置から取得する。プロセッサは、タッチ面に対するポインタの位置を三角測量を使用して決定するために、少なくとも１つの撮像デバイスにより生成された画像データを受信し処理する。
【００１３】
撮像デバイスはタッチ面を３次元で斜視図として見ているので、撮像デバイスはタッチ面全体とその周囲のエリアを見ているという点で、本発明は利点を提供している。その結果、画像処理の間に、撮像デバイスにより収集した画像の全体を処理する必要は無く、タッチ面の境界内の情報に対応するピクセルのみを処理すればよい。タッチ面の外部のエリアで起きている雑音及び他の異常は、無視することができる。さらに、撮像デバイスの３次元の斜視図は、利用者の介入を必要とせずに、装置が自動的に較正され、継続して較正されることを可能にする。さらに、撮像デバイスの３次元の斜視図は、撮像デバイスの視界の中に出現する各ポインタに、（ｘ、ｙ、ｚ）座標を割り当てることを可能にする。したがって、本装置はタッチ面に接触する複数のポインタの間のあいまいさを排除することが可能である。
【００１４】
さらに本発明は、撮像デバイスが携帯用であるので、撮像デバイスをタッチ面に向けて基本的に任意の表面に使用可能である利点を提供する。撮像デバイスは、タッチ面に向かって全体を見渡せるような撮像デバイスの視界が表面のコーナーを見るように、かつ、表面を取り囲んでいる任意のベゼルあるいは枠組みにより妨害されないように、表面から十分な距離だけ前方に差し出される必要がある。タッチ面を３次元で斜視図として見る携帯用の撮像デバイスの使用は、任意の大きさの、あるいは湾曲したタッチ面もサポートする。
【発明を実施するための最良の形態】
【００１５】
ここで図１から図３を参照すると、タッチ面に対応するポインタを検出する装置が示されており、全体として参照番号５０により識別されている。本実施形態においては、装置５０はタッチ・システムの形式であり、タッチ面５４を有するタッチ・スクリーン５２を含んでいる。タッチ面５４の上にポインタ・コンタクトが行われる。タッチ・スクリーン５２は、たとえば、プラズマ・ディスプレイ、高精細度テレビジョン（ＨＤＴＶ）、液晶表示装置（ＬＣＤ）、または、タッチ面５４の上に画像を表示する同等物のような、フラット・パネル表示装置である。ベゼル５６が、タッチ面５４を取り囲んでいる。一対の撮像組立体５８が、タッチ・スクリーン５２の一番上のコーナーに隣接して位置している。撮像組立体５８は相互に交信しており、また、１つまたは複数のアプリケーション・プログラムを実行するコンピュータ６０とも交信している。コンピュータ６０は、タッチ面５４に行われたポインタ・コンタクトの位置を判定し、ポインタ・コンタクトに応じてタッチ面５４の上に表示された画像を更新するために、撮像組立体５８により生成されたポインタ座標データを処理する。したがって、タッチ面５４上のポインタ・コンタクトは、書き込みあるいは描画として記録可能であり、すなわち、コンピュータ６０により実行されるアプリケーション・プログラムの実行を制御するために使用することができる。
【００１６】
ここで図４に転じると、撮像組立体５８の一方がより詳細に例示されている。図からわかるように、撮像組立体５８は、タッチ・スクリーン５２のコーナーに対して補完するように成形されたハウジング７２を有する。ハウジング７２の構造（図示せず）は、撮像組立体５８が、タッチ・スクリーンのコーナーに対して所定の位置に固定されることを可能にする。しかし、撮像組立体５８はタッチ・スクリーン５２から取り外し可能であり、撮像組立体５８をポータブルにすることが可能である。ディジタル・カメラ７４は、ハウジング７２に収容され、タッチ面５４の平面から約２.５センチメートルに等しい距離だけ前方に配置されている。ディジタル・カメラ７４とタッチ面５４の平面との間のこの距離は、ベゼル５６がディジタル・カメラ７４の視界を妨害しないように選択されており、ディジタル・カメラがタッチ面５４の全体を見ることを可能にする一方で、画像データの有用な３次元処理を可能にする。さらに、ディジタル・カメラ７４は、タッチ面５４から約１０センチメートルに等しい距離だけ上に配置されている。ディジタル・カメラ７４は、その視界（ＦＯＶ）がタッチ面５４の全体を見渡せるように（looks back at and across）向けられている。したがって、ディジタル・カメラ７４は、４つのコーナーを含むタッチ面５４を斜視図として３次元で見渡す。ディジタル・カメラ７４の光軸は、タッチ・スクリーン５２の一番上のコーナーと一致しており、タッチ・スクリーン５２の上端縁（top edge）に対して約４５度に等しい角度を形成している。
【００１７】
さらに、ハウジング７２は、ディジタル・カメラ７４と画像処理回路８０が、図５に示すように搭載された回路基板を収容している。図からわかるように、画像処理回路８０は、ディジタル・カメラ７４と静止形のランダム・アクセス・メモリ（ＳＲＡＭ）８４に結合されたディジタル信号処理プロセッサ（ＤＳＰ）８２を有する。ディジタル信号処理プロセッサ８２は、データ・バス８６を介してコンピュータ６０と交信する。ディジタル・カメラ７４は、ナショナル・セミコンダクターにより型番ＬＭ９６１８として製造されているような６４０×４８０のピクセル配列を有する高分解能のＣＭＯＳディジタル・カメラ、及び関連するレンズ８８である。ディジタル信号処理プロセッサ８２は、アナログ・ディバイシズ社によりＢｌａｃｋｆｉｎＢＦ５３３の型番で製造されている形式のものであり、ディジタル信号処理プロセッサの処理を中断せずに、ディジタル・カメラ７４からＳＲＡＭ８４へ画像データの高速転送を可能にする特徴を有している。
【００１８】
タッチ・システム５０の一般的な動作を、最初に説明する。ポインタがディジタル・カメラ７４の視界の中に入り、タッチ面５４に接触すると、各ディジタル・カメラ７４はポインタを含む画像を取得する。各撮像組立体５８のディジタル信号処理プロセッサ８２は、画像データをディジタル・カメラ７４からＳＲＡＭ８４へ転送し、次に、ディジタル・カメラ７４から見たタッチ面５４の境界線を記述する数学モデルと画像データを比較する。これは、関連するピクセルのみを含む捕捉した画像のピクセル・サブセットを処理することを可能にする。次いで、各撮像組立体５８のディジタル信号処理プロセッサ８２は、捕捉した画像の中のポインタの（ｘ、ｙ）位置を判定するために、ピクセル・サブセットを処理する。次いで、撮像組立体５８はこのポインタ座標データをコンピュータ６０に転送し、タッチ面５４の上のポインタ・コンタクトの（Ｘ、Ｙ、Ｚ）位置を三角測量を使用して計算するために、コンピュータ６０はこのポインタ座標データを使用する。次に、ポインタ位置データは、コンピュータ６０により書き込みあるいは描画として記録されるか、あるいはマウスあるいは他のイベントと解釈される。
【００１９】
タッチ面５４に対するポインタ・コンタクトを三角測量を使用して正確に計算するために、捕捉した画像内の特定の点がタッチ面５４（「シーン」）上の物理的な３次元の位置にどのように関連しているかを、撮像組立体５８のいずれか、あるいは、双方が知るように、タッチ・システム５０は較正される必要がある。較正の間に、各撮像組立体５８が観察する３次元のシーン内の任意の点と収集された２次元画像内の任意の点の間の関係を確立する変換が、確立される。タッチ・システム５０がセットアップされたときには、タッチ面５４に対するディジタル・カメラ７４の位置と方向に関する事前の情報は未知であるから、このステップが必要である。
【００２０】
３次元のシーン内の点と捕捉した画像におけるその２次元の位置の間の関係は、共線性方程式にしたがって、次のように要約される。
【００２１】
【数１】
2007536652.tif 000003
【００２２】
【数２】
2007536652.tif 000004
【００２３】
ここで、
（ｘ、ｙ）は、３次元シーン内の点（Ｘ、Ｙ、Ｚ）に対応する捕捉した画像内の点の座標であり、
（ｘ0、ｙ0）は、ディジタル・カメラ７４の主点、すなわち、光軸が焦点面に対してほぼ直角を成す状態でディジタル・カメラの光軸がディジタル・カメラの焦点面と交わる位置、の座標であり、
（Δx、Δy）は、レンズ８８の不完全な性質のために導入される歪曲項を表し、
ｆは、ディジタル・カメラの焦点距離であり、
（Ｒ1、Ｒ2、Ｒ3）は、点（Ｘ、Ｙ、Ｚ）と、ディジタル・カメラの光学的中心の空間的位置（Ｘ0、Ｙ0、Ｚ0）と、タッチ面５４の３次元座標系に対するディジタル・カメラの光軸の方位角（ω、φ、κ）に依存する項である。
【００２４】
上記の共線性方程式は、ピンホールモデルを表す。したがって、各ディジタル・カメラ７４は、ディジタル・カメラの光学的中心（焦点）の位置における非常に小さい開口として理想化されており、それは３次元空間におけるディジタル・カメラの位置であると考えられる。ディジタル・カメラの視界の３次元の性質は、ディジタル・カメラがベゼル５６越しに見ることを可能とし、タッチ面５４が平坦であると仮定すればタッチ面の平面の判定を可能とし、任意の点においてポインタがタッチ面５４と接触しているか、あるいはタッチ面５４のうえでホバリングしているかの判定を可能とし、かつ、タッチ面５４に対応するポインタの位置の判定を可能とする、という点で重要である。
【００２５】
上記の共線性方程式は、座標（Ｘ、Ｙ、Ｚ）を有する３次元シーン内の点が、点（ｘ、ｙ）において２次元画像に投影されていることを表している。共線性方程式を使用して変換を確立するために、ディジタル・カメラ７４の、外部オリエンテーション・パラメタ（Ｘ0、Ｙ0、Ｚ0）、及び、ω、φ、κ、及び、内部オリエンテーション・パラメタｆ、ｘ0、ｙ0、及び、Δx、Δyを判定する必要がある。
【００２６】
各レンズ８８の歪みは、ラジアル・ディストーション及び偏心歪曲の双方に具体的に関連する項により表すことが可能である。各レンズ８８と捕捉した画像データの相対性原理低品質のために、本実施形態では、１次のラジアル・ディストーション項のみが記録される。結果として、レンズの歪曲項は次式で表現できる。
【００２７】
【数３】
2007536652.tif 000005
【００２８】
【数４】
2007536652.tif 000006
【００２９】
したがって、レンズの歪みは、パラメタＫ1によって要約できる。
【００３０】
十分理解されるように、各ディジタル・カメラを較正するためには、各ディジタル・カメラ７４に対して１０個の（１０）パラメタを共線性方程式から決定する必要がある。すなわち。
【００３１】
【数５】
2007536652.tif 000007
【００３２】
本実施形態においては、タッチ・システム５０を較正するために、自己較正技術が使用される。自己較正は、オブジェクト上の基準点の３次元の位置が既知であり、同じ点の２次元の位置がオブジェクトの１つまたは複数の画像で測定可能であれば、これらのデータは、画像を収集する撮像組立体の位置と、撮像組立体の角方位（angular orientation）と、撮像組立体のレンズに関連するパラメタと、を完全に特定するという事実にもとづいている。
【００３３】
３次元空間におけるディジタル・カメラ７４の位置（Ｘ0、Ｙ0、Ｚ0）は、絶対単位（たとえば、センチメートル）で、あるいは、たとえばタッチ面５４の短いほうの寸法のような基準長に対応する長さの単位を仮定することにより、相対的な項で測定可能である。各ディジタル・カメラの角方位は、３つの角度、ω、φ、κにより表され、各ディジタル・カメラ７４に対する回転行列Ｒを定義することを可能にする。回転行列Ｒは、３次元シーンの座標系とディジタル・カメラの座標系の間の変換を記述する。各ディジタル・カメラ７４に対する焦点距離ｆ、主点（ｘ0、ｙ0）、及びレンズの歪曲係数の計算は、これらのディジタル・カメラ・パラメタの正確な値が既知であれば、不要である。
【００３４】
自己較正の間は、タッチ面５４はＸ−Ｙ平面に対応し、Ｚ軸はタッチ面の平面におおむね直角を成す角度でタッチ面５４から外方向に指向していると仮定される。多数のシーン・ポイント（Ｘ、Ｙ、Ｚ）に対応する画像位置（ｘ、ｙ）が画像から測定され、シーン・ポイントの位置（Ｘ、Ｙ、Ｚ）が既知（たとえば、センチメートルで）であれば、共線性方程式は、各点に対して設定可能であり、外部及び内部オリエンテーション・パラメタを決定するために、最小二乗法を使用して解くことができる。共線性方程式モデルの非線形性のために、最小二乗法が使用される。
【００３５】
本実施形態においては、最小二乗法の良い解を得るのに十分である１６個の（１６）数式と１０個の（１０）未知数が与えられるように、タッチ面５４の周囲に８個の（８）較正点が選択される。特に、４つのコーナーとタッチ面５４の各側縁に沿った中点が較正点として選択される。何故ならば、これらの較正点における（Ｘ、Ｙ）位置は、測定容易であり、再現可能な較正点を提供し、ユーザーによって容易に位置を指定され、これらの（Ｘ、Ｙ）位置のそれぞれにおいてＺ＝０センチメートルである。対応する像点は、画像内に捕捉された較正点におけるポインタの位置を測定することにより、あるいは、捕捉された画像内の較正点におけるマーカーの位置を測定することにより、定められる。
【００３６】
ここで図６に転じて、自己較正の間に実行される一般的なステップを例示するフローチャートを示す。初めに、タッチ面５４上の較正点の（Ｘ、Ｙ、Ｚ）位置が決定される（ステップ１００）。具体的にいうと、タッチ面５４上の較正点の位置は、タッチ面のコーナーの位置と、座標原点として指定されるタッチ面のコーナーの１つに関連するその側縁の中点を測定することにより、決定される。あるいは、タッチ面５４のアスペクト比が既知であれば、タッチ面の短いほうの寸法を長さの単位であると考えることができ、コーナーの相対位置と側縁の中点の決定を可能にする。次に、画像における較正点の（ｘ、ｙ）位置が画像処理（ステップ１０２）によって決定される。後に説明するように、このとき外部の画像処理からの初期推測入力を伴う可能性がある（ステップ１０４）。次に、望まれる場合には、内部オリエンテーション・パラメタを含む較正の解が計算される（ステップ１０６）。計算された解が初期推測入力にもとづいていれば、最小二乗法による改善が計算される（ステップ１０８）。
【００３７】
タッチ・システム５０が較正されると、タッチ面５４上の、あるいは、タッチ面５４と接触しているポインタの３次元位置を三角測量によって計算することができる。三角測量の間には、すべてのカメラ・オリエンテーション・パラメタは既知であると仮定され、一方のあるいは双方のディジタル・カメラ７４によって捕捉された画像からの対応する（ｘ、ｙ）測定を仮定して、ポインタ位置（Ｘ、Ｙ、Ｚ）が決定されるべきである。図７は、タッチ面に対するポインタ・コンタクトの位置を決定するために、ポインタ座標データの三角測量の間に実行される一般的なステップを例示するフローチャートである。ポインタを含む撮像組立体５８により画像が捕捉されると、各捕捉した画像におけるポインタの位置を（ｘ、ｙ）座標で決定するために、画像データはディジタル信号処理プロセッサ８２により処理される。次に、ディジタル信号処理プロセッサ８２は、このポインタ座標データをコンピュータ６０に出力する（ステップ１２０）。また、各ディジタル信号処理プロセッサ８２は、ディジタル信号処理プロセッサ８２が捕捉した画像内の実際のポインタを確かに識別した確実度を表すポインタ位置確実度推定値を出力する。両方の撮像組立体５８のディジタル信号処理プロセッサ８２からポインタ座標と確実度推定値データを受信するコンピュータ６０は（ステップ１２２及び１２４）、一方のあるいは両方の撮像組立体により戻されたポインタ座標データを使用するか否かについて、確実度推定値にもとづいて決定する。（ステップ１２６）一般に、両方のディジタル信号処理プロセッサ８２により生成されたポインタ座標データが、コンピュータ６０により使用される。しかし、一方のディジタル信号処理プロセッサ８２により生成されたポインタ座標データに関連する確実度推定値が、スレッショルド・レベル、この場合には５０％、以下であり、ポインタ座標データの正確さが低い確実度を表していれば、そのポインタ座標データは無視され使用されない。
【００３８】
次に、前述の共線性方程式を使用して、両方の撮像組立体５８からのポインタ座標データを使用して（ステップ１２８）、あるいは、一方の撮像組立体５８からのポインタ座標データを使用して（ステップ１３０）三角測量が実行される。共線性方程式は画像位置（ｘ、ｙ）を空間的位置（Ｘ、Ｙ、Ｚ）に関係づけるので、ポインタに対して固有の（Ｘ、Ｙ、Ｚ）空間的位置を計算するためには、２つの（ｘ、ｙ）位置、各ディジタル・カメラ７４から１つ、が必要である。これは、４つの数式と３つの未知数をもたらす。共線性方程式は、１次の最小二乗問題を作るために再整理され、三角測量を効率的な手順にする。この場合に三角測量の結果はポインタに対する（Ｘ、Ｙ、Ｚ）空間的位置を与えるので、撮像組立体５８の視界内に出現する複数のポインタは、別々に追跡可能であり、したがってポインタの一義化をもたらす。
【００３９】
１つの撮像組立体５８からのポインタ座標データを使用して三角測量を行う場合には、Ｚ＝０（センチメートル）と仮定される。この場合に、共線性方程式の未知数の１つは除外される。言い換えれば、空間的位置（Ｘ、Ｙ）は画像位置（ｘ、ｙ）から決定される。１つの撮像組立体５８からの画像を使用することは、撮像組立体５８の１つがポインタを見ることが不可能である場合でも、タッチ・システム５０がタッチ面５４とのポインタ・コンタクトを決定できる利点がある。
【００４０】
三角測量の結果が得られると、望まれる場合には、三角測量の結果は非線形の最小二乗法技術を使用して改良できる。
【００４１】
タッチ面５４の全体を周囲の領域と共に３次元で斜視図として見る撮像組立体５８の使用には利点がある。たとえば、画像処理の間に、タッチ面５４の境界と交差するポインタは、タッチ面に接触する前に認識することが可能である。この情報は、画像処理を境界のクロス・オーバー点に隣接する関連するピクセル・サブセット内のピクセルに制限するために、ディジタル信号処理プロセッサ８２によって使用できる。さらに、タッチ・システム５０は、影とオブジェクトの識別を備えている。一般的には、ポインタがタッチ面５４に向かって進んでくると、撮像組立体５８の一方は他方に先立ってポインタを見るであろう。先にポインタを認めた撮像組立体は、ポインタの位置を指定するために検査されるべきその関連するピクセル・サブセットの領域を識別して、他の撮像組立体にポインタ情報を提供することができる。これは、正確かつ迅速にポインタの位置を指定する確率を増加するのに役立つ。平面相同（planar homography）は、２つのディジタル・カメラの焦点面を相互に関係づけるために使用され、ポインタ情報が複数の撮像組立体５８の間で効率的に交換されることを可能にする。
【００４２】
他の方法は、基本行列あるいは密接に関連する本質行列として公知の存在によって、複数の撮像組立体の視界の間の異なる関係を使用する。ここで、点の位置が１つのディジタル・カメラの視界内で既知であれば、基本行列は、この点を他のディジタル・カメラの画像内の線に変換する。したがって、対応点の位置を指定するためには、（エピポーラー・ラインとして公知の）この線に沿って画像を捜索することだけが必要である。この方法は、第２のディジタル・カメラの視界内の捜索領域を厳格に制限し、誤検出の排除に役立つ利点を有する。
【００４３】
上述の実施形態においては、撮像組立体５８は、タッチ面５４の平面の前方の約２.５センチメートルに等しい距離に配置されるとして、示されている。前述のように、この距離はベゼル５６がタッチ面５４の全体の撮像組立体の視界を遮らないことを保証している。しかし、撮像組立体５８がタッチ面５４の平面の前方に配置される距離は環境によっては当然変えることが可能である。この距離は、処理しなければならないタッチ面の境界に対応する関連するピクセル・サブセットのサイズに影響する。撮像組立体５８は、少なくとも、タッチ面５４の４つのコーナーが視界内に収まるように、配置される。図８ａから８ｄは、タッチ面５４は対角線の長さが８４インチ、アスペクト比が４：３であると仮定して、異なる距離に対する処理しなければならない捕捉した画像内のピクセル行の数を示す。十分理解されるように、距離が増加すれば、捕捉した画像内の処理を必要とするピクセル行の数も増加する。
【００４４】
自己較正技術を説明したが、タッチ・システム５０を較正するためには、他の技術も使用できる。たとえば、タッチ面５４に対する消失点は、 Kanatani による「機械 Vison のための幾何学的計算」、Oxford University Press、Oxford 1993、と題する論文に説明されているように決定することが可能である。あるいは、Hartley 他による「コンピュータ・ビジョンにおける複数の視界の幾何学的配列」と題する論文、Cambridge University Press、Cambridge 2001、に説明されているような平面相同、あるいは、Wrobel による「コンピュータ・ビジョンにおけるカメラの較正と方位における方位の最小解」と題する論文、Springer-Verlag、New York 2001、に説明されているような３点法が、タッチ・システムを較正するために使用できる。
【００４５】
消失点法の間に、タッチ面５４の形は一般に長方形であるという事実が、外部オリエンテーション・パラメタの計算に利用される。この場合に、ディジタル・カメラ画像内のタッチ面５４の周縁を見出すことにより、タッチ面の２組の平行な周辺の側縁に対応する消失点は、外部オリエンテーション・パラメタを完全に定めるために、使用することができる。タッチ・システムにおいては、消失点は有限である、すなわち、消失点はディジタル・カメラ画像の境界内に位置し、回転行列Ｒを定めるように作用する。長さの単位を仮定すれば、次にディジタル・カメラの位置を決定でき、外部オリエンテーション・パラメタの決定は完了する。消失点は、Foerstner による「回転の評価について」と題する論文、T.U. Munchen、1999、に説明されているように、ディジタル・カメラの焦点距離と主点を定めるためにも使用できる。十分理解されるように、２つの消失点はタッチ・システムに対する３次元の座標系を定め、それから他のすべてが後に続く。この方法を使用する場合、決定した外部オリエンテーション・パラメタを最小二乗法を使用して改良することが望ましい。
【００４６】
平面相同較正法は、タッチ面５４の平面上の点からディジタル・カメラの像面上の点に関する。いくつかのシーン・ポイントに対応する多数の像点の位置を測定することにより、相同行列の９つの構成要素を定めることが可能である。これが完了すると、相同行列は、回転行列Ｒと３次元空間内のディジタル・カメラの位置を表すベクトルに分解することが可能である。この較正法の使用は、ディジタル・カメラの内部オリエンテーションに関して、いくつかの仮定をすることを必要とする。しかし、これらの仮定をする必要は、前述の Hartley 他による論文に説明されているような絶対円錐の画像として公知の他の行列構成要素として相同行列を書き直すことにより避けることができる。この行列構成要素は、その特異値分解によってディジタル・カメラの焦点距離と主点の直接推定を提供する。
【００４７】
３点較正法は、基本的な三角法と３つの点が平面を定めるという事実を利用する。３次元シーン内の３つの点の位置とその間の距離が既知であり、三角形を形成していれば、これらの点の画像位置は３点の間の角度を定めるために使用できる。この情報は、ディジタル・カメラの光学的中心から３つの点迄の距離を解くに十分であり、したがって、空間内におけるディジタル・カメラの位置を与える。次に、像点の後続の処理は、回転行列Ｒの推定値を提供する。この方法は最小のデータ・セットから方位を与えるので、方位を改良するための最小二乗法を初期化するために使用でき、したがって、較正の間にステップ１０４において初期推測入力を提供するために使用できる。
【００４８】
上述の較正技術は、回転行列Ｒによって空間内の各ディジタル・カメラ７４の方位を定めるために、３つの角度を利用するが、代案が利用できる。たとえば、回転行列Ｒを定めるよりも、空間内の各ディジタル・カメラの方位は、「四元数」として公知の実体にもとづいて決定できる。四元数は、前述の Foerstner による論文で説明したように、いくつかの性質を有する４要素のベクトルである。四元数要素は、−１と１の間の値のみをとり、要素の１つは１であるように制約されている。これは、値の急激な変化に関連する問題を回避し、最小二乗法を使用して収束を大幅に支援する。十分理解されるように、角度を測る場合、ある種の角度変化は、たとえば３５９度から０度と同じである３６０度に角度が変化する場合のような難点を作り出す。
【００４９】
図９は、タッチ面５４に対するポインタを検出する装置の他の実施形態を示す。この実施形態においては、ディジタル・カメラ１７４の両方は、単一のハウジング１７２の中にその両端に隣接して収容されている。ハウジング１７２は、ベゼル５６の上端縁に重なっており、ディジタル・カメラ１７４がタッチ・スクリーンの一番上のコーナーに隣接して位置するように、タッチ・スクリーン５２に架かっている。
【００５０】
タッチ面を３次元で斜視図として見渡す撮像組立体は、その内容が参考文献として本明細書に包含され、本発明の譲受人である SMART Technologies Inc.に譲渡された、２００４年１月２日に出願された Hill 他の米国特許出願（番号不明）に説明されているような、大規模なタッチ・システムと連係して使用することも可能である。たとえば、図１０は、大規模なタッチ・システムに対するディジタル・カメラの配置を示す。本実施形態においては、ディジタル・カメラＣ1からＣ8は、タッチ面２５４の最上部に沿って、タッチ面の全体を見渡せるように設けられている。特に、ディジタル・カメラＣ1とＣ8は、タッチ面２５４の一番上の左のコーナーと一番上の右のコーナーに配置されている。ディジタル・カメラＣ2及びＣ3、Ｃ4及びＣ5、Ｃ6及びＣ7の中間対は、タッチ面２５４の最上部に沿って間隔を置いた位置に配置されている。ディジタル・カメラの視界は、点線により示されている。図からわかるように、タッチ面２５４上の各位置が少なくとも２つのディジタル・カメラの視界の中に含まれるように、カメラの視界は重なり合っている。これは当然ながら、上述したと同じ方法で三角測量を使用して、タッチ面２５４の全体にわたってポインタの追跡を可能にする。
【００５１】
図１１は、別の大規模なタッチ・システムのディジタル・カメラの配置を示す。本実施形態においては、均一に間隔を置いたディジタル・カメラＣ1からＣ7は、タッチ面３５４の上端縁の上に、タッチ面の全体を見渡せるように配置されている。ディジタル・カメラの視界は点線により示されており、図からわかるように、ディジタル・カメラの視界は、タッチ面上の各位置が少なくとも２つのディジタル・カメラの視界の中に含まれるように、重なり合っている。再び、これは、上述したと同じ方法で三角測量を使用して、タッチ面３５４の全体にわたってポインタの追跡を可能にする。本実施形態においては、タッチ面３５４上の大部分の位置は、３つ以上のディジタル・カメラの視界の中に含まれ、各ポインタ・コンタクトに対して複数の三角測量の結果が生成されることを可能にする。ポインタ・コンタクトの位置によって、ポインタ・コンタクトの位置を決定するために使用される三角測量の結果を選択するために、異なる論理を使用することができる。
【００５２】
たとえば、図１２ａに示すように、タッチ面３５４上のポインタＰの位置は、ディジタル・カメラＣ1とＣ2により捕捉された画像から導出されたポインタ情報を三角測量することによって、また、おそらく、ディジタル・カメラＣ3により捕捉された画像から導出されたポインタ情報を三角測量することによって、計算することができる。この後者の場合に、ディジタル・カメラＣ1とＣ3、ならびに、ディジタル・カメラＣ2とＣ3によって捕捉された画像から導出されたポインタ情報は、三角測量されることが可能であり、複数の三角測量の結果をもたらす。複数の三角測量の結果は、単一のポインタ位置を得るために、平均するか、あるいは他の論理によって処理することができる。ディジタル・カメラＣ3がポインタＰから離れすぎていると見なされれば、ディジタル・カメラＣ3からの結果は無視できる。あるいは、ディジタル・カメラＣ3により捕捉された画像から導出されたポインタ情報は、ディジタル・カメラＣ3の一定の近傍にポインタがいつ到達するかを判定するために、ポインタを追跡するために使用できる。ポインタがディジタル・カメラＣ3の一定の近傍に到達するときに、ディジタル・カメラＣ3により捕捉された画像から導出されたポインタ情報は、タッチ面３５４上のポインタの位置を判定するために、三角測量することができる。
【００５３】
図１３ｂから１３ｃは、タッチ面３５４上のポインタの別の位置と、ディジタル・カメラにより捕捉された画像から導出できるさまざまな三角測量の結果を示す。
【００５４】
ディジタル・カメラを組合せることにより、さまざまな対のディジタル・カメラはタッチ面の１部のみを見る必要があるので、湾曲したタッチ面及び非平坦なタッチ面をサポートすることができる。
【００５５】
十分理解されるように、撮像組立体は自己較正が可能であるので、撮像組立体は基本的に任意の表面に取り付けることが可能であり、その表面をタッチ面に変換する。
【００５６】
タッチ・システム５０は、撮像組立体のディジタル信号処理プロセッサと交信するコンピュータを有し、タッチ面に対するポインタの位置を判定するために三角測量を使用してポインタ座標データを処理するものとして説明したが、他の処理アーキテクチャーも当然使用可能である。たとえば、撮像組立体の１つのディジタル信号処理プロセッサは、ポインタ座標データの三角測量に関与するプロセッサとして作用することも可能である。
【００５７】
本発明の推奨実施形態を説明したが、添付した特許請求の範囲により規定される本発明の技術思想と範囲を逸脱せずに、変形及び修正が可能であることを、当業者は十分理解するであろう。
【図面の簡単な説明】
【００５８】
ここで、本発明による実施形態を、添付図面を参照して十分に説明する。
【図１】タッチ面に対応するポインタを検出するための装置の部分的に遠近法による略図である。
【図２】図１の装置の概略正面平面図である。
【図３】図１の装置の概略側面図である。
【図４】図１の装置の一部を形成する撮像組立体の斜視図である。
【図５】図４の撮像組立体の略ブロック図である。
【図６】図１の装置の較正の間に、実行されるステップを示すフローチャートである。
【図７】タッチ面上のポインタ・コンタクトの位置を判定するために、取得した画像から抽出されたポインタ・データの三角測量の間に、実行されるステップを示すフローチャートである。
【図８ａ】撮像組立体とタッチ面の平面の間の異なる間隔に対して、処理しなければならない捕捉した画像内のピクセル行の数を示す。
【図８ｂ】撮像組立体とタッチ面の平面の間の異なる間隔に対して、処理しなければならない捕捉した画像内のピクセル行の数を示す。
【図８ｃ】撮像組立体とタッチ面の平面の間の異なる間隔に対して、処理しなければならない捕捉した画像内のピクセル行の数を示す。
【図８ｄ】撮像組立体とタッチ面の平面の間の異なる間隔に対して、処理しなければならない捕捉した画像内のピクセル行の数を示す。
【図９】タッチ面に対応するポインタを検出するための装置の別の実施形態の斜視図である。
【図１０】タッチ面に対応するポインタを検出するための装置のさらに別の実施形態の正面図である。
【図１１】タッチ面に対応するポインタを検出するための装置のさらに別の実施形態である。
【図１２ａ】図１１の装置のタッチ面上の異なるポインタ・コンタクトを示す。
【図１２ｂ】図１１の装置のタッチ面上の異なるポインタ・コンタクトを示す。
【図１２ｃ】図１１の装置のタッチ面上の異なるポインタ・コンタクトを示す。
【図１】
2007536652.tif 000010
【図２】
2007536652.tif 000011
【図３】
2007536652.tif 000012
【図４】
2007536652.tif 000013
【図５】
2007536652.tif 000014
【図６】
2007536652.tif 000015
【図７】
2007536652.tif 000016
【図８ａ】
2007536652.tif 000017
【図８ｂ】
2007536652.tif 000018
【図８ｃ】
2007536652.tif 000019
【図８ｄ】
2007536652.tif 000020
【図９】
2007536652.tif 000021
【図１０】
2007536652.tif 000022
【図１１】
2007536652.tif 000023
【図１２ａ】
2007536652.tif 000024
【図１２ｂ】
2007536652.tif 000025
【図１２ｃ】
2007536652.tif 000026
【手続補正書】
【提出日】平成18年4月27日(2006.4.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
タッチ面に対するポインタを検出する装置であって、
前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスであって、前記撮像デバイスが前記タッチ面を３次元で前記タッチ面の境界を含む斜視図として見るように前記撮像デバイスのそれぞれが前記タッチ面の前方にあって前記タッチ面に向いており、前記撮像デバイスは異なる位置からの重なり合う画像を取得する、前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスと、
前記ポインタの位置を決定するために、少なくとも１つの前記撮像デバイスにより生成された画像データを受信し処理する処理構成と、を有するタッチ面に対するポインタを検出する装置。
【請求項２】
前記斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために各撮像デバイスは較正され、取得した画像内にポインタが存在するときに各撮像デバイスはポインタ座標データを生成する請求項１記載の装置。
【請求項３】
前記タッチ面に対する前記ポインタの前記位置を決定するために、前記処理構成は前記ポインタ座標データを三角測量する請求項２記載の装置。
【請求項４】
一対の撮像デバイスを有する請求項３記載の装置。
【請求項５】
各撮像デバイスは、前記タッチ面の異なるコーナーに隣接して配置される請求項４記載の装置。
【請求項６】
各撮像デバイスは、前記タッチ面から横方向に間隔を置いて配置され、前記タッチ面の前方に配置される請求項５記載の装置。
【請求項７】
各撮像デバイスは、前記タッチ面の周囲の全体が最低でも各撮像デバイスの視界内に納まるように、前記タッチ面に対して配置される請求項６記載の装置。
【請求項８】
各撮像デバイスは、前記タッチ面の前方に少なくとも２.５センチメートルに等しい距離だけ間隔を置いて配置される請求項７記載の装置。
【請求項９】
前記タッチ面は、ベゼルによって境界を接せられる請求項８記載の装置。
【請求項１０】
各撮像デバイスの光軸が、前記タッチ面のコーナーを２等分するように、各撮像デバイスが指向されている請求項７記載の装置。
【請求項１１】
各撮像デバイスの外部オリエンテーション・パラメタ（Ｘ0、Ｙ0、Ｚ0）及び（ω、φ、κ）が、較正の間に決定される請求項３記載の装置であって、
（Ｘ0、Ｙ0、Ｚ0）は、前記撮像デバイスの前記光学的中心の前記空間的位置であり、
（ω、φ、κ）は、前記タッチ面の前記３次元の座標系に対する前記撮像デバイスの前記光軸の前記方位角である請求項３記載の装置。
【請求項１２】
各撮像デバイスの内部オリエンテーション・パラメタｆ、ｘ0、ｙ0及びΔx、Δyが、較正の間に決定される請求項１１記載の装置であって、
（Δx、Δy）は、前記撮像デバイスのレンズの不完全な性質のために導入される歪曲項を表し、
ｆは、前記撮像デバイスの前記焦点距離であり、
（ｘ0、ｙ0）は、前記撮像デバイスの前記主点の前記座標である、請求項１１記載の装置。
【請求項１３】
前記関係は、共線性方程式を使用して次式のように表現される請求項１２記載の装置であって、
【数１】
2007536652.tif 000027
【数２】
2007536652.tif 000028
ここで、
（ｘ、ｙ）は、前記３次元斜視図内の点（Ｘ、Ｙ、Ｚ）に対応する取得した画像内の点の前記座標であり、
（Ｒ1、Ｒ2、Ｒ3）は、点（Ｘ、Ｙ、Ｚ）と、前記空間的位置（Ｘ0、Ｙ0、Ｚ0）と、前記方位角（ω、φ、κ）に依存する項である請求項１２記載の装置。
【請求項１４】
較正の間に、前記タッチ面上の較正点（Ｘ、Ｙ、Ｚ）と前記較正点に対応する像点（ｘ、ｙ）が測定され、前記共線性方程式は前記測定した較正点と像点を使用して解かれ、その結果により前記外部及び内部オリエンテーション・パラメタを決定する請求項１３記載の装置。
【請求項１５】
前記共線性方程式は、最小二乗法を使用して解かれる請求項１４記載の装置。
【請求項１６】
前記較正点は、前記タッチ面の前記周囲に沿って間隔を置いた位置にある請求項１４記載の装置。
【請求項１７】
前記較正点は、前記タッチ面の前記コーナーと端縁の中点とに位置している請求項１６記載の装置。
【請求項１８】
前記外部オリエンテーション・パラメタは、消失点法を使用して決定される請求項１１記載の装置。
【請求項１９】
前記決定した外部オリエンテーション・パラメタは、最小二乗法を使用して改良される請求項１８記載の装置。
【請求項２０】
前記外部及び内部オリエンテーション・パラメタは、平面相同を使用して決定される請求項１８記載の装置。
【請求項２１】
前記外部オリエンテーション・パラメタは、３点法を使用して決定される請求項１８記載の装置。
【請求項２２】
各撮像デバイスは、前記取得した画像内の前記ポインタを前記撮像デバイスが確かに識別した確実度を表す確実度値も生成する請求項３記載の装置。
【請求項２３】
前記確実度値は、前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記処理構成により使用される請求項２２記載の装置。
【請求項２４】
前記撮像デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記処理構成は前記撮像デバイスにより生成されたポインタ座標データを無視する請求項２３記載の装置。
【請求項２５】
一対の撮像デバイスを有する請求項２４記載の装置。
【請求項２６】
各撮像デバイスは、前記タッチ面の異なるコーナーに隣接して配置される請求項２５記載の装置。
【請求項２７】
各撮像デバイスは、前記タッチ面から横方向に間隔を置いて配置され、前記タッチ面の前方に配置される請求項２６記載の装置。
【請求項２８】
各撮像デバイスは、前記タッチ面の周囲の全体が最低でも各撮像デバイスの視界内に納まるように、前記タッチ面に対して配置される請求項２７記載の装置。
【請求項２９】
各撮像デバイスの光軸が、前記タッチ面の前記コーナーを２等分するように、各撮像デバイスが指向されている請求項２８記載の装置。
【請求項３０】
前記撮像デバイスは、取得した画像内のポインタの決定を支援するために交信する請求項３記載の装置。
【請求項３１】
前記撮像デバイスの取得した画像内のポインタを検出する前記撮像デバイスは、他の撮像デバイスとデータを最初に交信し、前記撮像デバイスの取得した画像内のポインタを検出して前記他の撮像デバイスを支援する請求項３０記載の装置。
【請求項３２】
各撮像デバイスは、前記撮像デバイスが前記取得した画像内の前記ポインタを確かに識別した確実度を表す確実度値も生成する請求項３１記載の装置。
【請求項３３】
前記確実度値は、前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記処理構成により使用される請求項３２記載の装置。
【請求項３４】
前記撮像デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記処理構成は前記撮像デバイスにより生成されたポインタ座標データを無視する請求項３３記載の装置。
【請求項３５】
一対の撮像デバイスを有する請求項３４記載の装置。
【請求項３６】
各撮像デバイスは、前記タッチ面の異なるコーナーに隣接して配置される請求項３５記載の装置。
【請求項３７】
各撮像デバイスは、前記タッチ面から横方向に間隔を置いて配置され、前記タッチ面の前方に配置される請求項３６記載の装置。
【請求項３８】
各撮像デバイスは、前記タッチ面の周囲の全体が最低でも各撮像デバイスの視界内に納まるように、前記タッチ面に対して配置される請求項３７記載の装置。
【請求項３９】
各撮像デバイスの光軸が、前記タッチ面の前記コーナーを２等分するように、各撮像デバイスが指向されている請求項３８記載の装置。
【請求項４０】
各撮像デバイスは、各取得した画像内のピクセルのサブセットを処理する請求項３記載の装置。
【請求項４１】
前記ピクセル・サブセットは、前記撮像デバイスの前記斜視図内の前記タッチ面の前記境界に対応する請求項４０記載の装置。
【請求項４２】
各撮像デバイスは、前記撮像デバイスが前記取得した画像内の前記ポインタを確かに識別した確実度を表す確実度値も生成する請求項４１記載の装置。
【請求項４３】
前記確実度値は、前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記プロセッサにより使用される請求項４２記載の装置。
【請求項４４】
前記撮像デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記処理構成は前記撮像デバイスにより生成されたポインタ座標データを無視する請求項４３記載の装置。
【請求項４５】
一対の撮像デバイスを有する請求項４４記載の装置。
【請求項４６】
各撮像デバイスは、前記タッチ面の異なるコーナーに隣接して配置される請求項４５記載の装置。
【請求項４７】
各撮像デバイスは、前記タッチ面から横方向に間隔を置いて配置され、前記タッチ面の前方に配置される請求項４６記載の装置。
【請求項４８】
各撮像デバイスは、前記タッチ面の周囲の全体が最低でも各撮像デバイスの視界内に納まるように、前記タッチ面に対して配置される請求項４７記載の装置。
【請求項４９】
各撮像デバイスの光軸が、前記タッチ面の前記コーナーを２等分するように、各撮像デバイスが指向されている請求項４８記載の装置。
【請求項５０】
前記撮像デバイスは、携帯用である請求項４記載の装置。
【請求項５１】
各撮像デバイスは、ハウジング内に搭載されたディジタル・カメラとディジタル信号処理プロセッサを有し、前記ディジタル信号処理プロセッサは、前記ポインタ座標データを生成するために、前記ディジタル・カメラにより取得された画像フレームを処理する請求項５０記載の装置。
【請求項５２】
各撮像デバイスは、ディジタル・カメラとディジタル信号処理プロセッサを有し、複数の撮像デバイスの両方が単一のハウジング内に搭載されており、前記ディジタル信号処理プロセッサは、前記ポインタ座標データを生成するために、前記ディジタル・カメラにより取得された画像データを処理する請求項５０記載の装置。
【請求項５３】
前記タッチ面に沿って間隔を置いた位置に３つ以上の撮像デバイスを有し、各撮像デバイスは前記タッチ面の異なる部分を包含する視界を有する請求項３記載の装置。
【請求項５４】
前記撮像デバイスは２つが１対として配置され、各１対の撮像デバイスは前記タッチ面の異なる部分を見る請求項５３記載の装置。
【請求項５５】
ポインタを使用してコンタクトが行われる全体として長方形の受動タッチ面と、
前記タッチ面の少なくとも２つのコーナーに隣接して取り外し可能に搭載されたカメラ・デバイスであって、前記カメラ・デバイスのそれぞれは、前記タッチ面の平面の前方に配置され、前記タッチ面に向かって全体を見渡せるような視界を有し、前記カメラ・デバイスの前記視界は、前記カメラ・デバイスが前記タッチ面とその境界を斜視図に見るように、前記タッチ面の上に重なり合っており、前記カメラ・デバイスは、前記タッチ面の画像を取得する、前記タッチ面の少なくとも２つのコーナーに隣接して取り外し可能に搭載されたカメラ・デバイスと、
三角測量によって前記タッチ面に対する前記ポインタの前記位置を決定するために、前記画像データを受信し処理するプロセッサと、を有するカメラ・ベースのタッチ・システム。
【請求項５６】
前記斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために各カメラ・デバイスは較正され、取得した画像内でポインタが捕捉されたときに各カメラ・デバイスはポインタ座標データを生成する請求項５５記載のタッチ・システム。
【請求項５７】
各カメラ・デバイスは、各取得した画像内のピクセルのサブセットを処理する請求項５６記載のタッチ・システム。
【請求項５８】
前記ピクセル・サブセットは、前記カメラ・デバイスの前記斜視図内の前記タッチ面の前記境界に対応する請求項５７記載のタッチ・システム。
【請求項５９】
各カメラ・デバイスは最低でも前記タッチ面の前記４つのコーナーと側部を各カメラ・デバイスの視界内に見るように、各カメラ・デバイスが前記タッチ面の前方に十分な距離の間隔を置いて配置される請求項５８記載のタッチ・システム。
【請求項６０】
各カメラ・デバイスは、前記カメラ・デバイスが前記取得した画像内の前記ポインタを確かに識別した確実度を表す確実度値も生成する請求項５９記載のタッチ・システム。
【請求項６１】
前記確実度値は、前記タッチ面に対する前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記プロセッサにより使用される請求項６０記載のタッチ・システム。
【請求項６２】
前記カメラ・デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記プロセッサは前記カメラ・デバイスにより生成されたポインタ座標データを無視する請求項６１記載のタッチ・システム。
【請求項６３】
全体として長方形のタッチ面に対するポインタを検出する装置であって、
前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスであって、前記撮像デバイスは、前記タッチ面の前方に配置され、前記タッチ面を３次元で斜視図として見るように向いており、前記斜視図は前記タッチ面の少なくとも前記４つのコーナーと側部を含み、前記撮像デバイスは異なる位置からの重なり合う画像を取得する、前記タッチ面を包含して重なり合う視界を有する少なくとも２つの間隔を置いて配置された撮像デバイスと、
三角測量を使用して前記タッチ面に対する前記ポインタの位置を決定するために、少なくとも１つの前記撮像デバイスにより生成された画像データを受信し処理するプロセッサと、を有する全体として長方形のタッチ面に対するポインタを検出する装置。
【請求項６４】
前記斜視図内の点（Ｘ、Ｙ、Ｚ）と取得した画像内の点（ｘ、ｙ）の間の関係を確立するために各撮像デバイスは較正され、取得した画像内でポインタが捕捉されたときに各撮像デバイスはポインタ座標データを出力する請求項６３記載の装置。
【請求項６５】
各撮像デバイスの前記タッチ面の全体に対する視界が遮られるのを阻止するために、各撮像デバイスは前記タッチ面の前方に十分な距離の間隔を置いて配置されている請求項６４記載の装置。
【請求項６６】
各撮像デバイスは、前記撮像デバイスが前記取得した画像内の前記ポインタを確かに識別した確実度を表す確実度値も生成する請求項６５記載の装置。
【請求項６７】
前記確実度値は、前記タッチ面に対する前記ポインタの前記位置を決定するために使用されるポインタ座標データを決定するために、前記プロセッサにより使用される請求項６６記載の装置。
【請求項６８】
前記撮像デバイスに関連する前記確実度値がスレッショルド・レベル以下である場合に、前記プロセッサは前記撮像デバイスにより生成されたポインタ座標データを無視する請求項６７記載の装置。
【国際調査報告】
2007536652.tif 000029
2007536652.tif 000030