(57)【特許請求の範囲】
【請求項１】
ｘｙ座標系である基準フレーム座標系が定義される基準フレームに対する物体の位置を、該物体の捉えられた画像から三角測量の結果にもとづいて決定する方法であり、前記捉えられた画像は前記基準フレームを包含する視界を有する４個のカメラによって撮られ、前記各カメラのそれぞれの視界は前記基準フレームの境界を包含しており、前記カメラの少なくとも１個はその視界の限界が前記境界を超えて延び、それによって前記視野の限界と前記基準フレームの境界の間に形成されるオフセット角度を有している、前記方法であって、
各画像内の前記物体の位置は角度φによって表されており、該角度は画像を取得した前記カメラの視界の限界と、前記画像内の前記物体と交差する、前記カメラから延びる直線との間に形成される角度に等しい、各画像内の前記物体の位置を決定するステップと、
前記カメラのオフセット角度を数学的に計算して前記角度を較正するステップと、
前記カメラによって撮られた前記画像内の前記物体の位置を表す前記角度から前記計算されたオフセット角度を減算するステップと、
各カメラに対して、三角測量を使用して前記基準フレームに対する、基準フレーム座標系における前記物体の位置を計算するために、前記較正された角度を使用するステップと、
を有し、
前記オフセット角度は、前記４個のカメラのそれぞれを使用して前記基準フレーム内の複数の場所における前記物体の画像を取得し、各場所に対して前記カメラのいずれのものであるかを特定する指標として添え字"cam"を使用し、前記カメラのオフセット角度をδcamとし、前記較正のために捉えられた画像における物体の位置を角度φcamで表わすものとし、前記角度φcamのそれぞれを前記基準フレーム座標系でのｙ軸の負方向を基準とした方位角である角度ωcamに変換して、前記角度ωcamを次式を用いて展開された連立方程式を解くことによって計算され、
【数５１】
0004995395.tif 000028
ここで前記ωcamは、前記ｙ軸の負方向を基準として表した、前記較正のために捉えられた画像における前記物体の方位角であり、
前記δcamは、前記基準フレームの境界に対し、前記視野の限界が時計回り方向にずれた場合に正の値をとり、反時計回り方向にずれた場合に負の値をとるものであり、
ｘcamおよびｙcamは、前記カメラの前記基準フレーム座標系での座標であり、
ｘiおよびｙiは、前記基準フレーム座標系における前記物体の座標である、
物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法。
【請求項２】
前記捉えられた画像は、矩形の基準フレームの隅にあるカメラによって取得される、請求項１に記載の方法。
【請求項３】
４個のカメラと前記４個のカメラによって取得された画像を処理するプロセッサとを備え、ｘｙ座標系である基準フレーム座標系が定義される基準フレームに対する前記カメラの視野内にある物体の、前記基準フレームに対する位置が、前記カメラによって取得された画像から計算された物体の位置データを三角測量することによって決定されるタッチ・システムにおいて、前記基準フレームに対する物体の位置を決定する方法であって、
前記基準フレームに対する各カメラのオフセット角度を数学的に計算するステップであって、前記オフセット角度は前記カメラの視界の限界と前記基準フレームの境界によって形成される角度を表す、ステップと、
各カメラに対して、計算されたオフセット角度を用いて、当該カメラによって取得された画像から求められた物体の位置データを較正するステップと、
前記較正された物体の位置データを使用して、三角測量の間に前記物体の、前記基準フレームに対する前記物体の前記位置を決定するステップと、
を有し、
前記オフセット角度は、前記４個のカメラのそれぞれを使用して前記基準フレーム内の複数の場所における前記物体の画像を取得し、各場所に対して、前記カメラのいずれのものであるかを特定する指標として添え字"cam"を使用し、前記カメラのオフセット角度をδcamとし、前記較正のために捉えられた画像における物体の位置を角度φcamで表わすものとし、前記角度φcamのそれぞれを前記基準フレーム座標系でのｙ軸の負方向を基準とした方位角である角度ωcamに変換して、前記角度ωcamを次式を用いて展開された連立方程式を解くことによって計算され、
【数５２】
0004995395.tif 000029
ここで前記ωcamは、前記ｙ軸の負方向を基準として表した、前記較正のために捉えられた画像における前記物体の方位角であり、
前記δcamは、前記基準フレームの境界に対し、前記視野の限界が時計回り方向にずれた場合に正の値をとり、反時計回り方向にずれた場合に負の値をとるものであり、
ｘcamおよびｙcamは、前記カメラの前記基準フレーム座標系での座標であり、
ｘiおよびｙiは、前記基準フレーム座標系における前記物体の座標である、
基準フレームに対する物体の位置を決定する方法。
【請求項４】
ｘｙ座標系である基準フレーム座標系が定義される基準フレームと、前記基準フレームを包含する視界を有する少なくとも４個のカメラを備え、前記基準フレームに対する物体の位置が、該物体の捉えられた画像から三角測量の結果にもとづいて決定され、オフセット角度を定めるために前記カメラの前記視界は前記境界を越えて延び、各オフセット角度は前記カメラの視界の限界と前記基準フレームの境界によって形成される角度を表す、タッチ・システムを較正する方法であって、
前記４個のカメラを使用して、前記基準フレーム内の複数の場所において前記物体の画像を捉えるステップと、
各場所に対して、前記カメラのいずれのものであるかを特定する指標として添え字"cam"を使用して、
各取得された画像内の前記物体の前記位置を決定するステップであって、各取得された画像内の前記物体の位置は角度φcamによって表され、該角度φcamは前記基準フレームを超えて延びる前記画像を取得したカメラの視界の限界と前記画像内の前記物体と交差する前記カメラから延びる直線との間に形成される角度に等しい、ステップと、
各画像に対して、決定された前記角度φcamならびに基準フレームに設けられた座標系に対する前記カメラの位置にもとづいて、前記カメラの前記オフセット角度を数学的に計算するステップと、
を有し、
前記計算するステップにおいて、前記各カメラのオフセット角度δcamは、前記角度φcamのそれぞれを前記基準フレーム座標系でのｙ軸の負方向を基準とした方位角である角度ωcamに変換し、前記角度ωcamを次式を用いて展開された連立方程式を解くことによって計算され、
【数５３】
0004995395.tif 000030
ここで前記ωcamは、前記ｙ軸の負方向を基準として表わした、前記画像における前記物体の方位角であり、
前記δcamは、前記基準フレームの境界に対し、前記視野の限界が時計回り方向にずれた場合に正の値をとり、反時計回り方向にずれた場合に負の値をとるものであり、
ｘcamおよびｙcamは、前記カメラの前記基準フレーム座標系での座標であり、
ｘiおよびｙiは、前記基準フレーム座標系における前記物体の座標である、
タッチ・システムを較正する方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は全般的には目標の取得に関し、特に、三角測量を使用して物体の位置の決定を容易にするためにカメラのオフセットを計算する方法に関する。
【０００２】
【従来の技術】
タッチ・システムは、当該分野において公知であり、接触表面を有するタッチ・スクリーンを通常有し、利用者の入力を生成するために、接触表面上でポインタを使用して接触が行われる。接触表面とポインタとの接触が検出され、接触が行われた接触表面の領域によって対応する出力を生成するために使用される。
【０００３】
「カメラベースのタッチ・システム」と題する、２００１年７月５日に出願され、本発明の譲受人に譲渡された、国際ＰＣＴ特許出願公開明細書第０２／０３３１６号に、カメラベースのタッチ・システムが開示されている。このタッチ・システムは、マスター・コントローラに結合されたタッチ・スクリーンと、マスター・コントローラに結合されたコンピュータを有する。コンピュータは、１つまたは複数のアプリケーション・プログラムを実行し、タッチ・スクリーン上に提示されるディスプレイ出力を供給する。タッチ・スクリーン、マスター・コントローラ、コンピュータおよびプロジェクタによりシステムが形成されており、利用者がタッチ・スクリーンに接触すると、コンピュータにより書き込みあるいは描画として記録されるように、あるいは、コンピュータにより実行されるアプリケーション・プログラムの実行を制御するために使用できる。
【０００４】
タッチ・スクリーンは、矩形のベゼルあるいはフレームにより縁取られた矩形の平坦な薄板の形式の接触表面を有する。２次元のディジタル信号処理プロセサ（ＤＳＰ）ベースのＣＭＯＳディジタル・カメラが、タッチ・スクリーンのそれぞれの隅に隣接して搭載されている。各ディジタル・カメラの視界が接触表面の指定された端縁を含むように、各ディジタル・カメラはタッチ・スクリーンに向けられている。この方法で、全部の接触表面がディジタル・カメラの視界の中とされる。接触表面に接近したポインタが少なくとも２個のディジタル・カメラの視界の中に現れるように、ディジタル・カメラの視界はさらに重なり合っている。これは、接触表面に対するこのようなポインタの位置を、三角測量を使用して計算することを可能にする。
【０００５】
タッチ・システムの動作中は、各ディジタル・カメラは、その視界の中の接触表面の画像を所望のフレーム・レートで捉える。捉えられた画像内にポインタが存在するか否かを決定するために、取得された画像はディジタル・カメラにより処理される。取得された画像内にポインタが有れば、取得された画像内のポインタの中線あるいは先端部を決定するために、取得された画像は画像を取得したディジタル・カメラによりさらに処理される。ポインタの中線あるいは先端部は、数によって表される。このポインタ情報はディジタル・カメラによりポインタ情報パケット（以下、ＰＩＰ：Pointer Information Packetと称する）に変換され、ＰＩＰはマスター・コントローラに送信されるために待ち行列に入れられる。
【０００６】
マスター・コントローラは、ディジタル・カメラに対してＰＩＰをポーリングする。マスター・コントローラがＰＩＰを受信すると、マスター・コントローラはポインタの中線あるいは先端部を表す数をディジタル・カメラの分解能で除算する。次にマスター・コントローラは、この結果をディジタル・カメラの視界（以下、ＦＯＶ：Field of Viewと称する）により乗算し、次に一定の誤差修正較正角度δを減算し、角度φを得る。計算された角度φは、ＰＩＰを生成したディジタル・カメラの視界内に包含されるタッチ・スクリーンの指定された周縁と、画像内のポインタと交差するディジタル・カメラの光軸から延びている直線との間に形成された角度であると推定される。
【０００７】
上述のように、ディジタル・カメラの照準は、ポインタがタッチ・スクリーンに接近したときに、少なくとも２個のディジタル・カメラにより取得された画像内にポインタが捉えられることを保証する。結果として、ポインタがタッチ・スクリーンに接近したときに、少なくとも２つのＰＩＰがマスター・コントローラにより受信され、したがって、マスター・コントローラによって２つの角度が計算される。２つの角度が利用できるので、マスター・コントローラは、取得された画像内でポインタと交差する、ＰＩＰを生成したディジタル・カメラの光軸から延びている直線の交点を決定する。三角測量を使用して、直交座標内のタッチ・スクリーンに対するポインタの位置が計算される。ついで、マスター・コントローラは、このポインタ位置データをパーソナル・コンピュータに送信する。この方法で、パーソナル・コンピュータに送信されたポインタ位置データは、書き込みあるいは描画として記録されることが可能であり、あるいは、コンピュータにより実行されるアプリケーション・プログラムの実行を制御するために使用することができる。さらに、接触表面上に提示された情報がポインタの動きを反映するように、コンピュータはディスプレイ出力を更新する。
【０００８】
上述のように、各ディジタル・カメラは、タッチ・スクリーンの隅に隣接して搭載され、各ディジタル・カメラの視界が接触表面の指定された周縁を含むようにされる。理想的には、マスター・コントローラにより計算された角度がタッチ・スクリーンに対応する基準フレームにもとづくように、各ディジタル・カメラの視界の限界は、タッチ・スクリーンの指定された周縁を超えて既知の量だけ僅かに拡がっている。しかし実際には、機械的公差、光学的効果、およびディジタル・カメラの配置によって、ディジタル・カメラの視界は、タッチ・スクリーンの指定された周縁に対して未知の量だけ角度がオフセットしている。
【０００９】
【発明が解決しようとする課題】
上述したタッチ・システムにおいては、ディジタル・カメラの角度オフセットを考慮するために、角度の計算の中で、一定の誤差修正較正角度δが計算された角度から減算される。当然ながら、この較正は複数のディジタル・カメラの角度オフセットは既知であり等しいと仮定している。残念ながら、各ディジタル・カメラの角度オフセットは通常異なる。さらに、各ディジタル・カメラの角度オフセットは、タッチ・システムの出荷や設置などの際に変化する恐れがある。結果として、ディジタル・カメラの角度オフセットは、一定の誤差修正較正角度によっては、通常正しくは補償されない。ディジタル・カメラの実際の角度オフセットが既知でない限り、接触表面に対するポインタの位置を計算された角度にもとづいて三角測量を使用して計算するとき、計算された位置が実際の位置とは大幅に異なる恐れがある。問題を複雑にすることは、１対のディジタル・カメラの画像データがポインタの位置を三角測量するために使用されるとき、１対のディジタル・カメラによっては、ポインタの計算された位置が大幅に変化する恐れがある。このことが、タッチ・スクリーンに対するポインタの位置を正確に計算することを難しくすることは、十分理解されよう。タッチ・スクリーン上の接触がコンピュータ機能を起動するために使用できるように、タッチ・スクリーンがコンピュータ・ディスプレイに写像される対話型のシステムにおいては、タッチ・スクリーン上にポインタの接触位置を正確に決定することが非常に重要である。
【００１０】
したがって本発明の目的は、三角測量を使用して物体位置の決定を容易にするための、カメラのオフセットを計算する新規な方法を提供することである。
【００１１】
【課題を解決するための手段】
本発明の一つの態様によれば、物体が捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法であって、
前記捉えられた画像は前記基準フレーム内に重なり合う視界を有する少なくとも２個のカメラにより撮られ、少なくとも１個の前記カメラは視界の限界が前記基準フレームの境界を超えて拡がることをもたらすオフセット角度を有するものとし、
前記少なくとも２個のカメラのそれぞれを使用して、前記基準フレーム内の少なくとも１つの場所における前記物体の画像を捉えるステップと、
各場所に対して、
各画像内の前記物体の前記位置を決定するステップと、
各画像に対して前記決定された位置を前記基準フレームの座標系に対応する座標系に配置するステップと、
各場所における前記物体の少なくとも１つの前記位置と前記少なくとも１個のカメラの前記オフセット角度を決定するために、前記決定された位置を処理するステップと、を有する方法が提供される。
【００１２】
この場合、各画像内の前記物体の前記決定された位置は角度φにより表され、前記角度は、前記基準フレームの境界を超えて拡がる前記視界の前記限界と、前記画像内の前記物体と交差する前記カメラから延びる直線との間に形成される角度に等しいこととしてもよい。
【００１３】
また、前記処理の間に、前記角度のそれぞれは前記基準フレーム座標系内の直交座標（ｘi、ｙi）の位置に変換されることとしてもよい。
【００１４】
また、捉えられた画像が矩形の基準フレームの隅にあるカメラにより取得される方法であって、前記カメラのそれぞれは前記基準フレームに対して視界のオフセットを有し、前記処理の間に前記角度φのそれぞれは角度ωに変換され、前記角度ωは、
ω＝α−δ
により表され、ここで、
δは前記カメラのオフセットであり、
αは、前記カメラ・オフセットを除外し、かつ前記基準フレーム座標系の前記ｙ軸を基準とする前記角度φと等しく、前記角度ωのそれぞれは次式に適合され、
【００１５】
【数２】
0004995395.tif 000002
ここで、
ｘcamおよびｙcamは、前記カメラの前記直交座標の座標であり、
ｘiおよびｙiは前記物体の前記直交座標の座標、したがって前記直交座標の位置（ｘi、ｙi）および前記カメラ・オフセットを得る、捉えられた画像が矩形の基準フレームの隅にあるカメラにより取得されることとしてもよい。
【００１６】
また、前記適合は、線形化技法を使用して実行されることとしてもよい。
【００１７】
さらに、前記線形化技法は、ムーア・ペンローズ疑似逆方法であるとしてもよい。
【００１８】
本発明の他の態様によれば、物体の捉えられた画像から基準フレームに対する物体の位置を三角測量にもとづいて決定する方法であって、
前記捉えられた画像は前記基準フレーム内の重なり合う視界を有する少なくとも２個のカメラにより撮られ、前記少なくとも２個のカメラのそれぞれの視界の限界は前記基準フレームの境界を包含しており、前記カメラの少なくとも１個はオフセットしていて前記カメラの視界の限界が前記境界を超えて拡がるものとし、
各画像内の物体の位置を決定するステップであって、各画像内の物体の位置は角度により表されており、前記角度は前記基準フレームの境界を含む視界の限界と前記画像内の物体と交差するカメラから延びる直線との間に形成される角度に等しい、各画像内の物体の位置を決定するステップと、
前記少なくとも１個のカメラの前記オフセット角度を決定するステップと、
前記角度を較正するために、前記少なくとも１個のカメラにより撮られた前記画像内の物体の位置を表す前記角度から前記オフセット角度を減算するステップと、
三角測量を使用して前記基準フレームに対する前記物体の位置を計算するために、前記較正された角度を使用するステップを有する方法が提供される。
【００１９】
この場合、前記少なくとも２個のカメラのそれぞれはオフセットしており、前記少なくとも２個のカメラのそれぞれに対する前記オフセット角度は、前記角度を較正するために決定し使用されることとしてもよい。
【００２０】
本発明のさらに他の態様によれば、重なり合う視界を有する少なくとも２個のカメラと前記カメラの画像データを処理するプロセッサとを備え、基準フレームに対して重なり合う視界内の物体の位置は各カメラにより取得された画像内に捉えられた物体の位置データを三角測量することにより決定されるタッチ・システムを較正する方法であって、
各カメラの前記オフセット角度を前記基準フレームに対して決定するステップと、
前記物体位置データを較正するために、前記オフセット角度を使用するステップと、
前記基準フレームに対する前記物体の前記位置を決定するために、三角測量の間に前記較正された物体の位置データを使用するステップを有する方法が提供される。
【００２１】
本発明のさらに他の態様によれば、基準フレームならびに前記基準フレーム内で重なり合う視界を有する少なくとも２個のカメラを備え、前記基準フレームに対する物体の位置は前記物体の捉えられた画像から三角測量にもとづいて決定され、オフセット角度を定めるために前記少なくとも２個のカメラの前記視界は前記基準フレームの座標系に対して回転されるタッチ・システムを較正する方法であって、
前記少なくとも２個のカメラのそれぞれを使用して、前記基準フレーム内の少なくとも１つの場所において前記物体の画像を捉えるステップと、
各場所に対して、
各画像内の前記物体の前記位置を決定するステップであって、各画像内の前記物体の位置は角度φにより表され、前記角度は前記基準フレームを超えて拡がる前記視界の限界と前記画像内の前記物体と交差する前記カメラから延びる直線との間に形成される角度に等しいとするステップと、
各画像に対して決定された前記角度ならびに基準フレームに設けられた座標系に対する前記少なくとも２個のカメラの位置にもとづいて、前記少なくとも２個のカメラの前記オフセット角度を数学的に計算するステップを有する方法が提供される。
【００２２】
この場合、各カメラの前記オフセット角度は、最小自乗法を使用して計算されることとしてもよい。
【００２３】
本発明のさらに他の態様によれば、タッチシステムであって、
接触表面を取り囲む全体として矩形の基準フレームであり、１つの隅が前記接触表面に設けられる座標系の原点を定める、基準フレームと、
前記基準フレームのそれぞれの隅に隣接するカメラであり、各カメラは前記接触表面に向けられていて前記カメラの視界内の前記接触表面の画像を捉え、前記カメラの視界は前記基準フレーム内で重なり合い、前記カメラの視界は前記基準フレームに対してオフセットしているカメラと、
前記捉えられた画像を処理し、画像内に物体が現れたときに物体の位置データを生成するプロセッサであり、前記プロセッサは前記物体の位置データを使用して矩形の座標における前記原点に対する前記物体の位置を三角測量にもとづいて決定し、前記プロセッサはさらに前記カメラのオフセット角度を決定するために較正ルーチンを実行し、前記位置決定に先だって前記物体の位置データを調整するために前記オフセット角度を使用するプロセッサと、により、前記捉えられた画像を処理し画像内に物体が現れるときに物体の位置データを生成するプロセッサを有するタッチ・システムが提供される。
【００２４】
本発明のさらに他の態様によれば、複数のカメラのオフセット角度を決定するコンピュータ・プログラムを格納するコンピュータで読み取り可能な媒体であって、
前記コンピュータ・プログラムは、
基準直交座標系の全体にわたる異なる位置の複数のカメラにより生成された物体の位置データにもとづいてカメラのオフセット角度を決定し、各カメラにより生成された前記物体の位置データは前記カメラの前記視界内の少なくとも１つの場所における前記それぞれのカメラの視界内の物体の位置を表すものであり、
各カメラにより生成された前記物体の位置データを前記直交座標系に関連づけるコンピュータ・プログラムコードと、
前記関連づけられた物体の位置データと前記座標系に対する前記カメラの位置にもとづいて、各カメラの前記オフセット角度を数学的に計算するコンピュータ・プログラムコードを有するコンピュータ読み取り可能な媒体が提供される。
【００２５】
上記のように構成される本発明においては、実際のディジタル・カメラのオフセットは実時間で計算されるので、ディジタル・カメラの視界はタッチ・スクリーンの座標系に対応する座標系に基準づけることが可能であるという点で、本発明は利点がある。この方法では、一対のディジタル・カメラの視界内の物体の位置が三角測量を使用して計算される場合、物体の計算された位置はタッチ・スクリーンに対する物体の実際の位置と非常に高精度で一致する。さらに、ディジタル・カメラのオフセットはタッチ・システムの設置後に実行される較正ルーチンで高精度で数学的に計算されるので、製造時におけるディジタル・カメラの高精度搭載の必要性は緩和される。ディジタル・カメラの搭載に対する機械的公差を緩和しうるので、本タッチ・システムは、高い分解能を保証しつつ、より速く、かつ低コストで製造することが可能である。
【００２６】
【発明の実施の形態】
図１は、ＰＣＴ特許出願公開明細書第０２／０３３１６号に説明された形式のタッチ・システムを示し、全体として参照番号５０により識別される。
【００２７】
図からわかるように、タッチ・システム５０は、ディジタル信号処理プロセッサ（ＤＳＰ）ベースのマスター・コントローラ５４と結合したタッチ・スクリーン５２を有する。マスター・コントローラ５４は、さらにコンピュータ５６に結合されている。コンピュータ５６は、１つまたは複数のアプリケーション・プログラムを実行し、プロジェクタ５８を介してタッチ・スクリーン５２に提示されるディスプレイ出力を供給する。利用者がタッチ・スクリーン５２に接触すると、コンピュータ５６により書き込みあるいは描画として記録されるように、あるいは、コンピュータ５６により実行されるアプリケーション・プログラムの実行を制御するために使用できるように、タッチ・スクリーン５２、マスター・コントローラ５４、コンピュータ５６およびプロジェクタ５８は、システムを形成している。
【００２８】
コンピュータ５６が実行するアプリケーション・プログラムは、複数のカメラのオフセット角度を決定するコンピュータ・プログラムを格納するコンピュータ５６が読み取り可能な媒体であって、コンピュータ・プログラムは、基準直交座標系の全体にわたる異なる位置の複数のカメラにより生成された物体の位置データにもとづいてカメラのオフセット角度を決定し、各カメラにより生成された物体の位置データは前記カメラの前記視界内の少なくとも１つの場所における前記それぞれのカメラの視界内の物体の位置を表すものであり、各カメラにより生成された前記物体の位置データを前記直交座標系に関連づけるコンピュータ・プログラムコードと、関連づけられた物体の位置データと座標系に対するカメラの位置にもとづいて、各カメラの前記オフセット角度を数学的に計算するコンピュータ・プログラムコードを有するコンピュータ５６が読み取り可能な媒体により提供されるものであり、本発明は媒体をも含む。
【００２９】
図２は、タッチ・スクリーン５２の構成を詳細に示す図である。図２からわかるように、タッチ・スクリーン５２は、矩形のフレーム６２により縁取りされた接触表面６０を有する。接触表面６０は、受動性材料の矩形の平坦な薄板である。ディジタル信号処理プロセッサが組み込まれたＣＭＯＳディジタル・カメラＤＣcamは、タッチ・スクリーン５２のそれぞれの隅に隣接してマウントされている。各ディジタル・カメラＤＣcamは、その視界が接触表面６０の指定された周縁を含むように、接触表面６０に向けられている。図２に示す指定では、ディジタル・カメラＤＣ０およびＤＣ３の視界は接触表面６０の下部の水平な端縁６２ａを包含し、ディジタル・カメラＤＣ1およびＤＣ2の視界は接触表面６０の上部の水平な端縁６２ｂを包含している。
【００３０】
機械的公差、光学的効果、および接触表面６０に対するディジタル・カメラの配置によって、各ディジタル・カメラＤＣcamの視界は、視界が含む接触表面６０の指定された周縁に対して、通常は角度がオフセットしている。各ディジタル・カメラの角度のオフセットは、角度δcamにより示されている。
【００３１】
タッチ・システム５０の動作中は、各ディジタル・カメラＤＣcamは、その視界の中の接触表面６０の画像を所望のフレーム・レートで取得する。捉えられた画像内にポインタがあるかどうかを決定するために、取得された画像はディジタル・カメラＤＣcamにより処理される。取得された画像内にポインタが有れば、捉えられた画像内のポインタの中線あるいは先端部を決定するために、捉えられた画像は画像を取得したディジタル・カメラによりさらに処理される。ポインタの中線あるいは先端部は、数によって表される。このポインタ情報はディジタル・カメラＤＣcamによりポインタ情報パケット（ＰＩＰ）に変換され、ＰＩＰはマスター・コントローラ５４に送信されるために待ち行列に入れられる。上述の画像処理に関する詳細は、ＰＣＴ特許出願公開明細書第０２／０３３１６号に説明されている。
【００３２】
マスター・コントローラ５４は、ディジタル・カメラに対してＰＩＰをポーリングする。マスター・コントローラ５４がＰＩＰを受信すると、マスター・コントローラは、次式を使用して角度φcamを計算するために、ポインタの中線あるいは先端部を表す数とディジタル・カメラの視界を使用する。
【００３３】
【数３】
0004995395.tif 000003
ここで、
ｘは、ディジタル・カメラで取得された画像中のポインタの中線あるいは先端部を表す画素位置であり、ａは、ディジタル・カメラの分解能、すなわち各画素列における画素の総数である。
【００３４】
計算された角度φcamは、ＰＩＰを生成したディジタル・カメラの接触表面６０の指定された周縁を超えて延びている視界の限界と、画像内のポインタと交差するディジタル・カメラの光軸から延びている直線との間に形成された角度に等しい。視界の限界は、視界内の接触表面６０の指定された周縁（すなわち、この場合にはｘ軸）を超えて既知の量だけ延びていることが望ましい。しかし、ほとんどすべての場合に、各ディジタル・カメラＤＣの角度のオフセットは異なり、かつ未知である。
【００３５】
ポインタが接触表面６０に接近すると、少なくとも２つのディジタル・カメラにより取得された画像にポインタは収集される。結果として、少なくとも２つのＰＩＰがマスター・コントローラ５４により受信され、したがって、マスター・コントローラ５４により２つの角度φcamが計算される。２つの角度φcamが利用できるので、マスター・コントローラ５４は、取得された画像内でポインタと交差する、ＰＩＰを生成したディジタル・カメラの光軸から延びている直線の交点を決定することができる。直交座標内のタッチ・スクリーンに対するポインタの位置は、ディジタル・カメラＤＣcamの視界の限界が接触表面６０の指定された周縁を超えて延びている量が既知であれば、三角測量を使用して正確に計算することが可能である。しかし、角度φcamが接触表面の指定された周縁に対して偏っている量は未知であるから、この方法でポインタの位置を計算すると、接触表面６０に対するポインタの実際の位置を正確には決定しない。結果として、接触表面６０に対するポインタの実際の位置が決定されるように、ディジタル・カメラＤＣcamの角度のオフセットδcamを考慮するために、タッチ・システム５０の較正が必要である。
【００３６】
タッチ・システム５０を較正するためには、計算された角度φcamのそれぞれを接触表面６０上の矩形の位置（ｘi，ｙi）に変換することが必要である。接触表面６０上の座標（ｘi，ｙi）と角度φcamの間には、この変換の実行を可能にする関係が存在する。タッチ・スクリーン座標系の原点がディジタル・カメラＤＣ0にあり、タッチ・スクリーンの水平および垂直の寸法がそれぞれＢxおよびＢyであるとすれば、次式が適用される。
【００３７】
【数４】
0004995395.tif 000004
各角度φcamをタッチ・スクリーン座標系に対応する共通の基準フレームに関係づけ、すべての４個のディジタル・カメラＤＣcamに適用する単一の数式を創り出すためには、上の数式においていくつかの定義を変えることが必要である。最初に、次式により定義される１組の角度βcamを導入する。
【００３８】
【数５】
0004995395.tif 000005
角度βcamは、タッチ・スクリーンの指定された周縁、この場合には水平な端縁６２ａおよび６２ｂ、を基準とする角度φcamである。次に、タッチ・スクリーン座標系のｙ軸を基準とし、次のように角度βcamと関連する１組の角度αcamを導入する。
【００３９】
【数６】
0004995395.tif 000006
αcamは、ｙ軸の負方向を基準として時計回りに測られる角度に相当する。ここまでの説明ではオフセット角度δcamは角度の大きさで表されていたが、αcamをこのように定めたことに対応して、以下では、オフセット角度δcamは、その絶対値はここまでの説明におけるものと同じものであるが、タッチ・スクリーンの指定された周縁から時計回り方向にオフセット角度が測られる場合には正、反時計回り方向に測られる場合には負の値を有するものとする。
最後に、角度αcamに関連する角度ωcamの第３の組を次のように導入する。
【００４０】
【数７】
0004995395.tif 000007
角度αcamを数式（０．７）から（０．１０）に述べた定義で置換し、角度βcamを数式（０．６）に述べた定義で置換すれば、角度ωcamを次式のように表現することができる。
【００４１】
【数８】
0004995395.tif 000008
数式（０．１２）から（０．１５）は、角度φcamをタッチ・スクリーン座標系に対応する基準フレームに代入することを可能にすることが、理解されよう。さらに、角度αcamは次式で表現することができる。
【００４２】
【数９】
0004995395.tif 000009
角度αcamを角度ωcamに関して表現すれば、次式を得る。
【００４３】
【数１０】
0004995395.tif 000010
したがって、接触表面６０上の少なくとも１つのポインタ接触点に対応する角度φcamが得られるとすれば、数式（０．１７）は、タッチ・スクリーンに接近しているポインタの直交座標（ｘi、ｙi）とディジタル・カメラＤＣcamのオフセット角度δcamとを計算することを可能にする形態で、角度ωcamを適合させる方法を与える。これは、接触表面上の所与の接触に対して、角度ωcamは数式（０．１２）から（０．１５）を使用して計算可能であり、タッチ・スクリーン座標系に対してディジタル・カメラＤＣcamの座標（ｘcam、ｙcam）は既知であり、ポインタ座標（ｘi、ｙi）は各ディジタル・カメラに対して同一である、という事実に依存している。しかし、数式（０．１７）は座標（ｘi、ｙi）において非線形であるので、角度ωcamを適合させるためには線形化技法を使用することが必要である。
【００４４】
したがって本発明によれば、タッチ・システム５０の較正の間に、ポインタは複数の接触点において接触表面６０に接触するように使用される。接触表面６０上の各接触点（ｘi、ｙi）に対して、各接触点は各ディジタル・カメラＤＣcamの視界内にあると仮定して、角度ω0からω3が計算される。数式（０．１７）を使用して、連立方程式が作られる。この連立方程式から、各接触点（ｘi、ｙi）の座標、および各ディジタル・カメラＤＣcamのオフセット角度δcamが、非線形最小二乗法技法を使用して決定できる。較正の間に使用された接触点の数によって、この連立方程式は優決定、あるいは劣決定である。
【００４５】
この連立方程式が優決定であるか劣決定であるかにかかわらず、この連立方程式の処理を統一するために、特異値分割（以下、ＳＶＤ：Singular Value Decompositionと称する）にもとづくムーア・ペンローズ疑似逆方法（Moore-Penrose pseudo-inverse method）が最小２乗解を決定するために使用される。
【００４６】
マトリックスは常に次の方法で分解し得ることは、十分理解されよう。
【００４７】
【数１１】
0004995395.tif 000011
マトリックスＡは、任意の形状を有することができる。マトリックスＵおよびＶは直交行列であり、次式を意味する。
【００４８】
【数１２】
0004995395.tif 000012
対角行列Ｓは、マトリックスＡの固有値の２乗に関連するマトリックスＡの特異値により完全に構成される。特異値分割の重要性（ＳＶＤ）は、特異値分割を使用してマトリックスＡの逆が常に計算できるという事実にある。さらに、不完全に決定された問題（poorly determined problem）が生じたときに、この反転を制御することが可能である。解が
【００４９】
【数１３】
0004995395.tif 000013
となるであろう連立１次方程式
【００５０】
【数１４】
0004995395.tif 000014
を考える。
【００５１】
マトリックスＵおよびＶは共に直交行列であるから、ＳＶＤはマトリックスＡの逆を次式により表すことを可能にする。
【００５２】
【数１５】
0004995395.tif 000015
不完全に決定された状態において、いくつかの特異値は非常に小さいであろう、その結果マトリックスＳ-1が形成されるとき大きい値が生じ、それは望ましくない。この場合に、最小の特異値の逆は零に設定される。これは、解の不完全に決定された部分を除外する効果を有する。最小２乗問題に対して、これは強力な道具である。最小２乗問題に対する通常の標準方程式法は、優決定の場合には、
【００５３】
【数１６】
0004995395.tif 000016
を解くことにもとづいており、劣決定の場合には、
【００５４】
【数１７】
0004995395.tif 000017
を解くことにもとづいている。結果として、連立方程式に対する解は、劣決定あるいは優決定のどの場合にも、１つの方法を使用して決定することが可能である。
【００５５】
ディジタル・カメラＤＣcamに対するオフセット角度δcamが判れば、オフセット角度δcamは、マスター・コントローラ５４によりメモリに格納される。タッチ・システム５０の動作の間、マスター・コントローラ５４が角度φcamを計算する時、結果を調整するために、ディジタル・カメラの実際のオフセット角度δcamが使用される。したがって、接触表面６０に対するポインタの位置を決定するために、計算された角度φcamを使用してマスター・コントローラ５４により三角測量が実行される場合、計算された位置は接触表面６０に対するポインタの実際の位置を正確に反映する。これは、角度φcamがタッチ・スクリーンの指定された周縁、したがって、タッチ・スクリーン座標系を基準としている事実に依存している。
【００５６】
タッチ・システム５０は画像をタッチ・スクリーンに投射するためのプロジェクタを有すると説明したが、これは必要ではないことを当業者は十分理解するであろう。タッチ・スクリーンは透明でも半透明でもよく、また、ディスプレイ装置上に提示されるディスプレイがタッチ・スクリーンを介して見えるように、ディスプレイ装置の上に置かれてもよい。さらに、タッチ・スクリーンは、フレームにより縁取りされた矩形の薄板である必要はない。実際には、タッチ・スクリーンは２個以上のカメラの重なる視界内の実質的に任意の表面であってよい。
【００５７】
角度ωcamを数式（０．１７）に適合させるためにムーア・ペンローズ疑似逆方法が使用されたが他の数学的線形化技法が使用できることを、当業者は十分理解するであろう。たとえば、２次のニュートン最小自乗法あるいはガウス・ニュートン最小自乗法を使用して、角度ωcamを数式（０．１７）に適合させることができる。
【００５８】
タッチ・システム５０は、タッチ・スクリーンのそれぞれの隅に隣接して１個ずつ位置する４個のディジタル・カメラを有するものとして示されたが、異なる数のカメラを有するタッチ・システムにも、較正方法は適用できる。たとえば、図３は、２個のみのディジタル信号処理プロセッサベースのディジタル・カメラＤＣcamを有するタッチ・スクリーン５２'を示す。ディジタル・カメラに対するディジタル・カメラ・オフセットδを決定するためには、タッチ・スクリーンに対する座標系を定義することが最初に必要である。この例においては、ディジタル・カメラＤＣ'１が座標系の原点にあるとし、ｘ軸は右方を指し、ｙ軸は下方を指している。垂直のタッチ・スクリーン次元Ｂｙが除外されるように、この条件が使用される。
【００５９】
図３から、角度φcamは次式により定義されることが判る。
【００６０】
【数１８】
0004995395.tif 000018
ここで、Ｂｘは、ディジタル・カメラＤＣ'1とＤＣ'2の間の水平距離である。これらの数式をｘおよびｙに対して解くことにより、初期の推定値は次式となる。
【００６１】
【数１９】
0004995395.tif 000019
ここで必要な情報は、まさに変数Ｂxに対する項を含む計画行列の要素である。これらを、適切な関数の勾配として表現すると次式を得る。
【００６２】
【数２０】
0004995395.tif 000020
これが意味することのすべては、Ｂxの変化に対応して計画行列に特別の列があることである。
【００６３】
この場合には、角度ωcamおよびオフセット角度δcamを注意深く定めることが必要である。この場合、角度ωcamは次式で表現される。
【００６４】
【数２１】
0004995395.tif 000021
さらに、オフセット角度の最終値に１８０度を加え、符号を反転することによって、オフセット角度δcamの正確な方向が得られる。
本連立方程式は劣決定であるから、最小二乗法最小ノルム解（least squares minimum-norm solution）が使用される。訂正ベクトル
【００６５】
【外１】
0004995395.tif 000022
は、次式により得られる。
【００６６】
【数２２】
0004995395.tif 000023
タッチ・スクリーン５２'の隅に位置する２個のディジタル・カメラを有することに加えて、ディジタル・カメラＤＣ'camは、タッチ・スクリーンに対して図４に示す構成で位置してもよい。この例においては、対角線の距離ｄがディジタル・カメラを分離している。ディジタル・カメラＤＣ'1が（ｘc，０）に位置し、ディジタル・カメラＤＣ'2が（０，ｙc）に位置していれば、距離ｄは次式により与えられる。
【００６７】
【数２３】
0004995395.tif 000024
角度φcamは、次式により定義される。
【００６８】
【数２４】
0004995395.tif 000025
（ｘi，ｙi）に対して解くと、次式を得る。
【００６９】
【数２５】
0004995395.tif 000026
角度φcamに対する一般式は次式で与えられるが、上記の数式は良い初期推定値である。
【００７０】
【数２６】
0004995395.tif 000027
ここで、カメラ・オフセット角度δcamが導入される。
【００７３】
本システムは、基準フレーム内の表面に対する一対のカメラの重なる視界の中の直交座標内の物体の位置を正確に決定できるように、カメラ・オフセットが直交基準フレーム（Cartesian reference frame）に関連して決定されることを可能にすることが十分理解されよう。
【図面の簡単な説明】
【図１】本発明によるタッチ・システムの略図である。
【図２】図１に示すタッチ・システムの一部を形成するタッチ・スクリーンの正面図であり、カメラのオフセット角度を示している。
【図３】タッチ・スクリーンの他の実施例の正面図である。
【図４】タッチ・スクリーンのさらに他の実施例の正面図である。
【符号の説明】
５０    タッチ・システム
５２    タッチ・スクリーン
５４    マスター・コントローラ
５６    コンピュータ
５８    プロジェクタ
６０  接触表面
【図１】
0004995395.tif 000031
【図２】
0004995395.tif 000032
【図３】
0004995395.tif 000033
【図４】
0004995395.tif 000034