(57)【要約】タッチスクリーン（１０）のタッチ・センサー境界内の面上に位置されるオブジェクトまたは複数オブジェクトの位置、大きさおよび形を検出するためのシステム、方法および装置が開示される。
2008533581.tif 000002
【特許請求の範囲】
【請求項１】
タッチスクリーンのタッチ・センサー境界内の面上に位置される少なくとも一つのオブジェクトの位置、形および大きさを検出する方法であって、前記タッチスクリーンは複数の光送信機Li｛i＝1〜N｝および複数のセンサーSk｛k＝1−M｝をその周上に含んでおり、当該方法は：
（ａ）前記N個の光送信機Liのそれぞれについて較正データを取得する工程と；
（ｂ）前記N個の光送信機Liのそれぞれについて非較正データを取得する工程と；
（ｃ）前記較正データおよび前記非較正データを使って前記少なくとも一つのオブジェクトのN個の最小領域推定を計算する工程と；
（ｄ）前記N個の最小領域推定を組み合わせて前記少なくとも一つのオブジェクトの総最小オブジェクト領域推定を導出する工程と；
（ｅ）前記較正データおよび前記非較正データを使って前記少なくとも一つのオブジェクトのN個の最大領域推定を計算する工程と；
（ｆ）前記N個の最大領域推定を組み合わせて前記少なくとも一つのオブジェクトの総最大オブジェクト領域推定を導出する工程と；
（ｇ）前記総最小オブジェクト領域推定と前記総最大オブジェクト領域推定とを組み合わせて前記少なくとも一つのオブジェクトの境界領域を導出する工程とを有する、方法。
【請求項２】
較正データを取得する前記工程（ａ）が、ある第一の光送信機で始まりある最後の光送信機で終わる１動作サイクルにわたって実行される、請求項１記載の方法。
【請求項３】
較正データを取得する前記工程（ａ）がさらに：
前記N個の光送信機のそれぞれLiを、所定の序列で、所定の時間にわたって点灯させる工程と；
i番目の光送信機Liの点灯時の間、前記M個のセンサーのそれぞれSkにおいて前記i番目の光送信機Liからの光信号の存否を検出する工程と；
前記M個のセンサーのそれぞれSkについて前記i番目の光送信機からの前記光信号の検出された存否を前記較正データとして保存する工程とを有する、
請求項２記載の方法。
【請求項４】
較正データを取得する前記工程（ａ）が、前記タッチスクリーンの面内にオブジェクトが存在しない状態で実行される、請求項２記載の方法。
【請求項５】
前記工程（ｂ）ないし（ｇ）が、複数の逐次的な動作サイクルにわたって実行される、請求項１記載の方法。
【請求項６】
前記工程（ｂ）がさらに：
（ａ）前記N個の光送信機のそれぞれLiを、所定の序列で、所定の時間にわたって点灯させる工程と；
（ｂ）i番目の光送信機Liの点灯時の間、前記M個のセンサーのそれぞれSkにおいて前記i番目の光送信機Liからの光信号の存否を検出する工程と；
（ｃ）前記M個のセンサーのそれぞれSkについて前記i番目の光送信機からの前記光信号の存否を前記非較正データとして保存する工程とを有する、
請求項１記載の方法。
【請求項７】
非較正データを取得する前記工程（ｂ）が、前記少なくとも一つのオブジェクトが存在するときに実行される、請求項６記載の方法。
【請求項８】
前記工程（ｃ）がさらに：
（１）データ貯蔵所から較正データを取得する工程と；
（２）前記データ貯蔵所から非較正データを取得する工程と；
（３）取得された較正データから、i番目の光送信機によって照射されたセンサーの範囲を決定する工程と；
（４）取得された非較正データから、前記i番目の光送信機によって照射されなかったセンサーの範囲を決定する工程と；
（５）前記少なくとも一つのオブジェクトについて、前記工程（３）で決定されたi番目の光送信機によって照射されたセンサーの範囲と、前記工程（４）で決定されたi番目の光送信機によって照射されたセンサーの範囲とから、i番目の最小領域推定を計算する工程と；
（６）前記工程（３）〜（５）を各光送信機Liについて繰り返す工程とを有する、
請求項１記載の方法。
【請求項９】
前記N個の最小領域推定を保存する工程をさらに有する、請求項８記載の方法。
【請求項１０】
前記工程（ｄ）がさらに、前記工程（ｃ）で計算された前記N個の最小領域推定の数学的な交わりを実行する工程を有する、請求項１記載の方法。
【請求項１１】
前記N個の最小領域推定の数学的な交わりが：
【数１】
2008533581.tif 000014
として計算される、請求項１０記載の方法。
【請求項１２】
前記N個の最大領域推定を保存する工程をさらに有する、請求項８記載の方法。
【請求項１３】
前記工程（ｅ）がさらに、前記工程（ｅ）で計算された前記N個の最大領域推定の数学的な交わりを実行する工程を有する、請求項１記載の方法。
【請求項１４】
前記N個の最大領域推定の数学的な交わりが：
【数２】
2008533581.tif 000015
として計算される、請求項１３記載の方法。
【請求項１５】
前記工程（ｇ）がさらに、前記工程（ｄ）で導出された総最小オブジェクト領域推定と前記工程（ｆ）で導出された総最大オブジェクト領域推定との数学的な交わりを実行する工程をさらに有する、請求項１記載の方法。
【請求項１６】
前記所定の序列が、（ａ）単純な序列、（ｂ）最適化された序列および（ｃ）対話的な序列のうちの一つである、請求項６記載の方法。
【請求項１７】
前記N個の光送信機のそれぞれを、前記単純な序列に従って点灯させることが：
（ｉ）前記タッチスクリーンの周に位置しているある第一の光送信機を前記所定の時間にわたって点灯させる工程と；
（ｉｉ）前記タッチスクリーンの周に位置している、時計回りまたは反時計回りのどちらかの方向で隣の光送信機に進む工程と；
（ｉｉｉ）前記タッチスクリーンの周に位置している前記隣の光送信機を前記所定の時間にわたって点灯させる工程と；
（ｉｖ）前記タッチスクリーンの周に位置している各光送信機について前記工程（ｉｉ）〜（ｉｉｉ）を反復する工程とを有する、
請求項１６記載の方法。
【請求項１８】
前記N個の光送信機のそれぞれを、前記最適化された序列に従って点灯させることが：
（ｉ）前記タッチスクリーンの周の各隅に位置している光送信機を逐次的に所定の時間にわたって点灯させる工程と；
（ｉｉ）最大検出情報を提供するために、前記タッチスクリーンの周に位置している少なくとも一つの追加的光送信機を選択する工程と；
（ｉｉｉ）タッチスクリーンの前記選択された少なくとも一つの追加的光送信機を点灯させる工程とを有する、
請求項１６記載の方法。
【請求項１９】
前記N個の光送信機のそれぞれLiを、前記対話的な序列に従って点灯させることが：
（ｉ）前の動作サイクルから非較正データを取得する工程と；
（ｉｉ）今の動作サイクルにおいて、前記非較正データから、前記少なくとも一つのオブジェクトの以前に検出された位置に基づいて、前記光送信機のうちどれを点灯させるべきかを決定する工程と；
（ｉｉｉ）工程（ｉｉ）で決定された前記光送信機を、あるさらなる所定の序列で、前記所定の時間にわたって点灯させる工程と；
（ｉｖ）タッチスクリーンの各隅の光送信機のそれぞれを点灯させる工程とを有する、
請求項１６記載の方法。
【請求項２０】
タッチスクリーンのタッチ・センサー境界内の面上に位置される少なくとも一つのオブジェクトの位置、形および大きさを検出する装置であって、前記タッチスクリーンは該タッチスクリーンの周のまわりに配置された複数の光送信機およびセンサーを有している、装置。
【請求項２１】
前記複数の光送信機と前記複数のセンサーが、前記タッチスクリーンの周のまわりに交互パターンで配置されている、請求項２０記載の装置。
【請求項２２】
前記タッチスクリーンの形が、正方形、円およびオーバルのうちの一つである、請求項２０記載の装置。
【請求項２３】
各送信機が、それぞれの点灯時の間に、ある特徴的な光ビーム幅をもつ光ビームを送出する、請求項２０記載の装置。
【請求項２４】
前記特徴的な光ビーム幅が異なる光送信機については異なることができる、請求項２３記載の装置。
【請求項２５】
前記複数の光送信機は前記タッチスクリーンの周のまわりである第一の面内に位置しており、前記複数のセンサーは前記タッチスクリーンの周のまわりである第二の面内に配置されており、前記第二の面は前記第一の面に実質的に隣接する、請求項２０記載の装置。
【請求項２６】
前記光送信機のそれぞれが、前記タッチスクリーンの周のまわりに等間隔で離間されている、請求項２０記載の装置。
【請求項２７】
前記光送信機のそれぞれが、前記タッチスクリーンの周のまわりに不均等な間隔で離間されている、請求項２１記載の装置。
【請求項２８】
前記光送信機のうちあるものの前記タッチスクリーンの中心に向かう配向が、前記タッチスクリーンに垂直でない、請求項２１記載の装置。
【請求項２９】
タッチスクリーンのタッチ・センサー境界内の面上に位置される少なくとも一つのオブジェクトの位置、形および大きさを検出する装置であって、前記タッチスクリーンは複数の光送信機Li｛i＝1〜N｝および複数のセンサーSk｛k＝1−M｝をその周上に含んでおり、当該システムは：
前記N個の光送信機Liのそれぞれについて較正データを取得する手段と；
前記N個の光送信機Liのそれぞれについて非較正データを取得する手段と；
前記較正データおよび前記非較正データを使って前記少なくとも一つのオブジェクトのN個の最小領域推定を計算する手段と；
前記N個の最小領域推定を組み合わせて前記少なくとも一つのオブジェクトの総最小オブジェクト領域を導出する手段と；
前記較正データおよび前記非較正データを使って前記少なくとも一つのオブジェクトのN個の最大領域推定を計算する手段と；
前記N個の最大領域推定を組み合わせて前記少なくとも一つのオブジェクトの総最大オブジェクト領域を導出する手段と；
前記総最小オブジェクト領域と前記総最大オブジェクト領域とを組み合わせて前記少なくとも一つのオブジェクトの実際のオブジェクト領域を導出する手段とを有する、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概括的にはタッチスクリーン・ディスプレイに、より詳細にはタッチスクリーン・ディスプレイと相互作用する複数オブジェクトの位置・大きさ・形を検出するための方法および装置に関する。
【背景技術】
【０００２】
タッチスクリーンは、コンピュータ駆動のシステムのためのマン‐マシン・インターフェースを提供するためにポインティング・センサーとして普通に使われている。典型的には、光学式タッチスクリーンのためには、ディスプレイ画面の周のまわりにいくつかの赤外線光学式放射器（すなわち送信機）および検出器（すなわち受信機）が配置され、複数の交差する光路を形成する。ユーザーがディスプレイ画面に触れると、ユーザーの指が、垂直に配置された送信機／受信機対のうちのあるものの光伝送を遮る。遮られた対の識別情報に基づいて、タッチスクリーン・システムは遮断の位置を決定できる（単一点相互作用）。そのようなスクリーンでは、ユーザーは、メニュー・オプションまたはボタンなどの選択肢が表示されている画面の領域に触れることによって特定の選択肢を選択できる。この垂直光ビームの使用は、広く用いられているものの、オブジェクトの形および大きさを効率的に検出することはできない。垂直光ビームの使用はまた、複数オブジェクトまたは複数タッチ点を検出することもできない。
【０００３】
したがって、タッチスクリーン・アプリケーションが、複数タッチ点を検出できることに加えて、オブジェクトの形および大きさを判別できることが望ましい。そうしたアプリケーションは、一つまたは複数のオブジェクトの透過性および反射性を判別できるようにしても有益であろう。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、タッチスクリーン・ディスプレイのタッチ・センサー境界内で面上に位置される一つまたは複数のオブジェクトの位置、大きさおよび形を検出するための方法および装置を提供する。単数オブジェクトまたは複数オブジェクトの反射性および透過性を検出するための方法も提供される。
【課題を解決するための手段】
【０００５】
本発明のある側面によれば、タッチスクリーン・ディスプレイのタッチ・センサー境界内で面上に位置される単数のオブジェクトまたは複数のオブジェクトの位置、大きさおよび形を検出する装置は、ある実施形態によれば、タッチスクリーンの周上に交互パターンで配置された複数の光送信機（N）およびセンサー（M）含む。
【０００６】
本発明のもう一つの側面によれば、単数のオブジェクトまたは複数のオブジェクトの位置、大きさおよび形を検出する方法は：（ａ）タッチスクリーン・ディスプレイの周のまわりに配置された（N個の）光送信機Liのそれぞれについて較正データを取得する工程と；（ｂ）（N個の）光送信機Liのそれぞれについて非較正データを取得する工程と；（ｃ）工程（ａ）および（ｂ）で計算された較正データおよび非較正データを使ってタッチスクリーン・ディスプレイの面内に位置する少なくとも一つのオブジェクトのN個の最小領域推定を計算する工程と；（ｄ）N個の最小領域推定を組み合わせて前記少なくとも一つのオブジェクトの総最小オブジェクト領域を導出する工程と；（ｅ）工程（ａ）および（ｂ）で計算された較正データおよび非較正データを使って前記少なくとも一つのオブジェクトの（N個の）最大領域推定を計算する工程と；（ｆ）N個の最大領域推定を組み合わせて前記少なくとも一つのオブジェクトの総最大オブジェクト領域を導出する工程と；（ｇ）前記総最小オブジェクト領域と前記総最大オブジェクト領域とを組み合わせて前記少なくとも一つのオブジェクトの境界領域を導出する工程とを有する。
【０００７】
ある実施形態によれば、光送信機および受信機は、近接した別個の平行平面内に位置されることができる。そのような実施形態では、光送信機および受信機の密度が実質的に上げられ、よって前記少なくとも一つのオブジェクトの位置、形および大きさを定義する解像度および精度の上昇がもたらされる。
【０００８】
ある側面によれば、特定の型の光センサーを用いてある種のオブジェクトの反射率あるいは逆に透過率を検出し、よってオブジェクトを構成する物質の光学的性質に関する追加的情報を提供する機能を提供することができる。たとえば、光の透過、反射、吸収の検出された相違に基づいて、タッチスクリーンは人間の手、スタイラスあるいは電子ボードゲームで使われる駒の間の区別ができる。
【０００９】
本発明の以上の特徴は、付属の図面とともに考慮される本発明の例示的な実施形態の以下の詳細な記述を参照することによってより容易に明らかとなり、理解されうる。
【００１０】
以下の詳細な記述は例示のために数多くの特定的事項を含むが、当業者は、以下の記述に対する数多くの変形および変更が本発明の範囲内であることを理解するであろう。したがって、以下の本発明の好ましい実施形態は特許請求される発明の一般性を何ら失わせることなく、限定を課すこともなく述べられるものである。
【００１１】
本発明は、ここではタッチスクリーン（すなわち、タッチ感応技術を組み込んだディスプレイ）との関連で記述および例解されるが、本発明はディスプレイ画面の使用を必須とするものではない。むしろ、本発明は、ディスプレイ画面を含むことのない単体の構成で使用されてもよい。
【００１２】
本明細書を通じた「タッチスクリーン」の語の使用は、ディスプレイ画面があるものとないものを含め、他のすべてのそのようなXY実装、アプリケーションまたは動作モードを含意することが意図されていることも理解しておくべきである。本発明が赤外線光送信機を使うことにのみ制限されるものではないことも理解しておくべきである。可視または不可視のいかなる光源でも、適切な検出器と組み合わせて使うことができる。可視光を発する光送信機は、タッチスクリーン内に位置されるオブジェクトに対して視覚的なフィードバックを与えるので、場合によっては追加的な利点を与えることがありうる。そのような場合の視覚的フィードバックとは、送信機からの光がオブジェクトそのものによって打ち切られることである。
【００１３】
以下に詳細に述べるように、光送信機のスイッチング順は、異なる実施形態では意図される用途に依存して異なっていてもよい。
【発明の効果】
【００１４】
本発明の検出方法の効果は、これに限られないが、たとえば、単数および／または複数のユーザーに属する単数または複数の手、単数または複数の指を含む複数オブジェクトの同時検出を含み、それにより、本発明は、新たなタッチスクリーン・アプリケーションの創生に加えて従来式のタッチスクリーン・アプリケーションにも適用可能となる。手および／またはオブジェクトを検出する能力は、ユーザーが、単一のユーザー動作で大きさ、形、距離のような情報を入力するという従来技術では達成できなかったことを許容する。
【００１５】
タッチスクリーン上の複数のオブジェクト、手および／または指を同時に検出する能力は、複数のユーザーがタッチスクリーン・ディスプレイと同時に対話することを許容し、あるいは単一のユーザーがタッチスクリーン・ディスプレイと二つの手を使って同時に対話することを許容する。
【発明を実施するための最良の形態】
【００１６】
本詳細な記述の残りの部分は次のように構成される。
【００１７】
第一に、赤外線光学式タッチスクリーン・ディスプレイと相互作用する一つまたは複数のオブジェクトの大きさ、形および位置を検出する方法の詳細な記述が与えられる。この記述は、どのようにして較正が実行されるかと、最小境界領域推定および最大境界領域推定を計算する動作を含めた非較正モードにおけるオブジェクト境界領域の計算との解説例を含む。
【００１８】
第二に、オブジェクト認識を実行する技術の詳細な記述が与えられる。
【００１９】
第三に、種々のスイッチング方式の詳細な記述が与えられる。
【００２０】
第四に、省エネルギーまたはアイドル・モードの詳細な記述が与えられる。
【００２１】
第五に、オブジェクトの光学的性質に基づくオブジェクト識別の詳細な記述が与えられる。
【００２２】
第六に、さまざまな画面形状および配位の詳細な記述が与えられる。
【００２３】
第七に、タッチスクリーン上のオブジェクト位置の相違がオブジェクト位置、形および大きさの検出精度にどのように影響しうるかの詳細な記述が与えられる。
【００２４】
第八に、光送信機について選択されうる種々の角位置の詳細な記述が与えられる。
【００２５】
図１は、ある実施形態に基づく、赤外線光学式タッチスクリーン・ディスプレイ１０を示している。タッチスクリーン・ディスプレイ１０はその周上に、N個の光送信機L0〜L15およびM個のセンサー（すなわち光検出器）S0〜S11を含む。ここで、N＝16で、光送信機はランプ、LEDなどとして具現されてもよく、M＝12である。光送信機およびセンサーは交互パターンで（たとえばL0、S1、L1、S2、…、L15、S11）配置されている。光送信機およびセンサーの数および配位は異なる実施形態では変わりうることは理解しておくべきである。
【００２６】
例として、図１に示した赤外線光学式タッチスクリーン・ディスプレイ装置に基づいてオブジェクトの位置、形および大きさを検出する方法についてこれから述べる。
【００２７】
〈較正段階〉
較正は、較正データを収集するために実行される。較正データは、タッチスクリーン・ディスプレイ１０の周上に位置している個別光送信機のそれぞれから各光送信機の点灯時の間に送出された光ビームを検出するセンサーに対応するセンサー識別情報からなる。点灯時（turn-on  time）とは、ここでは、スイッチが入れられた状態にある個別光送信機から光が発している間の時間として定義される。有意な較正データを得るためには、較正モードにおけるそれぞれの点灯時の間の光ビームの伝達に対していかなるオブジェクト（たとえば、指、スタイラスなど）も相互作用しないことが要求されることは理解しておくべきである。
【００２８】
較正段階の間、各光送信機がそれぞれの点灯時の間、スイッチを入れられると、投射される光ビームは、タッチスクリーン・ディスプレイ１０の周上に位置するセンサーS0〜S11のあるものには検出されうるが、他のあるセンサーによっては検出され得ない。各光送信機L0〜L15について、それぞれの光送信機の光ビームを検出するセンサーS0〜S11の識別情報が較正データとして記録される。
【００２９】
図１の光学式タッチスクリーン・ディスプレイ１０について収集された較正データの解説例が下記の表Iに示されている。示されている較正データは複数の逐次的なレコード項目として記録されている。各レコード項目は３つの列からなる：タッチスクリーンの周上に位置する光送信機Liの一つの識別情報を示す第１列、対応する光送信機によってそのそれぞれの点灯時の間に照射される（すなわち、光ビームを検出する）センサーを示す第２列および対応する光源によってそれぞれの点灯時の間に照射されないセンサーを示す第３列である。第３列のデータは第２列のデータから、該第２列のデータの系として導出できることを注意しておく。たとえば、照射されないセンサー（列３）は、元のセンサー集合｛S0,S1,...,S11｝と照射されるセンサー（列２）との間の差分として導出できる。
【００３０】
ここで表Iの第一のレコード項目を参照すると、較正段階の間に、照射元光送信機L0の点灯時の間、センサーS5〜S11は照射されており、センサーS0〜S4は照射されていない。
【００３１】
【表１】
2008533581.tif 000003
較正について以下に説明する。較正開始時に、タッチスクリーン・ディスプレイ１０の周上に位置している個別光送信機L0〜L15のそれぞれはオフ状態に切り換えられる。その後、光送信機L0〜L15のそれぞれは、所定の点灯時のために、スイッチをオンおよびオフにされる。たとえば、まず光送信機L0が所定の点灯時のためにスイッチがオンにされ、その間に較正データが収集される。光送信機L0はオフにされる。次に、光送信機L1が所定の点灯時のためにスイッチがオンにされ、較正データが収集される。光送信機L0はオフにされる。このプロセスが、タッチスクリーンの周内の残りの光送信機L2〜L15のそれぞれについて、同様にして続けられる。その終わりが較正の完了をなす。
【００３２】
較正シーケンスにある各光送信機L0〜L15がオンにされると、タッチスクリーン・ディスプレイ１０の面内に特徴的な二次元空間分布をもつ光ビームが送出される。使用のために選択された特定の送信機源に依存して、放出される光ビームの空間分布が異なる角度幅を有することはよく知られている。特定の角度幅の光ビームをもつ光送信機を選択することは、少なくとも部分的には、意図される用途から決定されうる。すなわち、ある特定の用途で検出されるべきオブジェクトが特に大きく、著しい幅を有していると期待される場合には、そのオブジェクト自身よりも広い空間分布を有する光送信機がその用途のためにはより適切である。
【００３３】
図１および図２はそれぞれ、第一および第二の光送信機L0およびL1によって、較正の間のそれぞれの点灯時の間に送出される光ビームのスナップショットに対応する。図１は、光送信機L0からその個別の点灯時の間に送出される光ビームのスナップショットに対応し、図２は、光送信機L1からその個別の点灯時の間に送出される光ビームのスナップショットに対応する。
【００３４】
ここで図１を参照すると、図１は、光送信機L0の点灯時の間のタッチスクリーン・ディスプレイ１０のスナップショットを示している。示されているように、光送信機L0は、タッチスクリーンの面内に照射領域を定義する二次元空間分布を有する特徴的な光ビームを発光する。説明の簡単のため、光送信機L0によって照射される領域は、三つの成分領域からなると考えることにし、それぞれ照射領域(IR-1)、(IR-2)、(IR-3)とラベル付けする。
【００３５】
ここで第二の照射領域IR-2を参照すると、この領域は、タッチスクリーンの面内で、光送信機L0からの光ビームを検出できる最外センサー（S5およびS11）によって境されるものとして定義される。照射領域IR-1およびIR-3もタッチスクリーンの面の照射領域内にはいるが、これらはいずれも光源L0からの光ビームを検出できる最外センサー（S5およびS11）の検出領域より外側なので、別のラベル付けがされていることを注意しておく。最外センサー検出情報、たとえばセンサー範囲（S5〜S11）は、較正データの一部として記録される（上の表Iの最初の行項目参照、「最外の照射されるセンサー」）。上で論じたように、較正データはさらに、光源L0からの光を検出しないセンサーの識別情報を含んでいてもよい。これは今の例では、前記検出情報に対する系として、センサー範囲S0〜S4によって定義される。
【００３６】
光源L0についての較正データを記録したのち、光源L0はその点灯時の終わりにスイッチが切られ、シーケンス中の次の光源、光源L1がその点灯時のためにスイッチを入れられる。
【００３７】
図２は、較正の間にシーケンスにおける次の光源L1のスイッチが入れられた時点でのタッチスクリーン・ディスプレイ１０のスナップショットの図解である。図２に示されているように、光送信機L1は、タッチスクリーン・ディスプレイ１０の周内における位置に基づく、関心のある面内での特徴的なカバー・パターンを有する特徴的な光ビームを発光する。説明の簡単のため、光送信機L1によって照射される領域は、光源L0について上で論じたのと同様の領域IR-1、IR-2、IR-3という三つの空間的領域からなると考えてもよい。
【００３８】
まず第二の照射領域IR-2を参照すると、この領域は、光源L1からの光ビームを検出する最外センサー、すなわち最外センサーS4およびS11によって境される。領域IR-1およびIR-3はタッチスクリーンの面の照射領域内にはいるが、光源L1からの光ビームを検出できる最外センサー（S4およびS11）の検出領域の外側になる。このセンサー検出情報は、較正データの一部として記録される（上の表Iの第二の行項目に示されるように）。上で論じたように、較正データはさらに、光送信機L1から送出される光を検出しないセンサーの識別情報、すなわちセンサー範囲S0〜S3を含んでいてもよい。
【００３９】
光送信機L0およびL1からのセンサー情報を上記したように記録したのち、較正プロセスはタッチスクリーンの周に位置している残りの光送信機、すなわち光送信機L2〜L15のそれぞれについて同様にして続けられる。
【００４０】
のちにさらに述べるように、タッチスクリーン・ディスプレイ１０と相互作用する一つまたは複数のオブジェクトの位置、形および大きさを検出するために、前記の較正データは、運用段階の間に取得された非較正データとともに使用される。
【００４１】
〈運用段階（Operational  Stage）〉
較正が完了したのち、タッチスクリーン・ディスプレイ１０は、該タッチスクリーン・ディスプレイ１０と相互作用する一つまたは複数のオブジェクトの位置、形および大きさを検出するために使用する準備ができている。
【００４２】
本発明の例示的な実施形態によれば、タッチスクリーン・ディスプレイ１０と相互作用する一つまたは複数のオブジェクトの位置、形および大きさの検出は、複数サイクルの動作にわたって継続的に実行される。たとえば、例示的な実施形態では、光送信機L1〜L15のそれぞれは、所定の序列で照射する。それが動作の１サイクルをなし、動作の複数サイクルにわたって繰り返される。
【００４３】
較正について上で論じたのと同様に、運用段階における動作の１サイクルは、光源L0が所定の点灯時にわたってオンにされることで始まる。L0がオフになったのち、光源L1が所定の点灯時にわたってオンにされる。このプロセスは、同様にして、各光送信機について続けられ、シーケンス中の最後の光送信機である光送信機L15で終わる。
【００４４】
図３および図４は、今記載されている例示的な実施形態についての、運用モードでの動作の１サイクルの二つのステップを示している。図３および図４は、単一の丸いオブジェクト１６があるときに、それぞれ光送信機L0およびL1から送出される光ビームのスナップショットを示している。単一の丸いオブジェクト１６は、運用段階を解説するための簡単のために選んだものである。
【００４５】
図３は、運用モードにあるタッチスクリーン・ディスプレイ１０で、丸いオブジェクト１６があるときの、光送信機L0の点灯時の間のスナップショットを示している。各動作サイクル（cycle  of  operation）において、光送信機L0の点灯時の間、該光送信機はタッチスクリーン・ディスプレイ１０の面内にある二次元空間被覆パターンをもつ特徴的な光ビームを発光する。
【００４６】
説明の目的のため、光送信機L0の光分布パターンは、Y1とラベル付けされる第一の照射される領域およびX1とラベル付けされる第二の非照射（陰）領域という二つの領域からなると考えることにする。
【００４７】
照射される領域Y1は、光送信機L0によって照射されたときに丸いオブジェクト１６が投じる陰がかからない領域を定義する。非照射（陰）領域X1は、光送信機L0によって照射されたときに丸いオブジェクト１６が投じる陰がかかる領域を同定する。非照射（陰）領域X1は、タッチスクリーン・ディスプレイ１０のセンサーS6およびS7を含む。これらのセンサーは、光源L0の点灯時の間、光の不在を検知する。このセンサー情報は、図３に示される丸いオブジェクト１６の現在の位置について、現在の動作サイクルについての非較正データの一部として記録される。
【００４８】
１動作サイクルにおいて、光源L0がその個別点灯時が終わったときにオフにされたのち、シーケンス中の次の光源L1がその所定の点灯時のためにオンにされる。これは図４に示されており、次に説明する。
【００４９】
ここで図４を参照すると、光送信機L1はタッチスクリーン・ディスプレイ上に二次元空間被覆パターンをもつ特徴的な光ビームを発光することが示されている。説明の目的のため、光送信機L1の光分布パターンは、Y2とラベル付けされる照射される領域およびX2とラベル付けされる非照射（陰）領域という二つの領域からなると考えられる。
【００５０】
照射される領域Y2は、光送信機L1によって照射されたときに丸いオブジェクト１６が投じる陰がかからない領域を定義する。非照射（陰）領域X2は、光送信機L1によって照射されたときに丸いオブジェクト１６が投じる陰がかかる領域を同定する。照射された領域Y2はセンサーS10以外のすべてのセンサーを含む。非照射（陰）領域X2は、タッチスクリーン・ディスプレイ１０のセンサーS10のみを含む。このセンサーは、光送信機L1の点灯時の間、光の不在を検知する。このセンサー情報は、図４に示される丸いオブジェクト１６の現在の位置について、現在の動作サイクルについての非較正データの一部として記録される。
【００５１】
運用モードにおける光送信機L0およびL1について上記したプロセスは、現在の動作サイクルの残りの光送信機L2〜L15のそれぞれについて、上記の仕方で続けられる。
【００５２】
下記の表IIは、例として、本例示的な実施形態について、光源L0〜L2について丸いオブジェクト１６があるときの１動作サイクルにわたって記録される非較正データを示している。説明の簡単のため、表IIは、１動作サイクルについて、16個のセンサーのうち３つについての非較正データしか示していない。
【００５３】
【表２】
2008533581.tif 000004
上記では運用モードについて１動作サイクルのみを議論しているが、運用モードは複数の動作サイクルからなることは理解しておくべきである。複数サイクルは、画面上のオブジェクトの位置、大きさおよび形のある時点から次の時点への変化を検出するために要求されるほか、新たなオブジェクトの追加やすでに存在しているオブジェクトの除去を検出するためにも要求される。
【００５４】
〈最小領域推定および最大領域推定〉
運用モードにおける各動作サイクルの間、検出されたオブジェクトについて最小領域推定および最大領域推定がなされる。推定は、データ貯蔵部に記憶され、のちにオブジェクト境界領域を検出する際に呼び出される。
【００５５】
最小領域推定および最大領域推定は、タッチスクリーンの周に位置している各光送信機（N）についてなされる。今の例示的な実施形態では、各動作サイクルにおいて、N＝16通りの最小領域推定がなされ、N＝16通りの最大領域推定がなされる。
【００５６】
一つの動作サイクルを完了すると、最小領域推定および最大領域推定がデータ貯蔵部から取得され、のちに述べるような仕方で組み合わされて、タッチスクリーンの面内のそれぞれの検出されたオブジェクトについてのオブジェクト境界領域が決定される。
【００５７】
１動作サイクルについての第一および第二の光送信機L0およびL1についての最小領域推定および最大領域推定の計算について、これから図５を参照しつつ述べる。
【００５８】
〈光源L0についての最小領域推定および最大領域推定〉
ここで図５を参照すると、光送信機L0についての最小領域推定および最大領域推定の導出が図解されている。最小領域推定および最大領域推定を計算するため、以前に収集された較正データおよび非較正データが計算を助けるために使用される。
【００５９】
光送信機L0についての較正データは照射されたセンサーの範囲（S5〜S11）と見出されたことを想起されたい。このセンサー範囲は、較正の間に光送信機L0からの光の存在を検出できるセンサーをなす（表Iの第１行に示されるように）。
【００６０】
光送信機L0についての非較正データは光の不在を検知するセンサー範囲（S0〜S4）＆（S6〜S7）と見出されたことを想起されたい（上記の表IIに示され、図３に解説されるように）。
【００６１】
次に、較正データおよび非較正データの比較がなされる。具体的には、非較正モードの間にはセンサーS6〜S7が光の不在を検知すると知り、センサーS5〜S11が較正の間に照射されると知ることで、オブジェクト１６によって投じられる陰領域が決定できる。これについて、ここで図５を参照しつつ解説する。
【００６２】
図５は、丸いオブジェクト１６が光源L0およびセンサーS6の間の光路（破線P5参照）を遮っているところを示しており、また光送信機L0とセンサーS7との間の光路を遮っていることも示されている。図５はさらに、オブジェクト１６が光送信機L0とセンサーS5（線P1）およびS8（線P2）との間の光路は遮らないことを示している。較正データおよび非較正データから導出されたこの情報は表IIIにまとめられており、オブジェクト１６についての最小領域推定および最大領域推定を決定するために使用される。
【００６３】
【表３】
2008533581.tif 000005
上の表IIIにまとめられている情報に基づいて、最小領域推定が次のように決定できる。丸いオブジェクト１６は、光源L0とセンサーS6（線P5参照）およびS7（線P6参照）との間の光路を遮る。したがって、光源L0の点灯時の間のオブジェクト１６のMINとラベル付けされる最小領域推定は、点｛L0,S7,S6｝によって定義され、線P5およびP6によって定義される２辺をもつ、図５に示された三角形によって定義される。
【００６４】
オブジェクト１６のL0についての最小領域推定＝三角形｛L0,S7,S6｝
三角形｛L0,S7,S6｝は、個別センサーS7とS8の間の距離および個別センサーS6とS5の間の距離によって導入される不定性を考えれば、最良の最小領域推定を表していることは理解しておくべきである。
【００６５】
上の表IIIを使って、オブジェクト１６の光送信機L0についてのMAXとラベル付けされる最大領域推定が同様にして定義できる。表IIIからの情報を使うと、最大領域推定は、点｛L0,S5,C2,S8｝によって定義される。この領域は、センサーS6〜S7で検出される陰領域に隣接するセンサーS5およびS8を含めることによって導出される。S5とS8の間の線は画面の境界に従うべきなので、この領域が隅角C2を含んでいることを注意しておく。
【００６６】
オブジェクト１６のL0についての最大領域推定＝｛L0,S5,C2,S8｝によって境される領域
個別センサーS6とS5の間の距離および個別センサーS7とS8の間の距離によって導入される不定性のため、オブジェクト１６が、センサーS5とS8にそれぞれ対応する線P1とP2の間の領域を覆っていることができると想定するのは理にかなっている。
【００６７】
現在の動作サイクルについての各光送信機について、最小領域推定および最大領域推定が、ひとたび決定されたら、データ貯蔵部に記憶される。最小領域および最大領域を決定するプロセスは、残りの光送信機L2〜L15のそれぞれについて同様にして続けられる。さらに、最小領域および最大領域の結果は好ましくは、たとえばmin領域およびmax領域の頂点の幾何学的座標または領域面（area  facets）に対応する線の座標といった幾何学的座標として、データ貯蔵部に記憶される。
【００６８】
動作サイクル完了後、記憶された最小領域推定および最大領域推定はデータ貯蔵部から取得され、下記に述べるようにオブジェクト１６のオブジェクト境界領域を決定するために組み合わされる。
【００６９】
〈オブジェクト境界領域計算〉
最小領域推定および最大領域推定の結果を組み合わせて「オブジェクト境界領域」を決定する方法は、ある実施形態によれば、以下のように実行されうる。
【００７０】
１動作サイクルにわたるN個の光送信機Li（たとえばL0〜L15）のそれぞれについての最大領域推定が、下の式（１）に示されるような数学的な交わりによって組み合わされ、最大領域結果ATotalmaxが導出される。面をもたない領域（たとえば空の領域または線）はATotalmaxの計算からは除外されることを注意しておく。
【００７１】
【数３】
2008533581.tif 000006
１動作サイクルにわたるN個の光送信機Li（たとえばL0〜L15）のそれぞれについての最小領域推定は、同様に、下の式（２）に示されるような数学的な交わりによって組み合わされ、最小領域結果ATotalminが導出される。
【００７２】
【数４】
2008533581.tif 000007
式（２）に示されるように、ATotalmaxおよびATotalminの両方が計算されたのち、最小領域結果ATotalminは数学的な交わりによって最大領域結果ATotalmaxと組み合わされ、最小領域が完全に最大領域の内部にあることが保証される。換言すれば、計算された最大領域の境界外になる最小領域のいかなる部分も無視されるということである。これは、すべてのスナップショットが最小領域および最大領域の計算に十分な入力を生じるとは限らないので、最小領域の一部が最大領域の外にはみ出る可能性があるために生じることである。たとえば、ある特定の光送信機についての最大領域推定が、２つのセンサーのみで境されるスナップショットを生じる状況では、最小領域は空になる。したがって、前記特定の光送信機は、最大領域計算についての入力を生じるのみである。タッチスクリーン上で十分小さなオブジェクトが使われる場合、比較的多数の検出結果がこのカテゴリーにはいることになる。すなわち、総最大領域の計算のための入力は生じるが、総最小領域の計算のための入力は生じない。これは、納得のいく程度に定義された総最大領域と、わずかな最小領域のみの交わりである貧弱に定義された総最小領域を生じる。
【００７３】
この問題の埋め合わせをするために、総最小領域は総最大領域の中に含まれることが要請されるのである。これは、オブジェクトが総最大領域の外にあるはずはないとわかっているからである。
【００７４】
ATotalminおよびATotalmaxは閉集合の定義に属するいくつかの部分領域を含んでいることができる。そのことは、いくつかのオブジェクトが存在していることを示す。閉集合は、MathWorld--A  Wolfram  Web  Resource,  http://mathworld.wolfram.com/GeometricCentroid.htmlのEric  W.  Weisstein,“Closed  Set”において、より詳細に記述されている。
【００７５】
他の資料としては、Croft,  H.T.;  Falconer,  K.J;  and  Guy,  R.K.  Unsolved  Problems  in  Geometry  New  York:  Springer-Verlag,  p.2,  1991およびKrantz,  S.G.  Handbook  of  Complex  Variables  Boston,  MA:  Birkh¨auser,  p.3,  1999がある。
【００７６】
領域ATotalminはいくつかの部分領域ATotalmin  jに、
【００７７】
【数５】
2008533581.tif 000008
かつ、すべてのATotalmin  jが特定のオブジェクトに対応する閉集合であるように分割できる。
【００７８】
同様に、領域ATotalmaxはいくつかの部分領域ATotalmax  jに、
【００７９】
【数６】
2008533581.tif 000009
かつ、すべてのATotalmax  jが特定のオブジェクトに対応する閉集合であるように分割できる。
【００８０】
単一のオブジェクトjの総境界ATotal  j（４）は、オブジェクトjの形とも称されるが、次式によって定義できる：
【００８１】
【数７】
2008533581.tif 000010
ここで、FはATotal  jを見出す関数または方法である。ATotal  jを見出す一つの可能性について以下に詳細に述べる。
【００８２】
ここで図６を参照すると、図６は最小ATotalmin  j領域と最大ATotalmax  j領域を組み合わせてオブジェクト１６の実際の境界を近似する方法を示している。
【００８３】
オブジェクト１６の実際の境界を近似するため、IIとラベル付けされている最小領域の重心６１を決定することから始める。オブジェクトの重心を決定する方法は、インターネットでhttp://mathworld.wolfram.com/GeometricCentroid.htmlに見出せるMathWorld--A  Wolfram  Web  ResourceのEric  W.  Weisstein,“Geometric  Centroid”において、より詳細に記述されている。最小領域（II）の重心６１を決定するための他の資料としては、Solid  Mensuration  with  Proofs,  2nd  ed.  New  York:  Wiley,  p.110,  1948のKern,  W.F.  and  Bland,  J.R.  “Center  of  Gravity”  §39および“Schaum's  Outline  of  Theory  and  Problems  of  Engineering  Mechanics:  Statics  and  Dynamics”,  4th  ed.  New  York:  McGraw-Hill,  pp.134-162,  1988のMcLean,  W.G.  and  Nelson,  E.W.  “First  Moments  and  Centroids”  Ch.  9がある。
【００８４】
ここで図７を参照すると、先に重心６１を見出したので、そこから複数の直線を引いてある。各直線は最大領域（I）の境界および最小領域（II）の境界と交わる。たとえば、直線L1は最小領域（II）とその境界において点P2で交わり、さらに最大領域（I）とその境界において点P1で交わる。
【００８５】
ここで図８を参照すると、点P1およびP2は線分４５によって結ばれており、線分４５は中点６２で二つの同じ長さの線分S1およびS2に分けられることが示されている。このプロセスは各直線について繰り返される。次いで、隣り合う線分のすべての中点を結ぶ線分５５が引かれる。
【００８６】
図９は、隣り合う線分の中点すべてを結んだ結果として形成される境界枠１０５によって定義される境界領域を示している。この境界領域は本質的にはオブジェクトの近似された境界をなす。
【００８７】
代替的な諸実施形態では、近似されたオブジェクト境界を導出するのに、図のような線分４５の中点の代わりに、分割点６２を見出すための他の比を取ることも可能である。それらの比はたとえば、5:95、30:70などでありうる。これらの比は、意図される用途に従って定義できる。
【００８８】
各オブジェクトjについて導出できるその他のパラメータには、オブジェクトの面積、位置および形が含まれる：
【００８９】
【数８】
2008533581.tif 000011
重心以外の基準点を導出してもよい。たとえば、オブジェクトの左上隅または囲み枠などである。
【００９０】
【数９】
2008533581.tif 000012
検出される形が、画面上の当該オブジェクトの凸包形であり、オブジェクトの内部空洞があっても除外されることを注意しておく。
【００９１】
オブジェクトの境界、面積、位置および形を計算することに加えて、オブジェクトの大きさを計算することも可能である。オブジェクトの大きさは、種々の幾何学図形について種々の方法で計算できるが、いかなる幾何学図形についても、その幾何学図形のｘ、ｙの２つの軸に沿った最大サイズ、すなわちMaxxおよびMaxyが決定されうる。たいていの場合、検出される幾何学図形は多角形であり、その場合、Maxxは結果として得られる多角形のｘ軸に沿って取った最大切り口として、Maxyはその同じ多角形のｙ軸に沿った最大切り口として定義できる。
【００９２】
オブジェクトの大きさを決定するもう一つの方法は、いくつかの一般的な幾何学形について独特な大きさの定義を与えることである。たとえば、円の大きさはその直径と定義し、正方形の大きさはその１辺の長さと定義し、長方形の大きさはその長さと幅と定義する。
【００９３】
上述したように、本発明は、オブジェクトの大きさおよび／または形に基づいて一つまたは複数のオブジェクトの検出のための諸技法を提供する。したがって、異なる大きさおよび／または形の複数のオブジェクトを利用する用途のためには、本発明は、オブジェクトの検出した大きさおよび／または形に基づいてオブジェクト認識を実行する追加的な機能を提供する。
【００９４】
オブジェクト認識を実行する諸技法は、学習モードの利用を含む。学習モードでは、ユーザーがオブジェクトをタッチスクリーンの表面上に一つずつ位置させる。学習モードにおいてタッチスクリーンの表面上に位置されたオブジェクトの形が検出され、形および大きさを含むオブジェクト・パラメータが記録される。その後、運用モードにおいて、オブジェクトが検出されるたびに、その形および大きさが解析され、用途によって定義される許容可能な偏差デルタに鑑みて学習済みのオブジェクトの一つの形および大きさに一致するかどうかが判定される。判定結果が一致なら、オブジェクトは成功裏に識別できる。オブジェクト認識の例としては、異なる形を持つボードゲームの駒の認識またはタッチスクリーン上に置かれたときのユーザーの手の認識が含まれる。
【００９５】
三角形、正方形などのような標準的な形については、標準的な形状パラメータが制御ソフトウェアに与えられていて、同様のオブジェクト形が検出されるとシステムがそれと認識できるようにされてもよい。
【００９６】
〈スイッチング方式〉
本発明のもう一つの側面によれば、光送信機のスイッチをオンおよびオフにするために種々のスイッチング方式が考えられる。しかしながら、記述される諸方式は単に例示的であることを注意しておく。炯眼な読者は下記に述べる諸方式に数多くの変形があることを認識するであろう。
【００９７】
〈Ａ．単純なスイッチング方式〉
単純なスイッチング方式は、例示的な実施形態を参照しつつすでに述べた。「単純な」スイッチング方式によれば、各光送信機（たとえばL1〜L15）は、タッチスクリーン１０の周をめぐるシーケンスでオンおよびオフにされ（図３〜５）、それが一つの動作サイクルをなす。シーケンスはどの光送信機で開始されてもよい。さらに、ひとたび開始されたら、シーケンスは時計回り方向または反時計回り方向のどちらに進んでもよい。
【００９８】
〈Ｂ．最適化されたスイッチング方式〉
もう一つのスイッチング方式は、たいていの場合、運用段階の初期に画面上に存在するオブジェクトについて最大の情報を生じるもので、ここでは「最適化された」スイッチング方式と称される。この方式によれば、光送信機のあるものはタッチスクリーンの隅角に一意的に位置されており、タッチスクリーンの中央に向けられる。隅角の光送信機はタッチスクリーン全体を照明し、よって最大の情報を与えるので、これは望ましい配置および配向である。これに対し、隅角以外の光源はタッチスクリーンの一部を照射するにすぎず、よってタッチスクリーンの一部についての情報を提供するのみである。本発明人らは、最大の情報を生じる可能性が最も高い光源（すなわち隅角の光源）が最初に使用されれば、より多くの情報が検出プロセスのより初期の段階で利用可能になるであろうことを認識するに至ったのである。これは中間結果の解析を生じ、それは光送信機の残りのスイッチをオンおよびオフにするその後のスイッチング方式を適応させるために使われる。結果として、戦略的に選択された送信機で十分な情報が得られることがあるので、すべての光送信機のスイッチをオンおよびオフにする必要なく、検出プロセスがより速く、関わるステップもより少なくして完了できるということがありうる。これはより高速の応答および／または省エネルギーにつながりうる。
【００９９】
図１０は、運用モードにおけるタッチスクリーン・ディスプレイ１０で、二つの丸いオブジェクト２０および２１があるときの第一の隅角の光源L0の点灯時の間のスナップショットを示している。図のように、タッチスクリーン１０のそれぞれの隅角にある光送信機L1、L4、L7およびL11はタッチスクリーン１０の中心に向けて配向されている。特に光源L0を参照すると、その戦略的な配向および角の光送信機であるおかげで、光源L0はオブジェクト２０および２１の両方を検出できる。
【０１００】
最適化方式によれば、タッチスクリーンの左上隅に位置されている光送信機L0が最初にスイッチをオンにされる。この光送信機はタッチスクリーン領域全体にわたって光を放出し、よって最大の情報を生じそうだからである。しかしながら、最適化方式は、隅角の光送信機（たとえばL0、L4、L7およびL11）のうちどれのスイッチングから始めてもよい。いずれも同じ情報量を生じるはずだからである。
【０１０１】
図１の参照に戻ると、フレーム縁に沿った「通常の」配向に位置された送信機L0から発する光はIR1、IR2、IR3とラベル付けされたタッチスクリーンの一部分をカバーするのみであり、タッチスクリーン１０の白で示された残りの部分はカバーしないことが示されている。
【０１０２】
再び図１０を参照すると、対照的に、タッチスクリーン１０の中心に向けて配向され、角に位置された送信機L0から発する光は、その配向および位置のおかげで、図１ではカバーされていない白い領域も含めて画面全体を有利にカバーする。
【０１０３】
図１１は、L0のスイッチをオフにしたあと、シーケンス中の光送信機L4をオンにした結果を示している。L4はタッチスクリーン１０の右上隅に位置しており、タッチスクリーン１０の全領域にわたって光を放出する。よって、L4はオブジェクト２０、２１の両方を検出できる。
【０１０４】
オブジェクト（単数または複数）がL0またはL4の近くに位置しているような場合には、光送信機L11およびL7が光送信機L0およびL4に加えて用いられることがありうる。一般的な場合には、光送信機L4のスイッチがオフにされたのち、最小領域推定および最大領域推定が計算され、その結果が図１２に示されている。オブジェクト２０および２１の両方のまわりに、４つの頂点をもつ暗い陰をつけた灰色領域によって示されているように、境界が大まかに知られている二つの領域が示されている。
【０１０５】
ある実施形態では、光送信機L4のスイッチがオフにされたのち、領域境界をさらに洗練するために最大の情報を生じるべく、残りの光送信機のあるものが戦略的に選択されてもよい。選択される具体的な光送信機は異なる実施形態では異なりうる。たとえば、今の例示的な実施形態では、光送信機L0およびL4のスイッチをオン／オフしたのち、オンにされうる次の光送信機は、タッチスクリーン１０の左側の領域については光送信機L1およびL13であり、タッチスクリーン１０の右側の領域については光送信機L5およびL8である。
【０１０６】
まとめると、「最適化」アプローチは、「単純」方式に比べ、各サイクルにおいてスイッチをオン／オフされるべき送信機をより少なくすることを許容する。本方式の一つの可能な利点は、先に述べた方式より結果がより早く、より効率的に生成されることができ、その結果、「単純」方式に比べてより高速の応答、よって可能性としての省エネルギーにつながりうるということである。
【０１０７】
〈Ｃ．対話的スイッチング方式〉
光送信機をスイッチングするためのもう一つの方式は、「対話的」スイッチング方式と称される。対話的方式は、以前の検出結果に基づいて光送信機のスイッチをオンにする戦略を利用する。具体的には、以前の検出サイクル（サンプル時間）におけるオブジェクトの位置(x,y)を知っていれば、光スイッチング方式を、その後の検出サイクルにおいて同じ領域を目標にするよう適応させることができる。画面領域の残りの部分を考慮するため、他に新規オブジェクトが存在していないことを保証するための単純なチェックが実行できる。この方式は、部分的にはハードウェアのサンプル時間に比べて遅い人間の反応時間のため、ある検出サイクルから次の検出サイクルにかけての１秒よりも短い時間内にはオブジェクトは実質的にその位置を変えないという想定に基づいている。対話的スイッチングの一つの可能な利点は、先に述べた方式より結果がより早く、より効率的に生成されることができ、その結果、「単純」方式に比べてより高速の応答、よって可能性としての省エネルギーにつながりうるということである。
【０１０８】
さまざまなスイッチング方式は特定の意図された用途のために個別的な要求を満たすように選ぶことができる。例として、二つの用途（すなわち対話式カフェ・テーブルおよびチェス・ゲーム）を表IVに挙げるが、それぞれその特定の用途の個別的な要求に対応するために異なるスイッチング方式を要求している。
【０１０９】
【表４】
2008533581.tif 000013
たとえば、対話式カフェ・テーブルの用途のためには、より少ない光送信機を使って検出結果を得るおかげでエネルギー使用がより少ない「最適化」スイッチング方式を使うことが望ましいことがありうる。どちらの用途も高速の応答時間を要求するという点では（特性５を参照）「最適化」スイッチング方式は両方の用途にも適用可能でありうる。
【０１１０】
本発明のもう一つの側面によれば、複数の光送信機（たとえば二つ以上）を同時にスイッチ・オン／オフできる。このようにして、より多くの情報がより少ない時間で受信でき、タッチスクリーンのより高速の応答（すなわち、より速い検出結果）につながる。
【０１１１】
〈省エネルギーすなわちアイドル・モード〉
本発明のさらにもう一つの側面によれば、タッチスクリーン１０がある時間期間、何の変化も検出しなかった場合、タッチスクリーンが省エネルギーモードに切り替わり、それにより処理電力要求を減らし、総電力消費を節約することができる。アイドル・モードすなわち省エネルギーモードでは、サイクル周波数（１秒当たりのサイクル数）は維持または低減しつつ、各サイクルで使用される光送信機およびセンサーの数が減る。この結果、サイクル当たりの光送信機の総「点灯時間」がより低くなり、より低い電力消費につながる。また、１秒当たりにスイッチをオン・オフされる光の数が減れば、システムの要求される処理電力も減る。いくつかの変化が検出され次第、タッチ・フレームは通常のスイッチング方式に戻ることができる。
【０１１２】
〈オブジェクトの光学的性質に基づくオブジェクト識別〉
図１３〜図１５は、本発明のもう一つの側面を示している。ここで考えられているのは、オブジェクトの光学的性質（すなわち、光の吸収、反射および透過）に基づくオブジェクト識別である。具体的には、この側面によれば、オブジェクトの光吸収の測定が、オブジェクトの光反射および透過とともに、考慮に入れられる。
【０１１３】
理想化された場合では、検出されるオブジェクトは、光送信機からの入射光の100%を吸収すると想定される。現実には、オブジェクトをつくる材料の光学的性質に依存して、オブジェクトの表面に到達する光はオブジェクトによって部分的に反射され、部分的に吸収され、部分的に透過される。反射、透過（すなわち通過）および吸収される光の量は、オブジェクトの材料の光学的性質に依存し、異なる材料については異なる。結果として、これらの物理現象のため、同一の形だが異なる材料（たとえばガラスと木）でできた二つのオブジェクトは、違いがオブジェクトによって反射、吸収および透過される光の量として検出できるならば、識別できる。
【０１１４】
〈Ａ．部分的吸収および部分的反射の場合〉
図１３は、オブジェクトの表面に到達する光の100%未満がオブジェクト３３によって吸収される場合を表している。すなわち、光送信機L0によって生成された光はオブジェクト３３によって部分的に吸収され、部分的に反射される。これは、タッチスクリーン１０上のセンサーS0〜S4がそうでなければ（すなわちオブジェクトが存在しなければ）検出しなかった若干の光を検出することにつながる。センサーS0〜S4によって検出される信号の分布が必ずしも一様でないことに注意しておくべきである。つまり、一部のセンサーが他のセンサーよりやや多くの光を検出することもありうるのである。センサーによって検出される光のレベルは、オブジェクトとセンサーの間の距離、オブジェクトの形、他のオブジェクトによって引き起こされる反射などのようないくつかの因子に依存する。センサーS6およびS7は、オブジェクトの陰がかかっているおかげで何の信号も検出しないことも注意しておく。
【０１１５】
〈Ｂ．全吸収の場合〉
図１４は、オブジェクトの表面に到達する光の100%がオブジェクト３３によって吸収される場合を表している。部分的吸収の場合にそうであったように、センサーS6およびS7は、オブジェクトの陰がかかっているおかげで何の信号も検出しない。しかしながら、この場合は、オブジェクト３３による光の全吸収のため、センサーS0〜S4も何の信号も検出しないという点で部分的吸収とは異なっている。センサー（S0〜S4）および（S6〜S7）は、外部光源によって生成される何らかの外部ノイズを検出することもあるが、通常は無視できることを注意しておく。
【０１１６】
〈Ｃ．部分的吸収および部分的透過〉
図１５は、光送信機L0によって生成された光がオブジェクト３３によって部分的に吸収され、部分的に透過される場合を表している。これは、センサーS6およびS7が若干の光を検出することにつながる。
【０１１７】
上で説明し、上の図１３〜図１５で図示したように、同一の形および大きさのオブジェクトでもその光学的特性に関しては異なることがありうる。そうした違いのため、オブジェクトは光送信機から放出される光の異なる量を吸収し、反射し、透過（すなわち通過）させることになる。
【０１１８】
ある有利な側面によれば、上例で示したように反射および透過される光の量が検出できるので、同一の大きさおよび形のオブジェクトでも、異なる光学的性質の材料でできていれば区別できることは理解しておくべきである。
【０１１９】
〈Ｄ．複数オブジェクトについての光学的性質の検出〉
本発明のもう一つの側面によれば、二つ以上のオブジェクトの光学的性質の同時検出が考えられる。この場合、二つ以上のオブジェクトは異なる形および大きさを有することがあり、その場合、オブジェクトの光学的性質を考慮に入れることが望まれるなら、センサーによって検出される光分布パターンがやや複雑になる。そうした複雑さを解決するため、オブジェクトをつくっている材料の反射率、吸収および透過率といった光学的性質に関してオブジェクトを分類するために、パターン認識技術が適用できる。
【０１２０】
〈タッチスクリーンの形と配位〉
図１６は、タッチスクリーン１０がオーバル形を有するある実施形態を示している。長方形以外の形（たとえば円形）でも、光送信機とセンサーとの間に、位置、形および大きさの検出の所望の精度を満たす十分な交差する領域がある限り、使うことができる。これは、たいていの場合長方形のフレームを必要としていた従来技術のタッチスクリーン検出技術と対照的である。
【０１２１】
〈センサー／送信機の密度と型の諸変形〉
使用されるセンサーが有限個であり、センサー間の間隔が固定されているため、オブジェクトの位置、形および大きさを決定する精度は不確定さが伴う。ある実施形態では、不確定さは部分的にはタッチスクリーン・ディスプレイ１０に使用されるセンサーの数を増やすことによって最小化されうる。センサーの数（密度）を増やすことにより、センサー間の相対的な間隔はそれに応じて狭まり、オブジェクトの位置、形および大きさのより精密な計算につながる。
【０１２２】
ある種の実施形態では、送信機の数を増やしてもよく、これもオブジェクトの位置、形および大きさのより精密な計算につながる。送信機の数を増やすことは、追加的なアングルからオブジェクトをハイライトすることになり、よって追加的な情報を提供し、より精密な結果につながることを注意しておく。
【０１２３】
ある種の実施形態では、全体的な測定精度の向上は、他の領域に比べて検出精度が劣るとわかった画面のある種の領域において送信機および／または受信機の密度を上げることによってできる。送信機および／または受信機のこの非一様な配位により、より劣った検出精度を補償できる。
【０１２４】
全体的な測定精度は、ある種の状況では、タッチスクリーン上のオブジェクトの位置に依存して影響されうる。よって、オブジェクトの位置、形および大きさの検出の解像度および精度の差が生じうる。そうした違いを説明するために、三つの異なる状況について考える：（１）画面の中央に位置されたオブジェクト；（２）画面の上辺（または他の任意の辺）の中央に位置する同じオブジェクト；（３）画面の左上隅（または画面の他の任意の隅）に位置する同じオブジェクト。
【０１２５】
図１７は、直径dの丸いオブジェクト２４が画面１０の中心に位置しており、送信機L10のスイッチが入れられている第一の状況を示している。これは、画面１０の反対側に、2d近い長さをもつ陰を生じる。陰は二つのセンサーS1およびS2によって検知される。ただし、そのためにはこれら二つのセンサーの間の距離が
|S2x−S1x|≦2d
であることが条件である。
【０１２６】
図１８は、同じオブジェクト２４がタッチスクリーン１０の上辺の縁近くに位置しており、LED  L10のスイッチが入れられている第二の状況を示している。図示されるように、オブジェクトは画面の反対側にdよりやや長い陰を落とす。これは、二つのセンサーS1およびS2がどちらも全く陰を検知できないことを意味している。この状況をオブジェクト２４が画面の中心にあった第一の状況と比べると、今のシナリオでは、他の送信機L0、L1、L3およびL4はいかなる情報も与えることはない。これに対し、第一の場合（すなわち「中心に位置するオブジェクト」）では、送信機L0、L1、L3およびL4は実質的な情報を与えることになる。
【０１２７】
図１８で見て取れるように、破線は、対応する送信機（L0、L1、L3、L4）によって放出される光ビームを示す。図１８のオブジェクトは光ビームの外にあり、よってこのオブジェクトはこれらの送信機によっては検出できないことが見て取れる。
【０１２８】
図１９は、前記第二の状況について、オブジェクトを検出できる光送信機はL6とL14だけであることを示している。
【０１２９】
図２０は、前記第二の状況（すなわち「縁に近い」）において、情報が光送信機L6、L14およびL2によってのみ与えられることを示している。すなわち、光送信機L6およびL14の点灯時の間は、直線L6‐S1、L14‐S2の遮断が検出されるだけである。さらに、センサーS5〜S10のいずれも光送信機L2の点灯時の間に光を検出しない。これは、図２０に示されるように、前記の最大領域計算の方法を使ってオブジェクトの位置の大まかな指標を与える。しかしながら、図１７に示されたオブジェクトが「中心に」位置する場合に記載された前記第一の状況と比較して、オブジェクトの大きさおよび形については与えられる情報はずっと少ない。
【０１３０】
図２１は、同じオブジェクト２４が今度はタッチスクリーン１０の左上隅に置かれているという、より一層極端な状況（すなわち第三の状況）を示している。光送信機L10がその点灯時の間にスイッチがオンにされているとき、その隅角の二つの辺に沿って＜dの長さの陰を生じる。この陰はタッチスクリーン・センサーのどれによっても検知できない。この状況においてLEDを逐次、スイッチ・オンおよびオフすることによって何が検出できるかを考えると、図２１に示されるように、L0およびL15送信機の遮断のみが検出できることが明らかとなる。この場合の最大領域（図２１においてセルラー・パターンでマークされた交わり領域）の計算は、先の二つの「中央」および「縁の近く」の場合に比べてそのオブジェクトの位置、大きさおよび形の一層精密度の低い推定を与える。
【０１３１】
図２２〜図２５は、光送信機について異なる角位置が選択されるもう一つの実施形態を示している。換言すれば、ある種の実施形態における光送信機は、タッチスクリーン・ディスプレイ１０の縁に垂直でない配向で向き付けしてもよいのである。
【０１３２】
ここで図２２を参照すると、角αは画面の縁と光送信機の一つ（たとえばL0）の軸との間の角度を示し、角βは光送信機L0から放出された光ビームの角度幅を示している。
【０１３３】
図２３では、光送信機のあるものは、タッチスクリーン・ディスプレイ１０の隅の領域に位置され、タッチスクリーン・ディスプレイの中央に向けて回転され（角度を付けられ）、それにより光ビームは全画面領域を照明するようになっている。隅領域の光送信機を回転させることによって、回転された光送信機の効率が増していることを認識しておくべきである。また、角度回転はタッチスクリーン・ディスプレイ１０において固定されており、その後向きを変えることはできないことも注意しておくべきである。本発明のあるさらなる実施形態では、異なる複数の光送信機の組み合わせを同じアプリケーションにおいて使用してもよい。
【０１３４】
再び図２４、図２５を参照すると、異なる角度幅の光ビームを有する送信機が示されている。たとえば、長方形画面の隅に使われる送信機は、最適には90°の光ビームを有する。その角度より外側に放出された光は使われないからである。しかしながら、同じタッチスクリーンの他の送信機は、それより幅のある光ビームを放出してもよい。
【実施例】
【０１３５】
本発明は、幅広い用途に適用可能であり、そのいくつかについて下記で論じる。しかしながら、下記の用途が網羅的な一覧をなすものではないことは認識しておくべきである。
【０１３６】
・電子（ボード）ゲーム
この種のアプリケーションを可能にするためには、入力装置としてタッチスクリーンをもつ大きな平坦領域、たとえばテーブルまたは壁の表面を、一人または複数のユーザーのためにゲームを表示するために使用できる。単一のユーザーがそのようなアプリケーションと対話するとき、ユーザーは二つ以上の対話点（たとえば両方の手）を使うことができ、あるいはユーザーは具体的なオブジェクト（たとえば駒）を表面上に置くことができる。そのような場合、複数のタッチ点および複数の具体的オブジェクトの位置を検出し、必要なら識別することができる。
【０１３７】
より多くのユーザーがゲームをプレイするとき、ユーザーは、同じテーブルの他のユーザーの誰とも相互作用なしに、タッチスクリーンの自分の個人用部分においてゲームをプレイすることもできるし、あるいは他のユーザーと一緒に単一のゲームに参加することもできる。いずれの構成でも、システムも一プレーヤーとしてゲームに参加することもできる。
【０１３８】
システム対戦者ありまたはなしで単独または複数のユーザーがプレイできるゲームの例としては、異なる駒の位置が検出できるチェスまたはマルバツのような論理ゲームがある。システムは、ゲームに参加している場合、検出された情報を利用して次の手を決定できるが、ユーザーが許されない動きをした場合に警告したり、あるいは駒の位置に基づいてヘルプまたは提案を提供したりすることもできる。
【０１３９】
他の例は、ストーリー状況を描くためにユーザーが具体的オブジェクトを使用できるストーリーテリング・ゲームである。システムは対話的なストーリーを生成するためにオブジェクトを検出、識別および追跡できる。
【０１４０】
・電子描画
この種のアプリケーションは、単独または複数のユーザーの入力を使って描画を作成することができる。描画アプリケーションの一つの種類は、子供のための指お絵かきアプリケーションでありうる。大きなタッチスクリーン上に、指またはブラシのような他のオブジェクトを用いて子供たちが描画できるのである。複数の子供が同時に、一緒に、あるいは画面の自分専用の部分を使って描画できる。
【０１４１】
・デジタル式書字および描画
字を書いたり絵を描いたりするとき、人は通例手の掌を描画面に載せて追加の支持点とする。結果として、電子タブレットPCでのそのような作業を最適に支援するため、メーカーは手とスタイラス入力との区別をする方法を探し求めてきた。一つの解決策は、容量性／誘導性ハイブリッド・タッチスクリーンであることが見出された（http://www.synaptics.com/support/507-003a.pdf参照）。本発明の方法は、検出された形および複数タッチ点に基づいて手とスタイラスの区別をする機能を提供するので、この問題に対する代替的な解決策を提供する。
【０１４２】
・画面キーボード
仮想キーボードでテキストを入力するとき、入力は通例同時に一キーに制限される。Shiftキー、CtrlキーおよびAltキーを用いたキーの組み合わせは、通例、「固定（sticky）」キーの使用を通じてのみ可能である。本発明において記載されているタッチスクリーンは、複数の入力点を検出でき、よって物理的なキーボードについて一般的であるキーの組み合わせを検出できる。
【０１４３】
・ジェスチャー
ジェスチャーは、システムと対話する強力な方法となりうる。今日、たいていのジェスチャーは、単一の入力点をもつ画面、タブレットまたはその他の入力装置から来る。これは、単独の直線または曲線（の逐次的な集合）から構築されるジェスチャーの限られた集合のみを可能にする結果となる。本発明は、同時に描かれる複数の直線および曲線からなるジェスチャーをも許容し、手の形を検出することによる象徴的なジェスチャーさえ可能にする。これは、単一のユーザー動作でシステムにより多くの情報を伝達できるので、対話スタイルに、より一層の自由を許容する。
【０１４４】
複数入力点を有するジェスチャーの一例は、たとえば、画面上に互いに接近して置かれた二本の指を二つの異なる方向に動かすことである。この例示的なジェスチャーはたとえば、デスクトップ環境において「画面上のウィンドウを（ジェスチャーの）開始点に対してこの新たなサイズに拡大する」あるいはピクチャー・ビューワー・アプリケーションにおいて「両方の指が画面上で移動した距離に関係するズーム倍率で、このピクチャーを（ジェスチャーの）開始点の位置にズームする」と解釈されることができる。
【０１４５】
記載されたタッチスクリーンによって可能にされるユーザー対話スタイル（技術）は以下のものを含む：
●伝統的なタッチスクリーンにおけるような単一タッチ点の入力
●複数タッチ点の入力；それによりたとえば
・二つのタッチ点による距離の入力
・二つ以上のタッチ点による大きさの入力
・二つ以上のオブジェクトに同時にタッチすることによる、表示されているオブジェクト間の関係またはリンクの入力
●凸包形状の入力；それによりたとえば
・形の学習および学習された形の識別
・円、三角形、正方形、長方形などのような標準的な形の識別
●オブジェクトまたは材料の光学的パラメータ（透明性、反射率、透過率）の入力；それによりたとえば
・学習および学習されたオブジェクトまたは材料の識別
・プラスチックの駒（pawns）もしくはチェスの駒（pieces）などといった標準的なオブジェクトまたはガラス、プラスチック、木などといった材料の識別
●一つまたは複数のオブジェクトの追跡：それによりたとえば
・ジェスチャーの学習および認識
・標準的なジェスチャーの認識
本発明について特定の諸実施形態を参照しつつ述べてきたが、付属の請求項において述べられる本発明の精神および範囲から外れることなく数多くの変形に訴えることができることは理解されるであろう。したがって、明細書および図面は解説的な仕方で見なされるべきものであって、付属の特許請求の範囲を限定することを意図したものではない。
【０１４６】
付属の請求項を解釈する際には、以下のことを理解しておくべきである：
ａ）「有する」の語は所与の請求項に挙げられている以外の要素または動作の存在を排除しない。
ｂ）要素の単数形の表現はそのような要素の複数の存在を排除しない。
ｃ）請求項に参照符号があったとしてもそれは特許請求の範囲を限定するものではない。
ｄ）いくつかの「手段」は同一の項目、すなわちハードウェアまたはソフトウェアで実装される構造または機能によって表現されていてもよい。
ｅ）開示される要素のいずれも、ハードウェア部分（たとえば別個の電子回路および集積電子回路を含む）、ソフトウェア部分（たとえばコンピュータプログラミング）およびその任意の組み合わせから構成されうる。
ｆ）ハードウェア部分はアナログ部分およびデジタル部分の一方または両方から構成されうる。
ｇ）特別に断りのない限り、開示される装置またはその部分のいずれも、一緒に組み合わせたり、あるいはさらなる部分に分割したりされてもよい。
ｈ）特に示さない限り、動作のいかなる特定の序列も必要であるとは意図されていない。
【図面の簡単な説明】
【０１４７】
【図１】較正モードの間に第一の光源のスイッチが入れられた時点でのタッチスクリーン・ディスプレイのスナップショットを示す図である。
【図２】較正モードの間に第二の光源のスイッチが入れられた時点でのタッチスクリーン・ディスプレイのスナップショットを示す図である。
【図３】運用モードの間に第一の光源のスイッチが入れられた時点でのタッチスクリーン・ディスプレイのスナップショットを示す図である。
【図４】運用モードの間に第二の光源のスイッチが入れられた時点でのタッチスクリーン・ディスプレイのスナップショットを示す図である。
【図５】較正データおよび非較正データを使って最小領域推定および最大領域推定がどのようになされるかを示すスナップショットを示す図である。
【図６】どのようにして最小領域推定と最大領域推定を組み合わせてオブジェクトの総境界領域を決定するかを示す図である。
【図７】どのようにして最小領域推定と最大領域推定を組み合わせてオブジェクトの総境界領域を決定するかを示す図である。
【図８】どのようにして最小領域推定と最大領域推定を組み合わせてオブジェクトの総境界領域を決定するかを示す図である。
【図９】どのようにして最小領域推定と最大領域推定を組み合わせてオブジェクトの総境界領域を決定するかを示す図である。
【図１０】運用モードにおけるタッチスクリーン・ディスプレイ１０で、二つの丸いオブジェクトがあるときの第一の隅角の光源L0の点灯時の間のスナップショットを示す図である。
【図１１】運用モードにおけるタッチスクリーン・ディスプレイ１０で、二つの丸いオブジェクトがあるときの第二の隅角の光源L1の点灯時の間のスナップショットを示す図である。
【図１２】「最適化」アプローチのために最小領域推定および最大領域推定がどのように計算されるかを示す図である。
【図１３】一つのオブジェクトの光反射、吸収および透過の測定を示すタッチスクリーン・ディスプレイのスナップショットを示す図である。
【図１４】一つのオブジェクトの光反射、吸収および透過の測定を示すタッチスクリーン・ディスプレイのスナップショットを示す図である。
【図１５】一つのオブジェクトの光反射、吸収および透過の測定を示すタッチスクリーン・ディスプレイのスナップショットを示す図である。
【図１６】本発明のある実施形態に基づく、オーバル形をもつタッチスクリーンを示す図である。
【図１７】タッチスクリーン上のオブジェクト位置の違いがどのようにオブジェクトの位置、形、大きさの検出精度に影響しうるかを示す図である。
【図１８】タッチスクリーン上のオブジェクト位置の違いがどのようにオブジェクトの位置、形、大きさの検出精度に影響しうるかを示す図である。
【図１９】タッチスクリーン上のオブジェクト位置の違いがどのようにオブジェクトの位置、形、大きさの検出精度に影響しうるかを示す図である。
【図２０】タッチスクリーン上のオブジェクト位置の違いがどのようにオブジェクトの位置、形、大きさの検出精度に影響しうるかを示す図である。
【図２１】タッチスクリーン上のオブジェクト位置の違いがどのようにオブジェクトの位置、形、大きさの検出精度に影響しうるかを示す図である。
【図２２】光送信機のために異なる角位置が選択される実施形態を示す図である。
【図２３】光送信機のために異なる角位置が選択される実施形態を示す図である。
【図２４】光送信機のために異なる角位置が選択される実施形態を示す図である。
【図２５】光送信機のために異なる角位置が選択される実施形態を示す図である。
【図１】
2008533581.tif 000016
【図２】
2008533581.tif 000017
【図３】
2008533581.tif 000018
【図４】
2008533581.tif 000019
【図５】
2008533581.tif 000020
【図６】
2008533581.tif 000021
【図７】
2008533581.tif 000022
【図８】
2008533581.tif 000023
【図９】
2008533581.tif 000024
【図１０】
2008533581.tif 000025
【図１１】
2008533581.tif 000026
【図１２】
2008533581.tif 000027
【図１３】
2008533581.tif 000028
【図１４】
2008533581.tif 000029
【図１５】
2008533581.tif 000030
【図１６】
2008533581.tif 000031
【図１７】
2008533581.tif 000032
【図１８】
2008533581.tif 000033
【図１９】
2008533581.tif 000034
【図２０】
2008533581.tif 000035
【図２１】
2008533581.tif 000036
【図２２】
2008533581.tif 000037
【図２３】
2008533581.tif 000038
【図２４】
2008533581.tif 000039
【図２５】
2008533581.tif 000040
【国際調査報告】
2008533581.tif 000041
2008533581.tif 000042
2008533581.tif 000043