(57)【要約】  光学特性に基づいてオブジェクトの材料を決定する方法、デバイス及びコンピュータプログラムが開示されている。より詳細には、複数の光源（Li, i=1〜N）及びセンサ（Sj, j=1〜M）を外周に含むタッチスクリーン上で動作可能な方法は、各光源からタッチスクリーンの境界内のオブジェクトへ光を出力するステップと、オブジェクトから各光源及び各センサまでの距離を決定するステップと、各センサで、出力された光の存在を検出するステップと、各センサで、オブジェクトの反射率n2を決定するステップと、決定した反射率に基づいて、オブジェクトの材料を決定するステップとを有する。
2009543173.tif 000002
【特許請求の範囲】
【請求項１】
複数の光源及びセンサを外周に含むタッチスクリーンの境界内の光学特性に基づいて、オブジェクトの材料を決定する方法であって、
各光源から前記タッチスクリーンの前記境界内のオブジェクトへ光を出力するステップと、
前記オブジェクトから各光源及び各センサまでの距離を決定するステップと、
各センサで、順次出力された光の存在を検出するステップと、
各センサで、前記オブジェクトの反射率を決定するステップと、
決定した前記反射率に基づいて、前記オブジェクトの材料を決定するステップとを有する、方法。
【請求項２】
各光源から出力された光に関する各センサでの光強度キャリブレーションデータの組を決定するステップを更に有する、請求項１に記載の方法。
【請求項３】
各センサで、出力された光の存在を検出するステップは、
順次出力した各光源に関する各センサでの前記光強度を測定するステップと、
順次出力した各光源に関する各センサでの測定した前記光強度を、前記キャリブレーションデータと比較するステップとを有する、請求項２に記載の方法。
【請求項４】
各光源を順次オンにするステップを有し、当該ステップは、Ｎ個の光源のそれぞれを予め決められた順に予め決められた長さの時間の間オンにするステップを有する、請求項１に記載の方法。
【請求項５】
前記決定した反射率に基づいて前記オブジェクトの材料を決定するステップは、
各光源に対する各センサが決定した反射率に基づいて、一次反射率を決定するステップと、
前記一次反射率のそれぞれに基づいて、最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項１に記載の方法。
【請求項６】
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項５に記載の方法。
【請求項７】
前記決定した反射率に基づいて、前記オブジェクトの材料を決定するステップは、
前記決定した反射率のそれぞれに基づいて最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項１に記載の方法。
【請求項８】
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項７に記載の方法。
【請求項９】
複数の光源及び複数のセンサを外周に含むタッチスクリーンの境界内の光学特性に基づいて、オブジェクトの材料を決定するデバイスであって、
メモリと通信するプロセッサを有し、
前記プロセッサは、
各光源から前記タッチスクリーンの前記境界内のオブジェクトへ光を出力するステップと、
前記オブジェクトから各光源及び各センサまでの距離を決定するステップと、
各センサで、順次出力された光の存在を検出するステップと、
各センサで、前記オブジェクトの反射率を決定するステップと、
決定した前記反射率に基づいて、前記オブジェクトの材料を決定するステップとを実行する、デバイス。
【請求項１０】
前記プロセッサは、
各光源から出力された光に関する各センサでの光強度キャリブレーションデータの組を決定するステップを更に実行する、請求項９に記載のデバイス。
【請求項１１】
各センサで、出力された光の存在を検出するステップは、
順次出力した各光源に関する各センサでの前記光強度を測定するステップと、
順次出力した各光源に関する各センサでの測定した前記光強度を、前記キャリブレーションデータと比較するステップとを更に有する、請求項１０に記載のデバイス。
【請求項１２】
各光源を順次オンにするステップを有し、当該ステップは、Ｎ個の光源のそれぞれを予め決められた順に予め決められた光の時間の間オンにするステップを有する、請求項９に記載のデバイス。
【請求項１３】
前記決定した反射率に基づいて前記オブジェクトの材料を決定するステップは、
各光源に対する各センサが決定した反射率に基づいて、一次反射率を決定するステップと、
前記一次反射率のそれぞれに基づいて、最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項９に記載のデバイス。
【請求項１４】
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項１３に記載のデバイス。
【請求項１５】
前記決定した反射率に基づいて、前記オブジェクトの材料を決定するステップは、
前記決定した反射率のそれぞれに基づいて最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項９に記載のデバイス。
【請求項１６】
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項１５に記載のデバイス。
【請求項１７】
複数の光源及び複数のセンサを外周に含むタッチスクリーンの境界内の光学特性に基づいて、オブジェクトの材料を決定するコンピュータシステムに命令を供するコンピュータプログラムであって、
前記コンピュータシステムをロードするときの命令は、
各光源から前記タッチスクリーンの前記境界内のオブジェクトへ光を出力するステップと、
前記オブジェクトから各光源及び各センサまでの距離を決定するステップと、
各センサで、順次出力された光の存在を検出するステップと、
各センサで、前記オブジェクトの反射率を決定するステップと、
決定した前記反射率に基づいて、前記オブジェクトの材料を決定するステップとを、前記コンピュータシステムに実行させる、コンピュータプログラム。
【請求項１８】
前記命令は、
各光源から出力された光に関する各センサでの光強度キャリブレーションデータの組を決定するステップを前記コンピュータに更に実行させる、請求項１７に記載のコンピュータプログラム。
【請求項１９】
各センサで、出力された光の存在を検出するステップは、
順次出力した各光源に関する各センサでの前記光強度を測定するステップと、
順次出力した各光源に関する各センサでの測定した前記光強度を、前記キャリブレーションデータと比較するステップとを更に有する、請求項１８に記載のコンピュータプログラム。
【請求項２０】
各光源を順次オンにするステップを有し、当該ステップは、Ｎ個の光源のそれぞれを予め決められた順に予め決められた長さの時間の間オンにするステップを有する、請求項１７に記載のコンピュータプログラム。
【請求項２１】
前記決定した反射率に基づいて前記オブジェクトの材料を決定するステップは、
各光源に対する各センサが決定した反射率に基づいて、一次反射率を決定するステップと、
前記一次反射率のそれぞれに基づいて、最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項１７に記載のコンピュータプログラム。
【請求項２２】
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項２１に記載のコンピュータプログラム。
【請求項２３】
前記決定した反射率に基づいて、前記オブジェクトの材料を決定するステップは、
前記決定した反射率のそれぞれに基づいて最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項１７に記載のコンピュータプログラム。
【請求項２４】
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項２３に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、一部継続出願であり、２００５年３月１０日付でUS Patent Officeに提出され、Ｎｏ．６０／６６０，３６６で示された、"System and Method for Detecting the Location, Size and Shape of Multiple Object that Interact with a Touch Screen Display"というタイトルの先の特許出願の提出日の、35 USC 120に従う利益を享受し、この先の出願の内容は、ここに参照により組み込まれる。
【０００２】
この発明は、オブジェクトの認識の分野、より詳細には、オブジェクトのオプティカルパラメータに基づくオブジェクト認識システムに関する。
【背景技術】
【０００３】
タッチスクリーンは、コンピュータ駆動システムに対するマンマシンインタフェースを提供するためのポインティングセンサとして一般に用いられている。概して、オプティカルタッチスクリーンについて、多くの赤外光学放射体（即ち、トランスミッタ）及び検出器（即ち、レシーバ）が、複数の交差光路（intersecting light path）を生成するためにディスプレイスクリーンの外周に設けられている。ユーザがディスプレイスクリーンをタッチする場合には、ユーザの指は、外周に配置されたトランスミッタ／レシーバの組のうちの特定の１つの光伝送をブロックする。ブロックされた組の識別に基づいて、タッチスクリーンシステムは、遮断の位置（単一のポイントのインタラクション）を決定することができる。斯様なスクリーンによれば、特定の選択は、メニューオプション又はボタンになり得る、選択物が表示されたスクリーンの領域をタッチすることにより、ユーザにより選択される。直交する光ビームのこの使用は、広く用いられる一方で、オブジェクトの形状及びサイズを効果的に検出することができない。また、直交する光ビームの使用は、複数のオブジェクト又は複数のポイントを検出することもできない。
【０００４】
２００５年３月１０日付でUS Patent Officeに提出された、"System and Method for Detecting the Location, Size and Shape of Multiple Object that Interact with a Touch Screen Display"というタイトルの米国特許出願公開第６０／６６０，３６６号明細書は、タッチスクリーン内の複数のオブジェクト、これらの位置、サイズ及び形状を検出するために光学放射体及びセンサを用いたタッチスクリーンを開示している。この検出方法は、オブジェクトにより投影された影の検出に基づいており、全てのＬＥＤ放射体のオンとオフとを順次切り替えて、次に全ての影ポリゴン（shadow-polygon）の交差を計算している。
【０００５】
参照した特許出願に記載された方法は、影の検出に基づくオブジェクトの検出を提供している。このアプローチは、スクリーン上のオブジェクトの存在を決定している。スクリーン上のオブジェクトの認識を得るための他の方法は、反射率及び透過率のようなオブジェクトのオプティカルパラメータを決定することを含んでいる。さらにまた、反射率及び透過率の光学特性は、異なる材料の他の同様の形状のオブジェクトを区別するために用いられ得る他の情報を提供している。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
それ故、検出されるオブジェクトの決定を補助するために光学特性を利用する方法及び装置が産業において必要である。
【課題を解決するための手段】
【０００７】
光学特性に基づいてオブジェクトの材料を決定する方法、デバイス及びコンピュータプログラムが開示されている。より詳細には、その外周に複数の光源（Li, i=1〜N）及びセンサ（Sj, j=1〜M）を含むタッチスクリーン上で動作可能な方法は、各光源からタッチスクリーンの境界内のオブジェクトへ光を出力するステップと、オブジェクトから各光源及び各センサまでの距離を決定するステップと、各センサで、順次出力された光の存在を検出するステップと、各センサで、オブジェクトの反射率ｎ２を決定するステップと、決定した反射率に基づいて、オブジェクト材料を決定するステップとを有する。
【発明を実施するための最良の形態】
【０００８】
本発明の利点は、添付図面と組み合わせて取り込まれる以下の説明を参照することにより良く理解され得る。
【０００９】
これらの図面は、単に本発明の概念を例示する目的のためのものであり、本発明の限定の定義として示されるものではないことが理解されるべきである。この中に図面に示され、添付した詳細な説明に記載された実施形態は、一例の実施形態として用いられるべきであり、本発明を実行する唯一の態様として構成されるべきではない。また、使用する参照文字でできる限り補完された同一の参照符号は、同様のエレメントを識別するために用いられる。
【００１０】
図１は、ディスプレイ領域105並びにディスプレイ領域105の外周に交互に配置された光源（L）110，120，130，・・・180及びセンサ（S）115，125，135，145，・・・185を含む従来のマルチタッチスクリーン装置を示している。全ての光源及びセンサは、ラベルにより識別されていないが、光源及びセンサがディスプレイ領域105（例えば、S11，L15）の全周に沿って組み込まれることが当業者により認識されるだろう。好ましくは、光源110，120，130，・・・180は、発光ダイオード（ＬＥＤ）である。
【００１１】
また、ハッチ領域として示される部分は、光源L0，110から放出される光がカバーする、ディスプレイ領域105内の領域である。この図において、センサS5，175及びS6〜S11は、それぞれ、光源L0，110が放出した光を検出することができる。ポイントC2，185及びC3は、ディスプレイエリア105の角に関連付けられたポイントを表している。光のカバー範囲（light coverage）及びセンサ受信（sensor reception）は、光源L0〜L15のそれぞれについて決定されてもよく、ここで詳細に示す必要はない。加えて、妨げられていない光のカバーパターンが、各光源に関する各センサについての参照を確立するキャリブレーションデータを取得するために用いられてもよい。
【００１２】
図２Ａ〜２Ｃは、オブジェクトがディスプレイ領域105とともに配置される場合におけるカバー範囲及びセンサ受信の例を示している。図２Ａは、光源L0，110により放出された光を１００パーセント吸収するオブジェクト210がディスプレイ領域105に含まれる場合を示している。この場合において、センサS6，225及びS7，235は、光源L0，110に関するオブジェクト210の影の完全に範囲内であり、それ故、いかなる光も受信又は検出しない。さらに、センサS0，115，S1，125，S3，135及びS4，145は、光がオブジェクトにより反射されないので（即ち、全吸収）、オブジェクト120からのいかなる光も検出しないが、その一方で、まるでオブジェクト210がディスプレイ領域105内にないかのように、センサS5，175及び他のセンサは光源L0，110から放出された同一の量の光を検出する。
【００１３】
図２Ｂは、ディスプレイ領域105に含まれたオブジェクト210が部分的に光を吸収し、部分的に透過可能である場合を示している。この場合において、センサS6，225及びS7，235は、光源L0，110により放出された光の一部の量を検出することができる。他のセンサは、前述したように、光源110からの光を検出する。図２Ｃは、オブジェクト210の表面に達する光の１００パーセントよりも少ない光が吸収され、残りが反射される場合を示している。これは、通常は検出されない（領域250）一部の光を検出するセンサS0，115，S1，125，S2，135及びS3，145を導く。十分理解されるように、センサにより検出された光のレベルは、オブジェクトとセンサとの距離、オブジェクトの形状、他のオブジェクトにより引き起こされる反射等のような多くのファクタに依存するだろう。
【００１４】
図３は、本発明の原理の簡略化した例を示している。この簡略化した例においては、光を部分的に吸収し、部分的に反射している矩形オブジェクト310が、タッチスクリーン100の面に含まれている。光がタッチスクリーン100の２次元平面において伝播すると仮定すると、ＬＥＤL0，110から放出された光は、センサS2，135がオブジェクトによる反射の一部を検出できるように、オブジェクト310（obj1）により反射される。スネルの法則n1sinα=n2sinβによれば、角度αは、ＬＥＤL0，110及びセンサS2，135の座標として決定され、オブジェクト310の位置及び形状と同様に識別される。"System and Method for Detecting the Location, Size and Shape of Multiple Object that Interact with a Touch Screen Display"というタイトルの米国特許出願で記載されるようなオブジェクト領域検出方法を用いて、ＬＥＤL0，110とオブジェクト310とセンサS2との間における反射及び距離l1及びl2を引き起こすオブジェクト表面のオリエンテーション（orientation）が決定され得る。
【００１５】
非偏光に関するフレネル方程式は、
【数１】
2009543173.tif 000003
として表されてもよく、ここで、Irは、オブジェクト310から反射された後の光強度であり、Iiは、オブジェクト310のオブジェクト表面に達する直前の光強度であり、n1は、１に近い反射率であり、n2は、オブジェクト310の反射率である。
【００１６】
光強度Ir及びIiを決定するために、距離につれてＬＥＤL0により放出された光強度の減少Lil0は、
【数２】
2009543173.tif 000004
のように決定されてもよい。
【００１７】
同様に、強度Irを持つ反射Rのポイントと強度IrS2を持つ及びセンサS2，135との間を移動する際の光減衰は、
【数３】
2009543173.tif 000005
のように決定されてもよい。
【００１８】
Ii及びIrの知見を持つことで、オブジェクト310の反射率n2が決定されてもよい。加えて、様々な材料の反射率が決定されてもよく、様々な材料の反射率が、オブジェクト310の特定の材料を決定するためにアクセスされ得るデータベース（例えば、ルックアップテーブル）に格納されてもよい。
【００１９】
本発明の一実施形態において、光は、それぞれの光源L0〜L15により順次出力される。１又はそれ以上のセンサS0〜S11は、方程式１〜３について述べたように、光の変化の程度を受信する。それ故、対応する光源から出力された各光について、決定は、検出されるオブジェクトの反射率n2で行われてもよい。本発明の一態様において、反射率n2は、各光源に関連付けられてもよい。そして、最終反射率n2は、それぞれの蓄積した反射率から決定されてもよい。他の態様において、最終反射率n2は、それぞれの決定した反射率から決定されてもよい。例えば、最終反射率n2は、それぞれの決定した反射率の平均として決定されてもよい。代わりに、最終反射率n2は、既知のヒストグラムの態様を用いて決定されてもよい。
【００２０】
そして、材料が構成される物質は、反射率n2と材料との相関に基づいて決定されてもよい。この相関情報は、予め決定されたデータベースに格納されてもよく、ここに含まれる情報が経験的に決定されてもよい。
【００２１】
図４は、本発明の原理に従った例となるプロセスのフローチャートを示している。この例となるプロセスにおいて、ブロック410では、最初の／次の光源が、予め決められた時間に光を出力するために選択される。ブロック420では、光強度が各センサで取得及び測定される。ブロック430では、反射率は、方程式１〜３で述べたような幾何学に基づいて、各センサについて決定される。ブロック440では、決定は、それ以上の光源が処理される必要があるかについて行われる。応答が肯定的なものである場合には、処理は、次の光源を選択するためにブロック410に続く。しかしながら、応答が否定的なものである場合には、その後、反射率は、ブロック450で、全てのセンサ及び全ての光源の間で相互に関連付けられる。ブロック460では、最終反射率が決定され、ブロック470では、材料が、決定した最終反射率に基づいて決定される。
【００２２】
本発明の一態様において、オプティカルパラメータ測定の出力は、検出したオブジェクトの形状を微調整するために用いられ得る。例えば、オブジェクトの材料が決定され又は外部から与えられ、及び、凸形状が形状検出プロセスにより計算される場合には、
計算は、オブジェクトが空洞であるか（hollow）又は大きいものであるか（massive）を決定するために実行され得る。
【００２３】
図５は、ここで示された処理を実行するための例となるシステム500を示している。この例となるシステムにおいて、プロセッサ510は、メモリ520と接続されている。さらに、プロセッサ510は、センサ520及び光源530と接続されている。プロセッサ510は、受信した光強度に関する情報を供するそれぞれの光源530及びセンサ520のオン／オフ状態を制御する。受信した情報を処理した後、処理情報は、ディスプレイユニット550又は他の処理システムに供されてもよい。
【００２４】
本発明の一実施形態において、汎用又は専用のコンピュータシステム等の１又はそれ以上の制御ユニット又はプロセッサは、コンピュータ命令を装置に実行させるために、及びオブジェクトにより反射及び／又は出力された光に応答するために利用されてもよい。コンピュータ命令は、有形的表現媒体上に格納されるコンピュータプロダクトにおいて供されてもよく、ネットワーク上でダウンロードされてもよい。コンピュータ命令は、メモリ５２０に格納されてもよい。
【００２５】
本発明の他の態様において、プロセッサは、専用の論理回路又は集積回路等のハードウェア構成であってもよい。例えば、プロセッサは、プログラム可能アレー論理（ＰＡＬ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のグループ専用のハードウェアから選択されてもよく、既知の入力に応答して既知の出力を供するソフトウェア命令又はコードを含むために"プログラムされた"ハードウェアであってもよい。一態様において、ハードウェア回路が、本発明を実行するためのソフトウェア命令の代わりに、又は組み合わせて用いられてもよい。また、要素は、暗号化された論理動作を用いて示される、又はハードウェア実行可能なコードを実行することにより動作を実行するように動作可能な別個のハードウェア要素として実装されてもよい。メモリは、プロセッサの外部であるＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はＲＡＭ等のいかなる半導体メモリであってもよく、及び／又は、プロセッサとともに統合される、即ち、キャッシュであってもよい。
【００２６】
これらの好ましい実施形態に適用されるような本発明の基本となる新規な特徴が示され、説明され、及び指摘される一方で、開示されたデバイスの形式及び詳細、並びにこれらの動作についての様々な省略及び置換並びに説明された装置についての変更は、本発明の精神から離れることなく当業者により行われることが理解されるだろう。同一の結果を達成するために実質的に同一の態様において実質的に同一の機能を実行するこれらの要素の全ての組み合わせが本発明の範囲内であることが明確に表される。また、一の述べた実施形態から他へのエレメントの置換は、完全に意図されて予期される。
【図面の簡単な説明】
【００２７】
【図１】従来のマルチタッチオブジェクション認識装置を示すものである。
【図２】図２Ａ〜図２Ｃは図１に示されたオブジェクト認識装置の範囲内での反射パラメータの例を示すものである。
【図３】本発明の原理に従ってオブジェクトを認識するための配列を示すものである。
【図４】本発明の原理に従ってタッチスクリーンオブジェクト認識装置の情報を処理するための例となるプロセスのフローチャートを示すものである。
【図５】ここで示された処理を実行するための例となるシステムを示すものである。
【図１】
2009543173.tif 000006
【図２Ａ】
2009543173.tif 000007
【図２Ｂ】
2009543173.tif 000008
【図２Ｃ】
2009543173.tif 000009
【図３】
2009543173.tif 000010
【図４】
2009543173.tif 000011
【図５】
2009543173.tif 000012
【国際調査報告】
2009543173.tif 000013
2009543173.tif 000014