(57)【要約】  光学的タッチセンサー式装置における周囲光のについての画像の補正が開示される。例えば、１つの開示された実施例は、画像データ・フレーム中の第１の領域のピクセルを、当該画像データ・フレーム中の第２の領域のピクセルとは異なる周囲光露光の持続時間の間積分することを含む。強度データは第１の領域のピクセル及び第２の領域のピクセルから読み取られ、周囲光の値は、強度データから、画像データ・フレーム中の１つ以上のピクセルについて決定される。その後、周囲光の値は、周囲光についてデータ・フレームの１つ以上のピクセルを調節するために使用される。
2011501841.tif 000002
【特許請求の範囲】
【請求項１】
光学的タッチセンサー式装置において周囲光について画像を補正する方法であって、前記光学的タッチセンサー式装置は、スクリーン、光源及び２つ以上の領域のピクセルを備えた画像センサーを含み、前記方法は、
画像データ・フレーム中の第１の領域のピクセルを、前記画像データ・フレーム中の第２の領域のピクセルとは異なる周囲光露光の持続時間の間、積分するステップと、
前記第１の領域のピクセル及び前記第２の領域のピクセルから強度データを読み取るステップと、
前記強度データから、前記画像データ・フレーム中の１つ以上のピクセルにについて周囲光の値の決定するステップと、
前記周囲光の値に基づいて周囲光について前記データ・フレームの１つ以上のピクセルを調節するステップと
を含む方法。
【請求項２】
前記第１の領域のピクセルは、偶数行のピクセル又は偶数列のピクセルを含み、前記第２の領域のピクセルは、奇数行のピクセル又は奇数列のピクセルを含む請求項１に記載の方法。
【請求項３】
１つの画像データ・フレームにおいて、最初に前記第１の領域のピクセルから強度データを読み取り、次に前記第２の領域のピクセルから強度データを読み取り、その後、次の画像データ・フレームにおいて、最初に前記第２の領域のピクセルから強度データを読み取り、次に前記第１の領域のピクセルから強度データを読み取るステップをさらに含む請求項１に記載の方法。
【請求項４】
周囲光についてデータ・フレームを調節する前記ステップは、まず周囲光がしきい値を超えるか否かを決定し、次に、前記周囲光が前記しきい値を超える場合のみ、前記周囲光を補正するステップを含む請求項１に記載の方法。
【請求項５】
何らかのオブジェクトがスクリーン上で動いているか否かを決定し、何らかのオブジェクトがスクリーン上で動いていると検出されるか否かに依存して、使用する周囲光の補正方法を選択するステップをさらに含む請求項４に記載の方法。
【請求項６】
各データ・フレームの積分中に、
前記光源が「オン」状態にある「オン」状態区間の間、及び前記光源が「オフ」状態にある「オフ」状態区間の間、前記画像センサーを露光させるステップと、
交互に存在するフレームｎ及びｎ＋１について、
フレームｎにつき、１つの「オン」状態区間の積分の後に前記第１の領域のピクセルの強度レベルを読み取り、その後１つの「オン」状態区間及び２つの「オフ」状態区間の積分の後に前記第２の領域のピクセルのレベルを読み取るステップと、
フレームｎ＋１につき、１つの「オン」状態区間の積分の後に前記第２の領域のピクセルの強度レベルを読み取り、その後１つの「オン」状態区間及び２つの「オフ」状態区間の積分の後に前記第１の領域のピクセルのレベルを読み取るステップと
をさらに含む請求項１に記載の方法。
【請求項７】
前記画像センサーの飽和を低減し又は前記積分された光量を増加させるために、前記光源が「オン」状態にある間に前記画像センサーが露光される区間の長さ及び前記光源が「オフ」状態にある間に前記画像センサーが露光される区間の長さのうち１つ以上を調節するステップをさらに含む請求項６に記載の方法。
【請求項８】
１つ以上のピクセルにおける飽和条件を検出し、前記光源の前記「オン」状態及び前記「オフ」状態の間前記画像センサーが光に露出される持続時間を低減するステップをさらに含む請求項１に記載の方法。
【請求項９】
複数のフレームについて周囲光の値を決定し、前記周囲光の値を使用して周囲光うなり周波数を測定し、前記周囲光うなり周波数に基づいて前記装置のフレームレートを調節するステップをさらに含む請求項１に記載の方法。
【請求項１０】
光学的タッチセンサー式装置において周囲光について画像を補正する方法であって、前記光学的タッチセンサー式装置は、スクリーン、光源及び２つ以上のインターレースされた領域のピクセルを備えた画像センサーを含み、前記方法は、
各画像データ・フレームの積分中に、前記光源を、前記フレームの一部について「オン」状態で動作させ、前記フレームの一部について「オフ」状態で動作させるステップと、
各画像データ・フレームの積分中に、
前記光源が「オフ」状態にある間に、第１の領域のピクセルに関して第２の領域のピクセルよりも長い時間期間の間、光を積分するステップと、
前記光源が「オン」にある間に、前記第１の領域のピクセルに関して前記第２の領域のピクセルと等しい時間期間の間、光を積分するステップと、
前記第１の領域のピクセル及び前記第２の領域のピクセルから強度データを読み取るステップと、
前記第１の領域のピクセルからの強度データと前記第２の領域のピクセルからの強度データにおける差に基づいて、周囲光について前記画像データ・フレームを調節するステップと
を含む方法。
【請求項１１】
１つの画像データ・フレームにおいて、まず前記第１の領域のピクセルから強度データを読み取り、次に第２の領域のピクセルから強度データを読み取り、その後、次の画像データ・フレームにおいて、まず前記第２の領域のピクセルから強度データを読み取り、次に前記第１領域のピクセルから強度データを読み取るステップをさらに含む請求項１０に記載の方法。
【請求項１２】
周囲光についてデータ・フレームを調節する前記ステップは、周囲光がしきい値を超えるか否かをまず決定し、次に、前記周囲光が前記しきい値を超える場合にのみ、周囲光を補正するステップを含む請求項１０に記載の方法。
【請求項１３】
何らかのオブジェクトがスクリーン上で動いているか否かを決定し、何らかのオブジェクトがスクリーン上で動いていると検出されるか否かに依存して、使用する周囲光の補正計算を選択するステップをさらに含む請求項１２に記載の方法。
【請求項１４】
交互に存在するフレームｎ及びｎ＋１について、
フレームｎにつき、１つの「オン」状態区間の積分の後に前記第１の領域のピクセルの強度レベルを読み取り、その後１つの「オン」状態区間及び２つの「オフ」状態区間の積分の後に前記第２の領域のピクセルのレベルを読み取るステップと、
フレームｎ＋１につき、１つの「オン」状態区間の積分の後に前記第２の領域のピクセルの強度レベルを読み取り、その後１つの「オン」状態区間及び２つの「オフ」状態区間の積分の後に前記第１の領域のピクセルのレベルを読み取るステップと
をさらに含む請求項１０に記載の方法。
【請求項１５】
前記強度データの１つ又は複数の特性に基づいて、前記「オン」状態区間の長さ及び前記「オフ」状態区間の長さのうち１つ以上を調節するステップをさらに含む請求項１０に記載の方法。
【請求項１６】
光学的タッチセンサー式装置であって、
タッチ表面及び背面を有するスクリーンと、
前記スクリーンの背面の画像を捕捉するように構成され、２つ以上のインターレースされた領域のピクセルを含む画像センサーと、
前記スクリーンの前記背面を照射するように構成された光源と、
画像データ・フレームの捕捉の間に前記光源を調節し、
前記光源がオンである時間部分及び前記光源がオフである時間部分の間、前記画像源が各画像データ・フレームを積分するように、画像データ・フレームの捕捉の間に、前記画像センサーの光への露出を調節し、
第１の領域のピクセルが第２の領域のピクセルの前に読み取られるよう、前記画像センサーから最初の画像データ・フレームを読み取り、
前記第２の領域のピクセルが前記第１の領域のピクセルより前に読み取られるよう、前記画像センサーから次の画像データ・フレームを読み取る
ように構成された制御装置と
を含む装置。
【請求項１７】
前記制御装置は、前記第１の領域のピクセルと前記第２の領域のピクセルとの間の強度データの差から前記画像データ・フレーム中の１つ以上のピクセルに対する周囲光の値を決定し、前記周囲光の値に基づいて周囲光につい前記データ・フレームの１つ以上のピクセルを調節するように構成される請求項１６に記載の装置。
【請求項１８】
前記制御装置は、前記周囲光の値がしきい値を超えるか否かを決定し、次に、前記周囲光の値がしきい値を超える場合にのみ周囲光について前記データ・フレームの１つ以上のピクセルを調節するように構成される請求項１７に記載の装置。
【請求項１９】
前記制御装置は、何らかのオブジェクトが前記スクリーン上で動いているか否かを決定し、何らかのオブジェクトが前記スクリーン上で動いていると検出されるか否かに依存して使用する周囲光の補正計算を選択するように構成される請求項１７に記載の装置。
【請求項２０】
何らかのオブジェクトが前記スクリーン上で動いていると検出されるか否かに依存して周囲光の値が選択される、複数の周囲光の補正計算を実行するように構成されたフィールドプログラマブルゲートアレイをさらに含む請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学的タッチセンサー式装置における周囲光の補正に関する。
【背景技術】
【０００２】
タッチセンサー式装置は、光学的機構、抵抗性機構及び容量性機構を含むがこれらに限定されない、いくつかの異なる機構によって接触を検出できる。いくつかの光学的タッチセンサー式装置は、画像センサーによってタッチ・スクリーンの背面（backside）の画像を捕捉し、次に、スクリーンに配置されたオブジェクト（物体）を検出するために画像を処理することにより、接触を検出する。そのような装置は、スクリーン上のオブジェクトが画像センサーへの入射光を反射することにより当該オブジェクトを検出することができるように、表示画面の背面を照射するための装置内の光源を含み得る。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
光学的タッチ・スクリーン装置で見られる１つの困難は、外部（周囲）光と装置内の光源から反射された光とを区別することを含んでいる。十分な明るさの周囲光は装置に触れるオブジェクトと誤られ、したがって、装置の性能を低下させ得る。
【課題を解決するための手段】
【０００４】
従って、光学的タッチセンサー式装置において周囲光を補正（correcting）する様々な方法が詳細な説明において以下に開示される。例えば、１つの開示される実施例は、画像データ・フレーム中の第１の領域（フィールド、field）のピクセルを、当該画像データ・フレーム中の第２の領域のピクセルとは異なる周囲光露出の持続時間の間、積分すること（統合すること、integrating）を含む。強度データは、第１の領域のピクセル及び第２の領域のピクセルから読み取られ、周囲光の値は、強度データから、画像データ・フレーム中の１つ以上のピクセルについて決定される。その後、周囲光の値は、周囲光に対してデータ・フレームの１つ以上のピクセルを調節するために使用される。
【０００５】
この概要は、詳細な説明においてさらに以下に述べられる概念のうち選択されたものを単純化された形式で紹介するために提供される。この概要は、特許請求された主題の主要な特徴又は不可欠な特徴を識別するようには意図されず、特許請求された主題の範囲を限定するために使用されるようにも意図されない。更に、特許請求された主題は、本明細書のいずれの箇所に記載されている任意の又はすべての欠点を解決する実施例に限定されるものではない。
【図面の簡単な説明】
【０００６】
【図１】光学的タッチセンサー式装置の実施例を示す。
【図２】光学的タッチセンサー式装置において周囲光を補正する方法の実施例を示す処理フローを示す。
【図３】光学的タッチセンサー式装置において画像センサーを積分（統合）し読み取る方法の実施例を示すタイミング図を示す。
【図４】図３の方法によって捕捉された隣接した画像フレーム中の２つの領域のピクセルの強度データの概略的な描写を示す。
【図５】図４の強度データから周囲光の値を決定する方法の１つの実施例の概略的な描写を示す。
【図６】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図７】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図８】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図９】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１０Ａ】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１０Ｂ】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１０Ｃ】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１０Ｄ】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１１】フレームレートの補正の前にフレームレートと比較される周囲光周波数のタイミング図を示す。
【図１２】フレームレートの補正の後にフレームレートと比較される周囲光周波数のタイミング図を示す。
【図１３】光学的タッチセンサー式装置において周囲光を補正する方法の実施例を示す処理フローを示す。
【発明を実施するための形態】
【０００７】
光学的タッチセンサー式（optical touch-sensitive）装置において画像を周囲光について補正することに関して議論する前に、１つの適切な使用環境の実施例が記述される。図１は、光学的タッチ検知（optical touch-sensing）機構を利用する、対話型の（インタラクティブな）ディスプレイ装置１００の実施例の概略的な描写を示す。対話型ディスプレイ装置１００は、画像源１０２を有する投影表示システム、及び画像が投影される表示画面１０６を含む。投影表示システムの文脈（コンテキスト）において示されたが、本明細書に記載された実施例はまた、ＬＣＤパネルシステムを含むがこれに限定されない他の適切なディスプレイシステムにより実施されてもよいことが理解されるであろう。
【０００８】
画像源１０２は、ランプ（図示される）、ＬＥＤアレイ、又は他の適切な光源などの光源１０８を含んでいる。画像源１０２はまた、図示されたＬＣＤ（液晶ディスプレイ）、ＬＣＯＳ（シリコン上の液晶、liquid crystal on silicon）ディスプレイ、ＤＬＰ（デジタル光処理）ディスプレイ又は他の適切な画像生成要素などの、画像生成要素１１０を含んでいる。
【０００９】
表示画面１０６は、ガラスのシートなどのクリアで透明な部分１１２、及びクリアで透明な部分１１２の上に配置された拡散器（ディフューザー）スクリーン層１１４を含む。いくつかの実施例では、表示面に対して滑らかな外観及び感触を与えるために、追加の透明層（図示せず）がディフューザー・スクリーン層１１４上に配置されてもよい。さらに、表示画面１０６上に画像を表示するために投影画像源ではなくＬＣＤパネルを利用する実施例では、ディフューザー・スクリーン層１１４は省略されてもよい。
【００１０】
続けて図１を参照すると、対話型ディスプレイ装置１００は、メモリー１１８及びマイクロプロセッサー１２０を含む電子制御装置１１６をさらに含んでいる。制御装置１１６は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）１２２及び／又は、以下に述べられるように１つ以上の周囲光補正計算を行うように構成された、特定用途向け集積回路（ＡＳＩＣ）（図示せず）、デジタル信号プロセッサー（ＤＳＰ）（図示せず）などを含む他の適切な電子要素も含んでいる。制御装置１１６の部分として示されたが、ＦＰＧＡ１２２及び／又は他の電子的構成要素が制御装置１１６と電気的に導通した１つ以上の別個の装置として提供されてもよいことが理解されよう。さらに、メモリー１１８は、本明細書に記載された方法及びプロセスをもたらすべく装置１００の様々な部分を制御するために、プロセッサー１２０によって実行可能な、その上に格納された命令を含んでもよいことがさらに理解されよう。同様に、ＦＰＧＡ１２２はまた、以下に詳細に説明される補正方法の１つ以上を実行するように構成されてもよい。
【００１１】
表示画面１０６に配置されたオブジェクトを検知するために、対話型ディスプレイ装置１００は、表示画面１０６の背面全体の画像を捕捉し、かつ画像に現れるオブジェクトの検出のために電子制御装置１１６に画像を提供するように構成された画像センサー１２４を含む。ディフューザー・スクリーン層１１４は、表示画面１０６に接触していないか又は表示画面１０６の数ミリメートル内に位置していないオブジェクトの画像化を回避するのに役立ち、したがって、表示画面１０６に接触しているか又は近接しているオブジェクトのみが画像センサー１２４によって検出されることを保証する助けとなる。
【００１２】
画像センサー１２４は、任意の適切な画像検知機構を含んでもよい。適切な画像検知機構の例は、ＣＣＤ及びＣＭＯＳ画像センサーを含むがこれらに限定されない。さらに、表示画面１０６にわたるオブジェクトの動きを検出するために、画像検知機構は、十分な頻度（周波数）で表示画面１０６の画像を捕らえてもよい。図１の実施例は１つの画像センサーを示すが、表示画面１０６の画像を捕捉するために１つより多くの画像センサーが使用されてもよいことが理解されよう。
【００１３】
画像センサー１２４は、赤外線及び可視波長を含むがこれらに限定されない任意の適切な波長の反射された又は発光されたエネルギーを検出するように構成されてもよい。表示画面１０６に配置されたオブジェクトを検出するのを支援するために、画像センサー１２４は、さらに、赤外線又は可視光を生成するように構成された１つ以上の発光ダイオード（ＬＥＤ）１２６などの光源１２６を含んでもよい。光源１２６からの光は、表示画面１０６に配置されたオブジェクトにより反射され、次に画像センサー１２４によって検出される。可視のＬＥＤとは対照的に、赤外ＬＥＤの使用は、表示画面１０６上に投影された画像の外観を除去するのを回避するのに役立つ。さらに、赤外線バンドパスフィルター１２７は、光源１２６によって放射された周波数の光を通過させるが、バンドパス周波数の外の周波数の光が画像センサー１２４に到達するのを防ぐために利用されてもよい。
【００１４】
図１はまた、表示画面１０６に配置されたオブジェクト１３０を示している。オブジェクト１３０によって反射された光源１２６からの光は画像センサー１２４によって検出され、それによって、オブジェクト１３０がスクリーン上で検出されることを可能にする。オブジェクト１３０は、指、ブラシ、光学的に可読のタグなどを含むがこれらに限定されない、表示画面１０６に接し得る任意のオブジェクトを表す。
【００１５】
いくつかの使用環境では、周囲光源は、バンドパスフィルター１２７によって通過させられる帯域中の光を放射し得る。「周囲光」という語は、光源１２６からの光以外の光について表すように本明細書において使用される。そのような周囲光源の例は、日光、白熱灯光などの広帯域スペクトルの光源を含むがこれらに限定されない。そのような光はバンドパス周波数において十分な強度を有していることがあり、周囲光を光源１２６からの反射光から区別することが困難になる。したがって、そのような周囲光は、対話型ディスプレイ装置１００に、周囲光を表示画面１０６上のオブジェクトであると誤って識別させることがある。
【００１６】
画像センサー１２４によって捕捉された画像中の周囲光を削除するかそうでなければ補正するために様々な技術が使用され得る。例えば、光源１２６（「局所」光と呼んでもよい）は、交互に並んだフレームが「周囲光のみ」及び「周囲光と局所光の合計」に露光されるよう、ストローブされ（strobed）てもよい。これにより、「周囲光と局所光の合計」のフレームから「周囲光のみ」のフレームを差し引くことによって周囲光強度が決定され、周囲光を補正することが可能となる。しかし、局所光は１フレームおきにのみ点灯されるので、これによると装置のフレームレートを事実上半分に引き下げてしまう。
【００１７】
別の可能性のある技術は、周囲光のみを積分（統合、integrate）するように構成された（恐らくは光学フィルターを備えた）別個のセンサーを利用することである。しかし、追加のセンサーの使用は高価となり得るし、装置中の複数のセンサーの異なる配置により誤差を生む傾向がある。さらに別の可能性のある技術は、周囲光に対して反射光の強度を高めるために、バンドパスフィルタと組み合わせて非常に明るい局所光源を利用することである。しかし、周囲光が局所光のある割合を超えると、この手法は失敗に終わりやすい。
【００１８】
図２は、上述の方法で見られる問題を回避するのに役立つ、周囲光について画像を補正する方法のフロー図を示す。方法２００は、まず、２０２において、周囲光露出についての異なる持続時間の間、画像センサー中の第１の領域のピクセルと第２の領域のピクセルとを積分（統合）することを含む。一般に、これはさらに、両方の領域が局所光については同様の持続時間だけ露光されるが周囲光については異なる持続時間だけ露出されるように、周囲光と局所光の合計の露光について等しい（又はほぼ等しい）持続時間の間、画像の第１の領域及び第２の領域を積分（統合）することを含む。２つの領域は、インターレースされた（組み合わせた、interlaced）領域（例えば、奇数／偶数行のピクセル又は奇数／偶数列のピクセル）であってもよいし、あるいは他の適切な空間的関係を有していてもよい。さらに、いくつかの実施例では、３つ以上の領域のピクセルが周囲光の異なる間隔（interval）に露出されてもよい。
【００１９】
次に、方法２００は、２０４において、画像センサー中の第１及び第２の領域のピクセルから強度データを読み取り、２０６において、第１及び第２の領域のピクセルからの強度データ間の差から周囲光の大きさを決定することを含む。最後に、方法２００は、２０８において、決定された周囲光の大きさに基づいて周囲光を補正するために画像データを調整することを含む。いくつかの実施例では、周囲光の大きさがしきい値を超える場合、２１０において、それが最初に決定されたときのみ画像データは調節されてもよい。さらに、いくつかの実施例では、２１２で示されるように、スクリーン上で検出されたオブジェクトが動いているかどうかが最初に決定され、次に、画像データに対して行う調節が、当該オブジェクトが動いていると決定されるか否かに基づいて、２１４において選択される。これらの決定の各々はより詳細に以下に説明される。
【００２０】
周囲光を補正する他の方法と比較して、方法２００は、追加の画像センサー又は他の追加の部品の使用をすることなく、さらにフレームレートをロスすることなく、周囲光の補正が画像データに対してなされることを可能にする。方法２００に示されるプロセスの各々はより詳細に以下に説明される。
【００２１】
単一フレームにおける異なっているが局所光の持続時間に近い持続時間の周囲光への第１及び第２の領域のピクセルの積分（統合）は、任意の適切な方法で行われてもよい。図３は、これを遂行するために光源１２６（ＬＥＤとして図３に示される）及び画像センサー１２４を動作させる１つの方法を示すタイミング図３００を示す。最初に、光源１２６は、それが画像フレームのある部分については「オン」状態にあり、画像フレームのある部分については「オフ」状態にあるように、３０２において示されるオフ／オンストロボ・パターン（off/on strobe pattern）で動作される。このパターンによれば、光源１２６は、１つのフレームの期間の１／２よりもいくらか短い期間だけ「オン」状態にある。その後、センサーは、光源１２６がオンである期間（すなわち、「オン」状態の区間）ｔｌの間、及び光源１２６がオフである期間（すなわち、「オフ」状態の区間）ｔ２の間、各フレームを積分（統合）するように、全体的に露出される（すなわち、すべての領域が露出される）。露光パターンは３０４において図３に示される。
【００２２】
図３に示されるＬＥＤストロボ・パターン及び画像センサー積分パターンを使用すると、異なる領域のピクセルが各フレームの中に異なるレベルの周囲光の露出を有するように、画像センサーからの画像データのピクセルの読み出しを制御することができる。図３は、奇数／偶数行のピクセルのコンテキストにおいてこの読み出しパターンを示すが、ピクセルの領域は、互いに対して他の適切な空間的関係を有してもよいことが理解されよう。さらに、ここでは２つの領域のピクセルを利用するコンテキストにおいて説明されたが、本発明の概念は、３つ以上の領域のピクセルにも利用され得ることが認識されよう。
【００２３】
３０６において示された読み出しパターン及び３０８において示されたフレーム識別子指標（identifier indicator）を参照すると、最初の画像データ・フレームｎのデータは奇数フレームから最初に読み出され、その後偶数フレームから読み出される。読出しの時に、画像センサー・ピクセルは、露光されない状態にリセットされる。したがって、フレームｎのピクセルの奇数領域が読み出されるとき、奇数領域のピクセルはｔ１の期間の間（すなわち、パターン３０６に示される最後の奇数ピクセル読み出しの開始以来）積分された光を有する。他方、フレームｎのピクセルの偶数領域が読み出されるとき、偶数領域のピクセルは、ｔ２の期間の間、次にｔ１の期間の間、そして次に別のｔ２の期間の間、合計ｔｌ＋２（ｔ２）の間に積分された光を有する。各フレームの累積的な積分時間は３１０において図３に示される。
【００２４】
続いて図３を参照すると、次の画像データ・フレームｎ＋１のデータは、偶数フレームから最初に読み出され、その後奇数フレームから読み出される。したがって、フレームｎ＋１では、偶数領域のピクセルは、読み出しの時にｔｌ期間のみの間積分された光を有するが、奇数領域のピクセルは、ｔｌ＋２（ｔ２）の期間の間積分された光を有する。図３に見られるように、偶数領域がフレームｎにおいて奇数領域より大きな周囲光露出を有する一方、奇数領域はフレームｎ＋１において偶数領域より大きな周囲光露出を有している。画像センサーが各フレームのｔｌの期間の間局所光を積分したことはさらに注目されるであろう。したがって、各フレームは表示画面１０６上のオブジェクトを識別するために使用することができる画像データを有しており、それによって、フレームレートが維持されることを可能にする。
【００２５】
期間ｔｌ及びｔ２は任意の適切な長さを有していてもよく、互いと同一の又は互いと異なる長さを有してもよい。いくつかの使用環境では、ｔ２は、画像センサーの飽和が周囲光の強度の不正確な計算につながり得るので、画像センサーが読み取りの前に飽和する可能性を減らすためにｔｌより短くてもよい。さらに、飽和しているピクセルが検出される場合、ｔｌ及び／又はｔ２の長さは、将来のピクセルにおける飽和を回避するため、フレームの積分時間の合計を低減するように修正されてもよい。同様に、強度が低い場合には、ｔｌ及び／又はｔ２は、将来のフレームにおける積分された光の量を増加させるため、増加されてもよい。代替的に又は追加的に、画像センサー上の利得は、飽和を回避し及び／又は露光の量に対するセンサーの応答を増加させるために、動的に調節されてもよい。飽和についての画像の補正はより詳細に以下に議論される。
【００２６】
他の状況において、ｔｌとｔ２が同様の長さを有することは有利であり得る。例えば、周囲光の強度が変動している（すなわち、５０又は６０Ｈｚの回線周波数で２度変動する白熱光）場合、平均の入射周囲光の強度は、（変動周波数と比較したフレームレートに依存して）少なくともいくつかの画像フレームに対して、ｔｌフェーズと比較してｔ２フェーズの間異なる。したがって、ｔ２は変動する周囲光が検出される場合にｔｌとほぼ等しい長さを有するように調節されてもよい。
【００２７】
図３の中のタイミング図に従うことによって、各画像フレーム中の２つの領域のピクセルは周囲光露出の異なる期間の間積分される。さらに、ピクセルの単一の領域はそれぞれ、隣接した画像フレームにおいて周囲光露出の異なる期間を有している。フレーム内及びフレーム間の周囲光露出のこれらの差は、周囲光について画像フレームを補正するために様々な方法で利用されてもよい。
【００２８】
様々な周囲光補正の方法を説明するため、フレームｎ−１及びｎとラベル付けされた２つの画像フレームからの強度データの代表的なグループが図４に関連して説明される。具体的には、図４は、図３に示されるプロセスによって積分され読み取られたときに、固定されたシーンを示す２つの画像フレームについてのセンサーからの読み出しがどのように現われるかを説明する。最初に、周囲光のない単純な固定のシーンが４０２において示され、シーン４０２からの３×３行列のピクセルが４０４において示される。単純化する目的で、図４の画像は３つの強度レベルのみ有しており、最も明るいピクセルは最も積分された光を表し、最も暗いピクセルは最も積分されていない光を示す。
【００２９】
フレームｎ−１において、奇数行は偶数行より周囲露出の間隔が大きい。３×３シーンへこの周囲パターンを追加することにより、４０６で示された強度データが生まれる。同様に、フレームｎにおいては、偶数行は奇数行より周囲露出の間隔が大きい。３×３シーンへこの周囲光のパターンを追加することにより、４０８で示された強度データが生まれる。次に図５を参照すると、周囲光は奇数行については（５０２に示すように）フレームｎ−１からフレームｎを差し引くことにより計算することができ、偶数行については（５０４に示すように）フレームｎからフレームｎ−１を差し引くことにより計算することができる。奇数行について決定された周囲光を偶数行について決定された周囲光と組み合わせることにより、３×３行列の全体として周囲光５０６が生み出される。
【００３０】
図６乃至８は、図４に示される画像データにより周囲光について画像フレームを補正するために使用することのできる様々な方法の例を示す。これらの図は、一度に単一のピクセルについて周囲光を決定するコンテキストにおいて示される。これにより、ピクセルに特有の要因によって、異なる周囲光計算方法が異なるピクセルに対して使用されることを可能にし得る。
【００３１】
最初に図６を参照すると、ピクセル（例えば、図４乃至５に示される３×３行列の中心のピクセル）における周囲光の値は、図５について上述されたように、フレームｎから単にフレームｎ−１を差し引くことにより計算され得る。同様に、３×３行列の一番上の行及び一番下の行におけるピクセルについての周囲光は、単にフレームｎ−１からフレームｎを差し引くことにより決定され得る。この方法は、一時的に隣接するフレームからの情報を利用するが、空間的に隣接するピクセルからの情報を利用しない。したがって、図６に示された方法は、ここでは「一時的な局所的」補正と呼ばれてもよい。しかし、図３に示されるセンサー読み出しパターンにより、周囲光の減算の後、そのピクセルの強度は隣接フレームと同じである。したがって、一時的な局所的補正は、装置のフレームレートを実質的に半分にし得る。この理由から、この補正は固定のオブジェクトに使用されてもよい。
【００３２】
図７は、周囲光について画像フレームを補正する方法の別の例を示す。図６に示されるものとは対照的に、図７に示される方法は、ピクセルについて周囲光を計算する場合、一時的な情報（すなわち、一時的に隣接した画像フレーム）及び空間的情報（すなわち、空間に隣接するピクセル）の両方を考慮に入れる。したがって、図７に示される方法は、「一時的な空間的」補正と呼んでもよい。３×３行列のコンテキストにおいて示されたが、図７に示される概念も図８に示される概念も、５×５行列及び７×７行列のほかに（５×５行列から各コーナーのピクセルを省略することにより形成された十字形の行列のなどの）他の形状を含むがこれらに限定されない、任意のサイズのピクセルの行列及び関心のあるピクセルのまわりの任意の形状／パターンに適用されてもよいことが認識されよう。
【００３３】
図７に示される一時的な空間的補正は、周囲光の値を決定するためにサンプル行列中のピクセルの加重平均強度を利用し、中心のピクセル（１／４の重み付け）は脇のピクセル（各々１／８の重み付け）よりもより大きく重み付けされ、脇のピクセルはコーナーのピクセルよりも大きく重み付けされる。補正を行うために、ピクセルの強度にその示された重み付け係数が乗算され、２つのフレームが加えられ、次に、中心のピクセルにおける周囲光の強度を生み出すために、行列中の各ピクセルの値は２つのフレームの追加の後に合計される。空間データが一時的なデータに加えて考慮に入れられるので、一時的な空間的補正はフレームレートが維持されることを可能にする。
【００３４】
図８は、周囲光について画像フレームを補正する方法の別の例を示す。図６及び７に示される方法とは対照的に、図８の方法は、周囲光の補正をする際に、一時的な情報ではなく空間的情報のみを利用する。言いかえれば、補正は、フレーム間のデータを利用することなく、完全にフレーム内の加重平均からなされる。図示されるように、この計算はわずかに高い値の周囲光につながり得るが、一時的な情報を利用する方法において生じ得る動作により計算問題を回避することができる。
【００３５】
いくつかの実施例では、上記の周囲光の補正方法法のうちのいずれかを行う前に、全体的な周囲光が所定のしきい値レベルを超えるか否かが決定されてもよい。周囲光が十分に低い強度であるか存在しない場合、タッチセンサー式装置は、周囲光により引き起こされる問題なしにオブジェクトを検出することができる。したがって、上記の補正（又は任意の他のもの）のうちのいずれかを行う前に、フレーム中の第１の領域における強度の合計をフレーム中の第２の領域における強度の合計と比較することにより、潜在的に問題となる周囲光が存在するか否かを決定してもよい。２つの領域における強度は積分された周囲光の量によって異なるので、合計が互いに比較的接近している場合には、周囲光レベルが装置の動作に干渉しない程度に十分低いと決定することができ、図９に示されるように、周囲光の補正は省略されてもよい。
【００３６】
図１０Ａ−Ｄは、周囲光を補正する方法の別の実施例を示す。まず図１０Ａを参照すると、現在のフレーム（フレームｎ）中の５×５の領域のピクセル及び２つの先のフレーム（フレームｎ−１、ｎ−２）中の単一のピクセルが、周囲光の補正のために考慮される。しかし、現在のピクセルにおける３×３領域のピクセル又は他の適切な領域のピクセルが周囲光の補正において考慮されてもよいことが認識されよう。最初に図１０Ａを参照すると、現在のフレームの中心は、同じ領域オーダー（field order）にて読み取られたフレームｎ−２からのピクセルと比較される。これらのピクセル間の差がしきい値量を超える場合、それは動き（motion）が生じたことを示し、そのピクセルについて「動作フラグ（motion flag）」が設定される。動作フラグの値は（例えば、ブーリーン「ＯＲ」演算を介して）近くのピクセルの動作フラグと比較され、結果がゼロである（すなわち、フレームｎ−２及びフレームｎが局所的領域において同じに見える）場合、図１０Ｃの中で示されるように、一時的な周囲光の補正は、フレームｎにおける現在の中心ピクセルとフレームｎ−１における同じピクセルとの間の差を決定することにより行われる。
【００３７】
一方、隣接した動作フラグとのＯＲ演算が値１に帰着する場合、これはこのフレームにおいて近くに動きが存在したことを示す。この場合、先のフレームは周囲光の補正のために無視されてもよく、フレームｎにおける隣接ピクセルを利用する空間的補正が行れる。任意の適切な重み付け係数スキームがこの空間的補正を行うために使用されてもよい。図１０Ｄは、５×５ピクセルの空間的補正のための適切な重み付け係数スキームの限定されない一例を示す。
【００３８】
周囲光の補正のために５×５又は３×３のピクセル領域を利用するべきかどうかの決定は、画像センサーの解像度及び安定性などの要因に依存し得る。例えば、３×３領域はわずかに雑音の多い結果を生み出し得るが、その一方で５×５領域は結果をわずかに不鮮明にし得る。１×３領域（３×３領域より雑音が大きいかもしれない）を含むがこれに限定されない他の領域サイズを使用してもよい。
【００３９】
いくつかの周囲光源は周期的な方法で変動し得る。例えば、電灯照明は、一般に、回線周波数（line frequency）の２倍の周波数で変動し、回線周波数は地域に依存する５０Ｈｚ又は６０Ｈｚのいずれかである。これは図１１にグラフを用いて説明される。装置のフレームレートが回線周波数又は２倍の回線周波数以外の周波数を有する場合、画像センサーによって検出される周囲光は、周囲光レベルにおける周期的な変化として検出できるうなり周波数を有するであろう。一時的な情報が周囲光の補正に使用される場合、周囲光レベルにおけるそのような変化は問題を引き起こし得る。周囲光変動が隣接フレーム間で大きい場合、これらの問題は顕著であり、１００Ｈｚのフレームレートが１２０Ｈｚの周囲光の存在下で使用される場合やその逆の場合に生じ得る。単純化の目的で、図１０はフレーム当たりの単一の積分（統合）期間（ｔｌ）を示すにすぎないが、図３に示されるように、フレームごとに複数の積分期間を使用することによりで同様の問題に遭遇するであろうことが理解される。
【００４０】
変動する周囲光レベルにより引き起こされるそのような問題を防ぐために、光学的タッチセンサー式装置のフレームレートは、回線周波数又は回線周波数の２倍に等しく設定されてもよい。例えば、この設定はシステムに格納されるか、局所的な電源から導かれるか、又は光学的に検出されてもよい。変動は、検出された光の全体のレベルにおけるうなり周波数を観察することにより、又は測定される合計の周囲光の量のフレームからフレームへの変化を監視することにより、光学的に検出されてもよい。検出された周囲光変動の周波数が装置のフレームレートと同じでない場合、図１２に示されるように、それが周囲光周波数と一致するように、フレームレートを調節することができる。
【００４１】
図１３は、上述の様々な要因を考慮に入れる周囲光補正を行う方法１３００の処理フローを示す。図１３の方法は、ピクセルごとのベースで、又は他の適切な手法で実行できる。方法１３００は、まず、１３０２において画像データ・フレームを取得し、次に、１３０４において、画像データ・フレームについて、全体的な周囲光がしきい値を下回るか否かを決定することを含む。これは、例えば、第１の領域におけるすべてのピクセルの強度の合計を第２の領域におけるピクセルのすべての強度の合計から差し引き、計算の結果がしきい値を下回るかどうかを決定することにより、決定することができる。
【００４２】
全体的な周囲光がしきい値を下回る場合、次に、方法１３００は、いかなる補正も行うことなく終了する。一方、全体的な周囲光がしきい値を下回らない場合、次に、方法１３００は、１３０６において、何らかの動きが強度データの中で把握されるか否かを決定することを含む。これは、例えば、現在のフレーム（フレームｎ）におけるピクセルについての強度値を、（フレームｎ−１内の同じピクセルが異なる周囲光露光時間を有するような）フレームｎ−２における同じピクセルについての強度値から差し引くことにより行われてもよい。これらの強度値間の差が十分に小さい場合、強度データが動きについての情報を含まないと決定することができる。この場合、１３０８で示されるように、空間的情報を利用しない一時的な局所的補正が行われてもよい。一方、強度値間の差が十分に大きい場合、（フレームレートが任意の周期的に変動する周囲光について補正されている限り）ピクセルが動きのデータを含むと仮定することができ、１３１０で示されるように、空間的補正又は一時的な空間的補正のいずれかが使用されてもよい。
【００４３】
空間的補正又は一時的な空間的補正を利用するべきであるかという決定は、任意の適切な方法で下されてもよい。一般に、フレームにおけるすべての空間の変化がフレーム中の他の情報により補正することができる場合、空間的補正が使用され得る。この決定をなす方法の１つの例は以下のとおりである。まず、サンプル行列の行（ｉ−１）のいずれかのピクセルが行（ｉ＋１）の同じ列におけるピクセルと大きく異なる場合、一時的な空間的補正によって補正され得る空間的情報が存在する。同様に、行（ｉ）中のピクセルの平均を差し引いたサンプル行列の行（ｉ）中のピクセルのいずれかが、行（ｉ−１）中のピクセルの平均を差し引いた行（ｉ−１）中の対応するピクセルと大きく異なる場合、一時的な空間的補正によって補正され得る空間的情報が存在する。認識される動きが存在するがこれらの条件が満たされないような他の場合に、空間的補正が使用されてもよい。代替的に、空間的補正又は一時的な空間的補正は、動きに関する情報がフレームに含まれている他方を除いて使用されてもよい。
【００４４】
上述の補正計算及び計算選択ルーチンは、任意の適切な方法で行われてもよい。例えば、１つの実施例では、（図１の１２２において示されるような）ＦＰＧＡは、各フレームについて複数の異なる補正計算を同時に行うようにプログラムされてもよい。その後、フレーム中の各ピクセルに対する最良の周囲光の値は、方法１２００について述べたように、そのピクセルの特定の一時的及び局所的な特性に基づいて選択されてもよい。代替的に、ピクセルに対する最良の周囲光の計算は補正を行う前に決定されてもよく、その結果、１つの補正のみが各ピクセルについて実行される。積分され収集された強度データから周囲光の補正を行う方法のこれら特定の例は、説明の目的でのみ記載されたものであり、いかなる方法に限定するようにも意図されないことが認識されよう。
【００４５】
上述のように、画像センサーの飽和が検出される場合、将来のフレーム中の飽和を防ぐために、積分期間ｔｌ及び／又はｔ２の長さが調節されてもよい。さらに、飽和が検出されるフレームもまた、飽和について補正するための方法で処理されてもよい。一例として、飽和しているピクセルが観察される場合、（光源からの反射光は、通常、飽和を引き起こすのに十分強くはないので）飽和しているピクセルは周囲光に直接露出されていると仮定することができる。したがって、この状況で、飽和している領域中の光はすべて周囲光であると考えることができる。飽和が存在する場合、雑音余裕度が飽和しているピクセルのまわりに存在し得る。雑音余裕度領域における補正された画像中の不連続を回避するために、最小の周囲光レベルは、飽和に近いテスト（near-saturation test）を使用して１つの可能性のある周囲光を設定することにより、及び上述のように計算された周囲光を使用して別の周囲光を設定することにより、この領域について決定することができる。その後、これら２つの値のうちのより高い値は、周囲光についてこの領域のピクセルを補正する際に画像から差し引かれるべき値として使用することができる。
【００４６】
本明細書では対話型ディスプレイ装置のコンテキストにおいて開示がなされてきたが、開示された実施例は、任意の他の適切な光学的タッチセンサー式装置のほか、装置の性能を改善するために背景信号補正が実行され得る他のタッチセンサー式装置にも使用され得ることが認識されよう。
【００４７】
本明細書に記載された構成及び／又は手法は本来例示的なものであり、多数の変更が可能であるので、これらの特定の実施例又は例は、限定的な意味で考慮されるべきものではないことがさらに理解されよう。本明細書に記載された特定のルーチン又は方法は、任意の数の処理戦略の１つ又は複数を表してもよい。そのため、例示された様々な動作は、説明されたシーケンスで実行され得るものであり、同時に、他のシーケンスにおいて、又は幾つかの場合には省略され得るものである。同様に、上述されたプロセスのうちのいずれかの順序は、本明細書に記載された実施例の特徴及び／又は結果を達成するためには必ずしも要求されないが、説明と描写を容易にするために提供されたものである。
【００４８】
本開示の主題は、本明細書に開示された様々なプロセス、システム及び構成、並びに他の特徴、機能、動作、及び／又は特性のすべての新規で非自明な組み合わせ及びサブコンビネーションのほか、それらの任意の及びすべての均等物を含む。
【図１】
2011501841.tif 000003
【図２】
2011501841.tif 000004
【図３】
2011501841.tif 000005
【図４】
2011501841.tif 000006
【図５】
2011501841.tif 000007
【図６】
2011501841.tif 000008
【図７】
2011501841.tif 000009
【図８】
2011501841.tif 000010
【図９】
2011501841.tif 000011
【図１０Ａ】
2011501841.tif 000012
【図１０Ｂ】
2011501841.tif 000013
【図１０Ｃ】
2011501841.tif 000014
【図１０Ｄ】
2011501841.tif 000015
【図１１】
2011501841.tif 000016
【図１２】
2011501841.tif 000017
【図１３】
2011501841.tif 000018
【国際調査報告】
2011501841.tif 000019
2011501841.tif 000020