(57)【特許請求の範囲】
【請求項１】
光タッチセンサー式装置であって、
画面と、
前記画面の画像を得るように構成され、ピクセルの１つ以上のフィールドを含む回転画像取込システムと、
局所光で前記画面を照らすように構成された局所光源と、
前記回転画像取込システム及び前記局所光源と電気的に通信する制御部であって、前記制御部は、
前記回転画像取込システムによって画像データの第１のフレームを得て、
前記回転画像取込システムによって画像データの第２のフレームを得て、
画像データの前記第１のフレーム及び画像データの前記第２のフレームを得る間、ピクセルの各フィールドが持続時間ｔｌｏｃａｌ＋ａｍｂｉｅｎｔの間局所光及び周囲光を統合し、持続時間ｔａｍｂｉｅｎｔの間周囲光を統合し、ピクセルの各フィールドについて、画像データの前記第１のフレームについての合計ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔが画像データの前記第２のフレームについての合計ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔと異なるように、前記局所光源を動作させ、
前記第１のフレーム中のピクセルの値を前記第２のフレーム中のピクセルの値と比較すること、及び
前記第１のフレーム中の前記ピクセルの値を前記第１のフレーム中の別のピクセルの値と比較すること
のうちの１つ以上によって、前記画像データ中のピクセルについて周囲光の値を決定し、
前記周囲光の値に基づいて周囲光に対して１つ以上のピクセルを調節する
ように構成される光タッチセンサー式装置。
【請求項２】
前記局所光源は広範囲の局所光源を含み、前記制御部は、
同じ回転パターンによって、前記回転画像取込システムにより、画像データの前記第１のフレーム及び画像データの前記第２のフレームを得て、
画像データの前記第１のフレームの読み出しサイクルを開始する前に局所光に前記画面をさらし、画像データの前記第２のフレームの読み出しサイクルを開始する前に局所光に前記画面をさらさないように、前記広範囲の局所光源を制御する
ように構成される請求項１に記載の光タッチセンサー式装置。
【請求項３】
前記制御部は、前記第１のフレーム中のピクセルの値から前記第２のフレーム中のピクセルの値を差し引くことによって前記周囲光の値を決定するように構成される請求項２に記載の光タッチセンサー式装置。
【請求項４】
前記局所光源は、前記回転画像取込システムと同期された空間的に回転するパターンにおいて局部照明を提供するように構成された回転局所光源を含む請求項１に記載の光タッチセンサー式装置。
【請求項５】
前記回転画像取込システムはピクセルの単一のフィールドを含み、前記制御部は、
同一の回転パターンによって画像データの前記第１のフレーム及び画像データの前記第２のフレームを得て、
画像データの前記第１のフレームを得る間に局所光に前記画面をさらし、画像データの前記第２のフレームを得る間に局所光に前記画面をさらさないように前記回転局所光源を制御する
ように構成される請求項４に記載の光タッチセンサー式装置。
【請求項６】
前記回転画像取込システムはピクセルの第１のフィールド及びピクセルの第２のフィールドを含み、前記制御部は、
前記回転局所光源で前記画面を照らす間にピクセルの前記第１のフィールドを次第に読み取り、次いで、前記回転局所光源で前記画面を照らさない間にピクセルの前記第２のフィールドを次第に読み取ることにより、画像データの前記第１のフレームを得て、
前記回転局所光源で前記画面を照らす間にピクセルの前記第２のフィールドを次第に読み取り、次いで、前記回転局所光源で前記画面を照らさない間にピクセルの前記第１のフィールドを次第に読み取ることにより、画像データの前記第２のフレームを得る
ように構成される請求項４に記載の光タッチセンサー式装置。
【請求項７】
ピクセルの前記第１のフィールドはピクセルの奇数行を含み、ピクセルの前記第２のフィールドはピクセルの偶数行を含む請求項６に記載の光タッチセンサー式装置。
【請求項８】
前記制御部はさらに、前記画面上に位置するいずれかの物体のいずれかの動きが生じたかどうかを検出し、次いでいずれかの物体のいずれかの動きが検出されるかどうかに依存して周囲調節方法を選択するように構成される請求項６に記載の光タッチセンサー式装置。
【請求項９】
前記制御部はさらに、前記周囲光の値がしきい値を超えるかどうかを決定し、次いで前記周囲光の値が前記しきい値を超える場合に周囲光について１つ以上のピクセルを調節するように構成される請求項６に記載の光タッチセンサー式装置。
【請求項１０】
前記回転局所光源は複数の個々に制御可能な光源を含み、各光源は前記画面の一部を照らすように構成される請求項４に記載の光タッチセンサー式装置。
【請求項１１】
前記回転局所光源は機械的に走査可能な光源を含む請求項４に記載の光タッチセンサー式装置。
【請求項１２】
前記回転局所光源は赤外光を放射するように構成される請求項４に記載の光タッチセンサー式装置。
【請求項１３】
画面、ピクセルの第１のフィールド及び第２のフィールドを含む回転画像取込システム、前記回転画像取込システムと同期された空間的に回転するパターンにおいて局部照明を提供するように構成された回転局所光源、並びに前記回転画像取込システム及び前記回転局所光源と電気的に通信する制御部を備えた光タッチセンサー式装置において、周囲光について補正する方法であって、
前記回転局所光源で前記画面を照らす間にピクセルの前記第１のフィールドを次第に読み取り、次いで前記回転局所光源で前記画面を照らさない間にピクセルの前記第２のフィールドを次第に読み取ることにより、画像データの第１のフレームを得るステップと、
前記画像データの第１のフレームを得るステップの後、前記回転局所光源で前記画面を照らす間にピクセルの前記第２のフィールドを次第に読み取り、次いで前記回転局所光源で前記画面を照らさない間にピクセルの前記第１のフィールドを次第に読み取ることにより、画像データの第２のフレームを得るステップと、
前記画像データの第１のフレーム中の選択されたピクセルの値と前記画像データの第２のフレーム中の前記選択されたピクセルの値とを比較すること、及び
前記画像データの第１のフレーム中の前記選択されたピクセルの値と前記画像データの第１のフレーム中の別のピクセルの値とを比較すること
のうちの１つ以上によって、前記選択されたピクセルについて周囲光の値を決定するステップと、
前記周囲光の値に基づいて周囲光に対して画像データの１つ以上のピクセルを調節するステップと
を含む方法。
【請求項１４】
前記回転局所光源で前記画面を照らすことは赤外光で前記画面を照らすことを含む請求項１３に記載の方法。
【請求項１５】
前記回転局所光源で前記画面を照らすことは、各々が前記画面の一部を照らすように構成された複数の個々に制御可能な光源を回転するように切り替えることによって前記画面を照らすことを含む請求項１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、回転画像取込システムにおける周囲補正に関する。
【０００２】
[0001]タッチセンサー式装置は、光学機構、抵抗性の機構及び容量性機構を含むがこれらに限定されない、いくつかの異なる機構によって接触を検出することができる。いくつかの光タッチセンサー式装置は、画像センサーによってタッチスクリーンの背面の画像をとらえ、次いで、スクリーンに位置する物体を検出するために画像を処理することにより、接触を検出する。そのような装置は、スクリーン上の物体が入射光を画像センサーへ反射し、それによって物体が検出されることを可能にするように、表示画面の背面を照らすために装置内に光源を含んでもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
[0002]光タッチスクリーン装置にみられる１つの困難は、外部（周囲）光と装置内の光源から反射された光とを区別することを含む。十分な明るさの周囲光は装置に接触する物体と誤られ、したがって、装置の性能を下げることになる。さらに、回転画像取込（rolling image capture）システムの使用は周囲光の画像の補正をさらに困難にし得る。
【課題を解決するための手段】
【０００４】
[0003]したがって、周囲光について回転画像取込システムで得た画像の補正に関連する様々な実施例が開示される。例えば、１つの開示された実施例は、スクリーン、スクリーンの画像を得るように構成された回転画像取込システム、局所光でスクリーンを照らすように構成された局所光源、並びに回転画像取込システム及び局所光源と電気通信する制御部を含む、光タッチセンサー式装置を提供する。制御部は、ピクセル（画素）の各フィールドにつき、第１のフレームについての合計ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔが第２のフレームについての合計ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔと異なるように、局所光＋周囲光の時間の間、及び周囲光の時間の間、画像センサーのピクセルの各フィールドを統合するために、画像データの第１及び第２のフレームを得る一方、局所光源を動作させるように構成される。制御部は、（ａ）第１のフレーム中のピクセルの値を第２のフレーム中のピクセルの値と比較すること、及び（ｂ）第１のフレーム中のピクセルの値を第１のフレーム中の別のピクセルの値と比較することのうち１つ又は複数によって、画像データ中のピクセルに対する周囲光の値を決定し、周囲光の値に基づいて周囲光について１つ以上のピクセルを調節するようにさらに構成される。
【０００５】
[0004]この概要は詳細な説明においてさらに以下に述べられる概念のうちの選択されたものを単純化された形式で紹介するために提供される。この概要は、特許請求された主題の重要な特徴又は不可欠な特徴を識別するようには意図されず、特許請求された主題の範囲を限定するために使用されるようにも意図されない。さらに、特許請求された主題は、本開示のいかなる部分において言及したいかなる又はすべての欠点を解決する実施例にも限定されない。
【図面の簡単な説明】
【０００６】
【図１】[0005]光タッチセンサー式装置において周囲光を補正する方法の実施例を示す。
【図２】[0006]回転画像取込システム及び回転局所光源を含む光タッチセンサー式装置の実施例を示す。
【図３】[0007]回転局所光源を含む対話型表示装置において回転画像取込システムを統合し読み取る方法の実施例を描くタイミング図を示す。
【図４】[0008]図３の方法によってとらえられた隣接した画像フレーム中のピクセルの２つのフィールドの強度データの概略的な描写を示す。
【図５】[0009]図４の強度データから周囲光の値を決定する方法の１つの実施例の概略的な描写を示す。
【図６】[0010]図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図７】[0011]図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図８】[0012]図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図９】[0013]図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１０Ａ】[0014]図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１０Ｂ】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１０Ｃ】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１０Ｄ】図４の強度データから周囲光の値を決定する方法の別の実施例の概略的な描写を示す。
【図１１】[0015]光タッチセンサー式装置において周囲光を補正する方法の実施例を描く処理フローを示す。
【図１２】[0016]回転局所光源を含む対話型表示装置において回転画像取込システムを統合し読み取る方法の別の実施例を描くタイミング図を示す。
【図１３】[0017]回転画像取込システム及び広範囲の局所光源を含む光タッチセンサー式装置の実施例を示す。
【図１４】[0018]回転画像取込システム及び広範囲の局所光源を含む光タッチセンサー式装置において周囲光を補正する方法の実施例を描くタイミング図を示す。
【発明を実施するための形態】
【０００７】
[0019]上述のように、室内照明、日光などの周囲光源は視覚に基づいた接触検出システムの性能に悪影響を与え得る。「周囲光」という用語は、本明細書においては、より詳細に以下に記載されるように、視覚ベースの（vision-based）接触システムの一部である局所光源からの光以外のソースに由来する光について記述するために使用される。バンドパスフィルターが光の望まれない波長が画像センサーに達するのを防ぐために画像センサーの前において使用される場合でさえ、バンドパスフィルターによって送信される波長領域内の周囲光は、それでもなお、画像センサーに達し得る。１つの特定の例として、表示画面に接触した物体から反射されたローカルに放射された赤外光によって接触を検出するように構成された視覚システムは、白熱室内照明、日光などによって放射される赤外光によって影響され得る。十分な強度の周囲光は、視覚ベースの接触検出システムに、周囲光を接触入力であると誤って識別させ、及び／又は接触検出をより困難にする画像コントラストの低減をもたらしてもよい。
【０００８】
[0020]様々な技術が、視覚ベースの接触検出システムにおいて画像センサーによってとらえられた画像中の周囲光を取り消すか又はそうでなければ補正するために使用され得る。例えば、局所光源は、交互のフレーム（alternate frames）が「周囲」光及び「周囲＋局所」光にさらされるように、ストロボされ（strobed）得る。これは、「周囲＋ローカル」フレームから「周囲」フレームを差し引いて周囲光を補正することによって周囲光強度が決定されることを可能にする。しかし、局所光が他のすべてのフレーム上で生じるので、これは装置のフレームレートを事実上半分に引き下げ、接触入力の動きを追跡することの困難さを増加させ得る。
【０００９】
[0021]別の可能性のある技術は、周囲光を統合するように構成された別個のセンサー（おそらくは光フィルターを備える）を利用することである。しかし、追加センサーの使用は高価となり得るし、装置中のセンサーの異なる配置により誤りが生じやすくなり得る。さらに別の可能性のある技術は、周囲光に対して反射光の強度を増加させるために、バンドパスフィルターと組み合わせて極めて明るい局所光源を利用することである。しかし、周囲光が局所光のある割合を超える場合、この手法は故障の影響を受けやすいかもしれない。
【００１０】
[0022]視覚ベースの接触検知システムにおいて接触入力を検出するために回転画像取込システムを使用すると、周囲光を補正する際にさらなる困難さを導くことになるかもしれない。ロール・シャッター・カメラ、回転センサー・イン・パネル（sensor-in-panel）構成（画像センサーのピクセルは表示パネルへと統合され、それによって、別個のカメラの省略が可能となる）などの回転画像取込システムは、画像センサーの領域にわたって画像センサーを次第に統合することにより、画像をとらえる。例えば、いくつかの回転画像取込システムは、画像センサーの最上段の行から画像センサーの最下段の行まで画像センサーを次第に統合するように構成されてもよい。したがって、画像センサーの異なるピクセルは異なる時に光統合を開始し、終了する。
【００１１】
[0023]周囲光の補正におけるさらなる課題は、回転画像取込システムのピクセルの異なる行又は列が光を統合する、異なる時によって、回転画像取込システムにおいて生じてもよい。例えば、５０％の時間サイクルで単一のバックライトを単にオンオフして局部照明によって及び局部照明なしで交互の画像をとらえることは、異なる持続時間の間に局所光を統合する画像センサーの行をもたらし、それによって、周囲光の補正に困難を引き起し得る。さらに、いくつかのピクセルは、フレームごとに等しい量の局所光にさらされ、それによって、それらのピクセルについての周囲光の補正を妨げる。
【００１２】
[0024]したがって、図１は、回転シャッター取込画像システムを含む装において周囲光について画像を補正する方法１００のフロー図を示す。方法１００は１０２において、回転画像取込システムによって画像データの第１のフレームを得ることを含み、回転画像取込システムは、ピクセルの１つ以上のフィールドを含む。１０４に示されるように、これは、第１の持続時間の間にピクセルの各フィールド、又は、局所光＋周囲光（ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ）及び周囲光（ｔａｍｂｉｅｎｔ）の合計を統合するような方法で局所光源を動作させることを含んでもよい。画像センサー画素統合（integration）のこれらの２つの間の持続時間の合計は、本明細書において、ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔと呼ばれてもよい。
【００１３】
[0025]本明細書において使用されるとき、「ピクセル（画素）のフィールド」という用語は、画像データのフレームにおける局所光＋周囲光（ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ）及び周囲光（ｔａｍｂｉｅｎｔ）の等しい持続時間の間にフィールド中の各ピクセルが統合される、一群のピクセルを表す。したがって、回転画像取込システムがピクセルの単一のフィールドを含む実施例において、画像データの第１のフレームのすべてのピクセルは、ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ及びｔａｍｂｉｅｎｔの等しい持続時間の間、さらされてもよい。同様に、ピクセルの2つ以上のフィールドを含む実施例において、画像データの第１のフレーム中のピクセルの第１及び第２のフィールドは、（ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔ）の異なる合計について統合されてもよい。例えば、１つの特定の実施例において、フィールドがｔａｍｂｉｅｎｔと異なる持続時間であるが類似の持続時間ｔｌｏｃａｌ＋ａｍｂｉｅｎｔにさらされるように、画像データの単一のフレーム中のピクセルの２つのフィールドが統合される。当該２つのフィールドは、インターレースされたフィールド（例えば、画素の奇数／偶数行又は奇数／偶数列）であってもよいし、又は任意の他の適切な空間的関係を有してもよい。更に、いくつかの実施例において、ピクセルの３つ以上のフィールドは、異なる総計（ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔ）だけさらされてもよい。ピクセルの異なるフィールドを単一画像フレームにおいてｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔの異なる持続時間にさらすための方法の例は、より詳細に以下に記載される。他の実施例において、回転画像取込システムは、ピクセルの単一のフィールドを含んでもよい。
【００１４】
[0026]次に、方法１００は、１０６において、回転画像取込システムによって画像データの第２のフレームを得ることを含む。１０８に示されるように、これは、ピクセルのそのフィールドについて、第１の合計ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔとは異なる第２の合計ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ＋ｔａｍｂｉｅｎｔの間、ピクセルの各フィールドを統合するように局所光源を動作させることを含んでもよい。
【００１５】
[0027]次に、方法１００は、１１０において、1つ以上のピクセルが周囲光に対して調節されることを可能にするために、画像データの当該１つ以上のピクセルについて周囲光の値を決定することを含む。１１２で示されるように画像データの第１のフレーム中のピクセルの値を画像データの第２のフレーム中の同じピクセルの値と比較することにより、１１４に示されるように画像データの第１のフレーム中のピクセルの値を画像データの第１のフレーム中の別のピクセルの値と比較することにより、又は、画像データの第１及び第２のフレームを得るのに使用される方法に依存して、これらの処理の組み合わせから、画像センサーデータのピクセルに対する周囲光の値が決定されてもよい。さらに、１１６及び１１８に示されるように、いくつかの実施例において、より詳細に以下に説明されるように、周囲光の決定を選択するのを支援するために、画像データのフレーム中に画像化されたいずれかの物体が画像データの第１及び第２のフレーム間で動いているかどうかが決定されてもよい。
【００１６】
[0028]方法１００は、次に、１２０において、決定された周囲光の値に基づいて周囲光を補正するために、画像データの１つ以上のピクセルを調節することを含む。いくつかの実施例において、周囲光の測定値がしきい値を超えている場合、画像データが最初に決定されるならば画像データは１２２において調節されてもよい。周囲光を補正する他の方法と比較して、方法１００は、追加の画像センサー又は他の追加の部分の使用なしに、及びフレームレートのロスなしに、画像データに対して周囲光の補正がなされることを可能にする。
【００１７】
[0029]周囲光の補正についてより詳細に議論する前に、適切な使用環境の実施例が記載される。図２は、回転シャッターカメラ、回転センサー・イン・パネル構成（画像センサーのピクセルは表示パネルへ統合され、それによって、別個のカメラの省略を可能にする）などの、２０２で概略的に示された、回転画像取込システムを含む、対話型表示装置２００の実施例を示す。回転画像取込システム２０２は、画像センサーの最上段の水平の行から最下段の水平の行まで、左の列から右の列までなど、画像センサーの領域にわたって画像センサーを次第にさらすことにより、画像をとらえる。したがって、画像センサーの異なるピクセルは、光統合を異なる時に開始し、終了する。本明細書においてしようされるとき、「行」という用語は、垂直に、水平に、対角線上などに配置されようとなかろうと、センサーのピクセルの任意の線形アレイ（配列）を表すことが理解される。
【００１８】
[0030]対話型表示装置２００は、ランプ、図示された液晶ディスプレイ（ＬＣＤ）などの画像生成要素又は他の適切な画像生成要素、及び画像が投影される表示画面２０６を含む画像ソース２０４を有する投影表示システムをさらに含む。投影表示システムのコンテキストにおいて示されるが、リアプロジェクション装置ではなく、他の実施例がユーザーに画像を提示するために液晶表示パネル又は任意の他の適切な画像生成要素を利用してもよいことが理解される。
【００１９】
[0031]図示された表示画面２０６は、ガラスのシートなどの透明部分２０８、及び透明部分２０８の上に配置された拡散層２１０を含む。拡散層２１０は表示画面２０６に接していないか又は表示画面２０６の数ミリメートル内に位置する物体の画像化を回避するのに役立ち、したがって、表示画面２０６に接触していないか又はあまり接近していない物体が検出されないことを保証するのに役立つ。いくつかの実施例において、表示面に対して滑らかなルック・アンド・フィールを提供するために、追加の透明層（図示せず）が拡散画面層２１０の上に配置されてもよい。さらに、表示画面２０６上に画像を表示するために投影画像ソースではなくＬＣＤパネルを利用するものなどの他の実施例において、拡散層２１０は省略されてもよい。
【００２０】
[0032]続けて図２を参照すると、対話型表示装置２００は、メモリー２１４及びプロセッサー２１６を含む電子制御部２１２をさらに含む。制御部２１２は、さらに（又は代替的に）フィールドプログラマブルゲートアレイ（ＦＰＧＡ）２１８、及び／又は、以下に述べられるように、１つ以上の周囲光補正計算を行うように構成される、特定用途向けＩＣ（ＡＳＩＣ）（図示せず）、デジタル信号プロセッサー（ＤＳＰ）（図示せず）などを含む任意の他の適切な電子コンポーネントを含んでもよい。制御部２１２の一部として示されたが、ＦＰＧＡ２１８及び／又は他の電子コンポーネントもまた、制御部２１２と電気的に通信する１つ以上の別個の装置として提供されてもよいことが認識される。本明細書において記載された方法及び処理を達成するべく対話型表示装置２００の様々な部分を制御するためのプロセッサー２１６によって実行可能な格納された命令をメモリー２１４が含んでもよいこともまた理解される。同様に、ＦＰＧＡ２２２はまた、詳細に以下に記載される補正方法のうちの１つ又は複数を行うように構成されてもよい。
【００２１】
[0033]物体及び／又は表示画面２０６上になされる接触を検出するのを支援するために、表示装置２００はさらに、赤外光又は可視光で表示画面２０６を照らすように構成された局所光源を含んでもよい。局所光源からの光は、表示画面２０６上に配置される物体によって反射されてもよく、次いで、回転画像取込システム２０２によって検出されてもよい。図２の実施例において、局所光源は、回転画像取込システム２０２と同期した空間的に回転するパターンにおいて局所的な照明を提供するように構成された回転局所光源２２０を含む。図示された回転局所光源２２０は、光セット（light set）１  ２２２、光セット２  ２２４及び光セットｎ  ２２６として示される、任意の数の個々に制御可能な光源を含み、各光セットは複数の赤外線ＬＥＤなどの１つ以上の光源を含んでもよい。可視の局所光とは対照的に赤外の局所光を使用することは、表示画面２０６上に投影された画像の外観を取り除くこと（washing out）を回避するのに役立ち得る。さらに、赤外線バンドパスフィルター（図示せず）は、局所光源によって放射された周波数の光を通すが回転画像取込システム２０２からのバンドパス周波数の外の周波数の光を阻むのに利用されてもよい。
【００２２】
[0034]光セット２２２、２２４、２２６の各々は任意の適切な構成を有してもよい。例えば、いくつかの実施例において、各光セット２２２、２２４、２２６は複数の比較的薄い帯域のＬＥＤを含んでもよく、各バンドは画像センサーのピクセルの行のサブセット（部分集合）を照らすように構成される。そのような帯域は、表示画面の任意の所望の数の行又は列を照らすように構成されてもよく、さらに表示画面の各行又は列についてバックライトの別個の組を含んでもよい。他の実施例において、回転局所光源２２０は、比較的少ない数の比較的広い帯域のＬＥＤを含んでもよい。さらに他の実施例において、回転局所光源２２０は、回転画像取込システムと同期して表示画面にわたって光の帯域を走査するように構成された機械的に走査可能な光源を含んでもよい。回転局所光源のこれらの例が例示の目的で記載されるものであり、如何なるようにも限定するようには意図されないことが理解されよう。例えば、ＬＥＤ以外の光源が光の各バンドに使用されてもよい。回転局所光源２２０がさらに、表示画面の行又は列の所望のサブセットに光のバンドを集中させるために任意の適切な光学素子を含んでもよいことがさらに理解されよう。
【００２３】
[0035]図２はまた、表示画面２０６に位置する物体２３０を描く。物体２３０によって反射された回転局所光源２２０からの光は回転画像取込システム２０２により検出されてもよく、それによって、物体２３０が画面上で検出されることを可能にしてもよい。物体２３０は、指、ブラシ、光学的に読み取り可能なタグなどを含むがこれらに限定されない、表示画面２０６に接し得る任意の物体を表す。
【００２４】
[0036]図３は、ピクセルの２つのフィールドを含む回転画像取込システムを利用する周囲光の補正を可能にする、画像データを収集する方法の例を示すタイミング図３００を示す。一般に、タイミング図３００に示された実施例は、回転画像取込システムが、回転局所光源で画面を照らす間にピクセルの第１のフィールドを次第に読み取って次いで回転局所光源で画面を照らさない間にピクセルの第２のフィールドを次第に読み取ることによって画像データの第１のフレームを得ること、及び、回転局所光源で画面を照らす間にピクセルの第２のフィールドを次第に読み取って次いで回転局所光源で画面を照らさない間にピクセルの第１のフィールドを次第に読み取ることによって画像データの第２のフレームを得ること、を可能にする。以下に述べられるように、これは、装置の全体のフレームレートを維持しつつ周囲光について画像が補正されることを可能にする。タイミング図３００は、４つの組又は帯域の局所光を含む回転局所光源のコンテキストにおいて示されが、任意の他の適切な数の組の局所光の帯域が使用されてもよいことが理解される。
【００２５】
[0037]図３の画像データフレームｎを最初に参照すると、奇数行１−１０７９がフレームｎ読み出しサイクルの第１の部分中に読み出されてリセットされ、次いで偶数行２−１０８０がフレームｎ読み出しサイクルの第２の部分中に読み出されてリセットされる。次に画像データフレームｎ＋１を参照すると、偶数行２−１０８０が奇数行１−１０７９の前に読み出される。このパターンは回転画像取込システムの動作の全体にわたって繰り返されてもよい。この読み出し及びリセットのパターンとともに、各組が画像フレームのおよそ２分の１についてオンにされ、次いで各フレームのおよそ２分の１についてオフにされるように、局所光の組は循環させられる。再び図３のフレームｎを参照すると、光セット１は画像センサーの行１が読み出されるときにオフになり、次いで、画像ｎ読み出しサイクルを通じたほぼ中間で、すべての奇数行が読み出された後にオフになる。その後、光セット１は画像ｎ読み出しサイクルの残りの部分の間オンになる。光セット２、３及び４は、これらの光セットの切り替えがそれぞれ行２７１、５４１及び８１１の読み出し及びリセットと同期されることを除いて、同様の方法でオンとオフとを切り替える。
【００２６】
[0038]図３の画像データフレームｎ＋１を次に参照すると、光セットは画像データフレームｎについてと同じ方法で切り替えられるが、偶数行は奇数行の前に読み出されてリセットされる。このように、画像データの各フレームの偶数行及び奇数行は、異なる持続時間の周囲光及び同様の持続時間の局所光にさらされる。例えば、フレームｎ＋１の行１が読み出されてリセットされる時、それは、１．５統合サイクル（1.5 integration cycles）の間周囲光にさらされ０．５統合サイクルの間局所光にさらされる。対照的に、フレームｎ＋１の行２が読み出されるとき、それは、０．５統合サイクルの間周囲光にさらされ、０．５統合サイクルの間局所光にさらされる。このように、単一の画像は、異なる持続時間の周囲光にさらされたが同様の量の局所光にされされたピクセルを含む。さらに、ピクセルの各フィールドはまた、フレームｎ＋１と比較して、フレームｎにおいて、異なるトータルの持続時間の周囲光にさらされる。したがって、図３の図示された統合及び局部照明のパターンは、周囲の補正がフレーム内データ（「空間補正（spatial correction）」）及び／又はフレーム間データ（「時間補正（temporal correction）」）により行われることを可能にする。
【００２７】
[0039]図４−１０は、周囲光について図３に示される方法によって得られる画像データを補正するために使用され得る、様々な空間補正方法及び時間補正方法を示す。様々な周囲光の補正方法を示すために、フレームｎ−１及びｎとラベル付けされた２つの画像フレームからの強度データの代表的なグループ群が、図４に関して記載される。具体的には、図４は、静止したシーンを示す２つの画像フレームについての回転画像取込システムからの読み出しが、図３に示される処理によって統合され読み出される場合にどのように現れ得るかを示す。最初に、周囲光のない単純な静止シーンが４０２に示され、シーン４０２からの３ｘ３行列のピクセルが４０４に示される。単純にするために、図４の画像は３つの強度レベルを有し。最も明るいピクセルは最も統合された光を表し、最も暗いピクセルは最も統合されていない光を表す。
【００２８】
[0040]フレームｎ−１において、奇数行は偶数行より多くの持続時間、周囲光へさらされる。３ｘ３シーンに対するこの周囲光のパターンの追加は、４０６に示される強度データを生む。同様に、フレームｎにおいて、偶数行は奇数行より多くの持続時間、周囲光にさらされる。３ｘ３シーンに対するこの周囲光のパターンの追加は、４０８に示される強度データを生む。次に図５を参照すると、周囲光は、器数行については（５０２に示されるように）フレームｎ−１からフレームｎを差し引くことにより、偶数行については（５０４に示されるように）フレームｎからフレームｎ−１を差し引くことにより、計算することができる。奇数行について決定された周囲光を偶数行について決定された周囲光と組み合わせることにより、３ｘ３行列についての全体の周囲光５０６を生む。
【００２９】
[0041]図６−８は、図４に示される画像データにより周囲光について画像フレームを補正するために使用され得る様々な方法の例を示す。これらの図は、一度に単一のピクセルについて周囲光を決定するコンテキストにおいて示される。これは、ピクセルに特有のファクターに依存して異なるピクセルについて異なる周囲光の計算方法を使用することを可能にし得る。示された方法が、周囲光について画像データの全体のフレームを補正するために、画像データのフレーム中の各ピクセルに対して適用され得ることが理解されよう。
【００３０】
[0042]最初に図６を参照すると、フレームｎから単にフレームｎ−１を差し引くことにより、図５について上述したように、ピクセル（例えば、図４−５に示される３ｘ３行列の中央のピクセル）における周囲光の値が計算されてもよい。同様に、３ｘ３行列の最上段及び最下段の行のピクセルについての周囲光は、単にフレームｎ−１からフレームｎを差し引くことにより決定されてもよい。この方法は、時間的に隣接するフレームからの情報を利用するが、空間的に隣接するピクセルからの情報を利用しない。したがって、図６に示された方法は本明細書において「時間−局所（temporal-local）」補正と呼ばれてもよい。しかし、図３に示されるセンサー読み出しパターンにより、周囲光の減算の後、そのピクセルにおける強度は隣接フレームにおけるものと同じである。したがって、時間−局所補正は、装置のフレームレートを事実上半分にし得る。この理由から、この補正は静止した物体に使用されてもよい。
【００３１】
[0043]図７は、周囲光について画像フレームを補正する方法の別の例を示す。図６に示されるものとは対照的に、図７に示される方法は、ピクセルの周囲光を計算する場合、時間情報（すなわち、時間的に隣接した画像フレーム）及び空間情報（すなわち、空間的に隣接したピクセル）の両方を考慮に入れる。したがって、図７に示される方法は「時間−空間（temporal-spatial）」補正と呼ばれてもよい。３ｘ３行列のコンテキストにおいて示されるが、図７及び図８に示される概念は、５ｘ５行列及び７ｘ７行列のほか（５ｘ５行列から各コーナーのピクセルを省略することにより形成される十字形の行列などの）他の形を含むがこれらに限定されない、関心のあるピクセルのまわりの任意の形／パターンに適用され得ることが認識される。
【００３２】
[0044]図７に示される時間−空間補正は、周囲光を決定するためにサンプル行列中のピクセルの加重平均強度を利用し、中央のピクセルは側面のピクセル（各々１／８）よりも強く（１／４）重み付けされ、側面のピクセル（side pixels）はコーナーのピクセルより強く重み付けされる。補正を行うために、ピクセルの強度は示された重み付け係数が掛けられ、２つのフレームが加えられ、次いで中央のピクセルにおける周囲光の強度を生むために、２つのフレームの追加の後に、行列中の各ピクセルの値が合計される。空間データが時間データに加えて考慮されるので、時間−空間補正はフレームレートが維持されることを可能にする。
【００３３】
[0045]図８は、周囲光について画像データのフレームを補正する方法の別の例を示す。図６及び７に示される方法とは対照的に、図８の方法は、周囲光の補正をする際に、時間的な情報ではなく空間的な情報を利用する。言いかえれば、当該補正は、フレーム間データをなんら利用せずに、フレーム内データの加重平均から完全になされる。図示されるように、この計算は、わずかに高い値の周囲光につながり得るが、時間情報を利用する方法において生じ得る動作による計算の問題を回避することができる。
【００３４】
[0046]上に言及されるように、いくつかの実施例において、上記の周囲光補正方法のうちのいずれかを行う前に、周囲光が所定のしきい値を超えるかどうかが決定されてもよい。周囲光が十分に低い強度であるか存在しない場合、タッチセンサー式装置は、周囲光によって引き起こされる問題なしに物体を検出することができる。したがって、上述の補正（又は任意の他のもの）のうちのいずれかを行う前に、フレーム中の第１のフィールドにおける強度の合計をフレーム中の第２のフィールドにおける強度の合計と比較することにより、潜在的に問題のある周囲光が存在するかどうかが決定されてもよい。２つのフィールドにおける強度が統合された周囲光の量によって異なるので、合計が互いに比較的近い場合、図９に示されるように、装置の動作と干渉しないように周囲光レベルが十分に低いことが決定されてもよく、周囲光についての調節が省略されてもよい。
【００３５】
[0047]いくつかの実施例において、表示画面２０６上の任意の物体の任意の動きが生じたかどうかが決定されてもよく、次いで、周囲調整方法が、任意の物体の任意の移動が検出されるかどうかに依存して選択されてもよい。図１０Ａ−Ｄは、周囲光を補正するそのような方法の実施例を示す。最初に図１０Ａを参照すると、画像データの現在のフレーム（フレームｎ）中のピクセルの５ｘ５の領域、及び画像データの２つの先のフレーム（フレームｎ−１、ｎ−２）中の単一のピクセルが、周囲光の補正のために考慮される。しかし、現在のフレームにおける、３ｘ３のピクセルの領域又はピクセルの任意の他の適切な領域が周囲光の補正において考慮されてもよいことが理解されよう。最初に図１０Ａを参照すると、現在のフレームの中心が、同じフィールド順（field order）で読み出されたフレームｎ−２からのピクセルと比較される。これらのピクセル間の差がしきい値量を超える場合、これは、動作が生じたことを示し、そのピクセルについて「動作フラグ（motion flag）」が設定される。動作フラグの値は（例えば、ブール「ＯＲ」演算により）近くのピクセルについての動作フラグと比較され、結果が０である（すなわち、フレームｎ−２及びフレームｎは局所的領域において同じに見える）場合、図１０Ｃに示されるように、時間的な（temporal）周囲光の補正は、フレームｎにおける現在の中央のピクセルとフレームｎ−１における同じピクセルとの間の差を決定することにより行われる。
【００３６】
[0048]他方、隣接する動作フラグによるＯＲ演算が値１をもたらす場合、これは、このフレームにおいてある近くの動作が存在したことを示す。この場合、先のフレームは周囲光の補正について無視されてもよく、フレームｎにおける隣接ピクセルを利用する空間補正が行われる。任意の適切な重み付け係数（ファクター）スキームが、この空間補正を行うために使用されてもよい。図１０Ｄは、５ｘ５ピクセルの空間補正に対する適切な重み付け係数スキームの１つの限定的でない例を示す。
【００３７】
[0049]周囲光の補正について５ｘ５のピクセル領域又は３ｘ３のピクセル領域を利用するべきかどうかの決定は、画像センサーの解像度及び安定性などのファクターに依存してもよい。例えば、３ｘ３領域はわずかに雑音の多い結果を生む一方、５ｘ５領域は結果をわずかに不鮮明にするかもしれない。１ｘ３領域（３ｘ３領域より雑音が多いかもしれない）を含むがこれに限定されない他の領域サイズが使用されてもよい。これらの特定の例が例示の目的で示されるものであり、いかなるようにも制限するようには意図されないことが理解されるであろう。
【００３８】
[0050]図１１は、上述の様々な要因を考慮に入れる周囲光補正を行う方法１１００を描くフロー図を示す。図１１の方法は、ピクセルごとのベースで、又は任意の他の適切な方法で行われてもよい。方法１１００は、まず、１１０２において、１つ以上の画像データフレームを得ること、及び、次いで、１１０４において、画像データフレームについて広範囲の（global）周囲光がしきい値未満であるかどうかを決定することを含む。これは、例えば、第２のフィールドにおけるピクセルのすべての強度の合計から第１のフィールドにおけるすべてのピクセルの強度の合計を差し引き、計算の結果がしきい値未満であるかどうかを決定することにより、決定することができる。
【００３９】
[0051]広範囲の周囲光がしきい値未満である場合、次いで方法１１００は、いかなる補正も行うことなく終了する。他方、広範囲の周囲光がしきい値未満でない場合、次いで、方法１１００は、１１０６において、いずれかの動作が強度データにおいて知覚されるかどうかを判断することを含む。これは、例えば、（ｎ−１における同じピクセルが異なる周囲光露光時間を有するので）フレームｎ−２におけるピクセルの強度値から現在のフレーム（フレームｎ）における同じピクセルの強度値を差し引くことによって行われてもよい。これらの強度値間の差が十分に小さい場合、強度データが動作情報を含まないことを決定することができる。この場合、１１０８に示されるように、空間情報を利用しない時間−局所補正が選択されてもよい。他方、強度値間の差が十分に大きい場合、１１１０に示されるように、（フレームレートが任意の周期的に変動する周囲光について補正される限り）ピクセルが動作データを含むと仮定することができ、空間補正又は時間−空間補正のいずれかが選択されてもよい。
【００４０】
[0052]空間補正又は時間−空間補正を利用するべきか否かの決定は、任意の適切な方法でなされてもよい。一般に、フレーム中の他の情報によってフレームにおけるすべての空間的変動を補正することができる場合、空間補正が使用されてもよい。この決定をなす方法の１つの例は以下のとおりである。最初に、サンプル行列の行（ｉ−１）中のいずれかのピクセルが行（ｉ＋１）中の同じ列におけるピクセルと著しく異なる場合、時間−空間補正によって補正されてもよい空間情報が存在する。同様に、サンプル行列の行（ｉ）におけるピクセルのいずれかから行（ｉ）の平均を引いたものが、行（ｉ−１）における対応するピクセルから行（ｉ−１）におけるピクセルの平均を引いたものと著しく異なる場合、時間−空間補正によって補正されてもよい空間情報が存在する。知覚される動作が存在するがこれらの条件が満たされない他の場合には、空間補正が使用されてもよい。代替的に、動作情報がフレームに含まれる場合、空間補正又は時間−空間補正のいずれかが他方を除いて使用されてもよい。
【００４１】
[0053]周囲光を補正するべくピクセル値を比較するために補正をする上述の方法に加えて、様々な他の画像処理技術が、周囲光補正処理において行われてもよい。例えば、光セットは個々に分離されてもよいし分離されなくてもよいので、画像処理は異なる光セット間の光漏れを補償するために行われてもよい。
【００４２】
[0054]上述の補正計算及び計算選択ルーチンは、任意の適切な方法で行われてもよい。例えば、１つの実施例において、（図１で１２２において示されるような）ＦＰＧＡは、各フレームについて複数の異なる補正計算を同時に行うようにプログラムされてもよい。その後、フレーム中の各ピクセルの最良の周囲光の値は、そのピクセルの特定の時間的及び局所的な特性に基づいて選択されてもよい。代替的に、ピクセルについての最良の周囲光の計算は補正を行う前に決定されてもよく、その結果、１つの補正が各ピクセルについて行われる。統合され収集される強度データから周囲光の補正を行う方法についてのこれらの特定の例が例示の目的で記載されたものであり、いかなるようにも限定するようには意図されないことが認識される。
【００４３】
[0055]上に言及されるように、いくつかの使用環境では、周囲光について画像データのフレームを補正する場合にフレームレートを低減することは受け入れ可能であってもよい。したがって、時間的に隣接する画像フレームが周囲光を補正するために比較されることを可能にするための他の画像フレームごとに、回転局所光源２２０は局所光で表示画面を照らすために使用されてもよい。そのような実施例において、回転画像取込システム２０２は、画像データの隣接フレームにおける局所光＋周囲光（ｔｌｏｃａｌ＋ａｍｂｉｅｎｔ）の持続時間を除いて、等しい持続時間の周囲光（ｔａｍｂｉｅｎｔ）に対してさらされる、ピクセルの単一のフィールドを有すると考えられてもよい。図１２は、そのような方法によって回転画像取込システムにおいて周囲光を補正する方法の実施例を描くタイミング図１２００を示す。図３のタイミング図と同様に、タイミング図１２００は、４つの光セットの照明サイクルを描き、ピクセルの１０８０行の照明が４つの光セット（すなわち、バックライトの帯域）中でどのように分割され得るかを示す。しかし、回転局所光源が任意の他の適切な数の光セットの組を含んでもよく、任意の他の適切な方法で表示画面のピクセルの行又は列の局部照明を分割し得ることが理解される。
【００４４】
[0056]最初に図１２のフレームｎを参照すると、行１の読み出し及びリセットが生じる場合に光セット１がオフになり、バックライトがオンになる、行１の読み出し及びリセットがフレームｎ＋１について生じるときまでオフのままであることが理解できる。このように、行１は、フレームｎの読み出しの持続時間の間周囲光を統合し、次いで、フレームｎ＋１の読み出しの持続時間の間周囲光＋局所光を統合する。このように、フレームｎは、フレームｎの前の読み出しサイクル中に統合された局所光＋周囲光を含み、フレームｎ＋１は、フレームｎの読み出し中に統合された、周囲光を含むが、局所光を含まない。光セット２、３及び４のオフ及びオンが行２７１、５４１及び８１１の読み出しとそれぞれ同期されることを除いて、光セット２、３及び４は同様にしてオン及びオフされる。
【００４５】
[0057]このように、画像センサーのピクセルの各行は、局所光のない周囲光の全フレームが後に続く、周囲光＋局所光の全フレームにさらされる。したがって、フレームｎ及びｎ＋１は、周囲光を補正するために比較されるか、又はそうでなければ、数学的に操作されてもよい。図１２の実施例は、局所光をもつフレームと局所光のないフレームとを交互に示すが、局所光のあるフレームと局所光のないフレームとの任意の他の適切なパターン及び／又は割合が使用されてもよいことが理解される。
【００４６】
[0058]対話型表示装置の他の実施例は、回転局所光源ではなく、回転画像取込装置とともに使用される、広範囲の（global）局所光源を含んでもよい。図１３はそのような対話型表示装置１３００の実施例を示し、広範囲の局所光源が１３０２に示され、回転画像取込装置が１３０４に示される。
【００４７】
[0059]上述のように、交互に存在する局部照明のある画像と局部照明のない画像とを得るために５０％の時間サイクルで単一の広範囲の局所光源を単にオンオフすることは、回転画像取込システムが異なる持続時間の間に局所光を統合することに帰着し、それによって、周囲光の補正を困難にする。さらに、いくつかのピクセルは、フレームごとに等しい量の局所光にさらされてもよく、それによって、それらのピクセルについての周囲光の補正を回避する。
【００４８】
[0060]したがって、図１４は、局部照明を局所光の短時間の明るいフラッシュに短縮し、局所光の観点から回転画像取込システムを広範囲のシャッターセンサーに実質的に変えることにより、一様でない持続時間の間局所光に対してさらされるという問題に対処する、タイミング図１４００を示す。図１４において、ともに時間の関数として、局部照明パターンが１４０２に示され、画像センサー読み出しパターンが１４０４に示される。図示されるように、フレームｎの獲得について、局所光源は、以前の読み出しサイクル１４０８の完了の後及び次の読み出しサイクル１４１０の前に、光１４０６のショートフラッシュ（short flash）を放射する。このように、画像センサーのすべてのピクセルは、画像ｎの獲得の間、局所光に対してほぼ等しくさらされてもよい。他方、局所光源は、画像ｎ＋１の獲得について、同様のフラッシュを放射しない。画像ｎ及びｎ＋１の周囲光の露出は等しい時間の間生じるので、画像ｎ及びｎ＋１は、画像の減算又は他の数学的演算によって周囲光を補正するために使用されてもよい。一貫した性能を保証するのを支援するために、統合サイクル及び／又は照明サイクルは、任意の局部発振周囲光源（例えば、６０Ｈｚの回線周波数を備えた白熱光）と同期されてもよいことが理解される。
【００４９】
[0061]得られるすべての２つの画像が物体検出のために単一の画像へと組み合わせられるので、図１２及び１４に示される周囲光の補正方法はフレームレートの０．５倍の低減を引き起こし得ることに留意されたい。したがって、比較的速い動作の追跡が望まれるアプリケーションでは、図３に示されたタイミング方法は、フレームレートを維持するために空間的な周囲光の補正方法とともに使用されてもよい。さらに、本明細書では対話型表示装置のコンテキストにおいて開示されたが、開示された実施例はまた、装置の性能を改善するために背景信号補正が行われ得る任意の他の適切な光タッチセンサー式装置のほか、任意の他のタッチセンサー式装置において使用されてもよいことが認識される。
【００５０】
[0062]本明細書において記載された構成及び／又は手法が本来例示的なものであり、多数の変形が可能であるので、これらの特定の実施例又は例が限定する意味で考慮されるべきでないことがさらに理解されよう。本明細書において記載された特定のルーチン又は方法は、任意の数の処理戦略のうちの１つ又は複数を表してもよい。そのため、示された様々な動作は、示された順序で実行されてもよいし、他の順序で実行されてもよいし、並列に実行されてもよいし、又は幾つかの場合には省略されてもよい。同様に、上述の処理のうちのいずれかの順序は、本明細書において記載された実施例の特徴及び／又は結果を達成するためには必ずしも要求されず、例示及び記載を容易にするために提供される。本開示の主題は、本明細書に開示された、様々な処理、システム及び構成、並びに他の特徴、機能、動作及び／又は特性のすべての新規且つ非自明な組み合わせ及びサブコンビネーションのほか、それらの任意の及びすべての均等物を含む。
【図１】
0005611342.tif 000002
【図２】
0005611342.tif 000003
【図３】
0005611342.tif 000004
【図４】
0005611342.tif 000005
【図５】
0005611342.tif 000006
【図６】
0005611342.tif 000007
【図７】
0005611342.tif 000008
【図８】
0005611342.tif 000009
【図９】
0005611342.tif 000010
【図１０Ａ】
0005611342.tif 000011
【図１０Ｂ】
0005611342.tif 000012
【図１０Ｃ】
0005611342.tif 000013
【図１０Ｄ】
0005611342.tif 000014
【図１１】
0005611342.tif 000015
【図１２】
0005611342.tif 000016
【図１３】
0005611342.tif 000017
【図１４】
0005611342.tif 000018