(57)【要約】【課題】  表示画面において、外部の環境光に反応した領域と、光源に反応した領域とを明確に区別し、光源の正確な位置座標を特定することが可能な表示装置を提供する。【解決手段】  光検知手段によって検知された領域を示す検知情報に基づいてデジタル画像データに変換し出力するための画像データ生成手段と、画像データ生成手段から出力されたデジタル画像データを画像処理して複数の領域に分割処理するための領域分割処理手段と、領域分割処理手段により分割された領域について各々の位置を特定するための座標を演算し求めるための位置演算処理手段と、位置算出手段より求められた領域の形状を特定するための形状パラメータを座標に基づいた演算により求めるための形状パラメータ演算処理手段と、形状パラメータに基づいて領域の面積を演算により求めるための面積演算手段と、を備える。【選択図】      図１
2005339444.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する画面上に入射した光の領域を検知するための光検知手段を備えた表示装置において、
前記光検知手段によって検知された前記領域を示す検知情報に基づいてデジタル画像データに変換し出力するための画像データ生成手段と、
前記画像データ生成手段から出力された前記デジタル画像データを画像処理して複数の前記領域をそれぞれに分割処理するための領域分割処理手段と、
前記領域分割処理手段により分割された前記領域の位置を特定するための座標を演算し求めるための位置演算処理手段と、
前記位置算出手段より求められた前記領域の形状を特定するための形状パラメータを前記座標に基づいた演算により求めるための形状パラメータ演算処理手段と、
前記形状パラメータに基づいて前記領域の面積を演算により求めるための面積演算手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記デジタル画像データは、
論理値「０」と論理値「１」の２値の階調情報により構成された２値画像データであることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記領域分割処理手段は、
前記画像データ生成手段により生成された前記デジタル画像データを順次走査し、
この順次走査において検知された前記デジタル画像データに対応する前記領域に隣接した２つの他のデジタル画像データについて、その両者の前記階調情報が同じ場合は共に同一の領域に属すると定義し、
この定義に基づいて同一の前記領域に属することを識別するために共通のラベルを前記領域にそれぞれ付与し、
前記階調情報が互いに異なる場合は互いに異なる前記領域に属することを識別するために相異なったラベルを前記領域にそれぞれ付与し、
もって前記デジタル画像データがそれぞれ属する前記領域を区別することを特徴とする請求項１または２のいずれかに記載の表示装置。
【請求項４】
前記形状パラメータは、
前記領域の面積を表す量、前記領域について前記画像の走査線方向への分布幅を表す量、前記領域の前記画像の信号線方向への分布幅を表す量のうちのいずれか１つ以上を含むことを特徴とする請求項１〜３のいずれかに記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光で照射された表示画面上の位置情報を入力することができる表示装置に関し、詳しくは、表示画面に外部から光が照射された領域を識別可能な表示装置に関する。
【背景技術】
【０００２】
近年において、携帯電話やノート型コンピュータなどの各種機器に表示装置として広く利用されている液晶表示装置は、複数の走査線と複数の信号線との各交差部に薄膜トランジスタ（ＴＦＴ）、液晶容量、補助容量からなる液晶画素部が配列されたアレイ基板と走査線および信号線を駆動する駆動回路を有して構成されている。また、近年の集積回路技術の発展およびプロセス技術の実用化により、駆動回路の一部もアレイ基板上に形成され得るようになり、液晶表示装置全体の軽薄短小化も図られている。
【０００３】
また、その一方で、アレイ基板上に画像取り込み機能を有する密着型エリアセンサを配置することによる画像取り込み機能付き表示装置が開発され、光入力機能付き表示装置として提供されている。この種の画像取り込み機能を有する液晶表示装置は、複数の走査線と複数の信号線との各交差部に配列された、例えば液晶画素部などからなる表示手段と、例えばフォトダイオードなどからなる光検知手段と、を同時に有している。
【０００４】
光検知手段を構成するフォトダイオードに接続されたキャパシタの電荷量を、当該フォトダイオードにおける受光量に応じて変化させ、キャパシタの両端の電圧を検出することにより画像データを生成し、画像取り込みを行っている。
【０００５】
このような画像取り込み機能を有する表示装置において、複数の撮像条件で得られた画像データから画像処理によって入射光の照射強度に対応した多階調画像データを得る手法が提案されている。
【０００６】
また、画像を表示する表示フレームの間に撮像フレームを挿入することにより画像の表示を行いながら画像を取り込む手法も提案されている。この手法を用いると、表示装置の表示画面に指を触れたり、あるいは、ペン型の光源を用いて表示画面に光を照射することにより、表示装置の座標入力デバイスとして使用することが可能であり、これに関連した座標算出アルゴリズムやクリック検出アルゴリズムなどが提案されている。
【特許文献１】特開２００２−１８２８３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の技術による表示装置でもって座標入力を行おうとすると、フォトダイオードなどからなる光検知手段が外部から入射する環境光に反応（検知）してしまい、表示装置の使用環境によっては誤動作してしまう、という問題があった。
【０００８】
本発明は、上記に鑑みてなされたもので、その目的とするところは、表示画面において、外部の環境光に反応した領域と、光源に反応した領域とを明確に区別し、光源の正確な位置座標を特定することが可能な表示装置を提供することにある。
【課題を解決するための手段】
【０００９】
請求項１に記載の本発明は、画像を表示する画面上に入射した光の領域を検知するための光検知手段を備えた表示装置において、前記光検知手段によって検知された前記領域を示す検知情報に基づいてデジタル画像データに変換し出力するための画像データ生成手段と、前記画像データ生成手段から出力された前記デジタル画像データを画像処理して複数の前記領域をそれぞれに分割処理するための領域分割処理手段と、前記領域分割処理手段により分割された前記領域の位置を特定するための座標を演算し求めるための位置演算処理手段と、前記位置算出手段より求められた前記領域の形状を特定するための形状パラメータを前記座標に基づいた演算により求めるための形状パラメータ演算処理手段と、前記形状パラメータに基づいて前記領域の面積を演算により求めるための面積演算手段と、を備えることを要旨とする。
【００１０】
また、請求項２に記載の本発明は、請求項１において、前記デジタル画像データは、論理値「０」と論理値「１」の２値の階調情報により構成された２値画像データであることを要旨とする。
【００１１】
また、請求項３に記載の本発明は、請求項１または２のいずれかにおいて、前記領域分割処理手段は、前記画像データ生成手段により生成された前記デジタル画像データを順次走査し、この順次走査において検知された前記デジタル画像データに対応する前記領域に隣接した２つの他のデジタル画像データについて、その両者の前記階調情報が同じ場合は共に同一の領域に属すると定義し、この定義に基づいて同一の前記領域に属することを識別するために共通のラベルを前記領域にそれぞれ付与し、前記階調情報が互いに異なる場合は互いに異なる前記領域に属することを識別するために相異なったラベルを前記領域にそれぞれ付与し、もって前記デジタル画像データがそれぞれ属する前記領域を区別することを要旨とする。
【００１２】
また、請求項４に記載の本発明は、請求項１〜３のいずれかにおいて、前記形状パラメータは、前記領域の面積を表す量、前記領域について前記画像の走査線方向への分布幅を表す量、前記領域の前記画像の信号線方向への分布幅を表す量のうちのいずれか１つ以上を含むことを要旨とする。
【発明の効果】
【００１３】
本発明によれば、表示画面において、外部の環境光に反応した領域と、光源に反応した領域とを明確に区別し、光源の正確な位置座標を特定することが可能な表示装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の表示装置の実施の形態について図面を参照して説明する。
【００１５】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係る、表示装置であって光入力機能を適用した表示システムの構成を示す構成図である。この図１に示す第１の実施の形態の表示システムは、光入力機能付き表示部１と、信号処理ＩＣ２と、ホストＣＰＵ３から構成される。
【００１６】
光入力機能付き表示部１は画像の表示機能だけでなく、図示しない表示画面に照射された光を図示しない光センサにより検出し、画像データとして信号処理ＩＣ２に対して出力する。図１の例では、光入力機能付き表示部１が、光センサのアナログ信号を１ビットのデジタル信号に変換する機能を兼ね備え、２値画像データを出力している。
【００１７】
次に、信号処理ＩＣ２では、まず、入力した２値画像データに対して、ノイズ除去などの信号処理を施し、光センサや光入力回路の不良に起因する画像の欠損を修正する。この修正は、例えばメジアンフィルタ等の処理によって孤立した点状欠損や線状欠損を除去することができる。
【００１８】
また、２値画像のすべての画素に対して、その画素がどの領域に属するかを区別するためにラベルを付けるラベリング処理を行う。その後、異なるラベルが付与された領域のそれぞれについてその領域の位置を表す座標と、その領域の形状を表す形状パラメータと、を計算する。
【００１９】
図１に参照される場合は、座標値は表示部の走査線方向をＸ軸、信号線方向をＹ軸として、座標（Ｘ，Ｙ）で表現し、形状パラメータとしては領域の面積Ｓ、Ｘ軸方向の分布幅ΔＸ、Ｙ軸方向の分布幅ΔＹを算出している。
【００２０】
例えばラベル[１]の付いた領域１については座標（Ｘ１，Ｙ１）、面積Ｓ１、Ｘ軸方向分布幅ΔＸ１、Ｙ軸方向分布幅ΔＹ１が算出され、ラベル[２]の付いた領域２については座標（Ｘ２，Ｙ２）、面積Ｓ２、Ｘ軸方向分布幅ΔＸ２、Ｙ軸方向分布幅ΔＹ２が算出される。
【００２１】
さらに異なるラベルの付いた領域が存在するならば同様にして、各々について座標と形状パラメータが算出され、これらの値は信号処理ＩＣ２上のメモリに保存される。
【００２２】
次に、ホストＣＰＵ３は、信号処理ＩＣ２上の図示しないメモリから随時これらの値を読み出すことができる。ホストＣＰＵ３では複数の領域についてのデータをもとに、例えばペン型光源に反応した領域はどれかを特定してその座標値に応じたユーザーインターフェイスなどの処理を行う。さらに複数の座標入力値を積極的に利用したユーザーインターフェイス処理も可能である。
【００２３】
例えばユーザーがペン型光源を２本使用し、２本の間の距離が大きくなった場合には、表示部に表示する画像を拡大する、小さくなったら表示部に表示する画像を縮小するなどの処理である。
【００２４】
図２は前記光入力機能付き表示部１の回路構成を示すブロック図である。走査線駆動回路４にて駆動される走査線ｄ１〜ｄｎと、信号線駆動回路６により駆動される信号線ｅ１〜ｅｍの交差部の各々について、表示機能を持つ液晶画素部８と、光検知機能を持つ光検知部９と、が設けられている。光検知部９は照射された光の強度に応じたアナログ電圧を信号線ｅ１〜ｅｍに書き出すことができる。
【００２５】
また、そのアナログ電圧を、１ビットの精度でアナログデジタル変換して２値データに変換する１ビットＡ／Ｄ変換回路７と、２値データを順次外部に出力するデータ出力回路５と、が同一基板上に設けられている。もちろんＡ／Ｄ変換の精度は１ビットに限定されるものではなく、また同一基板内に設けるのではなく外部に別途Ａ／Ｄ変換器を設けて、光入力機能付き表示部１からアナログ信号のままで出力する構成も可能である。なお、図２に示した回路が、すべての光検知部９について順次にデータを出力すると、１フレーム分の２値画像データが得られることになる。
【００２６】
図３は、図１にて示した光入力機能付き表示部１から信号処理ＩＣ２に対して出力される２値画像データを模式的に示している。理解を容易にするために、画素数は実際よりも少なく表されている。また、すでに画像の欠損等は修正されているとする。
【００２７】
この図２中で斜線で示された画素１１は、光を検知しなかった画素であることを表し、図中白抜きの画素１２ａ、１２ｂは光を検知した画素を表している。図３の例では光を検知した２つの画素１２ａ、１２ｂによる連結領域が存在している。
【００２８】
こうした連結領域が出現する理由として、例えばペン型光源に反応した領域と環境光に反応した領域という場合や、２本のペン型光源を使用しているといった場合が相当する。このような場合、全面に渡って白抜き領域の重心座標を計算するという従来の座標計算手法を適用すると、図３中に矢印で示した２つの画素１２ａ、１２ｂの中間付近の値が算出されてしまう。
【００２９】
つまり、片方が環境光である場合を想定すると、環境光によって本来ペン型光源が指している場所と異なる場所が算出される、という誤動作を引き起こすことになり、さらに２本のペン型光源を使用した場合を想定すると、どちらのペン型光源の位置も正しく算出されないということになる。
【００３０】
このような誤動作を回避するために、信号処理ＩＣ２では異なる領域に属する画素には異なるラベルを付け、同一領域に属する画素には同じラベルを付ける処理(ラベリング処理)を行った後に、同一ラベルの付けられた画素だけを用いて位置座標計算や各種形状パラメータの算出を行う。
【００３１】
図４は、図３の２値画像に対してラベリング処理を行い、各ラベルごとに位置座標計算や形状パラメータ計算を行った結果を模式的に表している。ラベリング処理のアルゴリズムとしては公知のものなどを用いることができる。
【００３２】
このラべリング処理に際して、例えば座標値は表示部の走査線方向をＸ軸、信号線方向をＹ軸として、座標（Ｘ，Ｙ）で表現し、形状パラメータとしては領域の面積Ｓ、Ｘ軸方向の分布幅ΔＸ、Ｙ軸方向の分布幅ΔＹを算出している。
【００３３】
図４を参照して、ラベル[１]の付いた領域１については、縦軸Ｘ１、横軸Ｙ１とした座標系で座標（Ｘ１，Ｙ１）、面積Ｓ１、Ｘ１軸方向分布幅ΔＸ１、Ｙ１軸方向分布幅ΔＹ１が算出される。また、ラベル[２]の付いた領域２については、縦軸Ｘ２、横軸Ｙ２とした座標系で座標（Ｘ２，Ｙ２）、面積Ｓ２、Ｘ２軸方向分布幅ΔＸ２、Ｙ２軸方向分布幅ΔＹ２が算出される。
【００３４】
図５に２値画像の左上の画素から右下の画素に向かって順次走査していき、光を検知した領域(図中白抜きの領域)にラベルを付けていく様子を示した。この場合、注目している画素に対して、上に隣接する画素および左に隣接する画素を調べて、もし隣接画素が光を検知した画素なら、注目画素にも同じラベルを付けるという方法をとる。
【００３５】
ここで問題になるのは、上に隣接する画素のラベルと左に隣接する画素のラベルが異なる場合であるが、この場合は例えばラベルの数字が小さいほうのラベルを付けるなどとし、さらに、数字が大きいほうのラベルは本来小さい方のラベルと等しくなるべきであるという対応関係をルックアップテーブルに保持しておく必要がある。図５において、ラベルは[１]、[２]、[３]の３種類の数字が付与されているが、例えば上に隣接する画素のラベルが[２]であって、左に隣接する画素のラベルが[３]であり、両者のラベルの数字が異なる場合は、ラベル[３]の数字がラベル[１]の数字より大きいので、従ってラベル[３]を付与せずに小さいほうのラベル[１]を付与する。
【００３６】
図５では、ラベル付けの段階を時系列で示すステップＳ１〜Ｓ５のうち、３段目のステップＳ３において、斜線で示されたラベル[２]の上に隣接する画素がラベル[２]であり、左に隣接する画素がラベル[３]であったため、注目画素である斜線で示されたラベルはラベル[２]としている。また、ラベル[３]は、本来ラベル[２]と同じであるという対応関係を図６のルックアップテーブルＳ１３に書き込んでいる。
【００３７】
図６に参照されるルックアップテーブルＳ１１〜Ｓ１５はステップＳ１〜Ｓ５に１対１で対応しており、ＩＣ内のメモリなどを用いて容易に構成される。このルックアップテーブルの項目としては、ラベル付けをする前に仮に付された「仮ラベル」と、隣接するラベルに基づいて改めてラベル付けされた「本ラベル」と、この「本ラベル」の数に基づいて算出されたラベルの総面積を示す「面積Ｓ」とが設けられている。
【００３８】
こうしたルックアップテーブルにおいて、４段目のステップＳ４では、斜線で示されたラベル[１]の上に隣接する画素がラベル１であり、左に隣接する画素がラベル２であるため、注目画素である斜線で示されたラベルはラベル[１]を付され、かつ、ラベル[２]は本来ラベル[１]と同じものであるという対応をルックアップテーブルに書き込んでいる。このようにラベル付けとルックアップテーブルの更新を行うと同時に、各ラベルごとの位置座標や各種形状パラメータの計算も同時に進めることができる。
【００３９】
図６では、画素にラベル付けすると同時に対応する面積Ｓをカウントアップしている。このようにして２値画像の右下まで走査が完了すると、図６の最下段に示すルックアップテーブルＳ１５に示すラベルの対応表が得られる。この対応表からラベル[１]、ラベル[２]、ラベル[３]は本来同一のものであることがわかるので、各ラベルの占める面積をすべて加算すればこの領域の合計面積は「１０」であると計算できる。
【００４０】
また図６には示していないが、図４にて示した位置座標Ｘ１に関しても、画素にラベルを付けると同時にそのＸ１座標をルックアップテーブルの対応する項に加算していき、走査が終了したら、同一であるべきすべてのラベルについて加算した後、面積Ｓ１で除算すれば得られる。位置座標Ｙ１についても同様である。
【００４１】
また、Ｘ軸方向の分布幅ΔＸ１については、各ラベルごとにＸ１座標の最大値および最小値をルックアップテーブルに保持しておき、走査が終了したら、同一であるべきすべてのラベルについての最大値、最小値に統合し、最大値から最小値を減算すれば得られる。Ｙ１軸方向の分布幅ΔＹ１についても同様である。以上のようにすれば、２値画像を１回走査するだけで、異なる領域ごとに位置座標や形状パラメータを算出可能である。もちろん、位置座標Ｘ２、位置座標Ｙ２、分布幅ΔＸ２、分布幅ΔＹ２、面積Ｓ２に関しても同様である。
【００４２】
図７、図８、図９は複数の位置座標や各種形状パラメータを利用してホストＣＰＵ３で行う処理の例を模式的に示している。図７、図８はペン型光源での座標入力が、外部から入射する光に起因した環境光ノイズによって妨害されている状況を表している。
【００４３】
図７のような状況はペン型光源以外に、何等かのノイズとなる光源が画像表示面２０に近接した際に起こりうる。この場合、例えば、領域２１、領域２２の互いの面積を比較して、ペン型光源と思われるものを選択する。あるいは、面積、Ｘ軸方向分布幅、Ｙ軸方向分布幅を用いた簡単な演算によって領域の円形度を求め、最も円形度の高い領域２２をペン型光源と判定するなどといった処理が可能である。
【００４４】
また図８のような状況は、画像表示面２３が屋外の非常に明るい環境下に置かれており、この環境下でペン型光源を用いた場合に起こりうるものである。こうした状況では、ペンの影となる影領域２４には反応しないが、ペン先部分領域２５には反応する。この場合にも、領域の面積を判定条件とできるし、影領域２４の中に反応したペン先部分領域２５があった場合にのみ、ペン型光源である、などという判定も可能である。
【００４５】
図９（ａ）、（ｂ）は、それぞれ複数の光源を積極的に利用したユーザインタフェイスの例を示している。この場合、操作者であるユーザが手袋３３を装着しており、この手袋３３の指先部分には光源３２が複数で設けられている。また、操作の対象となる表示画面３０には、画像３１が表示されている。
【００４６】
図９（ａ）に示されるように、ユーザが光源３２から射出されている光を表示画面３０に照射する。この図９（ａ）では、光源３２の数は２つであるが、操作の用途に応じてさらに多くの光源３２を設けてもよく、最低限度の数として２つに留めてもよい。
【００４７】
次に、図９（ｂ）に示すように、ユーザが手袋３３二本の指を回転させると、この回転に伴って光源３２も回転する。光源３２が回転するので、表示画面３０に照射されている２つの光点も連動して回転移動する。この光点の回転移動を表示画面３０にて検知して、この回転移動に応じて画像３１を回転移動させる。
【００４８】
以上説明した本発明の第１の実施の形態によれば、光によって反応した領域が複数ある場合に、それぞれの領域について位置と形状パラメータを算出するので、表示画面上に、例えば環境光によって反応した領域とペン型光源からの光によって反応した領域が生じた場合、まず形状パラメータを調べることによりどの領域がペン型光源によるものかを特定でき、その領域の位置を取得することによって、環境光により誤動作することなくペン型光源の位置情報が得られる。
【００４９】
また、例えばライトペンなどのような光源からの光により表示画面を照射することによりこの照射された表示画面上の位置情報を入力することができる表示装置に関し、更に詳しくは、複数の走査線と複数の信号線との各交差部に配列された表示手段である例えば液晶等からなる液晶画素部と光検知手段である例えばフォトダイオード等からなる光検知部とを有し、これら複数の液晶画素部により画像を表示画面に表示するとともに、外部から表示画面に照射される光を前記複数の光検知部により検知することにより光の照射された表示画面上の位置情報を入力することができる光入力機能を備えた表示装置を提供することができる。
【００５０】
＜第２の実施の形態＞
図１０に示すのは、本発明の第２の実施の形態に係る、表示装置への２点同時入力を説明するための説明図である。この図１０に示されているのは、携帯電話などの携帯情報端末に備わる表示画面５０、５１を示している。この表示画面５０と表示画面５１は、それぞれの画面上に表示された複数のスイッチをユーザが指で押して選択することにより、その内容に応じた画面に切り替わる。例えば、表示画面５１が最初に表示され、その表示画面５１には複数のスイッチ（画面上で市松模様で示された部分）が配置され表示されている。これらのスイッチの中から、ユーザが所望する機能を指定するスイッチが押されると、表示画面５１から表示画面５０のスイッチ５３ａ、５３ｂ、５３ｃの配置に表示が切り替わる。
【００５１】
これらのスイッチ５３ａ、５３ｂ、５３ｃは、それぞれに機能が割付けられており、ユーザが指５２で１番上のスイッチ５３ａを押しつづけている間は、さらに別の機能が割付けられたスイッチ５３ａ、５３ｂ、５３ｃ、５３ｄ、５３ｅ、５３ｆまでの６個が表示される。
【００５２】
この６個のスイッチ５３ａ、５３ｂ、５３ｃ、５３ｄ、５３ｅ、５３ｆに、たとえば電話番号が割付けられている場合は、スイッチ５３ａをユーザが一つの指５２で押しつづけつつ、空いた別の指でスイッチ５３ｅを同時に押すことで、このスイッチ５３ｅに割付けられていた「Ｂさんにダイヤルする」という機能が起動し、電話がＢさんあてに発信される。
【００５３】
また、ユーザがスイッチ５３ｃを押しつづけている間は、スイッチ５４ａ、５４ｂ、５４ｃ、５４ｄ、５４ｅ、５４ｆの６個の新たなスイッチが切り替わり表示される。こうして表示されたスイッチのうち、スイッチ５４ｆをスイッチ５４ｃと同時に２本の指５２で同時に押すと、携帯情報端末が認識する撮像画像５５は、２つの検知点５６と、環境光５７とが同時に認識される。
【００５４】
こうした撮像画像５５のうち、環境光５７は、既に説明した第１の実施の形態により無視され、２つの検知点５６がそれぞれ独立した２つの点として認識される。この認識に基づいて、この２つのスイッチ５４ｃとスイッチ５４ｆとの同時押しにより、たとえばスケジュール呼出しが実行され、表示画面５０に「４月６日  １８：００−  パーティー」といった表示がされる。
【００５５】
次に、図１１と図１２とを参照して、本発明の第２の実施の形態に係る２点同時入力を情報処理し、認識する手順を説明する。図１２には、本発明の第２の実施の形態に係る表示装置の概略構成を示している。この表示装置の構成においては、ＣＰＵ回路（制御マイコン）６０と、ＬＣＤＣ（ＬＣＤコントローラ）６１と、光センサ内蔵ＴＦＴ−ＬＣＤ６２とが示され、さらに、ＲＡＭ６３と、ＲＯＭ６４と、ＳＲＡＭ７０と、が示されている。ＣＰＵ回路６０には外部バス６５と、各種コントローラ６６と、ＣＰＵコア演算回路６７と、タイマー６８とが示され、ＣＰＵ回路６０はＬＣＤＣ６１とパラレルＩ／Ｏ、外部Ｉ／Ｆとで接続されている。また、ＬＣＤＣ６１と光センサ内蔵ＴＦＴ−ＬＣＤ６２の間には、制御信号バス（センサ関連）７１と、撮像データ７２と、ＲＧＢ画像データ７３と、制御信号バス（クロック、イネーブル信号ほか）７４が通信されている。
【００５６】
ここで、図１１を参照し、撮像画像５５における２つの検知点５６を独立した２点として抽出するための処理を説明する。まず、撮像画像５５には、何等かの原因で表示画面に入射した不要な環境光５７と、２つの検知点５６が撮像されている。ここで、光センサ内蔵ＴＦＴ−ＬＣＤ６２から出力される撮像データはＴＦＴ−ＬＣＤ６２内でシリアルデータとなり数本のバス配線を介してＬＣＤＣ６１に入力されるため、所定の並替えを行う必要があるためＬＣＤＣ６１で並べ替えて再構成する（ステップＳ２０）。この再構成によりノイズ（環境光５７）と検知点が本来の位置にある撮像画像が得られる。さらに、市松模様の部分は白色とし、意味ある模様を有しない単なるノイズ（環境光５７）は黒色とする処理を行うことによりノイズ除去後の画像が得られ、２つの検知点５６のみが抽出される（ステップＳ２１）。
【００５７】
次に、既に説明した本発明の第１の実施の形態によるラベリング処理により、ラベリングを実行し、ラベリング後の画像を得る。こうして得たラベリング後の画像は、撮像画像５７の左側の白丸が[領域１]５７とされ、右側の白丸が[領域２]５８とされ、それぞれ別個に認識されている（ステップＳ２１）。
【００５８】
次に、[領域１]５７と[領域２]５８とで、それぞれごとに重心座標、広がりを演算により求める（ステップＳ２２）。この演算の結果、[領域１]の重心座標と広がりとして[領域１]：（Ｘ１、Ｙ１）、（Ｖｘ１、Ｖｙ１）という値を得る。また、[領域２]の重心と広がりとして[領域２]：（Ｘ２、Ｙ２）、（Ｖｘ２、Ｖｙ２）という値も同様に得ることができる（ステップＳ２３）。
【００５９】
次に、ＣＰＵ回路６０に「入力点数＝２、[領域１]：（Ｘ１、Ｙ１）、（Ｖｘ１、Ｖｙ１）、[領域２]：（Ｘ２、Ｙ２）、（Ｖｘ２、Ｖｙ２）」というデータを送信する（ステップＳ２４）。このデータを受けて、ＣＰＵ回路６０は、「入力点数、領域ごとの重心座標と広がり」に基づいて表示装置全体の動作を所定に変化させ、光センサ内蔵ＴＦＴ−ＬＣＤ６２の表示も変化させる。
【００６０】
本例の「市松模様」は他の模様でもよい。撮像画像から模様の反射像を検索することができればよい。「広がり」はそれぞれの領域の画素数でもよい。指を表示面に押し付ける動作と対応するものであればよい。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施の形態に係る、表示装置の構成を説明するための概略の構成図を示す。
【図２】本発明の第１の実施の形態に係る、表示装置の回路構成を説明するための構成図を示す。
【図３】本発明の第１の実施の形態に係る、２値画像データの処理を説明するための説明図を示す。
【図４】本発明の第１の実施の形態に係る、２値画像データの処理を説明するための説明図を示す。
【図５】本発明の第１の実施の形態に係る、２値画像データの処理を説明するための説明図を示す。
【図６】本発明の第１の実施の形態に係る、２値画像データの処理を説明するための説明図を示す。
【図７】本発明の第１の実施の形態に係る、ペン型光源での座標入力がなんらかの環境光ノイズによって妨害されている状況を説明するための説明図を示す。
【図８】本発明の第１の実施の形態に係る、ペン型光源での座標入力がなんらかの環境光ノイズによって妨害されている状況を説明するための説明図を示す。
【図９】本発明の第１の実施の形態に係る、複数の光源を積極的に利用したユーザーインターフェイスの一例を説明するための説明図であって、（ａ）は画像回転前であり、（ｂ）は画像回転後を示している。
【図１０】本発明の第２の実施の形態に係る、表示装置への２点同時入力を説明するための説明図を示す。
【図１１】本発明の第２の実施の形態に係る、表示装置への２点同時入力を説明するための説明図を示す。
【図１２】本発明の第２の実施の形態に係る、表示装置の構成を説明するための概略の構成図を示す。
【符号の説明】
【００６２】
１  光入力機能付き表示部
２  信号処理ＩＣ
３  ホストＣＰＵ
４  走査線駆動回路
５  データ出力回路
６  信号線駆動回路
７  １ビットＡ／Ｄ変換回路
８  液晶画素部
９  光検知部
１０  表示画面
１１  対向基板
３２  光源
【図１】
2005339444.tif 000003
【図２】
2005339444.tif 000004
【図３】
2005339444.tif 000005
【図４】
2005339444.tif 000006
【図５】
2005339444.tif 000007
【図６】
2005339444.tif 000008
【図７】
2005339444.tif 000009
【図８】
2005339444.tif 000010
【図９】
2005339444.tif 000011
【図１０】
2005339444.tif 000012
【図１１】
2005339444.tif 000013
【図１２】
2005339444.tif 000014