(57)【要約】【課題】センサ付液晶装置において、偏光光学的な構造を抜本的に変えて、ペンや指等の指示物体による表示領域における指示位置を高精度に特定する。【解決手段】センサ付液晶装置は、各表示画素に対応して配置された複数の光センサを含む液晶表示パネルと、表示画素に画像信号を供給する画像信号供給手段と、液晶表示パネルを照明する照明装置と、液晶表示パネルの光センサの受光側の面に対向配置された反射型偏光板と、光センサからの電気信号を受光画像に変換する画像変換手段と、受光画像を基に反転受光画像を生成する反転画像生成手段と、反転受光画像の階調値が、対応する表示画像の階調値に対して基準の範囲内にあるか否かを判定する階調値比較判定手段と、反転受光画像の階調値が基準の範囲内にないと判定された場合に、当該判定の対象となった表示画素の位置を、表示領域における接触位置と特定する接触位置特定手段と、を備える。【選択図】図１
2010002445.tif 000002
【特許請求の範囲】
【請求項１】
画像信号が供給される複数の表示画素を含んでなる表示パネルと、
前記表示パネルに向けて光を照射する照明装置と、
前記表示パネルの前記照明装置とは反対の側に配置され、第１の振動方向の偏光光を透過し、前記第１の振動方向と交差する第２の振動方向の光を反射させる反射偏光板と、
前記複数の表示画素の各々に対応して配置されてなる光センサと、を備え、
前記光センサは、その受光面が前記反射偏光板側を向いて配置されてなることを特徴とするセンサ付表示装置。
【請求項２】
前記光センサが受光した光に基づく信号から生成される受光画像と、前記表示画素に入力される画像信号により生成される表示画像との比較により、位置検出を行うよう構成されてなることを特徴とする請求項１に記載のセンサ付表示装置。
【請求項３】
環境光を検出する照度検出センサを更に備え、検出された前記環境光の強度に応じて前記受光画像を補正することを特徴とする請求項２に記載のセンサ付表示装置。
【請求項４】
請求項１乃至３のいずれか一項に記載のセンサ付表示装置を表示部として備えることを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像スキャナー、又はタッチパネルとしての機能を兼ね備えるセンサ付表示装置に関する。
【背景技術】
【０００２】
近年、液晶表示パネルのアレイ基板上に光センサを分散配置して、これらの光センサから得られる受光量に基づいて、撮像対象の画像入力を行ったり、或いは撮像対象の位置を検出したりすることが可能な液晶表示装置が提案されている。
【０００３】
このような液晶表示装置では、液晶表示パネルの他に、入力装置としてのタッチパネル等を設ける必要がないといった利点がある。しかしながら、その反面、かかる液晶表示装置では、環境光（周囲の光）とバックライトの照明光との明るさの関係によってはＳＮ（Signal to Noise ratio）比の高い入力画像が得られないといった欠点がある。
【０００４】
例えば、特許文献１には、このような欠点を改善することが可能な液晶表示装置が記載されている。
【０００５】
この液晶表示装置では、バックライトは、液晶表示パネルの輝度の低下によって可視光の受光量が低下することとなる光センサに受光されうる非可視光を出射する非可視光源を備える。これにより、環境光の照度低下時に液晶表示パネルの輝度を低下させた場合であっても、光センサの受光量を多くすることができ、これにより画像のＳＮ比を向上させることができるとされている。
【０００６】
【特許文献１】特開２００８−３２９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、以上の点に鑑みてなされたものであり、偏光光学的な構造を抜本的に変えて、ペンや指等の指示物体による表示領域における指示位置を高精度に特定することが可能なセンサ付表示装置及びそれを用いた電子機器を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明のセンサ付表示装置は、画像信号が供給される複数の表示画素を含んでなる表示パネルと、前記表示パネルに向けて光を照射する照明装置と、前記表示パネルの前記照明装置とは反対の側に配置され、第１の振動方向の偏光光を透過し、前記第１の振動方向と交差する第２の振動方向の光を反射させる反射偏光板と、前記複数の表示画素の各々に対応して配置されてなる光センサと、を備え、前記光センサは、その受光面が前記反射偏光板側を向いて配置されてなることを特徴とする。また、前記光センサが受光した光に基づく信号から生成される受光画像と、前記表示画素に入力される画像信号により生成される表示画像との比較により、位置検出を行うよう構成されてなる。
【０００９】
本発明によれば、照明装置からの照明光は、各表示画素において画像信号に応じて変調され、そして反射偏光板によって反射され後、光センサで検出されることとなる。そして、光センサで受光した光に基づく信号から受光画像が生成される。反射偏光板の光出射側に指等の指示物体がある場合には、反射偏光板を透過した光も指示物体にて反射されて光センサで受光されることとなる。つまり、指示物体等がない場合と、ある場合とでは、生成される受光画像が異なる。したがって、画像信号によって生成される表示画像と、受光画像とを比較することで、指示物体等により指示された位置が特定できる。
【００１０】
また、環境光を検出する照度検出センサを更に備え、検出された前記環境光の強度に応じて前記受光画像を補正することを特徴とする。
【００１１】
より具体的に本発明の作用を説明する。
【００１２】
表示パネルとしては、例えば一対の基板に液晶を挟んだ液晶表示パネルを用いることができる。液晶表示パネルの平面領域内には、表示領域を構成する複数の表示画素と、各表示画素に対応して設けられ、受光量に応じた電気信号を出力する複数の光センサが配置される。光センサとしては、ＣＣＤ等の光電変換素子などが挙げられる。表示画素の各々には、表示内容に応じた画像信号が供給される。例えば、画像信号供給手段は、表示画素の各々に対し表示内容に応じた画像信号を供給する。液晶表示パネルの背面側には、液晶表示パネルに向けて光を照射する照明装置が配置される。また、液晶表示パネルの光センサの受光側の面には反射偏光板が配置される。反射偏光板は、照明装置側から入射した光のうち第１の振動方向の偏光光を透過させると共に、第１の振動方向に交差又は略直交する第２の振動方向の偏光光を反射させることができる。光センサは、反射偏光板で反射された光を受光し、そしてその受光した光を電気信号に変換する。そして、その電気信号に基づいて受光画像が生成される。例えば、画像変換手段は、光センサから得られる電気信号を受光画像に変換する。そして、生成された受光画像は、階調値が白黒反転されて反転受光画像となる。例えば、反転画像生成手段は、受光画像の階調値を白黒反転して反転受光画像を生成する。反転受光画像の階調値が、表示画像の階調値に対して基準の範囲内に無いと判定された場合には、判定の対象となった表示画素の位置を、表示領域における接触位置と特定する。
【００１３】
例えば、階調値比較判定手段（又は比較判定手段）は、光センサに係る反転受光画像の階調値が、当該光センサに対応付けて配置された表示画素に係る各表示画像の階調値に対して基準の範囲内にあるか否かを比較し判定する。ここで、基準の範囲は、反転と表示画像との一致度合いに応じて適宜決定される。即ち、反転受光画像と表示画像との完全一致を求める場合には、基準の範囲は０に設定される。一方、反転受光画像が表示画像に対してある程度一致していればよいのであれば、基準の範囲は、表示画像の階調値に対して一桁程度の範囲となるように設定することができる。そして、接触位置特定手段は、反転受光画像の階調値が基準の範囲内にないと判定された場合に、当該判定の対象となった表示画素の位置を、表示領域における接触位置と特定する。
【００１４】
即ち、この構成によれば、ユーザがペンや指等の指示物体を用いて表示領域の任意の位置を指示した場合、その指示位置において液晶の配向異常が生じる。この場合、その指示位置に生じる液晶の配向異常によって、その指示位置の光センサが受け取る光量が大きく変化するため、反転受光画像と表示画像とが一致しなくなる。これによって、接触位置特定手段は、指示物体による表示領域における指示位置を特定することができる。
【００１５】
上記のセンサ付液晶装置の一つの態様では、環境光の照度を計測する照度検出センサと、前記環境光の照度が基準照度値より大きいか否かを判定する照度レベル判定手段と、前記環境光の照度が前記基準照度値より大きいと判定された場合に、前記反転受光画像の階調値のレベルを前記環境光の照度と前記基準照度値との差分の絶対値に対応する階調値の分だけ下げると共に、前記環境光の照度が前記基準照度値より小さいと判定された場合に、前記反転受光画像の階調値のレベルを前記環境光の照度と前記基準照度値との差分の絶対値に対応する階調値の分だけ上げる階調値レベル調整手段と、を備え、前記階調値比較判定手段は、前記階調値レベル調整手段により得られる調整された前記反転受光画像の階調値を用いて前記判定を行う。
【００１６】
この態様では、上記のセンサ付液晶装置は、照度検出センサと、照度レベル判定手段と、階調値レベル調整手段と、を更に備える。
【００１７】
照度検出センサは、環境光の照度を計測する。照度検出センサとしては、光センサなどが挙げられる。照度レベル判定手段は、環境光の照度が基準照度値より大きいか否かを判定する。ここで、基準照度値は、反転受光画像と表示画像とを比較可能な照度値とされ、実験やシミュレーションなどによって算出される。階調値レベル調整手段は、環境光の照度が基準照度値より大きいと判定された場合に、反転受光画像の階調値のレベルを前記環境光の照度と前記基準照度値との差分の絶対値に対応する階調値の分だけ下げる。これにより、反転受光画像の階調値が、表示画像の階調値と比較することが可能なレベルに調整される。一方、階調値レベル調整手段は、環境光の照度が基準照度値より小さいと判定された場合に、反転受光画像の階調値のレベルを環境光の照度と基準照度値との差分の絶対値に対応する階調値の分だけ上げる。これにより、反転受光画像の階調値が、表示画像の階調値と比較することが可能なレベルに調整される。
【００１８】
そして、階調値比較判定手段は、階調値レベル調整手段により得られる調整された反転受光画像の階調値を用いて前記判定を行う。これにより、環境光の明るさの変化に左右されることなく、反転受光画像と表示用画素との比較を精度良く行うことができ、例えば指示物体による表示領域における指示位置を精度よく特定することができる。
【００１９】
上記のセンサ付液晶装置の他の態様では、前記表示領域への接触により生じる前記液晶の配向異常のパターンを、前記液晶表示パネルの種類毎に複数の基準パターンとして記憶する記憶手段と、前記反転受光画像の階調値が前記基準の範囲内にないと判定された場合に、当該判定の対象となった前記表示画素の領域に基づいて得られる前記液晶の配向異常のパターンと、前記記憶手段から得られる前記複数の基準パターンとを照合して、前記パターンが前記複数の基準パターンの何れかと略一致するか否かを判定するパターン照合手段と、を備え、前記接触位置特定手段は、前記パターンが前記複数の基準パターンの何れかと略一致する場合に、当該パターンに対応する前記表示画素の位置を、前記表示領域における接触位置と特定する。
【００２０】
この態様では、上記のセンサ付液晶装置は、記憶手段と、パターン照合手段と、を更に備える。記憶手段は、表示領域への接触により生じる液晶の配向異常のパターンを、液晶表示パネルの種類（例えば表示モードや表示方式など）毎に複数の基準パターンとして記憶する。パターン照合手段は、反転受光画像の階調値が前記基準の範囲内にないと判定された場合に、当該判定の対象となった表示画素の領域に基づいて得られる液晶の配向異常のパターンと、記憶手段から得られる複数の基準パターンとを照合して、前記パターンが複数の基準パターンの何れかと略一致するか否かを判定する。そして、接触位置特定手段は、前記パターンが複数の基準パターンの何れかと略一致する場合に、当該パターンに対応する表示画素の位置を、表示領域における接触位置と特定する。
【００２１】
この構成によれば、センサ付液晶装置における表示領域の上方又は上に、光センサを遮光する遮光物などがあった場合でも、その遮光物が存在する位置を、指示物体による表示領域における指示位置（接触位置）と誤認定してしまうことを防止できる。その結果、ユーザによる指示物体を用いた表示領域における指示位置を精度よく特定することができる。
【００２２】
上記のセンサ付液晶装置の他の態様では、前記光センサの各々は、前記表示画素の各々に対応して配置されている。これにより、各光センサ等を通じて、解像度の高い受光画像を得ることが可能となる。よって、ユーザによる指示物体を用いた表示領域における指示位置を精度よく特定することができる。
【００２３】
上記のセンサ付液晶装置の他の態様では、前記液晶表示パネルは、少なくとも２つの安定状態を持つ液晶層を有するメモリ性液晶表示パネルである。この態様によれば、接触位置特定手段を通じて、表示領域における指示物体による指示位置に係る表示画素が特定されるので、その表示画素に対して、画像信号供給手段を通じて元の表示内容に応じた画像信号を供給してやれば、その指示位置において表示内容を復元することが可能となる。
【００２４】
本発明の他の観点では、上記のセンサ付表示装置を表示部として備える電子機器を構成することができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明を実施するための最良の形態について説明する。
【００２６】
[第１実施形態]
（センサ付液晶装置の構成）
まず、図１等を参照して、本発明の第１実施形態に係る、センサ付表示装置の一例としてのセンサ付液晶装置１００の構成について説明する。
【００２７】
図１は、第１実施形態に係るセンサ付液晶装置１００の構成図を示す。図１（ａ）は、図１（ｂ）の観察側（観察者により視認される側）から見たセンサ付液晶装置１００の構成を示す概略平面図を示す。なお、図１（ａ）では、センサ付液晶装置１００の構成要素の一部を省略している。図１（ｂ）は、センサ付液晶装置１００の構成を示す概略断面図及びブロック図を示す。
【００２８】
センサ付液晶装置１００は、表示パネルの一例としての液晶表示パネル５０と、各種の光学部材と、照明装置５１と、画像信号供給手段５２と、画像変換手段５３と、反転画像生成手段５４と、階調値比較判定手段５５と、接触位置特定手段５６と、を備える。
【００２９】
液晶表示パネル５０は、アレイ基板１と対向基板２とを枠状のシール材３を介して貼り合わせ、シール材３で区画される領域内に液晶層４を狭持して構成される。
【００３０】
アレイ基板１の液晶層４側の面には、図示を省略するが、例えば、行列状に配置された複数の信号線（画像信号が供給される配線）及び複数の走査線（走査信号が供給される配線）と、各信号線と各走査線との交差位置に対応して配置されたスイッチング素子（例えば、薄膜トランジスタ素子など）と、各スイッチング素子に電気的に接続された画素電極と、各画素電極に対応して配置された複数の光センサ６と、を備える。また、アレイ基板１は、図示を省略するが、対向基板２の一端から外側に張り出す張り出し領域を有し、その張り出し領域には複数の信号線及び複数の走査線を駆動する駆動回路が設けられる。
【００３１】
ここで、各光センサ６としては、ＣＣＤ（Charge Coupled Device）、ＴＦＴ(Thin Film Transistor)、ＰＩＮダイオード等の光電変換素子などが挙げられる。各光センサ６は、その受光面の側が観察側｛即ち、後述する反射型偏光板（又は反射偏向板）１２の側｝に向けられた状態で配置されている。各光センサ６は、反射型偏光板１２からの反射光Ｌｒ、或いは環境光（周囲の光）を受光し、その受光量に応じた大きさの電気信号ｓ２を画像変換手段５３に出力する。
【００３２】
一方、対向基板２の液晶層４側の面には、図示を省略するが、例えば、画素電極の位置に対応して配置される赤、緑、青の各色のカラーフィルタ層と、各カラーフィルタ層を区画する位置に配置される遮光層と、カラーフィルタ層及び遮光層の液晶層４側の面に配置され、基準電位が供給される共通電極と、を備える。
【００３３】
そして、液晶表示パネル５０におけるシール材３の内側であって、各画素電極と共通電極とが平面的に重なる領域には、表示の最小単位となる表示画素５が形成されている。このため、複数の表示画素５により、画像を表示するための表示領域Ｖが形成されている。  なお、本例では、各光センサ６は、各画素電極、言い換えれば各表示画素５に対応して配置されているが、これに限らず、本発明では、各光センサ６は、少なくとも１つの表示画素５に対応して配置されていてもよい。即ち、解像度により各光センサ６は１つの表示画素５に対応して配置されていても良く、複数の表示画素５を一単位として複数の表示画素単位に一つの光センサ６を配置する構成でもよい。また表示画素５内に複数の光センサ６を配置し高解像度のセンサ付き液晶装置としても良い。また、表示画素５内での光センサ６の配置は画素内に配置されるサブ画素が配置される場所にサブ画素に替え光センサ６を配置する構成でも良く、各サブ画素間、表示画素５間の遮光層と重ならない領域に光センサ６を配置する構成でも良い。
【００３４】
また、本発明では、液晶表示パネル５０は、特定の構成に限定されず、周知の種々の構成を採り得る。
【００３５】
各種の光学部材には、一対の吸収型偏光板（１１、１３）、及び反射型偏光板１２が含まれる。
【００３６】
吸収型偏光板１１は、アレイ基板１の液晶層４側とは逆側の面に対向して配置されている。一方、吸収型偏光板１３は、対向基板２の液晶層４側とは逆側の面に対向して配置されている。吸収型偏光板１１の透過軸と吸収型偏光板１３の透過軸は交差又は略直交している。
【００３７】
反射型偏光板１２は、吸収型偏光板１３の液晶表示パネル５０側とは逆側であって且つ光センサ６の受光側の面と対向する位置に配置されている。反射型偏光板１２は、後述する照明装置５１側から入射した光のうち第１の振動方向の偏光光を透過させると共に、第１の振動方向に交差又は略直交する第２の振動方向の偏光光を液晶表示パネル５０側に向けて反射する。例えば、反射型偏光板１２としては、いわゆるワイヤーグリッド偏光板や、ＤＢＥＦ又はＲＤＦ（住友スリーエム株式会社の商品名）などが挙げられる。また、反射型偏光板１２の透過軸と吸収型偏光板１３の透過軸は略平行である。このため、第２の振動方向の偏光光は、反射型偏光板１２により液晶表示パネル５０側に向けて反射される一方、吸収型偏光板１３により吸収される。
【００３８】
照明装置５１は、液晶表示パネル５０の観察側とは逆側に配置され、液晶表示パネル５０に向けて光を照射する。具体的に、照明装置５１は、少なくとも１つ（本例では複数）の光源５１ａと、導光板５１ｂと、を備える。各光源５１ａは、導光板５１ｂの一つの側面に対向する位置に配置されている。光源５１ａとしては、例えば発光ダイオード（Light Emitting Diode）が挙げられる。導光板５１ｂは、透明素材にて形成され、各光源５１ａから出射された光Ｌを液晶表示パネル５０側に向けて導く機能を有する。なお、本発明では、照明装置５１は、いわゆる直下型の照明装置であっても構わない。
【００３９】
画像信号供給手段５２は、液晶表示パネル５０に設けられる上記した駆動回路を通じて各表示画素５に対し表示内容に応じた画像信号ｓ１を供給すると共に、後述する階調値比較判定手段５５に対しても当該画像信号ｓ１を供給する。
【００４０】
画像変換手段５３は、各光センサ６から得られる電気信号ｓ２を、当該電気信号ｓ２の大きさに応じた階調値を有する受光画像に変換し、その変換した受光画像に係る信号を反転画像生成手段５４に出力する。
【００４１】
反転画像生成手段５４は、画像変換手段５３より得られる受光画像の階調値を白黒反転して反転受光画像を生成し、その生成した反転受光画像に係る信号を階調値比較判定手段５５に出力する。
【００４２】
階調値比較判定手段５５は、各光センサ６に係る反転受光画像の階調値が、当該各光センサ６に対応付けて配置された各表示画素５に係る表示画像の階調値に対して、基準の範囲内にあるか否かを比較して判定し、その判定結果に係る信号を接触位置特定手段５６に出力する。ここで、基準の範囲は、反転受光画像と表示画像との一致度合いに応じて適宜決定される。即ち、反転受光画像と表示画像との完全一致を求める場合には、基準の範囲は０に設定される。一方、反転受光画像が表示画像に対してある程度一致していればよいのであれば、基準の範囲は、表示画像の階調値に対して一桁程度の範囲となるように設定することができる。
【００４３】
接触位置特定手段５６は、階調値比較判定手段５５により反転受光画像の階調値が上記基準の範囲内にないと判定された場合に、当該判定の対象となった表示画素５の位置を、ユーザがペンや指等の指示物体７０を用いて指示した表示領域Ｖにおける接触位置と特定する。
【００４４】
以上の構成を有するセンサ付液晶装置１００では、まず、各光源５１ａから出射された光Ｌは、図１の破線矢印に沿って進行する。具体的には、各光源５１ａから出射された光Ｌは、導光板５１ｂ内を伝播して吸収型偏光板１１に向けて出射される。そして、その出射された光Ｌは、液晶表示パネル５０を透過して、反射型偏光板１２に向けて進行する。そして、反射型偏光板１２は、入射された光Ｌのうち第１の振動方向の偏光光を透過させると共に、第１の振動方向に交差又は略直交する第２の振動方向の偏光光を反射光Ｌｒとして液晶表示パネル５０側に向けて反射する。また、反射型偏光板１２を透過した第１の振動方向の偏光光Ｌは、吸収型偏光板１３を透過する。この際、液晶表示パネル５０において液晶層４の液晶分子の配向が制御されて、所望の表示画像が観察者によって視認される。
【００４５】
（指示物体による表示領域における接触位置の特定方法）
次に、ユーザが指やペンなどの指示物体７０を用いて、表示領域Ｖにおける任意の位置を指示（接触）した場合に、その指示位置（接触位置）を特定する方法について説明する。
【００４６】
まず、画像信号供給手段５２は、液晶表示パネル５０の駆動回路（図示略）を通じて各表示画素５に対し表示内容に応じた階調値に係る画像信号ｓ１を供給する。例えば、表示領域Ｖに表示される表示内容としては、図２（ａ）に示すように、白を背景として「ＡＢＣ」の黒の文字よりなる表示内容とすることができる。これにより、表示領域Ｖに対して、表示画像、例えば白を背景とした「ＡＢＣ」の黒の文字よりなる表示画像が表示される。また、このとき、画像信号供給手段５２は、階調値比較判定手段５５に対しても、上記した表示内容に応じた階調値に係る画像信号ｓ１を供給する。
【００４７】
また、表示領域Ｖに表示画像が表示されている間、反射型偏光板１２により反射された反射光Ｌｒは液晶表示パネル５０に向けて進行して、表示領域Ｖに表示された表示画像、例えば白を背景とした「ＡＢＣ」の黒の文字よりなる表示画像を透過する。これにより、各光センサ６は、その表示画像を透過する光を受光して、その受光量に応じた大きさの電気信号ｓ２に変換すると共に、その変換した電気信号ｓ２を画像変換手段５３に対し出力する。
【００４８】
次に、画像変換手段５３は、各光センサ６から得られる電気信号ｓ２を、当該電気信号ｓ２の大きさに応じた階調値を有する受光画像に変換する。ここで、受光画像は、図２（ｂ）に示すように、表示画像を白黒反転した画像、即ち、上記の例では黒を背景とした「ＡＢＣ」の白の文字よりなる画像となる。これは、反射型偏光板１２が、表示画像を表示させる第１の振動方向の偏光光と交差又は略直交する第２の振動方向の偏光光を液晶表示パネル５０側に向けて反射するためである。そして、画像変換手段５３は、その変換した受光画像に係る信号を反転画像生成手段５４に出力する。
【００４９】
次に、反転画像生成手段５４は、画像変換手段５３より得られる受光画像の階調値を白黒反転して反転受光画像を生成する。ここで、反転受光画像は、表示画像と同一の画像、即ち、上記の例では、図２（ａ）に示す白を背景とした「ＡＢＣ」の黒の文字よりなる画像となる。そして、反転画像生成手段５４は、その生成した反転受光画像に係る信号を階調値比較判定手段５５に出力する。
【００５０】
次に、階調値比較判定手段５５は、画像信号供給手段５２を通じて表示画像に係る画像信号ｓ１を受け取ると共に、反転画像生成手段５４を通じて反転受光画像に係る信号を受け取ると、その後、各光センサ６に係る反転受光画像の階調値が、当該各光センサ６に対応付けて配置された各表示画素５に係る表示画像の階調値に対して、上記した基準の範囲内にあるか否かを判定する。
【００５１】
ここで、上記の例では、反転受光画像及び表示画像は共に、白を背景とした「ＡＢＣ」の黒の文字よりなる画像である。このため、この例では、階調値比較判定手段５５は、反転受光画像の階調値が、当該各光センサ６に対応付けて配置された各表示画素５に係る表示画像の階調値に対して、基準の範囲内にあるものと判定する。
【００５２】
一方、このとき、ユーザが指示物体７０を用いて、表示領域Ｖにおける任意の位置を指示（接触、押圧又は加圧、以下同様の意味で用いる）した場合、その任意の位置（以下、「指示位置」と呼ぶ、例えば図１（ｂ）の領域Ａ１）では液晶層４に配向乱れ（液晶の配向異常）が生じる。このため、その指示位置では表示画像の明るさが変化し、これに伴って、その指示位置にある各光センサ６が受光する光量も変化する。よって、その指示位置に対応する、階調値比較判定手段５５より得られる反転受光画像の階調値も変化することになる。
【００５３】
ここで、その指示位置に対応する、各光センサ６に係る反転受光画像の階調値が、当該各光センサ６に対応付けて配置された各表示画素５に係る表示画像の階調値に対して基準の範囲から逸脱しているものとする。この場合、階調値比較判定手段５５は、その指示位置に対応する、各光センサ６に係る反転受光画像の階調値が、当該各光センサ６に対応付けて配置された各表示画素５に係る表示画像の階調値に対して基準の範囲内にないものと判定する。
【００５４】
次に、接触位置特定手段５６は、反転受光画像の階調値が上記基準の範囲内にないと判定された場合に、当該判定の対象となった表示画素５の位置を、指示物体７０による表示領域Ｖにおける接触位置（指示位置）と特定する。
【００５５】
以上のように、このセンサ付液晶装置１００では、ユーザが指示物体７０を用いて表示領域Ｖの任意の位置を指示した場合、その指示位置において液晶の配向異常が生じる。この場合、その指示位置に生じる液晶の配向異常によって、その指示位置の光センサ６が受け取る光量が大きく変化するため、反転受光画像と表示画像とが一致しなくなる。これによって、指示物体７０による表示領域Ｖにおける指示位置を精度よく特定することができる。
【００５６】
即ち、このセンサ付液晶装置１００では、照明装置５１からの照明光Ｌは、各表示画素５において画像信号ｓ１に応じて変調され、そして反射型偏光板１２によって反射され後、光センサ６で検出されることとなる。そして、光センサ６で受光した光に基づく電気信号ｓ２から受光画像が生成される。反射型偏光板１２の光出射側に指等の指示物体７０がある場合には、反射型偏光板１２を透過した光も指示物体７０にて反射されて光センサ６で受光されることとなる。つまり、指示物体７０等がない場合と、ある場合とでは、生成される受光画像が異なる。したがって、画像信号ｓ１によって生成される表示画像と、受光画像とを比較することで、表示領域Ｖにおいて指示物体７０等により指示された位置が特定できる。
【００５７】
[第２実施形態]
次に、図３を参照して、本発明の第２実施形態に係る、センサ付表示装置の一例としてのセンサ付液晶装置１００ａの構成について説明する。図３は、第２実施形態に係るセンサ付液晶装置１００ａの構成を示す概略断面図及びブロック図を示す。
【００５８】
まず、第２実施形態の概要について説明する。
【００５９】
各光センサ６は、反射型偏光板１２から反射される反射光Ｌｒに加え、環境光も受光する。このため、各光センサ６は、反射光Ｌｒが表示領域Ｖに表示された表示画像を透過する際に得られる受光量と、環境光が当該表示画像を透過する際に得られる受光量とを足し合わせた受光量に応じた大きさの電気信号を画像変換手段５３に出力することになる。
【００６０】
そのため、画像変換手段５３により生成される受光画像は、画像信号供給手段５２等を通じて得られる表示画像に対して、環境光の受光量に対応する画像が付加されたものとなる。これにより、反転受光画像も、環境光の受光量に対応する画像が付加されたものとなる。従って、環境光が極端に明るかったり、暗かったりした場合には、階調値比較判定手段５５は、反転受光画像と表示画像との比較判定を正しく行えないことになる。
【００６１】
そこで、第２実施形態では、環境光の明るさの変化を考慮して、その環境光の明るさの変化に左右されることなく、指示物体７０による表示領域Ｖにおける接触位置（指示位置）を精度良く特定する構成とする。
【００６２】
具体的に、第２実施形態に係るセンサ付液晶装置１００ａでは、第１実施形態に係るセンサ付液晶装置１００と比較して、照度計測手段（照度検出センサ）５７、照度レベル判定手段５８、階調値レベル調整手段５９を更に備えている点が異なり、それ以外は同様である。よって、以下では、第１実施形態と同一の要素については同一の符号を付し、その説明は適宜省略する。
【００６３】
照度計測手段５７は、環境光の照度を計測し、その計測した照度に係る信号を照度レベル判定手段５８に出力する。ここで、照度計測手段５７としては、光センサ６や、センサ付液晶装置１００ａに設けられる他の光センサなどが挙げられる。
【００６４】
照度レベル判定手段５８は、照度計測手段５７より得られる環境光の照度が基準照度値より大きいか否かを判定し、その判定結果に係る信号を階調値レベル調整手段５９に出力する。ここで、基準照度値は、反転受光画像と表示画像とを比較可能な照度値とされ、実験やシミュレーションなどによって算出される。
【００６５】
階調値レベル調整手段５９は、照度レベル判定手段５８において環境光の照度が基準照度値より大きいと判定された場合には、反転画像生成手段５４より得られる反転受光画像の階調値のレベルを、例えば環境光の照度と基準照度値との差分の絶対値に対応する階調値の分だけ下げる。これにより、反転受光画像の階調値が、表示画像の階調値と比較することが可能なレベルに調整される。一方、階調値レベル調整手段５９は、環境光の照度が基準照度値より小さいと判定された場合には、反転画像生成手段５４より得られる反転受光画像の階調値のレベルを、例えば環境光の照度と基準照度値との差分の絶対値に対応する階調値の分だけ上げる。これにより、反転受光画像の階調値が、表示画像の階調値と比較することが可能なレベルに調整される。そして、階調値レベル調整手段５９は、調整した反転受光画像の階調値に係る信号を接触位置特定手段５６に出力する。なお、階調値レベル調整手段５９は、照度レベル判定手段５８において環境光の照度が基準照度値と同一であると判定された場合には、特段の処理は行わない。
【００６６】
次に、階調値比較判定手段５５は、階調値レベル調整手段５９より得られる調整された各光センサ６に係る反転受光画像の階調値が、当該各光センサ６に対応付けて配置された表示画素５に係る表示画像の階調値に対して、基準の範囲内にあるか否かを比較して判定する。
【００６７】
次に、接触位置特定手段５６は、反転受光画像の階調値が上記基準の範囲内にないと判定された場合に、当該判定の対象となった表示画素５の位置を、指示物体７０による表示領域Ｖにおける接触位置（指示位置）と特定する。
【００６８】
以上の構成によれば、環境光を検出する照度検出センサ５７を備え、検出された環境光の強度に応じて上記の受光画像を補正するので、環境光の明るさの変化に左右されることなく、反転受光画像と表示用画素との比較を精度良く行うことができ、指示物体７０による表示領域Ｖにおける指示位置を精度よく特定することができる。
【００６９】
[第３実施形態]
次に、図４を参照して、本発明の第３実施形態に係る、センサ付表示装置の一例としてのセンサ付液晶装置１００ｂの構成について説明する。図４は、第３実施形態に係るセンサ付液晶装置１００ｂの構成を示す概略断面図及びブロック図を示す。
【００７０】
まず、第３実施形態の概要を説明する。
【００７１】
上記したセンサ付液晶装置において、表示領域Ｖの上方又は上に、光センサ６を遮光する遮光物などがある場合には、照明装置５１から出射される光が遮光物に当たって光センサ６側に反射し、或いは遮光物の存在する領域だけ環境光が遮光されるため、各光センサ６を通じて、画像変換手段５３により、その遮光物を含む受光画像が取得される。そのため、接触位置特定手段５６において、遮光物を含む反転受光画像と表示画像とが一致しなくなるため、ユーザが実際に指示物体７０によって表示領域Ｖの任意の位置を指示していないにも拘らず、その遮光物が存在する位置を表示領域Ｖにおける指示位置と誤認定してしまう虞がある。
【００７２】
そこで、第３実施形態では、遮光物等による指示位置の誤認定を防止するため、指示物体７０の指示により表示領域Ｖに発生する液晶の配向異常に係る画像の基準パターンを予め記憶しておき、その基準パターンと、各光センサ６等を通じて得られる反転受光画像のパターンとのマッチング処理を行い、それらの画像のパターンが一致した場合にのみ、指示物体７０による表示領域Ｖにおける指示位置と特定する構成とする。
【００７３】
具体的に、第３実施形態に係るセンサ付液晶装置１００ｂは、第１実施形態に係るセンサ付液晶装置１００と比較して、主に、記憶手段６０及びパターン照合手段６１を更に備えている点が異なり、それ以外は同様である。よって、以下では、第１実施形態と同一の要素については同一の符号を付し、その説明は適宜省略する。
【００７４】
記憶手段６０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリであり、ユーザによる指示物体７０を通じた表示領域Ｖへの接触により生じる液晶の配向異常のパターンを、液晶表示パネル５０の種類毎に複数の基準パターン６０ａとして記憶する。ここで、液晶表示パネル５０の種類としては、例えば、ＴＮ（Twisted Nematic）、ＶＡ（Vertical Alignment）、ＩＰＳ（In-Plane-Switching）などの表示モード、ノーマリホワイトやノーマリブラックなどの表示方式などが挙げられる。
【００７５】
また、基準パターン６０ａは、ユーザが指示物体７０を用いて表示領域Ｖの位置を接触した場合に、液晶表示パネル５０の各種類に応じて形成される、液晶の配向異常の平面形状（例えば、丸、十字、多角形など）である。ここで、液晶表示パネル５０の種類毎にどのような基準パターン６０ａになるかについては、予め実験等などによって求めることができる。
【００７６】
パターン照合手段６１は、階調値比較判定手段５５により反転受光画像の階調値が基準の範囲内にないと判定された場合に、当該判定の対象となった表示画素５の領域に基づいて得られる液晶の配向異常のパターン（指示物体７０による表示領域Ｖへの接触により形成される液晶の配向異常のパターン）と、記憶手段６０から得られる複数の基準パターン６０ａとを照合して、得られたパターンが複数の基準パターン６０ａの何れかと略一致するか否かを判定する。ここで、略一致するか否かの判定は、周知の画像処理方法を用いて行う。そして、パターン照合手段６１は、その判定結果に係る信号を接触位置特定手段５６に出力する。
【００７７】
次に、接触位置特定手段５６は、パターン照合手段６１により、得られたパターンが複数の基準パターン６０ａの何れかと略一致すると判定された場合に、当該パターンに対応する表示画素５の位置を、指示物体７０による表示領域Ｖにおける接触位置と特定する。
【００７８】
以上の構成によれば、センサ付液晶装置１００ｂにおける表示領域Ｖの上方又は上に、光センサ６を遮光する遮光物などがあった場合でも、その遮光物が存在する位置を、指示物体７０による表示領域Ｖにおける指示位置と誤認定してしまうことを防止できる。その結果、ユーザによる指示物体７０を用いた表示領域Ｖにおける指示位置を精度よく特定することができる。
【００７９】
なお、本発明では、第３実施形態に対して、さらに上記した第２実施形態に係る環境光の明るさ変化の影響を除去することが可能な構成を適用しても構わない。これにより、環境光の明るさが変化した場合であっても、反転受光画像と表示用画素との比較を正確に行うことができ、ユーザによる指示物体７０を用いた表示領域Ｖにおける指示位置を精度よく特定することができる。
【００８０】
[適用例１]
本発明は、表示パネルの一例として、少なくとも２つの安定状態を持つ液晶層を有するメモリ性液晶表示パネルに対して適用することができる。例えば、この種のメモリ性液晶表示パネルとしては、ＢｉＮｅｍ（Bistable Nematic：Nemoptic社の登録商標）表示技術を用いたものが知られている。
【００８１】
かかるメモリ性液晶表示パネルは、一度表示を行わせた後は、各表示画素に電圧を印加しなくても所定の表示を保持し続ける特性（メモリ特性）を有する。よって、画像を表示させた後は、表示画素等に電源供給をしなくてよいことから、消費電力を低減することができるといった利点がある。
【００８２】
一方で、このような特性を有するために、ユーザが指示物体７０を用いて表示領域Ｖの任意の位置を指示して、その指示位置に液晶の配向異常を発生させたとしても、画像信号供給手段側はそのことは分からない。よって、その指示位置では、その液晶の配向異常に起因して正しい表示がされなくなってしまうといった欠点がある。
【００８３】
この点、このようなメモリ性液晶表示パネルに対して、上記した本発明を適用すれば、そのような欠点を解決できる。即ち、本発明によれば、上記したように、表示領域Ｖにおける指示物体７０による指示位置に係る表示画素が特定されるので、その表示画素に対して、画像信号供給手段５２を通じて元の表示内容に応じた画像信号ｓ１を供給してやれば、その指示位置において表示内容を復元することが可能となる。
【００８４】
[適用例２]
一般的に、液晶装置は、カラーフィルタ層、その他の要素を積層して構成され、各要素の透過率等は均一でないため、表示画面の明るさも面内で均一になってはいない。
【００８５】
そこで、本発明では、例えば以下の処理を行うことにより、表示領域Ｖの面内で均一な明るさを有する表示画像を得ることが可能である。
【００８６】
まず、センサ付液晶装置１００、１００ａ又は１００ｂ（以下、代表して「センサ付液晶装置１０００」と称する）において、照明装置５１を消灯させる（処理１）。次に、センサ付液晶装置１０００の観察側の面に対して、外部光源を用いて均一な面状の光を照射する。次に、各光センサ６の感度調整を行う（処理２）。具体的には、このとき、各光センサ６から得られる受光量に応じた電気信号の大きさが全て同一となるように、周知の方法を用いて補正をかける。次に、外部光源を消灯すると共に照明装置５１を点灯させて、全ての表示画素において白表示又は黒表示させる（処理３）。ここで、全ての表示画素が白表示（又は黒表示）ならば、反射型偏光板１２からの反射光Ｌｒにより各光センサ６等を通じて得られる受光画像は黒表示（又は白表示）である。
【００８７】
そうすると、各光センサ６毎に、所定の階調値を有する受光画像が得られるので、これを基にして、液晶表示パネル５０や照明装置５１にフィードバックをかけることにより（処理４）、表示領域Ｖの面内で均一な明るさを有する表示画像を得ることが可能となる。
【００８８】
かかるフィードバックの一例としては、階調値比較判定手段５５における各反転受光画像と各表示画像との比較において、全ての表示画素５のうち、階調値の異なる表示画素があった場合、その表示画素を特定して、当該表示画素に対して画像信号供給手段を通じて、全ての表示画素５の階調値と同一の階調値を有する画像信号を供給する、或いは、照明装置の輝度の制御を行う、ことなどが挙げられる。
【００８９】
なお、センサ付液晶装置１０００に対して、上記した初期キャリブレーションを実施した後は、ユーザが、照明装置５１における光源５１ａの経時劣化等に合わせて、処理３以降の処理を実施することにより、表示領域Ｖの面内で均一な明るさを有する表示画像を維持し続けることが可能となる。
【００９０】
[電子機器]
次に、上記したセンサ付液晶装置１０００を備える電子機器の具体例について図５を参照して説明する。
【００９１】
まず、本発明に係るセンサ付液晶装置１０００を、可搬型のパーソナルコンピュータ（いわゆるノート型パソコン）の表示部に適用した例について説明する。図５（ａ）は、このパーソナルコンピュータの構成を示す斜視図である。同図に示すように、パーソナルコンピュータ７１０は、キーボード７１１を備えた本体部７１２と、本発明に係るセンサ付液晶装置１０００を適用した表示部７１３とを備えている。
【００９２】
続いて、本発明に係るセンサ付液晶装置１０００を、携帯電話機の表示部に適用した例について説明する。図５（ｂ）は、この携帯電話機の構成を示す斜視図である。同図に示すように、携帯電話機７２０は、複数の操作ボタン７２１のほか、受話口７２２、送話口７２３とともに、本発明に係るセンサ付液晶装置１０００を適用した表示部７２４を備える。
【００９３】
なお、本発明に係るセンサ付液晶装置１０００を適用可能な電子機器としては、図５（ａ）に示したパーソナルコンピュータや図５（ｂ）に示した携帯電話機の他にも、液晶テレビ、ビューファインダ型・モニタ直視型のビデオテープレコーダ、カーナビゲーション装置、ページャ、電子手帳、電卓、ワードプロセッサ、ワークステーション、テレビ電話、ＰＯＳ端末、ディジタルスチルカメラなどが挙げられる。
【図面の簡単な説明】
【００９４】
【図１】本発明の第１実施形態に係るセンサ付液晶装置の構成図。
【図２】本発明による表示画像と受光画像との比較を示す図。
【図３】第２実施形態に係るセンサ付液晶装置の構成図。
【図４】第３実施形態に係るセンサ付液晶装置の構成図。
【図５】本発明のセンサ付液晶装置を備える電子機器の斜視図。
【符号の説明】
【００９５】
１  アレイ基板、  ２  対向基板、  ４  液晶層、  ５  表示画素、  ６  光センサ、  １１、１３  吸収型偏光板、  １２  反射型偏光板（反射偏向板）、  ５０  液晶表示パネル（表示パネル）、  ５１  照明装置、  ５２  画像信号供給手段、  ５３  画像変換手段、  ５４  反転画像生成手段、  ５５  階調値比較判定手段、  ５６  接触位置特定手段、  ５７  照度計測手段、  ５８  照度レベル判定手段、  ５９  階調値レベル調整手段、  ６０  記憶手段、  ６０ａ  基準パターン、  ６１  パターン照合手段、  ７０  指示物体、  １００、１００ａ、１００ｂ  センサ付液晶装置（センサ付表示装置）
【図１】
2010002445.tif 000003
【図２】
2010002445.tif 000004
【図３】
2010002445.tif 000005
【図４】
2010002445.tif 000006
【図５】
2010002445.tif 000007