(57)【要約】【課題】光入力機能付き表示装置において、簡素な画像処理により接触判定を行う。【解決手段】撮影された画像のエッジ画像からエッジ強度を算出し、そのエッジ強度に基づいて接触判定を行う。これにより、簡素な画像処理で接触判定を行うことができる。また、接触判定の基準となる閾値をエッジ強度の増加がなくなったフレームにおけるエッジ強度の３分の２とする。これにより、物体の影のかかり方や、環境光のバラツキによらず、安定して接触判定を行うことができる。【選択図】図１
2009122919.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、
撮影された画像のエッジを検出してエッジ画像とするエッジ検出部と、
前記エッジ画像における階調ヒストグラムの所定の階調の度数の和をエッジ強度として検出するエッジ強度検出部と、
前記エッジ強度が所定の閾値以上の場合には、前記物体が前記表示画面に接触したと判定する接触判定部と、
を有することを特徴とする表示装置。
【請求項２】
前記接触判定部は、前記エッジ強度が増加しなくなったフレームにおけるエッジ強度の所定の割合を前記所定の閾値として設定することを特徴とする請求項１記載の表示装置。
【請求項３】
前記所定の割合は、３分の２であることを特徴とする請求項２記載の表示装置。
【請求項４】
前記所定の割合は、照度に応じて変更することを特徴とする請求項２記載の表示装置。
【請求項５】
前記所定の割合は、前記撮影された画像の階調メジアン値または階調平均値に基づいて変更することを特徴とする請求項２記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光により表示画面から情報を入力する光入力機能を備えた表示装置に関する。
【背景技術】
【０００２】
液晶表示装置は、携帯電話やノート型コンピュータなどの携帯機器における表示装置として幅広く利用されている。
【０００３】
近年、画素内に光センサを内蔵し、表示画面に近接する物体の撮影を可能にしたものが開発されている。このような光入力機能を備えた表示装置の用途として、環境光によってできる指の影やバックライト光によってできる指の腹での反射光を読み取ることで、指の位置や接触を検知する光学式タッチパネルが提案されている（特許文献１参照）。
【特許文献１】特開２００６−２４４４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、表示画面に近接する指の位置や接触状態を検知するためには、撮影された画像にさまざまな画像処理を施す必要があり、画像処理のための回路の規模が大きくなるという問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、簡素な画像処理を用いて接触判定を行うことにある。
【課題を解決するための手段】
【０００６】
本発明に係る表示装置は、画像を表示画面に表示する表示機能および表示画面に近接した物体の画像を撮影する光入力機能を備えた表示部と、撮影された画像のエッジを検出してエッジ画像とするエッジ検出部と、エッジ画像における階調ヒストグラムの所定の階調の度数の和をエッジ強度として検出するエッジ強度検出部と、エッジ強度が所定の閾値以上の場合には、物体が表示画面に接触したと判定する接触判定部と、を有することを特徴とする。
【０００７】
本発明にあっては、物体が表示画面に近接するときに、撮影された画像における物体の輪郭をエッジとして検出できるので、撮影された画像のエッジ画像を得て、エッジ強度を算出し、そのエッジ強度が所定の閾値以上の場合には、物体が表示画面に接触したと判定することにより、簡素な画像処理アルゴリズムを用いた接触判定を行うことができる。これにより、回路規模を小さくし、低価格化、低消費電力化を図ることができる。
【０００８】
上記表示装置において、接触判定部は、エッジ強度が増加しなくなったフレームにおけるエッジ強度の所定の割合を所定の閾値として設定することを特徴とする。
【０００９】
本発明にあっては、物体が画面に接触するときには、エッジ強度が増加しないことから、エッジ強度が増加しなくなったフレームにおけるエッジ強度を基準として接触判定を行うことで、物体の影のかかり方や環境光の影響を考慮した接触判定を行うことができる。
【００１０】
上記表示装置において、所定の割合は、３分の２であることが接触判定の基準として好ましい。
【００１１】
上記表示装置において、所定の割合は、照度に応じて変更することを特徴とする。
【００１２】
本発明にあっては、照度に応じて適切な閾値を設定することが可能となる。
【００１３】
上記表示装置において、所定の割合は、撮影された画像の階調メジアン値または階調平均値に基づいて変更することを特徴とする。
【００１４】
本発明にあっては、照度に応じて撮影された画像の階調メジアン値や階調平均値は変化するので、その階調メジアン値や階調平均値を用いて適切に閾値を設定することが可能となる。
【発明の効果】
【００１５】
本発明によれば、簡素な画像処理を用いて接触判定を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面を用いて説明する。
【００１７】
図１は、本実施の形態における表示装置の構成を示す平面図である。同図に示すように、表示装置は、ガラス基板１と半導体基板２とを備える。ガラス基板１と半導体基板２とはフレキシブルプリント基板８により接続される。ここで表示装置は、例えば、ガラス基板１に対向して配置された対向基板（図示せず）と、その対向基板とガラス基板１とに挟持された液晶層（図示せず）とを備えた液晶表示装置とする。
【００１８】
ガラス基板１上には、画素部３、信号線駆動回路４、走査線駆動回路５および出力回路６が配置される。ガラス基板１上の各回路は、例えばポリシリコンＴＦＴ（Thin Film Transistor）によって形成される。
【００１９】
画素部３は、画像を表示する表示機能と、画素部３に近接した物体の画像を撮影する光入力機能とを有する。画素部３には、複数の信号線１１と複数の走査線１２とが互いに交差するように配線され、各交差部に画素３１が形成される。アナログ信号が信号線１１に印加され、画素３１に書き込まれて表示に用いられる。画素３１には、光センサ部１０が形成され、画素部３に入射する光を受光する。画素３１の構成については後述する。
【００２０】
信号線駆動回路４は、デジタル画像データを画素３１の駆動に適したアナログ信号に変換するＤ／Ａ変換回路を有し、信号線１１にそのアナログ信号を印加する。
【００２１】
走査線駆動回路５は、走査線１２を駆動し、信号線１１に印加されたアナログ信号を画素３１に書き込むタイミングを制御する。
【００２２】
出力回路６は、光センサ部１０で検出した受光量に応じた電気信号をデジタルデータに変換するＡ／Ｄ変換回路と、パラレルデータをシリアルデータに変換するＰ／Ｓ変換回路とを有し、半導体基板２に形成された回路にデータを出力する。ガラス基板１と半導体基板２とはフレキシブルプリント基板８を介して各種信号の送受信を行う。
【００２３】
半導体基板２には、表示制御および画像取り込み制御を行うロジックＩＣが実装される。このロジックＩＣは、エッジ検出回路７１、エッジ強度検出回路７２および接触判定回路７３など撮影された画像を用いて接触判定を行う回路を有する。各回路の動作については後述する。
【００２４】
図２は、画素部３の回路の構成を示す模式図である。画素部３には、複数の信号線１１と走査線１２がマトリクス状に配線される。信号線１１と走査線１２との交差部に、画素ＴＦＴ１５が配置される。画素ＴＦＴ１５に、液晶容量Ｃ１および補助容量Ｃ２が接続されて、１つの画素３１を形成する。液晶容量Ｃ１と補助容量Ｃ２の他方の端子は補助容量線１３に接続される。
【００２５】
画素３１に対してそれぞれ光センサ部１０が形成される。光センサ部１０は、画素ＴＦＴ１５などの表示素子と同一基板上に一体化して形成される。画素３１が、例えば、赤、緑、青で構成されるときなど、光センサ部１０を、それら３画素に対して１つの割合で配置してもよい。光センサ部１０は、検出した受光量に応じた大きさの電気信号をデータ線１４を介して出力する。図示していないが、光センサ部１０は、プリチャージ用スイッチ、出力切替部、撮像部、電荷蓄積部および撮像結果格納部を有する。
【００２６】
ここで、光センサ部１０の動作について説明する。まず、プリチャージ用スイッチを制御してセンサ容量などの電荷蓄積部に電荷を蓄積する。所定の露光時間の間、ＰＩＮフォトダイオードなどの撮像部が受光した入射光に応じてリーク電流が流れ、電荷蓄積部の電位が変化する。この電位に応じた信号を撮像結果格納部に一時的に格納する。出力切替部を制御して撮像結果格納部に格納された信号をデータ線１４を介して出力する。このようにして光センサ部１０が受光量に応じた大きさの電気信号を出力するので、出力回路６は、この電気信号を入力し、デジタル信号に変換して撮影画像データとして半導体基板２に形成された回路に出力する。
【００２７】
図３に、画素部３に近接した指を撮影した画像を示す。同図に示す画像では、指が近接した箇所で暗くなっていることが分かる。これは、指により環境光が遮られてできた影である。
【００２８】
次に、撮影された画像に基づいた接触判定処理について説明する。
【００２９】
まず、撮影された画像に対して、エッジ検出回路７１がエッジ処理を行う。エッジ処理は、画像中の線や縁を強調する処理であり、差分フィルタと呼ばれる。
【００３０】
図４に示した画像は、図３に対して差分フィルタのうちの８近傍ラプラシアンフィルタを適用したものである。８近傍ラプラシアンフィルタは、注目画素ｇ（ｉ，ｊ）に対して次式の計算を行う。
【数１】
2009122919.tif 000003
【００３１】
なお、エッジ処理には、４近傍ラプラシアンフィルタやＦｏｒｓｅｎフィルタなど他の差分フィルタを用いてもよい。
【００３２】
続いて、エッジ強度検出回路７２は、エッジ処理が施されたエッジ画像の階調ヒストグラムを算出する。図５は、画素部３に物体が近接していないときの階調ヒストグラムである。画素部３に物体が近接していないときは、撮影された画像に輪郭となるものが存在しないので、図５に示すように、階調が中央部に集中した階調ヒストグラムが得られる。図６は、画素部３に物体が近接したときの階調ヒストグラムである。図６によれば、物体の輪郭が薄い階調、濃い階調として現れているのが確認できる。
【００３３】
エッジ強度検出回路７２は、階調ヒストグラムのうち、所定の階調における度数の和をエッジ強度として算出する。図６に示す例では、ｍ以下およびｎ以上の階調における度数の和をエッジ強度として算出する。閾値ｍ，ｎは、事前に定めた値である。
【００３４】
続いて、接触判定回路７３は、算出されたエッジ強度に基づいて物体が画素部３に接触したか否かを判定する。図７は、物体と画素部３との距離とエッジ強度の関係を示すグラフである。同図に示すように、物体が接近するにつれてエッジ強度は増加する傾向にある。所定の閾値以上のエッジ強度が得られた場合に、物体が画素部３に接触したと判定する。
【００３５】
しかし、エッジ強度は、画素部３に対する物体の影のかかり方により１０倍〜１００倍程度値が変動するため、予め閾値を決めておくと不都合を生じる場合がある。図８は、物体と画素部３との距離とエッジ強度の関係を示す別のグラフである。エッジ強度が少なく算出される環境では、図８に示すように、物体が画素部３に接触したときにエッジ強度が閾値に達することがなく、接触判定が正しく行われない。
【００３６】
そこで、本表示装置では、直近３フレームのエッジ強度を監視し、エッジ強度の増加がなくなったフレームにおけるエッジ強度の３分の２を閾値として採用する。図９にフレーム毎に観測されるエッジ強度の例を示す。符号９１で示す各フレームでは、エッジ強度が増加している。一方、符号９２で示すフレームでは、エッジ強度が前のフレームより小さくなっているので、そのエッジ強度の３分の２を閾値として採用する。同図の破線９３は閾値を示している。
【００３７】
これは、物体が画素部３に接近するにつれてエッジ強度は増加するが、物体が画素部３に接触したときには、エッジ強度の増加がなくなることに着目したものである。このように、エッジ強度の変化に基づいて接触判定の基準となる閾値を求めることにより、物体の影のかかり方や、環境光のバラツキによらず、接触判定を行うことができる。
【００３８】
なお、閾値を定める、エッジ強度が増加しなくなったフレームにおけるエッジ強度に対する割合は、３分の２に限るものではなく、例えば、そのエッジ強度に対して３分の２より大きい値など、物体が接触したと判定できる割合で算出するものであればよい。設定された閾値は、接触判定回路７３の有する閾値レジスタに記憶される。また、一度設定された閾値は、物体が画素部３から離れたとき、つまり、エッジ強度が物体の近接前の値に戻ったときにリセットする。
【００３９】
このように、エッジ強度が閾値以上の場合に接触と判定することにより、物体が接触した瞬間のみならず、物体が接触している状態を判定することができるので、ボタンの長押しなどを検出することが可能となる。
【００４０】
また、上記のように、エッジ強度の３分の２など、予め決まった割合で閾値を設定するのではなく、例えば、環境光の照度が明るいときには割合を高く、暗いときには割合を低くするなど、照度に応じて割合を変化させて閾値を設定してもよい。
【００４１】
さらに、撮影された画像の階調メジアン値は照度に応じて異なるので、その階調メジアン値に応じて上記割合を変化させるものでもよい。もちろん、階調平均値など他の階調傾向値を用いてもよい。
【００４２】
したがって、本実施の形態によれば、撮影された画像のエッジ画像からエッジ強度を算出し、そのエッジ強度に基づいて接触判定を行うことにより、簡素な画像処理で接触判定を行うことができるので、回路規模を小さくし、低価格化、低消費電力化を図ることができる。
【００４３】
本実施の形態によれば、接触判定の基準となる閾値をエッジ強度の増加がなくなったフレームにおけるエッジ強度の３分の２とすることにより、物体の影のかかり方や、環境光のバラツキによらず、安定して接触判定を行うことができる。
【図面の簡単な説明】
【００４４】
【図１】一実施の形態における表示装置の構成を示す平面図である。
【図２】上記表示装置の画素部の回路構成を示す模式図である。
【図３】上記表示装置の画素部に近接する指を撮影した画像である。
【図４】図３の画像にエッジ処理を施して得られたエッジ画像である。
【図５】上記表示装置の画素部に物体が近接していないときに得られるエッジ画像の階調ヒストグラムである。
【図６】上記表示装置の画素部に物体が近接したときに得られるエッジ画像の階調ヒストグラムである。
【図７】表示装置と物体との距離とエッジ強度の関係を示すグラフである。
【図８】表示装置と物体との距離とエッジ強度の関係を示す別のグラフである。
【図９】フレーム毎に観測されるエッジ強度と、そのエッジ強度に基づいて求めた閾値を示すグラフである。
【符号の説明】
【００４５】
１…ガラス基板
２…半導体基板
３…画素部
３１…画素
４…信号線駆動回路
５…走査線駆動回路
６…出力回路
８…フレキシブルプリント基板
１０…光センサ部
１１…信号線
１２…走査線
１３…補助容量線
１４…データ線
１５…画素ＴＦＴ
７１…エッジ検出回路
７２…エッジ強度検出回路
７３…接触判定回路
【図１】
2009122919.tif 000004
【図２】
2009122919.tif 000005
【図５】
2009122919.tif 000006
【図６】
2009122919.tif 000007
【図７】
2009122919.tif 000008
【図８】
2009122919.tif 000009
【図９】
2009122919.tif 000010
【図３】
2009122919.tif 000011
【図４】
2009122919.tif 000012