(57)【特許請求の範囲】
【請求項１】
表示領域を有する表示装置において、
前記表示領域内に配置された画素および照度センサと、
前記表示領域に画面表示する映像信号の１フレーム分を保存するフレームバッファと、
前記表示領域内の画素に対応付けて、当該画素自身による内部発光照度を予め保存しておくテーブルと、
前記照度センサにより検出された照度値から当該照度センサ周辺の外光のみの照度値を算出するセンサ出力補正演算部とを備え、
前記センサ出力補正演算部は、
前記フレームバッファに保存されたフレームから画素番地および画素値を読み出し、前記テーブルから、当該読み出した画素番地と画素値に対応する内部発光照度を取得するとともに、
前記照度センサにより検出された照度値を取得して、
当該取得した照度値から、前記テーブルから取得した内部発光照度を減算することにより、前記照度センサ周辺の外光のみの照度値を算出する
ことを特徴とする表示装置。
【請求項２】
前記センサ出力補正演算部による前記照度センサからの照度値の取得、および、前記照度センサ周辺の外光のみの照度値の算出は、前記表示領域に映像信号が表示されないブランキング期間に実施される
ことを特徴とする請求項１記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ディスプレイの表示領域内に照度センサを配置した表示装置に関するものである。
【背景技術】
【０００２】
近年、照度センサをディスプレイの画面表示領域（画素配置エリア）に配置する技術が提案されている。例えば、特許文献１には、画素回路内にフォトセンサを配置し、電気的にノイズを低減する回路が開示されている。また、特許文献２には、フォトセンサと発光画素を密接して配置したエリアセンサが開示されている。また、特許文献３には、画素エリア内に照度センサを形成する技術が開示されている。【０００３】
これらの特許文献１〜３では、照度センサは液晶画素(ＴＦＴ基板上)配列内に配置される。これによりＴＦＴ形成と同時にセンサを形成でき、また各画素への画像信号配線とともにセンサ信号の配線を行うことができる。
また、例えば特許文献４には、画素エリア内照度センサをタッチパネルに利用する技術として、画素ごとにフォトセンサを設けたタッチパネル型表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１０／０３８５１２号
【特許文献２】特開２００１−２９２２７６号公報
【特許文献３】特開２００６−２５１８０６号公報
【特許文献４】特開２０１０−１０８４８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１〜４に示すような従来技術では、これらの技術でディスプレイ外部からの入射光を測定する場合、ディスプレイ自身の発光による内光（ディスプレイ内のセンサ周辺の画素からの光）も同時にセンサに入ってしまい、センサ感度を高くすると、表示している内容によって測定結果が変動してしまう、という課題があった。そのためディスプレイ画面を点灯した状態では、画面内ではない暗所に設置された照度センサのように極めて細かい入射光の変化を測定することは不可能であった。【０００６】
この発明は、上記のような課題を解決するためになされたものであり、ディスプレイの表示領域内に照度センサを配置する構成において、ディスプレイ自身の発光による内光を考慮して、ディスプレイに届く外部からの光のみの量を正確に測定することができる表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、この発明は、表示領域を有する表示装置において、前記表示領域内に配置された画素および照度センサと、前記表示領域に画面表示する映像信号の１フレーム分を保存するフレームバッファと、前記表示領域内の画素に対応付けて、当該画素自身による内部発光照度を予め保存しておくテーブルと、前記照度センサにより検出された照度値から当該照度センサ周辺の外光のみの照度値を算出するセンサ出力補正演算部とを備え、前記センサ出力補正演算部は、前記フレームバッファに保存されたフレームから画素番地および画素値を読み出し、前記テーブルから、当該読み出した画素番地と画素値に対応する内部発光照度を取得するとともに、前記照度センサにより検出された照度値を取得して、当該取得した照度値から、前記テーブルから取得した内部発光照度を減算することにより、前記照度センサ周辺の外光のみの照度値を算出することを特徴とする。
【発明の効果】
【０００８】
この発明の表示装置によれば、ディスプレイの表示領域内に照度センサを配置する構成において、ディスプレイ自身の発光による内光を考慮した上で、ディスプレイに届く外部からの光のみを正確に測定することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１における表示装置の全体構成図である。
【図２】演算処理部での内部処理について説明するブロック図である。
【図３】表示フレームと各処理のタイミングを示す説明図である。
【図４】表示領域内の画素Ｐと照度センサＳの配置の一例を示す図である。
【図５】演算処理部における処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１における表示装置の全体構成図である。この表示装置１は、表示領域（画素配置エリア）内に照度センサが配置された液晶ディスプレイであって、内部に照度センサを有していない通常の表示装置と同様に、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）モジュール１０とディスプレイ基板２０により構成されている。
【００１１】
ＬＣＤモジュール１０は、表示領域１１内に照度センサＳ（図１においては図示せず、図４参照）が配置されており、組み込まれたセンサドライバ１２をセンサコントローラ１３により制御することで、表示領域１１の周辺照度を取得することができるものである。なお、表示領域内に照度センサを形成する方法については、例えば特許文献１，２等に開示されているとおり公知の技術であるため、ここでは説明を省略する。
そして、センサドライバ１２を制御することにより照度センサＳから取得した周辺照度はセンサＡＤＣ（Analog Digital Converter）１４でデジタル値に変換され、センサ出力結果としてディスプレイ基板２０に接続される。この際、センサ出力結果の専用線は、通常の液晶モジュールと同様の映像信号接続線（多くの場合ＦＰＣ（Flexible Printed Circuits））と一緒にディスプレイ基板２０へと配線される。したがって、ディスプレイ基板２０とＬＣＤモジュール１０の接続には、通常の映像信号線に加えてセンサ出力結果の専用線が含まれる。
【００１２】
ディスプレイ基板２０上には、ＬＣＤモジュール１０へ映像信号と同期信号を送信するＬＣＤコントローラ２１と、そのＬＣＤコントローラ２１の前段で各種映像処理や演算等のセンサ出力処理を行う演算処理部２２、その演算処理部２２に映像信号を送り込む映像レシーバ２３、および、マイコン２４などが含まれている。なお、ＬＣＤコントローラ２１、演算処理部２２、映像レシーバ２３は、それぞれが個別のＩＣにより構成されていてもよいし、ＬＣＤコントローラ２１および演算処理部２２が１つのＩＣとして構成されていてもよいし、すべてを１つのＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）で処理するようにしてもよい。また、マイコン２４が、各種映像ラインのＩＣを制御するようにしてもよい。なお、図１に示す破線は、マイコン２４からの制御信号線を示している。
【００１３】
映像レシーバ２３に供給される映像ソースは、ディスプレイ基板２０の外部から供給されるものであり、デジタル／アナログ様々なフォーマットが考えられる。また、映像ソースを供給する外部機器としては、チューナー、外部記憶装置、または別の映像機器からの信号入力などが考えられる。
映像レシーバ２３は、供給される映像ソースのフォーマットに合わせたものであり、ディスプレイ基板２０上に配置され、ディスプレイ基板２０での映像処理に適した映像形式への変換を行う。変換された映像・制御信号は、ディスプレイ基板２０上の演算処理部２２やＬＣＤコントローラ２１に送られ、ＬＣＤモジュール１０で表示される。なお、映像変換や各種映像処理はＭＰＵ（Micro Processing Unit）やＤＳＰ（Digital Signal Processer）などを使ってソフトウェアで処理することも可能である。
【００１４】
次に、映像レシーバ２３からの出力と、照度センサＳからのセンサ出力の処理について説明する。図２は、演算処理部２２での内部処理について説明するブロック図である。
図２に示すように、演算処理部２２には内部的に、映像処理部３１、フレームバッファ３２、センサ出力補正演算部３３およびＬＵＴ（Look Up Table）３４が含まれている。なお、フレームバッファ３２やＬＵＴ３４は、例えばＤＲＡＭ（Dynamic Random Access Memory）やフラッシュメモリなどの外部記憶装置に備えるようにしてもよいが、演算処理部２２と同じＩＣに含めるようにした方が処理が速い。
【００１５】
映像処理部３１には、映像レシーバ２３で変換された映像信号が入力される。一般的にはＲＧＢ各８ビットの映像と垂直・水平同期信号が入る。信号本数を減らした高速シリアルバスで映像と同期信号の伝送を行うケースもある。映像処理部３１では、入力された映像をその表示デバイスに好ましい形に補正を行う。ガンマ補正・コントラスト調整・色度調整・応答速度補正などが一般的である。なお、映像レシーバ２３内部やＬＣＤコントローラ２１内部にこの補正機能を取り込むようにしてもよい。
【００１６】
映像レシーバ２３からの入力映像は映像処理部３１に伝送されるとともにフレームバッファ３２にも伝送されて格納される。このフレームバッファ３２では、最大１フレーム分の映像を保存している。保存する大きさはセンサ配置やセンサ補正の範囲によって変わるが、最大１フレーム分となる。このようにフレームバッファ３２に１フレーム分の映像を保存するのは、補正演算の際に使用するためである。すなわち、照度センサＳの取得値は映像レシーバ２３からの映像信号より１フレーム分過去のフレームを表示しているときに取得された値であるため、補正演算の際に同じフレームについて減算を行うことができるよう、１フレーム分過去のフレームを保存しておくのである。
【００１７】
照度センサＳの出力値は、センサ出力補正演算部３３に入力される。また、センサ出力補正演算部３３には、フレームバッファ３２に蓄えられた映像レシーバ２３からの映像信号も入力される。ここで入力される映像レシーバ２３からの映像信号は、映像処理部３１に入力されるフレーム（ｆｎ＋１）より１フレーム前のフレーム（ｆｎ）になる。
センサ出力補正演算部３３では、照度センサＳからの生の出力値（演算部への入力値）から液晶ディスプレイ（表示領域）自身の画素が発光した分の内部発光照度を減算する。この減算は事前測定によって作成したＬＵＴ３４を使って行うため、そのＬＵＴ３４からの読み出し値もセンサ出力補正演算部３３に入力される。なお、この補正演算とＬＵＴ３４の作成については後述する。
【００１８】
補正演算後の出力値がセンサ出力補正演算部３３から、マイコン２４に出力される。補正演算後の出力値は、ディスプレイがどんな画像を表示していたとしてもその影響を排除したディスプレイ外部からの光のみの照度値となる。この補正演算後の出力値をいろいろな用途（バックライト輝度調整や昼／夜判定、屋外／屋内判定、指などの物体近接判定）に使うことにより、表示領域内の照度センサからの出力値そのままの値を使っていた従来とは異なり、映像を表示し続けているときの外光のみの照度を正確に取得することが可能となる。
【００１９】
次に、フレームバッファ３２を使ってセンサ出力補正演算部３３に１フレーム分遅らせた画像を入力することについて、図３を用いて説明する。図３は、表示フレームと各処理のタイミングを示す説明図である。
この図３において、ｆｎはｎ番目のフレーム、ｆｎ＋１はｎ番目の次の（ｎ＋１）番目のフレームを意味している。また、横軸は時間を表している。
【００２０】
表示フレーム有効期間では、例えば、動画像が１秒間に６０枚入ってくるとした場合に、現在、何枚目の画像が表示されているか、ということを示している。この図では、最初のタイミングでｎ番目のｆｎ、次のタイミングで（ｎ＋１）番目のｆｎ＋１、さらに次のタイミングで（ｎ＋２）番目のｆｎ＋２が表示される状態を示している。ここで、信号レベルがＨＩＧＨの時が、その１枚の画像を表示していることを示しており、次の画像に移る前に数ｍｍ秒間だけＬＯＷの時間（映像が表示されないブランキング期間）があることがわかる。
【００２１】
表示フレームがｎ番目のとき、その表示している最中のｎ番目の画像を、フレームバッファ３２にも蓄えていく。そのためフレームバッファ３２内には１枚前の表示フレームｆｎ−１と現在表示している表示フレームｆｎとが入り交じった状態になる。そして、ｆｎの伝送が完了してブランキング期間（映像が表示されない期間）に入ったとき、フレームバッファ３２内は完全にｆｎのみを保存している。そして表示領域にはｆｎが表示されている。この瞬間に（図中、「ｆｎ表示時の照度読み出し」と記載された位置のタイミングで）表示領域内の照度センサＳの出力値を読み出し、センサ出力補正演算部３３に引き渡す。
【００２２】
この結果、センサ出力補正演算部３３にはｆｎ表示時の照度センサＳの出力値が入力される。また、図２に示すとおり、センサ出力補正演算部３３には、フレームバッファ３２内のｆｎ映像信号の値も取り込まれる。
そして、センサ出力補正演算部３３は、ｆｎ表示時の照度センサＳからの出力値とフレームバッファ３２に蓄えられたｆｎ映像値とを使って、補正演算を行う。具体的な補正演算については後述する。
【００２３】
ここで、ブランキング期間内に補正が終了しなければ、フレームバッファ３２にｆｎ＋１が上書き開始されてしまうため、ｆｎの映像を使う処理である補正演算を継続することができなくなる。そのような場合には、フレームバッファを２つ用意すれば対処することができる。しかし、このブランキング期間内に補正を終える処理能力を持たせれば、フレームバッファを２つ用意しなくてもよい。そしてこの発明では、ブランキング期間に入ったところで照度センサＳからの出力値の読み出しを行い、補正演算もブランキング期間内に実施および終了される。
【００２４】
次に、照度センサ出力値の補正演算について説明する。
図４は、表示領域内の画素Ｐと照度センサＳの配置の一例を示す図である。破線矢印は表示領域内の画素Ｐの光が照度センサＳに届く経路（内光）を示す。すなわち、照度センサＳには、ディスプレイ外部からの光（外光）だけではなく、周辺の画素Ｐからの内光も届いてしまう。しかもこの内光は、表示している画像によって変動するものである。この発明では、表示している画像によって変動する内光の影響を取り除いて、外光の照度のみを精度よく測定することを目的としている。
【００２５】
補正演算では、照度センサＳの出力値（外光＋内光）から、内光分を減算する。内光量は、フレームバッファ３２から取り出した照度センサＳ周辺の画素値を元に計算する。周辺画素をどこまで使用するかはシステムの演算・メモリリソースによって自由に選択すればよい。図４の例は、上下左右に２画素ずつまで考慮する場合を示す。また、それぞれの画素Ｐからの内光の強度は、独立に線形であると言えるものとする。すなわち、画素番地Ｐ２−１のみが、ある画素値（通常０−２５５の間）で点灯していたときに、照度センサＳが検出した出力値（画素Ｐ２−１の照度値）をＳ（Ｐ２−１）と表すものとすると、上下左右２画素ずつまでを補正範囲（画素考慮範囲）に選んだ時の内光値は、その範囲のすべての画素の照度値を加算した値Ｓ（Ｐ２−１）＋Ｓ（Ｐ２−２）＋・・・＋Ｓ（Ｐ２−１２）＋Ｓ（Ｐ１−１）＋Ｓ（Ｐ１−２）＋Ｓ（Ｐ１−３）＋Ｓ（Ｐ１−４）となる。
【００２６】
一方、ＬＵＴ３４には、事前に測定したＳ（Ｐ１−１）〜Ｓ（Ｐ２−１２）までの値を、ＲＧＢそれぞれについて画素値０〜２５５の範囲ですべて格納しておくものとする。
センサ出力補正演算部３３は、フレームバッファ３２から取り出した各画素（画素番地）Ｐ１−１〜Ｐ２−１２と画素値（０〜２５５）をインデックスとして、ＬＵＴ３４からセンサ出力値Ｓ（Ｐ１−１）〜Ｓ（Ｐ２−１２）を取り出す。そして、システムに最適に定めた画素考慮範囲（図４の例では上下左右２画素）分の内光値をすべて加算し、その値をそのフレームにおける内光分（内部発光照度）とする。その後、元の照度センサＳの出力値（外光＋内光）から先に算出した内光分（内部発光照度）を減算することにより、外光分のみの照度を得ることができる。この処理を毎フレーム行うため、各フレームでどんな画像を表示していても、純粋な外光分のみの照度を得ることができる。
【００２７】
次に、ＬＵＴ３４の事前作成方法およびＬＵＴ参照について説明する。
まず、外光をゼロにできる暗室にて、照度センサＳの周辺画素を１つずつ順番に点灯していき、そのときのセンサ出力値を記録していく。この際、各画素ごとに０〜２５５の画素値を測る。すなわち、ここでの画素はＲＧＢそれぞれを指し、一般的にはサブピクセルと呼ぶこともあるが、その画素が赤・緑・青のいずれであるかに関わらず順番に１つずつ測定して記録する。このようにして測定した値を並べてテーブルにして、ＬＵＴ３４に格納する。例えば、画素番地Ｐ２−１が画素値１２８で点灯したとき（他は消灯）のセンサ出力値が５０だったとしたら、ＬＵＴ３４には「画素番地Ｐ２−１、画素値１２８、センサ出力値（内部発光照度）５０」を１データとして格納する。
そして、このＬＵＴ３４を参照してデータを取り出す場合には、インデックスは画素番地と画素値であり、取り出される要素はそのときのセンサ出力値（内部発光照度）である。例えば、画素番地Ｐ２−１、画素値１２８のインデックスでセンサ出力補正演算部３３がＬＵＴ３４にアクセスしてきたら、ＬＵＴ３４はセンサ出力値５０を内部発光照度として返す。
【００２８】
このＬＵＴ作成とＬＵＴ参照は、近似計算を使って簡単化することができる。上記の方法をそのまま実装する場合には、非常に大きなサイズのＬＵＴ３４になり、また、大量の参照を行わなくてはならない。そこで簡単化の方法として、例えば、内光照度はセンサと画素の距離に反比例することを利用する。照度センサＳに対して一番内側の画素Ｐ１−１〜Ｐ１−４の照度を測ったあと、それより外側の画素の分は、Ｐ１−１〜Ｐ１−４の値に距離が遠くなる分の係数を乗じて求めることにする。そうするとＬＵＴサイズを小さくできる上に、ＬＵＴ参照回数も減らすことができる。また別のアプローチとして、１つの位置の画素についての画素値０〜２５５の２５６個の照度値をすべて測定するのではなく、いくつか代表的な画素値についてのみ照度を測定して、その他は線形近似で求めることもできる。例えばある画素について、画素値０と１２８と２５５の３種類だけの照度を測っておいて、その間の照度は線形補完演算で求めることができる。この方法を用いた場合でも、ＬＵＴサイズとＬＵＴ参照回数を減らすことができる。
【００２９】
図５は、演算処理部２２における処理動作を示すフローチャートである。基本的には、図２および図３において説明した内容と同じであるが、演算処理部２２が映像入力を受け付けてからの処理フローについて、図５を参照しながら説明する。
まず、映像レシーバ２３からの映像入力を受け付けると、映像処理部３１が映像処理を行い（ステップＳＴ１）、その映像信号がＬＣＤコントローラ２１を介してＬＣＤモジュール１０に送信され、表示領域１１に画面表示される（ステップＳＴ２）。一方、映像レシーバ２３からの映像入力信号は、フレームバッファ３２に順次保存される（ステップＳＴ３）。これを、映像入力信号が続く間（ステップＳＴ４のＹＥＳの場合）、繰り返すことにより、画面表示およびフレームバッファへの保存が継続される。
【００３０】
その後、１枚のフレームの映像入力が終了してブランキング期間に入ると（ステップＳＴ４のＮＯの場合）、センサ出力補正演算部３３が、画面表示されている表示領域１１内の照度センサＳによる出力値（照度値）を読み出して取得する（ステップＳＴ５）と同時に、フレームバッファ３２に保存されているフレームから画素番地および画素値も読み出して取得する（ステップＳＴ６）。そして、ＬＵＴ３４を参照して、照度センサＳによる出力値（照度値）から画素自身による内光分（内部発光照度）を減算する補正演算を行い（ステップＳＴ７）、算出された照度値（外光分）をマイコン２４等に出力する（ステップＳＴ８）。
【００３１】
このように、表示領域内に配置された照度センサＳにより検出された出力値（照度値）から、表示領域の画素自身が発光した内光分の照度値（内部発光照度）を減算することにより、表示領域（画素）周辺の外光のみを精度よく測定することができる。そしてこれにより、例えばバックライトの調整を効率よく行うことができる。また、例えばこの表示装置をタッチパネルに適用して、表示領域内に数多くのセンサを埋め込むことにより、タッチパネルへの指等の接近や接触箇所の照度が下がる（暗くなる）ことからタッチ位置を精度よく検出することもできる。
【００３２】
以上のように、この実施の形態１によれば、ディスプレイの表示領域内に照度センサを配置する構成において、照度センサにより検出された照度値（外光＋内光）から、表示領域内の画素自身による発光分の内部発光照度を減算するようにしたので、ディスプレイ自身の発光による内光を考慮した上で、ディスプレイに届く外部からの光のみを正確に測定することができる。
【００３３】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００３４】
以上のように、この発明に係る表示装置は、バックライトの調整や、タッチパネルに適用することができる。
【符号の説明】
【００３５】
１  表示装置、１０  ＬＣＤモジュール、１１  表示領域（画素配置エリア、センサ配置エリア）、１２  センサドライバ、１３  センサコントローラ、１４  センサＡＤＣ、１５  ソースドライバ、１６  ゲートドライバ、２０  ディスプレイ基板、２１  ＬＣＤコントローラ、２２  演算処理部、２３  映像レシーバ、２４  マイコン、３１  映像処理部、３２  フレームバッファ、３３  センサ出力補正演算部、３４  ＬＵＴ、Ｐ１−１〜Ｐ１−４，Ｐ２−１〜Ｐ２−１２  画素、Ｓ  照度センサ。
【図１】
0005474264.tif 000002
【図２】
0005474264.tif 000003
【図３】
0005474264.tif 000004
【図４】
0005474264.tif 000005
【図５】
0005474264.tif 000006