(57)【要約】      （修正有）【課題】簡易な処理で撮像データのムラを抑制できる表示装置を提供する。【解決手段】ＬＣＤ基板１と、ＬＣＤＣ２と、ベースバンドＬＳＩ３と、カメラ４と、カメラ４の撮像データの画像処理を行う画像処理ＩＣ５、とを備え、ＬＣＤ基板１は各画素ごとに画像取込センサを有する。撮像対象物の撮像結果に含まれるムラ成分を、基準パターンの撮像結果を用いて除去するため、センサの特性ばらつき等により発生するムラの影響を受けない撮像データが得られる。【選択図】  図１
2004325961.tif 000002
【特許請求の範囲】
【請求項１】
縦横に列設される信号線及び走査線の各交点付近に形成される画素内の表示素子と、
前記表示素子のそれぞれに対応して少なくとも一個ずつ設けられ、それぞれが被写体の所定範囲の撮像を行う撮像部と、
前記撮像部の撮像結果に対応する第１の多階調データを格納する初期多階調データ格納部と、
所定の基準パターンを前記撮像部で撮像して得られる第２の多階調データを格納する基準パターン格納部と、
前記第１及び第２の多階調データに基づいて、前記第１の多階調データの表示ムラを調整した第３の多階調データを生成するムラ調整データ生成部と、を備えることを特徴とする表示装置。
【請求項２】
前記撮像部の撮像結果に対応する２値データを格納する２値データ格納部と、異なる複数の撮像条件それぞれにおける複数種類の前記２値データに基づいて、前記第１の多階調データを生成する多階調データ生成部と、を備えることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記ムラ調整データ生成部は、前記第１及び前記第２の多階調データと、各画素ごとに設定されるムラ調整のための重み付け係数と、に基づいて、前記第３の多階調データを生成することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記ムラ調整データ生成部は、
各画素ごとに、前記第２の多階調データと１画面分の前記第２の多階調データの階調平均値との差分を計算する差分計算部と、
各画素ごとに、前記第１の多階調データに応じた前記重み付け係数を計算する重み計算部と、
各画素ごとに、対応する前記重み付け係数に前記差分を乗じてムラ調整値を計算するムラ調整値計算部と、
各画素ごとに、前記第１の多階調データから前記ムラ調整値を減じて前記第３の多階調データを生成するムラ相殺部と、を有することを特徴とする請求項３に記載の表示装置。
【請求項５】
前記重み計算部は、前記第１の多階調データの階調値に応じて単調に変化する前記重み付け係数を計算することを特徴とする請求項４に記載の表示装置。
【請求項６】
前記重み計算部は、前記第１の多階調データの階調値と前記重み付け係数との相関関係を示す１次関数に基づいて、前記重み付け係数を計算することを特徴とする請求項４または５に記載の表示装置。
【請求項７】
前記重み計算部は、前記第１の多階調データの階調値と前記重み付け係数との相関関係を示す単調変化の多次関数に基づいて、前記重み付け係数を計算することを特徴とする請求項４〜６のいずれかに記載の表示装置。
【請求項８】
前記重み計算部は、中間調付近の階調値に対する前記重み係数の変化量を、中間調以外の階調値に対する前記重み係数の変化量よりも小さくすることを特徴とする請求項４〜７のいずれかに記載の表示装置。
【請求項９】
前記重み付け係数の絶対値は黒のとき最大となることを特徴とする請求項１〜８のいずれかに記載の表示装置。
【請求項１０】
前記基準パターンは、白と黒の中間色よりも黒に近い単一パターンであることを特徴とする請求項１〜９のいずれかに記載の表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像取込み機能を備えた表示装置に関する。
【０００２】
【従来の技術】
液晶表示装置は、信号線、走査線及び画素ＴＦＴが列設されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。最近の集積回路技術の進歩発展により、駆動回路の一部をアレイ基板上に形成するプロセス技術が実用化されている。
【０００３】
このようなプロセス技術の一つに、低温ポリシリコンＴＦＴ（Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）プロセス技術が注目されている。低温ポリシリコンＴＦＴプロセスを採用することにより、液晶表示装置全体を軽薄短小化することができ、携帯電話やノート型コンピュータなどの各種の携帯機器の表示装置として幅広く利用されている。
【０００４】
ところで、アレイ基板上に、画像取込みを行う密着型エリアセンサを配置した画像取込み機能を備えた表示装置が提案されている（例えば、特許文献１，２を参照）。
【０００５】
この種の画像取込み機能を備えた従来の表示装置は、各画素ごとに画像取込センサを配置し、画像取込センサでの受光量に応じた電荷をキャパシタに蓄積し、キャパシタの両端電圧を検出して画像取込みを行っている。
【０００６】
【特許文献１】
特開２００１−２９２２７６号公報
【特許文献２】
特開２００１−３３９６４０号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、低温ポリシリコンＴＦＴプロセスにより、上述したセンサを形成すると、センサの個別ばらつき等により、単一色の被写体を撮像しても、場所によって撮像データの階調値に差異が生じ、撮像データを表示させたときに表示ムラが発生する。
【０００８】
このような表示ムラを抑制する対策として、上述した特許文献２には、撮像を繰返し行って、各水平ラインごとに最適な撮像時間を設定する技術が開示されている。
【０００９】
この技術は、制御が複雑なため、画像取込に時間がかかるおそれがある。また、高性能のＣＰＵやコントローラが必要になり、コストアップの要因になる。
【００１０】
本発明は、このような点に鑑みてなされたものであり、その目的は、簡易な処理で撮像データのムラを抑制できる表示装置を提供することにある。
【００１１】
【課題を解決するための部】
上述した課題を解決するために、本発明は、縦横に列設される信号線及び走査線の各交点付近に形成される画素内の表示素子と、前記表示素子のそれぞれに対応して少なくとも一個ずつ設けられ、それぞれが被写体の所定範囲の撮像を行う撮像部と、前記撮像部の撮像結果に対応する第１の多階調データを格納する初期多階調データ格納部と、所定の基準パターンを前記撮像部で撮像して得られる第２の多階調データを格納する基準パターン格納部と、前記第１及び第２の多階調データに基づいて、前記第１の多階調データの表示ムラを調整した第３の多階調データを生成するムラ調整データ生成部と、を備える。
【００１２】
【発明の実施の形態】
以下、本発明に係る表示装置について、図面を参照しながら具体的に説明する。
【００１３】
図１は本発明に係る表示装置の全体構成を示すブロック図であり、カメラ付き携帯電話の表示装置の構成を示している。図１の表示装置は、画素ＴＦＴが列設されるＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）基板１と、ＬＣＤ基板１上に実装される液晶ドライバＩＣ（以下、ＬＣＤＣ）２と、ベースバンドＬＳＩ３と、カメラ４と、カメラ４の撮像データの画像処理を行う画像処理ＩＣ５と、基地局との通信を行う送受信部６と、各部への電源供給を行う電源回路７とを備えている。
【００１４】
ベースバンドＬＳＩ３は、ＣＰＵ１１と、メインメモリ１２と、ＭＰＥＧ処理部１３と、ＤＲＡＭ１４と、図示しない音声信号処理部等を有し、携帯電話全体の制御を行う。図１では、ベースバンドＬＳＩ３とは別個に画像処理ＩＣ５と送受信部６を設けているが、これらを一つのチップにまとめてもよい。ＣＰＵ１１とメインメモリ１２で一つのチップとし、他を別の一つのチップとしてもよい。
【００１５】
ＬＣＤＣ２は、制御部１５とフレームメモリ１６を有する。カメラ４は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳイメージ画像取込センサで実現される。
【００１６】
本実施形態のＬＣＤ基板１には、画像取込を行う画像取込センサが画素ごとに設けられている。ＬＣＤ基板１には共通電極をＩＴＯ等の透明電極により形成した対向基板を所定間隔（約５ミクロン）で配置し、これらの間に液晶材料を注入し所定の方法で封止して、さらに両基板の外側に偏光板を貼り付けて用いる。
【００１７】
図２はＬＣＤ基板１上に形成される回路を示すブロック図である。図示のように、ＬＣＤ基板１上には、信号線及び走査線が列設される画素アレイ部２１と、信号線を駆動する信号線駆動回路２２と、走査線を駆動する走査線駆動回路２３と、画像取込を制御する画像取込センサ制御回路２４と、画像取込後の信号処理を行う信号処理出力回路２５とが形成される。これらの回路は、例えば低温ポリシリコン技術を利用したポリシリコンＴＦＴにより形成される。信号線駆動回路２２は、デジタル画素データを表示素子の駆動に適したアナログ電圧に変換するＤ／Ａ変換回路を含む。Ｄ／Ａ変換回路は公知のものを用いる。
【００１８】
図３は画素アレイ部２１の１画素分の詳細回路図、図４はガラス基板上の１画素分のレイアウト図である。図４に示すように、本実施形態の画素は略正方形状である。
【００１９】
各画素は、図３に示すように、画素ＴＦＴ３１と、補助容量Ｃｓに電荷を蓄積するか否かを制御する表示制御ＴＦＴ３２と、画像取込センサ３３と、画像取込センサ３３の撮像結果を格納するキャパシタＣ１と、キャパシタＣ１の蓄積電荷に応じた２値データを格納するＳＲＡＭ３４と、キャパシタＣ１に初期電荷を蓄積するための初期化用ＴＦＴ３５とを有する。
【００２０】
ここで、各画素の輝度は、補助容量Ｃｓに蓄積された電荷に基づいて決まる画素電極電位と対向基板上に形成されたコモン電極の電位との差により、これらの間に挟まれた液晶層の透過率を制御することにより、階調制御される。
【００２１】
図３では、各画素ごとに１個の画像取込センサ３３を設ける例を示しているが、画像取込センサ３３の数に特に制限はない。１画素当たりの画像取込センサ３３の数を増やすほど、画像取込みの解像度を向上できる。
【００２２】
キャパシタＣ１の初期化を行う場合は、画素ＴＦＴ３１と初期化用ＴＦＴ３５をオンする。表示素子の輝度を設定するためのアナログ電圧（アナログ画素電圧）を補助容量Ｃｓに書き込む場合は、画素ＴＦＴ３１と表示制御ＴＦＴ３２をオンする。キャパシタＣ１の電圧のリフレッシュを行う場合は、初期化用ＴＦＴ３５とＳＲＡＭ３４内のデータ保持用ＴＦＴ３６をともにオンする。キャパシタＣ１の電圧がＳＲＡＭ３４の電源電圧（５Ｖ）に近い値であれば多少リークしていてもリフレッシュの結果５Ｖになるし、逆にキャパシタＣ１の電圧がＳＲＡＭ３４のＧＮＤ電圧（０Ｖ）に近い値であればリフレッシュの結果０Ｖになる。また、ＴＦＴ３５とＴＦＴ３６とがともにオンしている限り、ＳＲＡＭ３４のデータ値は極めて安定に保持されつづける。ＴＦＴ３５とＴＦＴ３６のいずれかがオフしてもキャパシタＣ１の電位のリークが少ないうちはＳＲＡＭ３４のデータ値は保持されつづける。キャパシタＣ１の電位リークが多くなり、データ値が変わってしまわない前にリフレッシュを行うようにすれば、ＳＲＡＭ３４のデータ値を保持しつづけることができる。ＳＲＡＭ３４に格納された撮像データを信号線に供給する場合は、画素ＴＦＴ３１とデータ保持用ＴＦＴ３６をともにオンする。
【００２３】
本実施形態の表示装置は、通常の表示動作を行うこともできるし、スキャナと同様の画像取込みを行うこともできる。通常の表示動作を行う場合は、ＴＦＴ３５、３６はオフ状態に設定され、バッファには有効なデータは格納されない。この場合、信号線には、信号線駆動回路２２からの信号線電圧が供給され、この信号線電圧に応じた表示が行われる。
【００２４】
一方、画像取込みを行う場合は、図５に示すようにＬＣＤ基板１の上面側に画像取込み対象物（例えば、紙面）３７を配置し、バックライト３８からの光を対向基板３９とＬＣＤ基板１を介して紙面３７に照射する。紙面３７で反射された光はＬＣＤ基板１上の画像取込センサ３３で受光され、画像取込みが行われる。ここで、撮像対象側に配置されるガラス基板及び偏光板はできるだけ薄いものが良い。望ましくは合計０．２ｍｍ程度以下がよい。紙面はふつう拡散反射面であることが多く、照射される光をつよく拡散する。撮像対象側のガラス基板が厚いと、画像取込センサ受光部と紙面の距離が広がりその分拡散反射光が隣接画素の画像取込センサに入りやすくなり取り込み画像がぼやける原因となることがあるからである。
【００２５】
取り込んだ画像データは、図３に示すようにＳＲＡＭ３４に格納された後、信号線を介して、図１に示すＬＣＤＣ２に送られる。このＬＣＤＣ２は、本実施形態の表示装置から出力されるデジタル信号を受けて、データの並び替えや撮像画像のムラを除去するための処理やデータ中のノイズの除去などの演算処理を行う。
【００２６】
図６は画像処理ＩＣ５の内部構成を示すブロック図である。図６の画像処理ＩＣ５は、カメラ４で撮像された撮像データを受け取るカメラＩ／Ｆ部４１と、制御部４２と、カメラ４の動作制御を行う制御Ｉ／Ｆ４３と、ＬＣＤＣ２からの撮像データを受け取るＬＣＤ−Ｉ／Ｆ４４と、撮像データを格納する画像処理用メモリ４５と、ＣＰＵ１１との間で制御信号のやり取りを行うホストＩ／Ｆ４６と、撮像データの階調補正（ムラを除去するための処理）を行う階調補正部４７と、撮像データの色補正を行う色補正部４８と、欠陥画素補正部４９と、撮像データのエッジ補正を行うエッジ補正部５０と、撮像データのノイズを除去するノイズ除去部５１と、撮像データのホワイトバランスを調整するホワイトバランス補正部５２とを有する。従来の画像処理ＩＣとの差異としては、ＬＣＤ基板１から出力される撮像データを受け取るＬＣＤ−Ｉ／Ｆ４４を有する点が特徴的である。
【００２７】
ＬＣＤ基板１の表示は、原則的にベースバンドＬＳＩ３からの指示及び監視の下で行われる。例えば、ベースバンドＬＳＩ３にカメラ４の撮像データが入力されると、ベースバンドＬＳＩ３はその撮像データを所定のタイミングでＬＣＤＣ２に出力する。ＬＣＤＣ２は、ベースバンドＬＳＩ３からのカメラ４の撮像データをフレームメモリ１６に格納する。ベースバンドＬＳＩ３から供給されるカメラ４の撮像データが間欠的であっても、ＬＣＤＣ２は、フレームメモリ１６に格納された１画面分のカメラ４の撮像データを、所定のタイミングでＬＣＤ基板１に出力する。ＬＣＤ基板１は、ＬＣＤＣ２からのカメラ４の撮像データをアナログ画素電圧に変換して信号線に書き込む。
【００２８】
図７はＬＣＤＣ２の内部構成の一例を示すブロック図である。図７のＬＣＤＣ２は、ＭＰＥＧ−Ｉ／Ｆ６１と、ＬＵＴ（Ｌｏｏｋｕｐ  Ｔａｂｌｅ）６２と、ＬＣＤ−Ｉ／Ｆ６３と、撮像データを格納するラインバッファ６４と、ＬＣＤＣ２から供給された撮像データを保持する画像処理メモリ６５と、表示用のデジタル画素データを保持するフレームメモリ１６と、出力前演算部６６と、第１バッファ６７と、第２バッファ６８と、画像処理部６９と、ホストＩ／Ｆ７０と、発振器７１とを有する。
【００２９】
これに対して、図８は従来のＬＣＤＣ２の内部構成を示すブロック図である。図示のように、従来のＬＣＤＣ２は、ＭＰＥＧ−Ｉ／Ｆ６１と、ＬＵＴ６２と、ＬＣＤ−Ｉ／Ｆ６３と、フレームメモリ１６と、バッファ６７と、発振器７１とを有する。
【００３０】
従来は、動画像を表示する際、ＭＰＥＧ−Ｉ／Ｆを介して入力されたＭＰＥＧコーデック信号を、ＬＵＴ６２を参照してＲＧＢデータに変換してフレームメモリ１６に格納していた。また、テキストを表示する際は、ホストＩ／Ｆ４５を介してＣＰＵ１１から供給された描画コマンドをＲＧＢデータに変換してフレームメモリ１６に格納していた。発振器７１は必要に応じて基準クロックを生成する。携帯電話の待ち受け時など、ＣＰＵが休止しているときに待ち受け画面を表示しつづけなければならない場合に該基準クロックに同期してＬＣＤＣ２からＬＣＤ基板１に表示のための画素データを定常的に送りつづける。
【００３１】
ＬＣＤＣ２は、フレームメモリ１６から読み出したデジタル画像データを、例えば表示画面の第１行から順に１行ずつ必要に応じて並び替えてＬＣＤ基板１に出力する。
【００３２】
本実施形態のＬＣＤＣ２は、図７に示すように、従来のＬＣＤＣ２が持たなかった画像処理メモリ６５を備えており、ＬＣＤ基板１からＬＣＤ−Ｉ／Ｆ４３を介して供給される画像取込センサ３３の撮像データを保持する。この画像取込センサ３３の撮像データは、ホストＩ／Ｆ４５とベースバンドＬＳＩ３を介して、画像処理ＩＣ５に供給される。
【００３３】
ＬＣＤ基板１内の各画素は、開口率を確保しなければならないため、画像取込用の画像取込センサ３３や周辺回路を配置するスペースが限られている。開口率が小さくなると、通常表示の際の画面の表示輝度を確保するために、バックライトをより高輝度に点灯しなければならず、バックライトの消費電力が増大してしまう問題を生じるからである。できるだけ各画素の中には少ない数の画像取込センサ３３と関連回路を内蔵するに留めることが望ましい。また、画像取込センサ３３が１つでも、画像取込センサ３３によるキャパシタＣ１の電位の微妙な変化を精密に外部に取り出すことができれば、それにより多階調の画像取り込みが実現できるが、困難である。なぜならガラス基板上に形成されるＴＦＴや画像取込センサ３３は同一基板上であっても動作閾値等に無視できないばらつきを有するためアナログ信号をそのまま画素から出力する誤差の小さいアナログ増幅回路を設けることが難しいからである。さらに画素内にばらつき補償回路を設けることも考えられるが、ばらつき補償回路自体それなりの面積を占有し開口率を損なう問題がある。したがって、多階調の画像取込を行うために、画素内に、複数の画像取込センサ３３を設けたり、複雑な補償回路を設けることをせず、撮像条件を変えながら複数回の撮像を行ってこれらのデータに基づいて多階調化のための処理やノイズ補償のための処理を行うようにした。
【００３４】
図９はＬＣＤＣ２が行う画像取込時の処理手順を示すフローチャートである。まず、撮像条件を変えながら、Ｎ回画像取込センサ３３による画像取込を行う（ステップＳ１）。次に、（１）式に基づいて、Ｎ回の撮像データの単純平均を計算する（ステップＳ２）。ここで、Ｌ（ｘ，ｙ）ｉは、ｉ回目の座標（ｘ，ｙ）の階調値を示している。
【数１】
2004325961.tif 000003
【００３５】
ステップＳ１及びＳ２の処理を行う際は、図１０に示すように、各回の階調値を順に加算する逐次加算を行い、Ｎ回目まで逐次加算を行った後に、Ｎで割ればよい。逐次加算の過程で既に加算済みとなった撮像データは保持しておく必要がない。
【００３６】
図１０のような逐次加算を行う場合、フレームメモリ１６は２回分程度の撮像データを格納できる容量があればよく、メモリ容量を削減できる。
【００３７】
次に、むらパターンの減算処理を行う（ステップＳ３）。次に、ホワイトバランス調整や欠陥補正などを行う（ステップＳ４）。
【００３８】
図１１は、ＬＣＤ基板１上の信号線駆動回路２２、走査線駆動回路２３、画像取込センサ制御回路２４及び信号処理出力回路２５と、ＬＣＤＣ２と、ベースバンドＬＳＩ３との間の信号のやり取りを示す図である。
【００３９】
図１２はガラス基板の詳細構成を示すブロック図である。本実施形態の画素アレイ部２１は、水平方向３２０画素×垂直方向２４０画素の表示解像度を有する。バックライトを赤色、緑色及び青色で順繰りに発光させる、いわゆるフィールドシーケンシャル駆動を行うものである。フィールドシーケンシャル駆動ではバックライトの発光色は赤色、緑色及び青色のほか、白色に点灯することもある。画素はそれぞれごとに信号線及び走査線等が設けられる。信号線の総数は、３２０本で、走査線の総数は２４０本である。
【００４０】
走査線駆動回路２３は、２４０段のシフトレジスタ７１と、３選択デコーダ７２と、レベルシフタ（Ｌ／Ｓ）７３と、マルチプレクサ（ＭＵＸ）７４と、バッファ７５とを有する。
【００４１】
信号処理出力回路２５は、３２０個のプリチャージ回路７６と、４選択デコーダ７７と、１０段毎にデータバスが接続されたの合計８０段のシフトレジスタ７８と、８個の出力バッファ７９とを有する。
【００４２】
図１３は本実施形態の表示装置の動作を説明する図、図１４は通常表示時のタイミング図、図１５は画像取込センサ３３のプリチャージ及び撮像時のタイミング図、図１６は画像取込センサ３３の撮像データ出力時のタイミング図である。
【００４３】
通常の表示を行う場合には、図１３のモードｍ１の動作を行う。一方、画像取込センサ３３による画像取込を行う場合は、まずモードｍ１の動作を行い、全画素の輝度を所定値（液晶透過率が最も高くなるようにする）に設定する。この場合、図１４に示すように、まず、走査線Ｇ１，Ｇ４，Ｇ７，…を駆動して画面の１／３の表示を行った後、走査線Ｇ２，Ｇ５，Ｇ８，…を駆動して画面の残り１／３の表示を行い、最後に、走査線Ｇ３，Ｇ６，Ｇ９，…を駆動して画面の最後の１／３の表示を行う。そしてバックライトを特定の色で点灯する。本実施形態ではまず白色を点灯する。
【００４４】
次に、モードｍ２で、全画素のキャパシタＣ１をプリチャージ（初期電荷の蓄積）した後、撮像を行う。このとき、図１５に示すように、走査線駆動回路２３が全走査線を駆動している間に、全画素のキャパシタＣ１に５Ｖを書き込む。
【００４５】
次に、モードｍ３で、一部の撮像データ（全画面の１２分の１）の出力を行う。具体的には、走査線駆動回路２３のシフトパルスに基づいて所定の走査線をオンすることにより、当該行に属するＳＲＡＭ３４に保持されたデータが信号線に書き込まれる。この場合、図１６に示すように、まず、走査線Ｇ１，Ｇ４，Ｇ７，…に接続された画素内の画像取込センサ３３の撮像データが信号線に出力される。残りの撮像データ（全画面の１２分の１１）すなわち、走査線Ｇ１，Ｇ４，Ｇ７，…に接続された画素内の画像取込センサ３３の撮像データがのうちまだラッチ９７に保持されているだけで出力されずにいるデータの出力、走査線Ｇ２，Ｇ５，Ｇ８，…に接続された画素内の画像取込センサ３３の撮像データの信号線への出力、及び走査線Ｇ３，Ｇ６，Ｇ９，…に接続された画素内の画像取込センサ３３の撮像データの信号線への出力はモードｍ４で行う（モードｍ３ではこれらは行わない）。
【００４６】
信号線上に出力された撮像データは、図１５のＰ／Ｓ変換回路９１内のラッチ回路９７に保持される。ＨＳＷ［３：０］を（１，０，０，０）とすることにより、４つのラッチ回路９７のうちいずれか一つのデータがシフトレジスタに書き込まれる。シフトレジスタ列をクロック（ＨＣＫ）駆動することにより順に出力される。
【００４７】
まず最初は、１，４，…，２３８行のデータのうち、１，５，９，…列のデータの出力が出力される。これは、全画素データの１／１２に相当する。ここまでのデータに基づいて平均階調Ｌｍｅａｎを計算する。この動作の際には、ＬＣＤＣ２側では平均階調Ｌｍｅａｎをカウントする。
【００４８】
全画素データの１／１２の平均階調が飽和していないか否かを判定し（ステップＳ１１）、飽和している場合は、データ出力を中止して、画像処理に移行する（モードｍ５）。
【００４９】
次に、平均階調が小さすぎないか否かを判定し（ステップＳ１２）、小さすぎる場合には、次の撮像時間をＴ＋２×ΔＴと長めにしてモードｍ２以降の処理を繰返す。小さすぎない場合には、平均階調が大きすぎないか否かを判定し（ステップＳ１３）、大きすぎる場合には、次の撮像時間をＴ＋０．５×ΔＴと短めにしてモードｍ２以降の処理を繰り返す。大きすぎない場合には、モードｍ４により、残り１２分の１１のデータ出力を継続して行う。
【００５０】
以上のモードｍ１からモードｍ４の動作を、平均階調が飽和してしまうまで繰り返す。
【００５１】
モードｍ５では、こうして得られた撮像データを平均化処理することにより、白色成分の階調情報を合成することができる。
【００５２】
同様にｍ４〜ｍ７で緑色成分の合成と、青色成分の合成とを行う。白色、緑、青は、バックライト（ＬＥＤ）の発光色を白にするか、緑にするか、青にするかで切り替える。
【００５３】
ここでは、バックライトを赤色点灯した状態では撮像は略することができる。合成された白色成分から、合成された青成分及び緑成分を減算することにより、赤成分を合成できる。画像取込センサ３３の光電流は波長分散を有し、赤色の光を検出するには撮像時間を長くする必要がある場合に、全体の撮像時間が長くなってしまう問題を防ぐことができる。
【００５４】
上述した手法により、ＲＧＢの各色の階調情報が求まった場合には、これら各色の合成結果を重ね合わせることにより、カラー撮像画面を合成できる。このカラー撮像画面はＬＣＤＣ２の画像メモリ上に格納され、ベースバンドＬＳＩ３を経由して画像処理ＩＣ５に送られる。そして、汎用的な画像処理（階調補正、色補正、欠陥画素補正、エッジ補正、ノイズ除去、ホワイトバランス補正など）が行われ、再度ＬＣＤＣ２の表示用のフレームメモリ１６に所定の手順で格納され、ＬＣＤＣ２からＬＣＤに所定のフォーマットで出力することにより、ＬＣＤに表示することができる。
【００５５】
図１７はＬＣＤＣ２の処理動作を示すフローチャートである。図１３で説明した表示装置全体の動作のうち、撮像の際にＬＣＤＣ２が具体的に行う処理動作を抜き出したものである。ＬＣＤＣ２は、撮像時間Ｔ＝Ｔ＋ΔＴで撮像するよう画像取込センサ３３に対して指示する（ステップＳ２１）。次に、画像取込センサ３３の撮像データのうち、水平方向は信号線のｍ本ごとに、垂直方向は走査線のｎ本ごとに、画像取込センサ３３の撮像データを取り込む（ステップＳ２２）。これにより、全画素のＭ（＝ｍ×ｎ）分の１個の撮像データを取り込み、撮像データの平均階調Ｌｍｅａｎを計算する。（上述の実施形態においては、ｍ＝４、ｎ＝３の例を説明したが、ｍ，ｎはこれらに限定されない）
【００５６】
次に、平均階調Ｌｍｅａｎが所定の基準値（例えば、”６４”）以下か否かを判定する（ステップＳ２３）。基準値以下の場合には、直前の撮像データの平均階調Ｌｍｅａｎ０との差異が所定の基準値ΔＨ０以上か否かを判定する（ステップＳ２４）。
【００５７】
差異が基準値以上であれば、差異が所定の基準値ΔＨ１以下か否かを判定する（ステップＳ２５）。差異が基準値ΔＨ１以下であれば、残りの画像取込センサ３３の撮像データを順に取り込み、画像処理メモリ６５に格納されている各画素の撮像データに加算する（ステップＳ２６）。次に、通算の撮像回数Ａを”１”カウントアップした（ステップＳ２７）後、ステップＳ２１以降の処理を繰り返す。
【００５８】
一方、ステップＳ２４で差異が基準値ΔＨ０未満と判定された場合、またはステップＳ２５で差異が基準値ΔＨ１より大きいと判定された場合には、ステップＳ２１に戻る。
【００５９】
また、ステップＳ２３で平均階調Ｌｍｅａｎが６４より大きいと判定された場合は、座標（ｘ，ｙ）の画素の階調値Ｌ（ｘ，ｙ）を（２）式に基づいて求める。
Ｌ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）／Ａ    …（２）
【００６０】
図１８は図９のステップＳ３の処理の詳細フローチャートである。まず、基準パターンである白色板を、液晶を中間調に設定した状態で画像取込センサ４５で撮像する（ステップＳ３１）。白色板は白紙でもよいし、硫酸バリウム等を塗布した平らな板でもよい。
【００６１】
より具体的には、白色板を撮像時間Ｔ１（例えば５ｍｓｅｃ）〜Ｔ２（例えば５０ｍｓｅｃ）の範囲で、等時間間隔で撮像時間を変えながら６４回撮像し、撮像結果を画素ごとに単純平均して、多階調データを生成する。撮像時間が最短のＴ１では、ほとんどの撮像対象が真っ黒（Ｌ０とする）と認識され、撮像時間が最長のＴ２では、ほとんどの撮像対象が真っ白と認識されるように、各撮像時間を設定する。
【００６２】
このような手順で撮像した白色板の再現撮像画像は図１９のようになる。図１９は中間調背景に黒っぽい部分と白っぽい部分とが入り乱れて「ムラ」が生じている再現画像である。図１９からわかるように、ムラのない白色板を撮像したにもかかわらず、撮像データにはムラが生じている。ムラが生じる理由は、各画素のセンサのリーク電流にばらつきがあるためと、各画素のＳＲＡＭの動作しきい値にばらつきがあるためである。
【００６３】
このため、比較的長い撮像時間でも白と認識しない画素や、その逆に比較的短い撮像時間でも白と認識する画素などが存在する。前者の画素では再現撮像画像が黒っぽくなり、後者の画素では再現撮像画像が白っぽくなる。
【００６４】
本実施形態では、白色板を撮像した多階調データを図７の画像処理用メモリ４５に格納する（ステップＳ３２）。ここで、メモリ容量を削減するために、ムラの差分値だけを格納してもよい。全画面でムラは±４階調分程度しかないため、ムラの差分値は３ビット程度で表現できる。したがって、階調値をそのまま格納する場合に比べて、画像処理用メモリ４５のメモリ容量を節約できる。
【００６５】
なお、基準パターンの色は必ずしも白色でなくてもよく、中間調や、中間調よりも黒っぽい色でもよい。
【００６６】
続いて、実際の撮像対象物を図１の表示装置で撮像する（ステップＳ３３）。この場合も、撮像条件を変えて複数回撮像を行った結果を平均化して、多階調データを生成する。生成した多階調データは画像処理用メモリ４５に格納される（ステップＳ３４）。そのまま再現したのが図２０である。図２０は現実の撮像対象に図１９のムラを重ね合わせたような、ムラのある再現画像である。
【００６７】
続いて、ステップＳ３４で格納した多階調データから、ステップＳ３２で得られた多階調データを減じてムラ成分を除去する（ステップＳ３５）。このとき、ステップＳ３２で格納した白色板の多階調データをそのまま利用するのではなく、階調値に応じて重み付けを行ってもよい。
【００６８】
より具体的には、例えば（３）式に基づいてムラ成分を除去する。
Ｃ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−｛Ｂ（ｘ，ｙ）−ａｖｅｒａｇｅ（Ｂ（ｘ，ｙ））｝×ｆ（Ｌ（ｘ，ｙ））    …（３）
【００６９】
ここで、（ｘ，  ｙ）は画素位置、Ｂ（ｘ，  ｙ）は基準パターンの多階調データ、ａｖｅｒａｇｅ（Ｂ（ｘ，ｙ））はＢ（ｘ，ｙ）を画面全体で平均した値（平均階調）、Ｌ（ｘ，  ｙ）は撮像対象物のムラ除去前の多階調データ、Ｃ（ｘ，  ｙ）は撮像対象物のムラ除去後の階調値である。
【００７０】
ムラ成分が除去された多階調データは画像処理用メモリ４５に格納されるとともに、適当なタイミングで画素アレイ部２１に表示される（ステップＳ３６）。
【００７１】
図２１は白色板を撮像して得られた多階調データの階調値の変化を示す図であり、Ｘ軸は図１９の水平方向座標、Ｙ軸は階調値を表している。図示のように、白色板であるにもかかわらず、階調値は点線で示す階調値を挟んで上下に変動する。
【００７２】
図２２は図２０に示す実際の撮像対象物を撮像して得られる多階調データの階調値の変化を示す図であり、Ｘ軸は図２０の水平方向座標、Ｙ軸は階調値を表している。図２２の実線曲線ｃｂ１が撮像対象物の多階調データ、点線ｃｂ２は白色板の多階調データである。
【００７３】
上述した（３）式では、白色板の多階調データを画面全体で平均化した画素値ａｖｅｒａｇｅ（Ｂ（ｘ，  ｙ））を計算し、白色板の多階調データＢ（ｘ，  ｙ）と平均階調値ａｖｅｒａｇｅ（Ｂ（ｘ，  ｙ））との差分を、画素ごとに重み付けする。そして、この重み付けされた差分を、撮像対象物の多階調データから減じることにより、ムラの除去を行う。
【００７４】
この結果、図２３に示すようにムラのない画像が得られ、階調値の変動も図２４に示すようにほとんどなくなる。図２３は現実の撮像対象に近い、ムラのない再現画像である。
【００７５】
次に、重み付け関数について詳述する。図２５は撮像対象物の階調値と撮像対象物を撮像して得られる多階調データの階調誤差との関係を示す図であり、縦軸が階調誤差を表している。ここでは一例として、Ｌ０〜Ｌ６３の全６４階調のうち、Ｌ５，Ｌ３２，Ｌ６０の３階調について模式的に図示した。図２５の例では、撮像対象物を６４階調で表し、Ｌ６３を真っ白とし、Ｌ０を真っ黒としている。図２５のＬ６０、Ｌ３２、Ｌ５の順に白っぽい階調になる。図示のように、白に近いほど階調誤差は少なく、黒に近いほど階調誤差は大きくなる。この傾向は、本実施形態の撮像シーケンス（光源輝度は一定として撮像時間のみ段階的に変更して複数の撮像を行う）の場合に限らず、別の撮像シーケンス（例：撮像時間は一定として光源輝度のみ段階的に変更して複数の撮像を行う）の場合にも同様の傾向を示す。撮像対象の暗い部分では、明るい部分に比べ光リークの進行が遅く、光電変換素子の光リーク電流のばらつきの差や画素内回路を構成するＴＦＴの特性ばらつきが大きくなるためである。したがって減算の際の重み付け関数は階調についての単調減少関数とするのがよい。
【００７６】
このため、図２６に示すように、撮像対象物の階調値に応じて、線形に重み付け係数が変化するような一次関数からなる重み付け関数を用いてもよい。
【００７７】
また、現実に撮像を行う場合は、撮像対象物によって、異なる撮像条件で撮像を行う場合がある。例えば、暗めの撮像対象物を撮像する場合は撮像時間を長めに、明るめの撮像対象物を撮像する場合は撮像時間を短めにすることにより再現画像のコントラスト等の画質が好ましくなることがある。このように、撮像条件が異なる場合には、必ずしも図２６のような一次の重み関数で重み付け係数を求めるのが望ましくない場合もあるし、図２６のような重み付け関数を用いることで、新たなムラが発生するおそれもある。
【００７８】
また、液晶自体に図２７のような非線形のガンマ特性があるため、その影響も考慮に入れて重み付け係数を設定するのが望ましい場合もある。
【００７９】
このため、場合によっては、図２８に示すように、重み付け関数を折れ線関数にしてもよい。図２８の例では、中間調付近で、一次の重み付け関数の傾きを変化させる例を示している。傾きを変化させるポイントは必ずしも中間調付近には限定されず、撮像条件や液晶のガンマ特性などにより決めるのが望ましい。
【００８０】
あるいは、図２９に示すように、２次以上の多次関数で重み付け関数を構成してもよい。図２９の重み付け関数は、階調値に応じて重み付け係数が単調変化し、中間調付近の重み付け係数の変化量を小さくしている。
【００８１】
このようにすることによって、図１９のような減算処理のためのムラパターンの撮像を、都度頻回に行うことなく、表示装置の出荷時やユーザーにおけるシステムセットアップ時に１回だけ行うだけでよくなる。
【００８２】
上述したムラの除去処理は、ＲＧＢの各色ごとに個別に行われ、その後に撮像画像の表示が行われる。
【００８３】
このように、本実施形態では、センサで撮像して得られた多階調データに含まれるムラ成分を、上述した（１）式に基づいて除去するため、センサの特性ばらつき等により発生するムラの影響を受けない撮像データが得られる。
【００８４】
上述した実施形態では、カラーフィルタを設けないで、バックライトの発光色を赤→青→緑と所定周期で切替えることによりカラー表示を行う表示装置において、図３に示すように各画素ごとに画像取込センサを設ける例を説明したが、カラーフィルタを各画素に設け、１画素を構成する３色（ＲＧＢ）のうち、１色または２色分だけセンサを配置してもよい。
【００８５】
例えば、図３０は１画素を構成する３色のうち、緑色だけにセンサを設ける例を示している。この場合の１画素分の回路構成は図３１のような回路図で表される。
【００８６】
緑色に対応する画素ＴＦＴ３１には、初期化用ＴＦＴ３５を介して画像取込センサ３３が接続されている。ところが、赤色に対応する画素ＴＦＴと青色に対応する画素ＴＦＴには画素取込センサは接続されていない。
【００８７】
図３１のような構成にすることにより、画像取込センサの数を削減でき、構造を簡易化できるとともに、液晶表示を行う際の開口率の向上が図れる。
【００８８】
【発明の効果】
以上詳細に説明したように、本発明によれば、被写体の撮像結果である第１の多階調データに含まれるムラを、基準パターンの撮像結果である第２の多階調データを用いて調整するため、ムラのない多階調データが得られる。このため、撮像部の特性により撮像結果にムラが生じても、そのムラを相殺できる。
【図面の簡単な説明】
【図１】本発明に係る表示装置の全体構成を示すブロック図。
【図２】ＬＣＤ基板１上に形成される回路を示すブロック図。
【図３】画素アレイ部２１の１画素分の詳細回路図。
【図４】ガラス基板上の１画素分のレイアウト図。
【図５】画像取込の方法を説明する図。
【図６】画像処理ＩＣ５の内部構成を示すブロック図。
【図７】ＬＣＤＣ２の内部構成の一例を示すブロック図。
【図８】従来のＬＣＤＣ２の内部構成を示すブロック図。
【図９】ＬＣＤＣ２が行う画像取込時の処理手順を示すフローチャート。
【図１０】逐次加算方法を説明する図。
【図１１】ＬＣＤ基板１上の信号線駆動回路２２、走査線駆動回路２３、センサ制御回路２４及び信号処理出力回路２５と、ＬＣＤＣ２と、ベースバンドＬＳＩ３との間の信号のやり取りを示す図。
【図１２】ガラス基板の詳細構成を示すブロック図。
【図１３】本実施形態の表示装置の動作を説明する図。
【図１４】通常表示時のタイミング図。
【図１５】センサ３３のプリチャージ及び撮像時のタイミング図。
【図１６】センサ３３の撮像データ出力時のタイミング図。
【図１７】ＬＣＤＣ２の処理動作を示すフローチャート。
【図１８】図９のステップＳ３の処理の詳細フローチャート。
【図１９】白色板の再現撮像画像を示す図。
【図２０】実際の撮像対象物の撮像画像を示す図。
【図２１】白色板を撮像して得られた多階調データの階調値の変化を示す図。
【図２２】図２０に示す撮像画像の階調値の変化を示す図。
【図２３】図２０からムラを除去した画像を示す図。
【図２４】図２３に対応する階調値の変化を示す図。
【図２５】撮像対象物の階調値と撮像対象物を撮像して得られる多階調データの階調誤差との関係を示す図。
【図２６】一次関数からなる重み付け関数を示す図。
【図２７】非線形のガンマ特性を示す図。
【図２８】折れ線からなる重み付け関数を示す図。
【図２９】多次関数からなる重み付け関数を示す図。
【図３０】１画素を構成する３色のうち、緑色だけにセンサを設ける例を示す図。
【図３１】１画素の回路構成を示す回路図。
【符号の説明】
１  ＬＣＤ基板
２  ＬＣＤＣ
３  ベースバンドＬＳＩ
４  カメラ
５  画像処理ＩＣ
６  送受信部
７  電源回路
１１  ＣＰＵ
１２  メインメモリ
１３  ＭＰＥＧ処理部
１４  ＤＲＡＭ
１５  制御部
１６  フレームメモリ
２１  画素アレイ部
２２  信号線駆動回路
２３  走査線駆動回路
２４  センサ制御回路
２５  信号処理出力回路
３１  画素ＴＦＴ
３２  表示制御ＴＦＴ
３３  画像取込センサ
３４  ＳＲＡＭ
３５  初期化用ＴＦＴ
【図１】
2004325961.tif 000004
【図２】
2004325961.tif 000005
【図３】
2004325961.tif 000006
【図４】
2004325961.tif 000007
【図５】
2004325961.tif 000008
【図６】
2004325961.tif 000009
【図７】
2004325961.tif 000010
【図８】
2004325961.tif 000011
【図９】
2004325961.tif 000012
【図１０】
2004325961.tif 000013
【図１１】
2004325961.tif 000014
【図１２】
2004325961.tif 000015
【図１３】
2004325961.tif 000016
【図１４】
2004325961.tif 000017
【図１５】
2004325961.tif 000018
【図１６】
2004325961.tif 000019
【図１７】
2004325961.tif 000020
【図１８】
2004325961.tif 000021
【図１９】
2004325961.tif 000022
【図２０】
2004325961.tif 000023
【図２１】
2004325961.tif 000024
【図２２】
2004325961.tif 000025
【図２３】
2004325961.tif 000026
【図２４】
2004325961.tif 000027
【図２５】
2004325961.tif 000028
【図２６】
2004325961.tif 000029
【図２７】
2004325961.tif 000030
【図２８】
2004325961.tif 000031
【図２９】
2004325961.tif 000032
【図３０】
2004325961.tif 000033
【図３１】
2004325961.tif 000034