(57)【要約】【課題】光リークのばらつきやトランジスタ等の電気的特性のばらつきの影響を受けることなく、画像取込みを行う。【解決手段】表示装置は、ガラス基板３１と半導体基板３２とで構成され、半導体基板３２上には、表示制御及び画像取込制御を行うロジックＩＣ３３が実装されている。ロジックＩＣ３３は、画素アレイ部１への表示制御を行う表示制御部４１と、センサ１２ａ，１２ｂの画像取込制御を行う画像取込制御部４２と、ロジックＩＣ３３全体の制御を行うＣＰＵ４３と、ＣＰＵ４３が作業用に利用するメインメモリ４４とを有する。撮影条件を変えて複数回画像取込みを行った結果に基づいて、最終的な取込画像を決定するため、センサ１２ａ，１２ｂの特性ばらつきやＳＲＡＭのしきい値電圧のばらつき等の影響を受けずに画像取込みを行うことができ、ノイズが少なく、中間調まで再現できる取込画像が得られる。【選択図】  図６
2004159273.tif 000002
【特許請求の範囲】
【請求項１】
縦横に列設される信号線及び走査線の各交点付近に形成される表示素子と、
前記表示素子のそれぞれに対応して少なくとも一個ずつ設けられ、それぞれが指定された範囲の入射光を受光して電気信号に変換する撮像部と、
前記撮像部で変換された電気信号に応じた電荷を蓄積する電荷蓄積部と、
複数の撮像条件のそれぞれにおける前記電荷蓄積部の蓄積電荷に基づいて、前記撮像部で撮像された画像に対応するデジタル画像データを生成する信号処理部と、を備えることを特徴とする画像取込み機能を備えた表示装置。
【請求項２】
前記電荷蓄積部に蓄積された電荷が所定のしきい値以上か否かを示す２値データを出力する２値データ生成部を備え、
前記信号処理部は、前記複数の撮影条件のそれぞれで得られた前記２値データに基づいて、前記デジタル画像データを生成することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記撮影条件を段階的に昇順または降順に切り替える撮影条件切替部を備え、前記信号処理部は、前記撮影条件切替部が前記撮影条件を１段階切り替えたときに、前記２値データの論理が変化した場合には、注目画素の周囲の複数画素の前記２値データの値に基づいて、前記注目画素のデジタル画像データを生成することを特徴とする請求項２に記載の表示装置。
【請求項４】
前記撮影条件切替部は、前記電荷蓄積部に蓄積される初期電荷量を段階的に昇順または降順に切り替え、
前記電荷蓄積部は、複数通りの前記初期電荷量のそれぞれごとに、前記初期電荷量から前記撮像部での受光量に応じた電荷を差し引いた残りの電荷を蓄積することを特徴とする請求項３に記載の表示装置。
【請求項５】
前記撮影条件切替部は、前記撮像部での撮像時間を段階的に昇順または降順に切り替えることを特徴とする請求項３に記載の表示装置。
【請求項６】
前記信号処理部は、前記撮影条件切替部が前記初期電荷量を１段階切り替えたときに、前記２値データの論理が変化した場合には、注目画素の周囲８画素の前回の画像取込み時における前記２値データの平均値を、前記注目画素のデジタル画像データとすることを特徴とする請求項３及至５のいずれかに記載の表示装置。
【請求項７】
一つの撮影条件での前記２値データを一時的に格納する一時的格納部と、
前記一時的格納部に格納された前記２値データを格納する第１領域と、この第１領域に格納されている２値データに対応する前記デジタル画像データを格納する第２領域と、を有する作業用格納部と、を備えることを特徴とする請求項２及至６のいずれかに記載の表示装置。
【請求項８】
前記表示素子、前記撮像部、前記電荷蓄積部及び前記２値データ生成部は、同一の絶縁基板上に形成され、
前記信号処理部、前記一時的格納部及び前記作業用格納部は、前記絶縁基板とは別個の半導体基板上に形成されることを特徴とする請求項７に記載の表示装置。
【請求項９】
縦横に列設される信号線及び走査線の各交点付近に形成される表示素子と、
前記表示素子のそれぞれに対応して少なくとも１個ずつ設けられ、それぞれが指定された範囲の入射光を受光して電気信号に変換する撮像部と、
前記撮像部で変換された電気信号に応じた電荷を蓄積する電荷蓄積部と、
前記電荷蓄積部の蓄積電荷に応じた２値データを増幅する撮像データ増幅部と、
前記撮像データ増幅部にて増幅された２値データに基づいて撮像対象の平均階調を検出する平均階調検出部と、
前記平均階調検出部の検出結果に基づいて、前記撮像部で撮像を行う際の前記表示素子の表示輝度を設定する輝度設定部と、
前記撮像部の撮像時間を複数通りに切替制御する撮像時間制御部と、
前記輝度設定部で設定された表示輝度に設定した状態で、前記撮像時間制御部で切替制御される個々の撮像時間での前記撮像部の撮像結果に基づいて、撮像画像に対応するデジタル画像データを生成する画像データ生成手段と、を備えることを特徴とする表示装置。
【請求項１０】
前期平均階調に基づく表示輝度設定を、隣接する複数の前記表示素子からなるブロックごとに行うことを特徴とする請求項９に記載の表示装置。
【請求項１１】
前記平均階調検出部で検出された平均階調が所定の基準階調値になるのに必要な前記撮像部の撮像時間を前記ブロックごとに検出する撮像時間検出部を備え、前記輝度設定部は、前記撮像時間検出部の検出結果に基づいて、前記表示素子の輝度を設定することを特徴とする請求項９に記載の表示装置。
【請求項１２】
前記画像データ生成部は、個々の撮像時間での前記撮像部の撮像結果に対して重み付けを行うことを特徴とする請求項９乃至１１のいずれかに記載の表示装置。
【請求項１３】
走査線を線順次駆動するか、またはすべての走査線を同時に駆動するかを切替制御可能な走査線駆動回路を備え、
前記走査線駆動回路は、前記電荷蓄積部に初期電荷を蓄積する際には、すべての走査線を同時に駆動することを特徴とする請求項９及至１２のいずれかに記載の表示装置。
【請求項１４】
前記シリアルデータに含まれる「０」または「１」の数を計測するデータ数計測部を備え、
前記平均階調検出部は、前記データ数計測部の計測結果に基づいて平均階調を検出することを特徴とする表示装置。
【請求項１５】
前記輝度設定部は、前記ブロックの中心に位置する前記表示素子の輝度を設定し、前記ブロックの中心位置以外の前記表示素子の輝度を、中心位置からの距離に応じて徐々に変えることを特徴とする請求項１０及至１４のいずれかに記載の表示装置。
【請求項１６】
縦横に列設される信号線及び走査線の各交点付近に形成される表示素子と、
前記表示素子のそれぞれに対応して少なくとも１個ずつ設けられ、それぞれが指定された範囲の入射光を受光して電気信号に変換する撮像部と、
前記撮像部で変換された電気信号に応じた電荷を蓄積する電荷蓄積部と、
前記電荷蓄積部の蓄積電荷に応じた２値データを増幅する撮像データ増幅部と、
前記撮像部で撮像を行う場合に用いられる、複数の前記表示素子からなるブロックの表示形態を示す複数の基準パターンを記憶する基準パターン記憶部と、
前記撮像部の撮像結果に近似した基準パターンを前記基準パターン記憶部から複数種類選択する基準パターン選択部と、
前記基準パターン選択部で選択された基準パターンそれぞれの明暗を反転させた基準パターンを前記表示素子にて表示させた状態で、前記撮像部にて繰返し撮像を行った結果に基づいて、撮像画像に対応するデジタル画像を生成する画像データ生成手段と、を備えることを特徴とする表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像取込み機能を備えた表示装置に関する。
【０００２】
液晶表示装置は、信号線、走査線及び画素ＴＦＴが列設されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。最近の集積回路技術の進歩発展により、駆動回路の一部をアレイ基板上に形成するプロセス技術が実用化されている。これにより、液晶表示装置全体を軽薄短小化することができ、携帯電話やノート型コンピュータなどの各種の携帯機器の表示装置として幅広く利用されている。
【０００３】
ところで、アレイ基板上に、画像取込みを行う密着型エリアセンサを配置した画像取込み機能を備えた表示装置が提案されている（例えば、特許文献１，２を参照）。
【０００４】
この種の画像取込み機能を備えた従来の表示装置は、センサに接続されたキャパシタの電荷量をセンサでの受光量に応じて変化させるようにし、キャパシタの両端電圧を検出することで、画像取込みを行っている。
【０００５】
【特許文献１】
特開２００１−２９２２７６号公報
【特許文献２】
特開２００１−３３９６４０号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、センサに流れる電流は微弱であるため、その電流によるキャパシタの両端電圧の変化を精度よく検出するのは困難であり、測定誤差が大きくなる。このため、取込画像にノイズが現れやすくなる。
【０００７】
また、キャパシタの両端電圧を検出するために、キャパシタにＳＲＡＭやバッファ回路を接続する場合、ＳＲＡＭやバッファ回路を構成するトランジスタのしきい値電圧を超えたか否かにより「０」か「１」かの判定が行われるが、トランジスタのしきい値電圧にばらつきがあるため、「０」と「１」の判定基準がずれるおそれがある。また、センサに流れる電流もばらつきがあるため、「０」と「１」の判定基準がずれるおそれがある。
【０００８】
本発明は、このような点に鑑みてなされたものであり、その目的は、光リークのばらつきやトランジスタ等の電気的特性のばらつきの影響を受けることなく、画像取込みを行うことができる表示装置を提供することにある。
【０００９】
【課題を解決するための手段】
上述した課題を解決するために、本発明は、縦横に列設される信号線及び走査線の各交点付近に形成される表示素子と、前記表示素子のそれぞれに対応して少なくとも一個ずつ設けられ、それぞれが指定された範囲の入射光を受光して電気信号に変換する撮像部と、前記撮像部で変換された電気信号に応じた電荷を蓄積する電荷蓄積部と、複数の撮像条件のそれぞれにおける前記電荷蓄積部の蓄積電荷に基づいて、前記撮像部で撮像された画像に対応するデジタル画像データを生成する信号処理部と、を備える。
【００１０】
また、本発明は、縦横に列設される信号線及び走査線の各交点付近に形成される表示素子と、前記表示素子のそれぞれに対応して少なくとも１個ずつ設けられ、それぞれが指定された範囲の入射光を受光して電気信号に変換する撮像部と、前記撮像部で変換された電気信号に応じた電荷を蓄積する電荷蓄積部と、前記電荷蓄積部の蓄積電荷に応じた２値データを記憶する撮像データ記憶部と、隣接する複数の前記表示素子からなるブロックごとに、前記前記撮像データ記憶部に記憶された２値データに基づいて該ブロックにおける撮像対象の平均階調を検出する平均階調検出部と、前記平均階調検出部の検出結果に基づいて、前記撮像部で撮像を行う際の前記表示素子の表示輝度を前記ブロックごとに個別に設定する輝度設定部と、前記撮像部の撮像時間を複数通りに切替制御する撮像時間制御部と、前記ブロックのそれぞれを前記輝度設定部で設定された表示輝度に設定した状態で、前記撮像時間制御部で切替制御される個々の撮像時間での前記撮像部の撮像結果に基づいて、撮像画像に対応するデジタル画像データを生成する画像データ生成手段と、を備える。
【００１１】
また、縦横に列設される信号線及び走査線の各交点付近に形成される表示素子と、前記表示素子のそれぞれに対応して少なくとも１個ずつ設けられ、それぞれが指定された範囲の入射光を受光して電気信号に変換する撮像部と、前記撮像部で変換された電気信号に応じた電荷を蓄積する電荷蓄積部と、前記電荷蓄積部の蓄積電荷に応じた２値データを記憶する撮像データ記憶部と、前記撮像部で撮像を行う場合に用いられる、複数の前記表示素子からなるブロックの表示形態を示す複数の基準パターンを記憶する基準パターン記憶部と、前記撮像部の撮像結果に近似した基準パターンを前記基準パターン記憶部から複数種類選択する基準パターン選択部と、前記基準パターン選択部で選択された基準パターンそれぞれの明暗を反転させた基準パターンを前記表示素子にて表示させた状態で、前記撮像部にて繰返し撮像を行った結果に基づいて、撮像画像に対応するデジタル画像を生成する画像データ生成手段と、を備える。
【００１２】
【発明の実施の形態】
以下、本発明に係る表示装置について、図面を参照しながら具体的に説明する。
図１は本発明に係る表示装置の第１の実施形態の概略構成図であり、画像取込み機能を有することを特徴としている。図１の表示装置は、ガラス基板３１と半導体基板３２とで構成されている。ガラス基板３１上には、信号線及び走査線が列設される画素アレイ部１と、信号線を駆動する信号線駆動回路２と、走査線を駆動する走査線駆動回路３と、画像を取り込んで出力する検出回路＆出力回路４とが設けられている。これらの回路は、例えばポリシリコンＴＦＴにより形成されている。信号線駆動回路２は、デジタル画素データを表示素子の駆動に適したアナログ電圧に変換するＤ／Ａ変換回路を含む。Ｄ／Ａ変換回路は公知のものを用いる。半導体基板３２上には、表示制御及び画像取込制御を行うロジックＩＣ３３が実装されている。ガラス基板３１と半導体基板３２とは、例えばＦＰＣを介して各種信号の送受を行う。
【００１３】
図２は画素アレイ部１の一部を詳細に示したブロック図である。図２の画素アレイ部１は、縦横に列設される信号線及び走査線の各交点付近に形成される画素ＴＦＴ１１と、画素ＴＦＴ１１の一端とＣｓ線との間に接続される液晶容量Ｃ１及び補助容量Ｃ２と、各画素ＴＦＴ１１ごとに２個ずつ設けられる画像取込み用のセンサ１２ａ，１２ｂとを有する。センサ１２ａ，１２ｂは、不図示の電源線及び制御線に接続されている。
【００１４】
図２では、画像取込みの解像度を上げるために各画素ごとに２個のセンサ１２ａ，１２ｂを設ける例を示しているが、センサの数に特に制限はない。
【００１５】
図３は図２の一部を詳細に示した回路図である。図３に示すように、センサ１２ａ，１２ｂはそれぞれフォトダイオードＤ１，Ｄ２とセンサ切替用トランジスタＱ１，Ｑ２とを有する。フォトダイオードＤ１，Ｄ２は、受光した光の光量に応じた電気信号を出力する。センサ切替用トランジスタＱ１，Ｑ２は、１画素内の複数のフォトダイオードＤ１，Ｄ２のいずれか一つを交互に選択する。
【００１６】
各画素は、２つのセンサ１２ａ，１２ｂと、同一画素内の２つのセンサ１２ａ，１２ｂで共用されるキャパシタＣ３と、キャパシタＣ３の蓄積電荷に応じた２値データを格納するバッファ１３と、バッファ１３への書込み制御を行うトランジスタＱ３と、バッファ１３及びキャパシタＣ３を初期化するリセット用トランジスタＱ４とを有する。
【００１７】
バッファ１３は、スタティックＲＡＭ（ＳＲＡＭ）で構成され、例えば、図４に示すように、直列接続された２つのインバータＩＶ１，ＩＶ２と、後段のインバータＩＶ２の出力端子と前段のインバータＩＶ１の入力端子との間に配置されるトランジスタＱ５と、後段のインバータの出力端子に接続される出力用トランジスタＱ６とを有する。
【００１８】
信号ＳＰＯＬＢがハイレベルのときに、トランジスタＱ５はオンし、２つのインバータＩＶ１，ＩＶ２は保持動作を行う。信号ＯＵＴｉがハイレベルのときに、保持しているデータが検出線に出力される。
【００１９】
本実施形態の表示装置は、通常の表示動作を行うこともできるし、スキャナと同様の画像取込みを行うこともできる。通常の表示動作を行う場合は、トランジスタＱ３はオフ状態に設定され、バッファ１３には有効なデータは格納されない。この場合、信号線には、信号線駆動回路２からの信号線電圧が供給され、この信号線電圧に応じた表示が行われる。
【００２０】
一方、画像取込みを行う場合は、図５に示すようにアレイ基板２１の上面側に画像取込み対象物（例えば、紙面）２２を配置し、バックライト２３からの光を対向基板２４とアレイ基板２１を介して紙面２２に照射する。紙面２２で反射された光はアレイ基板２１上のセンサ１２ａ，１２ｂで受光され、画像取込みが行われる。
【００２１】
取り込んだ画像データは、図３に示すようにバッファ１３に格納された後、検出線を介して、図１に示すロジックＩＣ３３に送られる。このロジックＩＣ３３は、本実施形態の表示装置から出力されるデジタル信号を受けて、データの並び替えやデータ中のノイズの除去などの演算処理を行う。
【００２２】
図６は図１に示したロジックＩＣ３３の内部構成を示すブロック図である。図６に示すように、ロジックＩＣ３３は、画素アレイ部１への表示制御を行う表示制御部４１と、センサ１２ａ，１２ｂの画像取込制御を行う画像取込制御部４２と、ロジックＩＣ３３全体の制御を行うＣＰＵ４３と、ＣＰＵ４３が作業用に利用するメインメモリ４４とを有する。
【００２３】
画像取込制御部４２は、図３の検出線上の撮像データを一時的に格納するバッファメモリ４５と、画像取込用の制御信号を生成する制御信号発生回路４６とを有する。ＣＰＵ４３は、バッファメモリに格納された撮像データに基づいて取込画像の画像処理を行って表示用の画像データを生成する。
【００２４】
表示制御部４１は、ＣＰＵ４３が生成した表示用の画像データを一時的に格納するバッファメモリ４７と、図１の信号線駆動回路２と走査線駆動回路３の動作タイミングを制御する制御信号を生成する制御信号発生回路４８とを有する。
【００２５】
画像取込みを行う場合、予め各画素のキャパシタＣ３に初期電荷を蓄積しておく。センサ１２ａ，１２ｂが白っぽい画像を取り込むと、センサ１２ａ，１２ｂに電流が流れ、そのセンサ１２ａ，１２ｂに対応するキャパシタＣ３の電荷が放電して、キャパシタＣ３の両端電圧が低下する。一方、センサ１２ａ，１２ｂが黒っぽい画像を取り込むと、センサ１２ａ，１２ｂにはあまり電流は流れず、キャパシタＣ３の両端電圧はほとんど変化しない。
【００２６】
したがって、キャパシタＣ３の両端電圧を検出することにより、取込画像の濃淡を判断することができる。本実施形態では、キャパシタＣ３の両端電圧をＳＲＡＭからなるバッファ１３に一時的に格納する。このバッファ１３は、キャパシタＣ３の両端電圧がＳＲＡＭの初段のインバータのしきい値電圧以上であれば「１」と判断し、しきい値未満であれば「０」と判断する。
【００２７】
ところが、センサ１２ａ，１２ｂによる光リーク電流はばらつきがは微弱であるため、キャパシタＣ３の両端電圧にはばらつきが生じやすく、また、ＳＲＡＭを構成するトランジスタのしきい値電圧もばらつくため、同じ画像を取り込んでも、場合によって、「１」と判断されたり、「０」と判断されたりする。このようなばらつきは、取込画像のノイズとなって現れる。市販のスキャナなどに良く用いられるシリコンウェハー上に形成される光電変換素子の電流ばらつきと比べて、表示装置のアレイ基板に用いるガラス基板などの絶縁基板上に形成される光電変換素子は、電流ばらつきが大きくなる。後者は、面積が大きく、プロセス温度も低い（基板の耐熱温度に制約される）ため、均一形成が難しい。従って、表示装置特有のばらつき補償手段がなんらかの形で必要となる。また、撮像対象の微妙な階調を再現できることが望ましいが、上記ばらつきにより阻害される。以下では、特性ばらつきの大きいトランジスタおよびリーク電流ばらつきのある光電変換素子で構成されるセンサ回路でありながら、ノイズを少なくできる、あるいは、階調表示を再現することができる手段および構成を説明する。
【００２８】
図６に示すＣＰＵ４３は、センサ１２ａ，１２ｂによる撮像条件を変えて複数回にわたって画像取込みを行い、これら複数回の画像取込みの結果に基づいて、最終的な取込画像データを生成する。具体的には、図７に示すように、キャパシタＣ３への印加電圧Ｖｐｒｃを４通りに変化させて、各電圧ＶｐｒｃをキャパシタＣ３に印加した状態でそれぞれ画像取込みを行うための制御信号をガラス基板に供給する。また、ガラス基板から出力される画像取り込みの結果のデジタルデータの演算処理を行う。ガラス基板に入力する信号（デジタル画素データ、制御クロック、制御信号）も、ガラス基板から出力される信号もデジタル信号（撮像結果に基づくデジタル信号）であるから、図６に示す表示制御部と画像取り込み制御部はワンチップ半導体上に形成することが容易である。仮にガラス基板上にＤ／Ａ変換回路が無い場合は、表示制御部に増幅回路（アナログ回路）が必要となり、ワンチップ化は高コストになってしまうのに比べ有利な構成である。また、近年の半導体製造プロセスの微細化進展・集積度向上に伴い、図６のＣＰＵおよびメインメモリも、表示制御部と画像取り込み制御部とワンチップ化してしまうことも容易である。
【００２９】
図８はＣＰＵ４３の処理動作の一例を示すフローチャートである。まず、ＣＰＵ４３は、各画素ごとに設けられる図３のキャパシタＣ３の一端に電圧Ｖｐｒｃ＝３．５Ｖ（ＳＲＡＭの初段インバータの閾値に比較的近い値。インバータの閾値は電源電圧（５Ｖ）の半分の２．５Ｖを中心にばらつく。）を印加して、このキャパシタＣ３に初期電荷を蓄積する（ステップＳ１）。
【００３０】
次に、１回目の画像取込みを行う（ステップＳ２）。この場合、画像の白い部分、あるいは、白に近いグレーを読み取ったセンサ１２ａ，１２ｂには電流が流れ、キャパシタＣ３の初期電荷が放電して、キャパシタＣ３の両端電圧が低下する。一方、画像の黒い部分を読み取ったセンサ１２ａ，１２ｂには電流が流れないため、キャパシタＣ３の両端電圧はほとんど変化しない。
【００３１】
ステップＳ２では、キャパシタＣ３の両端電圧がＳＲＡＭの初段のインバータのしきい値電圧より高い場合には、その画素は黒であると判断する。すなわち、まず、取込画像の中で、黒色の部分だけをステップＳ２で抽出し、抽出された画素を黒色の画素値として確定し、その他の画素を白色の画素値として、メインメモリ４４に格納する（ステップＳ３）。キャパシタＣ３のプリチャージ電圧がＳＲＡＭの初段インバータの閾値電圧に比較的近い電圧としているため、センサ部に対向する画像の部分が多少なりとも白よりだと、幾ばくかのリーク電流が生じ、キャパシタＣ３の電位は、ＳＲＡＭの初段インバータの閾値電圧より下回る確立が高くなる。逆にいえば、この状態で、Ｃ３の電圧がインバータの閾値電圧より上のままであり続けるということは、対応する画像の部分はまず間違いなく黒と判断してよいということになる。
【００３２】
例えば、図９は名刺（白地に黒文字）の画像を取り込んだ例であり、図９（ａ）はステップＳ１〜Ｓ３で得られる取込画像を示している。ステップＳ３では、よっぽど黒っぽい画素のみを黒として検出するため、図９（ａ）のように、全体的に白っぽくて、文字が多少かすれた画像が得られる。
【００３３】
次に、キャパシタＣ３の一端に電圧Ｖｐｒｃ＝４Ｖを印加して、このキャパシタＣ３に初期電荷を蓄積し（ステップＳ４）、２回目の画像取込みを行う（ステップＳ５）。この場合、１回目よりもわずかに白っぽい画素まで、黒と判断される可能性がある。
【００３４】
２回目の画像取込みが終わると、１回目が白色で、２回目が黒色と判断された画素を抽出し、抽出画素の周囲８画素の１回目の画素値の平均値を計算し、この平均値を抽出画素の画素値とする（ステップＳ６）。
【００３５】
図９（ｂ）はステップＳ４〜Ｓ６で得られる取込画像を示している。図９（ａ）よりもわずかに白っぽい画像も黒と判断するため、図９（ａ）よりも全体的に黒っぽい画像が得られる。
【００３６】
このステップＳ６では、例えば、図１０の斜線部で示す画素が抽出画素であるとすると、その周囲８画素の画素値Ｇ１〜Ｇ８の平均値（Ｇ１＋…＋Ｇ８）／２を抽出画素の画素値とする。Ｇ１〜Ｇ８が全て白ならば、画素値は白となるが、Ｇ１〜Ｇ８に白、黒がいくつかづつあると、画素値は中間調となる。
【００３７】
次に、キャパシタＣ３の一端に電圧Ｖｐｒｃ＝４．５Ｖを印加して、このキャパシタＣ３に初期電荷を蓄積し（ステップＳ７）、３回目の画像取込みを行う（ステップＳ８）。この場合、２回目よりもわずかに白っぽい画素まで、黒と判断される可能性がある。
【００３８】
図９（ｃ）はステップＳ７〜Ｓ９で得られる取込画像を示している。図９（ｂ）よりもわずかに白っぽい画像も黒と判断するため、図９（ｂ）よりも全体的に黒っぽい画像が得られる。
【００３９】
３回目の画像取込みが終わると、２回目が白色で、３回目が黒色と判断された画素を抽出し、抽出画素の周囲８画素の１回目の画素値の平均値を計算し、この平均値を抽出画素の画素値とする（ステップＳ９）。
【００４０】
次に、キャパシタＣ３の一端に電圧Ｖｐｒｃ＝５Ｖを印加して、このキャパシタＣ３に初期電荷を蓄積し（ステップＳ１０）、４回目の画像取込みを行う（ステップＳ１１）。この場合、３回目よりもわずかに白っぽい画素まで、黒と判断される可能性がある。
【００４１】
図９（ｄ）はステップＳ１０〜Ｓ１２で得られる取込画像を示している。図９（ｃ）よりもわずかに白っぽい画像も黒と判断するため、図９（ｃ）よりも全体的に黒っぽい画像が得られる。
【００４２】
４回目の画像取込みが終わると、３回目が白色で、４回目が黒色と判断された画素を抽出し、抽出画素の周囲８画素の１回目の画素値の平均値を計算し、この平均値を抽出画素の画素値とする（ステップＳ１２）。
【００４３】
ステップＳ１２の処理を行った結果として得られる画像は、図１１に示すものになり、中間調まで表現でき、かつノイズも除去できることがわかる。
【００４４】
図１２は「Ｔ」の文字を含む画像の一例を示す図、図１３は図１２の点線行の画像取込みを行った結果を示す図である。図示のように、１回目の画像取込時には、画素Ｐ７のみが「Ｈ」になる。したがって、この時点では、画素Ｐ７のみ、黒色と決定され、画素Ｐ７には黒色の画素値が割り当てられる。
【００４５】
次に、２回目の画像取込みを行うと、画素Ｐ９が新たに「Ｈ」となる。したがって、その周囲８画素の前回の画素値（この場合、すべて白色の画素値）の平均値を画素Ｐ９の画素値とする。
【００４６】
次に、３回目の画像取込みを行うと、画素Ｐ４が新たに「Ｈ」となる。したがって、その周囲８画素の前回の画素値（この場合、すべて白色の画素値）の平均値を画素Ｐ４の画素値とする。
【００４７】
次に、４回目の画像取込みを行うと、すべての画素Ｐ１〜Ｐ１５が「Ｈ」になる。したがって、残りの全画素Ｐ１〜Ｐ３、Ｐ５、Ｐ６、Ｐ８、Ｐ９、Ｐ１１〜Ｐ１５について、その周囲８画素の前回の画素値の平均値に基づいて画素値を決定する。
【００４８】
このような手法で、図１２の全ラインについて図８の処理を行うと、最終的に図１４のような画像が得られる。図１４を見ればわかるように、画像取込み時のノイズを除去できるとともに、中間色まで再現できる。
【００４９】
本実施形態では、図８のフローチャートで示したように、撮影条件を変えて複数回（回数は多いほど、画像再現の精度が高くなる。）画像取込みを行い、各回の画像取込結果に基づいて最終的な取込画像を決定するため、各回の画像取込み結果を記憶しておく必要がある。例えば、図１５に示すように、各回の画像取込み結果をメインメモリ４４に格納しておくようにすると、必要なメモリ容量が多くなる。セット全体の小型化の要求の強い、携帯電話などの小型情報端末への適用を考えると、限られた計算資源で可能な演算処理が望ましい。計算資源の例として、ＣＰＵが計算を行うためのデータを保持するためのメモリがあげられる。
【００５０】
このため、本実施形態では、画像取込制御部４２内にバッファメモリ４５を設け、このバッファメモリ４５に１回分の画像取込み結果を格納しておき、この画像取込み結果をメインメモリ４４に転送する。ＣＰＵ４３は、図８のフローチャートに従ってメインメモリ４４のデータを利用して１回分の処理を行い、その処理結果をメインメモリ４４の他の記憶領域に格納する。その間に、バッファメモリ４５は次の回の画像取込み結果を格納する。以後、同様の動作を繰り返すことにより、最終的な取込画像が得られる。
【００５１】
この場合、図１６に示すように、メインメモリ４４には、１回分の画像取込み結果のみが格納されるので、メインメモリ４４の容量を削減できる。
【００５２】
このように、本実施形態では、撮影条件を変えて複数回画像取込みを行った結果に基づいて、最終的な取込画像を決定するため、センサ１２ａ，１２ｂの特性ばらつきやＳＲＡＭのしきい値電圧のばらつき等の影響を受けずに画像取込みを行うことができ、ノイズが少なく、中間調まで再現できる取込画像が得られる。
【００５３】
上述した実施形態では、複数の撮影条件として、キャパシタＣ３に印加する電圧を変える例を説明したが、キャパシタＣ３に印加する電圧を変える代わりに、画像取込みを行う時間を各撮影条件ごとに変えてもよい。あるいは、液晶の透過率を変えても良い。条件のバリエーションの具体的な例を図９に示したが、他にも同様の趣旨でのバリエーションが可能である。
【００５４】
また、キャパシタＣ３に印加する電圧を変えるとともに、画像取込みを行う時間を変化させてもよい。この場合、撮影条件の数をより増やすことができる。
【００５５】
（第２の実施形態）
撮像対象の濃淡は必ずしも一様ではなく、場所によって黒の密度が異なる。例えば、図１７（ａ）の「東芝松下ディスプレイ」という文字をセンサで撮像する場合、図１７（ｂ）のような撮像結果が得られる。図示のように、「東」という文字は他の文字よりも黒の密度が高いため、黒くつぶれてしまう。逆に、「レ」や「イ」という文字は黒の密度が低いため、ほとんど線が消えかかっている。
【００５６】
このように、黒の密度の高い文字が黒つぶれするのは、周囲の白色紙面／ガラス基板界面での多重反射光が入射しにくいためであり、逆に黒の密度が低い文字の線が消えかかるのは、多重反射光が余計に入射して黒線幅が細くなるためである。
【００５７】
そこで、以下に説明する第２の実施形態では、撮像対象の部分的な黒密度のばらつきを考慮に入れて画像取込みを行うことを特徴とする。その際、単なるセンサアレイと異なり、表示装置に一体化されていることを積極的に利用して、センサ等の特性ばらつきを各画素の輝度を調節することによって補償する。
【００５８】
図１８は本発明に係る表示装置の第２の実施形態の全体構成を示すブロック図である。図１８の表示装置は、画素アレイ部１と駆動回路の一部が形成されたガラス基板３１と、このガラス基板３１にフレキシブルケーブル（ＦＰＣ）５１で接続された制御回路基板５２とを備えている。
【００５９】
ガラス基板３１上には、画素ＴＦＴ１１及び画像読取用センサ１２が列設された画素アレイ部１と、信号線を駆動する信号線駆動回路２と、走査線を駆動する走査線駆動回路３と、センサ１２を制御するセンサ制御回路５３と、センサ１２の撮像結果を出力する信号処理出力回路５４とが形成されている。ガラス基板３１上の各回路は、例えばポリシリコンＴＦＴにより形成される。
【００６０】
制御回路基板５２上には、ガラス基板３１上の各回路を制御するコントロールＩＣ５５と、画像データ等を記憶するメモリ５６と、ガラス基板３１及び制御回路基板５２で使用する各種の直流電圧を出力する電源回路５７とが実装されている。なお、コントロールＩＣ５５とは別個にＣＰＵを設けてもよいし、メモリ５６や電源回路５７をコントロールＩＣ５５と一体化してもよいし、ディスクリート部品を制御回路基板５２上に実装してもよい。
【００６１】
図１９は、ガラス基板３１上の信号線駆動回路２、走査線駆動回路３、センサ制御回路５３及び信号処理出力回路５４と、制御回路基板５２上のコントロールＩＣ５５及びメモリ５６との接続関係を示すブロック図である。
【００６２】
図示のように、コントロールＩＣ５５の内部には、表示制御部４１、画像取込制御部４２及びＣＰＵが内蔵されている。表示制御部４１は、信号線駆動回路２及び走査線駆動回路３に対して、デジタル画素データと、同期信号やクロック信号等の制御信号とを送信する。画像取込制御部４２はセンサ制御回路５３及び信号処理出力回路５４に対して制御信号を送信し、信号処理出力回路５４からの撮像データ及び必要に応じて撮像データの位置を明示するための同期信号を受信する。表示制御部４１の内部にはバッファメモリ４７及び制御信号発生回路４８が設けられ、画像取込制御部４２の内部にもバッファメモリ４５及び制御信号発生回路４６が設けられている。
【００６３】
図２０はガラス基板３１の詳細構成を示すブロック図である。本実施形態の画素アレイ部１は、水平方向３２０画素×垂直方向２４０画素の表示解像度を有する。画素は水平方向に赤、青、緑の部分に分割され、それぞれごとに信号線が設けられる。信号線の総数は、３２０×３＝９６０本で、走査線の総数は２４０本である。
【００６４】
走査線駆動回路３は、２４０段のシフトレジスタ６１と、ＳＨＵＴ（誤動作防止回路）６２と、レベルシフタ６３と、マルチプレクサ（ＭＵＸ回路）６４と、バッファ６５とを有する。
【００６５】
信号処理出力回路５４は、９６０個のプリチャージ回路６６と、３選択デコーダ６７と、３２０段のシフトレジスタ６８と、８個の出力バッファ６９とを有する。
【００６６】
図２１は走査線駆動回路３の詳細構成を示す回路図である。図２１で特徴的な部分は、レベルシフタ６３の後段にＭＵＸ回路６４を設けたことである。このＭＵＸ回路６４は、走査線を１ラインごとにオンするか、全走査線を同時にオンするかを切り替える。全走査線を同時にオンするのは、センサ１２による撮像結果を格納するキャパシタＣ３に初期電荷を蓄積するためである。
【００６７】
このように、ＭＵＸ回路６４を設けることにより、キャパシタＣ３に初期電荷を蓄積するか否かを切り替える専用のＴＦＴが不要となり、回路規模を削減できる。
【００６８】
図２２は信号処理出力回路５４の詳細構成を示すブロック図である。図２２の信号処理出力回路５４は、同期信号を出力する同期信号発生回路７１と、１２０本の信号線から供給される撮像データを１本のシリアルデータに変換する８つのＰ／Ｓ変換回路７２と、各Ｐ／Ｓ変換回路７２から出力されたシリアルデータをバッファリングする出力バッファ７３と、撮像データの平均階調を検出するカウンタ７４とを有する。ここで「平均階調」とは、出力データの階調を複数画素にわたって平均したものをいう。最終的に２５６階調の画像を構成しようとする場合、１０画素中５画素が白、残り５画素が黒のデータの場合、平均階調は、２５６［階調］ｘ５［画素］／１０［画素］＝１２８［階調］とする。
【００６９】
図２３は同期信号発生回路７１の詳細構成を示すブロック図である。図２３の同期信号発生回路７１は、ＮＡＮＤゲート７５及びクロック制御されるＤ型Ｆ／Ｆ７６を有し、Ｄ型Ｆ／Ｆ７６の後段には出力バッファ７３が接続されている。絶縁基板上に形成されるＮＡＮＤゲート等の組み合わせ回路のみでは、ＴＦＴの特性ばらつきのため出力データに対する位相ばらつきが大きくなり、同期信号の役割を果たせないことがある。そこで図２３のように絶縁基板上のクロックによって制御されるＤ型Ｆ／Ｆを設けることによって、絶縁基板上のクロックとの位相差を小さくすることが好ましい。
【００７０】
図２４はＰ／Ｓ変換回路７２の詳細構成を示すブロック図である。図２４のＰ／Ｓ変換回路７２は、３入力１出力のデコーダ７７と、ラッチ７８と、４０段のシフトレジスタ７９とを有する。デコーダ７７は、図２５のような回路で構成される。ラッチ７８は、図２６のような回路で構成される。シフトレジスタの制御に用いるクロックは図２３のＤ型Ｆ／Ｆの制御に用いるクロックと共通化とすることによって、データと、同期信号との位相差を小さくすることができる。
【００７１】
図２７は出力バッファ７３の詳細構成を示すブロック図である。図示のように、複数のバッファ（インバータ）８０を縦続接続して構成される。後段のバッファほど、各インバータを構成するＴＦＴのチャネル幅を大きくして必要な外部負荷（フレキシブルケーブル（ＦＰＣ）５１等）駆動力を確保する。
【００７２】
図２８は画素アレイ部１の１画素分の詳細回路図、図２９はガラス基板３１上の１画素分のレイアウト図である。図示のように、１画素は、ＲＧＢの３つの副画素８１ｒ，８１ｇ，８１ｂからなり、各副画素は、画素ＴＦＴ１１と、補助容量Ｃｓに電荷を蓄積するか否かを制御する表示制御ＴＦＴ８２と、画像取込センサ１２と、センサ１２の撮像結果を格納するキャパシタＣ３と、キャパシタＣ３の蓄積電荷に応じた２値データを格納するＳＲＡＭ８３と、キャパシタＣ３に初期電荷を蓄積するための初期化用ＴＦＴ８４と、ＳＲＡＭ８３のデータ保持用ＴＦＴ８５とを有する。ここで、各画素の輝度は、補助容量Ｃｓに蓄積された電荷に基づいて決まる画素電極電位と、対向基板上に形成されたコモン電極の電位との差によって階調制御される。
【００７３】
キャパシタＣ３の初期化を行う場合は、画素ＴＦＴ１１と初期化用ＴＦＴ８４をオンする。表示素子の輝度を設定するためのアナログ電圧（アナログ画素データ）を補助容量Ｃｓに書き込む場合は、画素ＴＦＴ１１と表示制御ＴＦＴ８２をオンする。ＳＲＡＭ８３のデータ保持（リフレッシュ）を行う場合は、初期化用ＴＦＴ８４とデータ保持用ＴＦＴ８４をオンする。ＳＲＡＭ８３に格納された撮像データを信号線に供給する場合は、画素ＴＦＴ１１とデータ保持用ＴＦＴ８５をオンする。
【００７４】
図３０は本実施形態の表示装置の動作を説明する図である。通常の表示を行う場合には、モードｍ１の動作を行う。一方、センサ１２による画像取込を行う場合は、まずモードｍ１の動作を行い全画素の輝度を所定値に設定する。次にモードｍ２で全画素のキャパシタＣ３のプリチャージ（初期電荷の蓄積）を行う。次に、モードｍ３で１画面分の赤色成分の画像取込を行う。次に、モードｍ４で１画面分の緑色成分の画像取込を行う。そして最後に、モードｍ５で１画面分の青色成分の画像取込を行う。
【００７５】
図３１〜図３３はモードｍ１〜ｍ５の動作タイミング図である。以下、これらの図を用いてモードｍ１〜ｍ５の動作タイミングを順に説明する。
【００７６】
モードｍ１では、図３１の時刻ｔ１〜ｔ２に示すように、走査線駆動回路３は走査線を順に駆動し、そのタイミングに合わせて、信号線駆動回路２は各水平ラインごとに信号線にアナログ画素データを供給して画素表示を行う。アナログ画素データは、コントロールＩＣ５５から出力されるデジタル画素データを公知のＤ／Ａ変換回路によって変換して得る。Ｄ／Ａ変換回路は公知の技術（特開２０００−３０５５３５等）によってガラス基板上に信号線駆動回路として薄膜形成する。
【００７７】
モードｍ２では、図３２の時刻ｔ３に示すように、走査線駆動回路３はすべての走査線を同タイミングで駆動する。全画素のセンサ容量Ｃ３にプリチャージ電圧（５Ｖ）が蓄積される。時刻ｔ４で初期化用ＴＦＴ８４とデータ保持用ＴＦＴ８５がともにオンし、ＳＲＡＭ８３はリフレッシュ動作を行う。時刻ｔ３から時刻ｔ４の間にセンサ容量Ｃ３のプリチャージが完了していなくても、ＳＲＡＭ８３のリフレッシュ動作により、全てのセンサ容量Ｃ３のプリチャージ電圧がＳＲＡＭの電源電圧（５Ｖ）に揃う。
【００７８】
モードｍ３では、図３２の時刻ｔ５〜ｔ６に示すように、各水平ラインごとに赤色成分の撮像データが信号線に供給される。各信号線に供給された赤色成分の撮像データは、図２２に示すＰ／Ｓ変換回路７２でシリアルデータに変換されて、８本のデータ線で外部に出力される。
【００７９】
モードｍ４では、図３３の時刻ｔ７に示すように、各水平ラインごとに緑色の撮像データが信号線に供給される。モードｍ５では、図３３の時刻ｔ８に示すように、各水平ラインごとに青色の撮像データが信号線に供給される。
【００８０】
図１８のコントロールＩＣ５５は、３２０画素×２４０画素の表示領域を、図３４に示すように４０画素×３０画素からなるブロック単位に分割し（水平方向８ブロック×垂直方向８ブロックが形成される）、各ブロックごとに表示輝度を個別に設定した状態で、センサ１２による撮像を行う。これは本発明の特徴のひとつである。従来のＣＭＯＳイメージセンサと異なり、単にセンサを形成しただけではなく、各画素ごとの輝度制御手段を撮像時に積極的に活用することによって、センサやＴＦＴ特性の面内ばらつきを補償し、撮像画面の高品質化（均一性確保等）を図ることができる。
【００８１】
図３５は図１８のコントロールＩＣ５５が行う処理動作の一例を示すフローチャートである。まず、各ブロックが所定の基準輝度（例えば、最大輝度の８０％）になるように各ブロックの画素表示を行いながら、撮像時間を変化させて、複数回の撮像を行う（ステップＳ２１）。ここでは、例えば、撮像時間を１０ｍｓｅｃ〜５０ｍｓｅｃまで５ｍｓｅｃ単位で切替ながら９回撮像（試行撮像）を行う。
【００８２】
次に、試行撮像結果に基づいて（撮像時間対平均階調のグラフの内挿によって）各ブロックごとに、ブロック内の平均階調が略中央値（２５６階調の場合は、１２８階調の値）になるような撮像時間ｔ（ｍ，ｎ）を求める（ステップＳ２２）。ｔ（ｍ，ｎ）はセンサのリーク電流ばらつき、ＴＦＴの特性ばらつき、撮像対象の光反射特性、撮像対象の色、図形や文字などの線分の密度分布などによって様々に変化する。
【００８３】
図３６に示すように、撮像時間を変えることで、平均階調は大きく変化するため、上述したステップＳ２２では、ブロックごとに最適な撮像時間を求める。
【００８４】
次に、求めた撮像時間ｔ（ｍ，ｎ）が基準時間（例えば、３０ｍｓｅｃ）未満か否かをブロックごとに判定する（ステップＳ２３）。基準時間未満のブロックについては、表示輝度Ｙを基準輝度（例えば、最大輝度の８０％）よりも低くし（ステップＳ２４）、基準時間以上のブロックについては、表示輝度Ｙを基準輝度以上にする（ステップＳ２５）。つまり、最適な撮像時間のばらつきを表示素子の輝度（撮像対象に照射する光量）で補償するのである。このような補償方法は従来のＣＭＯＳイメージセンサの技術の延長にはない。なお、撮像時間をブロックごとに変えるのは制御が複雑となり実用的でない。
【００８５】
より具体的には、例えば、以下の（１）式に基づいて、各ブロックの表示輝度Ｙを設定する。ただし、ｍは行、ｎは列を表している。
【００８６】
【数１】
2004159273.tif 000003
（１）の計算結果が１００％を超える場合には、Ｙ（ｍ，ｎ）  ＝  １００％とする。なお、式（１）は例であって、表示素子の特性、センサの特性、撮像対象の特性に応じて変形すべきである。要は最適撮像時間のばらつきを表示輝度で保証するようなものであればよい。
【００８７】
次に、撮像時間を例えば０．５ｍｓｅｃ刻みで変えながら、撮像時間１０ｍｓｅｃ〜５０ｍｓｅｃまで８１枚の撮像を行う（ステップＳ２６；本撮像）。
【００８８】
次に、８１枚の撮像結果の平均値を計算し、最終的な撮像データを得る（ステップＳ２７）。例えば、図３７はステップＳ２７で得られる撮像データの一例を示している。このとき、撮像時間を同じ間隔で変えながら撮像を行うのではなく、図３７及び図３８に示すように３０ｍｓｅｃ付近の撮像を多めに行うなどの重み付けを行って、例えば、８１枚より少ない回数の撮像結果を用いて平均値を計算してもよい。全体の処理時間を短縮できる。あるいは、平均値を計算する際に、各撮像結果に重み付けをしてもよい。
【００８９】
図３５のような処理を行うことで、図３４に示すように撮像対象に黒密度のばらつきがあっても、図３９に示すように、部分的な黒つぶれやかすれのない良好な撮像結果が得られる。
【００９０】
このように、第２の実施形態では、撮像対象の黒密度を事前に（試行撮像によって）調べて、撮像対象に適した表示輝度をブロック単位で設定した状態で、センサ１２による撮像を行うため、部分的な黒つぶれやかすれのない、均一な画質の撮像画像が得られる。
【００９１】
本実施形態では、撮像対象の黒密度の分布の偏りに起因する撮像結果の黒つぶれを解決する手法を説明したが、センサのリーク電流の偏りやＴＦＴの特性ばらつきの偏り等に起因する撮像結果の画質劣化の解決手段としても、同様の効果を奏する。
【００９２】
また、試行撮像の後の本撮像の動作を次のような手順で行ってもよい。
（Ｒ１）図３０のモードｍ１を行い、液晶の表示を全面赤表示にする。但し試行撮像に基づいて各ブロックごとに階調は変化させる。
（Ｒ２）モードｍ２を行い、全てのセンサ容量のプリチャージを行う。
（Ｒ３）モードｍ３，ｍ４，ｍ５を行い、赤信号線、緑信号線及び青信号線に属すする画素の撮像データも出力する。
（Ｇ１）モードｍ１を行い、液晶の表示を全面緑表示にする。但し試行撮像に基づいて各ブロックごとに階調は変化させる。
（Ｇ２）モードｍ２を行い、全てのセンサ容量のプリチャージを行う。
（Ｇ３）モードｍ３，ｍ４，ｍ５を行い、赤信号線、緑信号線及び青信号線に属すする画素の撮像データも出力する。
（Ｂ１）モードｍ１を行い、液晶の表示を全面青表示とする。但し試行撮像に基づいて各ブロックごとに階調は変化させる。
（Ｂ２）モードｍ２を行い、全てのセンサ容量のプリチャージを行う。
（Ｂ３）モードｍ３，ｍ４，ｍ５を行い、赤信号線、緑信号線及び青信号線に属すする画素の撮像データも出力する。
【００９３】
一見、表示を全面赤として撮像を行う際、緑画素及び青画素のセンサのデータは無意味と思い込みやすいがそうではない。とくに光源（液晶層の背面に設けるバックライトの光が拡散光であり撮像面にいろいろな角度から光が照射されるような場合で、かつ、図５のように液晶セルの観察面側にセンサアレイが配置される構成の場合に意義がある。従来の密着ＣＭＯＳイメージセンサと異なり、センサは撮像対象と密着できず、ｄ（ガラス基板厚＋偏光板などの光学フィルム厚）程度（０．２乃至０．７ｍｍ）は離れる。バックライト光は確かに赤画素からのみ発するが、撮像対象での反射光は適当に拡散する。拡散範囲はｄ程度であり画素ピッチはｄ程度かそれより小さい。したがって、緑画素及び青画素のセンサにも撮像対象に基づく光が入射する。上述の（Ｒ１）〜（Ｂ３）の処理を行うことにより、水平方向により高解像度な撮像結果を得ることができる。以下撮像時間を変えながら複数回繰り返して平均化処理する部分は詳述した実施形態と同様なので省略する。
【００９４】
試行撮像では結局、各ブロックごとの平均階調を知れば足りることに着目すると、試行撮像においては、カウンタによる平均階調の計数結果のみブロックごとに出力するように構成してもよい。８個のデータ出力回路を停止して外部負荷駆動するための消費電力を節約することができる。
【００９５】
また、本実施形態ではＳＲＡＭを画素内に設け、▲１▼センサの微弱な電流の増幅、▲２▼撮像後データを出力するまでの間のデータ保持をさせているが、ＳＲＡＭに限定されない。ソースフォロアで▲１▼の電流増幅をしてもよい。撮像後データを出力するまでの間、リークなどのためデータを保持し続けることができない場合は、撮像直後にデータを出力するような制御回路及びシーケンスを用意すればよい。
【００９６】
また、表示画面を区分してブロックごとに撮像時の表示輝度を調節する例を説明したが、対角画面寸法が比較的小さい表示装置（２インチ程度以下の携帯電話向け等）の場合や、センサやＴＦＴの特性のチップ内ばらつきが小さい場合は、画面を分割せずに（分割数＝１として）適用してもよい。その場合さらに、試行撮像と本撮像を分けずに次のように行ってもよい。
【００９７】
すなわち、（１）まず、撮像時間をｔ０＝１０ｍｓｅｃ（どんな撮像対象でも殆どセンサに光リークが生じず、黒つぶれ画面が得られるような時間）で最初の撮像データ出力と、平均階調の計数を行う。最初の撮像データはコントロールＩＣ５５等のメモリに保存する。
【００９８】
（２）ｔ＝ｔ０＋Δｔ（例えばΔｔ＝０．５ｍｓｅｃ）として２回目の撮像をし、平均階調の計数を行う。
【００９９】
（３）平均階調が所定値未満であれば、撮像データを出力することなく、撮像時間をｔ＝ｔ＋２Δｔとして、撮像と平均階調の計数を行う。
【０１００】
（４）計数結果が所定値以上であれば撮像データを出力してコントロールＩＣ５５等のメモリに加算する。
【０１０１】
（５）（２）〜（４）を平均階調が２５６階調程度になるまで撮像時間ｔを適当に増やしながら繰り返す。
【０１０２】
上述した（１）〜（５）によりメモリ上に完成する画像を上述の実施形態で得られるものと同等の高品位な撮像結果と考えることができる。しかも画像演算のためのメモリは１フレーム程度しか要しない。ハード資源に制約のある携帯電話などで特に有効である。
【０１０３】
（第３の実施形態）
第２の実施形態の場合、ブロックごとに表示輝度を設定するため、場合によっては、隣接するブロック同士が著しく表示輝度が異なる場合もありうる。
【０１０４】
図４０は第２の実施形態における各ブロックの表示輝度の一例を示す図であり、横軸はブロックの位置、縦軸は表示輝度を表している。理解がしやすいように、特定の１行に属するブロックを抜き出した。また、図４１は第２の実施形態における隣接する４ブロックの撮像画像を図式化した図である。これらの図に示すように、隣接するブロック同士の表示輝度が不連続に変化している。このため、隣接するブロック同士で輝度差が大きいと、白密度の多い撮像対象を撮像したときに、図４１のような色ムラが起きるおそれがある。たとえば同じ白地のはずなのに、撮像結果は市松状のブロックごとに白さが違って見えてしまうようなことが起こる。
【０１０５】
そこで、第３の実施形態では、各ブロック内の中央画素については、図３５と同様の処理により表示輝度を設定し、中央画素から徐々に表示輝度を変化させ、隣接ブロックの境界付近の輝度差があまり生じないようにする。
【０１０６】
図４２は図４０と同じ条件で撮像を行った場合の第３の実施形態の処理結果を示す図、図４３は第３の実施形態における隣接する４ブロックの撮影画像を図式化した図である。これらの図に示すように、隣接するブロック間で輝度差が大きく変化しなくなる。
【０１０７】
このように、第３の実施形態では、ブロックの中央画素から周辺にかけて徐々に輝度を変化させ、隣接するブロック間で輝度が大きく変化しないようにしたため、ブロック間の輝度差による撮像画像の色ムラがなくなる。
【０１０８】
（第４の実施形態）
第４の実施形態は、センサ１２による撮像結果を、予め用意した基準パターンとパターンマッチングするものである。
【０１０９】
図４４は本発明に係る表示装置の第４の実施形態の概略構成を示すブロック図である。図４４の表示装置は、図１９の構成に加えて、複数の基準パターンを格納する基準パターン格納部８６を備えている。
【０１１０】
図４５は基準パターン格納部に格納されている基準パターンの一例である。各基準パターン１ａ，１ｂ，１ｃ，２ａ，２ｂ，２ｃ，２ｄ，３ａ，３ｂ，３ｃ，３ｄは、８画素×８画素のサイズであり、黒で示した部分がパターンを示している。なお、基準パターンのサイズや種類は図示したものに限定されない。
【０１１１】
図４６は本実施形態のコントロールＩＣ５５が行う処理動作を示すフローチャートである。以下では、仮に図４７のような撮像対象をセンサ１２で撮像した結果、図４８のような撮像データが得られたとして、図４６のフローチャートの処理動作を説明する。
【０１１２】
本実施形態のコントロールＩＣ５５は、センサ１２の撮像データを基準パターン格納部８６に格納されているすべての基準パターンと比較する（ステップＳ３１）。
【０１１３】
図４５の各基準パターンの上部に付された数字は、図４８の撮像データとの不一致画素数である。コントロールＩＣ５５は、不一致画素数の少ない基準パターンをいくつか選択する（ステップＳ３２）。例えば、コントロールＩＣ５５が図４５の４つの基準パターン１ａ，１ｂ，１ｃ，１ｄを選択したとする。
【０１１４】
次に、コントロールＩＣ５５は、選択した基準パターンの明暗を反転させたパターン（図４９の反転パターンｎ１ａ，ｎ１ｂ，ｎ１ｃ，ｎ１ｄ）を生成し（ステップＳ３３）、この反転パターンを画素アレイ部１に順に表示させながら、センサ１２による撮像を繰返し行う（ステップＳ３４）。この場合、図４９の反転パターンｎ１ａ，ｎ１ｂ，ｎ１ｃ，ｎ１ｄの白部分のみ光が透過するため、センサ１２の撮像データは図５０のようになる。撮像データｒ１ａは基準パターン１ａと反転パターンｎ１ａに対応し、撮像データｒ１ｂは基準パターン１ｂと反転パターンｎ１ｂに対応し、撮像データｒ１ｃは基準パターン１ｃと反転パターンｎ１ｃに対応し、撮像データｒ１ｄは基準パターン１ｄと反転パターンｎ１ｄに対応する。
【０１１５】
次に、撮像データの中から、白色画素数がより少ない基準パターンをいくつか選択する（ステップＳ３５）。例えば、図５０の例では、２つの基準パターン１ａ，１ｂを選択する。
【０１１６】
次に、選択した基準パターンに基づいて、最終的な撮像結果を得る（ステップＳ３６）。ここでは、選択した基準パターンと最初に得られた撮像データとを平均化するなどして、図５１に示す最終的な撮像結果を得る。
【０１１７】
このように、第４の実施形態では、予め基準パターンを複数種類用意し、センサ１２による撮像データを基準パターンと比較して最終的な撮像データを生成するため、センサ１２の解像度をあまり高くすることなく、高品質の撮像データが得られる。特に、本実施形態は、形状が予めパターン化されている撮像対象を撮像する場合に特に効果が大きい。
【０１１８】
上述した各実施形態では、本発明に係る表示装置を液晶表示装置に適用した例について説明したが、本発明は、ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｓｅ）表示装置やＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）などの他の表示装置にも適用可能である。
【０１１９】
【発明の効果】
以上詳細に説明したように、本発明によれば、複数の撮影条件で画像取込みを行った結果に基づいて取込画像のデジタル画像データを生成するため、撮像部の特性ばらつき等の影響を受けることなく画像取込みを行うことができ、取込画像の品質を向上できる。また、複数回の画像取り込みおよび演算を行うにもかかわらず、多くの計算資源を要しない。
【０１２０】
また、本発明によれば、表示素子の表示輝度をブロックごとに設定した状態で撮像部による撮像を行うため、撮像対象に部分的な黒密度のばらつきがあっても、黒つぶれやかすれのない高品質の撮像画像が得られる。
【０１２１】
さらに、本発明は、撮像部による撮像結果を、予め用意した基準パターンと比較して、その比較結果に基づいて最終的な撮像データを生成するため、撮像部の解像度を上げなくても、撮像対象に忠実な撮像データが得られる。
【図面の簡単な説明】
【図１】本発明に係る表示装置の第１の実施形態の概略構成図。
【図２】画素アレイ部１の一部を詳細に示したブロック図。
【図３】図２の一部を詳細に示した回路図。
【図４】ＳＲＡＭの内部構成を示す回路図。
【図５】表示装置の断面図。
【図６】図１に示したロジックＩＣの内部構成を示すブロック図。
【図７】キャパシタに印加する電圧を切り替える例を示す図。
【図８】ＣＰＵの処理動作の一例を示すフローチャート。
【図９】名刺の画像を取り込む例を示す図。
【図１０】周囲８画素の平均を取る様子を示す図。
【図１１】図８の処理結果を示す画像の例を示す図。
【図１２】「Ｔ」の文字を含む画像の一例を示す図。
【図１３】図１２の点線行の画像取込みを行った結果を示す図。
【図１４】図１３の画像を取り込んだ結果として最終的に得られる図。
【図１５】各撮影条件での画像取込み結果を別個にメインメモリに格納する例を示す図。
【図１６】メインメモリの容量を削減する例を示す図。
【図１７】（ａ）は撮像対象の一例を示す図、（ｂ）は撮像結果の一例を示す図。
【図１８】本発明に係る表示装置の第２の実施形態の全体構成を示すブロック図。
【図１９】ガラス基板上の信号線駆動回路、走査線駆動回路、センサ制御回路及び信号処理出力回路と、制御回路基板上のコントロールＩＣ及びメモリとの接続関係を示すブロック図。
【図２０】ガラス基板３１の詳細構成の一例を示すブロック図。
【図２１】走査線駆動回路３の詳細構成の一例を示す回路図。
【図２２】信号処理出力回路５４の詳細構成の一例を示すブロック図。
【図２３】同期信号発生回路７１の詳細構成の一例を示すブロック図。
【図２４】Ｐ／Ｓ変換回路７２の詳細構成の一例を示すブロック図。
【図２５】デコーダの内部構成の一例を示す回路図。
【図２６】ラッチの内部構成の一例を示す回路図。
【図２７】出力バッファ７３の詳細構成を示すブロック図。
【図２８】画素アレイ部１の１画素分の詳細回路図。
【図２９】ガラス基板３１上の１画素分のレイアウト図。
【図３０】本実施形態の表示装置の動作を説明する図。
【図３１】モードｍ１の動作タイミング図。
【図３２】モードｍ２，ｍ３の動作タイミング図。
【図３３】モードｍ４，ｍ５の動作タイミング図。
【図３４】ブロック分割を説明する図。
【図３５】図１８のコントロールＩＣ５５が行う処理動作の一例を示すフローチャート。
【図３６】撮像時間と平均階調との関係を示す図。
【図３７】ステップＳ７で得られる撮像データの一例を示す図。
【図３８】平均階調増分を説明する図。
【図３９】本実施形態の撮像結果の一例を示す図。
【図４０】第２の実施形態における各ブロックの表示輝度の一例を示す図。
【図４１】第２の実施形態における隣接する４ブロックの撮像画像を図式化した図。
【図４２】図４０と同じ条件で撮像を行った場合の第３の実施形態の処理結果を示す図。
【図４３】第３の実施形態における隣接する４ブロックの撮影画像を図式化した図。
【図４４】本発明に係る表示装置の第４の実施形態の概略構成を示すブロック図。
【図４５】基準パターン格納部に格納されている基準パターンの一例を示す図。
【図４６】本実施形態のコントロールＩＣ５５が行う処理動作を示すフローチャート。
【図４７】撮像対象の一例を示す図。
【図４８】撮像結果の一例を示す図。
【図４９】反転パターンの一例を示す図。
【図５０】センサの撮像データの一例を示す図。
【図５１】最終的な撮像結果の一例を示す図。
【符号の説明】
１  画素アレイ部
２  信号線駆動回路
３  走査線駆動回路
４  検出回路＆出力回路
１１  画素ＴＦＴ
１２ａ，１２ｂ  センサ
１３  バッファ
２１  アレイ基板
２２  紙面
２３  バックライト
２４  対向基板
３１  ガラス基板
３２  半導体基板
３３  ロジックＩＣ
５２  制御回路基板
５３  センサ制御回路
５４  信号処理出力回路
５５  コントロールＩＣ
５６  メモリ
８６  基準パターン格納部
【図１】
2004159273.tif 000004
【図２】
2004159273.tif 000005
【図３】
2004159273.tif 000006
【図４】
2004159273.tif 000007
【図５】
2004159273.tif 000008
【図６】
2004159273.tif 000009
【図７】
2004159273.tif 000010
【図８】
2004159273.tif 000011
【図９】
2004159273.tif 000012
【図１０】
2004159273.tif 000013
【図１１】
2004159273.tif 000014
【図１２】
2004159273.tif 000015
【図１３】
2004159273.tif 000016
【図１４】
2004159273.tif 000017
【図１５】
2004159273.tif 000018
【図１６】
2004159273.tif 000019
【図１７】
2004159273.tif 000020
【図１８】
2004159273.tif 000021
【図１９】
2004159273.tif 000022
【図２０】
2004159273.tif 000023
【図２１】
2004159273.tif 000024
【図２２】
2004159273.tif 000025
【図２３】
2004159273.tif 000026
【図２４】
2004159273.tif 000027
【図２５】
2004159273.tif 000028
【図２６】
2004159273.tif 000029
【図２７】
2004159273.tif 000030
【図２８】
2004159273.tif 000031
【図２９】
2004159273.tif 000032
【図３０】
2004159273.tif 000033
【図３１】
2004159273.tif 000034
【図３２】
2004159273.tif 000035
【図３３】
2004159273.tif 000036
【図３４】
2004159273.tif 000037
【図３５】
2004159273.tif 000038
【図３６】
2004159273.tif 000039
【図３７】
2004159273.tif 000040
【図３８】
2004159273.tif 000041
【図３９】
2004159273.tif 000042
【図４０】
2004159273.tif 000043
【図４１】
2004159273.tif 000044
【図４２】
2004159273.tif 000045
【図４３】
2004159273.tif 000046
【図４４】
2004159273.tif 000047
【図４５】
2004159273.tif 000048
【図４６】
2004159273.tif 000049
【図４７】
2004159273.tif 000050
【図４８】
2004159273.tif 000051
【図４９】
2004159273.tif 000052
【図５０】
2004159273.tif 000053
【図５１】
2004159273.tif 000054