(57)【特許請求の範囲】
【請求項１】
第１の基板と、
前記第１の基板と対向して配置された、第２の基板と、
前記第１の基板上の、第１のフォトセンサと、
前記第１の基板上の、第２のフォトセンサと、
前記第１の基板側の、第１の遮光膜と、
前記第２の基板側の、第２の遮光膜と、を有し、
前記第１のフォトセンサは、画素にあり、
前記第２のフォトセンサは、前記画素の周辺にあり、
前記第１の基板側に、バックライトを有し、
前記第２の基板側に、被検出物があるとき、
前記第２の遮光膜は、開口部を有し、
前記第１のフォトセンサは、
前記被検出物の影を検出する機能と、
前記バックライトからの光が、前記被検出物によって反射された光を検出する機能と、を有し、
前記第２のフォトセンサは、外光強度を取得する機能を有し、
輝度値に対する画素数のヒストグラムにおける、検出位置を示す第１のピークと、検出位置以外を示す第２のピークとが分離するように、前記取得された外光強度に基づいて、前記第１のフォトセンサが有するフォトダイオードに印加される電圧を変更して、前記第１のフォトセンサの感度を変更させることを特徴とする半導体装置。
【請求項２】
請求項１において、
前記第１のフォトセンサと電気的に接続された、トランジスタを有し、
前記トランジスタは、酸化物半導体を有することを特徴とする半導体装置。
【請求項３】
請求項１において、
前記第１のフォトセンサと電気的に接続された、第１のトランジスタを有し、
画素電極と電気的に接続された、第２のトランジスタを有し、
前記第２のトランジスタと電気的に接続された、容量素子を有し、
前記第１のトランジスタ及び前記第２のトランジスタは、酸化物半導体を有することを特徴とする半導体装置。
【発明の詳細な説明】
【技術分野】
【０００１】
半導体装置および半導体装置の駆動方法に関する。特に、フォトセンサを有する半導体装置とその駆動方法に関する。
【背景技術】
【０００２】
従来、画像の撮像にイメージセンサなどの固体撮像素子を用いることが知られている。また、近年では、表示装置に撮像機能を持たせることで、入力機能を持たせたタッチパネルが注目されている。タッチパネルは、パネルを直接指などで触れて操作できる表示装置であり、タッチスクリーンなどとも呼ばれている。
【０００３】
表示装置に撮像機能を持たせるため、表示領域にフォトセンサを設ける。このようにすることで、表示領域が入力領域を兼ねることができる。一例として、特許文献１に画像取り込み機能を備えた半導体装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２９２２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
フォトセンサを利用して撮像を行う半導体装置には、使用環境等によって入射光の強度が強すぎる又は弱すぎる場合に、入射光が半導体装置の撮像の精度に影響を及ぼすという問題がある。撮像の精度が低下すると、検出位置の誤認識や、取り込み画像（撮像データ）が不鮮明になるなどの撮像不良が起きやすい。特に、外部からの光（外光）の影響を受けることにより、上記のような問題が生じやすい。
【０００６】
上記の問題に鑑み、使用環境による撮像不良を防いだ半導体装置を提供することを目的の一とする。または、使用環境による撮像不良を防ぐ半導体装置の駆動方法を提供することを目的の一とする。
【０００７】
または、入射光の強度によらず、高精度な撮像データを取得することができる半導体装置を提供することを目的の一とする。または、入射光の強度によらず、高精度な撮像データを取得することができる半導体装置の駆動方法を提供することを目的の一とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、画素に設けられた第１のフォトセンサと、画素の周辺に設けられた第２のフォトセンサと、第２のフォトセンサで取得された外光強度に応じて、第１のフォトセンサの駆動条件を設定するコントローラと、を有し、コントローラで設定された駆動条件に応じて、第１のフォトセンサの感度を変更した上で撮像を行う半導体装置である。これにより、半導体装置は、入射光の強度に応じて感度を最適化した第１のフォトセンサを用いて、撮像を行うことができる。
【０００９】
上記構成において、第１のフォトセンサの駆動条件として、駆動タイミング信号及び駆動電圧を設定することができる。
【００１０】
本発明の一態様は、画素に設けられた第１のフォトセンサと、画素の周辺に設けられた第２のフォトセンサと、第２のフォトセンサで取得された外光強度に応じて、第１のフォトセンサの駆動条件を設定するコントローラと、を有し、コントローラは、第１のレジスタ、変換テーブル、ＣＰＵ、第１のメモリ、タイミングコントローラ、及び電源回路を含み、タイミングコントローラは、第２のレジスタを含み、電源回路は、第３のレジスタを含み、第１のレジスタには、第２のフォトセンサで取得された外光強度のデータが格納され、変換テーブルには、外光強度に応じて第１のフォトセンサの駆動条件を規定するデータが格納され、ＣＰＵは、第１のメモリに格納されたプログラムの命令に従い、第１のレジスタに格納されたデータ及び変換テーブルに格納されたデータを用いて、第２のレジスタ及び第３のレジスタにそれぞれ格納するデータを生成し、タイミングコントローラは、第２のレジスタに格納されたデータを用いて、第１のフォトセンサの駆動タイミング信号を生成し、電源回路は、第３のレジスタに格納されたデータを用いて、第１のフォトセンサの駆動電圧を生成し、コントローラで設定された駆動タイミング信号及び駆動電圧に応じて、第１のフォトセンサの感度を変更した後に撮像を行う半導体装置である。
【００１１】
本発明の一態様は、画素に設けられた第１のフォトセンサと、画素の周辺に設けられた第２のフォトセンサと、第２のフォトセンサで取得された外光強度に応じて、第１のフォトセンサの駆動条件を設定するコントローラと、を有し、コントローラは、第１のレジスタ、変換テーブル、ＣＰＵ、第１のメモリ、第２のメモリ、タイミングコントローラ、及び電源回路を含み、タイミングコントローラは、第２のレジスタを含み、電源回路は、第３のレジスタを含み、第１のレジスタには、第２のフォトセンサで取得された外光強度のデータが格納され、変換テーブルには、外光強度に応じて第１のフォトセンサの駆動条件を規定するデータが格納され、ＣＰＵは、第１のメモリに格納されたプログラムの命令に従い、第１のレジスタに格納されたデータ及び変換テーブルに格納されたデータを用いて、第２のメモリを用いてプログラムを実行して、第２のレジスタ及び第３のレジスタにそれぞれ格納するデータを生成し、タイミングコントローラは、第２のレジスタに格納されたデータを用いて、第１のフォトセンサの駆動タイミング信号を生成し、電源回路は、第３のレジスタに格納されたデータを用いて、第１のフォトセンサの駆動電圧を生成し、コントローラで設定された駆動タイミング信号及び駆動電圧に応じて、第１のフォトセンサの感度を変更した後に撮像を行う半導体装置である。
【００１２】
上記構成において、電源回路は、第３のレジスタの他に、Ｄ／Ａ変換回路及び増幅回路を含み、第３のレジスタに格納されたデータを、Ｄ／Ａ変換回路で電圧出力に変換し、増幅回路で増幅することにより、第１のフォトセンサの駆動電圧として生成することができる。
【００１３】
上記構成において、画素は表示素子を有し、撮像機能と表示機能とを備える半導体装置とすることができる。
【００１４】
なお、本明細書において、ハイレベルのときの電位を単に「Ｈ」又は「ハイ」ともいう。また、ローレベルのときの電位を単に「Ｌ」又は「ロー」ともいう。
【００１５】
また、本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」または複数の「配線」が一体となって形成されている場合なども含む。
【００１６】
また、異なる極性のトランジスタを採用する場合や、回路動作において電流の方向が変化する場合などには、「ソース」や「ドレイン」の機能は入れ替わることがある。このため、本明細書においては、「ソース」や「ドレイン」の用語は、入れ替えて用いることができるものとする。
【００１７】
なお、本明細書等において、「電気的に接続」には、「何らかの電気的作用を有するもの」を介して接続されている場合が含まれる。ここで、「何らかの電気的作用を有するもの」は、接続対象に対して電気信号の授受を可能とするものであれば、特に制限を受けない。例えば、「何らかの電気的作用を有するもの」には、電極や配線をはじめ、トランジスタなどのスイッチング素子、抵抗素子、インダクタ、キャパシタ、その他の各種機能を有する素子などが含まれる。
【発明の効果】
【００１８】
使用環境による撮像不良を防ぐことができる。特に、入射光（外光）の強度の影響を受けにくくすることができ、入射光の強度によらず、高精度な撮像データを取得することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】コントローラの一例を説明するブロック図。
【図２】コントローラの一例を説明するブロック図。
【図３】半導体装置の構成を説明する図。
【図４】半導体装置の画素の回路構成を説明する図。
【図５】半導体装置の構成を説明する図。
【図６】半導体装置の動作を説明するタイミングチャート。
【図７】撮像データにおける輝度のヒストグラム。
【図８】半導体装置の構成を説明する図。
【図９】半導体装置の画素の回路構成を説明する図。
【図１０】半導体装置の断面の模式図。
【図１１】半導体装置の断面の模式図。
【図１２】半導体装置の画素の回路構成を説明する図。
【図１３】半導体装置の画素の回路構成を説明する図。
【図１４】半導体装置の画素の回路構成を説明する図。
【図１５】半導体装置を適用した電子機器の例を示す図。
【図１６】半導体装置を適用した電子機器の例を示す図。
【図１７】半導体装置を適用した電子機器の例を示す図。
【発明を実施するための形態】
【００２０】
以下に、実施の形態について、図面を用いて詳細に説明する。但し、以下の実施の形態は多くの異なる態様で実施することが可能であり、趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。従って、以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態を説明するための全図において、同一部分又は同様な機能を有する部分には同一の符号を付す場合があり、繰り返しの説明は省略する。
【００２１】
（実施の形態１）
本実施の形態に係る半導体装置は撮像機能を備えており、画素に設けられたフォトセンサと、画素の周辺に設けられたフォトセンサと、コントローラと、を少なくとも有する。コントローラは、画素の周辺に設けられたフォトセンサで取得された外光強度に応じて、画素に設けられたフォトセンサの駆動条件を設定する。本形態に係る半導体装置は、コントローラで設定された駆動条件に応じて、画素に設けられたフォトセンサの感度を変更した上で撮像を行うことができる。
【００２２】
なお、以下の説明では、画素（画素内）に設けられたフォトセンサを「第１のフォトセンサ」とし、画素の周辺（画素外）に設けられたフォトセンサを「第２のフォトセンサ」ともいう。
【００２３】
第２のフォトセンサは、第２のフォトセンサに入射された光（外光）から外光強度を取得する。コントローラは、第２のフォトセンサで取得された外光強度に応じて、第１のフォトセンサの駆動条件を変更する。第１のフォトセンサは、前記コントローラで設定された駆動条件に応じて感度を変更する。
【００２４】
第１のフォトセンサは、蓄積期間、読み出し期間、又は駆動電圧などの駆動条件を変更することで、感度を変更することができる。蓄積期間、又は読み出し期間などの駆動条件の変更は、スタートパルス間隔の変更、クロック周波数の変更、又はパルス幅制御信号の変更など駆動用のタイミング信号（駆動用タイミング信号）を制御することにより行うことができる。
【００２５】
外光強度に応じ、第１のフォトセンサの感度を変更した上で撮像を行うことで、外光の影響を抑え、高精度な撮像データを取得することが可能となる。
【００２６】
次に、本実施の形態に係る半導体装置について、図１を用いて具体的に説明する。
【００２７】
画素の周辺に設けられたフォトセンサ（第２のフォトセンサ１２００）で取得した外光強度から、画素に設けられたフォトセンサ（第１のフォトセンサ１０００）の感度を変更するために、図１に示すコントローラ１１００の構成を用いることができる。図１において、コントローラ１１００は、ＣＰＵ１１１０、プログラムメモリ１１２０、外光強度データ用レジスタ１１３０、変換テーブル１１４０、作業用メモリ１１５０、タイミングコントローラ１１６０、及び電源回路１１７０から構成される。タイミングコントローラ１１６０は、制御データ用レジスタ１１６２を有する。電源回路１１７０は、制御データ用レジスタ１１７２、Ｄ／Ａ変換回路１１７４、及び増幅回路１１７６を有する。
【００２８】
なお、図１及びその説明では構成要素を区別させるために機能を表現した名称を用いているが、名称は機能の表現に限定されず、序数詞が付された名称とすることができる。本形態では、「プログラムメモリ」を「第１のメモリ」、「作業用メモリ」を「第２のメモリ」、「変換テーブル」を「第３のメモリ」とすることができる。また、「外光強度データ用レジスタ」を「第１のレジスタ」、タイミングコントローラが有する「制御データ用レジスタ」を「第２のレジスタ」、電源回路が有する「制御データ用レジスタ」を「第３のレジスタ」とすることができる。
【００２９】
ＣＰＵ１１１０は、プログラムメモリ１１２０に格納されたプログラムの命令に従い、外光強度データ用レジスタ１１３０に格納されたデータ及び変換テーブル１１４０に格納されたデータを用いて、タイミングコントローラ１１６０の制御データ用レジスタ１１６２に格納するデータ及び電源回路１１７０の制御データ用レジスタ１１７２に格納するデータを生成する。なお、作業用メモリ１１５０は、プログラムの命令を実行するために必要なメモリ空間として用いることができる。
【００３０】
ＣＰＵ１１１０を、ノイマン型アーキテクチャのＣＰＵとする場合、プログラムメモリ１１２０、外光強度データ用レジスタ１１３０、変換テーブル１１４０、制御データ用レジスタ１１６２、制御データ用レジスタ１１７２、及び作業用メモリ１１５０は、ソフトウェア上はＣＰＵ１１１０と同一のアドレス空間に存在する構成とすることができる。すなわち、プログラムメモリ１１２０、外光強度データ用レジスタ１１３０、変換テーブル１１４０、制御データ用レジスタ１１６２、制御データ用レジスタ１１７２、及び作業用メモリ１１５０は、ソフトウェア上は、特定の番地に割り振られたデータ領域とみなすことができる。したがって、ＣＰＵ１１１０が、プログラムメモリ１１２０、外光強度データ用レジスタ１１３０、変換テーブル１１４０、制御データ用レジスタ１１６２、制御データ用レジスタ１１７２、又は作業用メモリ１１５０に、データの読み出しを行うとは、ソフトウェア上は、特定の番地へのデータ読み出しを意味する。ＣＰＵ１１１０が、プログラムメモリ１１２０、外光強度データ用レジスタ１１３０、変換テーブル１１４０、制御データ用レジスタ１１６２、制御データ用レジスタ１１７２、又は作業用メモリ１１５０に、データの格納を行うとは、ソフトウェア上は、特定の番地へのデータの格納を意味する。
【００３１】
ＣＰＵ１１１０を、ハーバード型アーキテクチャのＣＰＵとする場合、プログラムメモリ１１２０は、プログラムアドレス空間に存在し、外光強度データ用レジスタ１１３０、変換テーブル１１４０、制御データ用レジスタ１１６２、制御データ用レジスタ１１７２、及び作業用メモリ１１５０は、プログラムアドレス空間とは異なるデータアドレス空間に存在する構成とすることができる。プログラムアドレス空間とデータアドレス空間とをソフトウェア上で区別することで、両アドレス空間へのアクセスが効率的に行え、ＣＰＵ１１１０の処理能力を高め易くなる。
【００３２】
なお、この場合も、プログラムメモリ１１２０は、ソフトウェア上は、プログラムアドレス空間上の特定の番地に割り振られたデータ領域とみなすことができる。また、外光強度データ用レジスタ１１３０、変換テーブル１１４０、制御データ用レジスタ１１６２、制御データ用レジスタ１１７２、及び作業用メモリ１１５０は、ソフトウェア上は、データアドレス空間上の特定の番地に割り振られたデータ領域とみなすことができる。
【００３３】
さらに、ＣＰＵ１１１０が、プログラムメモリ１１２０から、データの読み出しを行うとは、ソフトウェア上は、プログラムアドレス空間の特定の番地からのデータ読み出しを意味する。また、外光強度データ用レジスタ１１３０、変換テーブル１１４０、制御データ用レジスタ１１６２、制御データ用レジスタ１１７２、又は作業用メモリ１１５０に、データの読み出しを行うとは、ソフトウェア上は、データアドレス空間の特定の番地へのデータ読み出しを意味する。外光強度データ用レジスタ１１３０、変換テーブル１１４０、制御データ用レジスタ１１６２、制御データ用レジスタ１１７２、又は作業用メモリ１１５０に、データの格納を行うとは、ソフトウェア上は、データアドレス空間の特定の番地へのデータ格納を意味する。
【００３４】
外光強度データ用レジスタ１１３０は、第２のフォトセンサ１２００で取得した外光強度のデータを格納する。例えば、外光強度データ用レジスタ１１３０は、第２のフォトセンサ１２００で取得した外光強度を示すデジタルデータを格納する。
【００３５】
変換テーブル１１４０は、外光強度に応じて第１のフォトセンサ１０００の駆動条件を規定するデータを格納している。
【００３６】
タイミングコントローラ１１６０は、制御データ用レジスタ１１６２に格納されたデータに従って、第１のフォトセンサ１０００の駆動タイミング信号を生成する。制御データ用レジスタ１１６２には、第２のフォトセンサ１２００で取得した外光強度に対応してＣＰＵ１１１０で生成されたデータが格納されている。したがって、タイミングコントローラ１１６０は、第２のフォトセンサ１２００で取得した外光強度に応じた第１のフォトセンサ１０００の駆動タイミング信号を生成することとなる。
【００３７】
なお、駆動タイミング信号の変更は、クロック信号のタイミング、パルス幅（ハイの期間）若しくは周期、スタート信号のタイミング、パルス幅（ハイの期間）若しくは周期、又はパルス幅制御信号のタイミング、パルス幅（ハイの期間）若しくは周期を変更することで行うことができる。
【００３８】
電源回路１１７０は、制御データ用レジスタ１１７２に格納されたデータに従って、第１のフォトセンサ１０００の駆動電圧を生成する。制御データ用レジスタ１１７２には、第２のフォトセンサ１２００で取得した外光強度に対応してＣＰＵ１１１０で生成されたデータが格納されている。したがって、電源回路１１７０は、第２のフォトセンサ１２００で取得した外光強度に応じた第１のフォトセンサ１０００の駆動電圧を生成することとなる。
【００３９】
ここでは、Ｄ／Ａ変換回路１１７４が、制御データ用レジスタ１１７２に格納されたデータを、アナログ値である電圧出力に変換する。Ｄ／Ａ変換回路１１７４には、抵抗方式、又は容量方式などの公知の回路を用いることができる。また、増幅回路１１７６は、Ｄ／Ａ変換回路１１７４から出力された電圧出力の電力を増幅する。増幅された電圧出力は、第１のフォトセンサ１０００の駆動電圧となる。駆動電圧には、第１のフォトセンサ１０００の基準電位、第１のフォトセンサ１０００を駆動するための駆動回路への駆動電圧などが含まれる。
【００４０】
本実施の形態に係る半導体装置は、駆動タイミング信号及び駆動電圧に応じて第１のフォトセンサ１０００の感度を変更した上で、撮像を行う。このようにすることで、最適化されたフォトセンサ（第１のフォトセンサ１０００）を用いた撮像を行うことができ、高精度な撮像データの取得が可能となる。
【００４１】
なお、各種使用環境による外光強度にて、各種外光強度での最適なフォトセンサ（第１のフォトセンサ１０００）の感度を実現し得る駆動条件をあらかじめ取得しておき、当該駆動条件を定義するデータを変換テーブル１１４０に格納しておくことが望ましい。変換テーブル１１４０へのデータの格納は、ＣＰＵ１１１０で行うことができる。
【００４２】
変換テーブル１１４０へのデータの格納形式は、第１の形式として、外光強度データ用レジスタ１１３０に格納されたデータに対応して制御データ用レジスタ１１６２に格納するデータ及び制御データ用レジスタ１１７２に格納するデータを直接格納する形式がある。また、第２の形式として、外光強度データ用レジスタ１１３０に格納されたデータを独立変数とし、制御データ用レジスタ１１６２に格納するデータ及び制御データ用レジスタ１１７２に格納するデータを従属変数とする関数を定義するパラメータ・データを格納する形式がある。
【００４３】
上記第１の形式については、以下のようにして実現できる。例えば、変換テーブル１１４０をメモリで構成する。外光強度データ用レジスタ１１３０に格納されているデータＸでメモリ（変換テーブル１１４０）のアドレスを指定する。当該アドレスに該当するデータ領域に、制御データ用レジスタ１１６２及び制御データ用レジスタ１１７２に格納すべきデータＹを格納しておけばよい。なお、上記アドレスは、外光強度データ用レジスタ１１３０に格納されているデータＸを下位ビット、アドレス空間上で制御データ用レジスタ１１６２及び制御データ用レジスタ１１７２に割り振られているアドレスＺを上位ビット、として形成することができる。なお、データ「Ｘ」、データ「Ｙ」は、説明のため便宜的に「Ｘ」、「Ｙ」を付記して区別したものである。
【００４４】
このような構成とすることで、外光強度データ用レジスタ１１３０に格納されたデータから制御データ用レジスタ１１６２及び制御データ用レジスタ１１７２に格納するデータの生成が、ソフトウェア上で、ＣＰＵ１１１０が変換テーブル１１４０からデータの読み出しを１回行うだけで実現できる。そのため、ＣＰＵ１１１０の負荷が少なく、容易に行える。
【００４５】
上記第２の形式については、以下のようにして実現できる。例えば、変換テーブル１１４０をメモリで構成する。外光強度データ用レジスタ１１３０に格納されたデータを独立変数Ｘ、制御データ用レジスタ１１６２及び制御データ用レジスタ１１７２に格納するデータを従属変数Ｙとし、この関係がＹ（Ｘ）＝Ａ・Ｘ＋Ｂで表せる時、パラメータ・データ（Ａ，Ｂ）を上記メモリ（変換テーブル１１４０）に格納しておく。ＣＰＵ１１１０は、外光強度データ用レジスタ１１３０に格納されたデータＸを読み出し、Ａ・Ｘ＋Ｂの演算を行い、演算結果を制御データ用レジスタ１１６２及び制御データ用レジスタ１１７２に格納するデータＹとし、制御データ用レジスタ１１６２及び制御データ用レジスタ１１７２それぞれに格納する。なお、ここでは一例として、ＸとＹの関係を一次関数で表したが、より複雑な関数形で表すことも可能である。
【００４６】
このような構成とすることで、外光強度データ用レジスタ１１３０に格納されたデータから、制御データ用レジスタ１１６２及び制御データ用レジスタ１１７２に格納するデータの生成を、より細かい精度で行うことができる。特に、広範の外光強度に対して、精度良くフォトセンサ（第１のフォトセンサ１０００）の駆動条件を定義する場合、第２の形式は、第１の形式よりも変換テーブル１１４０に用いるメモリの容量が少なくて済む。
【００４７】
なお、上記第１の形式および第２の形式において、変換テーブル１１４０を構成する上記メモリは、フラッシュメモリなどの不揮発性記憶装置で構成することが望ましい。不揮発性記憶装置で構成することで、例えば、半導体装置の出荷時に一度メモリにデータを格納しておけば、利用者が半導体装置の電源を切る度に、再度メモリにデータを格納しなくてもいいという効果を得ることができる。
【００４８】
また、変換テーブル１１４０を構成する上記メモリをＳＲＡＭまたはＤＲＡＭなどの揮発性記憶装置とフラッシュメモリなどの不揮発性記憶装置とで構成し、半導体装置の起動時にフラッシュメモリに格納したデータをＳＲＡＭまたはＤＲＡＭに格納し、半導体装置の動作時はＳＲＡＭまたはＤＲＡＭからデータの読み出しを行う構成としてもよい。
【００４９】
以上のように、本形態に係る半導体装置では、画素の周辺に設けられた第２のフォトセンサ１２００により外光強度を取得し、コントローラ１１００が第２のフォトセンサ１２００により取得された外光強度に応じて画素に設けられた第１のフォトセンサ１０００の駆動条件を変更し、コントローラ１１００から与えられる駆動条件により第１のフォトセンサ１０００の感度を変更した上で撮像を行う。外光強度に応じて画素に設けられたフォトセンサの駆動条件を調整することにより、画素に設けられたフォトセンサの感度を最適化した上で、撮像を行うことができる。したがって、室内や屋外など、使用環境等による入射光の強度の強弱によらず、撮像の際における入射光の強度の影響を抑えることができ、高精度な撮像データを取得することができる。
【００５０】
なお、本実施の形態で示した構成は、本明細書の他の実施の形態で示す構成と適宜組み合わせることができる。
【００５１】
（実施の形態２）
本形態では、実施の形態１と異なるコントローラの構成について説明する。なお、図１と同じ構成については同じ符号を付し、詳細な説明は省略する。
【００５２】
本形態では、図２に示すコントローラ２１００の構成を用いることができる。図２において、コントローラ２１００は、専用処理回路２１１０、外光強度データ用レジスタ１１３０、タイミングコントローラ１１６０、及び電源回路１１７０から構成される。専用処理回路２１１０は、変換テーブル２１１２を有する。タイミングコントローラ１１６０は、制御データ用レジスタ１１６２を有する。電源回路１１７０は、制御データ用レジスタ１１７２、Ｄ／Ａ変換回路１１７４、及び増幅回路１１７６を有する。
【００５３】
図１に示す構成と図２に示す構成との相違は、ＣＰＵ１１１０、プログラムメモリ１１２０、変換テーブル１１４０、及び作業用メモリ１１５０の代わりに、変換テーブル２１１２を含む専用処理回路２１１０を有する点にある。
【００５４】
なお、図２及びその説明では構成要素を区別させるために機能を表現した名称を用いているが、図１及びその説明と同様に名称は機能の表現に限定されず、序数詞が付された名称とすることができる。本形態では、「外光強度データ用レジスタ」を「第１のレジスタ」、タイミングコントローラが有する「制御データ用レジスタ」を「第２のレジスタ」、電源回路が有する「制御データ用レジスタ」を「第３のレジスタ」とすることができる。
【００５５】
専用処理回路２１１０は、外光強度データ用レジスタ１１３０に格納されたデータ及び変換テーブル２１１２に格納されたデータを用いて、タイミングコントローラ１１６０の制御データ用レジスタ１１６２に格納するデータ及び電源回路１１７０の制御データ用レジスタ１１７２に格納するデータを生成するための専用回路である。
【００５６】
変換テーブル２１１２は、外光強度に応じて第１のフォトセンサ１０００の駆動条件を規定するデータを格納している。変換テーブル２１１２としては、上記実施の形態１で示した変換テーブル１１４０を適用することができる。データの格納形式などについても、上記実施の形態１に準じる。
【００５７】
上記実施の形態１と同様に、タイミングコントローラ１１６０が、制御データ用レジスタ１１６２に格納された制御データに従って、第１のフォトセンサ１０００の駆動タイミング信号を生成する。また、電源回路１１７０が、制御データ用レジスタ１１７２に格納されたデータに従って、第１のフォトセンサ１０００の駆動電圧を生成する。
【００５８】
本実施の形態に係る半導体装置は、駆動タイミング信号及び駆動電圧に応じて第１のフォトセンサ１０００の感度を変更した上で、撮像を行う。このようにすることで、最適化されたフォトセンサ（第１のフォトセンサ１０００）を用いた撮像を行うことができ、高精度な撮像データを取得できる。
【００５９】
以上のように、本形態に係る半導体装置は、画素の周辺に設けられた第２のフォトセンサ１２００により外光強度を取得し、コントローラ２１００が第２のフォトセンサ１２００により取得された外光強度に応じて画素に設けられた第１のフォトセンサ１０００の駆動条件を変更し、コントローラ２１００から与えられる駆動条件により第１のフォトセンサ１０００の感度を変更した上で撮像を行う。外光強度に応じて画素に設けられたフォトセンサの駆動条件を調整することにより、画素に設けられたフォトセンサの感度を最適化した上で、撮像を行うことができる。したがって、撮像の際における外光強度の影響を抑えることができ、高精度な撮像データを取得できる。
【００６０】
なお、本実施の形態で示した構成は、本明細書の他の実施の形態で示す構成と適宜組み合わせることができる。
【００６１】
（実施の形態３）
本形態では、上記実施の形態１又は２で示すコントローラを備えた半導体装置について説明する。ここでは、半導体装置として、固体撮像素子（イメージセンサともいわれる）の例について、図３〜図７を用いて説明する。
【００６２】
固体撮像素子の構成について、図３を用いて説明する。固体撮像素子３００は、画素部３０１、制御回路部３３１、コントローラ３１１、及びセンサ部３７１を有する。
【００６３】
コントローラ３１１としては、上記実施の形態１の図１で示したコントローラ１１００又は上記実施の形態２で示したコントローラ２１００の構成を適用する。画素部３０１は、少なくとも上記実施の形態１又は２の第１のフォトセンサ１０００を備える。センサ部３７１は、少なくとも上記実施の形態１又は２の第２のフォトセンサ１２００を備える。
【００６４】
画素部３０１は、行方向及び列方向にマトリクス状に配置された複数の画素３３３を有する。各々の画素３３３は、第１のフォトセンサ３３５（上記実施の形態１又は２の第１のフォトセンサ１０００に相当する）を有する。第１のフォトセンサ３３５は、画素部３０１に接触又は接近した被検出物を検出し撮像することができる。
【００６５】
第１のフォトセンサ３３５は、受光することで電気信号を発する機能を有する素子と、トランジスタとを有する。受光することで電気信号を発する機能を有する素子としては、具体的にフォトダイオードが挙げられる。
【００６６】
第１のフォトセンサ３３５は、外光が被検出物で遮蔽されて画素部３０１に影ができているのか、又は外光が画素部３０１に入射されているか、を、判別することで、被検出物を検出する。
【００６７】
制御回路部３３１は、第１のフォトセンサ３３５を制御するための回路であり、信号線側のフォトセンサ読み出し回路３５１と、走査線側のフォトセンサ駆動回路３５５を有する。走査線側のフォトセンサ駆動回路３５５は、特定の行に配置された画素が有する第１のフォトセンサ３３５に対して、後述するリセット動作と選択動作とを行う機能を有する。また、信号線側のフォトセンサ読み出し回路３５１は、選択された行の画素が有する第１のフォトセンサ３３５の出力信号を取り出す機能を有する。なお、信号線側のフォトセンサ読み出し回路３５１は、アナログ信号であるフォトセンサの出力を、ＯＰアンプを用いてアナログ信号のまま固体撮像素子外部に取り出す構成や、Ａ／Ｄ変換回路を用いてデジタル信号に変換してから固体撮像素子外部に取り出す構成が考え得る。
【００６８】
センサ部３７１は、少なくとも第２のフォトセンサ（上記実施の形態１又は２の第２のフォトセンサ１２００に相当する）を備える。センサ部３７１は、第２のフォトセンサにより外光強度のデータを取得する。また、センサ部３７１は、コントローラ３１１に外光強度のデータを転送するため、出力処理回路等の各種処理回路を備えることが好ましい。センサ部３７１としては、フォトＩＣを適用することができる。
【００６９】
なお、センサ部３７１が備える第２のフォトセンサについても、第１のフォトセンサ３３５と同様に、受光することで電気信号を発する機能を有する素子と、トランジスタとを有する構成とすることができる。受光することで電気信号を発する機能を有する素子としては、具体的にフォトダイオードが挙げられる。
【００７０】
次に、画素部３０１における画素３３３の回路図について、図４を用いて説明する。画素３３３は、フォトダイオード３４４、トランジスタ３４１及びトランジスタ３４２を含む第１のフォトセンサ３３５を有する。また、各画素は、信号線側のフォトセンサ読み出し回路３５１に接続された第１の配線３３６及び第２の配線３３７と、走査線側のフォトセンサ駆動回路３５５に接続された第３の配線３３８及び第４の配線３３９を有する。
【００７１】
フォトダイオード３４４は、一方の電極が第３の配線３３８に、他方の電極がトランジスタ３４１のゲートに電気的に接続されている。ここでは、フォトダイオード３４４とトランジスタ３４１のゲートとを電気的に接続する配線をゲート信号線３４３としている。トランジスタ３４１は、ソース又はドレインの一方が第１の配線３３６に、ソース又はドレインの他方がトランジスタ３４２のソース又はドレインの一方に電気的に接続されている。トランジスタ３４２は、ゲートが第４の配線３３９に、ソース又はドレインの他方が第２の配線３３７に電気的に接続されている。
【００７２】
次に、フォトセンサ読み出し回路３５１の構成について、図５を用いて説明する。図５において、画素１列分のフォトセンサ読み出し回路３５１は、ｐ型トランジスタ３５２、及び保持容量３５３を有する。また、当該画素列の第２の配線３３７、第５の配線３５４を有する。第５の配線３５４は、フォトセンサの動作に先立って、第２の配線３３７のプリチャージを行うための配線である。
【００７３】
フォトセンサ読み出し回路３５１では、画素３３３内における第１のフォトセンサ３３５の動作に先立ち、第２の配線３３７の電位を基準電位に設定する。図５では、第５の配線３５４の電位を”Ｌ”とすることで、第２の配線３３７を基準電位である高電位に設定することができる。保持容量３５３は、第２の配線３３７の寄生容量が大きい場合には設けなくてもよい。なお、基準電位は、低電位とする構成も可能である。この場合、ｐ型トランジスタ３５２の代わりにｎ型トランジスタを用い、第５の配線３５４の電位を”Ｈ”とすることで、第２の配線３３７を基準電位である低電位に設定することができる。
【００７４】
次に、画素部３０１における第１のフォトセンサ３３５の読み出し動作について、図６のタイミングチャートを用いて説明する。図６の信号４０１は、図４における第３の配線３３８の電位に相当する。図６の信号４０２は、図４における第４の配線３３９の電位に相当する。図６の信号４０３は、図４におけるトランジスタ３４１のゲートが接続されたゲート信号線３４３の電位に相当する。図６の信号４０４は、図４、図５における第２の配線３３７の電位に相当する。また、図６の信号４０５は、図５における第５の配線３５４の電位に相当する。
【００７５】
時刻Ａにおいて、第３の配線３３８の電位（信号４０１）を”Ｈ”とする（リセット動作）と、フォトダイオード３４４が導通し、トランジスタ３４１のゲートが接続されたゲート信号線３４３の電位（信号４０３）が”Ｈ”となる。また、第５の配線３５４の電位（信号４０５）を”Ｌ”とすると、第２の配線３３７の電位（信号４０４）は”Ｈ”にプリチャージされる。
【００７６】
時刻Ｂにおいて、第３の配線３３８の電位（信号４０１）を”Ｌ”にする（累積動作）と、フォトダイオード３４４のオフ電流により、トランジスタ３４１のゲートが接続されたゲート信号線３４３の電位（信号４０３）が低下し始める。フォトダイオード３４４は、光が照射されるとオフ電流が増大するので、照射される光の量に応じてトランジスタ３４１のゲートが接続されたゲート信号線３４３の電位（信号４０３）は変化する。すなわち、トランジスタ３４１のソースとドレイン間の電流が変化する。
【００７７】
時刻Ｃにおいて、第４の配線３３９の電位（信号４０２）を”Ｈ”にする（選択動作）と、トランジスタ３４２が導通し、第１の配線３３６と第２の配線３３７とが、トランジスタ３４１とトランジスタ３４２とを介して導通する。すると、第２の配線３３７の電位（信号４０４）は、低下していく。なお、時刻Ｃ以前に、第５の配線３５４の電位（信号４０５）の電位は”Ｈ”とし、第２の配線３３７のプリチャージを終了しておく。ここで、第２の配線３３７の電位（信号４０４）が低下する速さは、トランジスタ３４１のソースとドレイン間の電流に依存する。すなわち、フォトダイオード３４４に照射されている光の量に応じて変化する。
【００７８】
時刻Ｄにおいて、第４の配線３３９の電位（信号４０２）を”Ｌ”にすると、トランジスタ３４２が遮断され、第２の配線３３７の電位（信号４０４）は、時刻Ｄ以後、一定値となる。ここで、一定値となる値は、フォトダイオード３４４に照射されている光の量に応じて変化する。したがって、第２の配線３３７の電位を取得することで、フォトダイオード３４４に照射されている光の量を知ることができる。
【００７９】
上記のように、各画素３３３の第１のフォトセンサ３３５の動作は、リセット動作、累積動作、及び選択動作を繰り返すことで実現される。固体撮像素子において、全画素におけるフォトセンサのリセット動作、累積動作、及び選択動作を実行することで、画素部３０１に接触又は接近した被検出物を撮像することができる。
【００８０】
画素部３０１への入射光の強度が強すぎる場合又は弱すぎる場合、撮像の精度が低下し、撮像データが不鮮明になる可能性がある。したがって、使用環境等による外光強度の影響を受けて、撮像の精度が低下し、撮像データが不鮮明になる可能性がある。ここで、入射光の強度が適正である場合、入射光の強度が強い場合、入射光の強度が弱い場合について、被検出物の撮像データにおける輝度のヒストグラムを用いて説明する。
【００８１】
図７は、被検出物の撮像データにおける輝度ヒストグラムを示している。縦軸は画素数、横軸は輝度値である。輝度値は最小を０、最大を２５５とした。
【００８２】
図７の実線１３０１で示すヒストグラムは、入射光の強度が適正である場合を示している。実線１３０１は、被検出物の検出位置を示すピーク１３０２と検出位置以外を示すピーク１３０３との２つのピークの輝度値が分離しているため、撮像データにおいて明暗の区別が明確である。
【００８３】
破線１３１１で示すヒストグラムは、入射光の強度が弱い場合を示している。破線１３１１は、検出位置を示すピーク１３０２と検出位置以外を示すピーク１３１２との２つのピークの輝度値が接近している。２つのピークは、さらに接近するとピークが１つしか確認できなくなり、撮像データにおいて明暗の区別が困難になる。そのため、被検出物を正確に認識することが難しくなり、検出位置の判断も困難になる可能性がある。
【００８４】
破線１３２１で示すヒストグラムは、入射光の強度が強い場合を示している。破線１３２１は、検出位置以外を示すピーク１３２２の１つしかピークが確認できないため、撮像データにおいて明暗の区別が困難になる。そのため、被検出物を正確に認識することが難しくなり、検出位置の判断も困難になる可能性がある。
【００８５】
図７に示すように、入射光の強度が弱すぎる場合又は強すぎる場合は、ヒストグラムの２つのピークを確認することが難しくなり、撮像データの明暗の区別が難しくなってしまう。そのため、被検出物を正確に認識することが難しくなり、検出位置の判断が困難になってしまう。
【００８６】
したがって、本形態に係る固体撮像素子３００は、図７の実線１３０１で示すヒストグラムのように２つのピークの輝度値が分離して得られるようにするため、画素部３０１の周辺（画素部３０１の外）に設けられたセンサ部３７１を用いて外光強度を取得し、外光強度に応じてコントローラ３１１により第１のフォトセンサ３３５の感度を変更する。センサ部３７１を用いて外光強度を取得し、外光強度に応じてコントローラ３１１により第１のフォトセンサ３３５の感度を変更することで最適化を行い、最適化された第１のフォトセンサ３３５を用いて撮像を行う。このようにすることで、使用環境等による外光強度の強弱により受ける影響を最小限にしつつ、高精度な撮像データを取得することができる固体撮像素子３００を実現できる。
【００８７】
フォトセンサの感度の変更の具体的な手法としては、図４の構成において、（１）第３の配線３３８の電位（信号４０１）を変更して、フォトダイオード３４４に印加される電圧、すなわちトランジスタ３４１のゲートに印加される電圧（信号４０３）を変更する、（２）第１の配線３３６の電位と第６の配線３５６との電位差を変更して、トランジスタ３４１のソースとドレインとの間に印加される電圧を変更する、（３）第１のフォトセンサ３３５の累積動作に要する時間（累積時間：時刻Ｂから時刻Ｃまでの時間）を変更することが挙げられる。また、これらの手法を組み合わせて感度を変更することも効果的である。（１）〜（３）のような各配線の電位の変更やフォトセンサの累積動作に要する時間の変更は、コントローラ３１１により行う。コントローラ３１１は、具体的には上記実施の形態１又は実施の形態２に示すような構成を適用する。
【００８８】
（１）の手法では、フォトダイオード３４４に印加する電圧を大きくすることで、電荷を蓄積することができる量が増えるため第１のフォトセンサ３３５の感度が向上する。（２）の手法では、トランジスタ３４１のソースとドレインとの間の電圧を大きくすることで、電荷を蓄積することができる量が増えるため、第１のフォトセンサ３３５の感度が向上する。そして（３）の手法では、累積時間を長くすることで電荷を蓄積する時間が長くなるため、第１のフォトセンサ３３５の感度が向上する。（１）〜（３）の手法を用いることで、入射光の強度が弱い使用環境においても、フォトセンサの感度を向上させ、撮像の精度を高めることができる。また、入射光の強度が強い使用環境の場合は、逆の処理の動作を行い第１のフォトセンサ３３５の感度を下げることで撮像の精度を高めることができる。
【００８９】
また、画素に設けられたフォトセンサを有する固体撮像素子は、被検出物が画素部に接触している場合だけでなく、非接触の場合にも検出を行うことができる。しかし、非接触の被検出物は、画素部から被検出物が離れるに伴い被検出物の影が淡くなり明暗の区別が困難になるため、接触している被検出物よりも検出が困難である。したがって、（１）〜（３）の手法を用いて画素に設けられたフォトセンサの感度を向上させることで、非接触の被検出物に対しても高精度な撮像データを取得することができる。
【００９０】
なお、本実施の形態で示した構成は、本明細書の他の実施の形態で示す構成と適宜組み合わせることができる。
【００９１】
（実施の形態４）
本形態では、上記実施の形態３と異なる半導体装置について説明する。ここでは、半導体装置として表示装置の例を、図８、図９を用いて説明する。なお、図３の固体撮像素子と同じ構成については同じ符号を付し、詳細な説明は省略する。
【００９２】
表示装置の構成について、図８を用いて説明する。表示装置５００は、画素部５０１、制御回路部３３１（以下、「第１の制御回路部３３１」ともいう）、第２の制御回路部５６３、コントローラ３１１、及びセンサ部３７１を有する。
【００９３】
コントローラ３１１としては、上記実施の形態１の図１で示したコントローラ１１００又は上記実施の形態２で示したコントローラ２１００の構成を適用する。画素部５０１は、少なくとも上記実施の形態１又は２の第１のフォトセンサ１０００を備える。センサ部３７１は、少なくとも上記実施の形態１又は２の第２のフォトセンサ１２００を備える。
【００９４】
画素部５０１は、行方向及び列方向にマトリクス状に配置された複数の画素５３３を有する。各々の画素５３３は、第１のフォトセンサ３３５（上記実施の形態１又は２の第１のフォトセンサ１０００に相当する）及び表示素子５３７を有する。第１のフォトセンサ３３５は、画素部５０１に接触又は接近した被検出物を検出し撮像することができる。
【００９５】
図８に示す構成と、図３に示す構成との大きな相違は、表示素子５３７及び第２の制御回路部５６３の有無にある。図３に示す構成の固体撮像素子は撮像の機能を有する。一方、図８に示す構成の表示装置は、撮像の機能に加え、画像を表示する機能を有している。そのため、図８に示す表示装置は、入力と表示の２つの機能を併せ持つことができる。このような表示装置としては、タッチパネルなどが挙げられる。
【００９６】
表示素子５３７は、トランジスタ、保持容量、及び液晶素子などを有する。液晶素子は、液晶層を有する。
【００９７】
表示素子５３７におけるトランジスタは、保持容量への電荷の注入又は保持容量からの電荷の排出を制御する機能を有する。保持容量は、液晶層に印加する電圧に相当する電荷を保持する機能を有する。液晶層に電圧を印加することで偏光方向が変化することを利用して、液晶層を透過する光の明暗（階調）を作ることで、画像を表示できる。液晶層を透過する光には、光源（例えばバックライト）によって液晶表示装置の裏面から照射される光を用いる。
【００９８】
なお、表示素子５３７に液晶素子を有する場合について説明したが、液晶素子の代わりに発光素子などの他の素子を有していてもよい。発光素子は、電流又は電圧によって輝度が制御される素子であり、具体的には発光ダイオード、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等が挙げられる。
【００９９】
第１のフォトセンサ３３５は、受光することで電気信号を発する機能を有する素子と、トランジスタとを有する。受光することで電気信号を発する機能を有する素子としては、具体的にフォトダイオードが挙げられる。
【０１００】
第１のフォトセンサ３３５は、被検出物により外光が遮蔽されて画素部５０１に影ができているのか、又は外光が画素部５０１に入射されているか、を、判別することで、被検出物を検出する。つまり、第１のフォトセンサ３３５は、外光を利用して被検出物を検出することができる。また、第１のフォトセンサ３３５は、バックライトなどの光源から照射され、被検出物により反射された反射光を利用して、被検出物を検出することができる。さらに、第１のフォトセンサ３３５は、外光と反射光との両方を利用して、被検出物の検出を行うこともできる。
【０１０１】
第２の制御回路部５６３は、表示素子５３７を制御するための回路である。第２の制御回路部５６３は、ビデオデータ信号線などの信号線（「ソース信号線」ともいう。）を介して表示素子５３７に信号を入力する表示素子駆動回路５５５と、走査線（「ゲート信号線」ともいう。）を介して表示素子５３７に信号を入力する表示素子駆動回路５５１を有する。例えば、表示素子駆動回路５５１は、特定の行に配置された画素が有する表示素子を選択する機能を有する。また、表示素子駆動回路５５５は、選択された行の画素が有する表示素子に任意の電位を与える機能を有する。なお、表示素子駆動回路５５１により高電位（「ハイレベル」の電位）を印加された表示素子では、トランジスタが導通状態となり、表示素子駆動回路５５５により与えられる電荷が供給される。
【０１０２】
第１の制御回路部３３１についての説明は、上記実施の形態３に準じるため、省略する。
【０１０３】
次に、画素５３３の回路図について、図９を用いて説明する。画素５３３は、トランジスタ５４１、保持容量５４２及び液晶素子５４３を有する表示素子５３７と、フォトダイオード３４４、トランジスタ３４１及びトランジスタ３４２を有する第１のフォトセンサ３３５とを有する。
【０１０４】
トランジスタ５４１は、ゲートがゲート信号線５６１に、ソース又はドレインの一方が第７の配線５６２に、ソース又はドレインの他方が保持容量５４２の一方の電極及び液晶素子５４３の一方の電極に電気的に接続されている。保持容量５４２の他方の電極は一定の電位に保たれている。液晶素子５４３の他方の電極は一定の電位に保たれている。液晶素子５４３は、一対の電極と、一対の電極の間に挟まれた液晶層と、を含む素子である。
【０１０５】
トランジスタ５４１は、ゲート信号線５６１に”Ｈ”が印加されると、第７の配線５６２の電位を保持容量５４２と液晶素子５４３に印加する。保持容量５４２は、印加された電位を保持する。液晶素子５４３は、印加された電位により、光の透過率を変更する。
【０１０６】
フォトダイオード３４４は、一方の電極が第３の配線３３８に、他方の電極がトランジスタ３４１のゲートに電気的に接続されている。トランジスタ３４１は、ソース又はドレインの一方が第１の配線３３６に、ソース又はドレインの他方がトランジスタ３４２のソース又はドレインの一方に電気的に接続されている。トランジスタ３４２は、ゲートが第４の配線３３９に、ソース又はドレインの他方が第２の配線３３７に電気的に接続されている。
【０１０７】
フォトセンサ読み出し回路３５１の構成及び第１のフォトセンサ３３５の読み出し動作については、上記実施の形態３の説明に準じる。具体的には、フォトセンサ読み出し回路３５１の構成として上述した図５の構成を適用することができる。また、第１のフォトセンサ３３５の読み出し動作については、図６のタイミングチャートを用いた説明を適用することができる。
【０１０８】
本形態においても、上述した図３の固体撮像素子３００と同様に、画素部５０１への入射光の強度が強すぎる場合又は弱すぎる場合、撮像の精度が低下し、撮像データが不鮮明になる可能性がある。
【０１０９】
したがって、本形態に係る表示装置５００においても、図７の実線１３０１で示すヒストグラムのように２つのピークの輝度値が分離して得られるようにするため、画素部５０１の周辺（画素部５０１の外部）に設けられたセンサ部３７１を用いて外光強度を取得し、外光強度に応じてコントローラ３１１により第１のフォトセンサ３３５の感度を変更する。センサ部３７１を用いて外光強度を取得し、外光強度に応じてコントローラ３１１により第１のフォトセンサ３３５の感度を変更することで最適化を行い、最適化された第１のフォトセンサ３３５を用いて撮像を行う。このようにすることで、使用環境等による外光強度の強弱により受ける影響を最小限にしつつ、高精度な撮像データを取得することができる表示装置５００を実現できる。
【０１１０】
なお、本実施の形態で示した構成は、本明細書の他の実施の形態で示す構成と適宜組み合わせることができる。
【０１１１】
（実施の形態５）
本形態では、フォトセンサに適用できる回路図の例について、図１２〜図１４を用いて説明する。本形態に示すフォトセンサは、図４、図９に示す第１のフォトセンサ３３５に代えて、適用することができる。
【０１１２】
図１２（Ａ）は、図４に示すフォトセンサにおいて、トランジスタ２３１、及び第８の配線２３２をさらに有する構成としたものである。トランジスタ２３１は、ゲートが第８の配線２３２に電気的に接続され、ソース又はドレインの一方がフォトダイオード３４４の他方の電極に電気的に接続され、ソース又はドレインの他方がトランジスタ３４１のゲートに電気的に接続される。トランジスタ２３１は、トランジスタ３４１のゲートに蓄積された電荷を保持する機能を有している。
【０１１３】
図１２（Ｂ）は、図４に示すフォトセンサにおいて、保持容量２３３、第９の配線２３４をさらに有し、トランジスタ３４２及び第４の配線３３９を有さない構成としたものである。保持容量２３３は、一方の電極がフォトダイオード３４４の他方の電極に電気的に接続され、他方の電極が第９の配線２３４に電気的に接続される。また、トランジスタ３４１のソース又はドレインの一方が第２の配線３３７に電気的に接続される。
【０１１４】
図１３（Ａ）は、図１２（Ａ）に示すフォトセンサにおいて、トランジスタ２４１及び第１０の配線２４２をさらに有する構成としたものである。トランジスタ２４１は、ゲートが第１０の配線２４２に電気的に接続され、ソース又はドレインの一方がトランジスタ２３１のソース又はドレインの他方及びトランジスタ３４１のゲートに電気的に接続され、ソース又はドレインの他方が第１の配線３３６及びトランジスタ３４１のソース又はドレインの一方に電気的に接続される。トランジスタ２４１は、トランジスタ３４１のゲートにリセット信号を供給する機能を有している。
【０１１５】
図１３（Ｂ）は、図１３（Ａ）に示すフォトセンサにおいて、トランジスタ３４１とトランジスタ３４２との接続関係が異なる構成を有している。トランジスタ３４１は、ゲートがトランジスタ２３１のソース又はドレインの他方及びトランジスタ２４１のソース又はドレインの一方に電気的に接続され、ソース又はドレインの一方がトランジスタ３４２のソース又はドレインの一方に電気的に接続され、ソース又はドレインの他方が第２の配線３３７に電気的に接続される。トランジスタ３４２のソース又はドレインの他方は、第１の配線３３６及びトランジスタ２４１のソース又はドレインの他方に電気的に接続される。
【０１１６】
図１４（Ａ）は、図１３（Ａ）に示すフォトセンサにおいて、トランジスタ３４２及び第４の配線３３９を有さない構成としたものである。トランジスタ３４１は、ソース又はドレインの他方が第２の配線３３７に電気的に接続される。
【０１１７】
図１４（Ｂ）は、図１４（Ａ）に示すフォトセンサにおいて、トランジスタ２４１とトランジスタ３４１との接続関係が異なる構成を有している。トランジスタ２４１は、ソース又はドレインの他方が第１１の配線２４４に電気的に接続される。トランジスタ３４１は、ソース又はドレインの一方が第１の配線３３６に電気的に接続され、ソース又はドレインの他方が第２の配線３３７に電気的に接続される。
【０１１８】
図１４（Ｃ）は、図１４（Ａ）に示すフォトセンサにおいて、トランジスタ２４１とトランジスタ３４１との接続関係が異なる構成を有している。トランジスタ２４１は、ソース又はドレインの他方がトランジスタ２３１のソース又はドレインの他方及びトランジスタ３４１のゲートに電気的に接続され、ソース又はドレインの一方がトランジスタ３４１のソース又はドレインの他方及び第２の配線３３７に電気的に接続される。
【０１１９】
以上のように、フォトセンサは、求める性能に応じて、様々な回路構成を適用することができる。上記実施の形態１又は２で示したコントローラによって、外光強度に応じてフォトセンサの駆動条件を変更することで、フォトセンサの感度を最適化した上での撮像が可能となり、高精度な撮像データを取得することができる。
【０１２０】
なお、本実施の形態で示した構成は、本明細書の他の実施の形態で示す構成と適宜組み合わせることができる。
【０１２１】
（実施の形態６）
本形態では、上記実施の形態に示した表示装置の一例について、図１０を用いて説明する。
【０１２２】
図１０に、本形態に係る表示装置の断面図を示す。図１０に示す表示装置では、絶縁表面を有する基板１００１上に、フォトダイオード１００２、トランジスタ１００３、保持容量１００４、及び液晶素子１００５が設けられている。
【０１２３】
図１０の縦に伸びる一点鎖線から左側に画素部のフォトセンサの一部、右側に表示素子の一部を示している。これらの構成は、実施の形態４で説明した画素５３３の構成（第１のフォトセンサ３３５及び表示素子５３７）と同等である（図９参照）。
【０１２４】
図１０では、フォトダイオード１００２が図示していないトランジスタとともに、画素部のフォトセンサを構成する。また、トランジスタ１００３、保持容量１００４及び液晶素子１００５が表示素子を構成する。
【０１２５】
フォトダイオード１００２と、保持容量１００４とは、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３とともに形成することが可能である。
【０１２６】
フォトダイオード１００２は横方向のｐｉｎダイオードである。フォトダイオード１００２が有する半導体膜１００６は、ｐ型の導電型を付与する不純物元素を含む領域（ｐ型半導体層ともいう）と、真性半導体の特性を有する領域（ｉ型半導体層ともいう）と、ｎ型の導電型を付与する不純物元素を含む領域（ｎ型半導体層ともいう）とを有している。
【０１２７】
なお、本実施の形態では、フォトダイオード１００２が横方向のｐｉｎダイオード（ｐｉｎ接合）である場合を例示しているが、フォトダイオード１００２はｐｎダイオード（ｐｎ接合）であってもよい。ｐｉｎダイオードまたはｐｎダイオードは、ｐ型の導電型を付与する不純物元素と、ｎ型を付与する不純物元素と、を、それぞれ半導体膜１００６の特定の領域に添加することで、形成することができる。
【０１２８】
また、フォトダイオード１００２は、横方向のダイオードに代えて、縦方向のダイオードを適用することができる。この場合、ｐ型半導体層、ｉ型半導体層及びｎ型半導体層を積層してｐｉｎダイオードとする、又はｐ型半導体層及びｎ型半導体層を順に積層してｐｎダイオードとすることができる。
【０１２９】
トランジスタ１００３は、求める性能に応じて、構造、構成材料など、適宜選択する。例えば、非晶質シリコン、微結晶シリコン、又は多結晶シリコンなどの半導体膜を用いて形成したトランジスタを適用することができる。また、酸化物半導体を用いて形成したトランジスタを適用することができる。また、半導体膜上にゲート電極が配置されるトップゲート型、半導体膜下にゲート電極が配置されるボトムゲート型のいずれの構造を適用してもよい。さらに、半導体膜上にソース電極及びドレイン電極が形成されるトップコンタクト型、半導体膜下にソース電極及びドレイン電極が形成されるボトムコンタクト型のいずれの構造を適用してもよい。
【０１３０】
図１０では、トップゲート型のトランジスタ１００３を有する例を示している。図１０の構成においては、基板１００１上に半導体膜を成膜し、該半導体膜をエッチングなどにより所望の形状に加工（パターニング）することで、フォトダイオード１００２の島状の半導体膜と、トランジスタ１００３の島状の半導体膜とを一緒に形成することができる。そのため、通常のパネル作製プロセスに加え、別途フォトダイオード作製プロセスを追加する必要がなく、作製コストを低減できる。
【０１３１】
液晶素子１００５は、画素電極１００７と、液晶１００８と、対向電極１００９とを有する。画素電極１００７は、平坦化膜として機能する絶縁膜１０３２上に形成されている。
【０１３２】
また、画素電極１００７は、導電膜１０１０を介して、トランジスタ１００３及び保持容量１００４と電気的に接続されている。また、対向電極１００９は、基板（対向基板）１０１３に形成されており、画素電極１００７と対向電極１００９との間に、液晶１００８が挟まれている。
【０１３３】
なお、図１０においては、画素部に設けられたフォトセンサに用いられているトランジスタについては図示していない。画素部に設けられたフォトセンサに用いられているトランジスタも、トランジスタ１００３を作製するプロセスにおいて、トランジスタ１００３とともに基板１００１上に形成することが可能である。
【０１３４】
画素電極１００７と、対向電極１００９と、の間のセルギャップは、スペーサー１０１６を用いて制御することができる。図１０では、フォトリソグラフィー法を利用して選択的に形成された柱状のスペーサー１０１６を用いてセルギャップを制御している例を示す。なお、図１０におけるスペーサー１０１６の位置は一例であり、スペーサーの位置、個数、及び密度などは、実施者が任意に決定することができる。また、柱状スペーサー１０１６に代えて、画素電極１００７と対向電極１００９の間に球状のスペーサーを分散させることで、セルギャップを制御することもできる。
【０１３５】
また、液晶１００８は、基板１００１と基板１０１３の間において、封止材により囲まれている。液晶１００８は、ディスペンサ式（滴下式）又はディップ式（汲み上げ式）を用いて形成することができる。
【０１３６】
画素電極１００７は、透光性を有する導電性材料、例えばインジウム錫酸化物、酸化珪素を含むインジウム錫酸化物、有機インジウム、有機スズ、酸化亜鉛を含むインジウム亜鉛酸化物（ＩＺＯ；Ｉｎｄｉｕｍ  Ｚｉｎｃ  Ｏｘｉｄｅ）、酸化亜鉛、ガリウムを含む酸化亜鉛、酸化スズ、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、又は酸化チタンを含むインジウム錫酸化物などを用いて形成することができる。
【０１３７】
また、液晶素子１００５が透過型の場合、画素電極１００７と同様に、対向電極１００９にも上述した透光性を有する導電性材料を用いることができる。
【０１３８】
画素電極１００７と液晶１００８の間には配向膜１０１１が、対向電極１００９と液晶１００８の間には配向膜１０１２が、それぞれ設けられている。配向膜１０１１、配向膜１０１２はポリイミド、ポリビニルアルコールなどの有機樹脂を用いて形成することができる。配向膜１０１１、配向膜１０１２の表面には、ラビングなどの、液晶分子を一定方向に配列させるための配向処理が施されている。ラビングは、配向膜に圧力をかけながら、ナイロンなどの布を巻いたローラーを回転させて、上記配向膜の表面を一定方向に擦ることで、行うことができる。なお、配向処理を施すことなく、酸化珪素などの無機材料を用いて配向特性を有する配向膜１０１１、配向膜１０１２を蒸着法により直接形成することも可能である。
【０１３９】
また、液晶素子１００５と重なるように、特定の波長領域の光を通すことができるカラーフィルタ１０１４が、基板１０１３に形成されている。カラーフィルタ１０１４は、顔料を分散させたアクリル系樹脂などの有機樹脂を基板１０１３上に塗布した後、所望の形状に有機樹脂を加工して選択的に形成することができる。また、顔料を分散させたポリイミド系樹脂を基板１０１３上に塗布した後、所望の形状にポリイミド系樹脂を加工して選択的に形成することもできる。また、インクジェットなどの液滴吐出法を用いることで、フォトリソグラフィー法を利用することなく、選択的にカラーフィルタ１０１４を形成することもできる。
【０１４０】
また、光を遮蔽することができる遮蔽膜１０１５が、基板１０１３のフォトダイオード１００２と重なる位置に形成されている。遮蔽膜１０１５を設けることで、基板１０１３を透過して画素部内に入射したバックライトからの光が、直接フォトダイオード１００２に当たるのを防ぐことができる。さらに、画素間における液晶１００８の配向の乱れに起因するディスクリネーションが視認されるのを防ぐことができる。遮蔽膜１０１５には、カーボンブラック、低次酸化チタンなどの黒色顔料を含む有機樹脂を用いることができる。または、クロムを用いた膜で、遮蔽膜１０１５を形成することも可能である。
【０１４１】
また、基板１００１の画素電極１００７が形成されている面とは反対の面に、偏光板１０１７を設ける。また、基板１０１３の対向電極１００９が形成されている面とは反対の面に、偏光板１０１８を設ける。
【０１４２】
液晶素子１００５は、ＴＮ（Ｔｗｉｓｔｅｄ  Ｎｅｍａｔｉｃ）型の他、ＶＡ（Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）型、ＯＣＢ（ｏｐｔｉｃａｌｌｙ  ｃｏｍｐｅｎｓａｔｅｄ  Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）型、又はＩＰＳ（Ｉｎ−Ｐｌａｎｅ  Ｓｗｉｔｃｈｉｎｇ）型等を適用することができる。なお、本実施の形態では、画素電極１００７と対向電極１００９の間に液晶１００８が挟まれている構造の液晶素子１００５を例に挙げて説明したが、本発明の一態様に係る表示装置はこの構成に限定されない。ＩＰＳ型のように、一対の電極が、ともに基板１００１側に形成されている液晶素子であってもよい。
【０１４３】
また、本実施の形態では、フォトダイオード１００２、トランジスタ１００３、保持容量１００４は、絶縁表面を有する基板上に薄膜の半導体膜を形成し、該半導体膜を用いて形成する例を挙げているが、単結晶半導体基板、ＳＯＩ基板などを用いて形成されていてもよい。
【０１４４】
本形態では、矢印１０２５のように基板１００１側から光が照射されるものとし、被検出物１０２１が基板１００１側に位置するものとする。この場合、矢印１０２５の方向に照射される光は、被検出物１０２１によって遮られるため、フォトダイオード１００２への入射が遮られる。そのため、フォトダイオード１００２は、被検出物の影を検出することになる。
【０１４５】
一方、バックライトからの光は、基板１０１３側から照射される。光は、液晶素子１００５を通って基板１００１側にある被検出物１０２１に照射され、被検出物１０２１によって反射された光がフォトダイオード１００２に入射する。フォトダイオード１００２は、被検出物１０２１の反射光を検出することになる。
【０１４６】
また、図１０の構成において、基板１０１３側から光が照射され、被検出物が基板１０１３側に位置する構成とする。この場合、遮蔽膜１０１５に開口を設けるなどして、フォトダイオード１００２に基板１０１３側から光が入射するようにする。また、基板１００１側のフォトダイオード１００２と重なる位置に遮蔽膜を設けるなどして、基板１００１側からフォトダイオード１００２に光が入射されないようにする。被検出物がある場合、基板１０１３側から照射される光は、被検出物によって遮られるため、フォトダイオード１００２への入射が遮られる。そのため、フォトダイオード１００２は、被検出物の影を検出することになる。
【０１４７】
また、上記図１０の構成の基板１０１３側から光が照射され、被検出物が基板１０１３側にある場合、バックライトからの光は基板１００１側から照射される。光は、液晶素子１００５を通って基板１０１３側にある被検出物に照射され、被検出物によって反射された光がフォトダイオード１００２に入射する。フォトダイオード１００２は、被検出物の反射光を検出することになる。
【０１４８】
また、図１１に、図１０と異なる表示装置の断面図の例を示す。図１１に示す表示装置では、絶縁表面を有する基板１００１上に、フォトダイオード１０５２、トランジスタ１０５３ａ、トランジスタ１０５３ｂ、トランジスタ１０５３ｃ、保持容量１０５４、及び液晶素子１００５が設けられている。
【０１４９】
図１１の中央の一点鎖線から左側に画素部に設けられたフォトセンサの一部、右側に表示素子の一部を示している。これらの構成は、実施の形態４で説明した画素５３３の構成（第１のフォトセンサ３３５及び表示素子５３７）と同等である（図９参照）。
【０１５０】
図１１では、フォトダイオード１０５２、トランジスタ１０５３ａ及びトランジスタ１０５３ｂが画素部のフォトセンサを構成する。また、トランジスタ１０５３ｃ、保持容量１０５４及び液晶素子１００５が表示素子を構成する。
【０１５１】
図１１では、トップゲート型のトランジスタ１０５３ａ、トランジスタ１０５３ｂ、トランジスタ１０５３ｃを有する例を示している。なお、上記実施の形態と同様、トランジスタの構造、構成材料などは、適宜選択することができ、図示した構造に限定されない。
【０１５２】
ここで、画素部のフォトセンサを構成するトランジスタについては、酸化物半導体を用いて形成したトランジスタを適用することが好ましい。酸化物半導体を用いたトランジスタは、極めてオフ電流の低い特性を有するため、電荷保持機能を高めることができる。
【０１５３】
トランジスタ１０５３ａのゲート電極には配線１０３０が接続され、該配線１０３０はフォトダイオード１０５２のカソードと電気的に接続されている。配線１０３０は、図９に示すゲート信号線３４３に相当する。なお、配線１０３０は、絶縁膜１０３１上ではなく、絶縁膜１０３３上に形成されていてもよい。
【０１５４】
トランジスタ１０５３ａのソース電極又はドレイン電極の一方は、トランジスタ１０５３ｂのソース電極又はドレイン電極の一方と電気的に接続されている。トランジスタ１０５３ａのソース電極又はドレイン電極の他方は配線（図９に示す第１の配線３３６に相当）と電気的に接続されている。また、トランジスタ１０５３ｂのソース電極又はドレイン電極の他方は配線（図９に示す第２の配線３３７に相当）と電気的に接続されている。
【０１５５】
図１１では、フォトダイオード１０５２が縦方向のｐｉｎダイオードである場合を例示している。具体的には、フォトダイオード１０５２は、ｐ型半導体層１０４１、ｉ型半導体層１０４２及びｎ型半導体層１０４３が順に積層されている。フォトダイオード１０５２は、ｐｉｎ接合を積層型で形成している。
【０１５６】
フォトダイオード１０５２の代表例としては、ｉ型半導体層１０４２に非晶質シリコンを用いたフォトダイオードが挙げられる。この場合、ｐ型半導体層１０４１、及びｎ型半導体層１０４３にも非晶質シリコンを用いることはできるが、電気伝導度が高い微結晶シリコンを用いることが好ましい。ｉ型半導体層１０４２に非晶質シリコンを用いたフォトダイオードは、光感度が可視光線領域にあり、赤外線による誤動作を防ぐことができる。
【０１５７】
本形態では、フォトダイオード１０５２がｐｉｎダイオードである場合を例示しているが、フォトダイオード１０５２はｐｎダイオードであってもよい。フォトダイオード１０５２がｐｎダイオードの場合は、ｐ型半導体層及びｎ型半導体層として高品質の結晶シリコンを用いることが好ましい。また、本形態ではフォトダイオード１０５２が縦方向のダイオードである場合を例示しているが、図１０のように横方向のダイオードを適用してもよい。
【０１５８】
フォトダイオード１０５２のアノードとなるｐ型半導体層１０４１は、信号配線１０３５と電気的に接続される。フォトダイオード１０５２のカソードとなるｎ型半導体層１０４３は、トランジスタ１０５３ａのゲート電極と電気的に接続されている。なお、信号配線１０３５は、図９に示す第３の配線３３８に相当する。
【０１５９】
なお、フォトダイオード１０５２のｐ型半導体層１０４１の光入射面側には、透光性を有する導電層が設けられていてもよい。また、ｎ型半導体層１０４３の絶縁膜１０３３の界面側には導電層が設けられていてもよい。例えば、配線１０３０が延在し、ｎ型半導体層１０４３を覆う様な形であってもよい。ｐ型半導体層１０４１の光入射面側やｎ型半導体層１０４３の絶縁膜１０３３の界面側に導電層を設けることで、ｐ型半導体層１０４１の抵抗又はｎ型半導体層１０４３の抵抗による電荷の損失を低減することができる。
【０１６０】
トランジスタ１０５３ｃは、液晶素子の駆動を行うために設けられている。トランジスタ１０５３ｃのソース電極またはドレイン電極の一方は画素電極１００７と電気的に接続され、ソース電極またはドレイン電極の他方は信号配線（図示せず）に接続されている。
【０１６１】
保持容量１０５４は、トランジスタ１０５３ａ、１０５３ｂ、１０５３ｃと共に形成することが可能である。保持容量１０５４を構成する容量配線及び容量電極は、トランジスタ１０５３ａ、１０５３ｂ、１０５３ｃのゲート電極、又はソース電極及びドレイン電極を作製する工程において形成される。誘電体膜となる絶縁膜は、ゲート絶縁膜を作製する工程において形成される。保持容量１０５４は、液晶素子１００５と並列にトランジスタ１０５３ｃのソース電極またはドレイン電極の一方と接続されている。
【０１６２】
トランジスタ１０５３ｃ及び保持容量１０５４と電気的に接続される画素電極１００７が、平坦化膜として機能する絶縁膜１０３２上に形成されている。なお、画素電極１００７から上方の基板（対向基板）１０１３までの構成は、図１０の説明に準じるため省略する。
【０１６３】
以上のような表示装置として、上記実施の形態に示した画素部にフォトセンサを有する表示装置を適用する。なお、図１０、図１１は上記実施の形態４に示した半導体装置の断面に相当し、さらに画素部の周辺にセンサ部（フォトセンサ）と、コントローラと、を有する。図１０、図１１に示す表示装置は、画素部の周辺に設けられたフォトセンサで外光強度を取得し、コントローラが外光強度に応じて画素部に設けられたフォトセンサの駆動条件を変更し、コントローラから与えられる駆動条件により画素部に設けられたフォトセンサの感度を変更した上で撮像を行う。表示装置は、外光強度に応じて画素部に設けられたフォトセンサの駆動条件を変更することで最適化し、最適化したフォトセンサを用いて撮像を行う。したがって、高精度な撮像データを取得することができる。
【０１６４】
なお、画素部の周辺に設けられたセンサ部の構成は、図１０、図１１に示した画素部の構成を適用することができる。
【０１６５】
図１０、図１１に示す表示装置は、撮像機能に加え、表示機能を有する。したがって、入力と表示の２つの機能を合わせ持つことができ、高機能な表示装置を提供することができる。特に、高精度な撮像データを取得できるため、入力機能を高精度化することができる。
【０１６６】
なお、本実施の形態で示した構成は、本明細書の他の実施の形態で示す構成と適宜組み合わせることができる。
【０１６７】
（実施の形態７）
本形態では、上記実施の形態に示した画素に設けられたフォトセンサと、画素の周辺に設けられたフォトセンサと、を有する半導体装置の応用例について説明する。
【０１６８】
まず、画素部にフォトセンサを有する表示装置を用いて、タッチパネルを構成する例について説明する。図１５は、表示装置の構造を示す斜視図の一例である。図１５に示す表示装置は、パネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６と、バックライト１６０８と、回路基板１６０９とを有している。パネル１６０１は、一対の基板間に液晶素子、フォトダイオード、及び薄膜トランジスタなどを含む画素部が形成された構成を有する。バックライト１６０８は、複数の光源１６０７を有する。
【０１６９】
パネル１６０１と、第１の拡散板１６０２と、プリズムシート１６０３と、第２の拡散板１６０４と、導光板１６０５と、反射板１６０６とは、順に積層されている。光源１６０７は導光板１６０５の端部に設けられている。導光板１６０５内部に拡散された光源１６０７からの光は、第１の拡散板１６０２、プリズムシート１６０３及び第２の拡散板１６０４によって、対向基板側から均一にパネル１６０１に照射される。
【０１７０】
なお、本形態では第１の拡散板１６０２と第２の拡散板１６０４との２枚の拡散板を用いているが、拡散板の数はこれに限定されず、単数であっても３以上であってもよい。また、拡散板は、導光板１６０５とパネル１６０１との間に設けられていればよい。よって、図１５に示す構成の場合、プリズムシート１６０３よりもパネル１６０１に近い側にのみ拡散板が設けられていてもよいし、プリズムシート１６０３よりも導光板１６０５に近い側にのみ拡散板が設けられていてもよい。
【０１７１】
また、プリズムシート１６０３は、図１５に示した断面が鋸歯状の形状に限定されず、導光板１６０５からの光をパネル１６０１側に集光できる形状を有していればよい。
【０１７２】
回路基板１６０９には、パネル１６０１に入力される各種信号を生成もしくは処理する回路、パネル１６０１から出力される各種信号を処理する回路などが設けられている。そして図１５では、回路基板１６０９とパネル１６０１とが、ＦＰＣ１６１１（Ｆｌｅｘｉｂｌｅ  Ｐｒｉｎｔｅｄ  Ｃｉｒｃｕｉｔ；フレキシブルプリントサーキット）を介して接続されている。なお、上記回路基板１６０９に設けられた回路は、ＣＯＧ（Ｃｈｉｐ  Ｏｎ  Ｇｌａｓｓ）法を用いてパネル１６０１に接続されていてもよいし、上記回路の一部がＦＰＣ１６１１にＣＯＦ（Ｃｈｉｐ  Ｏｎ  Ｆｉｌｍ）法を用いて接続されていてもよい。
【０１７３】
また、図１５では、光源１６０７の駆動を制御する制御系の回路が回路基板１６０９に設けられ、制御系の回路と光源１６０７とがＦＰＣ１６１０を介して接続されている例を示している。ただし、制御系の回路はパネル１６０１に設けられていてもよい。この場合は、パネル１６０１と光源１６０７とをＦＰＣなどにより接続させる。
【０１７４】
なお、図１５では、パネル１６０１の端に光源１６０７を配置する、エッジライト型を例示しているが、これに限らず、パネル１６０１の直下に光源１６０７を配置する直下型としてもよい。
【０１７５】
例えば、被検出物である指１６１２をパネル１６０１の上面側から近づける。バックライト１６０８からの光は、パネル１６０１を通過し、その一部が指１６１２において反射し、再びパネル１６０１に入射する。各色に対応する光源１６０７を順に点灯させ、色ごとに撮像を行うことで、被検出物である指１６１２のカラーの撮像データを得ることができる。また撮像データから位置を認識することができ、表示画像の情報と組み合わせてタッチパネルとして機能させることができる。
【０１７６】
上記実施の形態で示した表示装置を適用することで、暗い場所又は明るい場所など使用環境を問わず、高精度な撮像を行うことができる。また、さまざまな明るさの場所でも、臨機応変に画素部のフォトセンサの感度を変更した上で撮像を行うため、利便性を高めることができる。
【０１７７】
次に、上記実施の形態に示した半導体装置（固体撮像素子、表示装置等）を組み込んだライティングボード（黒板、ホワイトボードとも言われる）の一例を、図１６に示す。例えば、ライティングボード９６００のパネル部９６９６に、上記実施の形態に示した半導体装置を組み込むことができる。
【０１７８】
パネル部９６９６の表面には、マーカー等を用いて自由に書き込みを行うことができる。パネル部９６９６表面には、ガラス基板や透明な合成樹脂シートを用いることができる。
【０１７９】
パネル部９６９６に組み込まれた半導体装置は、画素部にフォトセンサを有しており、撮像を行うことができる。そのため、ライティングボード９６００をプリンター等と接続しておくことで、パネル部９６９６に書き込まれた文字や図などを読み取って印刷することが可能である。もちろん、ライティングボード９６００本体にプリンターを備えさせた構成としてもよい。
【０１８０】
また、パネル部９６９６に、フォトセンサと表示素子とを画素部に有する表示装置を組み込めば、画像を表示するとともに、パネル部９６９６表面にマーカー等で書き込みを行うことができる。さらに、パネル部９６９６に、画像を表示させた状態で文字や図を書き込むことにより、撮像を行って読み取ったマーカーの軌跡と画像とを合成して映し出すことも可能となる。パネル部９６９６の表示画像や書き込んだ文字などは、プリンター等により印刷することが可能である。
【０１８１】
上記実施の形態で示した半導体装置を適用することで、室内が暗い場合でも画素部に設けられたフォトセンサの感度を最適化した上で撮像を行うことができるため、高精度な撮像ができ、所望の印刷物を得ることができる。なお、室内が明るすぎる場合、又は室内でなく屋外の場合でも、画素部に設けられたフォトセンサの感度を最適化した上での撮像ができるため、高精度な撮像ができ、所望の印刷物を得ることができる。
【０１８２】
次に、上記実施の形態に示した半導体装置を組み込んだその他の電子機器の例について説明する。
【０１８３】
例えば、ディスプレイなどの表示装置、ノート型パーソナルコンピュータ、記録媒体を備えた画像再生装置（代表的にはＤＶＤ：Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ等の記録媒体を再生し、その画像を表示しうるディスプレイを有する装置）が挙げられる。その他、携帯電話、携帯型ゲーム機、携帯情報端末、電子書籍、ビデオカメラ、デジタルスチルカメラなどのカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンター、プリンター複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。これら電子機器の具体例を図１７に示す。
【０１８４】
図１７（Ａ）はディスプレイ５０００であり、筐体５００１、表示部５００２、支持台５００３等を有する。表示部５００２に、上記実施の形態に示した表示装置を組み込むことができる。これにより、使用環境による外光強度に関係なく、最適化されたフォトセンサの感度で撮像を行うことができ、高精度な撮像を行うことができる。したがって、高精度な撮像機能という高機能なアプリケーションを搭載したディスプレイ５０００を提供することができる。なお、表示装置には、パーソナルコンピュータ用、ＴＶ放送受信用、広告表示用などの全ての情報表示用のディスプレイが含まれる。
【０１８５】
図１７（Ｂ）は携帯情報端末５１００であり、筐体５１０１、表示部５１０２、スイッチ５１０３、操作キー５１０４、赤外線ポート５１０５等を有する。表示部５１０２に、上記実施の形態に示した表示装置を組み込むことができる。これにより、使用環境による外光強度に関係なく、最適化されたフォトセンサの感度で撮像を行うことができ、高精度な撮像を行うことができる。したがって、高精度な撮像機能という高機能なアプリケーションを搭載した携帯情報端末５１００を提供することができる。特に、携帯情報端末５１００の場合は、さまざまな場所に持ち運ぶことが想定されているため、使用環境による外光強度の影響によらず、高精度な撮像が可能であることは効果的である。
【０１８６】
図１７（Ｃ）は現金自動預け入れ払い機５２００であり、筐体５２０１、表示部５２０２、硬貨投入口５２０３、紙幣投入口５２０４、カード投入口５２０５、通帳投入口５２０６等を有する。表示部５２０２に、上記実施の形態に示した表示装置を組み込むことができる。これにより、使用環境による外光強度に関係なく、最適化されたフォトセンサの感度で撮像を行うことができ、高精度な撮像を行うことができる。さらに、現金自動預け入れ払い機５２００に適用するため、高精度な撮像を行えることで、指紋、顔、手形、掌紋及び手の静脈の形状、虹彩等の、生体認証に用いられる生体情報の読み取り精度を高めることができる。したがって、生体認証における、本人であるにもかかわらず本人ではないと誤認識してしまう本人拒否率と、他人であるにもかかわらず本人と誤認識してしまう他人受入率とを、低く抑えることができる。
【０１８７】
図１７（Ｄ）は携帯型ゲーム機５３００であり、筐体５３０１、筐体５３０２、表示部５３０３、表示部５３０４、マイクロホン５３０５、スピーカー５３０６、操作キー５３０７、スタイラス５３０８等を有する。表示部５３０４に、上記実施の形態に示した表示装置を組み込むことができる。これにより、使用環境による外光強度に関係なく、最適化されたフォトセンサの感度で撮像を行うことができ、高精度な撮像を行うことができる。したがって、高精度な撮像機能という高機能なアプリケーションを搭載した携帯型ゲーム機５３００を提供することができる。携帯型ゲーム機５３００も、携帯情報端末５１００と同様にさまざまな場所に持ち運ぶことが想定されているため、使用環境による外光強度の影響によらず、高精度な撮像が可能であることは効果的である。なお、図１７（Ｄ）に示した携帯型ゲーム機は、２つの表示部５３０３と表示部５３０４とを有しているが、携帯型ゲーム機が有する表示部の数は、これに限定されない。
【０１８８】
本形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
【符号の説明】
【０１８９】
２３１    トランジスタ
２３２    第８の配線
２３３    保持容量
２３４    第９の配線
２４１    トランジスタ
２４２    第１０の配線
２４４    第１１の配線
３００    固体撮像素子
３０１    画素部
３１１    コントローラ
３３１    第１の制御回路部
３３３    画素
３３５    第１のフォトセンサ
３３６    第１の配線
３３７    第２の配線
３３８    第３の配線
３３９    第４の配線
３４１    トランジスタ
３４２    トランジスタ
３４３    ゲート信号線
３４４    フォトダイオード
３５１    フォトセンサ読み出し回路
３５２    ｐ型トランジスタ
３５３    保持容量
３５４    第５の配線
３５５    フォトセンサ駆動回路
３５６    第６の配線
３７１    センサ部
４０１    信号
４０２    信号
４０３    信号
４０４    信号
４０５    信号
５００    表示装置
５０１    画素部
５３３    画素
５３７    表示素子
５４１    トランジスタ
５４２    保持容量
５４３    液晶素子
５５１    表示素子駆動回路
５５５    表示素子駆動回路
５６１    ゲート信号線
５６２    第７の配線
１０００    第１のフォトセンサ
１００１    基板
１００２    フォトダイオード
１００３    トランジスタ
１００４    保持容量
１００５    液晶素子
１００６    半導体膜
１００７    画素電極
１００８    液晶
１００９    対向電極
１０１０    導電膜
１０１１    配向膜
１０１２    配向膜
１０１３    基板
１０１４    カラーフィルタ
１０１５    遮蔽膜
１０１６    スペーサー
１０１７    偏光板
１０１８    偏光板
１０２１    被検出物
１０２５    矢印
１０３０    配線
１０３１    絶縁膜
１０３２    絶縁膜
１０３３    絶縁膜
１０３５    信号配線
１０４１    ｐ型半導体層
１０４２    ｉ型半導体層
１０４３    ｎ型半導体層
１０５２    フォトダイオード
１０５３ａ    トランジスタ
１０５３ｂ    トランジスタ
１０５３ｃ    トランジスタ
１０５４    保持容量
１１００    コントローラ
１１１０    ＣＰＵ
１１２０    プログラムメモリ
１１３０    外光強度データ用レジスタ
１１４０    変換テーブル
１１５０    作業用メモリ
１１６０    タイミングコントローラ
１１６２    制御データ用レジスタ
１１７０    電源回路
１１７２    制御データ用レジスタ
１１７４    Ｄ／Ａ変換回路
１１７６    増幅回路
１２００    第２のフォトセンサ
１３０１    実線
１３０２    ピーク
１３０３    ピーク
１３１１    破線
１３１２    ピーク
１３２１    破線
１３２２    ピーク
１６０１    パネル
１６０２    第１の拡散板
１６０３    プリズムシート
１６０４    第２の拡散板
１６０５    導光板
１６０６    反射板
１６０７    光源
１６０８    バックライト
１６０９    回路基板
１６１０    ＦＰＣ
１６１１    ＦＰＣ
１６１２    指
２１００    コントローラ
２１１０    専用処理回路
２１１２    変換テーブル
５０００    ディスプレイ
５００１    筐体
５００２    表示部
５００３    支持台
５１００    携帯情報端末
５１０１    筐体
５１０２    表示部
５１０３    スイッチ
５１０４    操作キー
５１０５    赤外線ポート
５２００    現金自動預け入れ払い機
５２０１    筐体
５２０２    表示部
５２０３    硬貨投入口
５２０４    紙幣投入口
５２０５    カード投入口
５２０６    通帳投入口
５３００    携帯型ゲーム機
５３０１    筐体
５３０２    筐体
５３０３    表示部
５３０４    表示部
５３０５    マイクロホン
５３０６    スピーカー
５３０７    操作キー
５３０８    スタイラス
９６００    ライティングボード
９６９６    パネル部
【図１】
0005890608.tif 000002
【図２】
0005890608.tif 000003
【図３】
0005890608.tif 000004
【図４】
0005890608.tif 000005
【図５】
0005890608.tif 000006
【図６】
0005890608.tif 000007
【図７】
0005890608.tif 000008
【図８】
0005890608.tif 000009
【図９】
0005890608.tif 000010
【図１０】
0005890608.tif 000011
【図１１】
0005890608.tif 000012
【図１２】
0005890608.tif 000013
【図１３】
0005890608.tif 000014
【図１４】
0005890608.tif 000015
【図１５】
0005890608.tif 000016
【図１６】
0005890608.tif 000017
【図１７】
0005890608.tif 000018