(57)【要約】視認性の向上を図ることができる表示システムを提供する。撮像装置と、制御装置と、表示装置と、を有する表示システム。撮像装置は、マトリクス状に配置された第１の画素を有し、表示装置は、マトリクス状に配置された第２の画素を有する。撮像装置は、第１の画素に照射された光の照度を基にして、第１の画像データを生成する機能を有する。制御装置は、第１の画像データを基に、ヒストグラム作成し、当該ヒストグラムを二以上の照度域に分割する機能を有する。また、制御装置は、第１の画像データが情報として有する、第１の画素に照射された光の照度に対応する階調を変換することにより、第１の画像データに対してダイナミックレンジ圧縮を行った第２の画像データを生成する機能を有する。ダイナミックレンジ圧縮における圧縮率は、それぞれの照度域におけるヒストグラムの積分値を基に、制御装置が照度域ごとに計算する。
2019008482.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、制御装置と、表示装置と、を有する表示システムであって、
前記撮像装置は、マトリクス状に配置された第１の画素を有し、
前記表示装置は、マトリクス状に配置された第２の画素を有し、
前記撮像装置は、前記第１の画素に照射された光の照度を基にして、第１の画像データを生成する機能を有し、
前記制御装置は、前記第１の画像データを基に、ヒストグラム作成する機能を有し、
前記制御装置は、前記ヒストグラムを、二以上の照度域に分割する機能を有し、
前記制御装置は、前記第１の画像データが情報として有する、前記第１の画素に照射された光の照度に対応する階調を変換することにより、前記第１の画像データに対してダイナミックレンジ圧縮を行った第２の画像データを生成する機能を有し、
前記制御装置は、それぞれの前記照度域における前記ヒストグラムの積分値を基に、前記ダイナミックレンジ圧縮における圧縮率を、前記照度域ごとに計算する機能を有する表示システム。
【請求項２】
請求項１において、
前記積分値が大きい前記照度域における前記圧縮率は、前記積分値が小さい前記照度域における前記圧縮率より小さい表示システム。
【請求項３】
請求項１において、
前記制御装置は、ニューラルネットワークを有し、
前記ニューラルネットワークは、前記第１の画像データを基にして、前記第１の画像データが取得されたフレーム期間より後のフレーム期間において前記撮像装置が取得する第３の画像データを予測する機能を有する表示システム。
【請求項４】
請求項３において、
前記制御装置は、前記第３の画像データを基にして、前記圧縮率を更新するか否かを判定する機能を有する表示システム。
【請求項５】
第１の画素がマトリクス状に配列された撮像装置と、制御装置と、第２の画素がマトリクス状に配列された表示装置と、を有する表示システムの動作方法であって、
前記撮像装置が、前記第１の画素に照射された光の照度を基にして、第１の画像データを生成し、
前記制御装置が、前記第１の画像データを基に、ヒストグラムを作成し、
前記制御装置が、前記ヒストグラムを、二以上の照度域に分割し、
前記制御装置が、前記第１の画像データが情報として有する、前記第１の画素に照射された光の照度に対応する階調を変換することにより、それぞれの前記照度域における前記ヒストグラムの積分値を基に前記照度域ごとに計算した圧縮率で、前記第１の画像データに対してダイナミックレンジ圧縮を行った第２の画像データを生成する機能を有する表示システムの動作方法。
【請求項６】
請求項５において、
前記積分値が大きい前記照度域における前記圧縮率が、前記積分値が小さい前記照度域における前記圧縮率より小さくなるように、前記第１の画像データに対して前記ダイナミックレンジ圧縮を行う表示システムの動作方法。
【請求項７】
請求項５において、
前記制御装置は、ニューラルネットワークを有し、
前記ニューラルネットワークにより、前記第１の画像データを基にして、前記第１の画像データが取得されたフレーム期間より後のフレーム期間において前記撮像装置が取得する第３の画像データを予測し、
前記第３の画像データを基に、前記圧縮率を更新するか否かを判定する表示システムの動作方法。
【発明の詳細な説明】
【技術分野】
【０００１】本発明の一態様は、表示システム、および表示システムの動作方法に関する。【０００２】なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、照明装置、蓄電装置、記憶装置、撮像装置、それらの駆動方法、または、それらの製造方法、を一例として挙げることができる。【０００３】なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。トランジスタ、半導体回路は半導体装置の一態様である。また、記憶装置、表示装置、撮像装置、電子機器は、半導体装置を有する場合がある。
【背景技術】
【０００４】車両周辺の情報を撮像するための撮像装置、および撮像で得られた情報を表示するための表示装置を備えた車両が普及している（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−５６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】車両周辺の情報を撮像するための撮像装置では、明暗差が大きい被写体を撮像する必要がある。例えば、トンネルの出口付近では、トンネル内部の照度は低く、トンネル外部の照度は高いため、撮像装置が取得する撮像データは、明暗差の大きい撮像データとなる。したがって、車両周辺の情報を撮像するための撮像装置は、高ダイナミックレンジであることが求められる。ここで、撮像で得られた情報を表示するための表示装置のダイナミックレンジが、撮像装置のダイナミックレンジよりも低い場合は、撮像データの階調を、表示装置で表現可能な階調に変換することにより、ダイナミックレンジ圧縮を行う必要がある。しかし、ダイナミックレンジ圧縮により、表示される画像が不鮮明となり、場合によっては黒つぶれおよび白とびが発生する。【０００７】本発明の一態様は、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムを提供することを課題の一とする。または、本発明の一態様は、黒つぶれおよび白とびの発生を抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムを提供することを課題の一とする。または、本発明の一態様は、視認性の向上を図ることができる表示システムを提供することを課題の一とする。または、本発明の一態様は、高速に動作する表示システムを提供することを課題の一とする。または、本発明の一態様は、新規な表示システムを提供することを課題の一とする。【０００８】本発明の一態様は、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムの動作方法を提供することを課題の一とする。または、本発明の一態様は、黒つぶれおよび白とびの発生を抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムの動作方法を提供することを課題の一とする。または、本発明の一態様は、視認性の向上を図ることができる表示システムの動作方法を提供することを課題の一とする。または、本発明の一態様は、高速に動作する表示システムの動作方法を提供することを課題の一とする。または、本発明の一態様は、新規な表示システムの動作方法を提供することを課題の一とする。【０００９】なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項等の記載から、自ずと明らかとなるものであり、明細書、図面、請求項等の記載から、これら以外の課題を抽出することが可能である。
【課題を解決するための手段】
【００１０】本発明の一態様は、撮像装置と、制御装置と、表示装置と、を有する表示システムであって、撮像装置は、マトリクス状に配置された第１の画素を有し、表示装置は、マトリクス状に配置された第２の画素を有し、撮像装置は、第１の画素に照射された光の照度を基にして、第１の画像データを生成する機能を有し、制御装置は、第１の画像データを基に、ヒストグラム作成する機能を有し、制御装置は、ヒストグラムを、二以上の照度域に分割する機能を有し、制御装置は、第１の画像データが情報として有する、第１の画素に照射された光の照度に対応する階調を変換することにより、第１の画像データに対してダイナミックレンジ圧縮を行った第２の画像データを生成する機能を有し、制御装置は、それぞれの照度域におけるヒストグラムの積分値を基に、ダイナミックレンジ圧縮における圧縮率を、照度域ごとに計算する機能を有する表示システムである。【００１１】または、上記態様において、積分値が大きい照度域における圧縮率は、積分値が小さい照度域における圧縮率より小さくてもよい。【００１２】または、上記態様において、制御装置は、ニューラルネットワークを有し、ニューラルネットワークは、第１の画像データを基にして、第１の画像データが取得されたフレーム期間より後のフレーム期間において撮像装置が取得する第３の画像データを予測する機能を有してもよい。【００１３】または、上記態様において、制御装置は、第３の画像データを基にして、圧縮率を更新するか否かを判定する機能を有してもよい。【００１４】または、本発明の一態様は、第１の画素がマトリクス状に配列された撮像装置と、制御装置と、第２の画素がマトリクス状に配列された表示装置と、を有する表示システムの動作方法であって、撮像装置が、第１の画素に照射された光の照度を基にして、第１の画像データを生成し、制御装置が、第１の画像データを基に、ヒストグラムを作成し、制御装置が、ヒストグラムを、二以上の照度域に分割し、制御装置が、第１の画像データが情報として有する、第１の画素に照射された光の照度に対応する階調を変換することにより、それぞれの照度域におけるヒストグラムの積分値を基に照度域ごとに計算した圧縮率で、第１の画像データに対してダイナミックレンジ圧縮を行った第２の画像データを生成する機能を有する表示システムの動作方法である。【００１５】または、上記態様において、積分値が大きい照度域における圧縮率が、積分値が小さい照度域における圧縮率より小さくなるように、第１の画像データに対してダイナミックレンジ圧縮を行ってもよい。【００１６】または、上記態様において、制御装置は、ニューラルネットワークを有し、ニューラルネットワークにより、第１の画像データを基にして、第１の画像データが取得されたフレーム期間より後のフレーム期間において撮像装置が取得する第３の画像データを予測し、第３の画像データを基に、圧縮率を更新するか否かを判定してもよい。
【発明の効果】
【００１７】本発明の一態様により、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムを提供することができる。または、本発明の一態様により、黒つぶれおよび白とびの発生を抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムを提供することができる。または、本発明の一態様により、視認性の向上を図ることができる表示システムを提供することができる。または、本発明の一態様により、高速に動作する表示システムを提供することができる。または、本発明の一態様により、新規な表示システムを提供することができる。【００１８】本発明の一態様により、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムの動作方法を提供することができる。または、本発明の一態様により、黒つぶれおよび白とびの発生を抑制しつつ、ダイナミックレンジ圧縮を行うことができる表示システムの動作方法を提供することができる。または、本発明の一態様により、視認性の向上を図ることができる表示システムの動作方法を提供することができる。または、本発明の一態様により、高速に動作する表示システムの動作方法を提供することができる。または、本発明の一態様により、新規な表示システムの動作方法を提供することができる。【００１９】なお、本発明の一態様はこれらの効果に限定されるものではない。例えば、本発明の一態様は、場合によっては、または、状況に応じて、これらの効果以外の効果を有する場合もある。または、例えば、本発明の一態様は、場合によっては、または、状況に応じて、これらの効果を有さない場合もある。
【図面の簡単な説明】
【００２０】
【図１】表示システムの構成例を説明するブロック図。
【図２】表示システムを説明する図。
【図３】表示システムを説明する図。
【図４】表示システムを説明する図。
【図５】表示システムの構成例を説明するブロック図。
【図６】表示システムの動作方法の一例を説明するフローチャート。
【図７】表示システムの動作方法の一例を説明するフローチャート。
【図８】画素回路の構成例を説明する図、および撮像の動作方法の一例を説明するタイミングチャート。
【図９】撮像装置の画素の構成例を説明する図。
【図１０】撮像装置の画素の構成例を説明する図。
【図１１】撮像装置の画素の構成例を説明する図。
【図１２】撮像装置の画素の構成例を説明する図。
【図１３】撮像装置の画素の構成例を説明する図。
【図１４】撮像装置を収めたパッケージ、モジュールの斜視図。
【図１５】表示装置の構成例を説明する回路図。
【図１６】表示装置の構成例を説明する図。
【図１７】表示装置の構成例を説明する図。
【図１８】記憶回路の構成例を説明するブロック図。
【図１９】記憶回路の構成例を説明する図。
【図２０】ニューラルネットワークの構成例を示す図。
【図２１】半導体装置の構成例を説明する図。
【図２２】メモリセルの構成例を説明する図。
【図２３】オフセット回路の構成例を説明する図。
【図２４】半導体装置の動作方法の一例を説明するタイミングチャート。
【図２５】移動体の一例を説明する図。
【発明を実施するための形態】
【００２１】以下では、本発明の実施の形態について図面を用いて詳細に説明する。ただし、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明は、以下に示す実施の形態の記載内容に限定して解釈されるものではない。
【００２２】図面において、大きさ、層の厚さ、または領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。なお図面は、理想的な例を模式的に示したものであり、図面に示す形状または値等に限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、または、タイミングのずれによる信号、電圧、若しくは電流のばらつき等を含むことが可能である。
【００２３】本明細書等において、「上に」、「下に」等の配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている場合がある。また、構成同士の位置関係は、各構成を描写する方向に応じて適宜変化するものである。従って、明細書で説明した語句に限定されず、状況に応じて適切に言い換えることができる。
【００２４】図面に記載したブロック図の各回路ブロックの配置は、説明のため位置関係を特定するものであり、異なる回路ブロックで別々の機能を実現するよう示していても、実際の回路ブロックにおいては同じ回路ブロック内で別々の機能を実現しうるように設けられている場合もある。また各回路ブロックの機能は、説明のため機能を特定するものであり、一つの回路ブロックとして示していても、実際の回路ブロックにおいては一つの回路ブロックで行う処理を、複数の回路ブロックで行うよう設けられている場合もある。
【００２５】本明細書等において、半導体装置とは、半導体特性を利用した装置であり、半導体素子（トランジスタ、ダイオード等）を含む回路、同回路を有する装置等をいう。また、半導体特性を利用することで機能しうる装置全般をいう。例えば、集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、及びＩＣを備えたチップは、半導体装置の一例である。また、記憶装置、表示装置、発光装置、照明装置、および電子機器等は、それ自体が半導体装置である場合があり、または半導体装置を有している場合がある。
【００２６】また、本明細書等において、ＸとＹとが接続されている、と明示的に記載されている場合は、ＸとＹとが電気的に接続されている場合と、ＸとＹとが機能的に接続されている場合と、ＸとＹとが直接接続されている場合とが、本明細書等に開示されているものとする。したがって、所定の接続関係、例えば、図または文章に示された接続関係に限定されず、図または文章に示された接続関係以外のものも、図または文章に記載されているものとする。Ｘ、Ｙは、対象物（例えば、装置、素子、回路、配線、電極、端子、導電膜、層、等）であるとする。
【００２７】トランジスタは、ゲート、ソース、およびドレインと呼ばれる３つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御ノードとして機能するノードである。ソースまたはドレインとして機能する２つの入出力ノードは、トランジスタの型および各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。
【００２８】ノードは、回路構成やデバイス構造等に応じて、端子、配線、電極、導電層、導電体、不純物領域等と言い換えることが可能である。また、端子、配線等をノードと言い換えることが可能である。
【００２９】電圧は、ある電位と、基準の電位（例えば接地電位（ＧＮＤ）またはソース電位）との電位差のことを示す場合が多い。よって、電圧を電位と言い換えることが可能である。なお、電位とは、相対的なものである。よって、接地電位と記載されていても、必ずしも、０Ｖを意味しない場合もある。
【００３０】本明細書等において、「膜」という言葉と「層」という言葉とは、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を「導電膜」という用語に変更することが可能な場合がある。例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。
【００３１】本明細書等において、“第１”、“第２”、“第３”という序数詞は構成要素の混同を避けるために付す場合があり、その場合は数的に限定するものではなく、また順序を限定するものでもない。
【００３２】本明細書等において、人工ニューラルネットワーク（ＡＮＮ、以後、ニューラルネットワークと呼称する。）とは、生物の神経回路網を模したモデル全般を指す。一般的には、ニューラルネットワークは、ニューロンを模したユニットが、シナプスを模したユニットを介して、互いに結合された構成となっている。
【００３３】シナプスの結合（ニューロン同士の結合）の強度（重み係数ともいう。）は、ニューラルネットワークに既存の情報を与えることによって、変化することができる。このように、ニューラルネットワークに既存の情報を与えて、結合強度を決める処理を「学習」という場合がある。
【００３４】また、「学習」を行った（結合強度を定めた）ニューラルネットワークに対して、何らかの情報を与えることにより、その結合強度に基づいて新たな情報を出力することができる。このように、ニューラルネットワークにおいて、与えられた情報と結合強度に基づいて新たな情報を出力する処理を「推論」または「認知」という場合がある。
【００３５】ニューラルネットワークのモデルとしては、例えば、ホップフィールド型、階層型等が挙げられる。特に、多層構造としたニューラルネットワークを「ディープニューラルネットワーク」（ＤＮＮ）と呼称し、ディープニューラルネットワークによる機械学習を「ディープラーニング」と呼称する。
【００３６】本明細書等において、金属酸化物（ｍｅｔａｌ  ｏｘｉｄｅ）とは、広い表現での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体（透明酸化物導電体を含む）、酸化物半導体（Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒまたは単にＯＳともいう）等に分類される。例えば、トランジスタの活性層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、およびスイッチング作用の少なくとも１つを有するトランジスタのチャネル形成領域を構成し得る場合、当該金属酸化物を、金属酸化物半導体（ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、略してＯＳということができる。また、ＯＳ  ＦＥＴ（またはＯＳトランジスタ）と記載する場合においては、金属酸化物または酸化物半導体を有するトランジスタと換言することができる。
【００３７】また、本明細書等において、ＣＡＡＣ（ｃ−ａｘｉｓ  ａｌｉｇｎｅｄ  ｃｒｙｓｔａｌ）、およびＣＡＣ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ  Ｃｏｍｐｏｓｉｔｅ）と記載する場合がある。なお、ＣＡＡＣは結晶構造の一例を表し、ＣＡＣは機能、または材料の構成の一例を表す。
【００３８】また、本明細書等において、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅとは、材料の一部では導電性の機能と、材料の一部では絶縁性の機能とを有し、材料の全体では半導体としての機能を有する。なお、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅを、トランジスタの活性層に用いる場合、導電性の機能は、キャリアとなる電子（またはホール）を流す機能であり、絶縁性の機能は、キャリアとなる電子を流さない機能である。導電性の機能と、絶縁性の機能とを、それぞれ相補的に作用させることで、スイッチングさせる機能（Ｏｎ／Ｏｆｆさせる機能）をＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅに付与することができる。ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅにおいて、それぞれの機能を分離させることで、双方の機能を最大限に高めることができる。
【００３９】また、本明細書等において、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅは、導電性領域、および絶縁性領域を有する。導電性領域は、上述の導電性の機能を有し、絶縁性領域は、上述の絶縁性の機能を有する。また、材料中において、導電性領域と、絶縁性領域とは、ナノ粒子レベルで分離している場合がある。また、導電性領域と、絶縁性領域とは、それぞれ材料中に偏在する場合がある。また、導電性領域は、周辺がぼけてクラウド状に連結して観察される場合がある。
【００４０】また、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅにおいて、導電性領域と、絶縁性領域とは、それぞれ０．５ｎｍ以上１０ｎｍ以下、好ましくは０．５ｎｍ以上３ｎｍ以下のサイズで材料中に分散している場合がある。
【００４１】また、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅは、異なるバンドギャップを有する成分により構成される。例えば、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅは、絶縁性領域に起因するワイドギャップを有する成分と、導電性領域に起因するナローギャップを有する成分と、により構成される。当該構成の場合、キャリアを流す際に、ナローギャップを有する成分において、主にキャリアが流れる。また、ナローギャップを有する成分が、ワイドギャップを有する成分に相補的に作用し、ナローギャップを有する成分に連動してワイドギャップを有する成分にもキャリアが流れる。このため、上記ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅをトランジスタのチャネル領域に用いる場合、トランジスタのオン状態において高い電流駆動力、つまり大きなオン電流、および高い電界効果移動度を得ることができる。
【００４２】すなわち、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅは、マトリックス複合材（ｍａｔｒｉｘ  ｃｏｍｐｏｓｉｔｅ）、または金属マトリックス複合材（ｍｅｔａｌ  ｍａｔｒｉｘ  ｃｏｍｐｏｓｉｔｅ）と呼称することもできる。
【００４３】（実施の形態１）
本実施の形態では、本発明の一態様である表示システムについて、図面を参照して説明する。
【００４４】本発明の一態様は、撮像装置と、制御装置と、表示装置と、を有する表示システム、およびその動作方法に関する。撮像装置および表示装置には、画素がマトリクス状に配置される。また、撮像装置にはＡ／Ｄ変換回路が設けられ、表示装置にはＤ／Ａ変換回路が設けられる。
【００４５】撮像装置が有する画素によりアナログの撮像データが取得され、撮像装置に設けられたＡ／Ｄ変換回路により当該撮像データがデジタルの画像データに変換される。当該画像データは、制御装置によりダイナミックレンジ圧縮が行われる。ダイナミックレンジ圧縮後の画像データは、表示装置が有するＤ／Ａ変換回路によりアナログの表示データに変換される。これにより、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合においても、表示装置が撮像データに対応する画像を表示することができる。
【００４６】本明細書等において、ダイナミックレンジ圧縮前の画像データを、第１の画像データと言う場合がある。また、ダイナミックレンジ圧縮後の画像データを、第２の画像データと言う場合がある。
【００４７】本発明の一態様では、第１の画像データのダイナミックレンジ圧縮率を、照度域ごとに異ならせる。具体的には、撮像装置が有する画素に照射された光のうち、多数の画素に照射された照度域においては、ダイナミックレンジ圧縮率を低くし、少数の画素にしか照射されていない照度域においては、ダイナミックレンジ圧縮率を高くする。これにより、ダイナミックレンジ圧縮を行った場合でも、表示装置により表示される画像が不鮮明となることを抑制することができる。また、黒つぶれおよび白とびが発生することを抑制することができる。以上により、表示装置により表示される画像の視認性を高めることができる。
【００４８】また、制御装置は、ニューラルネットワークを有してもよい。ニューラルネットワークは、第１の画像データを基にして、後のフレームにおける第１の画像データを予測することができる。制御装置は、予測結果に応じて、例えばダイナミックレンジ圧縮率の更新頻度を決定することができる。例えば、第１の画像データの照度変化が小さいと予測された場合は、ダイナミックレンジ圧縮率の更新頻度を低くし、第１の画像データの照度変化が大きいと予測された場合は、ダイナミックレンジ圧縮率の更新頻度を高くすることができる。または、黒つぶれまたは白とびが発生すると予想された場合に、ダイナミックレンジ圧縮率を更新することができる。以上により、ダイナミックレンジ圧縮率を例えば毎フレーム期間ごとに更新する必要がなくなり、表示システムの動作を高速化することができる。また、適切なタイミングでダイナミックレンジ圧縮率を更新することができるので、ダイナミックレンジ圧縮率の更新頻度を低下させつつ、表示装置により表示される画像の視認性低下を抑制することができる。
【００４９】撮像装置を自動車等の移動体に搭載する場合、当該撮像装置は高ダイナミックレンジであることが求められる。したがって、本発明の一態様の表示システムは、自動車等の移動体へ適用することが特に好ましい。
【００５０】＜表示システムの構成例１＞
図１は、本発明の一態様の表示システムである表示システム１０の構成例を示すブロック図である。表示システム１０は、撮像装置２０、制御装置３０、および表示装置４０を有する。
【００５１】撮像装置２０は、マトリクス状に配列された画素２１を有する画素アレイ２２と、ロードライバ２３と、Ａ／Ｄ変換回路２５と、カラムドライバ２６と、を有する。なお、ＣＤＳ回路等を設けてもよい。
【００５２】撮像装置２０には、画素アレイ２２の行ごとに配線１７８が設けられ、１本の配線１７８は、１行分の画素２１の他、ロードライバ２３と電気的に接続されている。また、撮像装置２０には、画素アレイ２２の列ごとに配線１７４が設けられ、１本の配線１７４は、１列分の画素２１の他、Ａ／Ｄ変換回路２５およびカラムドライバ２６と電気的に接続されている。
【００５３】撮像装置２０は、画素２１に照射された光の照度に応じた、アナログの撮像データを取得する機能を有する。また、図１に示す構成の撮像装置２０において、ロードライバ２３は、画素アレイ２２の行を選択する機能を有する。カラムドライバ２６は、画素アレイ２２の列を選択する機能を有する。Ａ／Ｄ変換回路２５は、撮像データをデジタルの画像データＩＭＧ１に変換し、カラムドライバ２６により選択された列に対応する画像データＩＭＧ１を、制御装置３０に出力する機能を有する。画像データＩＭＧ１では、画素２１に照射された光の照度を階調として表現している。
【００５４】撮像装置２０は、具体的には、例えば自動車等の移動体に取り付けられるカメラモジュールである。このため、撮像装置２０は、高ダイナミックレンジの撮像素子を有することが好ましい。例えば、セレンを有する撮像素子を画素２１に設けることで、明暗差の大きい被写体を撮像する際に、撮像データの不鮮明な部分を減らすことができる。
【００５５】制御装置３０は、解析回路３１および階調決定回路３２を有する。制御装置３０は、画像データＩＭＧ１が情報として有する、画素２１に照射された光の照度に対応する階調を、表示装置４０が有する画素４１によって表現可能な階調に変換する機能を有する。ここで、制御装置３０により階調が変換された後の画像データを、画像データＩＭＧ２とする。画像データＩＭＧ１を画像データＩＭＧ２に変換することにより、ダイナミックレンジ圧縮を行うことができる。
【００５６】図１に示す構成の制御装置３０において、解析回路３１は、画像データＩＭＧ１を基にして、照射された光の照度ごとに画素２１の個数をカウントし、ヒストグラムを作成する機能を有する。
【００５７】階調決定回路３２は、ヒストグラムを基にして、画像データＩＭＧ１のダイナミックレンジ圧縮率を決定する機能を有する。詳細は後述するが、例えばヒストグラムを二以上の照度域に分割し、照度域ごとにダイナミックレンジ圧縮率を異ならせる。具体的には、多数の画素２１に照射された照度域については、ダイナミックレンジ圧縮率を低くし、少数の画素２１にしか照射されていない照度域については、ダイナミックレンジ圧縮率を高くする。
【００５８】階調決定回路３２は、画像データＩＭＧ１のダイナミックレンジ圧縮率を決定後、決定したダイナミックレンジ圧縮率に従って画像データＩＭＧ１の階調を変換することにより、画像データＩＭＧ２を生成する機能を有する。
【００５９】表示装置４０は、マトリクス状に配列された画素４１を有する画素アレイ４２と、ロードライバ４３と、カラムドライバ４６と、を有する。ここで、カラムドライバ４６にはＤ／Ａ変換回路が設けられる。
【００６０】表示装置４０には、画素アレイ４２の行ごとに配線３１７８が設けられ、１本の配線３１７８は、１行分の画素４１の他、ロードライバ４３と電気的に接続されている。また、表示装置４０には、画素アレイ４２の列ごとに配線３１７４が設けられ、１本の配線３１７４は、１列分の画素４１の他、カラムドライバ４６と電気的に接続されている。
【００６１】表示装置４０は、画素４１から射出される光の照度を制御することで、画像を表示する機能を有する。また、図１に示す構成の表示装置４０において、ロードライバ４３は、画素アレイ４２の行を選択する機能を有する。カラムドライバ４６は、デジタルの画像データＩＭＧ２に対してＤ／Ａ変換を行うことにより、アナログの表示データを生成する機能を有する。また、カラムドライバ４６は、生成した表示データを画素４１に書き込む機能を有する。これにより、表示装置４０は、表示データに対応する画像を表示することができる。
【００６２】表示システム１０では、撮像装置２０が生成した画像データＩＭＧ１に対して、制御装置３０がダイナミックレンジ圧縮を行うことにより、表示装置４０が有する画素４１から射出される光の照度を階調として表現した画像データＩＭＧ２を生成する。表示装置４０は、画像データＩＭＧ２に対応する画像を表示する。前述のように、撮像装置２０は高ダイナミックレンジであることが好ましい。したがって、ダイナミックレンジ圧縮を行うことにより、表示装置４０のダイナミックレンジが撮像装置２０のダイナミックレンジより低い場合であっても、表示装置４０が画像を表示することができる。
【００６３】制御装置３０の機能について、図２乃至図４を用いて詳細に説明する。図２は、画像データＩＭＧ１から画像データＩＭＧ２への変換を説明する図である。図２では、画像データＩＭＧ２により表現可能な照度範囲が、画像データＩＭＧ１により表現可能な照度より範囲より狭い、つまり表示装置４０のダイナミックレンジが、撮像装置２０のダイナミックレンジより狭い場合を示す。また、図２では、一例として、画像データＩＭＧ１が３２階調を表現可能で、画像データＩＭＧ２が８階調を表現可能である場合を示す。なお、画像データＩＭＧ２が表現可能な階調を、照度が低い側から順に、階調４７［１］乃至階調４７［８］とする。
【００６４】本明細書等において、高照度を表現する階調は、低照度を表現する階調より階調値が大きいと言う。例えば、図２に示す階調４７［１］乃至階調４７［８］の中では、階調４７［１］が最も階調値が小さく、階調４７［８］が最も階調値が大きい。
【００６５】図２に示すように、例えば画像データＩＭＧ１における６階調分を、階調４７［１］としている。つまり、６階調分のダイナミックレンジを１階調に圧縮するということができる。一方、階調４７［２］は、画像データＩＭＧ１における２階調分としている。つまり、２階調分のダイナミックレンジを１階調に圧縮している。ここで、ダイナミックレンジ圧縮率は、“画像データＩＭＧ２の階調数／画像データＩＭＧ１の階調数”で表すことができ、この値が小さいほど、ダイナミックレンジ圧縮率が高いということができる。図２に示す場合では、画像データＩＭＧ１の階調を階調４７［１］に変換する際のダイナミックレンジ圧縮率は１／６であり、画像データＩＭＧ２の階調を階調４７［２］に変換する際のダイナミックレンジ圧縮率は１／２である。よって、撮像データの階調を階調４７［１］に変換する際のダイナミックレンジ圧縮率は、撮像データの階調を階調４７［２］に変換する際のダイナミックレンジ圧縮率より高いと言うことができる。
【００６６】本発明の一態様では、ダイナミックレンジ圧縮を行うために画像データＩＭＧ１を画像データＩＭＧ２に変換する際に、図２に示すように照度域ごとにダイナミックレンジ圧縮率を変えることができる。
【００６７】なお、図２では、画像データＩＭＧ２により表現可能な照度の下限が、画像データＩＭＧ１により表現可能な照度の下限より高く、画像データＩＭＧ２により表現可能な照度の上限が、画像データＩＭＧ１により表現可能な照度の上限より低い場合を示しているが、本発明の一態様はこれに限らない。例えば、画像データＩＭＧ２により表現可能な照度の下限が、画像データＩＭＧ１により表現可能な照度の下限以下であってもよい。または、画像データＩＭＧ２により表現可能な照度の上限が、画像データＩＭＧ１により表現可能な照度の上限以上であってもよい。
【００６８】また、図２では、画像データＩＭＧ２により表現可能な階調数が、画像データＩＭＧ１により表現可能な階調数より少ない場合を示しているが、本発明の一態様はこれに限らない。例えば、画像データＩＭＧ２により表現可能な階調数と、画像データＩＭＧ１により表現可能な階調数とが同数であってもよい。
【００６９】図３上段は、解析回路３１により取得されるヒストグラムであり、縦軸は画素２１の個数を、横軸は画素２１に照射された光の照度を示す。図３下段は、表示装置４０が表示する画像に対応する画像データＩＭＧ２が表現する階調と、撮像装置２０が有する画素２１に照射された光の照度との関係を示すグラフである。つまり、図３下段のグラフの縦軸は、表示装置４０が有する画素４１から射出される光の照度を表しており、上に行くほど照度が高いことを意味する。
【００７０】また、図３下段において、実線で示すグラフは、階調決定回路３２が、図３上段に示すヒストグラムを用いてダイナミックレンジ圧縮率を決定した場合を示し、破線で示すグラフは、画素２１に照射された光の照度によらず、ダイナミックレンジ圧縮率を一定とした場合を示している。
【００７１】図３では、画素２１に照射された光の照度を、照度域５０［１］乃至照度域５０［８］に分割している。なお、図３上段に示すヒストグラムと図３下段に示すグラフにおいて、横軸は同一であり、横軸左端は、画素２１が検出することができる光の照度の下限を、横軸右端は上限をそれぞれ示す。
【００７２】図３下段の実線のグラフで示すように、照度域５０［１］乃至照度域５０［８］のうち、少数の画素２１にしか照射されていない照度域５０、つまり図３上段に示すヒストグラムにおいて積分値が小さい照度域５０においては、画素２１に照射される光の照度が増加しても、画像データＩＭＧ２により表現される階調値の増加幅が小さい。つまり、図２に示す階調４７［１］への変換と同様に、画像データＩＭＧ１から画像データＩＭＧ２へ変換する際のダイナミックレンジ圧縮率が高いといえる。一方、多数の画素２１に照射された照度域５０、つまり図３上段に示すヒストグラムにおいて積分値が大きい照度域５０においては、画素２１に照射される光の照度が増加すると、表示データの階調値が大きく増加する。つまり、図２に示す階調４７［２］への変換と同様に、画像データＩＭＧ１から画像データＩＭＧ２へ変換する際のダイナミックレンジ圧縮率が低いといえる。以上より、図３下段に示すグラフにおいて、画像データＩＭＧ１から画像データＩＭＧ２へ変換する際のダイナミックレンジ圧縮率は傾きで表され、傾きが急であるほど撮像データから表示データへ変換する際のダイナミックレンジ圧縮率が低いということができる。
【００７３】階調決定回路３２は、画像データＩＭＧ１に対して、照度域５０ごとに図３下段に示される圧縮率でダイナミックレンジ圧縮を行うことにより、画像データＩＭＧ２を生成することができる。
【００７４】ダイナミックレンジ圧縮率の算出方法の一例を、図３を用いて説明する。なお、表示装置４０が有する画素４１は、１００階調分の階調を表現可能とする。
【００７５】まず、すべての画素２１に対する、照度域５０［１］乃至照度域５０［８］に対応する照度の光が照射された画素２１の割合を、照度域５０［１］乃至照度域５０［８］のそれぞれについて算出する。次に、算出した割合に応じて、照度域５０［１］乃至照度域５０［８］のそれぞれに割り当てる、画像データＩＭＧ２の階調数を決定する。例えば、２％の画素２１に、照度域５０［１］に対応する照度の光が照射された場合は、画像データＩＭＧ２の階調を、照度域５０［１］に対して２階調分割り当てる。例えば、２４％の画素２１に、照度域５０［２］に対応する照度の光が照射された場合は、画像データＩＭＧ２の階調を、照度域５０［２］に対して２４階調分割り当てる。以上を照度域５０［１］乃至照度域５０［８］の全てについて行うことで、照度域５０［１］乃至照度域５０［８］のそれぞれについて、ダイナミックレンジ圧縮率を算出することができる。
【００７６】図４（Ａ１）は、図３下段の破線のグラフで示すように、撮像装置２０が有する画素２１に照射された光の照度によらず、ダイナミックレンジ圧縮率を一定とした場合に、表示装置４０により表示される画像を示している。図４（Ａ２）は、表示装置４０が図４（Ａ１）に示す画像を表示する場合におけるヒストグラムであり、縦軸は表示装置４０が有する画素４１の個数を、横軸は画素４１から射出される光の照度を示す。
【００７７】図４（Ｂ１）は、図３下段の実線のグラフで示すように、ダイナミックレンジ圧縮率を図３上段に示すようなヒストグラムを用いて照度域ごとに決定した場合に、表示装置４０により表示される画像を示している。図４（Ｂ２）は、表示装置４０が図４（Ｂ１）に示す画像を表示する場合におけるヒストグラムである。
【００７８】なお、図４（Ａ２）、（Ｂ２）において、横軸左端は、画素４１が射出することができる光の照度の下限を、横軸右端は上限をそれぞれ示す。
【００７９】図４（Ａ１）、（Ａ２）に示す場合では、下限付近の照度の光を射出する画素４１の個数と、上限付近の照度の光を射出する画素４１の個数が多い。これにより、黒つぶれおよび白とびが発生し、表示装置４０により表示される画像が不鮮明となる。一方、図４（Ｂ１）、（Ｂ２）に示す場合では、図４（Ａ１）、（Ａ２）に示す場合と比べて、照度域ごとの画素４１の個数が平準化されている。したがって、図４（Ａ１）、（Ａ２）に示す場合と比べて、黒つぶれおよび白とびが発生せず、表示装置４０により表示される画像を鮮明なものとすることができるため、画像の視認性を高めることができる。
【００８０】＜表示システムの構成例２＞
図５は、図１に示す表示システム１０の変形例を示すブロック図である。図５に示す構成の表示システム１０は、解析回路３１および階調決定回路３２の他、記憶回路３３および予測回路３４を有する点が、図４に示す構成の表示システム１０と異なる。
【００８１】記憶回路３３は、撮像装置２０により生成された画像データＩＭＧ１、解析回路３１により作成されたヒストグラム、階調決定回路３２により計算されたダイナミックレンジ圧縮率等を保持する機能を有する。予測回路３４は、受信した画像データＩＭＧ１の、次以降のフレームの画像データＩＭＧ１を予測する機能を有する。例えば、受信した画像データＩＭＧ１の、１フレーム後の画像データＩＭＧ１、または２フレーム以上後の画像データＩＭＧ１を予測する機能を有する。
【００８２】予測回路３４は、例えば記憶回路３３に保持された画像データＩＭＧ１、ヒストグラム、およびダイナミックレンジ圧縮率、サーバ５２に保存された情報、ならびに機器５３により取得された情報等を基にして、画像データＩＭＧ１を予測する機能を有する。なお、サーバ５２は、ネットワーク５１を介して予測回路３４と接続されている。
【００８３】予測回路３４は、例えば記憶回路３３に保持された画像データＩＭＧ１について画像認識を行い、先行車および対向車、ならびに歩行者等の位置、太陽光、街灯、およびヘッドライト等の照度、その他の外部環境に関するデータを取得する機能を有する。また、予測回路３４は、例えばサーバ５２から現在時刻等に関する情報を取得する機能を有する。また、機器５３は、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）とすることができ、撮像装置２０が搭載されている移動体の位置および方向等に関する情報を取得し、当該情報を予測回路３４に出力する機能を有する。以上示した情報等を基に、予測回路３４は、画像データＩＭＧ１を予測することができる。なお、機器５３は、二以上の機器から構成されていてもよい。
【００８４】予測回路３４は、上記予測結果に応じて、ダイナミックレンジ圧縮率の更新タイミング、頻度等を決定することができる。例えば、黒つぶれまたは白とびが発生すると予想された場合に、ダイナミックレンジ圧縮率を更新することができる。または、画像データＩＭＧ１の照度変化が小さいと予測された場合は、ダイナミックレンジ圧縮率の更新頻度を低くし、画像データＩＭＧ１の照度変化が大きいと予測された場合は、ダイナミックレンジ圧縮率の更新頻度を高くすることができる。以上により、ダイナミックレンジ圧縮率を例えば毎フレーム期間ごとに更新する必要がなくなり、表示システム１０の動作を高速化することができる。また、適切なタイミングでダイナミックレンジ圧縮率を更新することができるので、ダイナミックレンジ圧縮率の更新頻度を低下させつつ、表示装置４０により表示される画像の視認性低下を抑制することができる。
【００８５】ここで、予測回路３４は、ニューラルネットワークを有する回路とすることができる。予測回路３４を当該構成とすることにより、画像データＩＭＧ１を高精度で予測することができる。
【００８６】ニューラルネットワークは、学習を行うことにより、上記機能を有するようになる。学習の際は、まず、ニューラルネットワークに画像データＩＭＧ１、ならびにサーバ５２および機器５３から取得した情報等を入力する。その後、入力した画像データＩＭＧ１の１フレーム後の画像データＩＭＧ１、または２フレーム以上後の画像データＩＭＧ１を教師データとして、ニューラルネットワークに学習を行わせる。具体的には、例えばニューラルネットワークの重み係数を更新する。当該動作を繰り返すことにより、ニューラルネットワークは画像データＩＭＧ１を高精度で予測することができるようになる。
【００８７】＜表示システムの動作方法例＞
次に、図５に示す構成の表示システム１０の動作方法の一例について、図６および図７を用いて説明する。図６は、当該動作方法の一例を示すフローチャートである。
【００８８】まず、撮像装置２０が、画素２１に照射された光の照度に応じた、アナログの撮像データを取得する（ステップＳ０１）。次に、撮像装置２０に設けられたＡ／Ｄ変換回路２５が、ステップＳ０１で取得した撮像データをデジタルの画像データＩＭＧ１に変換する（ステップＳ０２）。その後、画像データＩＭＧ１を制御装置３０が有する各回路、具体的には解析回路３１、階調決定回路３２、および記憶回路３３等に送信する。
【００８９】次に、解析回路３１が、Ａ／Ｄ変換回路２５から受信した画像データＩＭＧ１を基にして、照射された光の照度ごとに画素２１の個数をカウントし、図３上段に示すようなヒストグラムを作成する（ステップＳ０３）。作成されたヒストグラムは、階調決定回路３２および記憶回路３３等に送信される。
【００９０】その後、階調決定回路３２が、解析回路３１から受信したヒストグラムを基にして、画像データＩＭＧ１のダイナミックレンジ圧縮率を決定する。具体的には、図３上段に示すように、ヒストグラムを二以上の照度域に分割し、照度域ごとにダイナミックレンジ圧縮率を異ならせる（ステップＳ０４）。図３下段のグラフに示すように、多数の画素２１に照射された照度域、つまりヒストグラムにおいて積分値が大きい照度域については、ダイナミックレンジ圧縮率を低くする。一方、少数の画素２１にしか照射されていない照度域、つまりヒストグラムにおいて積分値が小さい照度域については、ダイナミックレンジ圧縮率を高くする。
【００９１】次に、階調決定回路３２が、決定したダイナミックレンジ圧縮率に従って、画像データＩＭＧ１の階調を図２に示すように変換することにより、ダイナミックレンジを圧縮した画像データＩＭＧ２を生成する（ステップＳ０５）。
【００９２】次に、表示装置４０が有するカラムドライバ４６に設けられたＤ／Ａ変換回路が、デジタルの画像データＩＭＧ２をアナログの表示データに変換する（ステップＳ０６）。その後、カラムドライバ４６が画素４１に表示データを書き込むことにより、表示装置４０が表示データに対応する画像を表示する（ステップＳ０７）。
【００９３】次に、予測回路３４が、記憶回路３３に保持された画像データＩＭＧ１、ヒストグラム、およびダイナミックレンジ圧縮率等のうち、必要な情報を読み出す。また、サーバ５２から必要な情報を、ネットワーク５１を介して取得する。さらに、機器５３が必要な情報を取得し、取得した情報を予測回路３４に送信する。以上取得した情報により、予測回路３４が、記憶回路３３から読み出した画像データＩＭＧ１の次以降のフレームの画像データＩＭＧ１を予測する（ステップＳ０８）。例えば、記憶回路３３から読み出した画像データＩＭＧ１より、１フレーム後の画像データＩＭＧ１、または２フレーム以上後の画像データＩＭＧ１を予測する。
【００９４】次に、予測回路３４による予測結果に応じて、ダイナミックレンジ圧縮率の更新が必要か否かを判定する（ステップＳ０９）。例えば、予測された画像データＩＭＧ１と、予測回路３４が読み出したダイナミックレンジ圧縮率と、を基にして、当該予測された画像データＩＭＧ１を画像データＩＭＧ２に変換した場合に、黒つぶれまたは白とびが発生するか否かを予測回路３４が予測する。黒つぶれまたは白とびが発生すると予測された場合は、ダイナミックレンジ圧縮率の更新が必要と判断し、ステップＳ０１に戻る。黒つぶれまたは白とびが発生しないと予測された場合は、ダイナミックレンジ圧縮率の更新は必要でないと判断する。この場合、ステップＳ０１と同様に撮像装置２０が撮像データを取得した後（ステップＳ１０）、ステップＳ０２と同様にＡ／Ｄ変換回路２５が、ステップＳ１０で取得した撮像データを画像データＩＭＧ１に変換し（ステップＳ１１）、画像データＩＭＧ１を制御装置３０が有する各回路に送信する。その後、ステップＳ０３およびステップＳ０４を省略し、ステップＳ０５に戻る。以上が図５に示す構成の表示システム１０の動作方法の一例である。
【００９５】ここで、ステップＳ０９でダイナミックレンジ圧縮率の更新は必要でないと判断された場合は、ステップＳ０５において、記憶回路３３に保持されたダイナミックレンジ圧縮率を読み出し、読み出したダイナミックレンジ圧縮率を用いて画像データＩＭＧ１の階調を変換する。
【００９６】なお、ステップＳ０９による判定結果に関する情報は、予測回路３４から、例えば解析回路３１および階調決定回路３２に伝達する。例えば、ダイナミックレンジ圧縮率の更新が必要であると判定された場合は高電位となり、ダイナミックレンジ圧縮率の更新が必要でないと判定された場合は低電位となる信号を、解析回路３１および階調決定回路３２等に送信することにより、判定結果に関する情報を伝達することができる。上記信号の論理は逆でもよい。
【００９７】図７は、図６に示す動作方法の変形例であり、階調決定回路３２がダイナミックレンジ圧縮率を決定した後、ｎフレーム期間経過後（ｎは１以上の整数）にダイナミックレンジ圧縮率を更新する場合の動作方法の一例である。
【００９８】図７において、ステップＳ０１乃至ステップＳ０８は、図６に示す場合と同様である。ステップＳ０８の後、予測した画像データＩＭＧ１等を基にして、ｎの値を予測回路３４が決定する（ステップＳ２１）。例えば、画像データＩＭＧ１の照度変化が小さいと予測された場合はｎを大きくし、画像データＩＭＧ２の照度変化が大きいと予測された場合はｎを小さくする。
【００９９】次に、ステップＳ０１からｎフレーム期間が経過したか否かを判定する（ステップＳ２２）。ｎフレーム期間経過した場合は、ダイナミックレンジ圧縮率の更新が必要と判断し、ステップＳ０１に戻る。
【０１００】ｎフレーム期間が経過していない場合は、まず、ステップＳ０１と同様に撮像装置２０が撮像データを取得する（ステップＳ２３）。次に、ステップＳ０２と同様にＡ／Ｄ変換回路２５が、ステップＳ２３で取得した撮像データを画像データＩＭＧ１に変換する（ステップＳ２４）。その後、画像データＩＭＧ１を制御装置３０が有する各回路に送信する。
【０１０１】次に、階調決定回路３２が、ステップＳ０４で決定したダイナミックレンジ圧縮率を記憶回路３３から読み出し、当該ダイナミックレンジ圧縮率に従って画像データＩＭＧ１の階調を変換する。これにより、画像データＩＭＧ２を生成する（ステップＳ２５）。
【０１０２】次に、ステップＳ０６と同様に、表示装置４０が有するカラムドライバ４６に設けられたＤ／Ａ変換回路が、デジタルの画像データＩＭＧ２をアナログの表示データに変換する（ステップＳ２６）。その後、ステップＳ０７と同様に、カラムドライバ４６が画素４１に表示データを書き込むことにより、表示装置４０が表示データに対応する画像を表示する（ステップＳ２７）。
【０１０３】次に、ステップＳ２２に戻り、ステップＳ０１からｎフレーム期間が経過したか否かを再び判定する。以上が図５に示す構成の表示システム１０の動作方法の一例である。
【０１０４】なお、ステップＳ２２による判定結果に関する情報は、予測回路３４から、例えば解析回路３１および階調決定回路３２に伝達する。例えば、ｎの値を表す信号を、解析回路３１および階調決定回路３２等に送信することにより、判定結果に関する情報を伝達することができる。当該信号は、２ビット以上の信号とすることができる。
【０１０５】図６または図７に示す方法で表示システム１０を動作させることにより、ダイナミックレンジ圧縮率を例えば毎フレーム期間ごとに更新する必要がなくなり、表示システム１０の動作を高速化することができる。また、適切なタイミングでダイナミックレンジ圧縮率を更新することができるので、ダイナミックレンジ圧縮率の更新頻度を低下させつつ、表示装置４０により表示される画像の視認性低下を抑制することができる。
【０１０６】なお、図６および図７に示すように、ダイナミックレンジ圧縮率の更新を行わない場合、ステップＳ０３を行わない。このため、解析回路３１をスタンバイ状態とすることにより解析回路３１の消費電力を低減することができる。また、ステップＳ０４を行わないので、ダイナミックレンジ圧縮率の計算を行わない。よって、階調決定回路３２の動作負荷を軽減することができ、階調決定回路３２の消費電力を低減することができる。
【０１０７】＜撮像装置の構成例＞
次に、撮像装置２０の詳細な構成例について、図８乃至図１４を用いて詳細に説明する。
【０１０８】［画素回路の構成および動作方法の一例］
図８（Ａ）は、画素２１の回路構成例を説明する図である。つまり、図８（Ａ）は、撮像装置２０が有する画素回路の構成例を説明する図である。図８（Ａ）に示す構成の画素２１は、光電変換素子１５０と、トランジスタ１５１と、トランジスタ１５２と、トランジスタ１５３と、トランジスタ１５４と、容量素子１５５と、を有する。
【０１０９】光電変換素子１５０の一方の電極は、トランジスタ１５１のソースまたはドレインの一方と電気的に接続される。トランジスタ１５１のソースまたはドレイン一方は、トランジスタ１５２のソースまたはドレインの一方と電気的に接続される。トランジスタ１５１のソースまたはドレインの他方は、トランジスタ１５３のゲートと電気的に接続される。トランジスタ１５３のゲートは、容量素子１５５の一方の電極と電気的に接続される。トランジスタ１５３のソースまたはドレインの一方は、トランジスタ１５４のソースまたはドレインの一方と電気的に接続される。なお、容量素子１５５が設けられない構成であってもよい。
【０１１０】光電変換素子１５０の他方の電極は、配線１７１と電気的に接続される。トランジスタ１５１のゲートは、配線１７６と電気的に接続される。トランジスタ１５２のゲートは、配線１７７と電気的に接続される。トランジスタ１５２のソースまたはドレインの他方は、配線１７２と電気的に接続される。トランジスタ１５３のソースまたはドレインの他方は、配線１７３に電気的に接続される。トランジスタ１５４のソースまたはドレインの他方は、配線１７４と電気的に接続される。トランジスタ１５４のゲートは、配線１７８と電気的に接続される。容量素子１５５の他方の電極は、配線１７５と電気的に接続される。
【０１１１】配線１７１、配線１７２、配線１７３、および配線１７５は、電源線としての機能を有する。例えば、配線１７１および配線１７３は高電位電源線、配線１７２および配線１７５は低電位電源線とすることができる。配線１７６、配線１７７、および配線１７８は、各トランジスタの導通を制御する信号線としての機能を有する。また、配線１７４は、画素２１から信号を出力する出力線としての機能を有する。
【０１１２】なお、光電変換素子１５０の一方の電極、トランジスタ１５１のソースまたはドレインの一方、およびトランジスタ１５２のソースまたはドレインの一方が接続される配線を電荷蓄積部ＮＲとする。また、トランジスタ１５１のソースまたはドレインの他方、トランジスタ１５３のゲート、および容量素子１５５の一方の電極が接続される配線を電荷検出部ＮＤとする。
【０１１３】トランジスタ１５１は、光電変換素子１５０の動作に応じて変化する電荷蓄積部ＮＲの電位を電荷検出部ＮＤに転送する機能を有する。トランジスタ１５２は、電荷蓄積部ＮＲおよび電荷検出部ＮＤの電位を初期化する機能を有する。トランジスタ１５３は、電荷検出部ＮＤの電位に応じた信号を出力する機能を有する。トランジスタ１５４は、信号を読み出す画素２１を選択する機能を有する。
【０１１４】光電変換素子１５０には、光検出感度を高めるためアバランシェフォトダイオードを用いてもよい。アバランシェフォトダイオードを用いる場合は、比較的高い電位を配線１７１に供給する必要がある。
【０１１５】このとき、光電変換素子１５０と接続されるトランジスタには、高電圧を印加できる高耐圧のトランジスタを用いることが好ましい。当該トランジスタには、例えば、金属酸化物をチャネル形成領域に用いたトランジスタであるＯＳトランジスタ等を用いることができる。具体的には、トランジスタ１５１およびトランジスタ１５２にＯＳトランジスタを適用することが好ましい。
【０１１６】また、トランジスタ１５１およびトランジスタ１５２をＯＳトランジスタとすることで、その低いオフ電流特性によって、電荷検出部ＮＤおよび電荷蓄積部ＮＲで電荷を保持できる期間を極めて長くすることができる。そのため、回路構成や動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行い、順次読み出し動作を行うグローバルシャッタ方式を適用することができる。
【０１１７】一方、トランジスタ１５３は増幅特性が優れていることが望まれるため、オン電流が高いトランジスタであることが好ましい。したがって、トランジスタ１５３およびトランジスタ１５４には、シリコンをチャネル形成領域に用いたトランジスタ（以下、Ｓｉトランジスタ）を適用することが好ましい。
【０１１８】光電変換素子１５０にアバランシェフォトダイオードを用い、トランジスタ１５１乃至トランジスタ１５４を上述した構成とすることで、低照度における光の検出感度が高く、ノイズの少ない信号を出力することのできる撮像装置を作製することができる。また、光の検出感度が高いため、光の取り込み時間を短くすることができ、撮像を高速に行うことができる。
【０１１９】なお、上記構成に限らず、光電変換素子１５０はアバランシェ増倍が生じない素子であってもよい。また、アバランシェフォトダイオードにアバランシェ増倍が生じない電位を印加して使用してもよい。
【０１２０】また、トランジスタ１５３およびトランジスタ１５４にＯＳトランジスタを適用してもよい。または、トランジスタ１５１およびトランジスタ１５２にＳｉトランジスタを適用してもよい。いずれの場合においても画素２１を動作させることができる。
【０１２１】次に、図８（Ｂ）のタイミングチャートを用いて、画素２１の動作方法の一例を説明する。なお、以下に説明する一例の動作において、各配線に供給される電位は下記の通りとする。配線１７６、配線１７７、および配線１７８には、高電位としてＶＤＤ、低電位としてＧＮＤの電位が供給される。配線１７１および配線１７３には、ＶＤＤの電位が供給される。配線１７２および配線１７５には、ＧＮＤの電位が供給される。なお、配線１７１にＶＤＤより高い電位ＨＶＤＤを供給する等、各配線に上記以外の電位を供給してもよい。
【０１２２】時刻Ｔ１に配線１７６を高電位、配線１７７を高電位とし、電荷蓄積部ＮＲおよび電荷検出部ＮＤの電位をリセット電位（ＧＮＤ）に設定する（リセット動作）。
【０１２３】時刻Ｔ２に配線１７６を低電位、配線１７７を低電位とすることで、電荷蓄積部ＮＲの電位が変化し始める（蓄積動作）。電荷蓄積部ＮＲの電位は、光電変換素子１５０に入射した光の強度に応じて、ＧＮＤ近傍からＶＤＤ近傍まで変化する。
【０１２４】時刻Ｔ３に配線１７６を高電位、配線１７７を低電位とし、電荷蓄積部ＮＲの電荷を電荷検出部ＮＤに転送する（転送動作）。
【０１２５】時刻Ｔ４に配線１７６を低電位、配線１７７を低電位とし、転送動作を終了させる。この時点で電荷検出部ＮＤの電位が確定する。
【０１２６】時刻Ｔ５乃至Ｔ６の期間に配線１７６を低電位、配線１７７を低電位、配線１７８を高電位とし、電荷検出部ＮＤの電位に応じた信号を配線１７４に出力する。すなわち、蓄積動作を行う期間において光電変換素子１５０に入射した光の強度に応じた出力信号を得ることができる。
【０１２７】［画素の構成例］
図９（Ａ）に、上述した画素回路を有する画素２１の構成例を示す。図９（Ａ）に示す画素は、層１６１および層１６２の積層構成を有する例である。
【０１２８】層１６１は、光電変換素子１５０を有する。光電変換素子１５０は、図９（Ｃ）に示すように層１６５ａと、層１６５ｂと、層１６５ｃとの積層とすることができる。
【０１２９】図９（Ｃ）に示す光電変換素子１５０はｐｎ接合型フォトダイオードであり、例えば、層１６５ａにｐ＋型半導体、層１６５ｂにｎ型半導体、層１６５ｃにｎ＋型半導体を用いることができる。または、層１６５ａにｎ＋型半導体、層１６５ｂにｐ型半導体、層１６５ｃにｐ＋型半導体を用いてもよい。または、層１６５ｂをｉ型半導体としたｐｉｎ接合型フォトダイオードであってもよい。
【０１３０】上記ｐｎ接合型フォトダイオードまたはｐｉｎ接合型フォトダイオードは、単結晶シリコンを用いて形成することができる。また、ｐｉｎ接合型フォトダイオードとしては、非晶質シリコン、微結晶シリコン、多結晶シリコン等の薄膜を用いて形成することもできる。
【０１３１】また、層１６１が有する光電変換素子１５０は、図９（Ｄ）に示すように、層１６６ａと、層１６６ｂと、層１６６ｃと、層１６６ｄとの積層としてもよい。図９（Ｄ）に示す光電変換素子１５０はアバランシェフォトダイオードの一例であり、層１６６ａおよび層１６６ｄは電極に相当し、層１６６ｂおよび層１６６ｃは光電変換部に相当する。
【０１３２】層１６６ａは、低抵抗の金属層等とすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀、またはそれらの積層を用いることができる。
【０１３３】層１６６ｄは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム−錫酸化物、ガリウム−亜鉛酸化物、インジウム−ガリウム−亜鉛酸化物、またはグラフェン等を用いることができる。なお、層１６６ｄを省く構成とすることもできる。
【０１３４】光電変換部の層１６６ｂおよび層１６６ｃは、例えばセレン系材料を光電変換層としたｐｎ接合型フォトダイオードの構成とすることができる。層１６６ｂとしてはｐ型半導体であるセレン系材料を用い、層１６６ｃとしてはｎ型半導体であるガリウム酸化物等を用いることが好ましい。
【０１３５】セレン系材料を用いた光電変換素子は、可視光に対する外部量子効率が高いという特性を有する。当該光電変換素子では、アバランシェ増倍を利用することにより、入射される光量に対するキャリアの増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できる等の生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法またはスパッタ法等を用いて形成することができる。
【０１３６】セレン系材料としては、単結晶セレンや多結晶セレン等の結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物（ＣＩＳ）、または、銅、インジウム、ガリウム、セレンの化合物（ＣＩＧＳ）等を用いることができる。
【０１３７】ｎ型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、またはそれらが混在した酸化物等を用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
【０１３８】図９（Ａ）に示す層１６２としては、例えばシリコン基板を用いることができる。当該シリコン基板には、Ｓｉトランジスタ等が設けられ、前述した画素回路の他、当該画素回路を駆動する回路、画像信号の読み出し向路、画像処理回路等を設けることができる。
【０１３９】また、画素は、図９（Ｂ）に示すように層１６１、層１６３、および層１６２の積層構成を有していてもよい。
【０１４０】層１６３は、ＯＳトランジスタ（例えば、画素回路のトランジスタ１５１およびトランジスタ１５２）を有することができる。このとき、層１６２は、Ｓｉトランジスタ（例えば、画素回路のトランジスタ１５３およびトランジスタ１５４）を有することが好ましい。
【０１４１】当該構成とすることで、画素回路を構成する要素を複数の層に分散させ、かつ当該要素を重ねて設けることができるため、撮像装置の面積を小さくすることができる。なお、図９（Ｂ）の構成において、層１６２を支持基板とし、層１６１および層１６３に画素回路を設けてもよい。
【０１４２】図１０（Ａ）は、図９（Ａ）に示す画素の断面の一例を説明する図である。層１６１は光電変換素子１５０として、シリコンを光電変換層とするｐｎ接合型フォトダイオードを有する。層１６２は、画素回路を構成するＳｉトランジスタ等を有する。
【０１４３】光電変換素子１５０において、層１６５ａはｐ＋型領域、層１６５ｂはｎ型領域、層１６５ｃはｎ＋型領域とすることができる。また、層１６５ｂには、電源線と層１６５ｃとを接続するための領域１３６が設けられる。例えば、領域１３６はｐ＋型領域とすることができる。
【０１４４】図１０（Ａ）において、Ｓｉトランジスタはシリコン基板１４０にチャネル形成領域を有するプレーナー型の構成を示しているが、図１２（Ａ）、（Ｂ）に示すように、シリコン基板１４０にフィン型の半導体層を有する構成であってもよい。図１２（Ａ）はチャネル長方向の断面、図１２（Ｂ）はチャネル幅方向の断面に相当する。
【０１４５】または、図１２（Ｃ）に示すように、シリコン薄膜の半導体層１４５を有するトランジスタであってもよい。半導体層１４５は、例えば、シリコン基板１４０上の絶縁層１４６上に形成された単結晶シリコン（ＳＯＩ（Ｓｉｌｉｃｏｎ  ｏｎ  Ｉｎｓｕｌａｔｏｒ））とすることができる。
【０１４６】ここで、図１０（Ａ）では、層１６１が有する要素と層１６２が有する要素との電気的な接続を貼り合わせ技術で得る構成例を示している。
【０１４７】層１６１には、絶縁層１４２、導電層１３３および導電層１３４が設けられる。導電層１３３および導電層１３４は、絶縁層１４２に埋設された領域を有する。導電層１３３は、層１６５ａと電気的に接続される。導電層１３４は、領域１３６と電気的に接続される。また、絶縁層１４２、導電層１３３および導電層１３４の表面は、それぞれ高さが一致するように平坦化されている。
【０１４８】層１６２には、絶縁層１４１、導電層１３１および導電層１３２が設けられる。導電層１３１および導電層１３２は、絶縁層１４１に埋設された領域を有する。導電層１３２は、電源線と電気的に接続される。導電層１３１は、トランジスタ１５１のソースまたはドレインと電気的に接続される。また、絶縁層１４１、導電層１３１および導電層１３２の表面は、それぞれ高さが一致するように平坦化されている。
【０１４９】ここで、導電層１３１および導電層１３３は、主成分が同一の金属元素であることが好ましい。導電層１３２および導電層１３４は、主成分が同一の金属元素であることが好ましい。また、絶縁層１４１および絶縁層１４２は、同一の成分で構成されていることが好ましい。
【０１５０】例えば、導電層１３１、導電層１３２、導電層１３３、および導電層１３４には、Ｃｕ、Ａｌ、Ｓｎ、Ｚｎ、Ｗ、Ａｇ、Ｐｔ、またはＡｕ等を用いることができる。接合のしやすさから、好ましくはＣｕ、Ａｌ、Ｗ、またはＡｕを用いる。また、絶縁層１４１および絶縁層１４２には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタン等を用いることができる。
【０１５１】つまり、導電層１３１および導電層１３３の組み合わせと、導電層１３２および導電層１３４の組み合わせのそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層１４１および絶縁層１４２のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層１６１と層１６２の境を接合位置とする、貼り合わせを行うことができる。
【０１５２】当該貼り合わせによって、導電層１３１および導電層１３３の組み合わせと、導電層１３２および導電層１３４の組み合わせのそれぞれの電気的な接続を得ることができる。また、絶縁層１４１および絶縁層１４２の機械的な強度を有する接続を得ることができる。
【０１５３】金属層同士の接合には、表面の酸化膜および不純物の吸着層等をスパッタリング処理等で除去し、清浄化および活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。または、温度と圧力を併用して表面同士を接合する拡散接合法等を用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。
【０１５４】また、絶縁層同士の接合には、研磨等によって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法等を用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。
【０１５５】層１６１と、層１６２を貼り合わせる場合、それぞれの接合面には絶縁層と金属層が混在するため、例えば、表面活性化接合法および親水性接合法を組み合わせて行えばよい。
【０１５６】例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法等を用いることができる。また、金属層の表面をＡｕ等の難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。
【０１５７】図１０（Ｂ）は、図９（Ａ）に示す画素の層１６１にセレン系材料を光電変換層とするｐｎ接合型フォトダイオードを用いた場合の断面図である。一方の電極として層１６６ａと、光電変換層として層１６６ｂおよび層１６６ｃと、他方の電極として層１６６ｄを有する。
【０１５８】この場合、層１６１は、層１６２上に直接形成することができる。層１６６ａは、トランジスタ１５１のソースまたはドレインと電気的に接続される。層１６６ｄは、導電層１３７を介して電源線と電気的に接続される。
【０１５９】図１１（Ａ）は、図９（Ｂ）に示す画素の断面の一例を説明する図である。層１６１は光電変換素子１５０として、シリコンを光電変換層とするｐｎ接合型フォトダイオードを有する。層１６２はＳｉトランジスタ等を有する。層１６３はＯＳトランジスタ等を有する。層１６１と層１６３とは、貼り合わせで電気的な接続を得る構成例を示している。
【０１６０】図１１（Ａ）において、ＯＳトランジスタはセルフアライン型の構成を示しているが、図１２（Ｄ）に示すように、ノンセルフアライン型のトップゲート型トランジスタであってもよい。
【０１６１】トランジスタ１５１はバックゲート１３５を有する構成を示しているが、バックゲートを有さない形態であってもよい。バックゲート１３５は、図１２（Ｅ）に示すように、対向して設けられるトランジスタのフロントゲートと電気的に接続する場合がある。または、バックゲート１３５にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。
【０１６２】ＯＳトランジスタが形成される領域とＳｉトランジスタが形成される領域との間には、水素の拡散を防止する機能を有する絶縁層１４３が設けられる。トランジスタ１５３およびトランジスタ１５４のチャネル形成領域近傍に設けられる絶縁層中の水素は、シリコンのダングリングボンドを終端する。一方、トランジスタ１５１のチャネル形成領域の近傍に設けられる絶縁層中の水素は、酸化物半導体層中にキャリアを生成する要因の一つとなる。
【０１６３】絶縁層１４３により、一方の層に水素を閉じ込めることでトランジスタ１５３およびトランジスタ１５４の信頼性を向上させることができる。また、一方の層から他方の層への水素の拡散が抑制されることでトランジスタ１５１の信頼性も向上させることができる。
【０１６４】絶縁層１４３としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア（ＹＳＺ）等を用いることができる。
【０１６５】図１１（Ｂ）は、図９（Ｂ）に示す画素の層１６１にセレン系材料を光電変換層とするｐｎ接合型フォトダイオードを用いた場合の断面図である。層１６１は、層１６３上に直接形成することができる。層１６１、層１６２、および層１６３の詳細は、前述の説明を参照できる。
【０１６６】［その他の画素の構成要素］
図１３（Ａ）は、本発明の一態様の撮像装置の画素にカラーフィルタ等を付加した例を示す斜視図である。当該斜視図では、複数の画素の断面もあわせて図示している。光電変換素子１５０が形成される層１６１上には、絶縁層１８０が形成される。絶縁層１８０は可視光に対して透光性の高い酸化シリコン膜等を用いることができる。また、パッシベーション層として窒化シリコン膜を積層してもよい。また、反射防止層として、酸化ハフニウム等の誘電体膜を積層してもよい。
【０１６７】絶縁層１８０上には、遮光層１８１が形成されてもよい。遮光層１８１は、上部のカラーフィルタを通る光の混色を防止する機能を有する。遮光層１８１には、アルミニウム、タングステン等の金属膜を用いることができる。また、当該金属膜と反射防止層としての機能を有する誘電体膜を積層してもよい。
【０１６８】絶縁層１８０および遮光層１８１上には、平坦化膜として有機樹脂層１８２を設けることができる。また、画素別にカラーフィルタ１８３（カラーフィルタ１８３ａ、カラーフィルタ１８３ｂ、およびカラーフィルタ１８３ｃ）が形成される。例えば、カラーフィルタ１８３ａ、カラーフィルタ１８３ｂ、カラーフィルタ１８３ｃに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）等の色を割り当てることにより、カラー画像を得ることができる。
【０１６９】カラーフィルタ１８３上には、可視光に対して透光性を有する絶縁層１８６等を設けることができる。
【０１７０】また、図１３（Ｂ）に示すように、カラーフィルタ１８３の代わりに光学変換層１８５を用いてもよい。このような構成とすることで、様々な波長領域における画像が得られる撮像装置とすることができる。
【０１７１】例えば、光学変換層１８５に可視光線の波長以下の光を遮るフィルタを用いれば、赤外線撮像装置とすることができる。また、光学変換層１８５に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像装置とすることができる。また、光学変換層１８５に可視光線の波長以上の光を遮るフィルタを用いれば、紫外線撮像装置とすることができる。可視光のカラーフィルタと赤外線若しくは紫外線のフィルタを組み合わせてもよい。
【０１７２】また、光学変換層１８５にシンチレータを用いれば、Ｘ線撮像装置等に用いる放射線の強弱を可視化した画像を得る撮像装置とすることができる。被写体を透過したＸ線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線や紫外光線等の光（蛍光）に変換される。そして、当該光を光電変換素子１５０で検知することにより画像データを取得する。また、放射線検出器等に当該構成の撮像装置を用いてもよい。
【０１７３】シンチレータは、Ｘ線やガンマ線等の放射線が照射されると、そのエネルギーを吸収して可視光や紫外光を発する物質を含む。例えば、Ｇｄ２Ｏ２Ｓ：Ｔｂ、Ｇｄ２Ｏ２Ｓ：Ｐｒ、Ｇｄ２Ｏ２Ｓ：Ｅｕ、ＢａＦＣｌ：Ｅｕ、ＮａＩ、ＣｓＩ、ＣａＦ２、ＢａＦ２、ＣｅＦ３、ＬｉＦ、ＬｉＩ、ＺｎＯ等を樹脂やセラミクスに分散させたものを用いることができる。
【０１７４】なお、セレン系材料を用いた光電変換素子１５０においては、Ｘ線等の放射線を電荷に直接変換することができるため、シンチレータを不要とする構成とすることもできる。
【０１７５】また、図１３（Ｃ）に示すように、カラーフィルタ１８３上にマイクロレンズアレイ１８４を設けてもよい。マイクロレンズアレイ１８４が有する個々のレンズを通る光が直下のカラーフィルタ１８３を通り、光電変換素子１５０に照射されるようになる。また、図１３（Ｂ）に示す光学変換層１８５上にマイクロレンズアレイ１８４を設けてもよい。
【０１７６】［パッケージ、モジュールの構成例］
以下では、イメージセンサチップを収めたパッケージおよびカメラモジュールの一例について説明する。当該イメージセンサチップには、上記撮像装置の構成を用いることができる。
【０１７７】図１４（Ａ１）は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ４５０を固定するパッケージ基板４１０、カバーガラス４２０および両者を接着する接着剤４３０等を有する。
【０１７８】図１４（Ａ２）は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ４４０としたＢＧＡ（Ｂａｌｌ  ｇｒｉｄ  ａｒｒａｙ）を有する。なお、ＢＧＡに限らず、ＬＧＡ（Ｌａｎｄ  ｇｒｉｄ  ａｒｒａｙ）やＰＧＡ（Ｐｉｎ  Ｇｒｉｄ  Ａｒｒａｙ）等を有していてもよい。
【０１７９】図１４（Ａ３）は、カバーガラス４２０および接着剤４３０の一部を省いて図示したパッケージの斜視図である。パッケージ基板４１０上には電極パッド４６０が形成され、電極パッド４６０およびバンプ４４０はスルーホールを介して電気的に接続されている。電極パッド４６０は、イメージセンサチップ４５０とワイヤ４７０によって電気的に接続されている。
【０１８０】また、図１４（Ｂ１）は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ４５１を固定するパッケージ基板４１１、レンズカバー４２１、およびレンズ４３５等を有する。また、パッケージ基板４１１およびイメージセンサチップ４５１の間には撮像装置の駆動回路および信号変換回路等の機能を有するＩＣチップ４９０も設けられており、ＳｉＰ（Ｓｙｓｔｅｍ  ｉｎ  ｐａｃｋａｇｅ）としての構成を有している。
【０１８１】図１４（Ｂ２）は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板４１１の下面および側面には、実装用のランド４４１が設けられたＱＦＮ（Ｑｕａｄ  ｆｌａｔ  ｎｏ−ｌｅａｄ  ｐａｃｋａｇｅ）の構成を有する。なお、当該構成は一例であり、ＱＦＰ（Ｑｕａｄ  ｆｌａｔ  ｐａｃｋａｇｅ）や前述したＢＧＡが設けられていてもよい。
【０１８２】図１４（Ｂ３）は、レンズカバー４２１およびレンズ４３５の一部を省いて図示したモジュールの斜視図である。ランド４４１は電極パッド４６１と電気的に接続され、電極パッド４６１はイメージセンサチップ４５１またはＩＣチップ４９０とワイヤ４７１によって電気的に接続されている。
【０１８３】イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
【０１８４】＜表示装置の構成例＞
次に、表示装置４０の詳細な構成例について、図１５乃至図１７を用いて説明する。
【０１８５】［画素回路の構成例］
図１５（Ａ）は、画素４１の回路構成例を説明する図である。つまり、図１５（Ａ）は、表示装置４０が有する画素回路の構成例を説明する図である。図１５（Ａ）に示す構成の画素４１は、トランジスタ３４３１と、容量素子３２３３と、液晶素子３４３２と、を有する。
【０１８６】トランジスタ３４３１のソースまたはドレインの一方は、配線３１７４と電気的に接続される。トランジスタ３４３１のゲートは、配線３１７８と電気的に接続される。
【０１８７】容量素子３２３３の一方の電極は、容量線ＣＬと電気的に接続される。容量素子３２３３の他方の電極は、トランジスタ３４３１のソースまたはドレインの他方と電気的に接続される。容量線ＣＬには、例えば定電位を印加することができる。
【０１８８】液晶素子３４３２の一方の電極には、共通の電位（コモン電位）が印加される。液晶素子３４３２の他方の電極は、トランジスタ３４３１のソースまたはドレインの他方と電気的に接続される。
【０１８９】なお、トランジスタ３４３１のソースまたはドレインの他方、容量素子３２３３の他方の電極、および液晶素子３４３２の他方の電極が接続されるノードをノード３４３６とする。
【０１９０】トランジスタ３４３１は、ノード３４３６へのデータ信号の書き込みを制御する機能を有する。容量素子３２３３は、ノード３４３６に書き込まれたデータを保持する機能を有する。また、液晶素子３４３２に含まれる液晶は、ノード３４３６に書き込まれる電位により配向状態が決定される。
【０１９１】ここで、液晶素子３４３２のモードとしては、例えば、ＴＮモード、ＳＴＮモード、ＶＡモード、ＡＳＭ（Ａｘｉａｌｌｙ  Ｓｙｍｍｅｔｒｉｃ  Ａｌｉｇｎｅｄ  Ｍｉｃｒｏ−ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌｌｙ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＦＬＣ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒｏｅｌｅｃｔｒｉｃ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）モード、ＭＶＡモード、ＰＶＡ（Ｐａｔｔｅｒｎｅｄ  Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）モード、ＩＰＳモード、ＦＦＳモード、またはＴＢＡ（Ｔｒａｎｓｖｅｒｓｅ  Ｂｅｎｄ  Ａｌｉｇｎｍｅｎｔ）モード等を用いてもよい。また、他の例として、ＥＣＢ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｃｏｎｔｒｏｌｌｅｄ  Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＰＤＬＣ（Ｐｏｌｙｍｅｒ  Ｄｉｓｐｅｒｓｅｄ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）モード、ＰＮＬＣ（Ｐｏｌｙｍｅｒ  Ｎｅｔｗｏｒｋ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）モード、ゲストホストモード等がある。ただし、これに限定されず、様々なモードを用いることができる。
【０１９２】図１５（Ｂ）は、図１５（Ａ）に示す画素回路とは別の構成の画素４１の回路構成例を説明する図である。図１５（Ｂ）に示す構成の画素４１は、トランジスタ３４３１と、トランジスタ３２３２と、容量素子３２３３と、発光素子３１２５と、を有する。
【０１９３】トランジスタ３４３１のソースまたはドレインの一方は、配線３１７４と電気的に接続される。トランジスタ３４３１のソースまたはドレインの他方は、容量素子３２３３の一方の電極、およびトランジスタ３２３２のゲートと電気的に接続される。トランジスタ３４３１のゲートは、配線３１７８と電気的に接続される。
【０１９４】トランジスタ３２３２のソースまたはドレインの一方は、配線ＶＬ＿ａと電気的に接続される。
【０１９５】発光素子３１２５の一方の電極は、配線ＶＬ＿ｂと電気的に接続される。発光素子３１２５の他方の電極は、トランジスタ３２３２のソースまたはドレインの他方、および容量素子３２３３の他方の電極と電気的に接続される。
【０１９６】配線ＶＬ＿ａは、高電位電源線とすることができる。配線ＶＬ＿ｂは、低電位電源線とすることができる。なお、配線ＶＬ＿ｂを高電位電源線、配線ＶＬ＿ａを低電位電源線としてもよい。
【０１９７】なお、トランジスタ３４３１のソースまたはドレインの他方、トランジスタ３２３２のゲート、および容量素子３２３３の一方の電極が接続されるノードをノード３４３５とする。また、トランジスタ３２３２のソースまたはドレインの他方、容量素子３２３３の他方の電極、および発光素子３１２５の他方の電極が接続されるノードをノード３４３７とする。
【０１９８】トランジスタ３４３１は、データ信号のノード３４３５への書き込みを制御する機能を有する。トランジスタ３２３２は、発光素子３１２５に流れる電流を制御する機能を有する。
容量素子３２３３はノード３４３５に書き込まれたデータを保持する保持容量としての機能を有する。
【０１９９】発光素子３１２５としては、例えば有機ＥＬ素子等を用いることができる。ただし、これに限定されず、例えば無機材料からなる無機ＥＬ素子を用いても良い。
【０２００】［画素の構成例］
図１６（Ａ）および図１７（Ａ）に、図１５（Ａ）に示す画素回路を有する画素４１の構成例を示す。図１６（Ｂ）および図１７（Ｂ）に、図１５（Ｂ）に示す画素回路を有する画素４１の構成例を示す。
【０２０１】図１６（Ａ）、（Ｂ）に示す表示装置４０は導電層４０１５を有しており、導電層４０１５はＦＰＣ４０１８が有する端子と異方性導電層４０１９を介して、電気的に接続されている。また、導電層４０１５は、絶縁層４１１２、絶縁層４１１１、および絶縁層４１１０に形成された開口において配線４０１４と電気的に接続されている。導電層４０１５は、導電層４０３０と同じ導電層から形成されている。
【０２０２】また基板４００１上に設けられた画素４１は、トランジスタを有しており、図１６（Ａ）では、画素４１に含まれるトランジスタ３４３１を例示し、図１６（Ｂ）では、画素４１に含まれるトランジスタ３２３２を例示している。基板４００１として、例えばシリコン基板を用いることができる。
【０２０３】また、トランジスタ３４３１およびトランジスタ３２３２は、絶縁層４１０２上に設けられている。また、トランジスタ３４３１およびトランジスタ３２３２は、絶縁層４１０２上に形成された導電層５１７を有し、導電層５１７上に絶縁層４１０３が形成されている。絶縁層４１０３上に半導体層５１２が形成されている。半導体層５１２上に導電層５１０および導電層５１１が形成され、導電層５１０および導電層５１１上に絶縁層４１１０および絶縁層４１１１が形成され、絶縁層４１１０および絶縁層４１１１上に導電層５１６が形成されている。導電層５１０および導電層５１１は、配線４０１４と同じ導電層で形成されている。
【０２０４】トランジスタ３４３１およびトランジスタ３２３２において、導電層５１７はゲートとしての機能を有し、導電層５１０はソースまたはドレインの一方としての機能を有し、導電層５１１はソースまたはドレインの他方としての機能を有し、導電層５１６はバックゲートとしての機能を有する。
【０２０５】トランジスタ３４３１およびトランジスタ３２３２はボトムゲート構造であり、且つバックゲートを有することで、オン電流を増大させることができる。また、トランジスタのしきい値電圧を制御することができる。なお、導電層５１６は、製造工程を簡略化するため、場合によっては省略してもよい。
【０２０６】トランジスタ３４３１およびトランジスタ３２３２において、半導体層５１２はチャネル形成領域としての機能を有する。半導体層５１２として、結晶シリコン、多結晶シリコン、非晶質シリコン、金属酸化物、有機半導体等を用いればよい。また、必要に応じて、半導体層５１２の導電率を高めるため、または、トランジスタのしきい値電圧を制御するために、半導体層５１２に不純物を導入してもよい。
【０２０７】半導体層５１２として金属酸化物を用いた場合、半導体層５１２はインジウム（Ｉｎ）を含むことが好ましい。半導体層５１２がインジウムを含む金属酸化物の場合、半導体層５１２はキャリア移動度（電子移動度）が高くなる。また、半導体層５１２は、元素Ｍを含む金属酸化物であると好ましい。元素Ｍは、好ましくは、アルミニウム（Ａｌ）、ガリウム（Ｇａ）、またはスズ（Ｓｎ）等とする。そのほかの元素Ｍに適用可能な元素としては、ホウ素（Ｂ）、シリコン（Ｓｉ）、チタン（Ｔｉ）、鉄（Ｆｅ）、ニッケル（Ｎｉ）、ゲルマニウム（Ｇｅ）、イットリウム（Ｙ）、ジルコニウム（Ｚｒ）、モリブデン（Ｍｏ）、ランタン（Ｌａ）、セリウム（Ｃｅ）、ネオジム（Ｎｄ）、ハフニウム（Ｈｆ）、タンタル（Ｔａ）、タングステン（Ｗ）等がある。ただし、元素Ｍとして、前述の元素を複数組み合わせても構わない場合がある。元素Ｍは、例えば、酸素との結合エネルギーが高い元素である。例えば、酸素との結合エネルギーがインジウムよりも高い元素である。また、半導体層５１２は、亜鉛（Ｚｎ）を含む金属酸化物であると好ましい。亜鉛を含む金属酸化物は結晶化しやすくなる場合がある。
【０２０８】半導体層５１２は、インジウムを含む金属酸化物に限定されない。半導体層５１２は、例えば、亜鉛スズ酸化物、ガリウムスズ酸化物等の、インジウムを含まず、亜鉛を含む金属酸化物、ガリウムを含む金属酸化物、スズを含む金属酸化物等であっても構わない。
【０２０９】または、半導体層５１２として結晶シリコン、多結晶シリコン、非晶質シリコン等、シリコンを有する材料を用いた場合、半導体層５１２の導電率を高めることができる。これにより、トランジスタ３４３１およびトランジスタ３２３２のオン電流を高めることができ、画素４１の動作を高速化することができる。
【０２１０】また、図１６（Ａ）、（Ｂ）に示す表示装置４０は、容量素子３２３３を有する。容量素子３２３３は、導電層５１１と導電層４０２１が絶縁層４１０３を介して重なる領域を有する。導電層４０２１は、導電層５１７と同じ導電層で形成されている。
【０２１１】図１６（Ａ）は、表示素子として液晶素子を用いた液晶表示装置の一例である。図１６（Ａ）において、表示素子である液晶素子３４３２は、導電層４０３０、導電層４０３１、および液晶層４００８を含む。なお、液晶層４００８を挟持するように配向膜として機能する絶縁層４０３２、絶縁層４０３３が設けられている。導電層４０３１は基板４００６側に設けられ、導電層４０３０と導電層４０３１は液晶層４００８を介して重畳する。なお、基板４００６として、基板４００１と同様に例えばシリコン基板を用いることができる。
【０２１２】またスペーサ４０３５は絶縁層を選択的にエッチングすることで得られる柱状のスペーサであり、導電層４０３０と導電層４０３１との間隔（セルギャップ）を制御するために設けられている。なお球状のスペーサを用いていても良い。
【０２１３】表示素子として、液晶素子を用いる場合、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶、強誘電性液晶、反強誘電性液晶等を用いることができる。これらの液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイラルネマチック相、等方相等を示す。
【０２１４】また、液晶材料の固有抵抗は、１×１０９Ω・ｃｍ以上であり、好ましくは１×１０１１Ω・ｃｍ以上であり、さらに好ましくは１×１０１２Ω・ｃｍ以上である。なお、本明細書等における固有抵抗の値は、２０℃で測定した値とする。
【０２１５】トランジスタ３４３１にＯＳトランジスタを用いた場合、トランジスタ３４３１は、オフ電流値を低くすることができる。よって、画像信号等の電気信号の保持時間を長くすることができ、電源オン状態では書き込み間隔も長く設定できる。よって、リフレッシュ動作の頻度を少なくすることができるため、消費電力を抑制する効果を奏する。
【０２１６】また、表示装置において、ブラックマトリクス（遮光層）、偏光部材、位相差部材、反射防止部材等の光学部材（光学基板）等を適宜設けてもよい。例えば、偏光基板および位相差基板による円偏光を用いてもよい。また、光源としてバックライト、サイドライト等を用いてもよい。
【０２１７】図１６（Ｂ）は、表示素子としてＥＬ素子等の発光素子を用いた表示装置の一例である。ＥＬ素子は有機ＥＬ素子と無機ＥＬ素子に区別される。
【０２１８】有機ＥＬ素子は、電圧を印加することにより、一方の電極から電子、他方の電極から正孔がそれぞれＥＬ層に注入される。なお、一方の電極は、導電層４０３０または導電層４０３１の一方であり、他方の電極は、導電層４０３０または導電層４０３１の他方である。そして、それらキャリア（電子および正孔）が再結合することにより、発光性の有機化合物が励起状態を形成し、その励起状態が基底状態に戻る際に発光する。このようなメカニズムから、このような発光素子は、電流励起型の発光素子と呼ばれる。なお、ＥＬ層は、発光性の化合物以外に、正孔注入性の高い物質、正孔輸送性の高い物質、正孔ブロック材料、電子輸送性の高い物質、電子注入性の高い物質、またはバイポーラ性の物質（電子輸送性および正孔輸送性が高い物質）等を有していてもよい。ＥＬ層は、蒸着法（真空蒸着法を含む）、転写法、印刷法、インクジェット法、塗布法等の方法で形成することができる。
【０２１９】無機ＥＬ素子は、その素子構成により、分散型無機ＥＬ素子と薄膜型無機ＥＬ素子とに分類される。分散型無機ＥＬ素子は、発光材料の粒子をバインダ中に分散させた発光層を有するものであり、発光メカニズムはドナー準位とアクセプター準位を利用するドナー−アクセプター再結合型発光である。薄膜型無機ＥＬ素子は、発光層を誘電体層で挟み込み、さらにそれを電極で挟んだ構造であり、発光メカニズムは金属イオンの内殻電子遷移を利用する局在型発光である。
【０２２０】図１６（Ｂ）は、発光素子３１２５として有機ＥＬ素子を用いた例を説明する。
【０２２１】図１６（Ｂ）において、発光素子３１２５は、画素４１に設けられたトランジスタ３２３２と電気的に接続される。なお発光素子３１２５の構成は、導電層４０３０、発光層４５１１、導電層４０３１の積層構造であるが、この構成に限定されない。発光素子３１２５から取り出す光の方向等に合わせて、発光素子３１２５の構成は適宜変えることができる。
【０２２２】隔壁４５１０は、有機絶縁材料、または無機絶縁材料を用いて形成する。特に感光性の樹脂材料を用い、導電層４０３０上に開口部を形成し、その開口部の側面が連続した曲率を持って形成される傾斜面となるように形成することが好ましい。
【０２２３】発光層４５１１は、単数の層で構成されていても、複数の層が積層されるように構成されていてもどちらでも良い。
【０２２４】発光素子３１２５に酸素、水素、水分、二酸化炭素等が侵入しないように、導電層４０３１および隔壁４５１０上に保護層を形成してもよい。保護層としては、窒化シリコン、窒化酸化シリコン、酸化アルミニウム、窒化アルミニウム、酸化窒化アルミニウム、窒化酸化アルミニウム、ＤＬＣ（Ｄｉａｍｏｎｄ  Ｌｉｋｅ  Ｃａｒｂｏｎ）等を用いることができる。また、基板４００１、基板４００６、およびシール材４００５によって封止された空間には充填材４５１４が設けられ密封されている。このように、外気に曝されないように気密性が高く、脱ガスの少ない保護フィルム（貼り合わせフィルム、紫外線硬化樹脂フィルム等）やカバー材でパッケージング（封入）することが好ましい。
【０２２５】充填材４５１４としては窒素やアルゴン等の不活性な気体の他に、紫外線硬化樹脂または熱硬化樹脂を用いることができ、ＰＶＣ（ポリビニルクロライド）、アクリル樹脂、ポリイミド、エポキシ樹脂、シリコーン樹脂、ＰＶＢ（ポリビニルブチラル）またはＥＶＡ（エチレンビニルアセテート）等を用いることができる。また、充填材４５１４に乾燥剤が含まれていてもよい。
【０２２６】シール材４００５には、ガラスフリット等のガラス材料や、二液混合型の樹脂等の常温で硬化する硬化樹脂、光硬化性の樹脂、熱硬化性の樹脂等の樹脂材料を用いることができる。また、シール材４００５に乾燥剤が含まれていてもよい。
【０２２７】また、必要であれば、発光素子の射出面に偏光板、または円偏光板（楕円偏光板を含む）、位相差板（λ／４板、λ／２板）、カラーフィルタ等の光学フィルムを適宜設けてもよい。また、偏光板または円偏光板に反射防止膜を設けてもよい。例えば、表面の凹凸により反射光を拡散し、映り込みを低減できるアンチグレア処理を施すことができる。
【０２２８】また、発光素子をマイクロキャビティ構造とすることで、色純度の高い光を取り出すことができる。また、マイクロキャビティ構造とカラーフィルタを組み合わせることで、映り込みが低減し、表示画像の視認性を高めることができる。
【０２２９】導電層４０３０、導電層４０３１は、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、インジウム錫酸化物、酸化チタンを含むインジウム錫酸化物、インジウム亜鉛酸化物、酸化ケイ素を添加したインジウム錫酸化物等の透光性を有する導電性材料を用いることができる。
【０２３０】また、導電層４０３０、導電層４０３１はタングステン（Ｗ）、モリブデン（Ｍｏ）、ジルコニウム（Ｚｒ）、ハフニウム（Ｈｆ）、バナジウム（Ｖ）、ニオブ（Ｎｂ）、タンタル（Ｔａ）、クロム（Ｃｒ）、コバルト（Ｃｏ）、ニッケル（Ｎｉ）、チタン（Ｔｉ）、白金（Ｐｔ）、アルミニウム（Ａｌ）、銅（Ｃｕ）、銀（Ａｇ）等の金属、またはその合金、もしくはその金属窒化物から一種以上を用いて形成することができる。
【０２３１】また、導電層４０３０、導電層４０３１として、導電性高分子（導電性ポリマーともいう）を含む導電性組成物を用いて形成することができる。導電性高分子としては、いわゆるπ電子共役系導電性高分子を用いることができる。例えば、ポリアニリンまたはその誘導体、ポリピロールまたはその誘導体、ポリチオフェンまたはその誘導体、もしくは、アニリン、ピロールおよびチオフェンの２種以上からなる共重合体またはその誘導体等が挙げられる。
【０２３２】発光素子３１２５から光を外部に取り出すため、少なくとも導電層４０３０または導電層４０３１の一方が透明であればよい。表示装置は、光の取り出し方によって、上面射出（トップエミッション）構造と、下面射出（ボトムエミッション）構造と、両面射出（デュアルエミッション）構造に分類される。上面射出構造は、基板４００６から光を取り出す場合をいう。下面射出構造は、基板４００１から光を取り出す場合をいう。両面射出構造は、基板４００６と基板４００１の両方から光を取り出す場合をいう。例えば、上面射出構造の場合、導電層４０３１を透明にすればよい。例えば、下面射出構造の場合、導電層４０３０を透明にすればよい。例えば、両面射出構造の場合、導電層４０３０および導電層４０３１を透明にすればよい。
【０２３３】図１７（Ａ）は、図１６（Ａ）に示すトランジスタ３４３１に、トップゲート型のトランジスタを設けた場合の断面図を示している。同様に、図１７（Ｂ）は、図１６（Ｂ）に示すトランジスタ３２３２に、トップゲート型のトランジスタを設けた場合の断面図を示している。
【０２３４】図１７（Ａ）、（Ｂ）のトランジスタ３４３１およびトランジスタ３２３２において、導電層５１７はゲートとしての機能を有し、導電層５１０はソースまたはドレインの一方としての機能を有し、導電層５１１はソースまたはドレインの他方としての機能を有する。
【０２３５】＜記憶回路の構成例＞
次に、図５に示す記憶回路３３の詳細な構成例について、図１８および図１９を用いて説明する。図１８は、記憶回路３３の構成例を説明するブロック図である。図１８に示すように、記憶回路３３は、コントローラ１４０５、行回路１４１０、列回路１４１５、メモリセルおよびセンスアンプアレイ１４２０（以下、「ＭＣ−ＳＡアレイ１４２０」と呼ぶ。）を有する。
【０２３６】行回路１４１０はデコーダ１４１１、ワード線ドライバ回路１４１２、列セレクタ１４１３、センスアンプドライバ回路１４１４を有する。列回路１４１５はグローバルセンスアンプアレイ１４１６、入出力回路１４１７を有する。グローバルセンスアンプアレイ１４１６は複数のグローバルセンスアンプ１４４７を有する。ＭＣ−ＳＡアレイ１４２０はメモリセルアレイ１４２２、センスアンプアレイ１４２３、グローバルビット線ＧＢＬＬ、ＧＢＬＲを有する。
【０２３７】［ＭＣ−ＳＡアレイ１４２０］
ＭＣ−ＳＡアレイ１４２０は、メモリセルアレイ１４２２をセンスアンプアレイ１４２３上に積層した積層構造をもつ。グローバルビット線ＧＢＬＬ、ＧＢＬＲはメモリセルアレイ１４２２上に積層されている。記憶回路３３では、ビット線の構造に、ローカルビット線とグローバルビット線とで階層化された階層ビット線構造が採用されている。
【０２３８】メモリセルアレイ１４２２は、Ｎ個（Ｎは２以上の整数）のローカルメモリセルアレイ１４２５＜０＞―１４２５＜Ｎ−１＞を有する。また、メモリセルアレイ１４２３は、Ｎ個のローカルメモリセルアレイ１４２６＜０＞―１４２６＜Ｎ−１＞を有する。図１９（Ａ）にローカルメモリセルアレイ１４２５の構成例を示す。ローカルメモリセルアレイ１４２５は、複数のメモリセル１４４５、複数のワード線ＷＬ、複数のビット線ＢＬＬ、および複数のビット線ＢＬＲを有する。図１９（Ａ）の例では、ローカルメモリセルアレイ１４２５の構造はオープンビット線型であるが、フォールデッドビット線型であってもよい。
【０２３９】図１９（Ｂ）に共通のビット線ＢＬＬ（ＢＬＲ）に接続される、ペア状の一組のメモリセル１４４５ａおよびメモリセル１４４５ｂの回路構成例を示す。メモリセル１４４５ａはトランジスタＭＷ１ａ、容量素子ＣＳ１ａ、端子Ｂ１ａ、および端子Ｂ２ａを有し、ワード線ＷＬａ、ビット線ＢＬＬ（ＢＬＲ）に接続される。また、メモリセル１４４５ｂはトランジスタＭＷ１ｂ、容量素子ＣＳ１ｂ、端子Ｂ１ｂ、および端子Ｂ２ｂを有し、ワード線ＷＬｂ、ビット線ＢＬＬ（ＢＬＲ）に接続される。なお、以下において、メモリセル１４４５ａおよびメモリセル１４４５ｂのいずれかを特に限定しない場合は、メモリセル１４４５およびそれに付属する構成にａまたはｂの符号を付さない場合がある。
【０２４０】トランジスタＭＷ１ａは容量素子ＣＳ１ａの充放電を制御する機能を有し、トランジスタＭＷ１ｂは容量素子ＣＳ１ｂの充放電を制御する機能を有する。トランジスタＭＷ１ａのゲートはワード線ＷＬａに電気的に接続され、ソースまたはドレインの一方はビット線ＢＬＬ（ＢＬＲ）に電気的に接続され、ソースまたはドレインの他方は容量素子ＣＳ１ａの一方の電極に電気的に接続されている。また、トランジスタＭＷ１ｂのゲートはワード線ＷＬｂに電気的に接続され、ソースまたはドレインの一方はビット線ＢＬＬ（ＢＬＲ）に電気的に接続され、ソースまたはドレインの他方は容量素子ＣＳ１ｂの一方の電極に電気的に接続されている。このように、ビット線ＢＬＬ（ＢＬＲ）がトランジスタＭＷ１ａのソースまたはドレインの一方とトランジスタＭＷ１ｂのソースまたはドレインの一方に共通で用いられる。
【０２４１】トランジスタＭＷ１は容量素子ＣＳ１の充放電を制御する機能をもつ。容量素子ＣＳ１の他方の電極は端子Ｂ２に電気的に接続されている。端子Ｂ２には、定電位（例えば、低電源電位）が入力される。
【０２４２】トランジスタＭＷ１ａおよびトランジスタＭＷ１ｂとして、ＯＳトランジスタを用いることが好ましい。前述のように、ＯＳトランジスタはオフ電流が低い。このため、容量素子ＣＳ１ａおよび容量素子ＣＳ１ｂに電荷を長時間保持することができるため、リフレッシュ動作の頻度を少なくすることができる。これにより、表示システム１０の消費電力を低減することができる。なお、トランジスタＭＷ１ａおよびトランジスタＭＷ１ｂとして、Ｓｉトランジスタ等、ＯＳトランジスタ以外のトランジスタを用いてもよい。
【０２４３】トランジスタＭＷ１はバックゲートを備えており、バックゲートは端子Ｂ１に電気的に接続されている。そのため、端子Ｂ１の電位によって、トランジスタＭＷ１のしきい値電圧を変更することができる。例えば、端子Ｂ１の電位は固定電位（例えば、負の定電位）であってもよいし、記憶回路３３の動作に応じて、端子Ｂ１の電位を変化させてもよい。
【０２４４】トランジスタＭＷ１のバックゲートをトランジスタＭＷ１のゲート、ソース、またはドレインに電気的に接続してもよい。あるいは、トランジスタＭＷ１にバックゲートを設けなくてもよい。
【０２４５】本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【０２４６】（実施の形態２）
本実施の形態では、上記の実施の形態で説明したニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。
【０２４７】図２０（Ａ）に示すように、ニューラルネットワークＮＮは入力層ＩＬ、出力層ＯＬ、中間層（隠れ層）ＨＬによって構成することができる。入力層ＩＬ、出力層ＯＬ、中間層ＨＬはそれぞれ、１または複数のニューロン（ユニット）を有する。なお、中間層ＨＬは１層であってもよいし２層以上であってもよい。２層以上の中間層ＨＬを有するニューラルネットワークはＤＮＮ（ディープニューラルネットワーク）と呼ぶこともでき、ディープニューラルネットワークを用いた学習は深層学習と呼ぶこともできる。
【０２４８】入力層ＩＬの各ニューロンには入力データが入力され、中間層ＨＬの各ニューロンには前層または後層のニューロンの出力信号が入力され、出力層ＯＬの各ニューロンには前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし（全結合）、一部のニューロンと結合されていてもよい。
【０２４９】図２０（Ｂ）に、ニューロンによる演算の例を示す。ここでは、ニューロンＮと、ニューロンＮに信号を出力する前層の２つのニューロンを示している。ニューロンＮには、前層のニューロンの出力ｘ１と、前層のニューロンの出力ｘ２が入力される。そして、ニューロンＮにおいて、出力ｘ１と重みｗ１の乗算結果（ｘ１ｗ１）と出力ｘ２と重みｗ２の乗算結果（ｘ２ｗ２）の総和ｘ１ｗ１＋ｘ２ｗ２が計算された後、必要に応じてバイアスｂが加算され、値ａ＝ｘ１ｗ１＋ｘ２ｗ２＋ｂが得られる。そして、値ａは活性化関数ｈによって変換され、ニューロンＮから出力信号ｙ＝ｈ（ａ）が出力される。
【０２５０】このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる（上記のｘ１ｗ１＋ｘ２ｗ２）。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。積和演算をハードウェアによって行う場合は、積和演算回路を用いることができる。この積和演算回路としては、デジタル回路を用いてもよいし、アナログ回路を用いてもよい。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、または、メモリへのアクセス回数の減少による処理速度の向上および消費電力の低減を図ることができる。
【０２５１】積和演算回路は、Ｓｉトランジスタによって構成してもよいし、ＯＳトランジスタによって構成してもよい。特に、ＯＳトランジスタはオフ電流が極めて小さいため、積和演算回路のメモリを構成するトランジスタとして好適である。なお、ＳｉトランジスタとＯＳトランジスタの両方を用いて積和演算回路を構成してもよい。以下、積和演算回路の機能を備えた半導体装置の構成例について説明する。
【０２５２】＜半導体装置の構成例＞
図２１に、ニューラルネットワークの演算を行う機能を有する半導体装置ＭＡＣの構成例を示す。半導体装置ＭＡＣは、ニューロン間の結合強度（重み）に対応する第１のデータと、入力データに対応する第２のデータの積和演算を行う機能を有する。なお、第１のデータおよび第２のデータはそれぞれ、アナログデータまたは多値のデジタルデータ（離散的なデータ）とすることができる。また、半導体装置ＭＡＣは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
【０２５３】半導体装置ＭＡＣは、セルアレイＣＡ、電流源回路ＣＳ、カレントミラー回路ＣＭ、回路ＷＤＤ、回路ＷＬＤ、回路ＣＬＤ、オフセット回路ＯＦＳＴ、および活性化関数回路ＡＣＴＶを有する。
【０２５４】セルアレイＣＡは、複数のメモリセルＭＣおよび複数のメモリセルＭＣｒｅｆを有する。図２１には、セルアレイＣＡがｍ行ｎ列（ｍ，ｎは１以上の整数）のメモリセルＭＣ（ＭＣ［１，１］乃至［ｍ，ｎ］）と、ｍ個のメモリセルＭＣｒｅｆ（ＭＣｒｅｆ［１］乃至［ｍ］）を有する構成例を示している。メモリセルＭＣは、第１のデータを格納する機能を有する。また、メモリセルＭＣｒｅｆは、積和演算に用いられる参照データを格納する機能を有する。なお、参照データはアナログデータまたは多値のデジタルデータとすることができる。
【０２５５】メモリセルＭＣ［ｉ，ｊ］（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ［ｊ］、および配線ＢＬ［ｊ］と接続されている。また、メモリセルＭＣｒｅｆ［ｉ］は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤｒｅｆ、配線ＢＬｒｅｆと接続されている。ここで、メモリセルＭＣ［ｉ，ｊ］と配線ＢＬ［ｊ］間を流れる電流をＩＭＣ［ｉ，ｊ］と表記し、メモリセルＭＣｒｅｆ［ｉ］と配線ＢＬｒｅｆ間を流れる電流をＩＭＣｒｅｆ［ｉ］と表記する。
【０２５６】メモリセルＭＣおよびメモリセルＭＣｒｅｆの具体的な構成例を、図２２に示す。図２２には代表例としてメモリセルＭＣ［１，１］、［２，１］およびメモリセルＭＣｒｅｆ［１］、［２］を示しているが、他のメモリセルＭＣおよびメモリセルＭＣｒｅｆにも同様の構成を用いることができる。メモリセルＭＣおよびメモリセルＭＣｒｅｆはそれぞれ、トランジスタＴｒ１１、トランジスタＴｒ１２、容量素子Ｃ１１を有する。ここでは、トランジスタＴｒ１１およびトランジスタＴｒ１２がｎチャネル型のトランジスタである場合について説明する。
【０２５７】メモリセルＭＣにおいて、トランジスタＴｒ１１のゲートは配線ＷＬと接続され、ソースまたはドレインの一方はトランジスタＴｒ１２のゲート、および容量素子Ｃ１１の第１の電極と接続され、ソースまたはドレインの他方は配線ＷＤと接続されている。トランジスタＴｒ１２のソースまたはドレインの一方は配線ＢＬと接続され、ソースまたはドレインの他方は配線ＶＲと接続されている。容量素子Ｃ１１の第２の電極は、配線ＲＷと接続されている。配線ＶＲは、所定の電位を供給する機能を有する配線である。ここでは一例として、配線ＶＲから低電源電位（接地電位等）が供給される場合について説明する。
【０２５８】トランジスタＴｒ１１のソースまたはドレインの一方、トランジスタＴｒ１２のゲート、および容量素子Ｃ１１の第１の電極と接続されたノードを、ノードＮＭとする。また、メモリセルＭＣ［１，１］、［２，１］のノードＮＭを、それぞれノードＮＭ［１，１］、［２，１］と表記する。
【０２５９】メモリセルＭＣｒｅｆも、メモリセルＭＣと同様の構成を有する。ただし、メモリセルＭＣｒｅｆは配線ＷＤの代わりに配線ＷＤｒｅｆと接続され、配線ＢＬの代わりに配線ＢＬｒｅｆと接続されている。また、メモリセルＭＣｒｅｆ［１］、［２］において、トランジスタＴｒ１１のソースまたはドレインの一方、トランジスタＴｒ１２のゲート、および容量素子Ｃ１１の第１の電極と接続されたノードを、それぞれノードＮＭｒｅｆ［１］、［２］と表記する。
【０２６０】ノードＮＭとノードＮＭｒｅｆはそれぞれ、メモリセルＭＣとメモリセルＭＣｒｅｆの保持ノードとして機能する。ノードＮＭには第１のデータが保持され、ノードＮＭｒｅｆには参照データが保持される。また、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣ［１，１］、ＩＭＣ［２，１］が流れる。また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］、［２］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣｒｅｆ［１］、ＩＭＣｒｅｆ［２］が流れる。
【０２６１】トランジスタＴｒ１１は、ノードＮＭまたはノードＮＭｒｅｆの電位を保持する機能を有するため、トランジスタＴｒ１１のオフ電流は小さいことが好ましい。そのため、トランジスタＴｒ１１としてオフ電流が極めて小さいＯＳトランジスタを用いることが好ましい。これにより、ノードＮＭまたはノードＮＭｒｅｆの電位の変動を抑えることができ、演算精度の向上を図ることができる。また、ノードＮＭまたはノードＮＭｒｅｆの電位をリフレッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる。
【０２６２】トランジスタＴｒ１２は特に限定されず、例えばＳｉトランジスタまたはＯＳトランジスタ等を用いることができる。トランジスタＴｒ１２にＯＳトランジスタを用いる場合、トランジスタＴｒ１１と同じ製造装置を用いて、トランジスタＴｒ１２を作製することが可能となり、製造コストを抑制することができる。なお、トランジスタＴｒ１２はｎチャネル型であってもｐチャネル型であってもよい。
【０２６３】電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］および配線ＢＬｒｅｆと接続されている。電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］および配線ＢＬｒｅｆに電流を供給する機能を有する。なお、配線ＢＬ［１］乃至［ｎ］に供給される電流値と配線ＢＬｒｅｆに供給される電流値は異なっていてもよい。ここでは、電流源回路ＣＳから配線ＢＬ［１］乃至［ｎ］に供給される電流をＩＣ、電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆと表記する。
【０２６４】カレントミラー回路ＣＭは、配線ＩＬ［１］乃至［ｎ］および配線ＩＬｒｅｆを有する。配線ＩＬ［１］乃至［ｎ］はそれぞれ配線ＢＬ［１］乃至［ｎ］と接続され、配線ＩＬｒｅｆは、配線ＢＬｒｅｆと接続されている。ここでは、配線ＩＬ［１］乃至［ｎ］と配線ＢＬ［１］乃至［ｎ］の接続箇所をノードＮＰ［１］乃至［ｎ］と表記する。また、配線ＩＬｒｅｆと配線ＢＬｒｅｆの接続箇所をノードＮＰｒｅｆと表記する。
【０２６５】カレントミラー回路ＣＭは、ノードＮＰｒｅｆの電位に応じた電流ＩＣＭを配線ＩＬｒｅｆに流す機能と、この電流ＩＣＭを配線ＩＬ［１］乃至［ｎ］にも流す機能を有する。図２１には、配線ＢＬｒｅｆから配線ＩＬｒｅｆに電流ＩＣＭが排出され、配線ＢＬ［１］乃至［ｎ］から配線ＩＬ［１］乃至［ｎ］に電流ＩＣＭが排出される例を示している。また、カレントミラー回路ＣＭから配線ＢＬ［１］乃至［ｎ］を介してセルアレイＣＡに流れる電流を、ＩＢ［１］乃至［ｎ］と表記する。また、カレントミラー回路ＣＭから配線ＢＬｒｅｆを介してセルアレイＣＡに流れる電流を、ＩＢｒｅｆと表記する。
【０２６６】回路ＷＤＤは、配線ＷＤ［１］乃至［ｎ］および配線ＷＤｒｅｆと接続されている。回路ＷＤＤは、メモリセルＭＣに格納される第１のデータに対応する電位を、配線ＷＤ［１］乃至［ｎ］に供給する機能を有する。また、回路ＷＤＤは、メモリセルＭＣｒｅｆに格納される参照データに対応する電位を、配線ＷＤｒｅｆに供給する機能を有する。回路ＷＬＤは、配線ＷＬ［１］乃至［ｍ］と接続されている。回路ＷＬＤは、データの書き込みを行うメモリセルＭＣまたはメモリセルＭＣｒｅｆを選択するための信号を、配線ＷＬ［１］乃至［ｍ］に供給する機能を有する。回路ＣＬＤは、配線ＲＷ［１］乃至［ｍ］と接続されている。回路ＣＬＤは、第２のデータに対応する電位を、配線ＲＷ［１］乃至［ｍ］に供給する機能を有する。
【０２６７】オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］および配線ＯＬ［１］乃至［ｎ］と接続されている。オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流量、および／または、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流の変化量を検出する機能を有する。また、オフセット回路ＯＦＳＴは、検出結果を配線ＯＬ［１］乃至［ｎ］に出力する機能を有する。なお、オフセット回路ＯＦＳＴは、検出結果に対応する電流を配線ＯＬに出力してもよいし、検出結果に対応する電流を電圧に変換して配線ＯＬに出力してもよい。セルアレイＣＡとオフセット回路ＯＦＳＴの間を流れる電流を、Ｉα［１］乃至［ｎ］と表記する。
【０２６８】オフセット回路ＯＦＳＴの構成例を図２３に示す。図２３に示すオフセット回路ＯＦＳＴは、回路ＯＣ［１］乃至［ｎ］を有する。また、回路ＯＣ［１］乃至［ｎ］はそれぞれ、トランジスタＴｒ２１、トランジスタＴｒ２２、トランジスタＴｒ２３、容量素子Ｃ２１、および抵抗素子Ｒ１を有する。各素子の接続関係は図２３に示す通りである。なお、容量素子Ｃ２１の第１の電極および抵抗素子Ｒ１の第１の端子と接続されたノードを、ノードＮａとする。また、容量素子Ｃ２１の第２の電極、トランジスタＴｒ２１のソースまたはドレインの一方、およびトランジスタＴｒ２２のゲートと接続されたノードを、ノードＮｂとする。
【０２６９】配線ＶｒｅｆＬは電位Ｖｒｅｆを供給する機能を有し、配線ＶａＬは電位Ｖａを供給する機能を有し、配線ＶｂＬは電位Ｖｂを供給する機能を有する。また、配線ＶＤＤＬは電位ＶＤＤを供給する機能を有し、配線ＶＳＳＬは電位ＶＳＳを供給する機能を有する。ここでは、電位ＶＤＤが高電源電位であり、電位ＶＳＳが低電源電位である場合について説明する。また、配線ＲＳＴは、トランジスタＴｒ２１の導通状態を制御するための電位を供給する機能を有する。トランジスタＴｒ２２、トランジスタＴｒ２３、配線ＶＤＤＬ、配線ＶＳＳＬ、および配線ＶｂＬによって、ソースフォロワ回路が構成される。
【０２７０】次に、回路ＯＣ［１］乃至［ｎ］の動作例を説明する。なお、ここでは代表例として回路ＯＣ［１］の動作例を説明するが、回路ＯＣ［２］乃至［ｎ］も同様に動作させることができる。まず、配線ＢＬ［１］に第１の電流が流れると、ノードＮａの電位は、第１の電流と抵抗素子Ｒ１の抵抗値に応じた電位となる。また、このときトランジスタＴｒ２１はオン状態であり、ノードＮｂに電位Ｖａが供給される。その後、トランジスタＴｒ２１はオフ状態となる。
【０２７１】次に、配線ＢＬ［１］に第２の電流が流れると、ノードＮａの電位は、第２の電流と抵抗素子Ｒ１の抵抗値に応じた電位に変化する。このときトランジスタＴｒ２１はオフ状態であり、ノードＮｂはフローティング状態となっているため、ノードＮａの電位の変化に伴い、ノードＮｂの電位は容量結合により変化する。ここで、ノードＮａの電位の変化をΔＶＮａとし、容量結合係数を１とすると、ノードＮｂの電位はＶａ＋ΔＶＮａとなる。そして、トランジスタＴｒ２２のしきい値電圧をＶｔｈとすると、配線ＯＬ［１］から電位Ｖａ＋ΔＶＮａ−Ｖｔｈが出力される。ここで、Ｖａ＝Ｖｔｈとすることにより、配線ＯＬ［１］から電位ΔＶＮａを出力することができる。
【０２７２】電位ΔＶＮａは、第１の電流から第２の電流への変化量、抵抗素子Ｒ１、および電位Ｖｒｅｆに応じて定まる。ここで、抵抗素子Ｒ１と電位Ｖｒｅｆは既知であるため、電位ΔＶＮａから配線ＢＬに流れる電流の変化量を求めることができる。
【０２７３】上記のようにオフセット回路ＯＦＳＴによって検出された電流量、および／または電流の変化量に対応する信号は、配線ＯＬ［１］乃至［ｎ］を介して活性化関数回路ＡＣＴＶに入力される。
【０２７４】活性化関数回路ＡＣＴＶは、配線ＯＬ［１］乃至［ｎ］、および、配線ＮＩＬ［１］乃至［ｎ］と接続されている。活性化関数回路ＡＣＴＶは、オフセット回路ＯＦＳＴから入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、しきい値関数等を用いることができる。活性化関数回路ＡＣＴＶによって変換された信号は、出力データとして配線ＮＩＬ［１］乃至［ｎ］に出力される。
【０２７５】＜半導体装置の動作例＞
上記の半導体装置ＭＡＣを用いて、第１のデータと第２のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置ＭＡＣの動作例を説明する。
【０２７６】図２４に半導体装置ＭＡＣの動作例のタイミングチャートを示す。図２４には、図２２における配線ＷＬ［１］、配線ＷＬ［２］、配線ＷＤ［１］、配線ＷＤｒｅｆ、ノードＮＭ［１，１］、ノードＮＭ［２，１］、ノードＮＭｒｅｆ［１］、ノードＮＭｒｅｆ［２］、配線ＲＷ［１］、および配線ＲＷ［２］の電位の推移と、電流ＩＢ［１］−Ｉα［１］、および電流ＩＢｒｅｆの値の推移を示している。電流ＩＢ［１］−Ｉα［１］は、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］に流れる電流の総和に相当する。
【０２７７】なお、ここでは代表例として図２２に示すメモリセルＭＣ［１，１］、［２，１］およびメモリセルＭＣｒｅｆ［１］、［２］に着目して動作を説明するが、他のメモリセルＭＣおよびメモリセルＭＣｒｅｆも同様に動作させることができる。
【０２７８】［第１のデータの格納］
まず、時刻Ｔ０１−Ｔ０２において、配線ＷＬ［１］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位（ＧＮＤ）よりもＶＰＲ−ＶＷ［１，１］大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。また、配線ＲＷ［１］、および配線ＲＷ［２］の電位が基準電位（ＲＥＦＰ）となる。なお、電位ＶＷ［１，１］はメモリセルＭＣ［１，１］に格納される第１のデータに対応する電位である。また、電位ＶＰＲは参照データに対応する電位である。これにより、メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶＰＲ−ＶＷ［１，１］、ノードＮＭｒｅｆ［１］の電位がＶＰＲとなる。
【０２７９】このとき、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，０は、次の式で表すことができる。ここで、ｋはトランジスタＴｒ１２のチャネル長、チャネル幅、移動度、およびゲート絶縁膜の容量等で決まる定数である。また、ＶｔｈはトランジスタＴｒ１２のしきい値電圧である。
【０２８０】
2019008482.tif 000003
【０２８１】また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，０は、次の式で表すことができる。
【０２８２】
2019008482.tif 000004
【０２８３】次に、時刻Ｔ０２−Ｔ０３において、配線ＷＬ［１］の電位がローレベルとなる。これにより、メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位が保持される。
【０２８４】なお、前述の通り、トランジスタＴｒ１１としてＯＳトランジスタを用いることが好ましい。これにより、トランジスタＴｒ１１のリーク電流を抑えることができ、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位を正確に保持することができる。
【０２８５】次に、時刻Ｔ０３−Ｔ０４において、配線ＷＬ［２］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位よりもＶＰＲ−ＶＷ［２，１］大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。なお、電位ＶＷ［２，１］はメモリセルＭＣ［２，１］に格納される第１のデータに対応する電位である。これにより、メモリセルＭＣ［２，１］およびメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶＰＲ−ＶＷ［２，１］、ノードＮＭｒｅｆ［１］の電位がＶＰＲとなる。
【０２８６】このとき、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，０は、次の式で表すことができる。
【０２８７】
2019008482.tif 000005
【０２８８】また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，０は、次の式で表すことができる。
【０２８９】
2019008482.tif 000006
【０２９０】次に、時刻Ｔ０４−Ｔ０５において、配線ＷＬ［２］の電位がローレベルとなる。これにより、メモリセルＭＣ［２，１］およびメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［２，１］およびノードＮＭｒｅｆ［２］の電位が保持される。
【０２９１】以上の動作により、メモリセルＭＣ［１，１］、［２，１］に第１のデータが格納され、メモリセルＭＣｒｅｆ［１］、［２］に参照データが格納される。
【０２９２】ここで、時刻Ｔ０４−Ｔ０５において、配線ＢＬ［１］および配線ＢＬｒｅｆに流れる電流を考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流が供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆ、配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，０とすると、次の式が成り立つ。
【０２９３】
2019008482.tif 000007
【０２９４】配線ＢＬ［１］には、電流源回路ＣＳからの電流が供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。また、配線ＢＬ［１］からオフセット回路ＯＦＳＴに電流が流れる。電流源回路ＣＳから配線ＢＬ［１］に供給される電流をＩＣ，０、配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，０とすると、次の式が成り立つ。
【０２９５】
2019008482.tif 000008
【０２９６】［第１のデータと第２のデータの積和演算］
次に、時刻Ｔ０５−Ｔ０６において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１］大きい電位となる。このとき、メモリセルＭＣ［１，１］、およびメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１には電位ＶＸ［１］が供給され、容量結合によりトランジスタＴｒ１２のゲートの電位が上昇する。なお、電位Ｖｘ［１］はメモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］に供給される第２のデータに対応する電位である。
【０２９７】トランジスタＴｒ１２のゲートの電位の変化量は、配線ＲＷの電位の変化量に、メモリセルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子Ｃ１１の容量、トランジスタＴｒ１２のゲート容量、および寄生容量等によって算出される。以下では便宜上、配線ＲＷの電位の変化量とトランジスタＴｒ１２のゲートの電位の変化量が同じ、すなわち容量結合係数が１であるとして説明する。実際には、容量結合係数を考慮して電位Ｖｘを決定すればよい。
【０２９８】メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］の容量素子Ｃ１１に電位ＶＸ［１］が供給されると、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。
【０２９９】ここで、時刻Ｔ０５−Ｔ０６において、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，１は、次の式で表すことができる。
【０３００】
2019008482.tif 000009
【０３０１】すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［１，１］＝ＩＭＣ［１，１］，１−ＩＭＣ［１，１］，０増加する。
【０３０２】また、時刻Ｔ０５−Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，１は、次の式で表すことができる。
【０３０３】
2019008482.tif 000010
【０３０４】すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ［１］＝ＩＭＣｒｅｆ［１］，１−ＩＭＣｒｅｆ［１］，０増加する。
【０３０５】また、配線ＢＬ［１］および配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，１とすると、次の式が成り立つ。
【０３０６】
2019008482.tif 000011
【０３０７】配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，１とすると、次の式が成り立つ。
【０３０８】
2019008482.tif 000012
【０３０９】そして、式（Ｅ１）乃至式（Ｅ１０）から、電流Ｉα，０と電流Ｉα，１の差（差分電流ΔＩα）は次の式で表すことができる。
【０３１０】
2019008482.tif 000013
【０３１１】このように、差分電流ΔＩαは、電位ＶＷ［１，１］とＶＸ［１］の積に応じた値となる。
【０３１２】その後、時刻Ｔ０６−Ｔ０７において、配線ＲＷ［１］の電位は接地電位となり、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位は時刻Ｔ０４−Ｔ０５と同様になる。
【０３１３】次に、時刻Ｔ０７−Ｔ０８において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１］大きい電位となり、配線ＲＷ［２］の電位が基準電位よりもＶＸ［２］大きい電位が供給される。これにより、メモリセルＭＣ［１，１］、およびメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１に電位Ｖが供給され、容量結合によりノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。また、メモリセルＭＣ［２，１］、およびメモリセルＭＣｒｅｆ［２］のそれぞれの容量素子Ｃ１１に電位ＶＸ［２］が供給され、容量結合によりノードＮＭ［２，１］およびノードＮＭｒｅｆ［２］の電位がそれぞれＶＸ［２］上昇する。
【０３１４】ここで、時刻Ｔ０７−Ｔ０８において、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，１は、次の式で表すことができる。
【０３１５】
2019008482.tif 000014
【０３１６】すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［２，１］＝ＩＭＣ［２，１］，１−ＩＭＣ［２，１］，０増加する。
【０３１７】また、時刻Ｔ０５−Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，１は、次の式で表すことができる。
【０３１８】
2019008482.tif 000015
【０３１９】すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ［２］＝ＩＭＣｒｅｆ［２］，１−ＩＭＣｒｅｆ［２］，０増加する。
【０３２０】また、配線ＢＬ［１］および配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，２とすると、次の式が成り立つ。
【０３２１】
2019008482.tif 000016
【０３２２】配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，２とすると、次の式が成り立つ。
【０３２３】
2019008482.tif 000017
【０３２４】そして、式（Ｅ１）乃至式（Ｅ８）、および、式（Ｅ１２）乃至式（Ｅ１５）から、電流Ｉα，０と電流Ｉα，２の差（差分電流ΔＩα）は次の式で表すことができる。
【０３２５】
2019008482.tif 000018
【０３２６】このように、差分電流ΔＩαは、電位ＶＷ［１，１］と電位ＶＸ［１］の積と、電位ＶＷ［２，１］と電位ＶＸ［２］の積と、を足し合わせた結果に応じた値となる。
【０３２７】その後、時刻Ｔ０８−Ｔ０９において、配線ＲＷ［１］、［２］の電位は接地電位となり、ノードＮＭ［１，１］、［２，１］およびノードＮＭｒｅｆ［１］、［２］の電位は時刻Ｔ０４−Ｔ０５と同様になる。
【０３２８】式（Ｅ９）および式（Ｅ１６）に示されるように、オフセット回路ＯＦＳＴに入力される差分電流ΔＩαは、第１のデータ（重み）に対応する電位ＶＸと、第２のデータ（入力データ）に対応する電位ＶＷの積を足し合わせた結果に応じた値となる。すなわち、差分電流ΔＩαをオフセット回路ＯＦＳＴで計測することにより、第１のデータと第２のデータの積和演算の結果を得ることができる。
【０３２９】なお、上記では特にメモリセルＭＣ［１，１］、［２，１］およびメモリセルＭＣｒｅｆ［１］、［２］に着目したが、メモリセルＭＣおよびメモリセルＭＣｒｅｆの数は任意に設定することができる。メモリセルＭＣおよびメモリセルＭＣｒｅｆの行数ｍを任意の数とした場合の差分電流ΔＩαは、次の式で表すことができる。
【０３３０】
2019008482.tif 000019
【０３３１】また、メモリセルＭＣおよびメモリセルＭＣｒｅｆの列数ｎを増やすことにより、並列して実行される積和演算の数を増やすことができる。
【０３３２】以上のように、半導体装置ＭＡＣを用いることにより、第１のデータと第２のデータの積和演算を行うことができる。なお、メモリセルＭＣおよびメモリセルＭＣｒｅｆとして図２２に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成することができる。そのため、半導体装置ＭＡＣの回路規模の縮小を図ることができる。
【０３３３】半導体装置ＭＡＣをニューラルネットワークにおける演算に用いる場合、メモリセルＭＣの行数ｍは一のニューロンに供給される入力データの数に対応させ、メモリセルＭＣの列数ｎはニューロンの数に対応させることができる。例えば、図２０（Ａ）に示す中間層ＨＬにおいて半導体装置ＭＡＣを用いた積和演算を行う場合を考える。このとき、メモリセルＭＣの行数ｍは、入力層ＩＬから供給される入力データの数（入力層ＩＬのニューロンの数）に設定し、メモリセルＭＣの列数ｎは、中間層ＨＬのニューロンの数に設定することができる。
【０３３４】なお、半導体装置ＭＡＣを適用するニューラルネットワークの構造は特に限定されない。例えば半導体装置ＭＡＣは、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、オートエンコーダ、ボルツマンマシン（制限ボルツマンマシンを含む）等に用いることもできる。
【０３３５】以上のように、半導体装置ＭＡＣを用いることにより、ニューラルネットワークの積和演算を行うことができる。さらに、セルアレイＣＡに図２２に示すメモリセルＭＣおよびメモリセルＭＣｒｅｆを用いることにより、演算精度の向上、消費電力の削減、または回路規模の縮小を図ることが可能なＩＣを提供することができる。
【０３３６】本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【０３３７】（実施の形態３）
本実施の形態、本発明の一態様で開示されるトランジスタに用いることができるＣＡＣ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ  Ｃｏｍｐｏｓｉｔｅ）−ＯＳの構成について説明する。
【０３３８】ＣＡＣ−ＯＳとは、例えば、酸化物半導体を構成する元素が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、酸化物半導体において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
【０３３９】なお、酸化物半導体は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウム等から選ばれた一種、または複数種が含まれていてもよい。
【０３４０】例えば、Ｉｎ−Ｇａ−Ｚｎ酸化物におけるＣＡＣ−ＯＳ（ＣＡＣ−ＯＳの中でもＩｎ−Ｇａ−Ｚｎ酸化物を、特にＣＡＣ−ＩＧＺＯと呼称してもよい。）とは、インジウム酸化物（以下、ＩｎＯＸ１（Ｘ１は０よりも大きい実数）とする。）、またはインジウム亜鉛酸化物（以下、ＩｎＸ２ＺｎＹ２ＯＺ２（Ｘ２、Ｙ２、およびＺ２は０よりも大きい実数）とする。）等と、ガリウム酸化物（以下、ＧａＯＸ３（Ｘ３は０よりも大きい実数）とする。）、またはガリウム亜鉛酸化物（以下、ＧａＸ４ＺｎＹ４ＯＺ４（Ｘ４、Ｙ４、およびＺ４は０よりも大きい実数）とする。）等と、に材料が分離することでモザイク状となり、モザイク状のＩｎＯＸ１、またはＩｎＸ２ＺｎＹ２ＯＺ２が、膜中に均一に分布した構成（以下、クラウド状ともいう。）である。
【０３４１】つまり、ＣＡＣ−ＯＳは、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、混合している構成を有する複合酸化物半導体である。なお、本明細書等において、例えば、第１の領域の元素Ｍに対するＩｎの原子数比が、第２の領域の元素Ｍに対するＩｎの原子数比よりも大きいことを、第１の領域は、第２の領域と比較して、Ｉｎの濃度が高いとする。
【０３４２】なお、ＩＧＺＯは通称であり、Ｉｎ、Ｇａ、Ｚｎ、およびＯによる１つの化合物をいう場合がある。代表例として、ＩｎＧａＯ３（ＺｎＯ）ｍ１（ｍ１は自然数）、またはＩｎ（１＋ｘ０）Ｇａ（１−ｘ０）Ｏ３（ＺｎＯ）ｍ０（−１≦ｘ０≦１、ｍ０は任意数）で表される結晶性の化合物が挙げられる。
【０３４３】上記結晶性の化合物は、単結晶構造、多結晶構造、またはＣＡＡＣ構造を有する。なお、ＣＡＡＣ構造とは、複数のＩＧＺＯのナノ結晶がｃ軸配向を有し、かつａ−ｂ面においては配向せずに連結した結晶構造である。
【０３４４】一方、ＣＡＣ−ＯＳは、酸化物半導体の材料構成に関する。ＣＡＣ−ＯＳとは、Ｉｎ、Ｇａ、Ｚｎ、およびＯを含む材料構成において、一部にＧａを主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。従って、ＣＡＣ−ＯＳにおいて、結晶構造は副次的な要素である。
【０３４５】なお、ＣＡＣ−ＯＳは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Ｉｎを主成分とする膜と、Ｇａを主成分とする膜との２層からなる構造は、含まない。
【０３４６】なお、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とは、明確な境界が観察できない場合がある。
【０３４７】なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウム等から選ばれた一種、または複数種が含まれている場合、ＣＡＣ−ＯＳは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。
【０３４８】ＣＡＣ−ＯＳは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、ＣＡＣ−ＯＳをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス（代表的にはアルゴン）、酸素ガス、および窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を０％以上３０％未満、好ましくは０％以上１０％以下とすることが好ましい。
【０３４９】ＣＡＣ−ＯＳは、Ｘ線回折（ＸＲＤ：Ｘ−ｒａｙ  ｄｉｆｆｒａｃｔｉｏｎ）測定法のひとつであるＯｕｔ−ｏｆ−ｐｌａｎｅ法によるθ／２θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、Ｘ線回折から、測定領域のａ−ｂ面方向、およびｃ軸方向の配向は見られないことが分かる。
【０３５０】またＣＡＣ−ＯＳは、プローブ径が１ｎｍの電子線（ナノビーム電子線ともいう。）を照射することで得られる電子線回折パターンにおいて、リング状に輝度の高い領域と、該リング領域に複数の輝点が観測される。従って、電子線回折パターンから、ＣＡＣ−ＯＳの結晶構造が、平面方向、および断面方向において、配向性を有さないｎｃ（ｎａｎｏ−ｃｒｙｓｔａｌ）構造を有することがわかる。
【０３５１】また例えば、Ｉｎ−Ｇａ−Ｚｎ酸化物におけるＣＡＣ−ＯＳでは、エネルギー分散型Ｘ線分光法（ＥＤＸ：Ｅｎｅｒｇｙ  Ｄｉｓｐｅｒｓｉｖｅ  Ｘ−ｒａｙ  ｓｐｅｃｔｒｏｓｃｏｐｙ）を用いて取得したＥＤＸマッピングにより、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、偏在し、混合している構造を有することが確認できる。
【０３５２】ＣＡＣ−ＯＳは、金属元素が均一に分布したＩＧＺＯ化合物とは異なる構造であり、ＩＧＺＯ化合物と異なる性質を有する。つまり、ＣＡＣ−ＯＳは、ＧａＯＸ３等が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。
【０３５３】ここで、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域は、ＧａＯＸ３等が主成分である領域と比較して、導電性が高い領域である。つまり、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域を、キャリアが流れることにより、酸化物半導体としての導電性が発現する。従って、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域が、酸化物半導体中にクラウド状に分布することで、高い電界効果移動度（μ）が実現できる。
【０３５４】一方、ＧａＯＸ３等が主成分である領域は、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と比較して、絶縁性が高い領域である。つまり、ＧａＯＸ３等が主成分である領域が、酸化物半導体中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。
【０３５５】従って、ＣＡＣ−ＯＳを半導体素子に用いた場合、ＧａＯＸ３等に起因する絶縁性と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１に起因する導電性とが、相補的に作用することにより、高いオン電流（Ｉｏｎ）、および高い電界効果移動度（μ）を実現することができる。
【０３５６】また、ＣＡＣ−ＯＳを用いた半導体素子は、信頼性が高い。従って、ＣＡＣ−ＯＳは、ディスプレイをはじめとするさまざまな半導体装置に最適である。
【０３５７】本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【０３５８】（実施の形態４）
本実施の形態では、本発明の一態様の表示システムを適用可能な移動体の例について説明する。
【０３５９】図２５（Ａ）は自動車３０１である。本発明の一態様の表示システムは、自動車３０１に適用することができる。例えば、本発明の一態様の表示システムを構成する撮像装置を、自動車３０１に設けることにより、自動車３０１の外部の様子を撮像することができる。撮像装置により取得された撮像データが明暗差の大きい撮像データであり、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合であっても、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる。
【０３６０】図２５（Ｂ）はバス３０２である。本発明の一態様の表示システムは、バス３０２に適用することができる。例えば、本発明の一態様の表示システムを構成する撮像装置を、バス３０２に設けることにより、バス３０２の外部の様子を撮像することができる。撮像装置により取得された撮像データが明暗差の大きい撮像データであり、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合であっても、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる。
【０３６１】図２５（Ｃ）は列車３０３である。本発明の一態様の表示システムは、列車３０３に適用することができる。例えば、本発明の一態様の表示システムを構成する撮像装置を、列車３０３に設けることにより、列車３０３の外部の様子を撮像することができる。撮像装置により取得された撮像データが明暗差の大きい撮像データであり、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合であっても、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる。
【０３６２】図２５（Ｄ）は飛行機３０４である。本発明の一態様の表示システムは、飛行機３０４に適用することができる。例えば、本発明の一態様の表示システムを構成する撮像装置を、飛行機３０４に設けることにより、飛行機３０４の外部の様子を撮像することができる。撮像装置により取得された撮像データが明暗差の大きい撮像データであり、表示装置のダイナミックレンジが撮像装置のダイナミックレンジより低い場合であっても、表示される画像が不鮮明となることを抑制しつつ、ダイナミックレンジ圧縮を行うことができる。
【０３６３】本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【符号の説明】
【０３６４】１０：表示システム、２０：撮像装置、２１：画素、２２：画素アレイ、２３：ロードライバ、２５：Ａ／Ｄ変換回路、２６：カラムドライバ、３０：制御装置、３１：解析回路、３２：階調決定回路、３３：記憶回路、３４：予測回路、４０：表示装置、４１：画素、４２：画素アレイ、４３：ロードライバ、４６：カラムドライバ、４７：階調、５０：照度域、５１：ネットワーク、５２：サーバ、５３：機器、１３１：導電層、１３２：導電層、１３３：導電層、１３４：導電層、１３５：バックゲート、１３６：領域、１３７：導電層、１４０：シリコン基板、１４１：絶縁層、１４２：絶縁層、１４３：絶縁層、１４５：半導体層、１４６：絶縁層、１５０：光電変換素子、１５１：トランジスタ、１５２：トランジスタ、１５３：トランジスタ、１５４：トランジスタ、１５５：容量素子、１６１：層、１６２：層、１６３：層、１６５ａ：層、１６５ｂ：層、１６５ｃ：層、１６６ａ：層、１６６ｂ：層、１６６ｃ：層、１６６ｄ：層、１７１：配線、１７２：配線、１７３：配線、１７４：配線、１７５：配線、１７６：配線、１７７：配線、１７８：配線、１８０：絶縁層、１８１：遮光層、１８２：有機樹脂層、１８３：カラーフィルタ、１８３ａ：カラーフィルタ、１８３ｂ：カラーフィルタ、１８３ｃ：カラーフィルタ、１８４：マイクロレンズアレイ、１８５：光学変換層、１８６：絶縁層、３０１：自動車、３０２：バス、３０３：列車、３０４：飛行機、４１０：パッケージ基板、４１１：パッケージ基板、４２０：カバーガラス、４２１：レンズカバー、４３０：接着剤、４３５：レンズ、４４０：バンプ、４４１：ランド、４５０：イメージセンサチップ、４５１：イメージセンサチップ、４６０：電極パッド、４６１：電極パッド、４７０：ワイヤ、４７１：ワイヤ、４９０：ＩＣチップ、５１０：導電層、５１１：導電層、５１２：半導体層、５１６：導電層、５１７：導電層、１４０５：コントローラ、１４１０：行回路、１４１１：デコーダ、１４１２：ワード線ドライバ回路、１４１３：列セレクタ、１４１４：センスアンプドライバ回路、１４１５：列回路、１４１６：グローバルセンスアンプアレイ、１４１７：入出力回路、１４２０：センスアンプアレイ、１４２２：メモリセルアレイ、１４２３：センスアンプアレイ、１４２５：ローカルメモリセルアレイ、１４２６：ローカルメモリセルアレイ、１４４５：メモリセル、１４４５ａ：メモリセル、１４４５ｂ：メモリセル、１４４７：グローバルセンスアンプ、３１２５：発光素子、３１７４：配線、３１７８：配線、３２３２：トランジスタ、３２３３：容量素子、３４３１：トランジスタ、３４３２：液晶素子、３４３５：ノード、３４３６：ノード、３４３７：ノード、４００１：基板、４００５：シール材、４００６：基板、４００８：液晶層、４０１４：配線、４０１５：導電層、４０１８：ＦＰＣ、４０１９：異方性導電層、４０２１：導電層、４０３０：導電層、４０３１：導電層、４０３２：絶縁層、４０３３：絶縁層、４０３５：スペーサ、４１０２：絶縁層、４１０３：絶縁層、４１１０：絶縁層、４１１１：絶縁層、４１１２：絶縁層、４５１０：隔壁、４５１１：発光層、４５１４：充填材
【図１】
2019008482.tif 000020
【図２】
2019008482.tif 000021
【図３】
2019008482.tif 000022
【図４】
2019008482.tif 000023
【図５】
2019008482.tif 000024
【図６】
2019008482.tif 000025
【図７】
2019008482.tif 000026
【図８】
2019008482.tif 000027
【図９】
2019008482.tif 000028
【図１０】
2019008482.tif 000029
【図１１】
2019008482.tif 000030
【図１２】
2019008482.tif 000031
【図１３】
2019008482.tif 000032
【図１４】
2019008482.tif 000033
【図１５】
2019008482.tif 000034
【図１６】
2019008482.tif 000035
【図１７】
2019008482.tif 000036
【図１８】
2019008482.tif 000037
【図１９】
2019008482.tif 000038
【図２０】
2019008482.tif 000039
【図２１】
2019008482.tif 000040
【図２２】
2019008482.tif 000041
【図２３】
2019008482.tif 000042
【図２４】
2019008482.tif 000043
【図２５】
2019008482.tif 000044
【国際調査報告】
2019008482.tif 000045
2019008482.tif 000046
2019008482.tif 000047
2019008482.tif 000048