(57)【要約】【課題】良好な画像品位の画像を取得する撮像システムなどを提供する。【解決手段】撮像素子の前に入射光の偏光軸を所定の角度回転させる光学素子を設ける。光学素子は、液晶素子および偏光フィルタを有する。撮像素子が有する画素アレイを複数の画素群に分け、液晶素子を用いて画素群毎に異なる角度で偏光軸を回転させ、その後偏光フィルタを通過した入射光を、画素群毎に連続して撮像する。連続撮像中は、途中でリセット動作を行なわない。画素群毎の撮像情報は、連続撮像終了後にまとめて読み出す。ニューラルネットワークを含む演算部で、各画素群の比較処理および合成処理を行なう。【選択図】図１
2019004358.tif 000002
【特許請求の範囲】
【請求項１】
光学素子と、撮像素子と、演算部と、を有し、
前記光学素子は、
第１偏光軸の光を透過する第１状態または第２偏光軸の光を透過する第２状態の双方で動作可能であり、
前記撮像素子は、
第１画素群および第２画素群を有し、
前記演算部は、
ニューラルネットワークによる学習または推論を実行する機能を有する撮像装置。
【請求項２】
請求項１において、
前記液晶素子は、ＴＮモードで動作する撮像装置。
【請求項３】
請求項１または請求項２において、
第１偏光軸と第２偏光軸の相対角度が１８０°未満である撮像装置。
【請求項４】
請求項１乃至請求項３のいずれか一項において、
前記ニューラルネットワークは、深層ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、または深層信念ネットワークである撮像装置。
【請求項５】
請求項１乃至請求項４のいずれか一項において、
前記第１画素群と前記第２画素群は、それぞれが市松模様状に配置されている撮像装置。
【請求項６】
請求項１乃至請求項５のいずれか一項に記載の撮像装置を用いた撮像システムであって、
前記光学素子が第１状態の時に前記第１画素群で第１撮像情報を取得する工程と、
前記光学素子が第２状態の時に前記第２画素群で第２撮像情報を取得する工程と、
前記第１撮像情報と前記第２撮像情報を用いて、
前記演算部で第３撮像情報を生成する工程と、
を有する撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、撮像装置および撮像システムに関する。
【０００２】
ただし、本発明の一態様は、上記の技術分野に限定されるものではない。本明細書等で開示する発明の一態様は、物、方法、または、製造方法に関する。または、本明細書等で開示する発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関する。
【０００３】
より具体的には、本明細書等で開示する本発明の一態様の技術分野の一例として、表示装置（液晶表示装置、発光表示装置など）、投影装置、照明装置、電気光学装置、蓄電装置、記憶装置、半導体回路、撮像装置、電子機器、それらの駆動方法、または、それらの製造方法、を挙げることができる。半導体装置、表示装置、液晶表示装置、発光装置、照明装置、蓄電装置、記憶装置、撮像装置、それらの駆動方法、または、それらの製造方法、を一例として挙げることができる。
【０００４】
なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。トランジスタ、半導体回路は半導体装置の一態様である。また、表示装置、投影装置、照明装置、電気光学装置、蓄電装置、記憶装置、半導体回路、撮像装置および電子機器などは、半導体装置と言える場合がある。もしくは、これらは半導体装置を有すると言える場合がある。
【背景技術】
【０００５】
液晶素子と偏光フィルタを組み合わせた光学素子を撮像素子の前に設けて、入射光の偏光軸を所定角度ずつ回転させて複数の画像を取得し、反射光に起因する写りこみを低減する光学装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−４０８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の方法では、複数の画像を取得する期間中（連続撮像中）に被写体や反射光などの状況が変化すると、反射光の検出精度が低下し、十分な写りこみ除去効果が得られない。よって、特許文献１に記載の方法では撮像間隔の短縮が求められる。しかしながら、従来の撮像方法では、１回の撮像毎にリセット動作と読み出し動作を行う必要があるため、撮像間隔の短縮が難しい。
【０００８】
本発明の一態様は、高速動作可能な撮像装置などを提供することを課題の一つとする。または、高速動作可能な撮像システムなどを提供することを課題の一つとする。または、優れた画像品位の画像を取得できる撮像装置などを提供することを課題の一つとする。または、優れた画像品位の画像を取得できる撮像システムなどを提供することを課題の一つとする。または、撮像された画像の品位が良好な撮像システムなどを提供することを課題の一つとする。または、低消費電力の撮像装置などを提供することを課題の一つとする。または、低消費電力の撮像システムなどを提供することを課題の一つとする。または、信頼性の高い撮像装置などを提供することを課題の一つとする。または、信頼性の高い撮像システムなどを提供することを課題の一つとする。または、新規な撮像装置などを提供することを課題の一つとする。または、新規な撮像システムなどを提供することを課題の一つとする。または、新規な半導体装置などを提供することを課題の一つとする。
【０００９】
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
【課題を解決するための手段】
【００１０】
撮像素子の前に入射光の偏光軸を所定の角度回転させる光学素子を設ける。光学素子は、液晶素子および偏光フィルタを有する。撮像素子が有する画素アレイを複数の画素群に分け、液晶素子を用いて画素群毎に異なる角度で偏光軸を回転させ、その後偏光フィルタを通過した入射光を、画素群毎に連続して撮像する。連続撮像中は、途中でリセット動作を行なわない。画素群毎の撮像情報は、連続撮像終了後にまとめて読み出す。ニューラルネットワークを含む演算部で、各画素群の比較処理および合成処理を行なう。
【００１１】
本発明の一態様は、光学素子と、撮像素子と、演算部と、を有し、光学素子は、第１偏光軸の光を透過する第１状態または第２偏光軸の光を透過する第２状態の双方で動作可能であり、撮像素子は、第１画素群および第２画素群を有し、演算部は、ニューラルネットワークによる学習または推論を実行する機能を有する撮像装置である。
【００１２】
光学素子が有する液晶素子は、例えばＴＮモードで動作する。第１偏光軸と第２偏光軸の相対角度は１８０°未満が好ましい。
【００１３】
ニューラルネットワークは、深層ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、または深層信念ネットワークである。
【００１４】
上記画素群は、それぞれが市松模様状に配置されていることが好ましい。
【００１５】
また、本発明の別の一態様は、上記撮像装置を用いた撮像システムであって、光学素子が第１状態の時に第１画素群で第１撮像情報を取得する工程と、光学素子が第２状態の時に第２画素群で第２撮像情報を取得する工程と、第１撮像情報と第２撮像情報を用いて、演算部で第３撮像情報を生成する工程と、を有する撮像システムである。
【発明の効果】
【００１６】
本発明の一態様によれば、高速動作可能な撮像装置などを提供することができる。または、高速動作可能な撮像システムなどを提供することができる。または、優れた画像品位の画像を取得できる撮像装置などを提供することができる。または、優れた画像品位の画像を取得できる撮像システムなどを提供することができる。または、撮像された画像の品位が良好な撮像システムなどを提供することができる。または、低消費電力の撮像装置などを提供することができる。または、低消費電力の撮像システムなどを提供することができる。または、信頼性の高い撮像装置などを提供することができる。または、信頼性の高い撮像システムなどを提供することができる。または、新規な撮像装置などを提供することができる。または、新規な撮像システムなどを提供することができる。または、新規な半導体装置などを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】撮像装置と外部機器の構成例を説明する図。
【図２】撮像素子を説明する図。
【図３】撮像素子を説明する図。
【図４】撮像素子を説明する図。
【図５】撮像素子を説明する図。
【図６】撮像素子を説明する図。
【図７】撮像素子を説明する図。
【図８】光学素子と撮像素子の動作を説明する図。
【図９】撮像動作例を説明するフローチャート。
【図１０】ニューラルネットワークの構成例を説明する図。
【図１１】光学素子と撮像素子の動作を説明する図。
【図１２】撮像動作例を説明するフローチャート。
【図１３】ニューラルネットワークの構成例を説明する図。
【図１４】半導体装置の構成例を説明する図。
【図１５】メモリセルの構成例を説明する図。
【図１６】オフセット回路の構成例を説明する図。
【図１７】半導体装置の動作例を説明するタイミングチャート。
【図１８】画素回路の構成例を説明する図、および撮像動作を説明するタイミングチャート。
【図１９】画素回路の構成例を説明する図。
【図２０】画素回路の構成例を説明する図、および撮像動作を説明するタイミングチャート。
【図２１】画素回路の構成例を説明する図。
【図２２】撮像素子の構成例を説明する図、および撮像素子の回路構成例を説明するブロック図。
【図２３】撮像素子の構成を示す断面図。
【図２４】撮像素子の構成を示す断面図。
【図２５】撮像素子の構成を示す断面図。
【図２６】撮像素子を収めたパッケージの斜視図。
【図２７】電子機器の構成例を示す図。
【発明を実施するための形態】
【００１８】
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する場合がある。
【００１９】
また、図面などにおいて示す各構成の、位置、大きさ、範囲などは、発明の理解を容易とするため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面などに開示された位置、大きさ、範囲などに限定されない。例えば、実際の製造工程において、エッチングなどの処理により層やレジストマスクなどが意図せずに目減りすることがあるが、発明の理解を容易とするため、省略して示すことがある。
【００２０】
特に、上面図（「平面図」ともいう。）や斜視図などにおいて、発明の理解を容易とするため、一部の構成要素の記載を省略する場合がある。また、一部の隠れ線などの記載を省略する場合がある。
【００２１】
本明細書等において、「第１」、「第２」などの序数詞は、構成要素の混同を避けるために付すものであり、工程順または積層順など、なんらかの順番や順位を示すものではない。また、本明細書等において序数詞が付されていない用語であっても、構成要素の混同を避けるため、特許請求の範囲において序数詞が付される場合がある。また、本明細書等において付された序数詞と、特許請求の範囲において付された序数詞が異なる場合がある。また、本明細書等において序数詞が付されている用語であっても、特許請求の範囲などにおいて序数詞を省略する場合がある。
【００２２】
本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」や「配線」が一体となって設けられている場合なども含む。
【００２３】
なお、「膜」という言葉と、「層」という言葉とは、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能な場合がある。または、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。
【００２４】
本明細書等においてトランジスタとは、特に断りがない場合、ゲート（ゲート端子、またはゲート電極）、ソース（ソース端子、ソース領域またはソース電極）、およびドレイン（ドレイン端子、ドレイン領域またはドレイン電極）を含む少なくとも三つの端子を有する素子、または、バックゲート（バックゲート端子、またはバックゲート電極）を含む少なくとも四つの端子を有する素子である。そして、ソースとドレインの間にチャネル形成領域を有しており、チャネル形成領域を介して、ソースとドレインとの間に電流を流すことができるものである。なお、本明細書等において、チャネル形成領域とは、電流が主として流れる領域をいう。
【００２５】
また、本明細書等に示すトランジスタは、特に断りがない場合、エンハンスメント型（ノーマリーオフ型）の電界効果トランジスタとする。また、本明細書等に示すトランジスタは、特に断りがない場合、ｎチャネル型のトランジスタとする。よって、そのしきい値電圧（「Ｖｔｈ」ともいう。）は、特に断りがない場合、０Ｖよりも大きいものとする。
【００２６】
なお、本明細書等において、特に断りがない場合、バックゲートを有するトランジスタのＶｔｈとは、バックゲートの電位をソースまたはゲートと同電位としたときのＶｔｈをいう。
【００２７】
また、本明細書等において、特に断りがない場合、オフ電流とは、トランジスタがオフ状態（非導通状態、遮断状態、ともいう）にあるときのドレイン電流（「Ｉｄ」ともいう。）をいう。オフ状態とは、特に断りがない場合、ｎチャネル型トランジスタでは、ソースを基準とした時のゲートとソースの間の電位差（「ゲート電圧」または「Ｖｇ」ともいう。）がしきい値電圧よりも低い状態、ｐチャネル型トランジスタでは、Ｖｇがしきい値電圧よりも高い状態をいう。例えば、ｎチャネル型のトランジスタのオフ電流とは、ＶｇがＶｔｈよりも低いときのドレイン電流を言う場合がある。
【００２８】
上記オフ電流の説明において、ドレインをソースと読み替えてもよい。つまり、オフ電流は、トランジスタがオフ状態にあるときのソースを流れる電流を言う場合もある。
【００２９】
また、本明細書等では、オフ電流と同じ意味で、リーク電流と記載する場合がある。また、本明細書等において、オフ電流とは、例えば、トランジスタがオフ状態にあるときに、ソースとドレインとの間に流れる電流を指す場合がある。
【００３０】
また、本明細書等において、電位ＶＤＤとは、電位ＶＳＳよりも高い電位の電源電位を示す。また、電位ＶＳＳとは、電位ＶＤＤよりも低い電位の電源電位を示す。また、接地電位をＶＤＤまたはＶＳＳとして用いることもできる。例えばＶＤＤが接地電位の場合には、ＶＳＳは接地電位より低い電位であり、ＶＳＳが接地電位の場合には、ＶＤＤは接地電位より高い電位である。
【００３１】
また、一般に「電圧」とは、ある電位と基準の電位（例えば、接地電位（ＧＮＤ）またはソース電位など）との電位差のことを示す場合が多い。また、「電位」は相対的なものであり、基準となる電位によって配線等に与える電位が変化する場合がある。よって「電圧」と「電位」は互いに言い換えることが可能な場合がある。なお、本明細書等では、明示される場合を除き、ＶＳＳを基準の電位とする。
【００３２】
なお、本明細書等において「上」や「下」の用語は、構成要素の位置関係が直上または直下で、かつ、直接接していることを限定するものではない。例えば、「絶縁層Ａ上の電極Ｂ」の表現であれば、絶縁層Ａの上に電極Ｂが直接接して設けられている必要はなく、絶縁層Ａと電極Ｂとの間に他の構成要素を含むものを除外しない。
【００３３】
また、本明細書等において、「平行」とは、明示されている場合を除き、二つの直線が−１０°以上１０°以下の角度で配置されている状態をいう。従って、−５°以上５°以下の場合も含まれる。また、「略平行」とは、明示されている場合を除き、二つの直線が−３０°以上３０°以下の角度で配置されている状態をいう。また、「垂直」および「直交」とは、明示されている場合を除き、二つの直線が８０°以上１００°以下の角度で配置されている状態をいう。従って、８５°以上９５°以下の場合も含まれる。また、「略垂直」とは、明示されている場合を除き、二つの直線が６０°以上１２０°以下の角度で配置されている状態をいう。
【００３４】
なお、本明細書等において、計数値および計量値に関して「同一」、「同じ」、「等しい」または「均一」（これらの同意語を含む）などと言う場合は、明示されている場合を除き、プラスマイナス２０％の誤差を含むものとする。
【００３５】
本明細書等において、人工ニューラルネットワーク（ＡＮＮ、以後、ニューラルネットワークと呼称する。）とは、生物の神経回路網を模したモデル全般を指す。一般的には、ニューラルネットワークは、ニューロンを模したユニットが、シナプスを模したユニットを介して、互いに結合された構成となっている。
【００３６】
シナプスの結合（ニューロン同士の結合）の強度（重み係数ともいう。）は、ニューラルネットワークに既存の情報を与えることによって、変化させることができる。このように、ニューラルネットワークに既存の情報を与えて、結合強度を決める処理を「学習」と呼ぶ場合がある。
【００３７】
また、「学習」を行った（結合強度を定めた）ニューラルネットワークに対して、何らかの情報を与えることにより、その結合強度に基づいて新たな情報を出力することができる。このように、ニューラルネットワークにおいて、与えられた情報と結合強度に基づいて新たな情報を出力する処理を「推論」または「認知」と呼ぶ場合がある。
【００３８】
ニューラルネットワークのモデルとしては、例えば、ホップフィールド型、階層型等が挙げられる。特に、多層構造としたニューラルネットワークを「ディープニューラルネットワーク」（ＤＮＮ）と呼称し、ディープニューラルネットワークによる機械学習を「ディープラーニング」と呼称する。なお、ＤＮＮには、全結合ニューラルネットワーク（ＦＣ−ＮＮ：Ｆｕｌｌ  Ｃｏｎｎｅｃｔｅｄ  −  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、再帰ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）等が含まれる。
【００３９】
（実施の形態１）
本実施の形態では、本発明の一態様の撮像装置１００などについて、図面を用いて説明する。
【００４０】
＜撮像装置の構成例＞
図１（Ａ）は、撮像装置１００および外部機器２００の構成例を説明するブロック図である。
【００４１】
なお、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に係わることや、一つの機能が複数の構成要素に係わることもありうる。
【００４２】
また、図１（Ａ）で例示する撮像装置１００および外部機器２００の構成は一例であり、全ての構成要素を含む必要はない。撮像装置１００は、図１（Ａ）に示す構成要素のうち必要な構成要素を有していればよい。また、図１（Ａ）に示す構成要素以外の構成要素を有していてもよい。同様に、外部機器２００は、図１（Ａ）に示す構成要素のうち必要な構成要素を有していればよい。また、図１（Ａ）に示す構成要素以外の構成要素を有していてもよい。
【００４３】
〔撮像装置１００〕
撮像装置１００は、撮像部１０１、制御部１３０、演算部１４０、画像処理部１５０、記憶部１６０、補助記憶部１７０、外部入出力部１８０、および通信部１９０を有する。なお、撮像装置１００はレンズ、ミラー、プリズムなどの光学部材を有してもよい。
【００４４】
撮像部１０１は、光学素子１１０および撮像素子１２０を有する。図１（Ｂ）に、撮像部１０１の構成を説明する斜視図を示す。光学素子１１０は、液晶素子１１１および偏光フィルタ１１２を有する。また、撮像素子１２０は、受光面に複数の画素１２１を有する。
【００４５】
光学素子１１０は、偏光フィルタ１１２が撮像素子１２０の受光面と向き合うように重ねて設けられる。光学素子１１０に入射した光５０１は、その一部が液晶素子１１１および偏光フィルタ１１２を透過して撮像素子１２０の受光面に到達し、画素１２１により電気信号に変換される。
【００４６】
液晶素子１１１は、光５０１の偏光軸を、液晶素子１１１に印加された電圧に応じて回転させる機能を有する。一般に、液晶素子に用いる液晶材料として、ＴＮ（Ｔｗｉｓｔｅｄ  Ｎｅｍａｔｉｃ）モード、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ−Ｓｗｉｔｃｈｉｎｇ）モード、ＶＡ（Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）モードなどの様々な動作モードで動作する材料が知られている。本実施の形態では、液晶素子１１１に、ＴＮ（Ｔｗｉｓｔｅｄ  Ｎｅｍａｔｉｃ）モードで動作する液晶素子を用いる。
【００４７】
偏光フィルタ１１２は、特定の偏光角（偏光軸の方向）の光を透過する機能を有する。光学素子１１０は、液晶素子１１１に印加する電圧を制御することにより、任意の偏光角の光の透過率を調節する機能を有する。
【００４８】
制御部１３０（Ｃｏｎｔｒｏｌｌｅｒ）は、撮像にかかわる動作を制御する機能を有する。制御部１３０は、光学素子１１０および撮像素子１２０などの動作を制御する。演算部１４０は、撮像装置全体の動作に関わる演算を行う機能を有し、例えば中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを用いることができる。
【００４９】
また、制御部１３０または演算部１４０を、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＦＰＡＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ａｎａｌｏｇ  Ａｒｒａｙ）といったＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）によって実現してもよい。
【００５０】
画像処理部１５０は、画像に関するデータ処理を行う機能を有し、例えば画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを用いることができる。また、画像処理部１５０は、画像データを生成するためのニューラルネットワーク１５１を有する。ニューラルネットワーク１５１はソフトウェアで構成してもよい。画像処理部１５０は撮像素子１２０で取得した映像情報を比較または演算する機能を有する。
【００５１】
記憶部１６０は、撮像装置１００の動作にかかわるプログラムや設定項目を保存する機能を有し、少なくとも一部は書き換え可能なメモリであることが好ましい。例えば、記憶部１６０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、などの揮発性メモリや、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの不揮発性メモリを備える構成とすることができる。
【００５２】
記憶部１６０に設けられるＲＡＭとしては、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）が用いられ、記憶部１６０の作業空間として仮想的にメモリ空間が割り当てられ利用される。補助記憶部１７０に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ等は、実行のためにＲＡＭにロードされる。ＲＡＭにロードされたこれらのデータやプログラム、プログラムモジュールは、演算部１４０に直接アクセスされ、操作される。
【００５３】
一方、ＲＯＭには書き換えを必要としないＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やファームウェア等を格納することができる。ＲＯＭとしては、マスクＲＯＭや、ＯＴＰＲＯＭ（Ｏｎｅ  Ｔｉｍｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を用いることができる。ＥＰＲＯＭとしては、紫外線照射により記憶データの消去を可能とするＵＶ−ＥＰＲＯＭ（Ｕｌｔｒａ−Ｖｉｏｌｅｔ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリなどが挙げられる。
【００５４】
補助記憶部１７０は、撮像した画像等のデータを保存するための記憶装置である。また、ニューラルネットワーク１５１で使用する教師データなどが格納されている。また、前述したように、補助記憶部１７０は、オペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータなどを格納することができる。
【００５５】
補助記憶部１７０としては、例えば、フラッシュメモリ、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＰＲＡＭ（Ｐｈａｓｅ  ｃｈａｎｇｅ  ＲＡＭ）、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ  ＲＡＭ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ  ＲＡＭ）などの不揮発性の記憶素子が適用された記憶装置、またはＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）やＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）などの揮発性の記憶素子が適用された記憶装置等を用いてもよい。また例えばハードディスクドライブ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ：ＳＳＤ）などの記録メディアドライブを用いてもよい。
【００５６】
また、例えば、外部入出力部１８０を介して脱着可能なＨＤＤまたはＳＳＤなどの記憶装置や、フラッシュメモリ、ブルーレイディスク、ＤＶＤなどの記録媒体のメディアドライブを補助記憶部１７０として用いることもできる。なお、補助記憶部１７０を撮像装置１００に内蔵せず、撮像装置１００の外部に置かれる記憶装置を補助記憶部１７０として用いてもよい。その場合、外部入出力部１８０を介して接続される、または通信部１９０によって無線通信でデータのやりとりをする構成であってもよい。
【００５７】
外部入出力部１８０は、外部機器２００と撮像装置１００間の、信号の入出力を制御する機能を有する。また、外部入出力部１８０が有する外部ポートとして、ＨＤＭＩ（登録商標）端子、ＵＳＢ端子、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）接続用端子などを用いてもよい。また、外部入出力部１８０は、赤外線、可視光、紫外線などを用いた光通信用の送受信機能を有していてもよい。
【００５８】
通信部１９０は、アンテナを介して通信を行うことができる。例えば演算部１４０からの命令に応じて撮像装置１００をコンピュータネットワークに接続するための制御信号を制御し、当該信号をコンピュータネットワークに発信する。これによって、Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ（ＷＷＷ）の基盤であるインターネット、イントラネット、エクストラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃａｍｐｕｓ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｌｏｂａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のコンピュータネットワークに撮像装置１００を接続させ、通信を行うことができる。またその通信方法として複数の方法を用いる場合には、アンテナは当該通信方法に応じて複数有していてもよい。
【００５９】
通信部１９０には、例えば高周波回路（ＲＦ回路）を設け、ＲＦ信号の送受信を行えばよい。高周波回路は、各国法制により定められた周波数帯域の電磁信号と電気信号とを相互に変換し、当該電磁信号を用いて無線で他の通信機器との間で通信を行うための回路である。実用的な周波数帯域として数１０ｋＨｚ〜数１０ＧＨｚが一般に用いられている。アンテナと接続される高周波回路には、複数の周波数帯域に対応した高周波回路部を有し、高周波回路部は、増幅器（アンプ）、ミキサ、フィルタ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＲＦトランシーバ等を有する構成とすることができる。無線通信を行う場合、通信プロトコルまたは通信技術として、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ：登録商標）、ＥＤＧＥ（Ｅｎｈａｎｃｅｄ  Ｄａｔａ  Ｒａｔｅｓ  ｆｏｒ  ＧＳＭ  Ｅｖｏｌｕｔｉｏｎ）、ＣＤＭＡ２０００（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ  ２０００）、ＷＣＤＭＡ（Ｗｉｄｅｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ：登録商標）などの通信規格、またはＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等のＩＥＥＥにより通信規格化された仕様を用いることができる。
【００６０】
〔外部機器２００〕
外部機器２００は、制御部２３０、演算部２４０、画像処理部２５０、記憶部２７０、補助記憶部２８０、外部入出力部２９０などを有し、画像処理部２５０はニューラルネットワーク１５１と同等の構成のニューラルネットワーク２５１を有する。なお、ニューラルネットワーク１５１およびニューラルネットワーク２５１はソフトウェアで構成してもよい。
【００６１】
〔撮像素子１２０〕
図２（Ａ）に撮像素子１２０の正面（受光面）を示す。撮像素子１２０の受光面には、複数の画素がｍ行ｎ列（ｍおよびｎは、どちらも２以上の整数。）のマトリクス状に配置されている。本明細書等において、１行１列目の画素１２１を画素１２１［１，１］と示し、ｍ行ｎ列目の画素１２１を画素１２１［ｍ，ｎ］と示す。また、ｉ行ｊ列目（ｉは、１以上ｍ以下の整数。ｊは、１以上ｎ以下の整数。）の画素１２１を画素１２１［ｉ，ｊ］と示す。また、全ての画素１２１に共通する説明を行なう場合は、単に「画素１２１」と示す場合がある。
【００６２】
画素１２１に、副画素として機能する複数の画素１２２を設けてもよい。複数の画素１２２それぞれに異なる波長域の光を透過するフィルタ（カラーフィルタ）を設けることで、カラー画像表示を実現するための情報を取得することができる。
【００６３】
図２（Ｂ）は、カラー画像を取得するための画素１２１の一例を示す平面図である。図２（Ａ）は、赤（Ｒ）の波長域の光を透過するカラーフィルタが設けられた画素１２２（以下、「画素１２２Ｒ」ともいう）、緑（Ｇ）の波長域の光を透過するカラーフィルタが設けられた画素１２２（以下、「画素１２２Ｇ」ともいう）及び青（Ｂ）の波長域の光を透過するカラーフィルタが設けられた画素１２２（以下、「画素１２２Ｂ」ともいう）を有する。画素１２２Ｒ、画素１２２Ｇ、画素１２２Ｂをまとめて一つの画素１２１として機能させる。
【００６４】
なお、画素１２２に用いるカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）に限定されず、図２（Ｃ）に示すように、それぞれシアン（Ｃ）、黄（Ｙ）及びマゼンタ（Ｍ）の光を透過するカラーフィルタを用いてもよい。１つの画素１２１に３種類の異なる波長域の光を検出する画素１２２を設けることで、フルカラー画像を取得することができる。
【００６５】
図２（Ｄ）は、それぞれ赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の光を透過するカラーフィルタが設けられた画素１２２に加えて、黄（Ｙ）の光を透過するカラーフィルタが設けられた画素１２２を有する画素１２１を例示している。図２（Ｅ）は、それぞれシアン（Ｃ）、黄（Ｙ）及びマゼンタ（Ｍ）の光を透過するカラーフィルタが設けられた画素１２２に加えて、青（Ｂ）の光を透過するカラーフィルタが設けられた画素１２２を有する画素１２１を例示している。１つの画素１２１に４種類の異なる波長域の光を検出する画素１２２を設けることで、取得した画像の色の再現性をさらに高めることができる。
【００６６】
また、例えば、画素１２２Ｒ、画素１２２Ｇ、および画素１２２Ｂの画素数比（または受光面積比）は、必ずしも１：１：１である必要は無い。図２（Ｆ）に示すように、画素数比（受光面積比）を赤：緑：青＝１：２：１とするＢａｙｅｒ配置としてもよい。また、画素数比（受光面積比）を赤：緑：青＝１：６：１としてもよい。
【００６７】
なお、画素１２１に設ける画素１２２は１つでもよいが、２つ以上が好ましい。例えば、同じ波長域の光を検出する画素１２２を２つ以上設けることで、冗長性を高め、撮像装置１００の信頼性を高めることができる。
【００６８】
［複数の画素群］
撮像素子１２０が有する複数の画素１２１は、複数の画素群に分かれて機能する。図３乃至図７は撮像素子１２０の一部を拡大した図である。図３乃至図６は、複数の画素１２１が第１画素群と第２画素群の２つの画素群に分かれて機能する場合の一例を示している。また、図７は、撮像素子１２０が有する複数の画素１２１が、第１画素群、第２画素群、または第３画素群の３つの画素群に分かれて機能する場合の一例を示している。図３乃至図７では、第１画素群に属する画素１２１に「Ａ」を付し、第２画素群に属する画素１２１に「Ｂ」を付している。また、図７では、第３画素群に属する画素１２１に「Ｃ」を付している。
【００６９】
なお、撮像素子１２０が有する複数の画素１２１は、４つ以上の画素群に分かれて機能することもできる。各画素群に含まれる画素１２１は、撮像素子１２０の受講面に均一または略均一に配置される。
【００７０】
図３（Ａ）は、第１画素群に属する画素１２１と第２画素群に属する画素１２１が１列おきのストライプ状に配置されている様子を示している。図３（Ａ）では、第１画素群に属する画素１２１が奇数列、第２画素群に属する画素１２１が偶数列に配置されているが、第１画素群に属する画素１２１が偶数列に配置されても構わない。また、図３（Ｂ）は、第１画素群に属する画素１２１と第２画素群に属する画素１２１が２列おきのストライプ状に配置されている様子を示している。図示していないが、第１画素群に属する画素１２１と第２画素群に属する画素１２１が３列以上おきに配置されても構わない。
【００７１】
図４（Ａ）は、第１画素群に属する画素１２１と第２画素群に属する画素１２１が１行おきのストライプ状に配置されている様子を示している。図３（Ａ）では、第１画素群に属する画素１２１が奇数行、第２画素群に属する画素１２１が偶数行に配置されているが、第１画素群に属する画素１２１が偶数行に配置されても構わない。また、図３（Ｂ）は、第１画素群に属する画素１２１と第２画素群に属する画素１２１が２行おきのストライプ状に配置されている様子を示している。図示していないが、第１画素群に属する画素１２１と第２画素群に属する画素１２１が３行以上おきに配置されても構わない。
【００７２】
図５（Ａ）は、第１画素群に属する画素１２１と第２画素群に属する画素１２１が１画素おきの市松模様状に配置されている様子を示している。また、図５（Ｂ）は、第１画素群に属する画素１２１と第２画素群に属する画素１２１が２画素おきの市松模様状に配置されている様子を示している。この場合、同じ画素群に属する画素１２１が４つ隣接し、当該４つの画素１２１で１つのサブグループとして機能できる。図示していないが、第１画素群に属する画素１２１と第２画素群に属する画素１２１が３画素以上おきに配置されても構わない。
【００７３】
また、図６（Ａ）または図６（Ｂ）に示すように、同じ画素群に属する３つの画素１２１をＬ字型に配置してもよい。当該３つの画素１２１で１つのサブグループとして機能することができる。
【００７４】
図７（Ａ）は、第１画素群に属する画素１２１、第２画素群に属する画素１２１、および第３画素群に属する画素１２１が、行方向および列方向それぞれにおいて、１画素毎に順に配置されている様子を示している。よって、図７（Ａ）では、行方向および列方向それぞれにおいて、同じ画素群に属する画素１２１同士は隣接していない。また、図７（Ｂ）に示すように、同じ画素群に属する４つの画素１２１で１つのサブグループを形成し、行方向および列方向それぞれにおいて、１サブグループ毎に順に配置してもよい。図７（Ａ）と同様に、図７（Ｂ）では、行方向および列方向それぞれにおいて、同じ画素群に属するサブグループ同士は隣接していない。
【００７５】
＜撮像装置の撮像動作例＞
撮像装置１００の撮像動作例について図面を用いて説明する。
【００７６】
［撮像動作例１］
撮像素子１２０が第１画素群および第２画素群を有し、それぞれの画素群が図５（Ａ）に示した市松模様状に配置されている場合について説明する。本発明の一態様の撮像装置１００は、効率よく反射光に起因する写りこみを低減することができる。
【００７７】
図８（Ａ）および（Ｂ）は、光学素子１１０と撮像素子１２０の動作を説明する図である。図８では、第１画素群に属する画素１２１に「Ａ」を付し、第２画素群に属する画素１２１に「Ｂ」を付している。図８（Ａ）および（Ｂ）では、光学素子１１０を介して撮像素子１２０に入射する像を、光５０１として示している。また、図９は撮像装置１００の撮像動作例を説明するフローチャートである。
【００７８】
まず、撮像素子１２０のリセット動作を行なう（ステップＳ６００）。
【００７９】
次に、液晶素子１１１に所定の電圧を印加し、光学素子１１０を透過できる光の偏光軸の角度を決定する（ステップＳ６０５）。この時に決定された光学素子１１０の状態を第１状態という。また、この時に決定された偏光軸の角度を第１偏光角という。
【００８０】
次に、第１画素群を用いて、光学素子１１０を介して入射した像を撮像する（ステップＳ６１０）（図８（Ａ）参照。）。第１画素群が取得した撮像情報は、第１撮像情報として第１画素群に保持される。なお、ステップＳ６１０では第２画素群で撮像は行なわない。すなわち、ステップＳ６１０において、第２画素群はステップＳ６００後の状態を保持している。
【００８１】
次に、液晶素子１１１に第１状態とは異なる電圧を印加し、光学素子１１０を透過できる光の偏光軸を決定する（ステップＳ６１５）。この時に決定された光学素子１１０の状態を第２状態という。また、この時に決定された偏光軸の角度を第２偏光角という。第２偏光角は、第１偏光角から角度θ回転した偏光軸である。角度θは、０°より大きく、１８０°より小さい角度とすればよい。すなわち、第１偏光角と第２偏光角の相対角度を１８０°未満とすればよい。
【００８２】
図８（Ｂ）では、角度θを９０°としている。よって、図８（Ａ）に示す第１偏光角を０°とすると、図８（Ｂ）に示す第２偏光角は９０°である。
【００８３】
次に、第２画素群を用いて、光学素子１１０を介して入射した像を撮像する（ステップＳ６２０）（図８（Ｂ）参照。）。第２画素群が取得した撮像情報は、第２撮像情報として第２画素群に保持される。なお、ステップＳ６２０では第１画素群で撮像は行なわない。すなわち、ステップＳ６２０において、第１画素群は第１撮像情報を保持している。
【００８４】
次に、第１画素群に保持されている第１撮像情報と、第２画素群に保持されている第２撮像情報を読み出す（ステップＳ６２５）。読み出した撮像情報は記憶部１６０に記憶される（ステップＳ６３０）。
【００８５】
次に、画像処理部１５０で第１撮像情報と第２撮像情報を比較し、最も暗い撮像情報（平均輝度が最も小さい撮像情報）を選出する（ステップＳ６３５）。
【００８６】
光５０１には、本来の撮影目的である像と、不要な写り込みの原因となる反射光が含まれている。光は大気とガラスの境界面などで反射すると、反射面に平行な偏光成分（Ｐ波）が弱まり、反射面に垂直な偏光成分（Ｓ波）が強くなる。前述した通り、光学素子１１０は、液晶素子１１１に印加する電圧を制御することにより、任意の偏光角の光の透過率を調節する機能を有する。特に、反射光は特定の偏光成分が強い。反射光は、光学素子１１０により透過率が制御されやすい。
【００８７】
よって、光５０１を、光学素子１１０を通過させることにより、光５０１に含まれる不要な反射成分を低減することができる。すなわち、光学素子１１０が有する液晶素子１１１の偏光軸を変えながら同じ被写体を撮影し、その中で最も暗い像（平均輝度が最も小さい像）が、最も反射光が少ない像であるといえる。また、本発明の一態様の撮像装置は、液晶素子１１１に印加する電圧を制御することで、様々な角度の偏光軸で入射する反射光を低減することができる。
【００８８】
撮像素子を複数の画素群に分けずに連続して撮像する場合は、１回の撮像毎に読み出し動作とリセット動作を行なう必要がある。すなわち、第１状態での撮像（ステップＳ６１０）後に、当該撮像情報の読み出しと撮像素子のリセット動作を行なう必要がある。この場合、第１状態での撮像から第２状態での撮像までの間隔が長くなるため、被写体や反射光などの状況が変化し、反射光が少ない像の検出精度が低下する。
【００８９】
本発明の一態様の撮像装置１００では、撮像素子を複数の画素群に分け、第１状態での撮像と第２状態での撮像を異なる画素群で行なうことができる。また、全ての撮像終了後に撮像情報をまとめて読み出すことができる。本発明の一態様の撮像装置１００では、撮像毎に撮像情報の読み出しと撮像素子のリセット動作を行なう必要がない。すなわち、第１状態での撮像から第２状態での撮像までの撮像間隔を短くすることができる。よって、より正確に反射光が少ない像を検出することができる。
【００９０】
撮像素子１２０の解像度（画素数）が要求される解像度よりも充分に高い場合は、撮像素子を複数の画素群に分けて用いても実質的に支障は生じ無い。ただし、撮像素子を複数の画素群に分けて用いると、１つの撮像画像の解像度が低下し、画質が低下する。また、分割する画素群が少ない場合、反射光の除去が不十分である場合がある。このような場合、画像処理部１５０が有するニューラルネットワーク１５１を用いて撮像画像の補完処理を行い、撮像画像の画質を改善することができる。
【００９１】
まず、ユーザーの判断または事前設定により補完処理を行なうか否かを判断し（ステップＳ６４０）、行なわない場合は、ステップＳ６３５で選定された撮像情報を補助記憶部１７０に記憶する（ステップＳ６５０）。
【００９２】
補完処理を行なう場合は、ニューラルネットワーク１５１で補完処理を行なう（ステップＳ６４５）。ニューラルネットワーク１５１は、撮像素子を複数の画素群に分けたことによる解像度の低下を補完し、撮像素子と同じ解像度の新たな撮像情報を生成する機能を有する。また、除去しきれなかった反射光による映り込みを除去し、新たな撮像情報を生成する機能を有する。
【００９３】
例えば、ステップＳ６３５で選定された最も暗い撮像情報が第１撮像情報であった場合、補完処理を行なうためのニューラルネットワーク１５１に設定する重み係数は、第２撮像情報と補助記憶部１７０に格納されている教師データを用いて決定される。
【００９４】
なお、教師データのみで決定された重み係数を用いて補完処理を行なうことも可能である。ただし、重み係数の決定に、教師データのみでなく第２撮像情報も加えることで、より精度よく撮像情報の補正を行なうことができる。このことは、用いる画素群が３つ以上ある場合に特に有効である。
【００９５】
ここで、ニューラルネットワーク１５１の構成例を説明しておく（図１０参照。）。ニューラルネットワーク１５１は、入力層ＩＬと、中間層ＨＬ１（隠れ層）と、中間層ＨＬ２（隠れ層）と、出力層ＯＬと、を有する。ニューラルネットワーク１５１では、入力層ＩＬ、中間層ＨＬ１、中間層ＨＬ２、および出力層ＯＬと、によって階層型のニューラルネットワークが構成されている。中間層ＨＬ１および中間層ＨＬ２は、任意のノード数を有する。なお、中間層は２層に限らない。中間層は１層でもよく、３層以上でもよい。
【００９６】
第１撮像情報３０１および第２撮像情報３０１は、入力層ＩＬに入力され、重みづけされた情報が中間層ＨＬ１に入力される。また、中間層ＨＬ１に入力された情報は、重みづけされて中間層ＨＬ２に入力される。また、中間層ＨＬ２に入力された情報は、重みづけされて出力層ＯＬに入力される。また、出力層ＯＬからは、第３撮像情報３０３が出力される。
【００９７】
ニューラルネットワーク１５１は、階層が進む毎に、ニューロンの数が増加する構成とする。つまり、中間層ＨＬ１が有するニューロンの数は、入力層ＩＬが有するニューロンの数より多く、かつ中間層ＨＬ２が有するニューロンの数は、中間層ＨＬ１が有するニューロンの数より多くなっている。また、出力層ＯＬが有するニューロンの数は、中間層ＨＬ２が有するニューロンの数より多くなっている。なお、図１０では、上記ニューロンの数を、それぞれの階層をつなぐ矢印の数で示している。ニューラルネットワーク１５１を階層が進む毎にニューロンの数が増加する構成とすることにより、第１撮像情報３０１および第２撮像情報３０１を基にして、解像度を高めた第３撮像情報３０３を生成することができる。また、第１撮像情報３０１および第２撮像情報３０１を基にして、階調数を高めた第３撮像情報３０３を生成することができる。
【００９８】
階層型のニューラルネットワークは、各層間で全結合とすることもでき、または、各層間で部分結合とすることができる。また、各層間に畳み込み層やプーリング層を用いた構成、すなわちＣＮＮとすることができる。
【００９９】
また、ニューラルネットワーク１５１に用いる重み係数は、外部機器２００により決定された重み係数を用いてもよい。例えば、撮像装置１００と外部機器２００を、外部入出力部１８０および外部入出力部２９０を介して接続し、外部機器２００のニューラルネットワーク２５１で決定した重み係数をニューラルネットワーク１５１に格納する。したがって、学習済みのニューラルネットワーク２５１と同じ動作をニューラルネットワーク１５１で行なうことができる。
【０１００】
例えば、撮像装置１００の工場出荷前に、外部機器２００で学習した後に決定された重み係数を撮像装置１００に格納することで、ユーザーによる学習作業を不要とすることができる。
【０１０１】
また、外部機器２００よる学習を継続して行い、アップデートされた重み係数を撮像装置１００に格納してもよい。また、複数の外部機器２００を用いて、アップデート用の重み係数を生成してもよい。重み係数の受け渡しは、ＳＤカードなどの記録媒体や各種の通信手段などを介して行なうこともできる。また、撮像装置１００が有する重み係数と、外部機器２００によりアップデートされた重み係数を用いて、新たな重み係数を決定してもよい。また、他の撮像装置１００が有する重み係数を用いて、新たな重み係数を決定してもよい。他の撮像装置１００や外部機器２００で学習して得た重み係数を用いることで、より精度の高い補完処理を行なうことができる。
【０１０２】
ニューラルネットワーク１５１により生成された第３撮像情報は、補助記憶部１７０に記憶される（ステップＳ６５０）。
【０１０３】
また、第１撮像情報と第２撮像情報を用いて、演算部１４０で改めて第１偏光角と第２偏光角を決定し、再度撮像動作を行なってもよい。偏光角の修正と撮像動作を繰り返すことで、より良好な画像品位の画像を取得することができる。
【０１０４】
［撮像動作例２］
続いて、撮像素子１２０が第１画素群、第２画素群および第３画素群を有し、それぞれの画素群が図７（Ａ）のように配置されている場合について説明する。画素群を増やし、それぞれの画素群に対応する液晶素子１１１の状態を増やすことで、さらに効率よく反射光に起因する写りこみを低減することができる。
【０１０５】
図１１（Ａ）、（Ｂ）および（Ｃ）は、光学素子１１０と撮像素子１２０の動作を説明する図である。また、図１２は撮像装置１００の撮像動作例を説明するフローチャートである。図１１では、第１画素群に属する画素１２１に「Ａ」を付し、第２画素群に属する画素１２１に「Ｂ」を付し、第３画素群に属する画素１２１に「Ｃ」を付している。なお、説明の繰り返しを減らすため、主に動作例１と異なる点について説明する。
【０１０６】
ステップＳ６００からステップＳ６２０まで動作例１と同様に行なう（図１１（Ａ）、（Ｂ）、および図１２参照。）。なお、ここでは第２偏光角を例えば６０°とする。
【０１０７】
次に、液晶素子１１１に第１状態および第２状態とは異なる電圧を印加し、光学素子１１０を透過できる光の偏光軸を決定する（ステップＳ６２１）。この時に決定された光学素子１１０の状態を第３状態という。また、この時に決定された偏光軸の角度を第３偏光角という。第３偏光角は、第１偏光角から角度θ回転した偏光軸である。第３偏光角の角度θは、０°より大きく、１８０°より小さい角度とすればよい。すなわち、第１偏光角と第３偏光角の相対角度を１８０°未満とすればよい。また、第３偏光角の角度θは、第２偏光角の角度θよりも大きい。ここでは第３偏光角を例えば１２０°とする。
【０１０８】
次に、第３画素群を用いて、光学素子１１０を介して入射した像を撮像する（ステップＳ６２２）（図１１（Ｃ）参照。）。第３画素群が取得した撮像情報は、第３撮像情報として第３画素群に保持される。なお、ステップＳ６２０では第１画素群および第２画素群で撮像は行なわない。すなわち、ステップＳ６２０において、第１画素群は第１撮像情報を保持し、第２画素群は第２撮像情報を保持している。
【０１０９】
動作例１と同様に、途中で読み出し動作およびリセット動作を行なうことなく、第１状態での撮像から第３状態での撮像までを実行する。途中でリセット動作を行なわないことにより、第１状態での撮像から第３状態での撮像までの間隔を短くすることができる。
【０１１０】
次に、第１画素群に保持されている第１撮像情報、第２画素群に保持されている第２撮像情報、および、第３画素群に保持されている第３撮像情報を読み出す（ステップＳ６２５）。読み出した撮像情報は記憶部１６０に記憶される（ステップＳ６３０）。
【０１１１】
次に、画像処理部１５０で第１撮像情報乃至第３撮像情報を比較し、最も暗い撮像情報（平均輝度が最も小さい撮像情報）を選出する（ステップＳ６３５）。
【０１１２】
次に、ユーザーの判断または事前設定により補完処理を行なうか否かを判断し（ステップＳ６４０）、行なわない場合は、ステップＳ６３５で選定された撮像情報を補助記憶部１７０に記憶する（ステップＳ６５０）。
【０１１３】
補完処理を行なう場合は、ニューラルネットワーク１５１で補完処理を行なう（ステップＳ６４５）。
【０１１４】
例えば、ステップＳ６３５で選定された最も暗い撮像情報が第１撮像情報であった場合、補完処理を行なうためのニューラルネットワーク１５１に設定する重み係数は、第２撮像情報および第３撮像情報と、補助記憶部１７０に格納されている教師データを用いて決定される。
【０１１５】
反射光の検出に用いる画素群を増やすと、１つの画素群あたりの解像度（画素数）が低下する。前述したように、教師データのみで決定された重み係数を用いて補完処理を行なうことも可能であるが、重み係数の決定に、教師データのみでなく第２撮像情報と第３撮像情報も加えることで、より精度よく撮像情報の補正を行なうことができる。すなわち、ニューラルネットワーク１５１による補完処理に第１撮像情報以外の撮像情報も用いることで、補完処理の精度を高め、画質の良好な画像を再現性よく生成することができる。
【０１１６】
動作例２の場合、第１撮像情報、第２撮像情報、および第３撮像情報がニューラルネットワーク１５１の入力層ＩＬに入力され、中間層を経て、出力層ＯＬから第４撮像情報として出力される。
【０１１７】
ニューラルネットワーク１５１により生成された第４撮像情報は、補助記憶部１７０に記憶される（ステップＳ６５０）。
【０１１８】
また、第１撮像情報、第２撮像情報、および第３撮像情報を用いて、演算部１４０で改めて第１偏光角、第２偏光角、および第３偏光角を決定し、再度撮像動作を行なってもよい。偏光角の修正と撮像動作を繰り返すことで、より良好な画像品位の画像を取得することができる。
【０１１９】
本実施の形態は、他の実施の形態などに記載した構成と適宜組み合わせて実施することが可能である。
【０１２０】
（実施の形態２）
本実施の形態では、上記の実施の形態で説明したニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。
【０１２１】
図１３（Ａ）に示すように、ニューラルネットワークＮＮは入力層ＩＬ、出力層ＯＬ、中間層（隠れ層）ＨＬによって構成することができる。入力層ＩＬ、出力層ＯＬ、中間層ＨＬはそれぞれ、１又は複数のニューロン（ユニット）を有する。なお、中間層ＨＬは１層であってもよいし２層以上であってもよい。２層以上の中間層ＨＬを有するニューラルネットワークはＤＮＮ（ディープニューラルネットワーク）と呼ぶこともでき、ディープニューラルネットワークを用いた学習は深層学習と呼ぶこともできる。
【０１２２】
入力層ＩＬの各ニューロンには入力データが入力され、中間層ＨＬの各ニューロンには前層又は後層のニューロンの出力信号が入力され、出力層ＯＬの各ニューロンには前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし（全結合）、一部のニューロンと結合されていてもよい。
【０１２３】
図１３（Ｂ）に、ニューロンによる演算の例を示す。ここでは、ニューロンＮと、ニューロンＮに信号を出力する前層の２つのニューロンを示している。ニューロンＮには、前層のニューロンの出力ｘ１と、前層のニューロンの出力ｘ２が入力される。そして、ニューロンＮにおいて、出力ｘ１と重みｗ１の乗算結果（ｘ１ｗ１）と出力ｘ２と重みｗ２の乗算結果（ｘ２ｗ２）の総和ｘ１ｗ１＋ｘ２ｗ２が計算された後、必要に応じてバイアスｂが加算され、値ａ＝ｘ１ｗ１＋ｘ２ｗ２＋ｂが得られる。そして、値ａは活性化関数ｈによって変換され、ニューロンＮから出力信号ｙ＝ｈ（ａ）が出力される。
【０１２４】
このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる（上記のｘ１ｗ１＋ｘ２ｗ２）。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。積和演算をハードウェアによって行う場合は、積和演算回路を用いることができる。この積和演算回路としては、デジタル回路を用いてもよいし、アナログ回路を用いてもよい。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、又は、メモリへのアクセス回数の減少による処理速度の向上及び消費電力の低減を図ることができる。
【０１２５】
積和演算回路は、チャネル形成領域にシリコン（単結晶シリコンなど）を含むトランジスタ（「Ｓｉトランジスタ」ともいう）によって構成してもよいし、チャネル形成領域に金属酸化物の一種である酸化物半導体を含むトランジスタ（「ＯＳトランジスタ」ともいう）によって構成してもよい。特に、ＯＳトランジスタはオフ電流が極めて小さいため、積和演算回路のアナログメモリを構成するトランジスタとして好適である。なお、ＳｉトランジスタとＯＳトランジスタの両方を用いて積和演算回路を構成してもよい。以下、積和演算回路の機能を備えた半導体装置の構成例について説明する。
【０１２６】
＜半導体装置の構成例＞
図１４に、ニューラルネットワークの演算を行う機能を有する半導体装置ＭＡＣの構成例を示す。半導体装置ＭＡＣは、ニューロン間の結合強度（重み）に対応する第１のデータと、入力データに対応する第２のデータの積和演算を行う機能を有する。なお、第１のデータ及び第２のデータはそれぞれ、アナログデータ又は多値のデータ（離散的なデータ）とすることができる。また、半導体装置ＭＡＣは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
【０１２７】
半導体装置ＭＡＣは、セルアレイＣＡ、電流源回路ＣＳ、カレントミラー回路ＣＭ、回路ＷＤＤ、回路ＷＬＤ、回路ＣＬＤ、オフセット回路ＯＦＳＴ、及び活性化関数回路ＡＣＴＶを有する。
【０１２８】
セルアレイＣＡは、複数のメモリセルＭＣ及び複数のメモリセルＭＣｒｅｆを有する。図１４には、セルアレイＣＡがｍ行ｎ列（ｍ，ｎは１以上の整数）のメモリセルＭＣ（ＭＣ［１，１］乃至［ｍ，ｎ］）と、ｍ個のメモリセルＭＣｒｅｆ（ＭＣｒｅｆ［１］乃至［ｍ］）を有する構成例を示している。メモリセルＭＣは、第１のデータを格納する機能を有する。また、メモリセルＭＣｒｅｆは、積和演算に用いられる参照データを格納する機能を有する。なお、参照データはアナログデータ又は多値のデータとすることができる。
【０１２９】
メモリセルＭＣ［ｉ，ｊ］（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ［ｊ］、及び配線ＢＬ［ｊ］と接続されている。また、メモリセルＭＣｒｅｆ［ｉ］は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤｒｅｆ、配線ＢＬｒｅｆと接続されている。ここで、メモリセルＭＣ［ｉ，ｊ］と配線ＢＬ［ｊ］間を流れる電流をＩＭＣ［ｉ，ｊ］と表記し、メモリセルＭＣｒｅｆ［ｉ］と配線ＢＬｒｅｆ間を流れる電流をＩＭＣｒｅｆ［ｉ］と表記する。
【０１３０】
メモリセルＭＣ及びメモリセルＭＣｒｅｆの具体的な構成例を、図１５に示す。図１５には代表例としてメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１］、［２］を示しているが、他のメモリセルＭＣ及びメモリセルＭＣｒｅｆにも同様の構成を用いることができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆはそれぞれ、トランジスタＴｒ１１、Ｔｒ１２、容量素子Ｃ１１を有する。ここでは、トランジスタＴｒ１１及びトランジスタＴｒ１２がｎチャネル型のトランジスタである場合について説明する。
【０１３１】
メモリセルＭＣにおいて、トランジスタＴｒ１１のゲートは配線ＷＬと接続され、ソース又はドレインの一方はトランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電極と接続され、ソース又はドレインの他方は配線ＷＤと接続されている。トランジスタＴｒ１２のソース又はドレインの一方は配線ＢＬと接続され、ソース又はドレインの他方は配線ＶＲと接続されている。容量素子Ｃ１１の第２の電極は、配線ＲＷと接続されている。配線ＶＲは、所定の電位を供給する機能を有する配線である。ここでは一例として、配線ＶＲから低電源電位（接地電位など）が供給される場合について説明する。
【０１３２】
トランジスタＴｒ１１のソース又はドレインの一方、トランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電極と接続されたノードを、ノードＮＭとする。また、メモリセルＭＣ［１，１］、［２，１］のノードＮＭを、それぞれノードＮＭ［１，１］、［２，１］と表記する。
【０１３３】
メモリセルＭＣｒｅｆも、メモリセルＭＣと同様の構成を有する。ただし、メモリセルＭＣｒｅｆは配線ＷＤの代わりに配線ＷＤｒｅｆと接続され、配線ＢＬの代わりに配線ＢＬｒｅｆと接続されている。また、メモリセルＭＣｒｅｆ［１］、［２］において、トランジスタＴｒ１１のソース又はドレインの一方、トランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電極と接続されたノードを、それぞれノードＮＭｒｅｆ［１］、［２］と表記する。
【０１３４】
ノードＮＭとノードＮＭｒｅｆはそれぞれ、メモリセルＭＣとメモリセルＭＣｒｅｆの保持ノードとして機能する。ノードＮＭには第１のデータが保持され、ノードＮＭｒｅｆには参照データが保持される。また、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣ［１，１］、ＩＭＣ［２，１］が流れる。また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］、［２］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣｒｅｆ［１］、ＩＭＣｒｅｆ［２］が流れる。
【０１３５】
トランジスタＴｒ１１は、ノードＮＭ又はノードＮＭｒｅｆの電位を保持する機能を有するため、トランジスタＴｒ１１のオフ電流は小さいことが好ましい。そのため、トランジスタＴｒ１１としてオフ電流が極めて小さいＯＳトランジスタを用いることが好ましい。これにより、ノードＮＭ又はノードＮＭｒｅｆの電位の変動を抑えることができ、演算精度の向上を図ることができる。また、ノードＮＭ又はノードＮＭｒｅｆの電位をリフレッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる。
【０１３６】
トランジスタＴｒ１２は特に限定されず、例えばＳｉトランジスタ又はＯＳトランジスタなどを用いることができる。トランジスタＴｒ１２にＯＳトランジスタを用いる場合、トランジスタＴｒ１１と同じ製造装置を用いて、トランジスタＴｒ１２を作製することが可能となり、製造コストを抑制することができる。なお、トランジスタＴｒ１２はｎチャネル型であってもｐチャネル型であってもよい。
【０１３７】
電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］及び配線ＢＬｒｅｆと接続されている。電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］及び配線ＢＬｒｅｆに電流を供給する機能を有する。なお、配線ＢＬ［１］乃至［ｎ］に供給される電流値と配線ＢＬｒｅｆに供給される電流値は異なっていてもよい。ここでは、電流源回路ＣＳから配線ＢＬ［１］乃至［ｎ］に供給される電流をＩＣ、電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆと表記する。
【０１３８】
カレントミラー回路ＣＭは、配線ＩＬ［１］乃至［ｎ］及び配線ＩＬｒｅｆを有する。配線ＩＬ［１］乃至［ｎ］はそれぞれ配線ＢＬ［１］乃至［ｎ］と接続され、配線ＩＬｒｅｆは、配線ＢＬｒｅｆと接続されている。ここでは、配線ＩＬ［１］乃至［ｎ］と配線ＢＬ［１］乃至［ｎ］の接続箇所をノードＮＰ［１］乃至［ｎ］と表記する。また、配線ＩＬｒｅｆと配線ＢＬｒｅｆの接続箇所をノードＮＰｒｅｆと表記する。
【０１３９】
カレントミラー回路ＣＭは、ノードＮＰｒｅｆの電位に応じた電流ＩＣＭを配線ＩＬｒｅｆに流す機能と、この電流ＩＣＭを配線ＩＬ［１］乃至［ｎ］にも流す機能を有する。図１４には、配線ＢＬｒｅｆから配線ＩＬｒｅｆに電流ＩＣＭが排出され、配線ＢＬ［１］乃至［ｎ］から配線ＩＬ［１］乃至［ｎ］に電流ＩＣＭが排出される例を示している。また、カレントミラー回路ＣＭから配線ＢＬ［１］乃至［ｎ］を介してセルアレイＣＡに流れる電流を、ＩＢ［１］乃至［ｎ］と表記する。また、カレントミラー回路ＣＭから配線ＢＬｒｅｆを介してセルアレイＣＡに流れる電流を、ＩＢｒｅｆと表記する。
【０１４０】
回路ＷＤＤは、配線ＷＤ［１］乃至［ｎ］及び配線ＷＤｒｅｆと接続されている。回路ＷＤＤは、メモリセルＭＣに格納される第１のデータに対応する電位を、配線ＷＤ［１］乃至［ｎ］に供給する機能を有する。また、回路ＷＤＤは、メモリセルＭＣｒｅｆに格納される参照データに対応する電位を、配線ＷＤｒｅｆに供給する機能を有する。回路ＷＬＤは、配線ＷＬ［１］乃至［ｍ］と接続されている。回路ＷＬＤは、データの書き込みを行うメモリセルＭＣ又はメモリセルＭＣｒｅｆを選択するための信号を、配線ＷＬ［１］乃至［ｍ］に供給する機能を有する。回路ＣＬＤは、配線ＲＷ［１］乃至［ｍ］と接続されている。回路ＣＬＤは、第２のデータに対応する電位を、配線ＲＷ［１］乃至［ｍ］に供給する機能を有する。
【０１４１】
オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］及び配線ＯＬ［１］乃至［ｎ］と接続されている。オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流量、及び／又は、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流の変化量を検出する機能を有する。また、オフセット回路ＯＦＳＴは、検出結果を配線ＯＬ［１］乃至［ｎ］に出力する機能を有する。なお、オフセット回路ＯＦＳＴは、検出結果に対応する電流を配線ＯＬに出力してもよいし、検出結果に対応する電流を電圧に変換して配線ＯＬに出力してもよい。セルアレイＣＡとオフセット回路ＯＦＳＴの間を流れる電流を、Ｉα［１］乃至［ｎ］と表記する。
【０１４２】
オフセット回路ＯＦＳＴの構成例を図１６に示す。図１６に示すオフセット回路ＯＦＳＴは、回路ＯＣ［１］乃至［ｎ］を有する。また、回路ＯＣ［１］乃至［ｎ］はそれぞれ、トランジスタＴｒ２１、トランジスタＴｒ２２、トランジスタＴｒ２３、容量素子Ｃ２１、及び抵抗素子Ｒ１を有する。各素子の接続関係は図１６に示す通りである。なお、容量素子Ｃ２１の第１の電極及び抵抗素子Ｒ１の第１の端子と接続されたノードを、ノードＮａとする。また、容量素子Ｃ２１の第２の電極、トランジスタＴｒ２１のソース又はドレインの一方、及びトランジスタＴｒ２２のゲートと接続されたノードを、ノードＮｂとする。
【０１４３】
配線ＶｒｅｆＬは電位Ｖｒｅｆを供給する機能を有し、配線ＶａＬは電位Ｖａを供給する機能を有し、配線ＶｂＬは電位Ｖｂを供給する機能を有する。また、配線ＶＤＤＬは電位ＶＤＤを供給する機能を有し、配線ＶＳＳＬは電位ＶＳＳを供給する機能を有する。ここでは、電位ＶＤＤが高電源電位であり、電位ＶＳＳが低電源電位である場合について説明する。また、配線ＲＳＴは、トランジスタＴｒ２１の導通状態を制御するための電位を供給する機能を有する。トランジスタＴｒ２２、トランジスタＴｒ２３、配線ＶＤＤＬ、配線ＶＳＳＬ、及び配線ＶｂＬによって、ソースフォロワ回路が構成される。
【０１４４】
次に、回路ＯＣ［１］乃至［ｎ］の動作例を説明する。なお、ここでは代表例として回路ＯＣ［１］の動作例を説明するが、回路ＯＣ［２］乃至［ｎ］も同様に動作させることができる。まず、配線ＢＬ［１］に第１の電流が流れると、ノードＮａの電位は、第１の電流と抵抗素子Ｒ１の抵抗値に応じた電位となる。また、このときトランジスタＴｒ２１はオン状態であり、ノードＮｂに電位Ｖａが供給される。その後、トランジスタＴｒ２１はオフ状態となる。
【０１４５】
次に、配線ＢＬ［１］に第２の電流が流れると、ノードＮａの電位は、第２の電流と抵抗素子Ｒ１の抵抗値に応じた電位に変化する。このときトランジスタＴｒ２１はオフ状態であり、ノードＮｂはフローティング状態となっているため、ノードＮａの電位の変化に伴い、ノードＮｂの電位は容量結合により変化する。ここで、ノードＮａの電位の変化をΔＶＮａとし、容量結合係数を１とすると、ノードＮｂの電位はＶａ＋ΔＶＮａとなる。そして、トランジスタＴｒ２２のしきい値電圧をＶｔｈとすると、配線ＯＬ［１］から電位Ｖａ＋ΔＶＮａ−Ｖｔｈが出力される。ここで、Ｖａ＝Ｖｔｈとすることにより、配線ＯＬ［１］から電位ΔＶＮａを出力することができる。
【０１４６】
電位ΔＶＮａは、第１の電流から第２の電流への変化量、抵抗素子Ｒ１、及び電位Ｖｒｅｆに応じて定まる。ここで、抵抗素子Ｒ１と電位Ｖｒｅｆは既知であるため、電位ΔＶＮａから配線ＢＬに流れる電流の変化量を求めることができる。
【０１４７】
上記のようにオフセット回路ＯＦＳＴによって検出された電流量、及び／又は電流の変化量に対応する信号は、配線ＯＬ［１］乃至［ｎ］を介して活性化関数回路ＡＣＴＶに入力される。
【０１４８】
活性化関数回路ＡＣＴＶは、配線ＯＬ［１］乃至［ｎ］、及び、配線ＮＩＬ［１］乃至［ｎ］と接続されている。活性化関数回路ＡＣＴＶは、オフセット回路ＯＦＳＴから入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、しきい値関数などを用いることができる。活性化関数回路ＡＣＴＶによって変換された信号は、出力データとして配線ＮＩＬ［１］乃至［ｎ］に出力される。
【０１４９】
＜半導体装置の動作例＞
上記の半導体装置ＭＡＣを用いて、第１のデータと第２のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置ＭＡＣの動作例を説明する。
【０１５０】
図１７に半導体装置ＭＡＣの動作例のタイミングチャートを示す。図１７には、図１５における配線ＷＬ［１］、配線ＷＬ［２］、配線ＷＤ［１］、配線ＷＤｒｅｆ、ノードＮＭ［１，１］、ノードＮＭ［２，１］、ノードＮＭｒｅｆ［１］、ノードＮＭｒｅｆ［２］、配線ＲＷ［１］、及び配線ＲＷ［２］の電位の推移と、電流ＩＢ［１］−Ｉα［１］、及び電流ＩＢｒｅｆの値の推移を示している。電流ＩＢ［１］−Ｉα［１］は、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］に流れる電流の総和に相当する。
【０１５１】
なお、ここでは代表例として図１５に示すメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１］、［２］に着目して動作を説明するが、他のメモリセルＭＣ及びメモリセルＭＣｒｅｆも同様に動作させることができる。
【０１５２】
［第１のデータの格納］
まず、時刻Ｔ０１−Ｔ０２において、配線ＷＬ［１］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位（ＧＮＤ）よりもＶＰＲ−ＶＷ［１，１］大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。また、配線ＲＷ［１］、及び配線ＲＷ［２］の電位が基準電位（ＲＥＦＰ）となる。なお、電位ＶＷ［１，１］はメモリセルＭＣ［１，１］に格納される第１のデータに対応する電位である。また、電位ＶＰＲは参照データに対応する電位である。これにより、メモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶＰＲ−ＶＷ［１，１］、ノードＮＭｒｅｆ［１］の電位がＶＰＲとなる。
【０１５３】
このとき、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，０は、次の式で表すことができる。ここで、ｋはトランジスタＴｒ１２のチャネル長、チャネル幅、移動度、及びゲート絶縁膜の容量などで決まる定数である。また、ＶｔｈはトランジスタＴｒ１２のしきい値電圧である。
【０１５４】
ＩＭＣ［１，１］，０＝ｋ（ＶＰＲ−ＶＷ［１，１］−Ｖｔｈ）２          （Ｅ１）
【０１５５】
また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，０は、次の式で表すことができる。
【０１５６】
ＩＭＣｒｅｆ［１］，０＝ｋ（ＶＰＲ−Ｖｔｈ）２          （Ｅ２）
【０１５７】
次に、時刻Ｔ０２−Ｔ０３において、配線ＷＬ［１］の電位がローレベルとなる。これにより、メモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位が保持される。
【０１５８】
なお、前述の通り、トランジスタＴｒ１１としてＯＳトランジスタを用いることが好ましい。これにより、トランジスタＴｒ１１のリーク電流を抑えることができ、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位を正確に保持することができる。
【０１５９】
次に、時刻Ｔ０３−Ｔ０４において、配線ＷＬ［２］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位よりもＶＰＲ−ＶＷ［２，１］大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。なお、電位ＶＷ［２，１］はメモリセルＭＣ［２，１］に格納される第１のデータに対応する電位である。これにより、メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶＰＲ−ＶＷ［２，１］、ノードＮＭｒｅｆ［１］の電位がＶＰＲとなる。
【０１６０】
このとき、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，０は、次の式で表すことができる。
【０１６１】
ＩＭＣ［２，１］，０＝ｋ（ＶＰＲ−ＶＷ［２，１］−Ｖｔｈ）２          （Ｅ３）
【０１６２】
また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，０は、次の式で表すことができる。
【０１６３】
ＩＭＣｒｅｆ［２］，０＝ｋ（ＶＰＲ−Ｖｔｈ）２          （Ｅ４）
【０１６４】
次に、時刻Ｔ０４−Ｔ０５において、配線ＷＬ［２］の電位がローレベルとなる。これにより、メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の電位が保持される。
【０１６５】
以上の動作により、メモリセルＭＣ［１，１］、［２，１］に第１のデータが格納され、メモリセルＭＣｒｅｆ［１］、［２］に参照データが格納される。
【０１６６】
ここで、時刻Ｔ０４−Ｔ０５において、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流を考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流が供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆ、配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，０とすると、次の式が成り立つ。
【０１６７】
ＩＣｒｅｆ−ＩＣＭ，０＝ＩＭＣｒｅｆ［１］，０＋ＩＭＣｒｅｆ［２］，０          （Ｅ５）
【０１６８】
配線ＢＬ［１］には、電流源回路ＣＳからの電流が供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。また、配線ＢＬ［１］からオフセット回路ＯＦＳＴに電流が流れる。電流源回路ＣＳから配線ＢＬ［１］に供給される電流をＩＣ，０、配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，０とすると、次の式が成り立つ。
【０１６９】
ＩＣ−ＩＣＭ，０＝ＩＭＣ［１，１］，０＋ＩＭＣ［２，１］，０＋Ｉα，０          （Ｅ６）
【０１７０】
［第１のデータと第２のデータの積和演算］
次に、時刻Ｔ０５−Ｔ０６において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１］大きい電位となる。このとき、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１には電位ＶＸ［１］が供給され、容量結合によりトランジスタＴｒ１２のゲートの電位が上昇する。なお、電位Ｖｘ［１］はメモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］に供給される第２のデータに対応する電位である。
【０１７１】
トランジスタＴｒ１２のゲートの電位の変化量は、配線ＲＷの電位の変化量に、メモリセルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子Ｃ１１の容量、トランジスタＴｒ１２のゲート容量、及び寄生容量などによって算出される。以下では便宜上、配線ＲＷの電位の変化量とトランジスタＴｒ１２のゲートの電位の変化量が同じ、すなわち容量結合係数が１であるとして説明する。実際には、容量結合係数を考慮して電位Ｖｘを決定すればよい。
【０１７２】
メモリセルＭＣ［１］及びメモリセルＭＣｒｅｆ［１］の容量素子Ｃ１１に電位ＶＸ［１］が供給されると、ノードＮＮ［１］及びノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。
【０１７３】
ここで、時刻Ｔ０５−Ｔ０６において、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，１は、次の式で表すことができる。
【０１７４】
ＩＭＣ［１，１］，１＝ｋ（ＶＰＲ−ＶＷ［１，１］＋ＶＸ［１］−Ｖｔｈ）２          （Ｅ７）
【０１７５】
すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［１，１］＝ＩＭＣ［１，１］，１−ＩＭＣ［１，１］，０増加する。
【０１７６】
また、時刻Ｔ０５−Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，１は、次の式で表すことができる。
【０１７７】
ＩＭＣｒｅｆ［１］，１＝ｋ（ＶＰＲ＋ＶＸ［１］−Ｖｔｈ）２          （Ｅ８）
【０１７８】
すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ［１］＝ＩＭＣｒｅｆ［１］，１−ＩＭＣｒｅｆ［１］，０増加する。
【０１７９】
また、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，１とすると、次の式が成り立つ。
【０１８０】
ＩＣｒｅｆ−ＩＣＭ，１＝ＩＭＣｒｅｆ［１］，１＋ＩＭＣｒｅｆ［２］，０          （Ｅ９）
【０１８１】
配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，１とすると、次の式が成り立つ。
【０１８２】
ＩＣ−ＩＣＭ，１＝ＩＭＣ［１，１］，１＋ＩＭＣ［２，１］，１＋Ｉα，１          （Ｅ１０）
【０１８３】
そして、式（Ｅ１）乃至式（Ｅ１０）から、電流Ｉα，０と電流Ｉα，１の差（差分電流ΔＩα）は次の式で表すことができる。
【０１８４】
ΔＩα＝Ｉα，０−Ｉα，１＝２ｋＶＷ［１，１］ＶＸ［１］          （Ｅ１１）
【０１８５】
このように、差分電流ΔＩαは、電位ＶＷ［１，１］とＶＸ［１］の積に応じた値となる。
【０１８６】
その後、時刻Ｔ０６−Ｔ０７において、配線ＲＷ［１］の電位は接地電位となり、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位は時刻Ｔ０４−Ｔ０５と同様になる。
【０１８７】
次に、時刻Ｔ０７−Ｔ０８において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１］大きい電位となり、配線ＲＷ［２］の電位が基準電位よりもＶＸ［２］大きい電位が供給される。これにより、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１に電位ＶＸ［１］が供給され、容量結合によりノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。また、メモリセルＭＣ［２，１］、及びメモリセルＭＣｒｅｆ［２］のそれぞれの容量素子Ｃ１１に電位ＶＸ［２］が供給され、容量結合によりノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の電位がそれぞれＶＸ［２］上昇する。
【０１８８】
ここで、時刻Ｔ０７−Ｔ０８において、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，１は、次の式で表すことができる。
【０１８９】
ＩＭＣ［２，１］，１＝ｋ（ＶＰＲ−ＶＷ［２，１］＋ＶＸ［２］−Ｖｔｈ）２          （Ｅ１２）
【０１９０】
すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［２，１］＝ＩＭＣ［２，１］，１−ＩＭＣ［２，１］，０増加する。
【０１９１】
また、時刻Ｔ０５−Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，１は、次の式で表すことができる。
【０１９２】
ＩＭＣｒｅｆ［２］，１＝ｋ（ＶＰＲ＋ＶＸ［２］−Ｖｔｈ）２          （Ｅ１３）
【０１９３】
すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ［２］＝ＩＭＣｒｅｆ［２］，１−ＩＭＣｒｅｆ［２］，０増加する。
【０１９４】
また、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，２とすると、次の式が成り立つ。
【０１９５】
ＩＣｒｅｆ−ＩＣＭ，２＝ＩＭＣｒｅｆ［１］，１＋ＩＭＣｒｅｆ［２］，１          （Ｅ１４）
【０１９６】
配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，２とすると、次の式が成り立つ。
【０１９７】
ＩＣ−ＩＣＭ，２＝ＩＭＣ［１，１］，１＋ＩＭＣ［２，１］，１＋Ｉα，２          （Ｅ１５）
【０１９８】
そして、式（Ｅ１）乃至式（Ｅ８）、及び、式（Ｅ１２）乃至式（Ｅ１５）から、電流Ｉα，０と電流Ｉα，２の差（差分電流ΔＩα）は次の式で表すことができる。
【０１９９】
ΔＩα＝Ｉα，０−Ｉα，２＝２ｋ（ＶＷ［１，１］ＶＸ［１］＋ＶＷ［２，１］ＶＸ［２］）          （Ｅ１６）
【０２００】
このように、差分電流ΔＩαは、電位ＶＷ［１，１］と電位ＶＸ［１］の積と、電位ＶＷ［２，１］と電位ＶＸ［２］の積と、を足し合わせた結果に応じた値となる。
【０２０１】
その後、時刻Ｔ０８−Ｔ０９において、配線ＲＷ［１］、［２］の電位は接地電位となり、ノードＮＭ［１，１］、［２，１］及びノードＮＭｒｅｆ［１］、［２］の電位は時刻Ｔ０４−Ｔ０５と同様になる。
【０２０２】
式（Ｅ９）及び式（Ｅ１６）に示されるように、オフセット回路ＯＦＳＴに入力される差分電流ΔＩαは、第１のデータ（重み）に対応する電位ＶＸと、第２のデータ（入力データ）に対応する電位ＶＷの積を足し合わせた結果に応じた値となる。すなわち、差分電流ΔＩαをオフセット回路ＯＦＳＴで計測することにより、第１のデータと第２のデータの積和演算の結果を得ることができる。
【０２０３】
なお、上記では特にメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１］、［２］に着目したが、メモリセルＭＣ及びメモリセルＭＣｒｅｆの数は任意に設定することができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆの行数ｍを任意の数とした場合の差分電流ΔＩαは、次の式で表すことができる。
【０２０４】
ΔＩα＝２ｋΣｉＶＷ［ｉ，１］ＶＸ［ｉ］          （Ｅ１７）
【０２０５】
また、メモリセルＭＣ及びメモリセルＭＣｒｅｆの列数ｎを増やすことにより、並列して実行される積和演算の数を増やすことができる。
【０２０６】
以上のように、半導体装置ＭＡＣを用いることにより、第１のデータと第２のデータの積和演算を行うことができる。なお、メモリセルＭＣ及びメモリセルＭＣｒｅｆとして図１５に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成することができる。そのため、半導体装置ＭＡＣの回路規模の縮小を図ることができる。
【０２０７】
半導体装置ＭＡＣをニューラルネットワークにおける演算に用いる場合、メモリセルＭＣの行数ｍは一のニューロンに供給される入力データの数に対応させ、メモリセルＭＣの列数ｎはニューロンの数に対応させることができる。例えば、図１３（Ａ）に示す中間層ＨＬにおいて半導体装置ＭＡＣを用いた積和演算を行う場合を考える。このとき、メモリセルＭＣの行数ｍは、入力層ＩＬから供給される入力データの数（入力層ＩＬのニューロンの数）に設定し、メモリセルＭＣの列数ｎは、中間層ＨＬのニューロンの数に設定することができる。
【０２０８】
なお、半導体装置ＭＡＣを適用するニューラルネットワークの構造は特に限定されない。例えば半導体装置ＭＡＣは、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、オートエンコーダ、ボルツマンマシン（制限ボルツマンマシンを含む）などに用いることもできる。
【０２０９】
以上のように、半導体装置ＭＡＣを用いることにより、ニューラルネットワークの積和演算を行うことができる。さらに、セルアレイＣＡに図１５に示すメモリセルＭＣ及びメモリセルＭＣｒｅｆを用いることにより、演算精度の向上、消費電力の削減、又は回路規模の縮小を図ることが可能な集積回路ＩＣを提供することができる。
【０２１０】
本実施の形態は、他の実施の形態などに記載した構成と適宜組み合わせて実施することが可能である。
【０２１１】
（実施の形態３）
本実施の形態では、本発明の一態様を適用することのできる撮像装置の一例について、図面を参照して説明する。
【０２１２】
＜画素回路の構成例＞
〔構成例１〕
図１８（Ａ）は、画素１２１に適用可能な画素回路を説明する図である。当該画素回路は、光電変換素子５０と、トランジスタ５１乃至トランジスタ５６と、を有する。
【０２１３】
図１８（Ａ）に示す画素回路では、光電変換素子５０の一方の電極（アノード）は、トランジスタ５１のソースまたはドレインの一方と電気的に接続される。光電変換素子５０の他方の電極（カソード）は、トランジスタ５５のソースまたはドレインの一方と電気的に接続される。トランジスタ５５のソースまたはドレインの他方は、トランジスタ５６のソースまたはドレインの一方と電気的に接続される。トランジスタ５５のゲートは、配線７２と電気的に接続される。トランジスタ５６のソースまたはドレインの他方は、配線７７と電気的に接続される。トランジスタ５６のゲートは、配線７４と電気的に接続される。
【０２１４】
トランジスタ５２のソースまたはドレインの一方は、トランジスタ５１のソースまたはドレインの一方と電気的に接続される。トランジスタ５２のソースまたはドレインの他方は、配線７３と電気的に接続される。トランジスタ５２のゲートは、配線７６と電気的に接続される。
【０２１５】
また、トランジスタ５１のソースまたはドレインの他方は、トランジスタ５３のゲートと電気的に接続される。トランジスタ５３のソースまたはドレインの一方は、トランジスタ５４のソースまたはドレインの一方と電気的に接続される。トランジスタ５３のソースまたはドレインの他方は、配線７９に電気的に接続される。トランジスタ５４のソースまたはドレインの他方は、配線７１と電気的に接続される。トランジスタ５４のゲートは、配線７８と電気的に接続される。なお、トランジスタ５３のゲートと電気的に接続される容量素子を設けてもよい。
【０２１６】
光電変換素子５０の一方の電極（アノード）と、トランジスタ５１のソースまたはドレインの一方と、トランジスタ５２のソースまたはドレインの一方と、が電気的に接続する節点が、電荷蓄積部（ＮＲ）として機能する。トランジスタ５１のソースまたはドレインの他方と、トランジスタ５３のゲートと、が電気的に接続する節点が、電荷検出部（ＮＤ）として機能する。
【０２１７】
ここで、配線７１は、画素から信号を出力する出力線としての機能を有することができる。配線７３、配線７７、配線７９は、電源線としての機能を有することができる。例えば、配線７３には、低電源電位（例えば、ＧＮＤ）が供給され、配線７９には高電源電位（例えば、ＶＤＤ）が供給される。
【０２１８】
光電変換素子５０には、低照度時の光検出感度を高めるためアバランシェ増倍効果を生じる光電変換素子を用いることが好ましい。アバランシェ増倍効果を生じさせるためには、比較的高い電位ＨＶＤＤが必要となる。したがって、配線７７には、比較的高い電位ＨＶＤＤが供給される。なお、配線７７には、低電源電位も供給される。よって、光電変換素子５０の他方の電極（カソード）には、トランジスタ５５およびトランジスタ５６を介して電位ＨＶＤＤまたは低電源電位のいずれかが供給される。より具体的には、トランジスタ５５およびトランジスタ５６がｎチャネル型のトランジスタである場合、光電変換素子５０の他方の電極（カソード）には、低電源電位、または、電位ＨＶＤＤよりもトランジスタ５５のしきい値電圧分およびトランジスタ５６のしきい値電圧分低い電位が供給される。なお、光電変換素子５０は、アバランシェ増倍効果が生じない電位を印加して使用することもできる。
【０２１９】
配線７２、配線７４、配線７５、配線７６、配線７８は、各トランジスタのオンオフを制御する信号線として機能させることができる。
【０２２０】
トランジスタ５１は、光電変換素子５０の出力に応じて変化する電荷蓄積部（ＮＲ）の電位を電荷検出部（ＮＤ）に転送する機能を有することができる。トランジスタ５２は、電荷蓄積部（ＮＲ）および電荷検出部（ＮＤ）の電位を初期化する機能を有する。トランジスタ５３は、電荷検出部（ＮＤ）の電位に応じた信号を出力する機能を有する。トランジスタ５４は、信号を読み出す画素を選択する機能を有する。トランジスタ５５は、画素１２１が属する行が選択された場合に、オン状態またはオフ状態となる機能を有する。トランジスタ５６は、画素１２１が属する列が選択された場合に、オン状態またはオフ状態となる機能を有する。
【０２２１】
光電変換素子５０に高電圧を印加する場合、光電変換素子５０と接続されるトランジスタには高電圧に耐えられる高耐圧のトランジスタを用いる必要がある。当該高耐圧のトランジスタには、例えば、ＯＳトランジスタなどを用いることができる。具体的には、トランジスタ５１、トランジスタ５２、トランジスタ５５、およびトランジスタ５６にＯＳトランジスタを適用することが好ましい。
【０２２２】
トランジスタ５１、トランジスタ５２、トランジスタ５５、およびトランジスタ５６はスイッチング特性が優れていることが望まれるが、トランジスタ５３は増幅特性が優れていることが望まれるため、オン電流が高いトランジスタであることが好ましい。したがって、トランジスタ５３およびトランジスタ５４には、シリコンを活性層または活性領域に用いたトランジスタ（「Ｓｉトランジスタ」ともいう）を適用することが好ましい。
【０２２３】
トランジスタ５１乃至トランジスタ５６を上述した構成とすることで、低照度における光の検出感度が高く、ノイズの少ない信号を出力することのできる撮像装置を作製することができる。また、光の検出感度が高いため、光の取り込み時間を短くすることができ、撮像を高速に行うことができる。
【０２２４】
なお、上記構成に限らず、トランジスタ５３およびトランジスタ５４にＯＳトランジスタを適用してもよい。または、トランジスタ５１、トランジスタ５２、トランジスタ５５、およびトランジスタ５６にＳｉトランジスタを適用してもよい。トランジスタ５１乃至トランジスタ５６の少なくとも１つにｐチャネル型のトランジスタを適用してもよい。
【０２２５】
また、例えば、図１９（Ａ）に示すように、トランジスタ５５、およびトランジスタ５６をｐチャネル型のトランジスタとしてもよい。いずれの場合においても当該画素回路の撮像動作は可能である。
【０２２６】
〔動作例１〕
次に、図１８（Ｂ）のタイミングチャートを用いて、図１８（Ａ）に示した画素回路の動作を説明する。なお、本実施の形態では、トランジスタ５１乃至トランジスタ５６は、ｎチャネル型のトランジスタとする。また、以下に説明する一例の動作において、トランジスタ５２のゲートに接続された配線７６には、”Ｈ”としてＶＤＤ、”Ｌ”としてＧＮＤの電位が供給されるものとする。トランジスタ５１のゲートに接続された配線７５およびトランジスタ５４のゲートに接続された配線７８には、”Ｈ”としてＶＤＤ、”Ｌ”としてＧＮＤの電位が供給されるものとする。また、トランジスタ５３のソースに接続された配線７９には、ＶＤＤの電位が供給されるものとする。トランジスタ５５のゲートに接続された配線７２およびトランジスタ５６のゲートに接続された配線７４には、”Ｈ”としてＨＶＤＤ、”Ｌ”としてＧＮＤの電位が供給されるものとする。なお、各配線に上記以外の電位を供給する形態とすることもできる。
【０２２７】
［リセット動作］
時刻Ｔ１に、配線７７にＧＮＤを供給し、配線７２、配線７４、配線７５、および配線７６を”Ｈ”とし、電荷蓄積部（ＮＲ）および電荷検出部（ＮＤ）の電位をリセット電位（ＧＮＤ）に設定する。
【０２２８】
時刻Ｔ２に、配線７２、配線７４、配線７５、および配線７６を”Ｌ”とする。すると、電荷蓄積部（ＮＲ）および電荷検出部（ＮＤ）の電位がリセット電位（ＧＮＤ）のまま保持される。
【０２２９】
時刻Ｔ３に、配線７７にＨＶＤＤを供給する。時刻Ｔ１乃至時刻Ｔ３までの動作は、撮像素子が有する全画素に対して、同時に行なうことができる。
【０２３０】
［蓄積動作］
時刻Ｔ４に、配線７２および配線７４を”Ｈ”とすることで、電荷蓄積部（ＮＲ）の電位が変化する（蓄積動作）。電荷蓄積部（ＮＲ）の電位は、光電変換素子５０に入射した光の強度に応じてＧＮＤから最大でＨＶＤＤまで変化する。
【０２３１】
［転送動作］
時刻Ｔ５に配線７５を”Ｈ”とし、電荷蓄積部（ＮＲ）の電荷を電荷検出部（ＮＤ）に転送する。
【０２３２】
［保持動作］
時刻Ｔ６に配線７２、配線７４、および配線７５を”Ｌ”とする。この時点で電荷検出部（ＮＤ）の電位が確定される。電荷検出部（ＮＤ）に、光電変換素子５０に入射した光の強度に応じた電位が保持される。
【０２３３】
なお、配線７２、配線７４、および配線７６を”Ｌ”とすると、光電変換素子５０および電荷蓄積部（ＮＲ）がフローティング状態となる。光電変換素子５０がフローティング状態である場合、光照射により生成された正孔と電子はすぐに再結合して消滅する。このため、保持動作中に光電変換素子５０に光が照射されても、電荷蓄積部（ＮＲ）の電位は実質的に変わらない。
【０２３４】
よって、図１９（Ｂ）に示すように、トランジスタ５１および配線７５を設けず、電荷蓄積部（ＮＲ）と電荷検出部（ＮＤ）を兼用することもできる。この場合、前述した転送動作を省略することができる。
【０２３５】
［読み出し動作］
時刻Ｔ７から時刻Ｔ８までの期間に配線７８を”Ｈ”とし、電荷検出部（ＮＤ）の電位に応じた信号を配線７１出力する。すなわち、蓄積動作において光電変換素子５０に入射した光の強度に応じた出力信号を得ることができる。
【０２３６】
〔構成例２〕
図２０（Ａ）は、画素１２１に適用可能な画素回路の他の構成例を説明する図である。当該画素回路は、光電変換素子５０と、トランジスタ５１乃至トランジスタ５５と、を有する。なお、説明の繰り返しを減らすため、主に図１８（Ａ）を用いて説明した構成例１と異なる点について説明する。
【０２３７】
図２０（Ａ）に示す画素回路では、光電変換素子５０の一方の電極（アノード）は、トランジスタ５１のソースまたはドレインの一方、トランジスタ５２のソースまたはドレインの一方、およびトランジスタ５５のソースまたはドレインの一方と電気的に接続される。光電変換素子５０の他方の電極（カソード）は、配線７７と電気的に接続される。トランジスタ５２のソースまたはドレインの他方とトランジスタ５５のソースまたはドレインの他方は、配線７３と電気的に接続される。トランジスタ５２のゲートは、配線７４と電気的に接続される。トランジスタ５５のゲートは、配線７２と電気的に接続される。光電変換素子５０の一方の電極（アノード）、トランジスタ５１のソースまたはドレインの一方、トランジスタ５２のソースまたはドレインの一方、およびトランジスタ５５のソースまたはドレインの一方が電気的に接続する節点が、電荷蓄積部（ＮＲ）として機能する。
【０２３８】
その他の構成は図１８（Ａ）に示した画素回路と同じであるため、その説明は省略する。図２０（Ａ）に示す画素回路において、トランジスタ５２およびトランジスタ５５は、電荷蓄積部（ＮＲ）および電荷検出部（ＮＤ）の電位を初期化する機能を有する。トランジスタ５５は、画素１２１が属する行が選択された場合にオフ状態、非選択である場合にオン状態となる機能を有する。トランジスタ５２は、画素１２１が属する列が選択された場合にオフ状態、非選択である場合にオン状態となる機能を有する。
【０２３９】
〔動作例２〕
次に、図２０（Ｂ）のタイミングチャートを用いて、図２０（Ａ）に示した画素回路の動作を説明する。なお、説明の繰り返しを減らすため、主に図１８（Ｂ）を用いて説明した動作例１と異なる点について説明する。
【０２４０】
また、以下に説明する一例の動作において、配線７２および配線７４には、”Ｈ”としてＶＤＤ、”Ｌ”としてＧＮＤの電位が供給されるものとする。配線７７には、ＨＶＤＤが供給されるものとする。
【０２４１】
［リセット動作］
時刻Ｔ１１に、配線７２、配線７４、および配線７５を”Ｈ”とし、電荷蓄積部（ＮＲ）および電荷検出部（ＮＤ）の電位をリセット電位（ＧＮＤ）に設定する。
【０２４２】
時刻Ｔ１２に、配線７５を”Ｌ”とする。すると、電荷検出部（ＮＤ）の電位がリセット電位（ＧＮＤ）のまま保持される。
【０２４３】
［蓄積動作］
時刻Ｔ１３に、配線７２および配線７４を”Ｌ”とすることで、電荷蓄積部（ＮＲ）の電位が変化する（蓄積動作）。電荷蓄積部（ＮＲ）の電位は、光電変換素子５０に入射した光の強度に応じてＧＮＤから最大でＨＶＤＤまで変化する。
【０２４４】
［転送動作］
時刻Ｔ１４に配線７５を”Ｈ”とし、電荷蓄積部（ＮＲ）の電荷を電荷検出部（ＮＤ）に転送する。
【０２４５】
［保持動作］
時刻Ｔ１５に配線７５を”Ｌ”とする。この時点で電荷検出部（ＮＤ）の電位が確定される。電荷検出部（ＮＤ）に、光電変換素子５０に入射した光の強度に応じた電位が保持される。
【０２４６】
［読み出し動作］
時刻Ｔ１６から時刻Ｔ１７までの期間に配線７８を”Ｈ”とし、電荷検出部（ＮＤ）の電位に応じた信号を配線７１出力する。すなわち、蓄積動作において光電変換素子５０に入射した光の強度に応じた出力信号を得ることができる。
【０２４７】
なお、図２１に示すように、トランジスタ５１および配線７５を設けず、電荷蓄積部（ＮＲ）と電荷検出部（ＮＤ）を兼用することもできる。この場合、前述した転送動作を省略することができる。
【０２４８】
また、第１画素群と第２画素群を有する撮像素子に、図２１に示した画素回路を用いる場合、はじめに第１画素群に含まれる画素のトランジスタ５２とトランジスタ５５をオフ状態として第１画素群の蓄積動作を行い、続けて第１画素群と第２画素群に含まれる画素のトランジスタ５２とトランジスタ５５をオフ状態として蓄積動作を行なってもよい。前述した転送動作および保持動作を省略することができる。
【０２４９】
この場合、第１画素群の画素は、第１撮像情報と第２撮像情報が加算された混合撮像情報が蓄積される。第１撮像情報は、混合撮像情報から第２撮像情報を減算して取得できる。
【０２５０】
＜画素の構成例＞
図２２（Ａ）に、上述した画素回路を有する撮像素子の構成例を示す。当該画素は、層６１、層６２および層６３を有し、それぞれが互いに重なる領域を有する構成とすることができる。
【０２５１】
層６１は、光電変換素子５０の構成を有する。光電変換素子５０は、画素電極に相当する電極６５と、光電変換部６６と、共通電極に相当する電極６７を有する。
【０２５２】
電極６５には、低抵抗の金属層などを用いることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀またはそれらの積層を用いることができる。
【０２５３】
電極６７には、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム−錫酸化物、ガリウム−亜鉛酸化物、インジウム−ガリウム−亜鉛酸化物、またはグラフェンなどを用いることができる。なお、電極６７を省く構成とすることもできる。
【０２５４】
光電変換部６６には、例えばセレン系材料を光電変換層としたｐｎ接合型フォトダイオードなどを用いることができる。層６６ａとしてはｐ型半導体であるセレン系材料を用い、層６６ｂとしてはｎ型半導体であるガリウム酸化物などを用いることが好ましい。
【０２５５】
セレン系材料を用いた光電変換素子は、可視光に対する外部量子効率が高い特性を有する。当該光電変換素子では、アバランシェ増倍効果を利用することにより、入射される光量に対する電子の増幅が大きい高感度のセンサとすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できるなどの生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法またはスパッタ法などを用いて形成することができる。
【０２５６】
セレン系材料としては、単結晶セレンや多結晶セレンなどの結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物（ＣＩＳ）、または、銅、インジウム、ガリウム、セレンの化合物（ＣＩＧＳ）などを用いることができる。
【０２５７】
ｎ型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、またはそれらが混在した酸化物などを用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
【０２５８】
なお、層６１は上記構成に限らず、層６６ａにｐ型シリコン半導体またはｎ型シリコン半導体の一方を用い、層６６ｂにｐ型シリコン半導体またはｎ型シリコン半導体の他方を用いたｐｎ接合型フォトダイオードであってもよい。または、層６６ａと層６６ｂとの間にｉ型シリコン半導体層を設けたｐｉｎ接合型フォトダイオードであってもよい。
【０２５９】
上記ｐｎ接合型フォトダイオードまたはｐｉｎ接合型フォトダイオードは、単結晶シリコンを用いて形成することができる。このとき、層６１と層６２とは、貼り合わせ工程を用いて電気的な接合を得ることが好ましい。また、ｐｉｎ接合型フォトダイオードとしては、非晶質シリコン、微結晶シリコン、多結晶シリコンなどの薄膜を用いて形成することもできる。
【０２６０】
層６２は、例えば、ＯＳトランジスタ（トランジスタ５１乃至トランジスタ５６）を有する層とすることができる。図１８（Ａ）に示す画素の回路構成では、光電変換素子５０に入射される光の強度が小さいときに電荷検出部（ＮＤ）の電位が小さくなる。ＯＳトランジスタは極めてオフ電流が低いため、ゲート電位が極めて小さい場合においても当該ゲート電位に応じた電流を正確に出力することができる。したがって、検出することのできる照度のレンジ、すなわちダイナミックレンジを広げることができる。
【０２６１】
また、トランジスタ５１、トランジスタ５２、トランジスタ５５、およびトランジスタ５６の低いオフ電流特性によって、電荷検出部（ＮＤ）および電荷蓄積部（ＮＲ）で電荷を保持できる期間を極めて長くすることができる。そのため、回路構成や動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行うグローバルシャッタ方式を適用することもできる。
【０２６２】
層６３は、支持基板またはＳｉトランジスタ（トランジスタ５３、トランジスタ５４）を有する層とすることができる。当該Ｓｉトランジスタは、単結晶シリコン基板に活性領域を有する構成のほか、絶縁表面上に結晶系のシリコン活性層を有する構成とすることができる。なお、層６３に単結晶シリコン基板を用いる場合は、当該単結晶シリコン基板にｐｎ接合型フォトダイオードまたはｐｉｎ接合型フォトダイオードを形成してもよい。この場合、層６１を省くことができる。
【０２６３】
図２２（Ｂ）は、撮像素子１２０に相当する撮像素子８９の回路構成例を説明するブロック図である。当該撮像素子は、マトリクス状に配列された画素８０を有する画素アレイ８１と、画素アレイ８１の行を選択する機能を有する回路８２（ロードライバ）と、画素アレイ８１の列を選択する機能を有する回路８６（カラムドライバ）と、画素８０の出力信号に対して相関二重サンプリング処理を行うための回路８３（ＣＤＳ回路）と、回路８３から出力されたアナログデータをデジタルデータに変換する機能を有する回路８４（Ａ／Ｄ変換回路等）と、回路８４で変換されたデータを選択して読み出す機能を有する回路８５と、を有する。なお、回路８３を設けない構成とすることもできる。
【０２６４】
例えば、光電変換素子を除く画素アレイ８１の要素は、図２２（Ａ）に示す層６２に設けることができる。回路８２乃至回路８５の要素は、層６３に設けることができる。これらの回路はシリコントランジスタを用いたＣＭＯＳ回路で構成することができる。
【０２６５】
当該構成とすることで、それぞれの回路に適したトランジスタを用いることができ、かつ撮像素子の面積を小さくすることができる。
【０２６６】
図２３（Ａ）、（Ｂ）、（Ｃ）は、図２２（Ａ）に示す撮像素子の具体的な構成を説明する図である。説明を分かり易くするため、図２３（Ａ）、（Ｂ）、（Ｃ）では、撮像素子が有する画素の一部を示しててる。図２３（Ａ）は、トランジスタ５１、５３、５４、５５のチャネル長方向を示す断面図である。図２３（Ｂ）は一点鎖線Ａ１−Ａ２の断面図であり、トランジスタ５２のチャネル幅方向の断面を示している。図２３（Ｃ）は一点鎖線Ｂ１−Ｂ２の断面図であり、トランジスタ５３のチャネル幅方向の断面を示している。
【０２６７】
撮像素子は、層６１乃至層６３の積層とすることができる。層６１は、セレン層を有する光電変換素子５０の他、隔壁９２を有する構成とすることができる。隔壁９２は、電極６５の段差を覆うように設けられる。光電変換素子５０に用いるセレン層は高抵抗であり、画素間で分離しない構成とすることができる。
【０２６８】
層６２にはＯＳトランジスタであるトランジスタ５１、５２、５５、５６が設けられる。トランジスタ５１、トランジスタ５２はともにバックゲート９１を有する構成を示している。なお、トランジスタ５１、５２、５５、５６は、少なくともいずれかがバックゲートを有する形態であってもよい。バックゲート９１は、図２３（Ｂ）に示すように対向して設けられるトランジスタのフロントゲートと電気的に接続する場合がある。または、バックゲート９１にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。
【０２６９】
また、図２３（Ａ）では、ＯＳトランジスタとしてセルフアラインのトップゲート型トランジスタを例示しているが、図２４（Ａ）に示すように、ノンセルフアライン型のトランジスタであってもよい。
【０２７０】
層６３には、Ｓｉトランジスタであるトランジスタ５３およびトランジスタ５４が設けられる。図２３（Ａ）においてＳｉトランジスタはシリコン基板４００に設けられたフィン型の半導体層を有する構成を例示しているが、図２４（Ｂ）に示すように、シリコン基板２０１に活性領域を有するプレーナー型であってもよい。または、図１８（Ｃ）に示すようにシリコン薄膜の半導体層２１０を有するトランジスタであってもよい。半導体層２１０は、例えば、シリコン基板２０２上の絶縁層２２０上に形成された単結晶シリコン（ＳＯＩ（Ｓｉｌｉｃｏｎ  ｏｎ  Ｉｎｓｕｌａｔｏｒ））とすることができる。または、ガラス基板などの絶縁表面上に形成された多結晶シリコンであってもよい。この他、層６３には画素を駆動するための回路を設けることができる。
【０２７１】
ＯＳトランジスタが形成される領域とＳｉトランジスタが形成される領域との間には、水素の拡散を防止する機能を有する絶縁層９３が設けられる。トランジスタ５３、５４の活性領域近傍に設けられる絶縁層中の水素はシリコンのダングリングボンドを終端する。一方、トランジスタ５１、５２の活性層である酸化物半導体層の近傍に設けられる絶縁層中の水素は、酸化物半導体層中にキャリアを生成する要因の一つとなる。
【０２７２】
絶縁層９３により、一方の層に水素を閉じ込めることでトランジスタ５３、５４の信頼性を向上させることができる。また、一方の層から他方の層への水素の拡散が抑制されることでトランジスタ５１、５２の信頼性も向上させることができる。
【０２７３】
絶縁層９３としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア（ＹＳＺ）等を用いることができる。
【０２７４】
図２５（Ａ）は、本発明の一態様の撮像素子にカラーフィルタ等を付加した例を示す断面図である。当該断面図では、３画素分の画素回路を有する領域の一部を示している。光電変換素子５０が形成される層６１上には、絶縁層３００が形成される。絶縁層３００は可視光に対して透光性の高い酸化シリコン膜などを用いることができる。また、パッシベーション膜として窒化シリコン膜を積層してもよい。また、反射防止膜として、酸化ハフニウムなどの誘電体膜を積層してもよい。
【０２７５】
絶縁層３００上には、遮光層３１０が形成されてもよい。遮光層３１０は、上部のカラーフィルタを通る光の混色を防止する機能を有する。遮光層３１０には、アルミニウム、タングステンなどの金属層を用いることができる。また、当該金属層と反射防止膜としての機能を有する誘電体膜を積層してもよい。
【０２７６】
絶縁層３００および遮光層３１０上には、平坦化膜として有機樹脂層３２０を設けることができる。また、画素別にカラーフィルタ３３０（カラーフィルタ３３０ａ、カラーフィルタ３３０ｂ、カラーフィルタ３３０ｃ）が形成される。例えば、カラーフィルタ３３０ａ、カラーフィルタ３３０ｂおよびカラーフィルタ３３０ｃに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）などの色を割り当てることにより、カラー画像を得ることができる。
【０２７７】
カラーフィルタ３３０上には、可視光に対して透光性を有する絶縁層３６０などを設けることができる。
【０２７８】
また、図２５（Ｂ）に示すように、カラーフィルタ３３０の代わりに光学変換層３５０を用いてもよい。このような構成とすることで、様々な波長領域における画像が得られる撮像素子とすることができる。
【０２７９】
例えば、光学変換層３５０に可視光線の波長以下の光を遮るフィルタを用いれば赤外線撮像素子とすることができる。また、光学変換層３５０に近赤外線の波長以下の光を遮るフィルタを用いれば遠赤外線撮像素子とすることができる。また、光学変換層３５０に可視光線の波長以上の光を遮るフィルタを用いれば紫外線撮像素子とすることができる。
【０２８０】
また、光学変換層３５０にシンチレータを用いれば、Ｘ線撮像素子などに用いる、放射線の強弱を可視化した画像を得る撮像素子とすることができる。被写体を透過したＸ線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線や紫外光線などの光（蛍光）に変換される。そして、当該光を光電変換素子５０で検知することにより画像データを取得する。また、放射線検出器などに当該構成の撮像素子を用いてもよい。
【０２８１】
シンチレータは、Ｘ線やガンマ線などの放射線が照射されると、そのエネルギーを吸収して可視光や紫外光を発する物質を含む。例えば、Ｇｄ２Ｏ２Ｓ：Ｔｂ、Ｇｄ２Ｏ２Ｓ：Ｐｒ、Ｇｄ２Ｏ２Ｓ：Ｅｕ、ＢａＦＣｌ：Ｅｕ、ＮａＩ、ＣｓＩ、ＣａＦ２、ＢａＦ２、ＣｅＦ３、ＬｉＦ、ＬｉＩ、ＺｎＯなどを樹脂やセラミクスに分散させたものを用いることができる。
【０２８２】
なお、セレン系材料を用いた光電変換素子５０においては、Ｘ線等の放射線を電荷に直接変換することができるため、シンチレータを不要とする構成とすることもできる。
【０２８３】
また、図２５（Ｃ）に示すように、カラーフィルタ３３０ａ、カラーフィルタ３３０ｂおよびカラーフィルタ３３０ｃ上にマイクロレンズアレイ３４０を設けてもよい。マイクロレンズアレイ３４０が有する個々のレンズを通る光が直下のカラーフィルタを通り、光電変換素子５０に照射されるようになる。また、図２５（Ｂ）に示す光学変換層３５０上にマイクロレンズアレイ３４０を設けてもよい。
【０２８４】
以下では、イメージセンサチップを収めたパッケージおよびカメラモジュールの一例について説明する。当該イメージセンサチップには、上記撮像素子の構成を用いることができる。
【０２８５】
図２６（Ａ１）は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ４５０を固定するパッケージ基板４１０、カバーガラス４２０および両者を接着する接着剤４３０等を有する。
【０２８６】
図２６（Ａ２）は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ４４０としたＢＧＡ（Ｂａｌｌ  ｇｒｉｄ  ａｒｒａｙ）の構成を有する。なお、ＢＧＡに限らず、ＬＧＡ（Ｌａｎｄ  ｇｒｉｄ  ａｒｒａｙ）やＰＧＡ（Ｐｉｎ  Ｇｒｉｄ  Ａｒｒａｙ）などであってもよい。
【０２８７】
図２６（Ａ３）は、カバーガラス４２０および接着剤４３０の一部を省いて図示したパッケージの斜視図である。パッケージ基板４１０上には電極パッド４６０が形成され、電極パッド４６０およびバンプ４４０はスルーホールを介して電気的に接続されている。電極パッド４６０は、イメージセンサチップ４５０とワイヤ４７０によって電気的に接続されている。
【０２８８】
また、図２６（Ｂ１）は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ４５１を固定するパッケージ基板４１１、レンズカバー４２１、およびレンズ４３５等を有する。また、パッケージ基板４１１およびイメージセンサチップ４５１の間には撮像素子の駆動回路および信号変換回路などの機能を有するＩＣチップ４９０も設けられており、ＳｉＰ（Ｓｙｓｔｅｍ  ｉｎ  ｐａｃｋａｇｅ）としての構成を有している。
【０２８９】
図２６（Ｂ２）は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板４１１の下面および側面には、実装用のランド４４１が設けられるＱＦＮ（Ｑｕａｄ  ｆｌａｔ  ｎｏ−ｌｅａｄ  ｐａｃｋａｇｅ）の構成を有する。なお、当該構成は一例であり、ＱＦＰ（Ｑｕａｄ  ｆｌａｔ  ｐａｃｋａｇｅ）や前述したＢＧＡ等であってもよい。
【０２９０】
図２６（Ｂ３）は、レンズカバー４２１およびレンズ４３５の一部を省いて図示したモジュールの斜視図である。ランド４４１は電極パッド４６１と電気的に接続され、電極パッド４６１はイメージセンサチップ４５１またはＩＣチップ４９０とワイヤ４７１によって電気的に接続されている。
【０２９１】
イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
【０２９２】
本実施の形態は、他の実施の形態などに記載した構成と適宜組み合わせて実施することが可能である。
【０２９３】
（実施の形態４）
本発明の一態様に係る撮像装置および／または撮像システムなどを用いることができる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。これら電子機器の具体例を図２７に示す。
【０２９４】
図２７（Ａ）は監視カメラであり、筐体９５１、レンズ９５２、支持部９５３等を有する。当該監視カメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば監視カメラとしての機能を有する機器はカメラ、またはビデオカメラとも呼ばれる。
【０２９５】
図２７（Ｂ）はビデオカメラであり、第１筐体９７１、第２筐体９７２、表示部９７３、操作キー９７４、レンズ９７５、接続部９７６等を有する。操作キー９７４およびレンズ９７５は第１筐体９７１に設けられており、表示部９７３は第２筐体９７２に設けられている。当該ビデオカメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
【０２９６】
図２７（Ｃ）はデジタルカメラであり、筐体９６１、シャッターボタン９６２、マイク９６３、発光部９６７、レンズ９６５等を有する。当該デジタルカメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
【０２９７】
図２７（Ｄ）は腕時計型の情報端末であり、筐体９３１、表示部９３２、リストバンド９３３、操作用のボタン９３５、竜頭９３６、カメラ９３９等を有する。表示部９３２はタッチパネルとなっていてもよい。当該情報端末における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
【０２９８】
図２７（Ｅ）携帯電話機の一例であり、筐体９８１、表示部９８２、操作ボタン９８３、外部接続ポート９８４、スピーカ９８５、マイク９８６、カメラ９８７等を有する。当該携帯電話機は、表示部９８２にタッチセンサを備える。電話を掛ける、或いは文字を入力するなどのあらゆる操作は、指やスタイラスなどで表示部９８２に触れることで行うことができる。当該携帯電話機における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
【０２９９】
図２７（Ｆ）は携帯データ端末であり、筐体９１１、表示部９１２、カメラ９１９等を有する。表示部９１２が有するタッチパネル機能により情報の入出力を行うことができる。当該携帯データ端末における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
【０３００】
本実施の形態は、他の実施の形態などに記載した構成と適宜組み合わせて実施することが可能である。
【符号の説明】
【０３０１】
１００    撮像装置
１０１    撮像部
１１０    光学素子
１１１    液晶素子
１１２    偏光フィルタ
１２０    撮像素子
１２１    画素
１２２    画素
１３０    制御部
１４０    演算部
１５０    画像処理部
１５１    ニューラルネットワーク
１６０    記憶部
１７０    補助記憶部
１８０    外部入出力部
１９０    通信部
２００    外部機器
２０１    シリコン基板
２０２    シリコン基板
２１０    半導体層
２２０    絶縁層
２３０    制御部
２４０    演算部
２５０    画像処理部
２５１    ニューラルネットワーク
２７０    記憶部
２８０    補助記憶部
２９０    外部入出力部
【図１】
2019004358.tif 000003
【図２】
2019004358.tif 000004
【図３】
2019004358.tif 000005
【図４】
2019004358.tif 000006
【図５】
2019004358.tif 000007
【図６】
2019004358.tif 000008
【図７】
2019004358.tif 000009
【図８】
2019004358.tif 000010
【図９】
2019004358.tif 000011
【図１０】
2019004358.tif 000012
【図１１】
2019004358.tif 000013
【図１２】
2019004358.tif 000014
【図１３】
2019004358.tif 000015
【図１４】
2019004358.tif 000016
【図１５】
2019004358.tif 000017
【図１６】
2019004358.tif 000018
【図１７】
2019004358.tif 000019
【図１８】
2019004358.tif 000020
【図１９】
2019004358.tif 000021
【図２０】
2019004358.tif 000022
【図２１】
2019004358.tif 000023
【図２２】
2019004358.tif 000024
【図２３】
2019004358.tif 000025
【図２４】
2019004358.tif 000026
【図２５】
2019004358.tif 000027
【図２６】
2019004358.tif 000028
【図２７】
2019004358.tif 000029