(57)【特許請求の範囲】
【請求項１】
２次元配置された複数の画素を含み、撮像データを出力する撮像素子と、
前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が可変に構成された可変フィルタと、
前記可変フィルタを駆動して前記透過波長を時分割的に切り替えるフィルタ駆動部と
を備え、
前記可変フィルタは、それぞれが前記撮像素子の各画素、各画素列または各画素行に対向する複数のサブフィルタを有し、
前記フィルタ駆動部は、前記複数のサブフィルタを個別に駆動する
撮像装置。
【請求項２】
前記可変フィルタは、液晶リオフィルタからなる
請求項１に記載の撮像装置。
【請求項３】
前記液晶リオフィルタは、複数の液晶セルを積層したものであり、
前記フィルタ駆動部は、前記複数の液晶セルのそれぞれに駆動電圧を印加し、それらの駆動電圧の組み合わせによって、前記液晶リオフィルタにおける前記透過波長を設定する
請求項２に記載の撮像装置。
【請求項４】
前記可変フィルタは、圧電ファブリペロー干渉フィルタからなる
請求項１ないし請求項３のいずれか１つに記載の撮像装置。
【請求項５】
２次元配置された複数の画素を含み、撮像データを出力する撮像素子と、
前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が可変に構成された可変フィルタと、
少なくともＲ（赤），Ｇ（緑），Ｂ（青）の各色光を時分割的に切り替えて透過させるように前記可変フィルタを駆動するフィルタ駆動部と、
時間的に連続するタイミングで前記撮像素子から前記撮像データとして出力された、Ｒ，Ｇ，Ｂの各色の画素データを用いて、各タイミングにおけるカラー画像を生成する画像処理部と
を備えた撮像装置。
【請求項６】
前記画像処理部は、
第１のタイミングで取得されたＲ，Ｇ，Ｂのうちのいずれかの波長の第１の画素データと、前記第１のタイミングに時間的に続く第２，第３のタイミングでそれぞれ取得された第２，第３の画素データとの間における被写体の各移動量をそれぞれ算出し、
前記第１および第２の画素データ間の前記被写体の移動量に基づいて、前記第２の画素データに対応する波長の前記第１のタイミングにおける画素データを生成し、かつ
前記第１および第３の画素データ間の前記被写体の移動量に基づいて、前記第３の画素データに対応する波長の前記第１のタイミングにおける画素データを生成する
請求項５に記載の撮像装置。
【請求項７】
前記フィルタ駆動部は、Ｒ，Ｇ，Ｂの各色光と近赤外線とをそれぞれ時分割的に透過させるように前記可変フィルタを駆動し、
前記画像処理部は、時間的に連続するタイミングで前記撮像素子から前記撮像データとして出力された、Ｒ，Ｇ，Ｂの各波長と近赤外線との画素データを用いて、各タイミングにおけるカラー画像を生成する
請求項５に記載の撮像装置。
【請求項８】
前記画像処理部は、
第１のタイミングで取得されたＲ，Ｇ，Ｂおよび近赤外線のうちのいずれかの波長に対応する第１の画素データと、前記第１のタイミングに時間的に続く第２ないし第４のタイミングでそれぞれ取得された第２ないし第４の画素データとの間における被写体の各移動量をそれぞれ算出し、
前記第１および第２の画素データ間の前記被写体の移動量に基づいて、前記第２の画素データに対応する波長の前記第１のタイミングにおける画素データを生成し、
前記第１および第３の画素データ間の前記被写体の移動量に基づいて、前記第３の画素データに対応する波長の前記第１のタイミングにおける画素データを生成し、かつ
前記第１および第４の画素データ間の前記被写体の移動量に基づいて、前記第４の画素データに対応する波長の前記第１のタイミングにおける画素データを生成する
請求項７に記載の撮像装置。
【請求項９】
２次元配置された複数の画素を含み、撮像データを出力する撮像素子と、
前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が可変に構成された可変フィルタと、
前記可変フィルタを駆動して前記透過波長を時分割的に切り替えるフィルタ駆動部と
を備え、
前記可変フィルタは、それぞれが前記撮像素子の各画素、各画素列または各画素行に対向する複数のサブフィルタを有し、
前記フィルタ駆動部は、前記複数のサブフィルタを個別に駆動する
撮像装置を有する電子機器。
【請求項１０】
２次元配置された複数の画素を含み、撮像データを出力する撮像素子と、
前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が可変に構成された可変フィルタと、
少なくともＲ（赤），Ｇ（緑），Ｂ（青）の各色光を時分割的に切り替えて透過させるように前記可変フィルタを駆動するフィルタ駆動部と、
時間的に連続するタイミングで前記撮像素子から前記撮像データとして出力された、Ｒ，Ｇ，Ｂの各色の画素データを用いて、各タイミングにおけるカラー画像を生成する画像処理部と
を備えた
撮像装置を有する電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、例えばカラー撮影に好適な撮像装置およびこれを備えた電子機器に関する。
【背景技術】
【０００２】
一般に、カラー画像を撮影するイメージングデバイス（撮像装置）では、複数の画素を有するイメージセンサ上に、所定の色配列を有するカラーフィルタを設け、空間分割的に分光された撮像データを用いてカラー画像を合成する。具体的には、イメージセンサ上に、例えばＲ（赤），Ｇ（緑），Ｂ（青）のいずれかの色光を選択的に透過させるフィルタを画素毎に配置する。この際のＲ，Ｇ，Ｂの色配列としては、例えばベイヤー配列が一般的である。
【０００３】
一方で、分光法を利用した測定装置では、例えば、光検出素子上に、特定の波長を選択的に透過させる可変フィルタを備えたものが用いられている（例えば、特許文献１〜４）。可変フィルタとしては、例えば電圧駆動によって透過波長を変更可能な、いわゆる液晶リオフィルタが挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３３２２２号公報
【特許文献２】特開２００６−１６５３５２号公報
【特許文献３】特開２００６−１４０７６７号公報
【特許文献４】特開２００８−２１６４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カラー撮影用の撮像装置では、一般に、上記カラーフィルタとして、例えばＲ，Ｇ，Ｂの各顔料を用いて領域を塗り分けたフィルタを用い、各領域においてＲ，Ｇ，Ｂのいずれかの色光を選択的に透過させる。このため、１つの画素ではＲ，Ｇ，Ｂのいずれか一色の色光しか検出できず、特にコントラスト差の大きな被写体に対応する画像では、画像演算処理の結果として、いわゆる擬色や混色といった画質劣化が生じ易い。
【０００６】
本開示はかかる問題点に鑑みてなされたもので、その目的は、擬色および混色の発生を抑えて高画質のカラー画像を取得することが可能な撮像装置およびこれを備えた電子機器を提供することにある。
【課題を解決するための手段】
【０００７】
本開示の第１の撮像装置は、２次元配置された複数の画素を含み、撮像データを出力する撮像素子と、撮像素子の受光面上に設けられ、入射光の選択的な透過波長が可変に構成された可変フィルタと、可変フィルタを駆動して透過波長を時分割的に切り替えるフィルタ駆動部とを備えたものである。可変フィルタは、それぞれが撮像素子の各画素、各画素列または各画素行に対向する複数のサブフィルタを有し、フィルタ駆動部は、複数のサブフィルタを個別に駆動する。
本開示の第２の撮像装置は、２次元配置された複数の画素を含み、撮像データを出力する撮像素子と、撮像素子の受光面上に設けられ、入射光の選択的な透過波長が可変に構成された可変フィルタと、少なくともＲ（赤），Ｇ（緑），Ｂ（青）の各色光を時分割的に切り替えて透過させるように可変フィルタを駆動するフィルタ駆動部と、時間的に連続するタイミングで撮像素子から撮像データとして出力された、Ｒ，Ｇ，Ｂの各色の画素データを用いて、各タイミングにおけるカラー画像を生成する画像処理部とを備えたものである。
【０００８】
本開示の第１の電子機器は、上記本開示の第１の撮像装置を有するものである。
本開示の第２の電子機器は、上記本開示の第２の撮像装置を有するものである。
【０００９】
本開示の第１および第２の撮像装置では、フィルタ駆動部が可変フィルタを駆動し、その透過波長を時分割で切り替えることにより、撮像素子では、可変フィルタにおける透過波長に対応する色の画像データが時間的に連続して出力される。
【発明の効果】
【００１０】
本開示の第１および第２の撮像装置によれば、フィルタ駆動部が可変フィルタを駆動し、その透過波長を時分割で切り替えるようにしたので、撮像素子では、撮像データとして、可変フィルタの透過波長に対応する色の画像データを時間的に連続して出力することができる。このような撮像データに基づいてカラー画像を生成することで、擬色および混色の発生を抑えて高画質のカラー画像を取得することができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施の形態に係る撮像装置の概略構成を表す模式図である。
【図２】図１に示した撮像装置の機能ブロック図である。
【図３】イメージセンサにおける画素回路の等価回路図である。
【図４】図１に示した波長選択回路の等価回路図である。
【図５】図１に示した撮像装置の概略構成を表す断面図である。
【図６】可変フィルタを構成するセルユニットの模式図である。
【図７】（Ａ）〜（Ｃ）は、セルユニットのレイアウトの一例を表す模式図である。
【図８】図１に示した撮像装置の作用を説明するための概念図である。
【図９】画素回路および波長選択回路の駆動するためのタイミング図である。
【図１０】（Ａ）〜（Ｃ）は、可変フィルタの時分割駆動例を表す模式図である。
【図１１】画像処理動作を表すフローチャートである。
【図１２】変形例１に係る画像処理動作を表すフローチャートである。
【図１３】変形例２に係る撮像装置の概略構成を表す断面図である。
【図１４】変形例３に係る可変フィルタの概略構成を表す断面図である。
【図１５】図１４に示した可変フィルタにおける各液晶セルの透過波長の組み合わせの一例である。
【図１６】変形例４に係る可変フィルタの概略構成を表す断面図である。
【図１７】適用例に係る電子機器（カメラ）の機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下、本開示を実施するための形態について図面を参照して説明する。尚、説明は以下の順序で行う。
１．実施の形態（イメージセンサ上に設けた可変フィルタの透過波長（Ｒ，Ｇ，Ｂ）を時分割的に切り替える例）
２．変形例１（Ｒ，Ｇ，Ｂ，近赤外線の時分割駆動，画像処理の他の例）
３．変形例２（イメージセンサの他の例）
４．変形例３（可変フィルタ（液晶リオフィルタ）の他の例）
５．変形例４（可変フィルタに圧電ファブリペロー干渉フィルタを用いた例）
６．適用例（電子機器の例）
【００１３】
＜実施の形態＞
［構成］
図１は、本開示の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、カラー画像（静止画または動画）の撮影に適した撮像装置であり、イメージセンサ１０（撮像素子）の受光面上に、可変フィルタ２０が設けられたものである。可変フィルタ２０は、配線１０ａを介してイメージセンサ１０に形成された電子回路（後述の波長選択回路２１）に接続されている。
【００１４】
（機能ブロック構成，回路構成）
図２は、撮像装置１の機能ブロック構成を表したものである。撮像装置１において、イメージセンサ１０は、基板１１上に画素アレイ部１２を有し、この画素アレイ部１２の周囲に、画素アレイ部１２を駆動するための回路部（例えば行走査部１３、水平選択部１４、列走査部１５およびシステム制御部１６）が配設されている。可変フィルタ２０は、イメージセンサ１０上に画素アレイ部１２に対向するように設けられており、基板１０上に形成された波長選択回路２１に接続されている。撮像装置１はまた、基板１１上に、画像処理部２２を備えている。
【００１５】
イメージセンサ１０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子からなる。画素アレイ部１２は、撮像装置１における撮像エリアとなるものである。この画素アレイ部１２では、入射光の光量に応じた電荷量の光電荷を発生して内部に蓄積する光電変換素子（後述のフォトダイオード１１１Ａ）を含む画素Ｐ（以下、単に「画素」と記述する場合もある）が行列状に２次元配置されている。画素Ｐには、画素駆動線１７として例えば３本の配線（具体的には、後述の行選択線１７１，リセット制御線１７２および転送線１７３）が接続されている。画素駆動線１７は、信号読み出しのための駆動信号を伝送するものである。但し、図１では、簡便化のため、この画素駆動線１７を１本の配線として示している。画素Ｐには更に、読み出した信号を伝送するための垂直信号線１８が接続されている。この画素アレイ部１２の構成については後述する。
【００１６】
行走査部１３は、シフトレジスタやアドレスデコーダ等によって構成され、画素アレイ部１２の各画素Ｐを、例えば行単位で駆動する画素駆動部である。行走査部１３によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線１８の各々を通して水平選択部１４に供給される。水平選択部１４は、垂直信号線１８ごとに設けられたアンプや水平選択スイッチ等によって構成されている。
【００１７】
列走査部１５は、シフトレジスタやアドレスデコーダ等によって構成され、水平選択部１４の各水平選択スイッチを走査しつつ順番に駆動する。この列走査部１５による選択走査により、垂直信号線１８の各々を通して伝送される各画素の信号が順番に水平信号線１９に出力され、当該水平信号線１９を通して基板１１の外部へ伝送される。
【００１８】
可変フィルタ２０は、特定の波長（例えば０．３μｍ〜２．５μｍの範囲のうちのいずれかの波長または波長帯域）にある光を選択的に透過させる、いわゆるバンドパスフィルタ（band pass filter）としての機能を有するものである。この可変フィルタ２０の透過波長は、電気的または機械的な制御により切り替え可能となっている。本実施の形態では、撮像装置１がカラー撮影用のイメージングデバイスとして用いられるため、この可変フィルタ２０が、Ｒ，Ｇ，Ｂの３原色の色光をそれぞれ切り替えて透過させるカラーフィルタとして機能する。この可変フィルタ２０の具体的な構成については後述する。
【００１９】
波長選択回路２１は、上記のような可変フィルタ２０における透過波長を設定（選択）するための電子回路である。この波長選択回路２１は、例えば、イメージセンサ１０に配設されたシステム制御部１６によって制御され、上記のような可変フィルタ２０の各液晶セルへ信号電圧を印加するためのトランジスタ（後述のトランジスタＴｒ５〜Ｔｒ７）を有している。また、詳細は後述するが、可変フィルタ２０を、例えば画素領域単位，画素列（行）単位あるいは全画素単位（面単位）で、時分割的に切り替えるようになっている。この波長選択回路２１の回路構成については後述する。尚、この波長選択回路２１とシステム制御部１６とが、本開示におけるフィルタ駆動部の一具体例に相当する。
【００２０】
画像処理部２２は、イメージセンサ１０において取得された撮像データを用いて所定の演算処理を行い、例えばカラーの画像データＤoutを出力するものである。この画像処理部２２の具体的な画像処理動作については後述する。
【００２１】
システム制御部１６は、基板１１の外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、イメージセンサ１０、波長選択回路２１および画像処理部２２の動作を制御するものであり、例えばマイクロコンピュータ等から構成されている。具体的には、システム制御部１６は、各種のタイミング信号を生成するタイミングジェネレータを有し、当該タイミングジェネレータで生成されたタイミング信号を基に行走査部１３、水平選択部１４、列走査部１５および波長選択回路２１の駆動制御を行うと共に、水平信号線１９から撮像データを画像処理部２２へ出力して、画像処理部２２を駆動させる。
【００２２】
尚、行走査部１３、水平選択部１４、列走査部１５、波長選択回路２１およびシステム制御部１６からなる回路部分は、基板１１上に直に形成されていてもよいし、あるいは外部制御ＩＣに配設されたものであってもよい。また、それらの回路部分は、ケーブル等により接続された他の基板に形成されていてもよい。
【００２３】
（画素回路）
図３は、フォトダイオード１１１Ａを含む画素Ｐの回路構成の一例である。画素Ｐは、例えば、フォトダイオード１１１Ａ（光電変換素子）と、４つのトランジスタＴｒ１，Ｔｒ２，Ｔｒ３，Ｔｒ４と、前述の垂直信号線１８と、画素駆動線１７（行選択線１７１，リセット制御線１７２および転送線７３）とを含んでいる。各画素Ｐには、画素駆動線１７として、例えば、行選択線１７１、リセット制御線１７２および転送線１７３の３本の駆動配線が同一画素行の各画素について共通に接続されている。これらの行選択線１７１、リセット制御線１７２および転送線１７３の各一端は、行走査部１３の各画素行に対応した出力端に、画素行単位で接続されている。
【００２４】
トランジスタＴｒ１〜Ｔｒ４はいずれも、例えばＮチャネル型の電界効果トランジスタであり、例えば微結晶シリコン、結晶シリコンまたは多結晶シリコン等のシリコン系半導体を用いて構成されている。あるいは、酸化インジウムガリウム亜鉛（ＩｎＧａＺｎＯ）または酸化亜鉛（ＺｎＯ）等の酸化物半導体が用いられていてもよい。
【００２５】
トランジスタＴｒ１は、転送トランジスタであり、ゲートが転送線１７３に接続されると共に、ソースおよびドレインのうちの一端が、フォトダイオード１１１Ａの一端（例えばカソード）に接続され、他端がＦＤ（フローティングディフュージョン）に接続されている。トランジスタＴｒ１のゲートには、高レベル（例えば、Ｖｄｄレベル）がアクティブ（以下、「Ｈｉｇｈアクティブ」と記述する）の転送パルスφＴＲＦが転送線１７３を介して与えられる。これにより、トランジスタＴｒ１はオン状態となり、フォトダイオード１１１Ａで光電変換された光電荷をＦＤに転送するようになっている。
【００２６】
トランジスタＴｒ２は、リセットトランジスタであり、ゲートがリセット制御線１７２に接続されると共に、ソースおよびドレインのうちの一端が画素電源Ｖｄｄ、他端がＦＤにそれぞれ接続されている。トランジスタＴｒ２のゲートには、ＨｉｇｈアクティブのリセットパルスφＲＳＴがリセット制御線１７２を介して与えられる。これにより、トランジスタＴｒ２はオン状態となり、フォトダイオード１１１ＡからＦＤへの信号電荷の転送に先立って、それまでにＦＤに蓄積された電荷を画素電源Ｖｄｄへ捨てることによりＦＤをリセットするようになっている。
【００２７】
トランジスタＴｒ３は、増幅トランジスタであり、ゲートがＦＤに接続されると共に、ソースおよびドレインのうちの一端が画素電源Ｖｄｄ、他端がトランジスタＴｒ４にそれぞれ接続されている。このトランジスタＴｒ３は、リセット後のＦＤの電位をリセット信号（リセットレベル）Ｖresetとして出力すると共に、信号電荷転送後のＦＤの電位を光蓄積信号（信号レベル）Ｖsigとして出力するものである。
【００２８】
トランジスタＴｒ４は、選択トランジスタであり、ゲートが行選択線１７１に接続されると共に、ソースおよびドレインのうちの一端がトランジスタＴｒ３、他端が垂直信号線１８にそれぞれ接続されている。トランジスタＴｒ４のゲートには、Ｈｉｇｈアクティブの選択パルスφＳＥＬが行選択線１７１を介して与えられる。これにより、トランジスタＴｒ４はオン状態となり、画素Ｐを選択状態としてトランジスタＴｒ３から出力される信号を垂直信号線１８に中継するようになっている。尚、このトランジスタＴｒ４は、画素電源ＶｄｄとトランジスタＴｒ３のドレインとの間に接続してもよい。また、トランジスタＴｒ３とトランジスタＴｒ４とが兼用されていてもよく、即ち３つのトランジスタを有する回路構成としてもよい。
【００２９】
フォトダイオード１１１Ａは、一端（例えばアノード）が例えばグランド（ＧＮＤ）に接続されており、受光した光をその光量に応じた電荷量の光電荷に変換（光電変換）するものである。フォトダイオード１１１Ａの他端（例えばカソード）は、トランジスタＴｒ１およびＦＤを介してトランジスタＴｒ３のゲートと電気的に接続されている。このフォトダイオード１１１Ａは、その感度域（受光波長帯域）が例えば０．３〜２０μｍの範囲内にあり、このような範囲内にある波長を光電変換可能となっている。このフォトダイオード１１１Ａでは、カソード側に基準電位が印加されることで、入射光の光量（受光量）に応じた電荷量の信号電荷を発生する。本実施の形態では、後述するように、可変フィルタ２０において、Ｒ（赤：例えば６２０ｎｍ〜７５０ｎｍ），Ｇ（緑：例えば４９５ｎｍ〜５７０ｎｍ），Ｂ（青：例えば４５０ｎｍ〜４９５ｎｍ）の３波長の光を選択的に透過させ、各色光に対応する画素データからカラー画像を生成する。このため、フォトダイオード１１１Ａでは、Ｒ，Ｇ，Ｂの波長を含む可視光線に対応する波長（例えば３８０ｎｍ〜７５０ｎｍ程度）に感度を有していればよく、そのような光電変換材料としては、例えば多結晶シリコン、結晶シリコン、微結晶シリコンまたはアモルファスシリコン等が挙げられる。
【００３０】
（波長選択回路２１）
図４は、波長選択回路２１の回路構成の一例である。波長選択回路２１は、可変フィルタ２０を構成する液晶セルＬＣへ信号電圧Ｖoutを印加するためのトランジスタＴｒを有すると共に、信号電圧Ｖoutを設定するためのオペアンプ２８およびデジタルポテンショメータ２９からなる電子回路を有している。トランジスタＴｒのゲートは、システム制御部１６からのタイミング制御信号を伝送するための選択線２７に接続され、ソースおよびドレインのうちの一方がオペアンプ２８の出力端子、他方が液晶セルＬＣの電極（後述の電極２３ａ１，２３ｂ１，２３ｃ１）に接続されている。尚、後述するように本実施の形態では、可変フィルタ２０が、３つの液晶セル２０Ａ〜２０Ｃを有しており、これらの液晶セル２０Ａ〜２０Ｃのそれぞれに個別に印加する信号電圧φ１，φ２，φ３の組み合わせに応じて、透過波長を時分割的に設定する（切り替える）ようになっている。このため、上記回路が液晶セル２０Ａ〜２０Ｃ毎に（あるいは後述するセルユニットＵ毎に）それぞれ設けられており、対応するトランジスタＴｒ５〜Ｔｒ７によって選択的なタイミングで信号電圧φ１，φ２，φ３が印加されるようになっている。尚、図４において、液晶セルＬＣは、液晶セル２０Ａ〜２０Ｃのいずれか、トランジスタＴｒはトランジスタＴｒ５〜Ｔｒ７のいずれか、信号電圧Ｖoutは信号電圧φ１，φ２，φ３のいずれかにそれぞれ相当している。
【００３１】
尚、この例では、デジタルポテンショメータ２９を用いたデジタル信号制御により任意の信号電圧Ｖoutを設定可能となっている。このような構成の場合、信号電圧Ｖoutを調整して製造時の特性ばらつきに対応した補正を行うことができる。あるいは、撮影時の透過波長を、例えばＲ，Ｇ，Ｂ以外の波長（赤外線や紫外線）に切り替える等、任意の波長に設定することが可能となる。また、この例では、デジタルポテンショメータ２９の出力を、オペアンプ２８によって電圧調整し、これを信号電圧Ｖoutとしている。但し、これらのオペアンプ２８およびデジタルポテンショメータ２９は、必要に応じて設ければよい。例えば、可変フィルタ２０の透過波長を固定値とし、用途も限定されている場合には、信号電圧Ｖoutは固定値であればよいので、この場合には、上記のようなデジタルポテンショメータ２９を設けない回路構成としてもよい。また、信号電圧φ１，φ２，φ３として、システム制御部１６より供給される電圧よりも高電圧が必要となる場合には、別途高圧電源を設けるか、あるいは外部から供給するようにしてもよい。もしくは、オペアンプ２８の電源ＶＤＤ２としてチャージポンプ回路からの出力等を用いて増幅効果を高めるようにしてもよい。
【００３２】
（断面構成）
図５は、撮像装置１の断面構造の一部（画素アレイ部１２とその周辺部との境界付近）について模式的に表したものである。イメージセンサ１０は、例えば、基板１１上において、配線層１１２よりも上層に、光電変換層１１４を含む素子層１１３を有する、いわゆる裏面照射型のＣＭＯＳ（Complementary Metal Oxide Semiconductor）である。この構造では、例えば、素子層１１３に、光電変換層１１４と共に上述した画素駆動用のトランジスタＴｒ１〜Ｔｒ４と、波長選択回路２１の一部を構成するトランジスタＴｒ５〜Ｔｒ７が形成されている。光電変換層１１４の直上には、集光用のオンチップレンズ（ＯＣＬ：On Chip Lens）が設けられている。画素アレイ部１２では、画素Ｐ毎に、光電変換層１１４およびオンチップレンズ１１５を含むフォトダイオード１１１Ａと共に、上述したような４つのトラジスタＴｒ１〜Ｔｒ４とが設けられている。このイメージセンサ１０の受光面側には、可変フィルタ２０が積層されている。
【００３３】
可変フィルタ２０は、例えばいわゆる液晶リオフィルタにより構成されている。液晶リオフィルタは、後述するような液晶セルと偏光板との組み合わせによって、最大で透過率をほぼ１００％、半値幅（ＦＷＨＭ：full width at half maximum）が１００ｎｍ程度を実現でき、カラーフィルタとして十分な性能を備えている。尚、この液晶リオフィルタでは、後述のように複数の液晶セルを電圧駆動して透過波長を設定するため、液晶の応答速度が画質に影響を与え易い。このため、液晶セルとしては、応答速度が５ｍｓ程度以下のものを用いることが好ましい。５ｍｓ以下であれば、実用的な動画撮影における６０フレーム／秒に対して、十分に追従することができ、応答遅れによる画質劣化を抑制することができる。このような液晶リオフィルタは、例えば、それぞれを個別に電気的に駆動することが可能な複数の液晶セルと、複数の偏光板とを交互に積層したものである。可変フィルタ２０では、そのような複数の液晶セルに印加される各駆動電圧の組み合わせに応じて、可変フィルタ２０全体の透過波長が変化するようになっている。
【００３４】
このような可変フィルタ２０は、イメージセンサ１０に形成された電子回路（波長選択回路２１）に異方性導電膜２１０および接続用バンプ２１１を介して接続されている。尚、これらの異方性導電膜２１０および接続用バンプ２１１が、図１における配線１０ａの一具体例に相当する。この可変フィルタ２０は、上述したように、例えば液晶リオフィルタからなり、複数（ここでは３つ）の液晶セル２０Ａ，２０Ｂ，２０Ｃと、偏光板２２ａ，２２ｂ，２２ｃ，２２ｄとを交互に積層したものである。このような可変フィルタ２０において、偏光板２２ａ〜２２ｄは、例えば各吸収軸が互いに一致するように配置されている。但し、いわゆる修正型リオフィルタのように、光出射側（イメージセンサ１０側）の偏光板２２ｄの吸収軸を、他の偏光板２２ａ〜２２ｃの吸収軸と直交させて配置してもよい（クロスニコル配置としてもよい）。
【００３５】
液晶セル２０Ａ〜２０Ｃは、液晶の持つＥＣＢ（Electrically Controlled Birefringence：電気制御複屈折）により、選択的な波長を透過させるものである。換言すると、複数の液晶セル２０Ａ〜２０Ｃの各透過波長の組み合わせに応じて、可変フィルタ２０全体として特定波長のみが透過するようになっている。可変フィルタ２０の透過波長は、構成される液晶セルの段数（積層数）やそれらに印加される駆動電圧の組み合わせによって、様々な帯域を取り得ると共に、その透過スペクトルをシャープなものしたり（透過波長の帯域を狭めたり）、逆に透過スペクトルをなだらかにしたり（透過波長の帯域を広範囲に拡げたり）することが可能である。
【００３６】
これらの液晶セル２０Ａ〜２０Ｃはそれぞれ、一対の透明基板２６ａ，２６ｂ間に、液晶層２４が封止されたものである。液晶セル２０Ａは、透明基板２６ａ，２６ｂの液晶層２４側の面に、ＩＴＯ（インジウム錫酸化物）等の透明導電膜からなる電極２３ａ１，２３ａ２を有しており、これらの電極２３ａ１，２３ａ２を通じて、液晶層２４へ所定の電圧が印加されるようになっている。電極２３ａ１，２３ａ２のうち一方の電極２３ａ１は、異方性導電膜２１０および接続用バンプ２１１を介してトランジスタＴｒ５に接続され、他方の電極２３ａ２は例えばグランドに接続されている。これにより、トランジスタＴｒ５を介して、液晶セル２０Ａには所定の駆動電圧φ１が印加される。同様に、液晶セル２０Ｂにおいても、透明基板２６ａ，２６ｂの液晶層２４側の面に、液晶層２４への電圧印加のための電極２３ｂ１，２３ｂ２が設けられ、これらのうち一方の電極２３ｂ１は、異方性導電膜２１０および接続用バンプ２１１を介してトランジスタＴｒ６に接続され、他方の電極２３ｂ２は例えばグランドに接続されている。これにより、液晶セル２０Ｂには所定の駆動電圧φ２が印加される。同様に、液晶セル２０Ｃにおいても、透明基板２６ａ，２６ｂの液晶層２４側の面に、液晶層２４への電圧印加のための電極２３ｃ１，２３ｃ２が設けられ、これらのうち一方の電極２３ｃ１は、異方性導電膜２１０および接続用バンプ２１１を介してトランジスタＴｒ７に接続され、他方の電極２３ａ２は例えばグランドに接続されている。これにより、液晶セル２０Ｃには所定の駆動電圧φ３が印加される。
【００３７】
尚、液晶セル２０Ａ〜２０Ｃでは、各基板２６ａ，２６ｂが、画素アレイ部１２の周辺領域まで延在しており、その周辺領域に、液晶セル２０Ａ〜２０Ｃの個数分（ここでは３箇所）のスルーホールビアが厚み方向に貫通するように形成されている。本実施の形態では、これらのスルーホールビアと、異方性導電膜２１０および接続用バンプ２１１とを用いて、液晶セル２０Ａ〜２０Ｃの一方の電極２３ａ１，２３ｂ１，２３ｃ１のそれぞれと、対応するトランジスタＴｒ５〜Ｔｒ７のいずれかとの電気的接続が確保されている。また、液晶セル２０Ａ〜２０Ｃの他方の電極２３ａ２，２３ｂ２，２３ｃ２についてはいずれも共通のグランド電位に保持されることから、各液晶セルに共通のスルーホールビアと異方性導電膜２１０および接続用バンプ２１１とを用いて、イメージセンサ１０に配設されたＧＮＤ線に接続されている。但し、各液晶セル２０Ａ〜２０Ｃと、イメージセンサ１０に配設された電子回路との電気的接続手法は、上述したものに限定されず、他のスルーホールビアを用いた手法やボンディング等の様々な手法を用いることができる。
【００３８】
上記構成により、可変フィルタ２０では、各液晶セル２０Ａ〜２０Ｃに印加する駆動電圧φ１〜φ３の組み合わせによって、透過波長を設定（切り替え）可能となっている。本実施の形態の撮像装置１では、この可変フィルタ２０における透過波長を、Ｒ，Ｇ，Ｂの各波長に時分割的に（あるいは、時分割的かつ空間分割的に）切り替えつつ、イメージセンサ１０において受光がなされるようになっている。
【００３９】
この可変フィルタ２０では、上記のように個別に電気的制御が可能な液晶セルを複数積層した構造を有するが、このような積層セル構造では、全画素に共通して１つの透過波長が設定されるように構成されていてもよいし、それぞれにおいて個別に透過波長を設定できるように複数のサブフィルタを有していてもよい。具体的には、可変フィルタ２０は、図６に示したような、液晶セル２０Ａ〜２０Ｃと偏光板２２ａ〜２２ｄからなるセルユニット（サブフィルタ）Ｕを１または複数含んで構成されている。換言すると、可変フィルタ２０は、１つのセルユニットＵからなるか、または個別に電圧印加が可能な複数のセルユニットＵを有している。可変フィルタ２０が複数のセルユニットＵを有する場合には、少なくとも電極２３ａ１，２３ｂ１，２３ｃ１が複数（以下に例示するように画素行（列）毎または画素毎に）に分割されていればよい。他の電極２３ａ２，２３ｂ２，２３ｃ２、基板２６ａ，２６ｂ、液晶層２４および偏光板２２ａ〜２２ｄについては、全画素Ｐに共通して設けられていてもよいし、分割されていてもよい。この場合、可変フィルタ２０の積層構造のうち、分割された各電極に対応する領域が、上記セルユニットＵに相当する。
【００４０】
例えば、図７（Ａ）に示したように、１つのセルユニットＵ（この場合、可変フィルタ２０に同じ）が、画素アレイ部１２の全面（全画素Ｐ）にわたって設けられたものであってもよい。この場合には、撮像フレーム毎に（時分割的に）、透過波長を面一括で切り替えることができる。これにより、比較的簡単な演算処理によりフルカラー画像を生成可能である。但し、この面一括制御の場合には、転送レートが高速であることが望ましい。この場合、例えば、３４．８Ｇｂｐｓの高転送レートを実現する技術（ISSCC2011：23.11“a 17.7Mpixel 120fps CMOS Image Sensor with 34.8Gb/s Readout”，T.Toyama et al.，Sony Corp. and Sony LSI Corp.）等を用いることができる。
【００４１】
あるいは、図７（Ｂ）に示したように、画素アレイ部１２の画素列（あるいは画素行）にそれぞれ対向するセルユニットＵを有していてもよい。この場合、透過波長を時分割的に切り替えると共に、１フレーム内においても画素列毎に（空間分割的に）透過波長を切り替えることが可能となる。このような制御では、上記のような面一括制御の場合に比べ、高い転送レートが不要であり、また、隣接画素同士の演算処理によって容易にカラー画像を生成することができる。
【００４２】
更には、図７（Ｃ）に示したように、画素アレイ部１２の各画素Ｐに対向するセルユニットＵを有していてもよい。この場合には、透過波長を時分割的に切り替えると共に、１フレーム内においても画素Ｐ毎に（空間分割的に）透過波長を切り替えることができる。これにより、上記図７（Ｂ）に示した例と同様、転送レートが比較的低くて済むと共にカラー画像を生成し易い、という利点がある。また、選択的な領域のみを特定の波長で撮影する、といった使い方も可能である。これにより、特定の対象物のみの情報を取得したり、あるいは反射成分等の特定の成分を取り除くことでコントラストを向上させることが可能となる。
【００４３】
［作用・効果］
本実施の形態の作用、効果について、図２〜図１１を参照して説明する。図８は、本実施の形態の可変フィルタ２０およびイメージセンサ１０による撮像データ取得動作を説明するための概念図である。
【００４４】
撮像装置１では、システム制御部１６が、イメージセンサ１０の行走査部１３、水平選択部１４および列走査部１５を駆動することにより、画素アレイ部１２では、各画素Ｐ（フォトダイオード１１１Ａ）において露光を行い、光電変換によって受光量に応じた電荷量の電気信号を得る。得られた電気信号は、線順次で垂直信号線１８へ読み出された後、水平信号線１９を経て、撮像データとして画像処理部２２へ出力される。画像処理部２２は、入力された撮像データに基づいて、所定の画像演算処理を行い、カラー画像に対応する画像データＤoutを出力する。
【００４５】
本実施の形態では、上記のようなイメージセンサ１０における撮像動作の際に、システム制御部１６が、波長選択回路２１を駆動し、可変フィルタ２０における透過波長を設定する。これにより、被写体側から可変フィルタ２０へ入射した波長のうち特定の波長のみが可変フィルタ２０を透過して、イメージセンサ１０の画素アレイ部１２へ入射する。
【００４６】
（可変フィルタ２０の透過波長の設定）
ここで、可変フィルタ２０における透過波長の設定は次のようにして行う。即ち、図８に示したように、システム制御部１６は、波長選択回路２１を用いて可変フィルタ２０を構成する液晶セル２０Ａ〜２０Ｃのそれぞれに対し、互いに異なる電圧を印加する。例えば、液晶セル２０Ａには駆動電圧φ１、液晶セル２０Ｂには駆動電圧φ２、液晶セル２０Ｃには駆動電圧φ３をそれぞれ供給する。このときの駆動電圧φ１〜φ３の組み合わせ（液晶セル２０Ａ〜２０Ｃの各透過波長の組み合わせ）により、可変フィルタ２０全体として特定の波長のみが透過され、イメージセンサ１０側へ出射される。即ち、被写体の画像は、可変フィルタ２０によって選択された特定の波長についての撮像データとして取得される。具体的には、図８に示したように、駆動電圧φ１〜φ３の組み合わせに応じて、可変フィルタ２０が赤色光Ｌｒを選択的に透過させることにより、各画素Ｐでは、Ｒ単色のデータ（画素データＤｒ）を得る。あるいは、緑色光Ｌｇを選択的に透過させることにより、Ｇ単色のデータ（画素データＤｇ）を得る。あるいは、青色光Ｌｂを選択的に透過させることにより、Ｂ単色のデータ（画素データＤｂ）を得る。
【００４７】
図９（Ａ）〜（Ｅ）は、システム制御部１６による画素回路および波長選択回路の駆動タイミングの一例を表したものである。これらのうち、図９（Ａ）は、トランジスタＴｒ２（リセットトランジスタ）のリセットパルスφＲＳＴを表すものであり、Ｒ１，Ｒ２，…，は、画素行（または画素列）毎に設けられた各リセット制御線１７２におけるパルス波形を示している。図９（Ｂ）は、トランジスタＴｒ１（転送トランジスタ）の転送パルスφＴＲＦを表すものであり、Ｔ１，Ｔ２，…，は、画素行毎に設けられた各転送線１７３におけるパルス波形を示している。図９（Ｃ）は、トランジスタＴｒ４（選択トランジスタ）の選択パルスφＳＥＬを表すものであり、Ｓ１，Ｓ２，…，は、画素行毎に設けられた各行選択線１７１におけるパルス波形を示している。一方、図９（Ｄ）は、可変フィルタ２０における各液晶セル２０Ａ〜２０Ｃへの駆動電圧φ１〜φ３を表すものである。
【００４８】
上記のように、システム制御部１６は、イメージセンサ１０における行走査部１３、水平選択部１４および列走査部１５と、波長選択回路２１とをそれぞれ同期させて駆動することにより、図９（Ｅ）に示したように、駆動電圧φ１〜φ３の組み合わせに対応する単色のデータとしての信号電荷sig１y，sig２y，…が、垂直信号線１８毎に取得される。
【００４９】
（透過波長（Ｒ，Ｇ，Ｂ）の時分割切り替え動作）
但し、本実施の形態では、可変フィルタ２０における透過波長を時分割的に切り替えつつ、イメージセンサ１０において受光を行い、撮像データを取得する。具体的には、図１０（Ａ）〜（Ｃ）に模式的に示したように、Ｒ，Ｇ，Ｂの各色光が時分割的に切り替わって透過されるように可変フィルタ２０を駆動し、イメージセンサ１０では、各画素ＰにおいてＲ，Ｇ，Ｂの単色のデータ（画素データ）を時間的に連続して取得する。
【００５０】
この際、可変フィルタ２０における透過波長の切り替えは、上述の図７（Ａ）〜（Ｃ）に示したような１または複数のセルユニットＵのそれぞれにおいて個別に行う。例えば、図７（Ａ）の例のように、画素アレイ部１２の全面（全画素Ｐ）にわたって１つのセルユニットＵが設けられている場合には、透過波長を全画素一括（面一括）で時分割的に切り替える。具体的には、図１０（Ａ）に示したように、あるタイミングｔ１においてＲ光を選択的に透過させてＲ単色の画素データを取得し、タイミングｔ１に続くタイミングｔ２では、Ｇ光を選択的に透過させてＧ単色の画素データを取得し、タイミングｔ２に続くタイミングｔ３では、Ｂ光を選択的に透過させてＢ単色の画素データを取得する。
【００５１】
あるいは、図７（Ｂ）の例のように、可変フィルタ２０が画素アレイ部１２の画素列（あるいは画素行）にそれぞれ対向するセルユニットＵ（Ｕ１，Ｕ２，Ｕ３，…）を有している場合には、上記のような時分割制御に加え、透過波長をそのセルユニットＵ１，Ｕ２，Ｕ３，…毎に繰り返し異なるように空間分割的に制御してもよい。具体的には、図１０（Ｂ）に示したように、あるタイミングｔ１では、セルユニットＵ１においてＲ光、セルユニットＵ２においてＧ光、セルユニットＵ３においてＢ光をそれぞれ透過させる。そして、このタイミングｔ１に続くタイミングｔ２では、セルユニットＵ１においてＧ光、セルユニットＵ２においてＢ光、セルユニットＵ３においてＲ光をそれぞれ透過させるように切り替え、更にタイミングｔ２に続くタイミングｔ３では、セルユニットＵ１においてＢ光、セルユニットＵ２においてＲ光、セルユニットＵ３においてＧ光をそれぞれ透過させるように切り替える。
【００５２】
あるいは、図７（Ｃ）の例のように、可変フィルタ２０が画素アレイ部１２の各画素Ｐにそれぞれ対向するセルユニットＵ（Ｕ１，Ｕ２，Ｕ３，Ｕ４，…）を有している場合には、上記のような時分割制御に加え、透過波長をそのセルユニットＵ１，Ｕ２，Ｕ３，Ｕ４，…毎に繰り返し異なるように空間分割的に制御してもよい。具体的には、図１０（Ｃ）に示したように、あるタイミングｔ１では、セルユニットＵ１においてＲ光、セルユニットＵ２においてＧ光、セルユニットＵ３においてＧ光、セルユニットＵ４においてＢ光をそれぞれ透過させる。そして、このタイミングｔ１に続くタイミングｔ２では、セルユニットＵ１においてＧ光、セルユニットＵ２においてＢ光、セルユニットＵ３においてＢ光、セルユニットＵ４においてＲ光をそれぞれ透過させるように切り替える。更に、タイミングｔ２に続くタイミングｔ３では、セルユニットＵ１においてＢ光、セルユニットＵ２においてＲ光、セルユニットＵ３においてＲ光、セルユニットＵ４においてＧ光をそれぞれ透過させるように切り替える。
【００５３】
尚、上記図１０（Ｂ），（Ｃ）のように、空間分割的にも透過波長を切り替え制御する場合には、セルユニットＵ毎に、駆動電圧φ１〜φ３の組み合わせを変化させて、各セルユニットＵを個別に電圧駆動するようにすればよい。
【００５４】
上記のような可変フィルタ２０の透過波長の時分割切り替え制御により、イメージセンサ１０では、各画素Ｐにおいて、Ｒ，Ｇ，Ｂの各単色のデータ（画素データＤｒ，Ｄｇ，Ｄｂ）が時系列に沿って連続的に取得される。このようにして取得されたＲ，Ｇ，Ｂの時系列データを含む撮像データＤ０は、上述のように画像処理部２２に出力される。
【００５５】
（画像処理動作）
図１１は、画像処理部２２における画像演算処理動作の一例を表すフローチャートである。撮像データＤ０では、上述のように、時間的に連続して取得されたＲ，Ｇ，Ｂの各色の画素データを含んでいる。画像処理部２２では、このような撮像データＤ０を用いた演算処理によって、３原色のカラー画像を生成する。
【００５６】
具体的には、まず、画像処理部２２は、システム制御部１６の制御に基づいて、撮像データＤ０として、連続するタイミングｔ１〜ｔ３（上記図７（Ａ）におけるタイミングｔ１〜ｔ３に相当）において得られたＲ，Ｇ，Ｂ単色の画素データＤr(t1)，Ｄg(t2)，Ｄb(t3)を取得する（ステップＳ１）。
【００５７】
次いで、画像処理部２２は、取得した画素データＤr(t1)，Ｄg(t2)，Ｄb(t3)を用いて、時間的に連続する撮像フレーム間における微小な被写体の位置ずれをサブピクセルの精度で推定（レジストレーション）し、タイミングｔ１におけるＲ，Ｇ，Ｂの３色の画素データを生成する（ステップＳ２）。これは、各タイミングｔ１〜ｔ３間の間隔Δｔが十分に短いものと仮定して、時間的に連続するフレーム間の画素データを用いて画素間の隙間を埋め込む（補間する）処理である。特に、動画撮影の場合は、各タイミング間隔は例えば数十ｍｓ程度と十分に短いことから、受光量変化を被写体の平行移動のみによるものと仮定することができる。レジストレーション技法としては、例えば以下に説明するようなオプティカルフロー法などを用いることができる。
【００５８】
オプティカルフロー法は、ある微小期間における被写体の移動量を求め、この移動量に基づいて、画像を補間生成するものである。ここで、２次元平面において互いに直交するｘ，ｙ方向において、ｘ方向に沿った移動量をｕ、ｙ方向に沿った移動量をｖとすると、各移動量ｕ，ｖは、以下の式（１）に示した誤差関数Ｅ（ｕ，ｖ）を最小化することにより求めることができる。尚、式（１）において、Ｉ1は、あるタイミングｔにおいて観測された画像を表し、Ｉ2は、タイミングｔからΔｔだけ経過したタイミングにおいて観測された画像を表している。移動量ｕ，ｖがいずれも非常に小さい場合には、Ｉ2はテイラー級数展開により、以下の式（２）のように近似することができる。これにより、誤差関数Ｅ（ｕ，ｖ）は、以下の式（３）のように表される。そして、この式（３）をｕ，ｖのそれぞれについて偏微分し、その偏微分が０となるｕ，ｖを求めると、以下の式（４）のように表される。尚、式（４）において、Ａは式（５）、ｂは式（６）によってそれぞれ表されるものである。
【００５９】
【数１】
0005909975.tif 000002
【００６０】
ステップＳ２のレジストレーションの際には、画像処理部２２は、まず、上記オプティカルフロー法を用いて、Ｒの画素データＤr(t1)を取得したタイミングｔ１と、Ｇの画素データＤg(t2)を取得したタイミングｔ２との間の移動量（ｕ12，ｖ12）を算出する（ステップＳ２１）。このようにして算出された移動量（ｕ12，ｖ12）を考慮して、タイミングｔ１におけるＧの画素データＤrg(t1)を推定する（ステップＳ２２）。またこの一方で、画像処理部２２は、上記オプティカルフロー法を用いて、Ｒの画素データＤr(t1)を取得したタイミングｔ１と、Ｂの画素データＤb(t3)を取得したタイミングｔ３との間の移動量（ｕ13，ｖ13）を算出する（ステップＳ２３）。このようにして算出された移動量（ｕ13，ｖ13）を考慮して、タイミングｔ１におけるＢの画素データＤrb(t1)を推定する（ステップＳ２４）。
【００６１】
続いて、画像処理部２２は、上記のような推定演算処理によって求めたタイミングｔ１におけるＧ，Ｂの画素データＤrg(t1)，Ｄrb(t1)と、タイミングｔ１において取得されたＲの画素データＤr(t1)とを足し合わせることにより、タイミングｔ１におけるカラー（３原色）の画素データ（１ピクセルのデータ）Ｄrgb(t1)を生成する。そして、このような演算処理を、全画素Ｐについて行い、これらを加算する。これにより、タイミングｔ１で撮影され、画素アレイ部１２の画素数Ｎに対応する解像度を有するカラー画像Ｉrgb(t1)を生成する。あるいは、次のような手順でカラー画像Ｉrgb(t1)を生成してもよい。即ち、タイミングｔ１の画素データＤr(t1)，Ｄrg(t1)，Ｄrb(t1)を全画素Ｐにおいて上記レジストレーションによって求め、それらを色毎に合成することにより、Ｒの画像Ｉr(t1)，Ｇの画像Ｉg(t1)，Ｂの画像Ｉb(t1)をそれぞれ生成する。そして、これらの各色の画像Ｉr(t1)，Ｉg(t1)，Ｉb(t1)を足し合わせて、カラー画像Ｉrgb(t1)を生成するようにしてもよい。
【００６２】
そして、タイミングｔ４以降についてもＲ→Ｇ→Ｂの順に繰り返し画素データを時間的に連続して取得し、各タイミングｔ２，ｔ３，…を基準にして同様の演算処理を行うことで、タイミングｔ２以降においても、カラー画像Ｉrgb(t2)，Ｉrgb(t3)，…を生成することができる。例えば、タイミングｔ２におけるカラーの画素データＤrgb(t2)は、次のようにして求める。即ち、Ｇの画素データＤg(t2)を取得したタイミングｔ２と、Ｂの画素データＤb(t3)を取得したタイミングｔ３との間の移動量（ｕ23，ｖ23）を算出し、この移動量（ｕ23，ｖ23）を考慮して、タイミングｔ２におけるＢの画素データＤgb(t2)を推定する。一方、Ｇの画素データＤg(t2)を取得したタイミングｔ２と、Ｒの画素データＤr(t4)を取得したタイミングｔ４との間の移動量（ｕ24，ｖ24）を算出し、この移動量（ｕ24，ｖ24）を考慮して、タイミングｔ２におけるＲの画素データＤgr(t2)を推定する。このようにしてタイミングｔ２におけるＢ，Ｒの画素データＤgb(t2)，Ｄgr(t2)を生成する。
【００６３】
尚、上記演算処理では、画素Ｐから得られた画素データ毎にレジストレーションおよびＲＧＢ足し合わせを行い、最後に合成してカラー画像を生成したが、画素単位に限らず、２以上の画素からなるブロック領域単位、画素列単位、画素行単位、全画素（面，フレーム）単位で、それぞれ上記のようなレジストレーションを行い、カラーの画像データを生成してもよい。即ち、Ｒ，Ｇ，Ｂの時系列データを用いて各タイミングのカラー画像を生成するものであれば、後述する効果（偽色や混色の発生を抑制する）を得ることができる。
【００６４】
また、特に静止画撮影の場合等、被写体の移動量が極めて小さい（例えば５０ｍｓ程度の間に映像がぶれない）ものであれば、以下のようにしてカラー画像を生成することもできる。即ち、タイミングｔ１〜ｔ３の時間間隔が十分に短いと仮定した場合、ある画素Ｐでは、タイミングｔ１のＲの出力をζ１、タイミングｔ２のＧの出力をζ２、タイミングｔ３のＢの出力をζ３、人間の目が感じるＲ，Ｇ，Ｂの各スペクトルをＲ（λ），Ｇ（λ），Ｂ（λ）とすると、画素Ｐのタイミングｔ（＝Σｔi／３（ｉ＝１，２，３））の入射光スペクトルＡ（λ）は、以下の式（７）のように表される。この関係に基づいて、タイミングｔ１〜ｔ３におけるカラー画像を生成してもよい。
【００６５】
【数２】
0005909975.tif 000003
【００６６】
このように、本実施の形態では、静止画撮影および動画撮影のいずれの場合においても、連続的にカラー画像を生成することができる。尚、画像処理部２２は、上述した演算処理の他にも、例えばデモザイク処理等のカラー補間処理を併用してもよく、また、ホワイトバランス調整処理やガンマ補正処理等を別途行うようにしてもよい。
【００６７】
以上のように、本実施の形態の撮像装置１では、可変フィルタ２０において、その透過波長（例えばＲ，Ｇ，Ｂ）を時分割で切り替えつつ、イメージセンサ１０において撮像を行う。これにより、撮像データＤ０として、可変フィルタ２０の透過波長に対応するＲ，Ｇ，Ｂの単色の画素データを時間的に連続して取得することができる。
【００６８】
ここで、カラー撮影を行う一般的な撮像装置では、イメージセンサの受光面にＲ，Ｇ，Ｂのいずれかの色を透過させるカラーフィルタ（Ｒ，Ｇ，Ｂの各透過領域が空間分割的に配置されたフィルタ）が設けられている。このような構成では、イメージセンサの各画素においてＲ，Ｇ，Ｂのいずれか１色の画素データしか得られないため、カラー補間処理を行って、イメージセンサの画素数分のＲ，Ｇ，Ｂの画素データを生成する必要がある。このような撮像装置では、特にコントラスト差の大きなカラー画像を生成する際に、いわゆる偽色や混色が生じ易く、表示品質を低下させてしまう。
【００６９】
これに対し、本実施の形態では、上記のように、可変フィルタ２０を用いてＲ，Ｇ，Ｂの各画素データを時間的に連続して取得し、これらのＲ，Ｇ，Ｂの画素データに基づいて所定の画像処理を行うことにより各撮影タイミングにおけるカラー画像を生成する。時分割駆動によるＲ，Ｇ，Ｂの画像取得タイミングは極めて短い期間になされることから、時間的に連続して取得されたＲ，Ｇ，Ｂの各画像は、擬似的に同時刻に取得されたものに等しい。このため、それらのＲ，Ｇ，Ｂの各画像を加算し、平均化する演算処理を行った場合であっても、擬色や混色が生じにくい。よって、擬色および混色の発生を抑えて高画質のカラー画像を取得することが可能となる。
【００７０】
以下、上記実施の形態の変形例（変形例１〜４）について説明する。尚、上記実施の形態の撮像装置１と同様の構成要素については同一の符号を付し適宜説明を省略する。
【００７１】
＜変形例１＞
上記実施の形態では、画像処理部２２が、Ｒ，Ｇ，Ｂの時系列データを用いてカラー画像を生成する演算処理を行う場合について説明したが、カラー画像を生成する際に、Ｒ，Ｇ，Ｂに加え、更に他の波長、例えば近赤外線（ＩＲ）等のデータを用いるようにしてもよい。
【００７２】
但し、本変形例では、イメージセンサ１０の各画素Ｐに配置されるフォトダイオード１１１Ａに、Ｒ，Ｇ，Ｂの各波長に加え、近赤外線（例えば０．７μｍ〜２．５μｍ）、中赤外線（例えば２．５μｍ〜４μｍ）あるいは遠赤外線（例えば４μｍ〜２０μｍ）についても良好な感度を有する光電変換材料が用いられることが望ましい。このような光電変換材料としては、例えばＰｂＴｅ，ＳｎＴｅ，ＰｂＳｅ，ＳｎＳｅ，およびそれらの混晶であるＰｂＳｎＴｅ，ＰｂＳｎＳｅＴｅ，ＰｂＥｕＴｅなどの化合物半導体が挙げられる。これらの化合物半導体では、バンドギャップが極めて狭い(０．３ｅＶ以下)ことから、遠赤外線およびそれよりも短い波長（２０μｍ以下の波長）の光吸収率が良好である。従って、材料の吸収係数の波長依存性によって、紫外域から赤外域までの範囲内の任意の波長に対して光電変換可能となる。尚、本変形例における光電変換材料としては、このような化合物半導体に限らず、光電変換材料として機能する有機半導体が用いられていてもよい。尚、このような赤外域まで感度を有する化合物半導体や有機半導体は、上記実施の形態のようにＲ，Ｇ，Ｂのデータのみを用いてカラー画像を生成する場合にも、勿論使用可能である。
【００７３】
一方、可変フィルタ２０については、上記実施の形態と同様のものを用いることができ、例えば上記実施の形態のように液晶セル２０Ａ〜２０Ｃを積層させてなるリオフィルタが用いられる。本変形例では、各液晶セル２０Ａ〜２０Ｃへの駆動電圧φ１〜φ３の組み合わせを適切に設定することにより、あるタイミングにおいて近赤外線を選択的に透過させるように可変フィルタ２０を駆動することができる。
【００７４】
本変形例では、可変フィルタ２０を用いて、Ｒ，Ｇ，Ｂ，ＩＲの４波長を時分割的に切り替えて透過させつつ、イメージセンサ１０の各画素Ｐにおいて、上記のような赤外域に感度を有するフォトダイオード１１１Ａを用いて撮像を行う。これにより、各画素Ｐでは、Ｒ，Ｇ，Ｂ，ＩＲの各画素データＤｒ，Ｄｇ，Ｄｂ，Ｄｉが時系列に沿って連続的に取得される。このようにして取得されたＲ，Ｇ，Ｂ，ＩＲの時系列データを含む撮像データＤ０は、画像処理部２２に出力される。
【００７５】
図１２は、変形例１に係る画像演算処理のフローチャート図である。本変形例において、画像処理部２２は、次のようにしてカラー画像を生成する。即ち、まず、画像処理部２２は、システム制御部１６の制御に基づいて、撮像データＤ０として、連続するタイミングｔ１〜ｔ４において得られたＲ，Ｇ，Ｂ，ＩＲの各画素データＤr(t1)，Ｄg(t2)，Ｄb(t3)，Ｄi(t4)を取得する（ステップＳ４）。
【００７６】
次いで、画像処理部２２は、取得した画素データＤr(t1)，Ｄg(t2)，Ｄb(t3)，Ｄi(t4)を用いて、例えば上述のようなオプティカルフロー法によりレジストレーションを行い、タイミングｔ１におけるＲ，Ｇ，Ｂの３色の画素データを生成する（ステップＳ５）。具体的には、上記実施の形態と同様にして、Ｒの画素データＤr(t1)を取得したタイミングｔ１と、Ｇの画素データＤg(t2)を取得したタイミングｔ２との間の移動量（ｕ12，ｖ12）を算出する（ステップＳ５１）。このようにして算出された移動量（ｕ12，ｖ12）を考慮して、タイミングｔ１におけるＧの画素データＤrg(t1)を推定する（ステップＳ５２）。また、Ｒの画素データＤr(t1)を取得したタイミングｔ１と、Ｂの画素データＤb(t3)を取得したタイミングｔ３との間の移動量（ｕ13，ｖ13）を算出する（ステップＳ５３）。このようにして算出された移動量（ｕ13，ｖ13）を考慮して、タイミングｔ１におけるＢの画素データＤrb(t1)を推定する（ステップＳ５４）。そして、本変形例では更に、Ｒの画素データＤr(t1)を取得したタイミングｔ１と、ＩＲの画素データＤi(t4)を取得したタイミングｔ４との間の移動量（ｕ14，ｖ14）を算出する（ステップＳ５５）。このようにして算出された移動量（ｕ14，ｖ14）を考慮して、タイミングｔ１におけるＩＲの画素データＤri(t1)を推定する（ステップＳ５６）。
【００７７】
続いて、画像処理部２２は、上記のような推定演算処理によって求めたタイミングｔ１におけるＧ，Ｂ，ＩＲの画素データＤrg(t1)，Ｄrb(t1)，Ｄri(t1)と、タイミングｔ１において取得されたＲの画素データＤr(t1)とを足し合わせることにより、タイミングｔ１におけるカラー（３原色）の画素データ（１ピクセルのデータ）Ｄrgb(t1)を生成する。このような演算処理を、全画素Ｐについて行い加算することにより、カラー画像Ｉrgb(t1)を生成する。また、タイミングｔ５以降についてもＲ→Ｇ→Ｂ→ＩＲの順に繰り返し画素データを時間的に連続して取得し、各タイミングｔ２，ｔ３，…を基準にして同様の演算処理を行うことで、タイミングｔ２以降においても、カラー画像Ｉrgb(t2)，Ｉrgb(t3)，…を生成することができる。
【００７８】
本変形例のように、Ｒ，Ｇ，Ｂの各色光に加え、近赤外線に基づく画素データを取得し、これら４波長分の画素データを用いてカラー画像を生成してもよい。この場合であっても、上記実施の形態と同様、Ｒ，Ｇ，Ｂの時系列データに基づいてカラー画像を生成することから、擬色および混色の発生を抑制することができる。よって、上記実施の形態と同等の効果を得ることができる。
【００７９】
また、近赤外線を用いることにより、例えば暗所においても明るい画像を取得することができる。また、ここで、一般的なカラーフィルタを用いた場合には、空間分割によりＩＲフィルタを設ける必要があるため、既存の色配列（例えばベイヤー配列等）をそのまま適用できない。本変形例では、上述のように可変フィルタ２０の電気的制御により透過波長を近赤外線へ切り替え可能であるので、波長設計変更が容易である。
【００８０】
＜変形例２＞
図１３は、変形例２に係るイメージセンサ（イメージセンサ１０Ｂ）を備えた撮像装置の断面構造の一部について模式的に表したものである。本変形例においても、イメージセンサ１０Ｂの受光面上に可変フィルタ２０が設けられるが、本変形例では、イメージセンサ１０Ｂが、例えば、基板１１上において、配線層１１２よりも下層に、光電変換層１１４を含む素子層１１６を有する、いわゆる表面照射型のＣＭＯＳである。この構造においても、上記裏面照射型の場合と同様、素子層１１６には、光電変換層１１４と共に上述した画素駆動用のトランジスタＴｒ１〜Ｔｒ４と、波長選択回路２１の一部を構成するトランジスタＴｒ５〜Ｔｒ７が形成されている。但し、本変形例では、光電変換層１１４の直上の配線層１１７に対応する領域には導波路層１１８が形成されており、この導波路層１１８上にオンチップレンズ１１５が設けられている。このように、イメージセンサ１０Ｂとしては、裏面照射型に限らず表面照射型のものを用いてもよい。
【００８１】
＜変形例３＞
図１４は、変形例３に係る可変フィルタ（可変フィルタ３０）の断面構造を表したものである。本変形例の可変フィルタ３０は、上記実施の形態の可変フィルタ２０と同様、イメージセンサ１０の受光面上に設けられ、透過波長を時分割的に切り替える機能を有するものである。また、例えば複数の液晶セルを積層した液晶リオフィルタからなり、必要に応じて、基板面に沿った方向において複数のセルユニットＵを有していてもよい。
【００８２】
但し、本変形例では、可変フィルタ３０が、７つ（７段）の液晶セル２０Ａ〜２０Ｇと、８枚の偏光板２２ａ〜２２ｉを交互に積層してなる。これらの７つの液晶セル２０Ａ〜２０Ｇはそれぞれ、上記実施の形態において説明した液晶セル２０Ａ〜２０Ｃと同様の構成を有しており、異方性導電膜２１０および接続用バンプ２１１を介して、イメージセンサ１０に配設されたトランジスタ（図１４には図示せず）に電気的に接続されている。尚、図１４では、各液晶セル２０Ａ〜２０Ｇとトラジスタとを接続するためのスルーホールビア、異方性導電膜２１０および接続用バンプ２１１の各一部のみを示しており、他の図示しない部分にも、これらのビア、異方性導電膜２１０および接続用バンプ２１１が形成されている。これにより、液晶セル２０Ａ〜２０Ｇのそれぞれを個別に電気的に制御することができる。
【００８３】
このように、可変フィルタ３０の段数を増やし、例えば７つの液晶セル２０Ａ〜２０Ｇを積層した場合にも、それぞれに対する駆動電圧φ１〜φ７の組み合わせを適切に設定することにより、上記実施の形態と同様、所望の選択的な波長を透過させることができ、その透過波長を時分割で切り替えることができる。
【００８４】
また、本変形例のように、液晶セルの段数を増やすことにより、可変フィルタの透過波長のスペクトルをよりきめ細やかに制御することができる。一例として、図１５に、液晶セル２０Ａ〜２０Ｇの各透過波長λa〜λgと、可変フィルタ３０全体の透過波長λ0について示す。この例では、液晶セル２０Ａ〜２０Ｇの各透過波長λa〜λgを図示したように設定することで、透過波長のスペクトルピークを約５００ｎｍに設定することができる。更に、ＦＷＨＭを２０ｎｍ程度にまで狭めることができ、これにより、特に物質固有の吸収もしくは反射スペクトル強度を取得し易くなる。即ち、特定物質の濃度や位置の検出なども可能となり、特定物質の測定機能や検出機能が必要とされる電子機器向けの撮像装置を実現できる。
【００８５】
＜変形例４＞
図１６は、変形例４に係る可変フィルタ（可変フィルタ４０）の概略構成を表したものである。上記実施の形態および変形例１〜３ではいずれも、可変フィルタの一例として液晶リオフィルタを挙げたが、本変形例のように圧電ファブリペロー干渉フィルタを用いてもよい。この圧電ファブリペロー干渉フィルタは、例えば、対向する一対の基板４１ａ，４１ｂ間に、圧電素子４２をスペーサとして設け、圧電素子４２を電圧駆動することにより、基板４１ａ，４１ｂ間のセルギャップを調整できるようになっている。基板４１ａ，４１ｂの各対向面には、光を反射または透過させる半透過鏡４３ａ，４３ｂが貼り合わせられている。このような構成において、入射光Ｌを基板４１ａ，４１ｂ間（半透過鏡４３ａ，４３ｂ間）において反射させることによって干渉させ、選択的な波長のみを透過させる。このとき、圧電素子４２の制御によりセルギャップを調整することで、透過波長を任意に設定可能となっている。このように、可変フィルタ４０は、圧電ファブリペローフィルタから構成されていてもよく、この場合であっても、電気的および機械的制御によりセルギャップを変化させ、透過波長を切り替えることができる。従って、Ｒ，Ｇ，Ｂの各波長を時分割的に切り替えることができる。これにより上記実施の形態と同様、Ｒ，Ｇ，Ｂの時系列データを取得して、カラー画像を生成することが可能である。よって、上記実施の形態と同等の効果を得ることができる。
【００８６】
＜適用例＞
上記実施の形態および変形例１〜４に係る構成を含む撮像装置１は、撮影機能、測定機能および表示機能等を有する様々な種類の電子機器に適用可能である。上述したように撮像装置１は、高画質のカラー画像を提供できることから、カメラ（デジタルスチルカメラまたはビデオカメラ）や、撮影機能を有する携帯電話機やＰＤＡ（Personal Digital Assistant）などのモバイル機器に好適である。また、この他にも、特定物質の測定（検出）装置等にも適用可能である。図１７にその一例としてカメラ（カメラ２）の機能ブロック構成について示す。
【００８７】
カメラ２は、レンズ群３１等を含む光学系、撮像装置１、カメラ信号処理部であるＤＳＰ回路３２、フレームメモリ３５、表示装置３３、記録装置３６、操作系３４および電源系３７等を備えている。これらのうち、ＤＳＰ回路３２、フレームメモリ３５、表示装置３３、記録装置３６、操作系３４および電源系３７は、バスライン３８を介して相互に接続された構成となっている。
【００８８】
レンズ群３１は、被写体からの入射光（像光）を取り込んで撮像装置１の撮像面（受光面）上に結像するものであり、１または複数のレンズから構成されている。撮像装置１は、レンズ群３１によって撮像面上に結像された入射光に基づいて撮像データＤ０を出力する。表示装置３３は、例えば液晶表示装置または有機ＥＬ(electro luminescence)表示装置等からなり、撮像装置１で撮影された動画または静止画（画像処理部２２による画像処理後のカラー画像）を表示するものである。記録装置３６は、撮像装置１で撮像された動画または静止画を、ビデオテープやＤＶＤ(Digital Versatile Disk)等の記録媒体に記録するものである。操作系３４は、ユーザによる操作に応じて外部信号入力手段として機能するものであり、カメラ２の持つ様々な機能について操作指令を受け取り、内部へ伝達するものである。電源系３７は、ＤＳＰ回路３２、フレームメモリ３５、表示装置３３、記録装置３６および操作系３４の動作電源となる各種の電源を含むものである。
【００８９】
以上、実施の形態および変形例を挙げて説明したが、本開示内容は上記実施の形態に限定されるものではなく、種々変形可能である。例えば、上記実施の形態等では、イメージセンサとして、裏面照射型または表面照射型のＣＭＯＳを例に挙げたが、ＣＭＯＳに限らず、ＣＣＤ(Charge Coupled Device Image Sensor：電荷結合素子)、またはＭＯＳ型イメージセンサであってもよい。
【００９０】
また、上記実施の形態等では、可変フィルタにおいて、Ｒ，Ｇ，Ｂの３波長またはＲ，Ｇ，Ｂ，ＩＲの４波長を時分割的に切り替えて透過させる場合について説明したが、可変フィルタの透過波長はこれらに限定される訳ではなく、必要とされる任意の波長を設定可能である。例えば、Ｒ，Ｇ，Ｂ以外にも、黄色（例えば５７０ｎｍ〜５９０ｎｍ）や、橙色（例えば５９０ｎｍ〜６２０ｎｍ）の波長を透過させるようにしてもよい。また、撮像装置１が、特定物質の測定（検出）装置に用いられる場合には、測定対象となる物質に対応する波長を透過させるようにしてもよい。上述したように、可変フィルタでは、その透過波長を電気的制御（または機械的制御）により調整可能であるので、必要に応じて所望の透過波長に設定すればよい。更に、時分割的に切り替える波長の数についても、上述した３波長または４波長に限定されず、２波長であってもよいし、５波長以上であってもよい。
【００９１】
尚、本開示は、以下の（１）〜（１４）に記載したような構成であってもよい。
（１）複数の画素を含み、撮像データを取得する撮像素子と、前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が変化するように構成された可変フィルタと、前記可変フィルタを駆動して前記透過波長を設定するフィルタ駆動部とを備え、前記フィルタ駆動部は、前記可変フィルタにおける前記透過波長を時分割的に切り替える撮像装置。
（２）前記撮像素子において前記複数の画素が２次元配置され、前記可変フィルタは、それぞれが前記撮像素子の各画素に対向する複数のサブフィルタを有し、前記フィルタ駆動部は、前記複数のサブフィルタを個別に駆動する上記(1)に記載の撮像装置。
（３）前記撮像素子において前記複数の画素が２次元配置され、前記可変フィルタは、それぞれが前記撮像素子における各画素列または各画素行に対向する複数のサブフィルタを有し、前記フィルタ駆動部は、前記複数のサブフィルタを個別に駆動する上記(1)に記載の撮像装置。
（４）前記可変フィルタは、前記撮像素子の全画素にわたって一体的に設けられている上記(1)に記載の撮像装置。
（５）前記フィルタ駆動部は、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色光を時分割的に透過させるように前記可変フィルタを駆動する上記(1)〜(4)のいずれかに記載の撮像装置。
（６）前記撮像データとして、時間的に連続するタイミングで取得されたＲ，Ｇ，Ｂの各色の画素データを用いて、各タイミングにおけるカラー画像を生成する画像処理部を更に備えた上記(5)に記載の撮像装置。
（７）前記画像処理部は、第１のタイミングで取得されたＲ，Ｇ，Ｂのうちのいずれかの波長の第１の画素データと、前記第１のタイミングに時間的に続く第２，第３のタイミングでそれぞれ取得された第２，第３の画素データとの間における被写体の各移動量をそれぞれ算出し、前記第１および第２の画素データ間の前記被写体の移動量に基づいて、前記第２の画素データに対応する波長の前記第１のタイミングにおける画素データを生成し、かつ前記第１および第３の画素データ間の前記被写体の移動量に基づいて、前記第３の画素データに対応する波長の前記第１のタイミングにおける画素データを生成する上記(6)に記載の撮像装置。
（８）前記フィルタ駆動部は、Ｒ，Ｇ，Ｂの各色光と近赤外線とをそれぞれ時分割的に透過させるように前記可変フィルタを駆動する上記(5)に記載の撮像装置。
（９）前記撮像データとして、時間的に連続するタイミングで取得されたＲ，Ｇ，Ｂの各波長と近赤外線との画素データを用いて、各タイミングにおけるカラー画像を生成する画像処理部を更に備えた上記(8)に記載の撮像装置。
（１０）前記画像処理部は、第１のタイミングで取得されたＲ，Ｇ，Ｂおよび近赤外線のうちのいずれかの波長に対応する第１の画素データと、前記第１のタイミングに時間的に続く第２ないし第４のタイミングでそれぞれ取得された第２ないし第４の画素データとの間における被写体の各移動量をそれぞれ算出し、前記第１および第２の画素データ間の前記被写体の移動量に基づいて、前記第２の画素データに対応する波長の前記第１のタイミングにおける画素データを生成し、前記第１および第３の画素データ間の前記被写体の移動量に基づいて、前記第３の画素データに対応する波長の前記第１のタイミングにおける画素データを生成し、かつ前記第１および第４の画素データ間の前記被写体の移動量に基づいて、前記第４の画素データに対応する波長の前記第１のタイミングにおける画素データを生成する上記(9)に記載の撮像装置。
（１１）前記可変フィルタは、液晶リオフィルタからなる上記(1)〜(10)のいずれかに記載の撮像装置。
（１２）前記液晶リオフィルタは、それぞれが個別に電圧駆動される複数の液晶セルを積層したものであり、前記フィルタ駆動部は、前記複数の液晶セルのそれぞれに駆動電圧を印加し、それらの駆動電圧の組み合わせによって、前記液晶リオフィルタにおける前記透過波長を設定する上記(11)に記載の撮像装置。
（１３）前記可変フィルタは、圧電ファブリペロー干渉フィルタからなる上記(1)〜(10)のいずれかに記載の撮像装置。
（１４）複数の画素を含み、撮像データを取得する撮像素子と、前記撮像素子の受光面上に設けられ、入射光の選択的な透過波長が変化するように構成された可変フィルタと、前記可変フィルタを駆動して前記透過波長を設定するフィルタ駆動部とを有する撮像装置を備え、前記フィルタ駆動部は、前記可変フィルタにおける前記透過波長を時分割的に切り替える電子機器。
【符号の説明】
【００９２】
１…撮像装置、２…カメラ、１０，１０Ｂ…イメージセンサ、２０，３０，４０…可変フィルタ、１１…基板、１２…画素アレイ部、１３…行走査部、１４…水平選択部、１５…列走査部、１６…システム制御部、１７…画素駆動線、１８…垂直信号線、１９…水平信号線、２１…波長選択回路、２２…画像処理部、２０Ａ〜２０Ｇ…液晶セル、２２ａ〜２２ｉ…偏光板、２３ａ１，２３ａ２，２３ｂ１，２３ｂ２，２３ｃ１，２３ｃ２…電極、２４…液晶層、２５…封止樹脂、２６ａ，２６ｂ…基板、１１２，１１７…配線層、１１３，１１６…素子層、１１４…光電変換層、１１５…オンチップレンズ、１１１Ａ…フォトダイオード、Ｔｒ１〜７…トランジスタ、Ｕ…セルユニット（サブフィルタ）。
【図１】
0005909975.tif 000004
【図２】
0005909975.tif 000005
【図３】
0005909975.tif 000006
【図４】
0005909975.tif 000007
【図５】
0005909975.tif 000008
【図６】
0005909975.tif 000009
【図７】
0005909975.tif 000010
【図８】
0005909975.tif 000011
【図９】
0005909975.tif 000012
【図１０】
0005909975.tif 000013
【図１１】
0005909975.tif 000014
【図１２】
0005909975.tif 000015
【図１３】
0005909975.tif 000016
【図１４】
0005909975.tif 000017
【図１５】
0005909975.tif 000018
【図１６】
0005909975.tif 000019
【図１７】
0005909975.tif 000020