(57)【要約】【課題】コンパクトな構成を有しながらもＳ／Ｎを向上させることが出来、高画質な再構成画像を得る画像入力装置を提供する。【解決手段】カラーフィルタにおいて、個眼光学系に対応したフィルタ領域が複数個あり、複数のフィルタ領域には、２次元的に交互に配列する互いに異なる２色のフィルタ要素を含むとともに、フィルタ要素の色の組み合わせが互いに異なる少なくとも一組のフィルタ領域が含まれる。従って、２色のフィルタ要素を含む１つのフィルタ領域を通過して形成される被写体像には、２色の色情報が含まれており、また他の２色のフィルタ要素を含むフィルタ領域を通過して形成される被写体像に、組み合わせが異なる２色の色情報が含まれることになるから、フィルタ領域数が少ないにも関わらず色情報が多くなり、個眼光学系を増やすことなく，高画質な再構成画像を形成できる。【選択図】図５
2015226299.tif 000002
【特許請求の範囲】
【請求項１】
光軸を互いに異ならせた複数の個眼光学系と、
前記複数の個眼光学系により、各々１つの被写体像が結像される複数の光電変換領域を備えるイメージセンサと、
前記複数の個眼光学系と前記複数の光電変換領域との間に配置されたカラーフィルタと、
前記複数の光電変換領域から出力される複数の画像信号を合成処理することで、再構成画像を形成する画像処理回路と、を有し、
前記カラーフィルタは、前記複数の個眼光学系に対応する複数のフィルタ領域を有し、前記複数のフィルタ領域には、２次元的に交互に配列する互いに異なる２色のフィルタ要素を含むとともに、前記フィルタ要素の色の組み合わせが互いに異なる少なくとも一組のフィルタ領域が含まれることを特徴とする画像入力装置。
【請求項２】
前記２色のフィルタ要素を含むフィルタ領域には、互いに異なる２色の同一形状であるフィルタ要素が市松模様状に配置されていることを特徴とする請求項１に記載の画像入力装置。
【請求項３】
前記２色のフィルタ要素を含む少なくとも一組のフィルタ領域のうち、少なくとも１つのフィルタ領域に含まれるフィルタ要素の１色は、他の少なくとも一つのフィルタ領域に含まれるフィルタ要素の１色と同じであり、前記画像処理回路は、異なるフィルタ領域における同じ色のフィルタ要素を通過した被写体光を受光した複数の光電変換領域からの信号を加算処理することにより、前記同じ色の情報を持つ画像信号を生成することを特徴とする請求項１又は２に記載の画像入力装置。
【請求項４】
前記画像処理回路は、互いに異なる第１色と第２色のフィルタ要素が配置されたフィルタ領域について、前記第１色のフィルタ要素を通過した被写体光を受光した光電変換領域からの信号と、前記第２色のフィルタ要素を通過した被写体光を受光した光電変換領域からの信号とを減算処理することにより、前記第１色及び前記第２色とは異なる第３色の情報を持つ画像信号を形成することを特徴とする請求項１〜３のいずれかに記載の画像入力装置。
【請求項５】
前記イメージセンサを制御することにより、前記光電変換領域毎に独立して電荷蓄積時間を調整する露光制御回路をさらに有することを特徴とする請求項１〜４のいずれかに記載の画像入力装置。
【請求項６】
前記露光制御回路は、被写体光が通過する前記フィルタ要素の色に応じて、電荷蓄積時間を調整することを特徴とする請求項５に記載の画像入力装置。
【請求項７】
前記複数のフィルタ領域のうち、少なくとも１つのフィルタ領域で用いるフィルタ要素の１色は、他の少なくとも一つのフィルタ領域で用いるフィルタ要素の１色と同じであり、前記露光制御回路は、少なくとも一組のフィルタ領域における同じ色のフィルタ要素を通過した被写体光を受光した複数の光電変換領域からの信号に基づいて、前記少なくとも一組のフィルタ領域の光電変換領域間の電荷蓄積時間の差を調整することを特徴とする請求項５又は６に記載の画像入力装置。
【請求項８】
前記複数の個眼光学系に相当する複数のレンズを一体的に形成したレンズアレイを有することを特徴とする請求項１〜７のいずれかに記載の画像入力装置。
【請求項９】
前記複数の光電変換領域は、同一基板上に一体的に形成されていることを特徴とする請求項１〜８のいずれかに記載の画像入力装置。
【請求項１０】
前記複数のフィルタ領域のうち、少なくとも１つのフィルタ領域で用いるフィルタ要素の１色は、他の少なくとも一つのフィルタ領域で用いるフィルタ要素の１色と同じであり、前記画像処理回路は、少なくとも一組のフィルタ領域における同じ色のフィルタ要素を通過した被写体光を受光した複数の光電変換領域からの信号に基づいて、前記少なくとも一組のフィルタ領域に対応する複数の前記個眼光学系間で発生する被写体像の視差を補正する視差補正部を有することを特徴とする請求項１〜９のいずれかに記載の画像入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、小型で薄型であり、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型イメージセンサ或いはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の固体撮像素子に、複数のレンズを用いて被写体像を形成する為の画像入力装置に関する。
【背景技術】
【０００２】
近年、スマートフォンなどの携帯端末においては、デザイン性向上のため，それに搭載されるカメラの小型化が推進され、それに伴いカメラに搭載される光学系の低背化の要求はますます高まっている。一方で、携帯端末に対しても撮像した画像が高画質なものとなるように光学系の高性能化も要求されている。
【０００３】
これらの要求に対し、光軸を異ならせて配置した複数の撮像光学系（個眼光学系）を用いて、複数の被写体像を固体撮像素子の撮像面上に形成し、各被写体像に対応する画像信号を画像処理することで、１つの画像を再構成するいわゆる超解像技術を用いた小型で薄型な複眼カメラが開発されるに至った。このような複眼カメラでは、複数の個眼光学系の各々から得られた画像を再構成することで低画素な１次画像から高画素な２次画像（再構成画像）を作り出すことが出来るため、個眼光学系各々が対応するイメージエリアの画素数が少なくても良く、小さなレンズで個眼光学系を構成することができる。その結果として、既存の光学系よりも大幅な低背化を実現しながらも高解像なカメラを提供することが可能となる。
【０００４】
このような複眼カメラにおいて、各個眼光学系の光路内に異なる色のフィルタを配置して、その透過光から低画素な１次画像を形成するようにすれば、これらを合成することで同様に高画素な２次画像を形成できるにも関わらず、各個眼光学系の担当する波長帯域が狭まるから、全波長帯域をカバーする性能が不要となり、光学系に求められる要求性能が下がり、光学系設計の自由度が向上するというメリットがある。
【０００５】
複数の光学系毎に異なる色のフィルタを持つ複眼カメラの一例として、特許文献１に示すものがある。特許文献１に示すカメラでは、２以上のレンズペアを有し、各レンズペア毎に異なる波長帯域を透過させて画像を形成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−４４８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、複数の異なる波長透過特性を持つ色フィルタを配置した個眼光学系を用いて異なる波長帯域毎に被写体を撮像する場合、一般的には波長帯域毎に透過率が異なるので、全ての波長帯域で同じ露光時間で撮像を行うと、例えば青色に相当する波長帯域では固体撮像素子の出力信号が低くなり、Ｓ／Ｎ比が劣化して１次画像の画質の低下を招く恐れがある。又、波長帯域の分割数を多くして色数を増やすと、その分、個眼光学系の数も増えてしまうので複眼カメラが大型化するという問題がある。更に、複眼カメラでは複数の個眼光学系の光軸が異なることによって視差が生じるため、これを画像処理で補正しようとすると被写体までの距離情報が必要になる。かかる距離情報は、ステレオカメラの原理で取得できるが、その場合、２つの個眼光学系を通して同じ波長帯域の情報が必要になり、必要な色数の２倍の個眼光学系が必要であり、しかも高精度な距離情報を得るためには、同じ波長帯域の２つの個眼光学系はできるだけ離れている方がよいので、複眼カメラの更なる大型化を招くという問題がある。
【０００８】
かかる問題に対し、特許文献１には、Ｓ／Ｎ比を向上させること、及び個眼光学系の数を増やすことなく色数を増やすことについて、何ら言及されていない。
【０００９】
本発明はこのような問題に鑑みてなされたものであり、コンパクトな構成を有しながらもＳ／Ｎ比を向上させることが出来、高画質な再構成画像を得る画像入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像入力装置は、
光軸を互いに異ならせた複数の個眼光学系と、
前記複数の個眼光学系により、各々１つの被写体像が結像される複数の光電変換領域を備えるイメージセンサと、
前記複数の個眼光学系と前記複数の光電変換領域との間に配置されたカラーフィルタと、
前記複数の光電変換領域から出力される複数の画像信号を合成処理することで、再構成画像を形成する画像処理回路と、を有し、
前記カラーフィルタは、前記複数の個眼光学系に対応する複数のフィルタ領域を有し、前記複数のフィルタ領域には、２次元的に交互に配列する互いに異なる２色のフィルタ要素を含むとともに、前記フィルタ要素の色の組み合わせが互いに異なる少なくとも一組のフィルタ領域が含まれることを特徴とする。
【００１１】
本発明によれば、前記カラーフィルタについては、前記個眼光学系に対応したフィルタ領域が複数個あり、前記複数のフィルタ領域には、２次元的に交互に配列する互いに異なる２色のフィルタ要素を含むとともに、前記フィルタ要素の色の組み合わせが互いに異なる少なくとも一組のフィルタ領域が含まれる。従って、２色のフィルタ要素を含む１つのフィルタ領域を通過して形成される被写体像には、２色の色情報が含まれており、また他の２色のフィルタ要素を含むフィルタ領域を通過して形成される被写体像に、組み合わせが異なる２色の色情報が含まれることになるから、フィルタ領域数が少ないにも関わらず色情報が多くなり、個眼光学系を増やすことなく，高画質な再構成画像を形成できる。
【００１２】
本発明の一態様によれば、前記２色のフィルタ要素を含むフィルタ領域には、互いに異なる２色の同一形状であるフィルタ要素が市松模様状に配置されている。
【００１３】
本発明の一態様によれば、前記２色のフィルタ要素を含む少なくとも一組のフィルタ領域のうち、少なくとも１つのフィルタ領域に含まれるフィルタ要素の１色は、他の少なくとも一つのフィルタ領域に含まれるフィルタ要素の１色と同じであり、前記画像処理回路は、異なるフィルタ領域における同じ色のフィルタ要素を通過した被写体光を受光した複数の光電変換領域からの信号を加算処理することにより、前記同じ色の情報を持つ画像信号を生成する。
【００１４】
本発明の一態様によれば、前記画像処理回路は、互いに異なる第１色と第２色のフィルタ要素が配置されたフィルタ領域について、前記第１色のフィルタ要素を通過した被写体光を受光した光電変換領域からの信号と、前記第２色のフィルタ要素を通過した被写体光を受光した光電変換領域からの信号とを減算処理することにより、前記第１色及び前記第２色とは異なる第３色の情報を持つ画像信号を形成する。
【００１５】
本発明の一態様によれば、前記イメージセンサを制御することにより、前記光電変換領域毎に独立して電荷蓄積時間を調整する露光制御回路をさらに有する。
【００１６】
本発明の一態様によれば、前記露光制御回路は、被写体光が通過する前記フィルタ要素の色に応じて、電荷蓄積時間を調整する。
【００１７】
本発明の一態様によれば、前記複数のフィルタ領域のうち、少なくとも１つのフィルタ領域で用いるフィルタ要素の１色は、他の少なくとも一つのフィルタ領域で用いるフィルタ要素の１色と同じであり、前記露光制御回路は、少なくとも一組のフィルタ領域における同じ色のフィルタ要素を通過した被写体光を受光した複数の光電変換領域からの信号に基づいて、前記少なくとも一組のフィルタ領域の光電変換領域間の電荷蓄積時間の差を調整する。
【００１８】
本発明の一態様によれば、前記複数の個眼光学系に相当する複数のレンズを一体的に形成したレンズアレイを有する。
【００１９】
本発明の一態様によれば、前記複数の光電変換領域は、同一基板上に一体的に形成されている。
【００２０】
本発明の一態様によれば、前記複数のフィルタ領域のうち、少なくとも１つのフィルタ領域で用いるフィルタ要素の１色は、他の少なくとも一つのフィルタ領域で用いるフィルタ要素の１色と同じであり、前記画像処理回路は、少なくとも一組のフィルタ領域における同じ色のフィルタ要素を通過した被写体光を受光した複数の光電変換領域からの信号に基づいて、前記少なくとも一組のフィルタ領域に対応する複数の前記個眼光学系間で発生する被写体像の視差を補正する視差補正部を有する。
【発明の効果】
【００２１】
本発明によれば、コンパクトな構成を有しながらもＳ／Ｎ比を向上させることが出来、高画質な再構成画像を得る画像入力装置を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本実施の形態にかかる撮像装置を模式的に示す図である。
【図２】撮像装置ＤＵの具体的な構成を示す断面図である。
【図３】撮像装置ＤＵのブロック図である。
【図４】撮像素子Ｉの回路構成を示す図である。
【図５】カラーフィルタの比較例におけるフィルタ領域を示す図である。
【図６】本実施の形態にかかるカラーフィルタのフィルタ領域を示す図である。
【図７】第２の実施の形態にかかるカラーフィルタのフィルタ領域を示す図である。
【図８】波長分布を示す図である。
【図９】第３の実施の形態にかかるカラーフィルタのフィルタ領域を示す図である。
【図１０】第４の実施の形態にかかるカラーフィルタのフィルタ領域を示す図である。
【図１１】第５の実施の形態にかかるカラーフィルタのフィルタ領域を示す図である。
【図１２】本実施の形態にかかる撮像装置の変形例を示す図である。
【図１３】本実施の形態にかかるカラーフィルタのフィルタ領域の変形例を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る複眼光学系とそれを用いた撮像装置（画像入力装置）を説明する。複眼光学系は、例えば１つの撮像素子に対して複数のレンズがアレイ状に配置された光学系であり、各レンズ系が実質的に同じ視野の撮像を行う超解像タイプと、各レンズが異なる視野の撮像を行う視野分割タイプと、に通常分けられる。以下、本実施形態においては、超解像タイプの複眼光学系を用いるものとして説明する。
【００２４】
図１に、本実施の形態にかかる撮像装置を模式的に示す。図１において、撮像装置ＤＵは、３行３列に配置された９つの個眼光学系ＩＬと、個眼光学系ＩＬの各々により、１つの被写体像が形成される光電変換領域Ｉａを９個備えたイメージセンサＩと、９つの個眼光学系ＩＬと光電変換領域Ｉａとの間に配置されたカラーフィルタＣＦと、を有する。イメージセンサの光電変換領域は、個眼光学系に対応するように島状に存在していてもよいし、大型のイメージセンサの一つの光電変換領域の複数の部位を個眼光学系に対応付けて用いるようにしてもよい。前者の場合、クロストーク抑えやすくなり、後者の場合、光電変換領域の形成が容易になる。カラーフィルタＣＦは、光電変換領域Ｉａに応じて９つのフィルタ領域に分割され、それぞれが複数のフィルタ要素を有している。
【００２５】
図２は、撮像装置ＤＵの具体的な構成を示す断面図である。図２において、物体側より順に、第１遮光部材ＳＨ１、第１レンズアレイＬＡ１、第２遮光部材ＳＨ２、第２レンズアレイＬＡ２、第３遮光部材ＳＨ３、第４遮光部材ＳＨ４が配置されており、これらは鏡枠ＨＬＤに保持されている。鏡枠ＨＬＤは、周囲壁ＨＬＤａと、その物体側に連結された物体側壁ＨＬＤｂとを有する。板材からなる第１遮光部材ＳＨ１は、複数（ここでは３行３列に並べた9個）の開口絞りＳを形成している。
【００２６】
第１レンズアレイＬＡ１は、複数（ここでは３行３列に並べた９個）の第１レンズ（個眼レンズ）Ｌ１と、第１レンズＬ１同士をつなげるフランジ部Ｌ１ｆとを一体に形成している。又、第２レンズアレイＬＡ２は、複数（ここでは３行３列に並べた９個）の第２レンズ（個眼レンズ）Ｌ２と、第２レンズＬ２同士をつなげるフランジ部Ｌ２とを一体に形成している。第１レンズアレイＬＡ１と第２レンズアレイＬＡ２は、それぞれポリカーボネートやアクリル樹脂を用いて射出成形され、これらの材料により一体的に形成されている。各開口絞りＳと、対応する第１レンズＬ１及び第２レンズＬ２の光軸は一致しており、これにより個眼光学系ＩＬを構成する。なお、第１レンズアレイＬＡ１及び第２レンズアレイＬＡ２は、一体成形されたガラスモールドであっても良いし、ガラス平板上にレンズ部が一体的に形成されたものであってもよい。樹脂やガラスなどから金型を用いて、複数のレンズを一体成形したアレイレンズを形成することにより、安価で高精度なアレイレンズを得ることができる。但し、光電変換領域毎に、レンズを個別に設けても良い。
【００２７】
第４遮光部材ＳＨ４とイメージセンサＩとの間には、ＩＲカットフィルタＦと、イメージセンサＩの撮像面を覆うカバーガラスＣＧとが、物体側からこの順序で配置されている。各遮光部材ＳＨ２〜ＳＨ４は、各個眼レンズの各々に対応する開口部を持ち、絞りとしての機能を果たす。イメージセンサＩの撮像面には、カラーフィルタが形成されている。光電変換領域は、同一基板上に一体的に形成されていることで、前記光電変換領域を容易に形成することができる。
【００２８】
カラーフィルタの詳細については後述するが、図１に示すように、９つのフィルタ領域を有しており、同一形状のフィルタ要素を画素毎に配置している。そして、それらの中に異なる２つの透過波長領域のフィルタ要素を市松状に配置したものが複数含まれている。さらに、同じ透過波長帯域（すなわち同色）を持つフィルタ要素を少なくとも２つのフィルタ領域に配置する。これにより、１つのフィルタ領域を通過して形成される被写体像において解像度の劣化が抑制され、高画質な画像を得ることができる。このとき、波長帯域を分割した中で、隣り合う透過波長帯域を持つフィルタ要素を同じフィルタ領域内に配置すると、フィルタ領域内で固体撮像素子の分光感度上あまり差がでないので好ましい。なお、図１において、フィルタ要素のサイズは理解を容易にするため模式的に示している。
【００２９】
図３は、撮像装置ＤＵの回路ブロック図である。図４は、イメージセンサＩの回路構成を示す図である。被写体の撮像時には、図４に示すように、各光電変換領域Ｉａからの画像信号は、出力部ＯＴを経てRAW画像として出力される。各光電変換領域Ｉａには、後述する露出制御回路ＥＣＣから、クロック、同期信号、制御信号などが供給され、独立して露光時間(電荷蓄積時間)を制御することができ、すなわち電荷蓄積の開始（リセット）と電荷の読み出しのタイミングを独立して行うことができる。
【００３０】
より具体的な動作を説明すると、図３において、個眼光学系ＩＬを介して入射した複数の被写体像が、イメージセンサＩの光電変換領域Ｉａ上に各々結像する。結像した被写体像は、各光電変換領域Ｉａで光電変換されて画像信号に変換される。画像信号は、個眼光学系ＩＬ毎により結像した小画像（１次画像）毎に得られる。
【００３１】
この１次画像を個別の画像として考える。このとき、９つの1次画像の中で同じ色のフィルタ要素を通過した被写体像を光電変換した画像信号同士を画像合成部で加算することで、単一色情報を持つ画像信号を得ることができる。これにより、例えば青色など、固体撮像素子の感度が低い波長帯域に対応した色をフィルタ要素が持っていたとしても、同じ青色のフィルタ要素を通過した被写体光を受光した光電変換領域からの信号を加算処理することにより、Ｓ／Ｎと解像度を向上させた信号を得ることができるから、高画質な画像を得ることができる。光電変換領域Ｉａから出力された画像信号は、デモザイク部ＤＭ、信号レベル補正部ＳＳ、視差検出部ＰＤ、視差補正部ＰＳ、及び、画像合成部ＰＲを含む画像処理回路ＰＲＣに入力される。より具体的には、視差検出部ＰＤと、後述するようにデモザイク部ＤＭとに入力される。視差検出部ＰＤにおいては、個眼光学系間で発生する被写体像の視差（すなわち各個眼光学系毎に結像する同じ被写体像の位置のずれ）を算出する。このとき、異なるフィルタ領域における同じ位置で同じ色のフィルタ要素を通過した被写体像を光電変換した画像信号を用いて視差補正すると好ましい。視差検出結果は、視差補正部ＰＳに出力される。
【００３２】
一方、光電変換領域Ｉａから出力部ＯＴを経て出力された画像信号は、露出制御回路ＥＣＣにも出力される。露出制御回路ＥＣＣ内の露出評価算出部ＥＣは、入力された画像信号から光電変換領域Ｉａ毎に露出評価値を算出する。この際、露出評価値は各画像信号から求めた輝度値を元に算出すると好ましい。露出評価値から各光電変換領域Ｉａにおける最適露出量が求められるので、これに基づき露出決定部ＥＤが制御信号を出力し、かかる制御信号が入力された駆動部ＴＣが、光電変換領域Ｉａ毎に露光量が最適になるよう電荷蓄積時間を設定するようになっている。例えば、露光制御回路ＥＣＣが、フィルタ領域毎に、対応する光電変換領域の露光時間を任意に変更する。このようにすると、全体的にＳ／Ｎの良い信号が得られ、延いては高画質な画像を得ることができる。また、露光制御回路ＥＣＣが、フィルタ要素の色に応じて電荷蓄積時間を調整するようにしてもよい。例えば、青色など感度が低い波長のフィルタ要素を通過した被写体光を受光する光電変換領域の露光時間を、それ以外の波長のフィルタ要素を通過した被写体光を受光する光電変換領域の露光時間に比べて長く設定する。このようにすると、各色について露光量のバランスのとれた信号を得ることができ、Ｓ／Ｎの良い高画質な画像が得られる。また、露光時間調整に際し、個眼毎に露光時間をそれぞれ最適に調整した場合に、その調整値が不明であることがある。かかる場合、複数のフィルタ領域のうち、少なくとも１つのフィルタ領域で用いるフィルタ要素の１色が、他のフィルタ領域で用いるフィルタ要素の１色と同じであれば、これを利用して露光時間調整を行うことができる。つまり、露光制御回路ＥＣＣが、異なるフィルタ領域における同じ色のフィルタ要素を通過した被写体光を受光した光電変換領域からの信号が等しくなるように調整すれば、その異なるフィルタ領域それぞれに対応する光電変換領域の露光時間の差を求めて調整することができる。全てのフィルタ領域の一対ずつにおいて同じ関係を持たせることで、共通の色を用いて、全ての光電変換領域の露光量を調整することもできる。
【００３３】
一方、光電変換領域Ｉａから出力された画像信号は、デモザイク部ＤＭ、信号レベル補正部ＳＳ、視差検出部ＰＤ、視差補正部ＰＳ、及び、画像合成部ＰＲを含む画像処理回路ＰＲＣに入力される。画像処理回路ＰＲＣにおいては、まず、デモザイク部ＤＭにおいて、デモザイク処理されて色毎に分離され、色分離後に、信号レベル補正部ＳＳにて信号レベルを補正（ゲイン調整）し、視差補正部ＰＳにて視差補正された後、画像合成部ＰＲにて画像合成され、再構成画像（２次画像）として出力される。これにより精度良く視差補正を行える。視差の算出は一般的なテンプレートマッチング（ＳＳＤやＳＡＤなど）で行うことができる。異なるフィルタ領域における同じ色のフィルタ要素を通過した被写体光を受光した光電変換領域からの信号に基づいて算出した視差をもとに複数の１次画像の位置合わせを行い、高解像度の２次画像を生成することができる。また、あらかじめ各個眼光学系の焦点距離、画像中心、レンズのひずみ係数、個眼光学系間の位置関係（並進、回転）の情報を求めておけば、これら係数と視差の値から、三角測量の原理により対象物までの測距が可能になる。これら係数の算出は一般的なステレオカメラのキャリブレーション手法（たとえばＺｈａｎｇの手法）によって算出しておけば良い。尚、画像合成前に波長ごとに信号レベルの補正を行い、その後視差があれば補正して画像を合成することもできる。或いは、波長毎に独立した画像データとして出力することもできる。
【００３４】
次に、カラーフィルタの具体例について説明する。図５は比較例にかかるカラーフィルタのフィルタ領域Ｆ（１）〜Ｆ（９）を示す図である。この例では、各フィルタ領域は、それぞれ１種類の色のフィルタ要素Ｆｅを有する。具体的には、フィルタ領域Ｆ（１）、Ｆ（９）は、青色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（２）、Ｆ（８）は、青色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（３）、Ｆ（７）は、赤外光を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（４）〜Ｆ（６）は、緑色を透過波長帯域とするフィルタ要素Ｆｅを持つ。
【００３５】
この比較例の場合、同じ色のフィルタ要素Ｆｅが対称的に配置されているので、視差補正には都合が良い。しかしながら、９つの光電変換領域に対しては、４色以上に色数を増やすことが難しいという問題がある。
【００３６】
これに対し、図６に第１の実施の形態にかかるカラーフィルタのフィルタ領域Ｆ（１）〜Ｆ（９）を示す。各フィルタ領域は、それぞれ１種類又は２種類の色のフィルタ要素を有し、また２種類のフィルタ要素は市松模様状に配置されてなる。具体的には、フィルタ領域Ｆ（１）、Ｆ（９）は、青色及び青緑色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（２）、Ｆ（８）は、青緑色及び緑色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（３）、Ｆ（７）は、赤色及び黄色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（４）、Ｆ（６）は、緑色及び黄色を透過波長帯域とするフィルタ要素Ｆｅを持つ。尚、中央のフィルタ領域Ｆ（５）は、緑色を透過波長帯域とするフィルタ要素Ｆｅのみを持つ。つまり、本実施形態のカラーフィルタは、複数の個眼光学系に対応する複数のフィルタ領域を有し、この複数のフィルタ領域には、２次元的に交互に配列する互いに異なる２色のフィルタ要素を含むとともにフィルタ要素の色の組み合わせが互いに異なる少なくとも一組のフィルタ領域が含まれる。
【００３７】
この例では、９つの光電変換領域に対しては、５色のフィルタ要素Ｆｅを用いることができ、小型でありながらも、可視や近赤外の波長帯域をそれぞれ異なる色のフィルタを通して複数レンズのカメラで分光撮影する、いわゆるマルチスペクトルカメラと同様に、より色再現に優れた画像を提供できる。各色のカバーする波長は短波長側から、青色、青緑色、緑色、黄色、赤色であり、それぞれ透過波長が隣り合う２色のフィルタ要素を同じフィルタ領域に設けている。又、同じ色のフィルタ要素Ｆｅを持つフィルタ領域を点対称の位置に配置しているので、視差補正においても有効である。
【００３８】
加えて、本実施の形態では、隣り合うフィルタ領域において、フィルタ要素Ｆｅの一方の色を同色としている。例えばフィルタ領域Ｆ（１）、Ｆ（２）、Ｆ（８）、Ｆ（９）の間でフィルタ要素Ｆｅの青緑色が共通するので、フィルタ領域Ｆ（１）、Ｆ（２）、Ｆ（８）、Ｆ（９）を通過した被写体光を受光した２つの光電変換領域の青緑色のフィルタ要素Ｆｅを通過した光束を受光した光電変換領域から出力された画像信号を加算することで解像度が高くＳ／Ｎの良い画像を合成することができる。同じ色の画像が多くあるほど超解像処理において解像度の高い画像の復元に有利である。更に、例えばフィルタ領域Ｆ（２）、Ｆ（５）の間でフィルタ要素Ｆｅの緑色が共通するので、露光補正ができ、フィルタ領域Ｆ（５）、Ｆ（６）の間でフィルタ要素Ｆｅの緑色が共通するので、同様に露光補正ができ、フィルタ領域Ｆ（６）、Ｆ（３）の間でフィルタ要素Ｆｅの黄色が共通するので、同様に露光補正ができる。このようにして同じ波長の信号のレベル差を補正することで、順繰りに露光量を補正できるので、全体としてバランスのとれた画像信号を得ることができる。
【００３９】
次に、図７に第２の実施の形態にかかるカラーフィルタのフィルタ領域Ｆ（１）〜Ｆ（９）を示す。各フィルタ領域は、それぞれ２種類の色のフィルタ要素を有し、且つフィルタ要素を市松模様状に配置してなる。具体的には、フィルタ領域Ｆ（１）、Ｆ（３）、Ｆ（５），Ｆ（７）、（９）は、全透過（素通し）及び黄色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（２）、Ｆ（８）は、黄色及び赤色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（４）、Ｆ（６）は、赤色及び赤外光を透過波長帯域とするフィルタ要素Ｆｅを持つ。
【００４０】
この例では、９つの光電変換領域に対して、４色のフィルタ要素Ｆｅを用いているが、可視光領域から赤外領域まで被写体の撮像を行えるものである。各色のカバーする波長は、図８に示すとおりであり、短波長側から、全透過（Ｗ）、黄色（Ｙ）、赤色（Ｒ）、赤外（Ｉｒ）であり、それぞれ透過波長が隣り合う２色のフィルタ要素を同じフィルタ領域に設けている。
【００４１】
フィルタ領域Ｆ（１）、Ｆ（３）、Ｆ（５），Ｆ（７）、Ｆ（９）の全透過フィルタ要素Ｆｅを通過した光束を受光した光電変換領域からは、図８の波長帯域Ｗに相当する画像信号Ｗｓが得られ、フィルタ領域Ｆ（１）、Ｆ（３）、Ｆ（５），Ｆ（７）、Ｆ（９）及びＦ（２）、Ｆ（８）の黄色フィルタ要素Ｆｅを通過した光束を受光した光電変換領域からは、図８の波長帯域Ｙに相当する画像信号Ｙｓが得られ、フィルタ領域Ｆ（２）、Ｆ（８）及びＦ（４），Ｆ（６）の赤色フィルタ要素Ｆｅを通過した光束を受光した光電変換領域からは、図８の波長帯域Ｒに相当する画像信号Ｒｓが得られ、フィルタ領域Ｆ（４），Ｆ（６）の赤色フィルタ要素Ｆｅを通過した光束を受光した光電変換領域からは、図８の波長帯域Ｉｒに相当する画像信号Ｉｒｓが得られる。上述の実施の形態と同様に、同じ色の画像が、フィルタ領域が単色の場合に比べて多く得られるので、解像度とＳ／Ｎの良い画像を得ることができ、又、同じ色のフィルタ要素Ｆｅを持つフィルタ領域を対称的に配置しているので、視差補正においても有効である。
【００４２】
本実施の形態では、画像信号Ｗｓ，Ｙｓ，Ｒｓ，Ｉｒｓから、以下の計算式にてＲＧＢの信号を演算することができる。
Ｂ＝Ｗｓ−Ｙｓ
Ｇ＝Ｙｓ−Ｒｓ
Ｒ＝Ｒｓ−Ｉｒｓ
【００４３】
更に、上記計算式で明らかであるが、ＲＧＢの信号は、全て同じフィルタ領域を通過した被写体光の２つの波長領域の信号を減算処理することにより、これらの信号の差分として得ることができるから、視差補正が不要であり、演算速度が速く、また視差補正時に生じうる偽色などの不具合を抑制できる。
【００４４】
尚、同じ色のフィルタ要素の組み合わせを持つフィルタ領域が複数ある場合は、露光時間を変えて撮影し、明るさの異なる画像を複数枚撮影することで、よりダイナミックレンジの高い画像を得ることができる。
【００４５】
次に、図９に第３の実施の形態にかかるカラーフィルタのフィルタ領域Ｆ（１）〜Ｆ（９）を示す。各フィルタ領域は、それぞれ２種類の色のフィルタ要素を有し、且つフィルタ要素を市松模様状に配置してなる。具体的には、フィルタ領域Ｆ（１）、Ｆ（３）、Ｆ（７）、（９）は、青色及び緑色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（２）、Ｆ（５），Ｆ（８）は、緑色及び赤色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（４）、Ｆ（６）は、赤色及び赤外光を透過波長帯域とするフィルタ要素Ｆｅを持つ。
【００４６】
この例では、９つの光電変換領域に対して、４色のフィルタ要素Ｆｅを用いているが、可視光領域から赤外領域まで被写体の撮像を行えるものである。各色のカバーする波長は、短波長側から、青色、緑色、赤色、赤外であり、それぞれ透過波長が隣り合う２色のフィルタ要素を同じフィルタ領域に設けている。同じ色の画像が、フィルタ領域が単色の場合に比べて多く得られるので、解像度とＳ／Ｎの良い画像を得ることができ、又、同じ色のフィルタ要素Ｆｅを持つフィルタ領域を対称的に配置しているので、視差補正においても有効である。更に、異なるフィルタ領域の間でフィルタ要素Ｆｅの色が共通するので、上述の実施の形態と同様に適切に露出レベル補正ができる。更に、固体撮像素子の光電変換時にＳ／Ｎが低くなる特定色がある場合、フィルタ領域の数を増やさずに、特定色のフィルタ要素のトータルの数を、それ以外の色のフィルタ要素に比べて増やすことで，十分な感度で色情報を得るようにすることもできる。
【００４７】
図１０に第４の実施の形態にかかるカラーフィルタのフィルタ領域Ｆ（１）〜Ｆ（９）を示す。各フィルタ領域は、それぞれ１種類又は２種類の色のフィルタ要素を有し、また２種類のフィルタ要素は市松模様状に配置されてなる。具体的には、フィルタ領域Ｆ（１）、Ｆ（９）は、青色及び紫色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（２）、Ｆ（８）は、赤色及びオレンジ色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（３）、Ｆ（７）は、黄色及び緑色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（４）、Ｆ（６）は、水色及び青緑色を透過波長帯域とするフィルタ要素Ｆｅを持つ。尚、中央のフィルタ領域Ｆ（５）は、全透過波長帯域とするフィルタ要素Ｆｅのみを持つ。
【００４８】
この例では、９つの光電変換領域に対しては、８色のフィルタ要素Ｆｅを用いることができ、小型（少ない個眼数）でありながらもマルチスペクトルカメラと同様に、より色再現に優れた画像を提供できる。それぞれ透過波長が隣り合う２色のフィルタ要素を同じフィルタ領域に設けている。又、同じ色のフィルタ要素Ｆｅを持つフィルタ領域を対称的に配置しているので、視差補正においても有効である。中央のフィルタ領域Ｆ（５）は、全波長を透過するので、ここを通過した被写体光を光電変換した画像信号を基準に、視差補正、露光制御等を行うと好ましい。
【００４９】
図１１に第５の実施の形態にかかるカラーフィルタのフィルタ領域Ｆ（１）〜Ｆ（４）を示す。この例では、個眼レンズを２行２列に配置したものであり、例えば無限遠方とみなせる位置にある被写体を撮像する撮像装置に好適なものである。被写体が無限遠方とみなせる位置にある場合、視差補正は不要であることが多い。このような場合、同じフィルタ要素の組み合わせを持つフィルタ領域をペアで設ける必要がなくなる。また、視差なく被写体光を分割し、同じ画像を複数の撮像領域に結像させることができる光学系を利用した場合などに適用できる。
【００５０】
本実施の形態では、フィルタ領域Ｆ（１）は、青色及び紫色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（２）は、黄色及び緑色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（３）は、水色及び青緑色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（４）は、赤色及びオレンジ色を透過波長帯域とするフィルタ要素Ｆｅを持つ。
【００５１】
この例では、４つの光電変換領域に対しては、８色のフィルタ要素Ｆｅを用いることができ、小型（少ない個眼数）でありながらもマルチスペクトルカメラと同様に、より色再現に優れた画像を提供できる。
【００５２】
図１２は変形例にかかる撮像装置の模式図である。図１２に示す例では、独立した個眼光学系ＩＬを３行３列に配置してなる。又、基板ＳＴ上に、独立した固体撮像素子ＩＥを３行３列に配置している。つまり、本実施形態のイメージセンサは、個眼光学系ＩＬに対応して独立した複数の固体撮像素子ＩＥを備えるものである。尚、フィルタ領域は、各固体撮像素子ＩＥ上に形成されている。つまり、カラーフィルタは各々個別の素子に形成された複数のフィルタ領域により構成される。
【００５３】
上記各実施形態は、３行３列や２行２列の個眼光学系を有するものであったが、これに限るものではなく、３行あるいは３列を超える数の個眼光学系を有していてもよい。例えば、３行５列でもよいし、５行５列であってもよい。図１３に、５行５列の場合のフィルタ要素の配列の一例を示す。図１３に示す例では、カラーフィルタにフィルタ領域Ｆ（１）〜Ｆ（２５）を設けている。各フィルタ領域は、それぞれ１種類又は２種類の色のフィルタ要素を有し、また２種類のフィルタ要素は市松模様状に配置されてなる。具体的には、フィルタ領域Ｆ（１）、Ｆ（７）、Ｆ（１９）、Ｆ（２５）は、青色及び青緑色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（２）〜Ｆ（４）及びＦ（２２）〜Ｆ（２４）は、青緑色及び緑色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（５）、Ｆ（９）、Ｆ（１７），Ｆ（２１）は、赤色及び黄色を透過波長帯域とするフィルタ要素Ｆｅを持ち、フィルタ領域Ｆ（６）、Ｆ（１０）、Ｆ（１１），Ｆ（１５），Ｆ（１６），Ｆ（２０）は、緑色及び黄色を透過波長帯域とするフィルタ要素Ｆｅを持つ。尚、中央に十字状に設けたフィルタ領域Ｆ（８）、Ｆ（１２）〜Ｆ（１４）、Ｆ（１８）は、緑色を透過波長帯域とするフィルタ要素Ｆｅのみを持つ。
【００５４】
また、市松模様に代えて、各フィルタ領域において、異なる２色の同一開口形状であるフィルタ要素が隣り合って列状に配置されていても良い。フィルタ要素は、光電変換領域の画素毎に対応して配置されていることが好ましいが、画質を損なわない範囲で複数画素毎に交互に置き換わるように配置されていてもよい。
【符号の説明】
【００５５】
ＣＦ            カラーフィルタ
ＣＧ            カバーガラス
ＤＭ            デモザイク部
ＤＵ            撮像装置
ＥＣ            露出評価算出部
ＥＤ            露出決定部
Ｆ            ＩＲカットフィルタ
Ｆｅ            フィルタ要素
ＨＬＤ            鏡枠
ＨＬＤａ          周囲壁
ＨＬＤｂ          物体側壁
Ｉ            イメージセンサ
Ｉａ            光電変換領域
ＩＬ            個眼光学系
Ｌ１            第１レンズ
Ｌ１ｆ            フランジ部
Ｌ２            第２レンズ
Ｌ２ｆ            フランジ部
ＬＡ１            第１レンズアレイ
ＬＡ２            第２レンズアレイ
ＯＴ            出力部
ＰＤ            視差検出部
ＰＲ            画像合成部
ＰＳ            視差補正部
ＳＨ１            第１遮光部材
ＳＨ２            第２遮光部材
ＳＨ３            第３遮光部材
ＳＨ４            第４遮光部材
ＳＳ            信号レベル補正部
ＳＴ            基板
ＴＣ            駆動部
ＥＣＣ    露出制御回路
ＰＲＣ    画像処理回路
【図１】
2015226299.tif 000003
【図２】
2015226299.tif 000004
【図３】
2015226299.tif 000005
【図４】
2015226299.tif 000006
【図５】
2015226299.tif 000007
【図６】
2015226299.tif 000008
【図７】
2015226299.tif 000009
【図８】
2015226299.tif 000010
【図９】
2015226299.tif 000011
【図１０】
2015226299.tif 000012
【図１１】
2015226299.tif 000013
【図１２】
2015226299.tif 000014
【図１３】
2015226299.tif 000015