(57)【特許請求の範囲】
【請求項１】
被写体からの光を集光するレンズ部と、
前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、
前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、
前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、
前記イメージセンサから出力される前記画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する画像処理部と
を備え、
前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、
前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタからなるフィルタであり、
前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、
前記観測画像は、
前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、
前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、
前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、
前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像と
を含む
画像処理装置。
【請求項２】
前記画像処理部は、前記イメージセンサから出力される画像信号に対して所定の画像処理を施すことで得られる視差情報を用いて、奥行き情報を算出する
請求項１に記載の画像処理装置。
【請求項３】
画像処理装置の画像処理方法において、
前記画像処理装置が、
所定の特性を有する第１のカラーフィルタが開口部に配置されるレンズ部であって被写体からの光を集光する前記レンズ部からの光が、前記第１のカラーフィルタと異なる特性を有するとともに各色がランダムに配列された第２のカラーフィルタが前面に配置されるイメージセンサにより光電変換されることで得られる画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する
ステップを含み、
前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、
前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲパスフィルタからなるフィルタであり、
前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、
前記観測画像は、
前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、
前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、
前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、
前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像と
を含む
画像処理方法。
【請求項４】
被写体からの光を集光するレンズ部と、
前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、
前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、
前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、
前記イメージセンサから出力される前記画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する画像処理部と
を備え、
前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、
前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲパスフィルタからなるフィルタであり、
前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、
前記観測画像は、
前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、
前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、
前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、
前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像と
を含む
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、撮像装置に関し、特に、受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減することができるようにした画像処理装置、画像処理方法、及び、撮像装置に関する。
【背景技術】
【０００２】
従来、イメージセンサを使用して、被写体の画像を取得しつつ、パッシブに奥行き情報を得る方法として、レンズ部の開口部にカラーフィルタを設けたColor-Filtered Apertureと呼ばれる技術が提案されている（例えば、非特許文献１参照）。特許文献１には、Color-Filtered Apertureの原理を利用して、シーンの奥行きを推定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２７６２９４号公報
【非特許文献】
【０００４】
【非特許文献１】Extracting Depth and Matte using a Color-Filtered Aperture by Yosuke Bando, Bing-yu Chen, Tomoyuki Nishita
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の技術であると、レンズ部に入射した光が、当該レンズ部の開口部に設けられたカラーフィルタの４分割された領域のうち、１つの領域しか透過しないため、その光量が１／４となって、Ｓ／Ｎ比（Signal to Noise Ratio）が悪化していた。同様にまた、レンズ部に入射した光が、カラーフィルタの１つの領域しか透過しないため、その解像度が縦横で半分になって、モアレが発生する恐れがあった。
【０００６】
そのため、Color-Filtered Apertureの原理を利用した場合において、受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減するための技術が求められていた。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、被写体からの光を集光するレンズ部と、前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、前記イメージセンサから出力される前記画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する画像処理部とを備え、前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタからなるフィルタであり、前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、前記観測画像は、前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像とを含む画像処理装置である。
【００１３】
前記画像処理部は、前記イメージセンサから出力される画像信号に対して所定の画像処理を施すことで得られる視差情報を用いて、奥行き情報を算出することができる。
【００１４】
前記画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
【００１５】
本技術の一側面の画像処理方法は、画像処理装置の画像処理方法において、前記画像処理装置が、所定の特性を有する第１のカラーフィルタが開口部に配置されるレンズ部であって被写体からの光を集光する前記レンズ部からの光が、前記第１のカラーフィルタと異なる特性を有するとともに各色がランダムに配列された第２のカラーフィルタが前面に配置されるイメージセンサにより光電変換されることで得られる画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元するステップを含み、前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲパスフィルタからなるフィルタであり、前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、前記観測画像は、前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像とを含む画像処理方法である。
【００１６】
本技術の一側面の撮像装置は、被写体からの光を集光するレンズ部と、前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、前記イメージセンサから出力される前記画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する画像処理部とを備え、前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲパスフィルタからなるフィルタであり、前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、前記観測画像は、前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像とを含む撮像装置である
。
【００１７】
本技術の一側面の画像処理装置、画像処理方法、及び、撮像装置においては、所定の特性を有する第１のカラーフィルタが開口部に配置されるレンズ部であって被写体からの光を集光する前記レンズ部からの光が、前記第１のカラーフィルタと異なる特性を有するとともに各色がランダムに配列された第２のカラーフィルタが前面に配置されるイメージセンサにより光電変換されることで得られる画像信号に対して圧縮センシングを適用することで、前記被写体の画像が復元される。また、前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタとされ、前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタからなるフィルタとされる。さらに、前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、前記観測画像には、前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像とが含まれる。
【発明の効果】
【００１８】
本技術の一側面によれば、受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減することができる。
【００１９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本技術を適用した画像処理装置の一実施の形態の構成を示す図である。
【図２】レンズ部の開口部に配置される１次カラーフィルタの構成例を示す図である。
【図３】イメージセンサの前面に配置される２次カラーフィルタの構成例を示す図である。
【図４】各経路を透過した光から得られる観測画像を模式的に表した図である。
【図５】波長域ごとのＣＭＹの各フィルタを透過する光の光量を示す図である。
【図６】波長域ごとのＲＧＢの各フィルタを透過する光の光量を示す図である。
【図７】本技術を適用したカラーフィルタの配置により得られる観測画像を説明する図である。
【図８】従来のカラーフィルタの配置により得られる観測画像を説明する図である。
【図９】圧縮センシングを利用した被写体画像の復元処理の原理を説明する図である。
【図１０】圧縮センシングを利用した被写体画像の復元処理の原理を説明する図である。
【図１１】Ｒチャンネルに注目した場合の１次カラーフィルタを透過する色成分を模式的に表した図である。
【図１２】Ｒチャンネルに注目した場合の２次カラーフィルタを透過する色成分を模式的に表した図である。
【図１３】画像処理装置により実行される画像処理の流れを説明するフローチャートである。
【図１４】本技術を適用した撮像装置の一実施の形態の構成を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
【００２２】
１．画像処理装置の構成
２．入射光量確保の原理
３．圧縮センシングを利用した復元処理
４．画像処理の流れ
５．撮像装置の構成
【００２３】
＜１．画像処理装置の構成＞
【００２４】
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示す図である。
【００２５】
図１の画像処理装置１０は、レンズ部の開口部にカラーフィルタを配置して、Color-Filtered Apertureの原理を利用した構成を採用している。図１において、画像処理装置１０は、レンズ部１１１、１次カラーフィルタ１１２、イメージセンサ１１３、２次カラーフィルタ１１４、及び、画像処理部１１５から構成される。なお、図１においては、説明の都合上、レンズ部１１１と１次カラーフィルタ１１２は別々に図示されているが、実際には、１次カラーフィルタ１１２は、レンズ部１１１の内部に設けられる。また、２次カラーフィルタ１１４は、イメージセンサ１１３と一体になって構成される。
【００２６】
レンズ部１１１は、１又は複数のレンズ群等から構成され、背景２の手前に位置する被写体１からの光（像光）を、イメージセンサ１１３の受光面上に入射させる。また、レンズ部１１１の内部には、１次カラーフィルタ１１２が配置されている。
【００２７】
ここで、図２には、レンズ部１１１の外観が示されている。図２において、レンズ部１１１の開口部（絞りの部分）には、１次カラーフィルタ１１２が配置されており、被写体１からの光は、１次カラーフィルタ１１２を介して、後段のイメージセンサ１１３に入射されることになる。また、図２において、１次カラーフィルタ１１２は、その菱形形状が４つの領域に分割されており、各領域はそれぞれ、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、又は白（Ｗ）の各色のフィルタからなる。
【００２８】
図１の説明に戻り、イメージセンサ１１３は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサ等の固体撮像装置である。イメージセンサ１１３は、光電変換素子（フォトダイオード）を有する複数の画素が行列状に２次元配置される画素アレイ部と、画素の駆動やA/D（Analog/Digital）変換などを行う周辺回路部から構成される。
【００２９】
イメージセンサ１１３は、レンズ部１１１からの光を光電変換して、画像信号として画像処理部１１５に出力する。また、イメージセンサ１１３の前面には、２次カラーフィルタ１１４が配置されている。
【００３０】
ここで、図３には、２次カラーフィルタ１１４の外観が示されている。図３において、２次カラーフィルタ１１４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタからなる。また、２次カラーフィルタ１１４には、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタ（ＩＲ）が含まれている。この２次カラーフィルタ１１４においては、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色からなるフィルタと、ＩＲパスフィルタ（ＩＲ）がランダムに配列されている。
【００３１】
すなわち、レンズ開口部に配置される１次カラーフィルタ１１２と、センサ画素上に配置される２次カラーフィルタ１１４は、異なる特性を有しており、１次カラーフィルタ１１２が透過させる色（減法混合の場合における三原色である、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ））は、２次カラーフィルタ１１４が透過させる色（加法混合の場合における三原色である、赤（Ｒ）、緑（Ｇ）、青（Ｂ））と、補色の関係にある。
【００３２】
なお、以下の説明では、１次カラーフィルタ１１２における、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各フィルタをそれぞれ、Ｃｙフィルタ、Ｍｇフィルタ、Ｙｅフィルタ、Ｗフィルタと称する。また、２次カラーフィルタ１１４における、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各フィルタをそれぞれ、Ｒフィルタ、Ｇフィルタ、Ｂフィルタと称する。
【００３３】
さらに、以下の説明では、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）からなるカラーフィルタを、ＣＭＹフィルタとも称する。また、赤（Ｒ）、緑（Ｇ）、青（Ｂ）からなるカラーフィルタを、ＲＧＢフィルタとも称する。
【００３４】
図１の説明に戻り、画像処理部１１５は、イメージセンサ１１３から出力される画像信号に対する所定の画像処理を行う。この画像処理としては、例えば、イメージセンサ１１３から出力される画像信号に対して圧縮センシングを適用して、被写体１の画像（被写体画像）を復元する処理が行われる。なお、圧縮センシングを利用した被写体１の画像（被写体画像）の復元処理の詳細な内容は後述する。
【００３５】
図１の画像処理装置１０は、以上のように構成される。この画像処理装置１０においては、その開口部に１次カラーフィルタ１１２が配置されるレンズ部１１１により集光された被写体１からの光が、その前面に２次カラーフィルタ１１４が配置されるイメージセンサ１１３により光電変換されて、それにより得られる画像信号が、画像処理部１１５により処理される。
【００３６】
＜２．入射光量確保の原理＞
【００３７】
次に、図１の画像処理装置１０において、イメージセンサ１１３の受光面が、十分な入射光量を確保する原理について説明する。
【００３８】
図４に示すように、図１の画像処理装置１０において、イメージセンサ１１３は、画像信号として、レンズ部１１１の開口部に配置される１次カラーフィルタ１１２の各色のフィルタを透過する光の経路に応じた観測画像を出力することになる。
【００３９】
ここでは、１次カラーフィルタ１１２の各色のフィルタを透過する光の経路ごとに、Ｙｅフィルタを透過した光から得られる経路Ｙｅの観測画像、Ｃｙフィルタを透過した光から得られる経路Ｃｙの観測画像、Ｍｇフィルタを透過した光から得られる経路Ｍｇの観測画像、及び、Ｗフィルタを透過した光から得られる経路Ｗの観測画像の４つの観測画像が出力されることになる。なお、実際には、画像処理部１１５においては、これらの４つの観測画像を、重ね合わせて（足し合わせて）得られる画像が観測されることになる。また、以下の説明では、この観測結果を、ｙとして説明するものとする。
【００４０】
具体的には、１次カラーフィルタ１１２において、Ｙｅフィルタを透過する経路を通った光が、２次カラーフィルタ１１４を介してイメージセンサ１１３により受光されて得られる観測画像（図４の経路Ｙｅの観測画像）は、２次カラーフィルタ１１４にランダムに配置されたＲ、Ｇフィルタを透過した光から得られる赤（Ｒ）、緑（Ｇ）の画素と、ＩＲパスフィルタを透過した光から得られる黄（Ｙｅ）の画素とから構成される。
【００４１】
ここで、図５は、減法混合の場合における三原色である、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、及び、黄（Ｙｅ）の各フィルタの特性を示している。一方、図６には、加法混合の場合における三原色である、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各フィルタの特性を示している。ただし、図５及び図６においては、横軸は各色の波長を示し、縦軸は各色のフィルタを透過する光量を示している。
【００４２】
これらのフィルタの特性によれば、図５の黄（Ｙｅ）の波長域と、図６の赤（Ｒ）及び緑（Ｇ）の波長域とが対応する関係となっている。したがって、１次カラーフィルタ１１２のＹｅフィルタが、赤（Ｒ）の成分と、緑（Ｇ）の成分を透過するフィルタとしても機能して、２次カラーフィルタ１１４にランダムに配列されたＲ、Ｇフィルタを透過した光から、赤（Ｒ）、緑（Ｇ）の画素が得られる。一方、１次カラーフィルタ１１２のＹｅフィルタは、青（Ｂ）の成分を透過するフィルタとしては機能しないので、図中の黒い四角で表すように、青（Ｂ）の画素は得られない。
【００４３】
また、これらのフィルタの特性によれば、図５のシアン（Ｃｙ）の波長域と、図６の緑（Ｇ）及び青（Ｂ）の波長域とが対応する関係となっているので、１次カラーフィルタ１１２のＣｙフィルタは、緑（Ｇ）の成分と、青（Ｂ）の成分を透過するフィルタとしても機能することになるが、赤（Ｒ）の成分を透過するフィルタとしては機能しないことになる。
【００４４】
このようなＣｙフィルタの特性から、経路Ｃｙの観測画像（図４）は、２次カラーフィルタ１１４にランダムに配列されたＧ、Ｂフィルタを透過した光から得られる緑（Ｇ）、青（Ｂ）の画素と、ＩＲパスフィルタを透過した光から得られるシアン（Ｃｙ）の画素とから構成される。なお、経路Ｃｙの観測画像（図４）の場合、Ｃｙフィルタが赤（Ｒ）の成分を透過させないため、図中の黒い四角で表すように、赤（Ｒ）の画素は得られない。
【００４５】
また、これらのフィルタの特性によれば、図５のマゼンタ（Ｍｇ）の波長域と、図６の赤（Ｒ）及び青（Ｂ）の波長域とが対応する関係となっているので、１次カラーフィルタ１１２のＭｇフィルタは、赤（Ｒ）の成分と、青（Ｂ）の成分を透過するフィルタとしても機能することになるが、緑（Ｇ）の成分を透過するフィルタとしては機能しないことになる。
【００４６】
このようなＭｇフィルタの特性から、経路Ｍｇの観測画像（図４）は、２次カラーフィルタ１１４にランダムに配列されたＲ、Ｂフィルタを透過した光から得られる赤（Ｒ）、青（Ｂ）の画素と、ＩＲパスフィルタを透過した光から得られるマゼンタ（Ｍｇ）の画素とから構成される。なお、経路Ｍｇの観測画像（図４）の場合、Ｍｇフィルタが緑（Ｇ）の成分を透過させないため、図中の黒い四角で表すように、緑（Ｇ）の画素は得られない。
【００４７】
さらに、１次カラーフィルタ１１２の白（Ｗ）のフィルタは、赤（Ｒ）、緑（Ｇ）、及び、青（Ｂ）の全ての成分を透過するフィルタとして機能するので、経路Ｗの観測画像（図４）は、２次カラーフィルタ１１４にランダムに配列されたＲ、Ｇ、Ｂフィルタを透過した光から得られる赤（Ｒ）、緑（Ｇ）、及び、青（Ｂ）の画素と、ＩＲパスフィルタを透過した光から得られる画素とから構成される。
【００４８】
このように、レンズ部１１１の開口部に、減法混合の場合の三原色（シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ））の各色からなる１次カラーフィルタ１１２を配置し、イメージセンサ１１３の前面に、加法混合の場合の三原色（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の各色からなる２次カラーフィルタ１１４を配置する構成を採用することで、図４に示すような、４つの観測画像（観測結果ｙ）が得られることになる。
【００４９】
以上をまとめると、図７の上段に示すように、レンズ部１１１から、イメージセンサ１１３の受光面に入射される被写体１からの光は、１次カラーフィルタ１１２のＹｅフィルタによって、赤（Ｒ）の成分と緑（Ｇ）の成分が透過され、さらに、２次カラーフィルタ１１４のＲフィルタにより赤（Ｒ）の成分が、Ｇフィルタにより緑（Ｇ）の成分がそれぞれ透過される。これにより、経路Ｙｅの観測画像（図４）として、赤（Ｒ）及び緑（Ｇ）の画素を含む画像が得られる。
【００５０】
また、図７の中段に示すように、被写体１からの光は、１次カラーフィルタ１１２のＣｙフィルタによって、緑（Ｇ）の成分と青（Ｂ）の成分が透過され、さらに、２次カラーフィルタ１１４のＧフィルタにより緑（Ｇ）の成分が、Ｂフィルタにより青（Ｂ）の成分がそれぞれ透過される。これにより、経路Ｃｙの観測画像（図４）として、緑（Ｇ）と青（Ｂ）の画素を含む画像が得られる。
【００５１】
また、図７の下段に示すように、被写体１からの光は、１次カラーフィルタ１１２のＭｇフィルタによって、赤（Ｒ）の成分と青（Ｂ）の成分が透過され、さらに、２次カラーフィルタ１１４のＲフィルタにより赤（Ｒ）の成分が、Ｂフィルタにより青（Ｂ）の成分がそれぞれ透過される。これにより、経路Ｍｇの観測画像（図４）として、赤（Ｒ）及び青（Ｂ）の画素を含む画像が得られる。
【００５２】
なお、ここで、比較のために、レンズ部１１１の開口部と、イメージセンサ１１３の前面の両方に、加法混合の場合の三原色（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の各色からなるカラーフィルタが配置される構成を採用した場合に取得される観測画像についてまとめると、図８に示すようになる。
【００５３】
すなわち、図８の上段に示すように、レンズ部１１１から、イメージセンサ１１３の受光面に入射される被写体１からの光は、レンズ部１１１の開口部に配置された１次カラーフィルタ１１２のＲフィルタによって、赤（Ｒ）の成分のみが透過され、さらに、イメージセンサ１１３の前面に配置された２次カラーフィルタ１１４のＲフィルタにより赤（Ｒ）の成分のみが透過される。これにより、経路Ｒの観測画像として、赤（Ｒ）の画素のみを含む画像が得られる。
【００５４】
また、図８の中段に示すように、被写体１からの光は、１次カラーフィルタ１１２のＧフィルタによって、緑（Ｇ）の成分のみが透過され、さらに、２次カラーフィルタ１１４のＧフィルタにより緑（Ｇ）の成分のみが透過される。これにより、経路Ｇの観測画像として、緑（Ｇ）の画素のみを含む画像が得られる。
【００５５】
また、図８の下段に示すように、被写体１からの光は、１次カラーフィルタ１１２のＢフィルタにより青（Ｂ）の成分のみが透過され、さらに、２次カラーフィルタ１１４のＢフィルタにより青（Ｂ）の成分のみが透過される。これにより、経路Ｂの観測画像として、青（Ｂ）の画素のみを含む画像が得られる。
【００５６】
このように、１次カラーフィルタ１１２と２次カラーフィルタ１１４として、共にＲＧＢフィルタを用いてその特性を同一にした場合、各色のフィルタごとに、単一の色成分しか透過されないため、ＲＧＢフィルタと補色の関係にあるＣＭＹフィルタを用いてその特性を異ならせた場合と比べて、イメージセンサ１１３の受光面で受光される光量が減少してしまい、Ｓ／Ｎ比が悪化することになる。
【００５７】
これに対して、図１の画像処理装置１０においては、レンズ部１１１の開口部に配置される１次カラーフィルタ１１２として、ＲＧＢフィルタと補色の関係のあるＣＭＹフィルタを用いる一方、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４としてＲＧＢフィルタを用いることで、１次カラーフィルタと２次カラーフィルタの特性を異ならせている。このような構成を採用した場合、ＣＭＹフィルタは、ＲＧＢフィルタに対して複数の色成分を透過させることができるので、ＲＧＢフィルタのみを用いている場合と比べて、フィルタの組み合わせによる光量のロスを低減して、イメージセンサ１１３の受光面で受光される光量を確保し、Ｓ／Ｎ比を改善させることができる。
【００５８】
＜３．圧縮センシングを利用した復元処理＞
【００５９】
次に、図１の画像処理装置１０により実行される、圧縮センシングを利用した復元処理について説明する。
【００６０】
上述したように、図１の画像処理装置１０においては、画像処理部１１５によって、イメージセンサ１１３から出力される画像信号（観測画像）に対して圧縮センシングが適用されることで、被写体１の画像（被写体画像（自然画像））を復元する処理が行われる。
【００６１】
圧縮センシング（Compressed Sensing, Compressive Sampling）とは、スパース性（零要素が多いという性質）を有する高次元の信号を、少ない観測数から復元する枠組みである。ここでは、復元される高次元の信号が、被写体１の画像（被写体画像）に相当し、観測数が、観測画像を重ね合わせて得られる観測結果ｙに相当している。
【００６２】
すなわち、図９に示すように、イメージセンサ１１３から出力される画像信号（図４の４つの観測画像を重ね合わせて得られる画像）を観測結果ｙとし、被写体１の画像（被写体画像）を原信号ｘとし、レンズ部１１１の開口部に配置された１次カラーフィルタ１１２と、イメージセンサ１１３の前面に配置された２次カラーフィルタ１１４を通る過程を観測行列Ａとすると、下記の式（１）が成立することになる。
【００６３】
【数１】
0006595161.tif 000002
・・・（１）
【００６４】
この式（１）の連立方程式を解くことで、観測結果ｙと観測行列Ａから、原信号ｘを求めることができる。
【００６５】
なお、図１０に示すように、観測結果ｙの観測数Ｍは、Ｎ次元の原信号ｘよりも低次元となるため、一般に解を一意に定めることはできないが、ここでは、Ｎ次元の原信号ｘが、ｋ−スパースであって、非零要素の個数がｋ個とされることを利用する。つまり、自然画像の特性として、零要素が多いことが知られており、例えば、観測結果ｙの次元よりも、原信号ｘの非零要素の数が小さいときに、ランダム性を有する観測行列Ａを用いてＬ１復元法（Ｌ１再構成法）を適用することにより、ある確率で、原信号ｘが復元されることになる。換言すれば、自然画像は、空間周波数方向に対して冗長であるため、サンプリング量を間引いたとしても復元することが可能であるので、ここではそれを利用している。
【００６６】
ここで、Ｒチャンネルに注目した場合、図１１に示すように、レンズ部１１１の開口部に配置される１次カラーフィルタ１１２において、Ｍｇフィルタ、Ｙｅフィルタ、及びＷフィルタは、赤（Ｒ）の成分を透過するが、Ｃｙフィルタは、図中の黒い四角で表すように、赤（Ｒ）の成分は透過させないことになる。ここでは、この１次カラーフィルタ１１２を光が透過する過程をＢＲと定義する。ただし、このＢＲは、フォーカス位置に依存することになる。
【００６７】
また、図１２に示すように、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４において、Ｒチャンネルに注目した場合には、Ｒフィルタは、赤（Ｒ）の成分を透過するが、図中の黒い四角で表すように、ＧフィルタとＢフィルタは、赤（Ｒ）の成分は透過させないことになる。ここでは、この２次カラーフィルタ１１４を光が透過する過程をＣＲと定義する。
【００６８】
このようにして、ＢＲとＣＲを定義すれば、１次カラーフィルタ１１２と２次カラーフィルタ１１４を通る過程を表す観測行列Ａは、ＢＲとＣＲにより表すことができるので、Ｒチャンネルにおける被写体画像の復元処理は、下記の式（２）の連立方程式を解くことで実現される。
【００６９】
【数２】
0006595161.tif 000003
・・・（２）
【００７０】
なお、図１２の２次カラーフィルタ１１４の配列からも明らかなように、Ｒチャンネルに注目した場合に、Ｒフィルタがランダムに配列されているため、サンプリングにランダム性を持たせることが可能となる。また、この復元処理は、局所的な情報を用いるのではなく、画像全体の情報を用いて行われるため、通常のデモザイク処理を行った場合と比べて、モアレを軽減することができる。
【００７１】
また、ここでは、Ｒチャンネルに注目した場合を説明したが、Ｇチャンネル又はＢチャンネルに注目した場合も同様に、観測行列Ａを、ＢＧとＣＧ又はＢＢとＣＢにより表すことができる。
【００７２】
すなわち、Ｇチャンネルにおける被写体画像の復元処理は、下記の式（３）の連立方程式を解くことで表現される。
【００７３】
【数３】
0006595161.tif 000004
・・・（３）
【００７４】
また、Ｂチャンネルにおける被写体画像の復元処理は、下記の式（４）の連立方程式を解くことで表現される。
【００７５】
【数４】
0006595161.tif 000005
・・・（４）
【００７６】
以上のように、図１の画像処理装置１０は、レンズ部１１１の開口部に１次カラーフィルタ１１２を設けたColor-Filtered Apertureの原理を利用した構成を採用しているが、当該１次カラーフィルタ１１２として、ＲＧＢフィルタと補色の関係のあるＣＭＹフィルタを用いる一方、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４としてＲＧＢフィルタを用いることで、１次カラーフィルタと２次カラーフィルタの特性を異ならせている。このようなＣＭＹフィルタとＲＧＢフィルタの組み合わせを用いることで、ＲＧＢフィルタのみを用いる場合と比べて、フィルタの組み合わせによる光量のロスを低減することができるため、イメージセンサ１１３の受光面への十分な入射光量を確保して、Ｓ／Ｎ比を改善させることができる。
【００７７】
また、画像処理装置１０において、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色からなるフィルタと、ＩＲパスフィルタ（ＩＲ）がランダムに配列されているため、復元処理により復元される被写体画像におけるモアレを軽減することができる。その結果、画像処理装置１０では、イメージセンサ１１３の受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減することができる。
【００７８】
なお、上述した説明では、１次カラーフィルタ１１２と２次カラーフィルタ１１４の組み合わせとして、ＣＭＹフィルタとＲＧＢフィルタの組み合わせを説明したが、カラーフィルタの組み合わせはこれに限らず、例えば、同一の色で波長域を異ならせるなど、特性の異なるカラーフィルタの組み合わせであれば、他の組み合わせを採用するようにしてもよい。
【００７９】
また、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４には、赤外線光を透過させることが可能なＩＲパスフィルタが含まれているため、例えば暗い場所等においては、赤外線画像が生成されるようにして、切り替えるようにしてもよい。ただし、２次カラーフィルタ１１４において、ＲＧＢフィルタ以外に、ＩＲパスフィルタを含めるかどうかは任意である。
【００８０】
＜４．画像処理の流れ＞
【００８１】
次に、図１３のフローチャートを参照して、図１の画像処理装置１０により実行される画像処理の流れについて説明する。
【００８２】
ステップＳ１０１において、画像処理部１１５は、イメージセンサ１１３から出力される画像信号を取得する。
【００８３】
ステップＳ１０２において、画像処理部１１５は、イメージセンサ１１３からの画像信号に対する所定の画像処理を行う。上述したように、この画像処理としては、イメージセンサ１１３からの画像信号（観測画像）に対して圧縮センシングを適用することで、被写体１の画像（被写体画像）を復元する処理が行われる。
【００８４】
なお、画像処理としては、被写体画像の復元処理のみならず、例えば、Color-Filtered Apertureの原理を利用して得られる視差情報（色ごとのずれ量）を用いて、奥行き情報などが求められるようにしてもよい。また、奥行き情報は、上述した圧縮センシングを利用して算出されるようにしてもよい。
【００８５】
ステップＳ１０３において、画像処理部１１５は、ステップＳ１０２の画像処理の結果を、後段の回路等に出力する。ステップＳ１０３の処理が終了すると、図１３の画像処理は終了する。
【００８６】
以上、図１の画像処理装置１０により実行される画像処理について説明した。この画像処理においては、その開口部に１次カラーフィルタ１１２が配置されるレンズ部１１１により集光された被写体からの光が、その前面に２次カラーフィルタ１１４が配置されるイメージセンサ１１３により光電変換されて、それにより得られる画像信号が、画像処理部１１５によって、処理されることになる。
【００８７】
＜５．撮像装置の構成＞
【００８８】
図１４は、本技術を適用した撮像装置の一実施の形態を示す図である。
【００８９】
図１４において、撮像装置３００は、レンズ部３０１、イメージセンサ３０２、画像処理部３０３、フレームメモリ３０４、表示部３０５、記録部３０６、操作部３０７、及び、電源部３０８から構成される。また、撮像装置３００において、画像処理部３０３、フレームメモリ３０４、表示部３０５、記録部３０６、操作部３０７、及び、電源部３０８は、バスライン３０９を介して相互に接続されている。
【００９０】
レンズ部３０１は、上述したレンズ部１１１（図１）に相当するものである。レンズ部３０１は、１又は複数のレンズ群等から構成され、被写体からの光（像光）を、イメージセンサ３０２の受光面上に入射させる。なお、図示はしていないが、レンズ部３０１の開口部には、４つの領域に分割された各領域がそれぞれ、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、又は白（Ｗ）の各色のフィルタからなる１次カラーフィルタ（図１の１次カラーフィルタ１１２）が配置されている。
【００９１】
イメージセンサ３０２は、例えばCMOSイメージセンサ等からなる上述のイメージセンサ１１３（図１）に相当するものである。イメージセンサ３０２は、光電変換素子を有する複数の画素が行列状に２次元配置される画素アレイ部とその周辺回路部とを有する。イメージセンサ３０２は、レンズ部３０１によって受光面上に結像された入射光の光量を、画素単位で電気信号に変換して、画像信号として、画像処理部３０３に出力する。なお、図示はしていないが、イメージセンサ３０２の前面には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタからなる２次カラーフィルタ（図１の２次カラーフィルタ１１４）が配置されている。
【００９２】
画像処理部３０３は、上述した画像処理部１１５（図１）に相当するものである。画像処理部３０３は、イメージセンサ１１３から出力される画像信号に対する所定の画像処理を行う。この画像処理としては、例えば、イメージセンサ１１３から出力される画像信号に対して圧縮センシングを適用することで、被写体画像を復元する処理が行われる。
【００９３】
また、画像処理部３０３は、イメージセンサ３０２から出力される画像信号に対してカメラ信号処理を施す。当該信号処理により得られる画像データは、フレームメモリ３０４に一時的に格納され、表示部３０５又は記録部３０６に供給される。
【００９４】
表示部３０５は、例えば、液晶パネルや有機EL（Electro Luminescence）パネル等から構成され、イメージセンサ３０２で撮像された動画又は静止画を表示する。記録部３０６は、イメージセンサ３０２で撮像された動画又は静止画の画像データを、半導体メモリやビデオテープ等の記録媒体に記録する。
【００９５】
操作部３０７は、ユーザからの操作に従い、撮像装置３００が有する各種の機能についての操作指令を発する。電源部３０８は、画像処理部３０３、フレームメモリ３０４、表示部３０５、記録部３０６、及び、操作部３０７の動作に必要となる電力を、これらの供給対象に対して適宜供給する。
【００９６】
なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやデジタルビデオカメラだけでなく、携帯電話機、スマートフォン、タブレット型デバイス、又はパーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、本技術を適用した撮像装置は、他の情報処理装置に装着して使用される（又は組み込みデバイスとして搭載される）カメラモジュールであってもよい。
【００９７】
また、上述した一連の処理（例えば、図１３の画像処理）は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。当該一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【００９８】
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等よりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや記録部等で構成される。
【００９９】
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１００】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０１】
また、本技術は、以下のような構成をとることができる。
【０１０２】
（１）
被写体からの光を集光するレンズ部と、
前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、
前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、
前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、
前記イメージセンサから出力される前記画像信号を処理する画像処理部と
を備える画像処理装置。
（２）
前記第１のカラーフィルタが透過させる色は、前記第２のカラーフィルタが透過させる色と補色の関係にある
（１）に記載の画像処理装置。
（３）
前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）の各色からなるフィルタであり、
前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色からなるフィルタである
（２）に記載の画像処理装置。
（４）
前記第２のカラーフィルタは、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタを含んでいる
（３）に記載の画像処理装置。
（５）
前記画像処理部は、前記イメージセンサから出力される画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われる
（５）に記載の画像処理装置。
（７）
画像処理装置の画像処理方法において、
前記画像処理装置が、
その開口部に所定の特性を有する第１のカラーフィルタが配置され、被写体からの光を集光するレンズ部からの光が、その前面に前記第１のカラーフィルタと異なる特性を有するとともに各色がランダムに配列された第２のカラーフィルタが配置されるイメージセンサにより光電変換されることで得られる画像信号を処理する
ステップを含む画像処理方法。
（８）
被写体からの光を集光するレンズ部と、
前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、
前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、
前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、
前記イメージセンサから出力される前記画像信号を処理する画像処理部と
を備える撮像装置。
【符号の説明】
【０１０３】
１０  画像処理装置，  １１１  レンズ部，  １１２  １次カラーフィルタ，  １１３  イメージセンサ，  １１４  ２次カラーフィルタ，  １１５  画像処理部，  ３００  撮像装置，  ３０１  レンズ部，  ３０２  イメージセンサ，  ３０３  画像処理部
【図１】
0006595161.tif 000006
【図２】
0006595161.tif 000007
【図３】
0006595161.tif 000008
【図４】
0006595161.tif 000009
【図５】
0006595161.tif 000010
【図６】
0006595161.tif 000011
【図７】
0006595161.tif 000012
【図８】
0006595161.tif 000013
【図９】
0006595161.tif 000014
【図１０】
0006595161.tif 000015
【図１１】
0006595161.tif 000016
【図１２】
0006595161.tif 000017
【図１３】
0006595161.tif 000018
【図１４】
0006595161.tif 000019