(57)【特許請求の範囲】
【請求項１】
被写体光を撮像素子に導く結像光学系と、複数の光電変換素子がマトリクス状に配置され、前記結像光学系を介して結像した前記被写体光を光電変換して画素信号を出力する撮像素子と、を備えたカラー撮像装置において、
前記結像光学系及び前記撮像素子を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光の夫々と対となるように複数備えて、前記複数の撮像素子の受光面或いは前記結像光学系の光路上に、夫々、前記複数の色光の内の何れかを透過するカラーフィルタを備え、
前記複数の結像光学系及び撮像素子が、Ｒ（赤）の色光を露光する結像光学系及び撮像素子と、Ｇ（緑）の色光を露光する結像光学系および撮像素子と、Ｂ（青）の色光を露光する結像光学系および撮像素子とによって構成され、
前記複数の結像光学系及び前記複数の撮像素子が並設されて、前記複数の撮像素子の夫々に前記被写体の略同範囲が結像するように配置され、該複数の撮像素子の夫々を介して、Ｒ（赤）の画像、Ｇ（緑）の画像、Ｂ（青）の画像の画素信号を生成するように構成され、
前記Ｇ（緑）の画像に対して、前記Ｒ（赤）の画像の視差量を検出すると共に前記Ｂ（青）の画像の視差量を検出する視差量検出手段と、
前記視差量検出手段を介して検出された視差量を打ち消すように前記Ｒ（赤）の画像及びＢ（青）の画像を前記複数の撮像素子の並設方向に移動して前記視差量を補正する視差補正手段と、
前記視差補正手段を介して前記視差量が補正されたＲの画像及びＢの画像と、前記Ｇの画像とを合成してカラー画像を生成するカラー画像生成部と、
を備え、
前記視差量検出手段が、Ｇ（緑）の画像に対するＲ（赤）の画像の視差量及びＢ（青）の画像の視差量を検出する際に、注目画素の座標を基点とする所定のピクセル数の範囲で、視差を補正する方向にＲ（赤）の画像及びＢ（青）の画像を１ピクセルずつずらして、該ずらして得られた画像毎にＧ画像とＲ画像との積率相関係数及びＧ画像とＢ画像との積率相関係数を算出し、前記積率相関係数が最も高く算出された際のＧの画像に対するＲ画像及びＢ画像のずれ量をＲの画像の視差量及びＢの画像の視差量として検出するように構成され、且つ、前記結像光学系から前記被写体までの距離が短くなるに従って、前記積率相関係数を算出する際の前記所定のピクセル数の範囲を広くするように変化させて前記視差量を検出するように構成されている、
ことを特徴とするカラー撮像装置。
【請求項２】
前記カラー画像生成部には、
前記複数の撮像素子から出力されたＲ（赤）Ｇ（緑）Ｂ（青）夫々の単色の画像における低周波成分を抽出する低周波成分抽出手段と、
前記低周波成分抽出手段で抽出されたＲ（赤）、Ｇ（緑）、Ｂ（青）夫々の色光の低周波成分を用いて低周波輝度信号を生成する低周波輝度信号生成手段と、
前記Ｇ（緑）の色光を受光した撮像素子から出力された単色の画像における高周波成分を抽出する高周波成分抽出手段と、
前記高周波成分抽出手段で抽出された高周波成分を用いてカラー画像のエッジ強調の補正を行う画像補正部と、
前記輝度信号生成手段で生成された前記低周波輝度信号と前記画像補正部から出力されたＧ（緑）の色光の高周波成分とを合成して輝度信号を生成する輝度合成手段と、
が備えられ、
前記低周波成分抽出手段が、前記複数の撮像素子の並設方向の高周波成分を除去するように構成され、
前記高周波成分抽出手段が、前記複数の撮像素子の並設方向の高周波成分を他の方向よりも強めに抽出するように構成されている、
ことを特徴とする請求項１に記載のカラー撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー撮影機能を有するデジタルカメラ等のカラー撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等のカラー撮像装置において、撮像素子に被写体像を結像して光電変換し、カラー画像を生成する技術が用いられている。この際、撮像素子は、複数の光電変換素子がマトリクス状に配置されて、光電変換素子毎に受光量に応じた電気信号を出力するように構成されている。また、カラー撮像装置では、撮像光に含まれる複数の色成分を読み込む必要がある。
【０００３】
一方、カラー撮像装置では、撮像素子が１つで構成されているもの（以下、単板式カラー撮像装置という）と、撮像素子が複数で構成されているもの（以下、複板式カラー撮像装置という）とがある。
【０００４】
単板式カラー撮像装置は、撮像素子の前面に複数色のカラーフィルタが備えられ、このカラーフィルタを透過した画素信号に信号処理を加えてカラー画像を生成する。
【０００５】
単板式カラー撮像装置では、撮像素子として、マトリックス状に複数の光電変換素子が構成されると共に、その前面に光電変換素子に対応付けて、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが備えられ、このカラーフィルタを介して出力した単一色の画像信号に信号処理を加えてカラー画像を生成する（例えば、特許文献１参照）。
【０００６】
つまり、単板式の撮像素子を介して出力された画像では、各画素が単一色の色情報しか持たない色モザイク画像であって、カラー画像を生成するために信号処理を加えて、各画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）等の複数の色情報を備える必要がある。
【０００７】
そこで、単板式撮像素子を用いたカラー画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみの色情報を有する色モザイク画像にもとづいて、各画素において不足する他の色情報を、その画素周辺の他の画素の色情報を用いて補間演算することにより、各画素が夫々Ｒ、Ｇ、Ｂ成分の全ての色情報を有するカラー画像を生成する（所謂、色補間処理である）。
【０００８】
一方、複板式カラー撮像装置では、撮像光をＲＧＢの各色光に分離するための色分解プリズムが光路上に配置されると共に、色分解プリズムを介して出射された各色光の結像面に、Ｒの色光を受光する撮像素子、Ｇの色光を受光する撮像素子、Ｂの色光を受光する撮像素子が配置され、夫々の撮像素子から出力された画素信号を合成して、画素毎に複数の色成分を有するカラー画像を生成する（例えば、特許文献２参照）。
【０００９】
例えば、複板式カラー撮像装置では、色分解プリズムが、色光の波長に対応付けられて、Ｂ（青）光反射ミラーと、Ｒ（赤）光反射ミラーと、Ｇ（緑）光透過フィルタ等によって構成され、撮像光がＲＧＢ毎に異なる撮像素子に結像して画素信号が生成される。そして、各撮像素子から出力された、Ｒ、Ｇ、Ｂの画素信号を合成することにより、１つの画素におけるＲＧＢのカラー情報を生成する。
【特許文献１】特開２００５−２８６５３６号公報
【特許文献２】特開平７−８４１７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来の単板式カラー撮像装置によれば、撮像素子の１画素に１色ずつ色フィルタが配置された構成であって、１画素のカラー画像信号を得るために、各画素において不足する他の色情報を、その画素周辺の他の画素の色情報を用いて補間演算を行っているので、複板式カラー撮像装置に比べて解像度が低くなるという問題がある。
【００１１】
また、従来の単板式カラー撮像装置によれば、複板式カラー撮像装置と同等の解像度を得るためには、撮像素子の画素数を増やす（例えば、２〜３倍）必要があって、この際、撮像素子の画素数の増加に応じて撮像面が広がり、同じ画角でもレンズから撮像素子までの焦点距離が長くなって、光軸方向のサイズの小型化が困難であるという問題があった。
【００１２】
一方、従来の複板式カラー撮像装置によれば、被写体像から撮像素子に向かう光軸上に、色分解プリズムの配置スペースや色分解プリズムを介してＲＧＢ毎に分岐させるための光路長等を構成する必要あるので、光軸方向のサイズが大きくなって小型化が困難であるという問題があった。さらに、従来の複板式カラー撮像装置によれば、色分解プリズムには、撮像光を撮像素子に導くための高い精度が要求され、生産性を損なう虞もあった。
【００１３】
そこで、本発明は、色分解プリズムを必要とせず、複板式のカラー撮像装置並みの画質を維持しつつ、光軸方向のサイズを複板式カラー撮像装置よりも小さくでき、且つ、低コスト化が可能なカラー撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
かかる目的を達成するためになされた請求項１に記載の発明は、被写体光を撮像素子に導く結像光学系と、複数の光電変換素子がマトリクス状に配置され、前記結像光学系を介して結像した前記被写体光を光電変換して画素信号を出力する撮像素子と、を備えたカラー撮像装置において、前記結像光学系及び前記撮像素子を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光の夫々と対となるように複数備えて、前記複数の撮像素子の受光面或いは前記結像光学系の光路上に、夫々、前記複数の色光の内の何れかを透過するカラーフィルタを備え、前記複数の結像光学系及び撮像素子が、Ｒ（赤）の色光を露光する結像光学系及び撮像素子と、Ｇ（緑）の色光を露光する結像光学系および撮像素子と、Ｂ（青）の色光を露光する結像光学系および撮像素子とによって構成され、前記複数の結像光学系及び前記複数の撮像素子が並設されて、前記複数の撮像素子の夫々に前記被写体の略同範囲が結像するように配置され、該複数の撮像素子の夫々を介して、Ｒ（赤）の画像、Ｇ（緑）の画像、Ｂ（青）の画像の画素信号を生成するように構成され、前記Ｇ（緑）の画像に対して、前記Ｒ（赤）の画像の視差量を検出すると共に前記Ｂ（青）の画像の視差量を検出する視差量検出手段と、前記視差量検出手段を介して検出された視差量を打ち消すように前記Ｒ（赤）の画像及びＢ（青）の画像を前記複数の撮像素子の並設方向に移動して前記視差量を補正する視差補正手段と、前記視差補正手段を介して前記視差量が補正されたＲの画像及びＢの画像と、前記Ｇの画像とを合成してカラー画像を生成するカラー画像生成部と、を備え、前記視差量検出手段が、Ｇ（緑）の画像に対するＲ（赤）の画像の視差量及びＢ（青）の画像の視差量を検出する際に、注目画素の座標を基点とする所定のピクセル数の範囲で、視差を補正する方向にＲ（赤）の画像及びＢ（青）の画像を１ピクセルずつずらして、該ずらして得られた画像毎にＧ画像とＲ画像との積率相関係数及びＧ画像とＢ画像との積率相関係数を算出し、前記積率相関係数が最も高く算出された際のＧの画像に対するＲ画像及びＢ画像のずれ量をＲの画像の視差量及びＢの画像の視差量として検出するように構成され、且つ、前記結像光学系から前記被写体までの距離が短くなるに従って、前記積率相関係数を算出する際の前記所定のピクセル数の範囲を広くするように変化させて前記視差量を検出するように構成されている、ことを特徴とする。
【００１５】
請求項１に記載のカラー撮像装置は、結像光学系及び撮像素子を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光の夫々と対となるように複数備えて、複数の撮像素子の受光面或いは結像光学系の光路上に、夫々、複数の色光の内の何れかを透過するカラーフィルタを備え、複数の結像光学系及び撮像素子が、Ｒ（赤）の色光を露光する結像光学系及び撮像素子と、Ｇ（緑）の色光を露光する結像光学系および撮像素子と、Ｂ（青）の色光を露光する結像光学系および撮像素子とによって構成され、複数の結像光学系及び複数の撮像素子が並設されて、複数の撮像素子の夫々に被写体の略同範囲が結像するように配置され、該複数の撮像素子の夫々を介して、Ｒ（赤）の画像、Ｇ（緑）の画像、Ｂ（青）の画像の画素信号を生成するように構成され、Ｇ（緑）の画像に対して、Ｒ（赤）の画像の視差量を検出すると共にＢ（青）の画像の視差量を検出する視差量検出手段と、視差量検出手段を介して検出された視差量を打ち消すようにＲ（赤）の画像及びＢ（青）の画像を複数の撮像素子の並設方向に移動して視差量を補正する視差補正手段と、視差補正手段を介して視差量が補正されたＲの画像及びＢの画像と、Ｇの画像とを合成してカラー画像を生成するカラー画像生成部と、を備え、視差量検出手段が、Ｇ（緑）の画像に対するＲ（赤）の画像の視差量及びＢ（青）の画像の視差量を検出する際に、注目画素の座標を基点とする所定のピクセル数の範囲で、視差を補正する方向にＲ（赤）の画像及びＢ（青）の画像を１ピクセルずつずらして、ずらして得られた画像毎にＧ画像とＲ画像との積率相関係数及びＧ画像とＢ画像との積率相関係数を算出し、積率相関係数が最も高く算出された際のＧの画像に対するＲ画像及びＢ画像のずれ量をＲの画像の視差量及びＢの画像の視差量として検出するように構成されているので、従来の色分解プリズムを用いた複板式撮像装置に比べて、同等の画質を維持しつつ、光軸方向のサイズを小型化できるとともに低コスト化できる。
【００１６】
つまり、請求項１に記載のカラー撮像装置によれば、ＲＧＢの夫々の色光に対応つけられた複数の撮像光学系及び撮像素子を備えているので、色分解プリズムを介して被写体光を複数の色光に分岐させるための構成が不要となり、光軸方向のサイズの小型化と生産性の向上を図ることができる。また、請求項１に記載のカラー撮像装置によれば、Ｇ（緑）の画像に対して、Ｒ（赤）の画像の視差量を検出すると共にＢ（青）の画像の視差量を検出する視差量検出手段と、視差量検出手段を介して検出された視差量を打ち消すようにＲ（赤）の画像及びＢ（青）の画像を複数の撮像素子の並設方向に移動して視差量を補正する視差補正手段と、視差補正手段を介して視差量が補正されたＲの画像及びＢの画像と、Ｇの画像とを合成してカラー画像を生成するカラー画像生成部と、を備え、視差量検出手段が、Ｇ（緑）の画像に対するＲ（赤）の画像の視差量及びＢ（青）の画像の視差量を検出する際に、注目画素の座標を基点とする所定のピクセル数の範囲で、視差を補正する方向にＲ（赤）の画像及びＢ（青）の画像を１ピクセルずつずらして、ずらして得られた画像毎にＧ画像とＲ画像との積率相関係数及びＧ画像とＢ画像との積率相関係数を算出し、積率相関係数が最も高く算出された際のＧの画像に対するＲ画像及びＢ画像のずれ量をＲの画像の視差量及びＢの画像の視差量として検出するように構成されているので、色光間の視差による色ずれを精度良く抑制でき、従来の複板式撮像装置と同等の画質を得ることができる。
【００１９】
また、請求項１に記載のカラー撮像装置は、前記視差量検出手段が、前記結像光学系から前記被写体までの距離が短くなるに従って、前記積率相関係数を算出する際の前記所定のピクセル数の範囲を広くするように変化させて前記視差量を検出するように構成されていることにより、比較的色ずれの発生し易い近接撮影（マクロ撮影）でも色ずれを抑制できる。
【００２０】
次に、請求項１記載のカラー撮像装置は、請求項２に記載の発明のように、前記カラー画像生成部には、前記複数の撮像素子から出力されたＲ（赤）Ｇ（緑）Ｂ（青）夫々の単色の画像における低周波成分を抽出する低周波成分抽出手段と、前記低周波成分抽出手段で抽出されたＲ（赤）、Ｇ（緑）、Ｂ（青）夫々の色光の低周波成分を用いて低周波輝度信号を生成する低周波輝度信号生成手段と、前記Ｇ（緑）の色光を受光した撮像素子から出力された単色の画像における高周波成分を抽出する高周波成分抽出手段と、前記高周波成分抽出手段で抽出された高周波成分を用いてカラー画像のエッジ強調の補正を行う画像補正部と、前記輝度信号生成手段で生成された前記低周波輝度信号と前記画像補正部から出力されたＧ（緑）の色光の高周波成分とを合成して輝度信号を生成する輝度合成手段と、が備えられ、前記低周波成分抽出手段が、前記複数の撮像素子の並設方向の高周波成分を除去するように構成され、前記高周波成分抽出手段が、前記複数の撮像素子の並設方向の高周波成分を他の方向よりも強めに抽出するように構成されていることにより、カラー画像における色ずれを目立たなくさせることができると共に高周波成分におけるエッジ強調を良好にできる。
【発明の効果】
【００２３】
本発明のカラー撮像装置は、結像光学系及び前記撮像素子を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光の夫々と対となるように複数備えて、複数の撮像素子の受光面或いは前記結像光学系の光路上に、夫々、複数の色光の内の何れかを透過するカラーフィルタを備え、複数の結像光学系及び撮像素子が、Ｒ（赤）の色光を露光する結像光学系及び撮像素子と、Ｇ（緑）の色光を露光する結像光学系および撮像素子と、Ｂ（青）の色光を露光する結像光学系および撮像素子とによって構成され、複数の結像光学系及び複数の撮像素子が並設されて、複数の撮像素子の夫々に被写体の略同範囲が結像するように配置され、該複数の撮像素子の夫々を介して、Ｒ（赤）の画像、Ｇ（緑）の画像、Ｂ（青）の画像の画素信号を生成するように構成され、Ｇ（緑）の画像に対して、Ｒ（赤）の画像の視差量を検出すると共に前記Ｂ（青）の画像の視差量を検出する視差量検出手段と、視差量検出手段を介して検出された視差量を打ち消すようにＲ（赤）の画像及びＢ（青）の画像を複数の撮像素子の並設方向に移動して視差量を補正する視差補正手段と、視差補正手段を介して視差量が補正されたＲの画像及びＢの画像と、Ｇの画像とを合成してカラー画像を生成するカラー画像生成部と、を備えているので、従来の色分解プリズムを用いた複板式撮像装置に比べて、同等の画質を維持しつつ、光軸方向のサイズを小型化できるとともに低コスト化できる。
【００２４】
また、本発明のカラー撮像装置によれば、Ｇ（緑）の画像に対して、Ｒ（赤）の画像の視差量を検出すると共にＢ（青）の画像の視差量を検出する視差量検出手段と、視差量検出手段を介して検出された視差量を打ち消すようにＲ（赤）の画像及びＢ（青）の画像を複数の撮像素子の並設方向に移動して視差量を補正する視差補正手段と、視差補正手段を介して視差量が補正されたＲの画像及びＢの画像と、Ｇの画像とを合成してカラー画像を生成するカラー画像生成部とを備えているので、色光間の視差による色ずれを精度良く抑制できる。そして、本発明のカラー撮像装置によれば、色分解プリズムを介して分岐した複数の色光の夫々毎に撮像素子を備えた従来の複板式撮像装置と同等の画質を得ることができる。
【００２６】
また、本発明のカラー撮像装置は、視差量検出手段が、Ｇ（緑）の画像に対するＲ（赤）の画像及びＢ（青）の画像の視差量を検出する際に、注目画素の座標を基点とする所定のピクセル数の範囲で、視差を補正する方向にＲ（赤）の画像及びＢ（青）の画像を１ピクセルずつずらして、該ずらして得られた画像毎にＧ画像とＲ画像との積率相関係数及びＧ画像とＢ画像との積率相関係数を算出し、この積率相関係数が最も高く算出された際のＧの画像に対するＲの画像及びＢの画像のずれ量をＲの画像の視差量及びＢの画像の視差量として検出するように構成されていることにより、色光間の視差による色ずれを精度良く検出できる。
【００２７】
また、本発明のカラー撮像装置は、視差量検出手段が結像光学系から前記被写体までの距離が短くなるに従って前記積率相関係数を算出する際の前記所定のピクセル数の範囲を広くするように変化させて視差量を検出するように構成されていることにより、比較的色ずれの発生し易い近接撮影（マクロ撮影）でも色ずれを抑制できる。
【００２８】
また、本発明のカラー撮像装置は、カラー画像生成部には、複数の撮像素子から出力されたＲ（赤）Ｇ（緑）Ｂ（青）夫々の単色の画像における低周波成分を抽出する低周波成分抽出手段と、抽出されたＲ（赤）、Ｇ（緑）、Ｂ（青）夫々の色光の低周波成分を用いて低周波輝度信号を生成する低周波輝度信号生成手段と、Ｇ（緑）の色光を受光した撮像素子から出力された単色の画像における高周波成分を抽出する高周波成分抽出手段と、高周波成分抽出手段で抽出された高周波成分を用いてカラー画像のエッジ強調の補正を行う画像補正部と、輝度信号生成手段で生成された低周波輝度信号と画像補正部から出力されたＧ（緑）の色光の高周波成分とを合成して輝度信号を生成する輝度合成手段と、が備えられ、低周波成分抽出手段が、複数の撮像素子の並設方向の高周波成分を除去するように構成され、高周波成分抽出手段が、複数の撮像素子の並設方向の高周波成分を他の方向よりも強めに抽出するように構成されていることにより、カラー画像における色ずれを目立たなくさせることができると共に高周波成分におけるエッジ強調を良好にできる。
【発明を実施するための最良の形態】
【００３１】
(第１の実施形態)
次に、図１、図２を用いて、本発明のカラー撮像装置の第１の実施形態を説明する。
【００３２】
図１は、本発明の第１の実施形態における、カラー撮像装置１Ａの構成を表した図であって、（ａ）がカラー撮像装置全体の構成図、（ｂ）が（ａ）中のＹ−Ｙから視た半導体基板５の構成図である。図２は、同第１の実施形態のカラー撮像装置における、画像処理部２００の構成図である。
【００３３】
図１（ａ）に表したように、カラー撮像装置１Ａは、ＲＧＢ三原色に対応つけられて、被写体光Ｓに含まれるＲ（赤）の色光のみを透過するカラーフィルタ６Ｒ、Ｇ（緑）の色光のみを透過するカラーフィルタ６Ｇ、Ｂ（青）の色光のみを透過するカラーフィルタ６Ｂ、カラーフィルタ６Ｒを透過したＲの色光を受光部５Ｒに結像させる結像光学系１１０Ｒ、カラーフィルタ６Ｇを透過したＧの色光を受光部５Ｇに結像させる結像光学系１１０Ｇ、カラーフィルタ６Ｂを透過したＢの色光を受光部５Ｂに結像させる結像光学系１１０Ｂ、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂを支持する鏡筒７、受光部５Ｒ、５Ｇ、５Ｂの露光を制御する制御部１１、等を備えている。受光部５Ｒ、５Ｇ、５Ｂは、検出された受光量に応じて画素毎にアナログ電気信号を生成して出力する。
【００３４】
また、カラー撮像装置１Ａは、受光部５Ｒ、５Ｇ、５Ｂから出力された色光毎のアナログ電気信号に対して、その利得を可変して感度調整やホワイトバランス調整を行う可変利得アンプＰＧＡ１２０Ｒ、ＰＧＡ１２０Ｇ、ＰＧＡ１２０Ｂ等と、ＰＧＡ１２０Ｒ、ＰＧＡ１２０Ｇ、ＰＧＡ１２０Ｂを介して入力されたアナログ電気信号をデジタル画像データに変換するＡＤＣ１３０Ｒ、ＡＤＣ１３０Ｇ、ＡＤＣ１３０Ｂ等と、を備えている。
【００３５】
また、カラー撮像装置１Ａは、ＡＤＣ１３０Ｒ、ＡＤＣ１３０Ｇ、ＡＤＣ１３０Ｂ等から出力されたＲＧＢ毎の画像データを合成してカラー画像データを生成する画像処理部２００と、画像処理部２００で生成されたカラー画像データをＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の方法で圧縮する圧縮部１５０と、圧縮部１５０で圧縮されたカラー画像データを記録媒体（例えば、フラッシュメモリである）に記録する記録部１６０と、を備えている。
【００３６】
なお、本発明における複数の撮像素子は、後述の半導体基板５及び受光部５Ｒ、５Ｇ、５Ｂ等によってその機能が発現される。また、本発明におけるＲ（赤）の色光を露光する結像光学系及び撮像素子が、結像光学系１１０Ｒ、受光部５Ｒ及び半導体基板５等によってその機能が発現され、本発明における（Ｇ）の色光を露光する結像光学系及び撮像装置が、結像光学系１１０Ｇ、受光部５Ｇ及び半導体基板５等によってその機能が発現され、本発明におけるＢ（青）の色光を露光する結像光学系及び撮像装置が、結像光学系１１０Ｂ、受光部５Ｂ及び半導体基板５等によってその機能が発現される。
【００３７】
詳しくは、結像光学系１１０Ｒは、カラーフィルタ６Ｒを透過したＲの色光を集光して受光部５Ｒに結像させる撮像レンズ２Ｒ及び４Ｒと、Ｒの色光が受光部５Ｒに結像する際の焦点深度を広げる瞳フィルタ３Ｒとが、光軸方向に沿って配置されている。
【００３８】
結像光学系１１０Ｇは、カラーフィルタ６Ｇを透過したＧの色光を集光して受光部５Ｇに結像させる撮像レンズ２Ｇ及び４Ｇと、Ｇの色光が受光面５Ｇに結像する際の焦点深度を広げる瞳フィルタ３Ｇとが、光軸方向に沿って配置されている。
【００３９】
結像光学系１１０Ｂは、カラーフィルタ６Ｂを透過したＢの色光を集光して受光部５Ｂに結像させる撮像レンズ２Ｂ及び４Ｂと、Ｂの色光が受光部５Ｂに結像する際の焦点深度を広げる瞳フィルタ３Ｂとが、光軸方向に沿って配置されている。
【００４０】
また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、互いに色光の混入が生じないように遮光壁１０を介して配置されている。
【００４１】
また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、受光部５Ｒ、５Ｇ、５Ｂの夫々に、被写体の略同範囲が結像するように配置されている。
【００４２】
また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、Ｒ、Ｇ、Ｂ等の色光の内で最も視感度の高い色光に対応する結像光学系１１０Ｇ及び受光部５Ｇが中央に位置され、結像光学系１１０Ｇ及び受光部５Ｇを介して両側に、結像光学系１１０Ｒ及び受光部５Ｒ、結像光学系１１０Ｂ及び受光部５Ｂ等が配置されている。
【００４３】
また、カラー撮像装置１Ａは、カラーフィルタ６Ｒ、６Ｇ、６Ｂが、夫々、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂの入射光の光路上備えられ、カラーフィルタ６Ｒ、６Ｇ、６Ｂを透過した単色光の画像が、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂを介して受光部５Ｒ、５Ｇ、５Ｂに結像する。
【００４４】
そして、カラー撮像装置１Ａは、結像光学系１１０Ｒ、カラーフィルタ６Ｒ、瞳フィルタ３Ｒ、受光部５Ｒが対となってＲの色光の画像を撮影するカメラブロックが構成され、結像光学系１１０Ｇ、カラーフィルタ６Ｇ、瞳フィルタ３Ｇ、受光部５Ｇが対となってＧの色光の画像を撮影するカメラブロックが構成され、結像光学系１１０Ｂ、カラーフィルタ６Ｂ、瞳フィルタ３Ｂ、受光部５Ｂが対となってＢの色光の画像を撮影するカメラブロックが構成されている。
【００４５】
次に、図１（ｂ）に表したように、半導体基板５上に３つの受光部５Ｒ、５Ｇ、５Ｂが構成されている。
【００４６】
受光部５Ｒ、５Ｇ、５Ｂは、半導体基板５上に構成されたイメージセンサ（例えば、ＣＣＤやＣＭＯＳ等のイメージセンサ）であって、視差を低減するために、長辺同士が近接するように配置され、夫々、１９２０×１０８０≒２Ｍの画素から構成されている。
【００４７】
また、受光部５Ｒ、５Ｇ、５Ｂは、夫々、一辺が１．４μｍの正方画素がマトリクス状に配置されている。そして、Ｌ方向に１９２０個の画素が配置されると共にＷ方向に１０８０個の画素が配置され、Ｌ＝２．７ｍｍ、Ｗ＝１．５ｍｍ、受光部５Ｒ、５Ｇ、５Ｂ同士の間隙ｔが０．１ｍｍ、受光部５Ｒ、５Ｇ、５ＢのピッチＰが１．６ｍｍになるように構成されている。
【００４８】
また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、焦点距離ｆ＝２．１ｍｍに設計されている。これは、３５ｍｍフィルム換算（通称ライカ判換算）で焦点距離ｆ＝２８ｍｍ相当の画角になる。
【００４９】
結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、焦点距離が同一であるが、夫々を透過する色光の波長が異なるので、撮像レンズ２Ｒ、２Ｇ、２Ｂ、４Ｒ、４Ｇ、４Ｂ等の曲率や厚みが、夫々、対応する色光に関連つけて最適となるように設計されている。これにより、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、高い結像性能が得られる。
【００５０】
例えば、従来の単板式撮像装置（色モザイク画像を出力する単板の撮像素子を用いた撮像装置）では、２Ｍピクセルの３板の撮像素子と同等の画質（所謂、本実施形態と同等の画質である）を得るために５Ｍピクセル（５Ｍピクセル＝３０７２×１７２８である）が必要とすると、画素数が、Ｌ方向に１９２０×√（５Ｍ／２Ｍ）≒３０７２、Ｗ方向に１０８０×√（５Ｍ／２Ｍ））≒１７２８、となる。そして、この際、一辺が１．４μｍの正方画素とすれば、受光部のサイズが４．３ｍｍ（Ｌ）×２．４ｍｍ（Ｗ）となり、本実施形態と同じ画角を備えるものとすれば、その焦点距離がｆ＝３．３ｍｍとなる。
【００５１】
これにより、基本的に結像光学系の光軸方向のサイズが焦点距離に比例するので、本実施形態の結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、従来の単板式撮像装置の結像光学系に比べて、光軸方向のサイズが約６３％（２．１／３．３≒０．６３）に削減され、カラー撮像装置１Ａの光軸方向の厚みを薄型化できる。
【００５２】
次に、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂにおける瞳面には、解像度及び被写体深度を向上させるために、瞳フィルタ３Ｒ、３Ｇ、３Ｂが設置されている。瞳フィルタ３Ｒ、３Ｇ、３Ｂは、入射する被写体光に対して、瞳透過位置（所謂、瞳フィルタのどの部分(例えば、中心か外縁か右か左か)を光線が透過するかを表す、瞳フィルタ面における透過光線の位置である）に応じて所定の光学的位相差を与える位相フィルタであって、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂを透過する色光の波長域に適応して、その効果が十分に得られるように、夫々毎に設計されている。
【００５３】
従来、位相フィルタが波長依存性を備えているので、波長範囲が４００ｎｍ〜６００ｎｍといった広帯域の可視光に対して、被写体深度向上の十分な効果を得ることが困難であったが、本実施形態では、位相フィルタが、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂ毎に、透過する色光の波長に応じて設計されているので、十分な効果を得ることができる。
【００５４】
次に、制御部１１は、３つの受光部５Ｒ、５Ｇ、５Ｂを制御して同時に露光させる制御回路が構成されて、各受光部５Ｒ、５Ｇ、５Ｂに露光したＲＧＢ毎の単色画像を、アナロク電気信号として出力する。
【００５５】
制御部１１から出力されたアナログ電気信号は、ＰＧＡ１２０Ｒ、ＰＧＡ１２０Ｇ、ＰＧＡ１２０Ｂにおいてホワイトバランスや感度調整のための利得調整が施され、その後、ＡＤＣ１３０Ｒ、ＡＤＣ１３０Ｇ、ＡＤＣ１３０Ｂにおいて、アナロク電気信号がデジタル信号（以下、デシタル画像データともいう）に変換されて画像処理部２００に出力される。
【００５６】
次に、画像処理部２００は、図２に表したように、ＡＤＣ１３０Ｒ、ＡＤＣ１３０Ｇ、ＡＤＣ１３０Ｂから出力された単色のＲ画像、Ｇ画像、Ｂ画像を合成してカラー画像信号を出力するように構成されている。なお、本発明のカラー画像生成部は、画像処理部２００によってその機能が発現される。
【００５７】
画像処理部２００は、Ｇの画像に対するＲの画像の視差量を検出するＲ視差量検出部２１０Ｒ、Ｇの画像に対するＢの画像の視差量を検出するＢ視差量検出部２１０Ｂ、Ｒの視差量を補正するＲ視差補正部２２０Ｒ、Ｂの視差量を補正するＢ視差補正部２２０Ｂ、等を備えている。なお、本発明における視差補正手段は、Ｒ視差補正部２２０Ｒ、Ｂ視差補正部２２０Ｂ等によってその機能が発現される。
【００５８】
また、画像処理部２００は、Ｒの画像における低周波成分を抽出する第１のＬＰＦ（ローパスフィルタ）２３０Ｒと、Ｇの画像における低周波成分を抽出する第２のＬＰＦ（ローパスフィルタ）２３０Ｇと、Ｂの画像における低周波成分を抽出する第３のＬＰＦ（ローパスフィルタ）２３０Ｂと、Ｇの画像における高周波成分を抽出するＨＰＦ（ハイパスフィルタ）２４０と、第１のＬＰＦ２３０Ｒ、第２のＬＰＦ２３０Ｇ、第３のＬＰＦ２３０Ｂ等から出力された低周波成分を用いて輝度及び色差（ＹＣｂＣｒ）を生成する色変換部２５０と、を備えている。
【００５９】
また、画像処理部２００は、ＨＰＦ２４０で抽出された高周波成分を用いてカラー画像のエッジ強調及びノイズ抑制を行うエッジ強調及びノイズ抑制部２６０、色変換部２５０で生成された低周波成分から成る輝度にＨＰＦ２４０で抽出された高周波成分を合成して輝度を生成する合成部２７０、色補正及びγ補正部２８０、等を備えている。
【００６０】
なお、本発明における低周波成分抽出手段は、第１のＬＰＦ２３０Ｒ、第２のＬＰＦ２３０Ｇ、第３のＬＰＦ２３０Ｂ等によってその機能が発現される。また、本発明の高周波成分抽出手段は、ＨＰＦ２４０によってその機能が発現される。また、本発明における画像補正部は、エッジ強調及びノイズ抑制部２６０によってその機能が発現される。また、本発明における輝度合成手段は、合成部２７０によってその機能が発現される。
【００６１】
Ｒ視差量検出部２１０Ｒは、Ｇ画像における各画素位置（ｕ，ｖ）（ｕ＝０，１，…１９１９、ｖ＝０，１，…１０７９）におけるＲ画像の視差量を検出する。つまり、図１に表したようにＧの結像光学系に対してＲの結像光学系が左方に位置するため、Ｒの画像の視差量が正立画像右方（つまり、ｖの正方向）になる。ここで、ｖが受光部５Ｒ、５Ｇ、５Ｂの並設方向に沿った画素座標、ｕがｖ方向に直交する方向の画素座標である。なお、一般に受光部上に形成される画像は倒立像であり、Ｒの画像の視差量は、図１の受光部上では左方である。
【００６２】
ここでの視差量の検出処理は、一般にステレオマッチングといわれる処理と同様であるが、本実施形態では、結像光学系１１０Ｒと結像光学系１１０Ｇ間のピッチＰを小さく（１．６ｍｍである）できるので、検出範囲を小さくできて、演算処理を軽減できる。
【００６３】
また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂの光軸が平行に構成されているので、被写体距離が∞の際には、結像面における視差が０（ゼロ）となる。
【００６４】
一方、被写体距離が０．６ｍの際には、結像面における視差が１．６ｍｍ×２．１ｍｍ（＝ｆ）／０．６ｍ＝５．６μｍになり、Ｇ画像とＲ画像との間、Ｇ画像とＢ画像との間に、画素数に換算して、４ピクセル相当の視差が生じることになる。
【００６５】
従って、カラー撮像装置１Ａの最短撮影距離を０．６ｍとするなら、０〜４ピクセルの範囲で、視差を補正する方向（図１中の左方）にＲ画像をずらし、注目画素の座標（ｕ，ｖ）近傍において２つの画像（Ｒ画像とＧ画像である）の相関が最も高くなったときのズレ量ｋを視差量Ｄｒとして出力する。なお、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂの光軸が１．２ｍ先で交わるようにすれば、被写体距離が１．２ｍの際には視差が０（ゼロ）、被写体距離が∞の際にはｖの負方向に２ピクセル、被写体距離が０．６ｍの際にはｖの正方向に２ピクセルの処理となる。
【００６６】
この際、例えば（式１）の演算式を用いて積率相関係数を求め、相関度を検出することができる。
【数１】
0004825239.tif 000002
【００６７】
（式１）において、＜Ｘ（ｕ，ｖ）＞は、（ｕ，ｖ）近傍内でのＸの平均値＜Ｘ(ｕ，ｖ)＞＝ｍｅａｎ｜（ｕ´，ｖ´）−（ｕ，ｖ）｜＜ωＸ（ｕ´，ｖ´)を示す。また、ωは、注目画素からの近傍とみなす画素までの距離に相当する画素数であってω＝２〜３が好適であるが、画像のノイズレベル等に応じて適宜変更しても良い。
【００６８】
つまり、画像Ｒ（ｕ，ｖ）と画像Ｇ（ｕ´，ｖ´)との相関度を、｜（ｕ´，ｖ´）−（ｕ，ｖ）｜＜ωの範囲において、（画像Ｒと画像Ｇの共分散）／（（画像Ｒの標準偏差）×（画像Ｇの標準偏差））の関係式から算出する。
【００６９】
この、（式１）の相関の絶対値が最大になる際のズレ量ｋを、（式２）のようにＲ画像とＧ画像との視差量Ｄｒとする。
【数２】
0004825239.tif 000003
【００７０】
また、（式２）では、Ｒ及びＧの画素値そのものの相関をもちいて視差量を求めたが、Ｒ及びＧの微分値∂Ｒ／∂ｖと∂Ｇ／∂ｖとの相関が最大となる際のズレ量を視差量としても良い。
【００７１】
次に、Ｒ視差補正部２２０Ｒは、Ｒ視差量検出部２１０Ｒで検出された視差量Ｄｒを打ち消す方向へＲ画像を平行移動し、補正画像Ｒ´を、Ｒ´（ｕ，ｖ）＝Ｒ（ｕ，ｖ＋Ｄｒ（ｕ，ｖ））として出力する。その後、Ｒ視差補正部２２０Ｒから出力された補正画像Ｒ´は、第１のＬＰＦ２３０Ｒを経て色変換部２５０で利用される。
【００７２】
次に、Ｂ視差量検出部２１０Ｂは、Ｇ画像における各画素位置（ｕ，ｖ）（ｕ＝０，１，…１９１９、ｖ＝０，１，…１０７９）におけるＢ画像の視差量を検出する。つまり、図１に表したようにＧの結像光学系に対してＢの結像光学系が右方に配置されるため、Ｂの画像の視差量が正立画像左方（つまり、ｖの負方向）になる。
【００７３】
Ｂ視差量検出部２１０Ｂにおける視差量の検出処理は、Ｒ視差量検出部２１０Ｒと同じように、結像光学系１１０Ｂと結像光学系１１０Ｇ間のピッチＰが非常に小さい（１．６ｍｍである）ので、検出範囲を小さくできて、演算処理を軽減できる。
【００７４】
詳しくは、０〜−４ピクセルの範囲でＢ画像を図１中の右方にずらし、注目画素の座標（ｕ，ｖ）近傍において２つの画像（Ｂ画像とＧ画像である）の相関が最も高くなったときのズレ量ｋを視差量Ｄｂとして出力する。
【００７５】
この際、例えば、相関の指標として（式３）のように積率相関係数を用いることができる。
【数３】
0004825239.tif 000004
【００７６】
次に、Ｂ視差補正部２２０Ｂは、Ｂ視差量検出部２１０Ｂで検出された視差量Ｄｂを打ち消す方向へＢ画像を平行移動し、補正画像Ｂ´を、Ｂ´（ｕ，ｖ）＝Ｂ（ｕ，ｖ＋Ｄｂ（ｕ，ｖ））として出力する。その後、Ｂ視差補正部２２０Ｂから出力された補正画像Ｂ´は、第３のＬＰＦ２３０Ｂを経て色変換部２５０で利用される。
【００７７】
次に、ＡＤＣ１３０Ｇから出力されたＧの単色画像は、第２のＬＰＦ２３０Ｇ及びＨＰＦ２４０により、高周波成分と低周波成分に分離される。
【００７８】
この際、第２のＬＰＦ２３０Ｇは、第１のＬＰＦ２３０Ｒ及び第３のＬＰＦ２３０Ｂと同じ構成にすることが好ましい。また、ＨＰＦ２４０とＬＰＦ２３０Ｇは、相補的である（所謂、互いに共通の周波数成分を抽出することがないように構成する）ことが好ましい。
【００７９】
そして、このようなフィルタとして、第１のＬＰＦ２３０Ｒ、第２のＬＰＦ２３０Ｇ、第３のＬＰＦ２３０Ｂには、（式４）に表したカーネルの空間フィルタを適用し、ＨＰＦ２４０には（式５）に表したカーネルの空間フィルタを適用すればよい。
【数４】
0004825239.tif 000005
【数５】
0004825239.tif 000006
【００８０】
次に、色変換部２５０は、第１のＬＰＦ２３０Ｒ、第２のＬＰＦ２３０Ｇ、第３のＬＰＦ２３０Ｂ等から出力された低周波成分に対して所定の色変換行列を適用し、ＹＣｒＣｂの輝度及び色差信号からなるカラー画像を生成する。なお、前述のカラー画像信号において、Ｙが輝度、ＣｒがＹに対するＲの色差、ＣｂがＹに対するＢの色差である。
【００８１】
一方、ＨＰＦ２４０より出力されたＧ画像の高周波成分は、エッジ強調及びノイズ抑制部２６０に入力され、エッジ強調及びノイズ抑制部２６０において、高周波成分の内でノイズとみなされる成分を抑制すると共に、画像のエッジとみなされる成分を増幅する。
【００８２】
例えば、高周波成分をＧＨと表した際に、ある画素座標（ｕ，ｖ）におけるＧＨ（ｕ，ｖ）が、所定値σ以下であればノイズとみなし、所定値σを超える値であればエッジ成分と見なして、（式６）を用いてエッジ成分を増幅する。（式６）において、ＧＨ´がＧＨを増幅して得られたエッジ成分である。Ｐはエッジの強調係数であり、一般には３から５が好適である。
【数６】
0004825239.tif 000007
【００８３】
次に、合成部２７０は、エッジ強調及びノイズ抑制部２６０から出力された高周波成分を色変換部２５０から出力されたカラー画像の輝度信号Ｙに合成する。この際、色差ＣｒＣｂには高周波成分が含まれないので、Ｒ視差補正部２１０Ｒ及びＢ視差補正部２１０Ｂにおいて補正誤差が生じても、その誤差の影響を低減できて、高画質のカラー画像が得られる。
【００８４】
次に、合成部２７０から出力されたカラー画像データは、色補正及びγ補正部２８０において肌色補正やγ補正といった各種の補正が施され、その後、圧縮部１５０に出力され、圧縮部１５０で圧縮される。また、圧縮部１５０で圧縮されたカラー画像データは、記録部１６０において、例えばフラッシュメモリ等の記録媒体に記録される。
【００８５】
以上のように、第１の実施形態に記載のカラー撮像装置１Ａは、ＲＧＢの各色光に対応付けて、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂ及び受光部５Ｒ、５Ｇ、５Ｂが並設されて、受光部５Ｒ、５Ｇ、５Ｂの夫々に、被写体の略同範囲が結像するように配置されているので、従来の色分解プリズムを用いた複板式撮像装置に比べて、同等の画質を維持しつつ、光軸方向のサイズを小型化できるとともに低コスト化できる。
【００８６】
また、第１の実施形態に記載のカラー撮像装置１Ａは、受光部５Ｒ、５Ｇ，５Ｂを同一の半導体基板５上に設置して近接させているので、視差の影響を低減できる。
【００８７】
また、第１の実施形態に記載のカラー撮像装置１Ａは、従来の単板式撮像装置（色モザイク画像を出力する単板の撮像素子を用いた撮像装置）に比べて、同等の画質を得る際の、各受光部５Ｒ、５Ｇ、５Ｂの面積を小さくできると共に、各結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂの焦点距離を短くでき、当該カラー撮像装置１Ａの光軸方向の厚みを薄型化できる。
【００８８】
（第２の実施形態）
次に、図３及び図４を用いて、本発明のカラー撮像装置の第２の実施形態を説明する。
【００８９】
図３は、本発明の第２の実施形態における、カラー撮像装置１Ｂの構成を表した図であって、（ａ）がカラー撮像装置全体の構成図、（ｂ）が（ａ）中のＹ−Ｙから視た半導体基板３１の構成図である。図４は、同第１の実施形態のカラー撮像装置における、画像処理部４００の構成図である。
【００９０】
尚、第２の実施形態におけるカラー撮像装置１Ｂは、基本的に第１の実施形態で表したカラー撮像装置１Ａと同じ構成なので、共通と成る構成部分については同一の符号を付与して詳細な説明を省き、特徴と成る部分について以下に説明する。
【００９１】
図３（ａ）に表したように、カラー撮像装置１Ｂは、ＲＧＢ三原色に対応つけられて、カラーフィルタ２５Ｒを介して被写体光Ｓを撮像素子３０に結像させる結像光学系１１１Ｒ、カラーフィルタ２５Ｇを介して被写体光Ｓを撮像素子３０に結像させる結像光学系１１１Ｇ、カラーフィルタ２５Ｂを介して被写体光Ｓを撮像素子３０に結像させる結像光学系１１１Ｂ、被写体光Ｓに含まれるＲ（赤）の色光のみを透過するカラーフィルタ２５Ｒ、Ｇ（緑）の色光のみを透過するカラーフィルタ２５Ｇ、Ｂ（青）の色光のみを透過するカラーフィルタ２５Ｂ、等を備えている。なお、これらの結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂは、倒立光学系とする。
【００９２】
結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂは、複数の光学板２２、２３、２４を積層して構成され、光学板２２、２３、２４の上面及び境界面には、球面状の光学面２２Ｒ、２２Ｇ、２２Ｂが備えられている。
【００９３】
また、光学板２２、２３、２４は、夫々の上面に、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの透過部を除いて遮光層２６、２７、２８が被覆されている。
【００９４】
図３（ｂ）に表したように、撮像素子３０は、半導体基板３１の上面に、画素を構成する複数の光電変換素子がマトリクス状に配置されたＣＣＤやＣＭＯＳ等のイメージセンサであって、ガードバンド３０ｎによって画成された矩形状の３つの露光エリア３０ｒ、３０ｇ、３０ｂが、重ならないように主走査方向に配置されている。
【００９５】
そして、露光エリア３０ｒには、カラーフィルタ２５Ｒを透過したＲの色光のみが結像し、露光エリア３０ｇには、カラーフィルタ２５Ｇを透過したＧの色光のみが結像し、露光エリア３０ｂには、カラーフィルタ２５Ｂを透過したＢの色光のみが結像するように構成されている。
【００９６】
また、露光エリア３０ｒ、３０ｇ、３０ｂは、視差を低減するために、長辺同士が隣り合って近接するように配置され、さらには、ＲＧＢの色光の内でもっとも視感度が高い色光が結像する受光エリア３０ｇが中央に配置されている。
【００９７】
また、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂは、露光エリア３０ｒ、３０ｇ、３０ｂの夫々に、被写体の略同範囲が結像するように、光軸が平行に配置されている。
【００９８】
そして、カラー撮像装置１Ｂは、結像光学系１１１Ｒ、カラーフィルタ２５Ｒ、露光エリア３０ｒが対となってＲの色光の画像を撮影するカメラブロックを備え、結像光学系１１１Ｇ、カラーフィルタ２５Ｇ、露光エリア３０ｇが対となってＧの色光の画像を撮影するカメラブロックを備え、結像光学系１１１Ｂ、カラーフィルタ２５Ｂ、露光エリア３０ｂが対となってＢの色光の画像を撮影するカメラブロックを備えている。
【００９９】
この際、第１の実施形態と同様に、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等は、焦点距離が同一であるが、夫々を透過する色光の波長が異なるので、光学面２２Ｒ、２２Ｇ、２２Ｂの曲率を、夫々、透過する色光に合わせて最適となるように設計してもよい。ただし、第２の実施形態では、後述するように、画像処理部４００において撮像素子３０から出力されたＲ画像及びＢ画像の高周波成分が利用されないので、露光エリア３０ｒ及び露光エリア３０ｂに結像したＲ及びＢ画像のボケを重視せずに、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ共に、Ｇの色光に合わせて最適になるように設計してもよい。
【０１００】
本実施形態のカラー撮像装置１Ｂは、撮像素子３０を形成した半導体基板３１上にカラーフィルタ２５Ｒ、２５Ｇ、２５Ｂ、複数の光学板２２、２３、２４、遮光層２６、２７、２８等が隙間なく積層されて、組み立て時におけるアライメント（位置調整）が簡素化されている。
【０１０１】
また、本実施形態のカラー撮像装置１Ｂは、光学板２２、２３、２４における境界上において、光学面２２Ｒ、２２Ｇ、２２Ｂ等を除いて、遮光層２６、２７、２８等が被覆されており、この遮光層２６、２７、２８等が絞り環として作用して迷光を吸収する。遮光層２６、２７、２８は、例えばエッチング等によって、光学板２２、２３、２４の表面に形成される。
【０１０２】
これにより、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ間に遮光壁（第１の実施形態の図１中の符号１０である）がなくても、これらのカメラブロック間で光が混じることがない。
【０１０３】
次に、図３（ｂ）に表したように、露光エリア３０ｒ、３０ｇ、３０ｂは、夫々、横方向（主走査方向）に４８０画素、縦方向（主走査方向に直交する方向）に６４０画素とする。また、各露光エリア３０ｒ、３０ｇ、３０ｂ間のガードバンド３０ｎを８０ピクセル分とし、撮像素子３０は、横方向に１６００画素（４８０＋８０＋４８０＋８０＋４８０＝１６００）画素、縦方向に６４０画素で構成されている。
【０１０４】
また、画素間のピッチを２．２μｍにすれば、撮像素子のサイズは、縦方向が２．２μｍ×６４０≒１．４ｍｍ、横方向が２．２μｍ×１６００≒３．５ｍｍになる。また、各受光部系間の距離（ピッチ）が、２．２μｍ×（４８０＋８０）≒１．２ｍｍになる。そして、各結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等の光軸の間隔も、ピッチと同様に１．２ｍｍになるように構成する。
【０１０５】
一方、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂにおける焦点距離は、ｆ＝１．４ｍｍとする。これは、３５ｍｍフィルム換算で焦点距離ｆ＝３５ｍｍ相当の画角になる。
【０１０６】
また、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの光軸が平行に構成されているので、被写体距離が∞の際には、結像面における視差が０（ゼロ）になる。
【０１０７】
一方、被写体距離が０．７５ｍの際には、結像面における視差が１．２ｍｍ×１．４ｍｍ（＝ｆ）／０．７５ｍ≒２．２μｍになり、Ｇ画像とＲ画像との間、Ｇ画像とＢ画像との間に、画素数に換算して１ピクセルの視差が生じることになる。
【０１０８】
また、被写体距離が０．３８ｍの際には、画素数に換算して２ピクセルの視差が、Ｇ画像とＲ画像との間、Ｇ画像とＢ画像との間に生じ、被写体距離が０．１９ｍの際には、画素数に換算して４ピクセルの視差が、Ｇ画像とＲ画像との間、Ｇ画像とＢ画像との間に生じることになる。
【０１０９】
これらの視差量は、被写体距離に応じてテレ・マクロ切替スイッチ１７０が切り替えられて、後述の画像処理部４００において補正される。本実施形態のカラー撮像装置１Ｂでは、ユーザーの操作によって、撮影の際に被写体距離が０．４ｍ以上であるときはスイッチをテレ側に、被写体距離が０．３ｍ前後であるときにはスイッチをマクロ側に切り替えるように構成されている。なお、本発明における視差量検出手段は、被写体距離によって動作するテレ・マクロ切替スイッチ１７０によって、その機能が発現される。
【０１１０】
撮像素子３０からは、３つの露光エリアを介して受光したＲ画像、Ｇ画像、Ｂ画像が並んだ１枚の画像としてのアナログ電気信号が出力されて、このアナログ電気信号がＡＤＣ１３１に入力にされる。
【０１１１】
次に、ＡＤＣ１３１は、撮像素子３０から入力されたアナログ電気信号を、デジタル画像データに変換して、画像処理部４００に出力する。
【０１１２】
また、画像処理部４００は、ＡＤＣ１３１から入力されたデジタル画像データをカラー画像信号に変換して圧縮部１５０に出力する。なお、本発明におけるカラー画像生成部は、画像処理部４００によってその機能が発現される。
【０１１３】
圧縮部１５０は、画像処理部４００から入力されたカラー画像信号に対してＪＰＥＧやＭＰＥＧ等の圧縮を施し、出力部１６１へ出力する。
【０１１４】
出力部１６１は、圧縮部１５０から入力された圧縮データを、当該カラー撮像装置１Ｂに接続された外部機器（図示せず）に送信する。外部機器としては、遠隔モニター表示装置、画像／映像記録装置、画像／映像処理装置、等の画像／映像機器が挙げられる。
【０１１５】
次に、画像処理部４００は、図４に表したように、ＡＤＣ１３１から入力された単色のＲ画像、Ｇ画像、Ｂ画像を合成してカラー画像信号を出力するように構成されている。
【０１１６】
詳しくは、画像処理部４００は、ＡＤＣ１３１を介して入力された入力画像におけるＲの領域を抽出するＲ領域抽出部４１０Ｒ、Ｇの領域を抽出するＧ領域抽出部４１０Ｇ、Ｂの領域を抽出するＢ領域抽出部４１０Ｂ、等を備えている。
【０１１７】
また、画像処理部４００は、Ｒ領域抽出部４１０Ｒにおいて抽出されたＲの画像データを増幅するＲゲイン乗算機器４１５Ｒ、Ｇ領域抽出部４１０Ｇにおいて抽出されたＧの画像データを増幅するＧゲイン乗算機器４１５Ｇ、Ｂ領域抽出部４１０Ｂにおいて抽出されたＢの画像データを増幅するＢゲイン乗算機器４１５Ｂ、Ｇ画像に対するＲ画像の視差量を補正するＲ視差補正部４２０Ｒ、Ｇ画像に対するＢ画像の視差量を補正するＢ視差補正部４２０Ｂ、等を備えている。なお、本発明における視差補正手段は、Ｒ視差補正部４２０Ｒ、Ｂ視差補正部４２０Ｂ等によってその機能が発現される。
【０１１８】
また、画像処理部４００は、Ｒの画像における低周波成分を抽出する第１のＬＰＦ（ローパスフィルタ）４３０Ｒ、Ｇの画像における低周波成分を抽出する第２のＬＰＦ（ローパスフィルタ）４３０Ｇ、Ｂの画像における低周波成分を抽出する第３のＬＰＦ（ローパスフィルタ）４３０Ｂ、Ｇの画像における高周波成分を抽出するＨＰＦ（ハイパスフィルタ）４４０、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂから出力されたＲＧＢ毎の低周波成分を用いて輝度及び色差（ＹＣｂＣｒ）を生成する色変換部２５０、等を備えている。
【０１１９】
また、画像処理部４００は、ＨＰＦ４４０で抽出された高周波成分を用いてカラー画像のエッジ強調及びノイズ抑制を行うエッジ強調及びノイズ抑制部２６０、色変換部２５０で生成された低周波成分から成る輝度にＨＰＦ４４０で抽出された高周波成分を合成して輝度を生成する合成部２７０、色補正及びγ補正部２８０、等を備えている。なお、本発明における低周波数成分抽出手段は、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂ等によってその機能が発現される。また、本発明の高周波成分抽出手段は、ＨＰＦ４４０によってその機能が発現される。
【０１２０】
詳しくは、Ｒ領域抽出部４１０Ｒは、ＡＤＣ１３１を介して入力された入力画像からＲの露光エリア３０ｒに対応する領域を抽出して、この領域の画像データをＲゲイン乗算器４１５Ｒに出力する。
【０１２１】
Ｒゲイン乗算器４１５Ｒは、乗算器として実装され、Ｒ領域抽出部４１０Ｒから入力されたＲ画像信号に対して、感度補正、ホワイトバランス、シェーデイング等の補正に係る値を乗算し、Ｒ視差補正部４２０Ｒに出力する。
【０１２２】
Ｒ視差補正部４２０Ｒは、テレ・マクロ切替スイッチ１７０を参照し、テレ側であればＲ画像を倒立画像の状態で主走査方向の逆側へ１ピクセル平行移動し、マクロ側であればＲ画像を主走査方向の逆側へ３ピクセル平行移動するように補正する。
【０１２３】
つまり、Ｒ視差補正部４２０Ｒの補正前において、テレ側（被写体距離が∞から０．４ｍの範囲）であれば、Ｒのカメラブロックで撮影されたＲ画像は、Ｇのカメラブロックで撮影されたＧ画像よりも、図３（ｂ）中の主走査方向側に０〜２ピクセルずれて写る。そこで、Ｒ画像を主走査方向の逆側へ１ピクセル平行移動することにより、Ｇ画像に対するＲ画像のズレを±１ピクセル以内に補正する。
【０１２４】
一方、Ｒ視差補正部４２０Ｒの補正前において、マクロ側（被写体距離が０．４ｍ未満〜０．２ｍの範囲）であれば、Ｒのカメラブロックで撮影されたＲ画像は、Ｇのカメラブロックで撮影されたＧ画像よりも、図３（ｂ）中の主走査方向側に２〜４ピクセルずれて写る。そこで、Ｒ画像を主走査方向の逆側へ３ピクセル平行移動することにより、Ｇ画像に対するＲ画像のズレを±１ピクセル以内になるように補正する。
【０１２５】
これにより、被写体距離が∞〜０．２ｍの範囲において、Ｒ視差補正部４２０Ｒによって、Ｇ画像に対するＲ画像のズレが常に±１ピクセルの範囲内になるように補正されて、この補正されたＲ画像像が第１のＬＰＦ４３０Ｒに出力される。
【０１２６】
次に、Ｂ領域抽出部４１０Ｂは、ＡＤＣ１３１を介して入力された入力画像からＢの露光エリア３０Ｂに対応する領域を抽出して、Ｂゲイン乗算器４１５Ｂに出力する。
【０１２７】
Ｂゲイン乗算器４１５Ｂは、乗算器として実装され、Ｂ領域抽出部４１０Ｂから入力されたＢ画像信号に対して、感度補正、ホワイトバランス、シェーデイング等の補正に係る値を乗算し、Ｂ視差補正部４２０Ｂに出力する。
【０１２８】
Ｂ視差補正部４２０Ｂは、テレ・マクロ切替スイッチを参照し、テレ側であればＢ画像を倒立画像の状態で主走査方向へ１ピクセル平行移動し、マクロ側であればＢ画像を主走査方向へ３ピクセル平行移動するように補正する。
【０１２９】
つまり、Ｂ視差量補正部４２０Ｂの補正前において、テレ側（被写体距離が∞から０．４ｍｍの範囲）であれば、Ｂのカメラブロックで撮影されたＲ画像は、Ｂのカメラブロックで撮影されたＧ画像よりも、図３（ｂ）中の主走査方向の逆側に０〜２ピクセルずれて写る。そこで、Ｂ画像を主走査方向側へ１ピクセル平行移動することにより、Ｇ画像に対するＢ画像のズレを１ピクセル以内に補正する。
【０１３０】
一方、Ｂ視差量補正部４２０Ｂの補正前において、マクロ側（被写体距離が０．４ｍ未満〜０．２ｍの範囲）であれば、Ｂのカメラブロックで撮影されたＢ画像は、Ｇのカメラブロックで撮影されたＧ画像よりも、主走査方向の逆側に２〜４ピクセルずれて写る。そこで、Ｂ画像を図３（ｂ）中の主走査方向側へ３ピクセル平行移動することにより、Ｇ画像に対するＢ画像のズレを１ピクセル以内に補正する。
【０１３１】
これにより、被写体距離が∞〜０．２ｍの際に、Ｂ視差量補正部４２０Ｂによって、Ｇ画像に対するＢ画像のズレが常に±１ピクセルの範囲内に補正されて、この補正されたＢ画像が第３のＬＰＦ４３０Ｂに出力される。
【０１３２】
Ｇ領域抽出部４１０Ｇは、ＡＤＣ１３１を介して入力された入力画像からＧの露光エリア３０Ｇに対応する領域を抽出して、Ｇゲイン乗算器４１５Ｇに出力する。
【０１３３】
Ｇゲイン乗算器４１５Ｇは、乗算器として実装され、Ｇ領域抽出部４１０Ｇから入力されたＧ画像信号に対して、感度補正、ホワイトバランス、シェーデイング等の補正に係る値を乗算し、第２のＬＰＦ４３０Ｇ及びＨＰＦ４４０Ｂに出力する。
【０１３４】
次に、Ｒ視差補正部４２０Ｒ及びＢ視差補正部４２０Ｂから出力されたＲ及びＢの画像は、Ｇ画像に対するズレが±１ピクセル以内に補正されているが、さらにこのズレを目立たなくさせるために、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂ等によって、低周波フィルタが施される。
【０１３５】
つまり、各画像のズレが撮像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの並設方向にのみ生じているので、例えば、（式７）に表したカーネルの空間フィルタを適用し、撮像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの並設方向の高周波を除去すればよい。（式７）における縦列が結像光学系の並設方向に対応している。
【数７】
0004825239.tif 000008
【０１３６】
次に、色変換部２５０は、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂ等から出力された低周波成分に対して所定の色変換行列を適用し、ＹＣｒＣｂの輝度及び色差信号からなるカラー画像を生成する。
【０１３７】
次に、色変換部２５０で生成されるカラー画像信号にはＬＰＦで除去された高周波成分が含まれていないので、ＨＰＦ４４０を用いて高周波成分を生成する。
【０１３８】
ＨＰＦ４４０において高周波成分を生成する際には、複数の結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等によるズレの影響を与えないように、単一の色光画像のみを用いる。この際の色光としては、複数の結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等の内で、最も視感度が高く中央に配置されたＧの結像光学系１１１Ｇで撮影されたＧ画像が最適である。
【０１３９】
そこで、ＨＰＦ４４０は、Ｇ領域抽出部４１０Ｇ及びＧゲイン乗算器４１５Ｇを介して入力されたＧ画像から高周波成分を抽出する。この際、ＨＰＦ４４０は、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂで除去された低周波成分を補う目的も兼ねて、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等の並設方向の成分を強めにするように、（式８）に表したカーネルの空間フィルタを適用すればよい。（式８）における縦列が結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの並設方向に対応している。
【数８】
0004825239.tif 000009
【０１４０】
次に、第１の実施形態のカラー撮像装置１Ａと同じように、エッジ強調及びノイズ抑制部２６０において、ＨＰＦ４４０から入力された高周波成分を用いて、高周波成分の内でノイズとみなされる成分を抑制すると共に、画像のエッジとみなされる成分を増幅し、その後、合成部２７０において、エッジ強調及びノイズ抑制部２６０から出力された高周波成分を色変換部２５０から出力されたカラー画像の輝度信号Ｙに合成し、その後、色補正及びγ補正部２８０において、肌色補正やγ補正といった各種の補正が施して、圧縮部１５０に出力される。
【０１４１】
以上のように、第２の実施形態に記載のカラー撮像装置１Ｂは、簡便な回路構成によって結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ間の視差を補正できると共に、画質の良好なカラー画像を生成できる。
【０１４２】
また、第２の実施形態に記載のカラー撮像装置１Ｂは、一枚の半導体基板３１上にカラーフィルタ２５Ｒ、２５Ｇ、２５Ｂや光学板２２、２３、２４等を積層することにより複数のカメラブロックを構成しているので、組み立て時におけるアライメント（位置調整）を簡素化できて生産性を向上でき、低コスト化を実現できる。
【０１４３】
また、第２の実施形態に記載のカラー撮像装置１Ｂは、従来の単板式撮像装置（色モザイク画像を出力する単板の撮像素子を用いた撮像装置）に比べて光軸方向の厚みを薄型化できることにより、光学板２２、２３、２４等を薄くできて光学材の少資源化が可能になると共に、光学板２２、２３、２４等を透過する被写体光の透過率の低化を抑えることができる。
【０１４４】
以上、本発明の一実施形態について説明したが、本発明は、前記実施形態に限定されるものでなく、種々の態様を取ることができる。
【図面の簡単な説明】
【０１４５】
【図１】本発明の第１の実施形態における、カラー撮像装置の構成を表した図であって、（ａ）がカラー撮像装置全体の構成図、（ｂ）が（ａ）中のＹ−Ｙから視た半導体基板の構成図である。
【図２】同第１の実施形態のカラー撮像装置における、画像処理部の構成図である。
【図３】本発明の第２の実施形態における、カラー撮像装置の構成を表した図であって、（ａ）がカラー撮像装置全体の構成図、（ｂ）が（ａ）中のＹ−Ｙから視た半導体基板の構成図である。
【図４】同第２の実施形態のカラー撮像装置における、画像処理部の構成図である。
【符号の説明】
【０１４６】
１Ａ，１Ｂ…カラー撮像装置、２Ｒ，２Ｇ，２Ｂ，４Ｒ，４Ｇ，４Ｂ…撮像レンズ、３Ｒ，３Ｇ，３Ｂ…瞳フィルタ、５，３１…半導体基板、５Ｒ，５Ｇ，５Ｂ…受光部、６Ｒ，６Ｇ，６Ｂ，２５Ｒ，２５Ｇ，２５Ｂ…カラーフィルタ、７…鏡筒、１０…遮光壁、１１…制御部、２２，２３，２４…光学板、２６〜２８…遮光層、３０…撮像素子、１１０Ｒ，１１０Ｇ，１１０Ｂ，１１１Ｒ，１１１Ｇ，１１１Ｂ…結像光学系、３０ｒ、３０ｇ、３０ｂ…露光エリア、３０ｎ…ガードバンド、１２０Ｒ，１２０Ｇ，１２０Ｂ…可変ゲインアンプ（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｉｎ  Ａｍｐｌｉｆｅｒ）、１３０Ｒ，１３０Ｇ，１３０Ｂ，１３１…Ａ／Ｄ変換器（ＡＤＣ：Ａｎａｌｏｇ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）、２００，４００…画像処理部、１５０…圧縮部、１６０…記録部、１６１…出力部、１７０…テレ・マクロ切替スイッチ、２１０Ｒ…Ｒ視差量検出部、２１０Ｂ…Ｂ視差量検出部、２２０Ｒ，４２０Ｒ…Ｒ視差補正部、２２０Ｂ，４２０Ｂ…Ｂ視差補正部、２３０Ｒ，４３０Ｒ…第１のＬＰＦ、２３０Ｇ，４３０Ｇ…第２のＬＰＦ、２３０Ｂ，４３０Ｂ…第３のＬＰＦ、２４０，４４０…ＨＰＦ、２５０…色変換部、２６０…エッジ強調及びノイズ抑制部、２７０…合成部、２８０…色補正及びγ補正部、４１０Ｒ…Ｒ領域抽出部、４１０Ｇ…Ｇ領域抽出部、４１０Ｂ…Ｂ領域抽出部、４１５Ｒ…Ｒゲイン乗算器、４１５Ｇ…Ｇゲイン乗算器、４１５Ｂ…Ｂゲイン乗算器。
【図１】
0004825239.tif 000010
【図２】
0004825239.tif 000011
【図３】
0004825239.tif 000012
【図４】
0004825239.tif 000013