(57)【特許請求の範囲】
【請求項１】
単一の撮影光学系と、
前記撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群及び第２の画素群を有し、前記第１の画素群の出力値からなる第１の画像及び前記第２の画素群の出力値からなる第２の画像を生成する撮像素子と、
前記第１の画素群の出力値を補正した第１の画像のシェーディング形状、及び前記第２の画素群の出力値を補正した第２の画像のシェーディング形状を、前記第１の画素群の出力値と前記第２の画素群の出力値とを加算して得られる加算画像のシェーディング形状に近づけるシェーディング補正手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記シェーディング補正手段は、前記第１の画素群及び第２の画素群の出力値に対して補正係数を演算可能であり、
前記補正係数を記憶する補正係数記憶手段を備え、
前記シェーディング補正手段は、前記第１の画素群及び第２の画素群の出力値に対して前記補正係数記憶手段に記憶されている前記補正係数により補正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子内に設けられて、前記第１の画素群の画素値と前記第２の画素群の画素値とをアナログ加算して前記加算画像を出力する画素加算手段と、
前記撮像素子を駆動する駆動手段であって、前記第１の画像及び第２の画像をアナログ加算なしで生成する第１の駆動と、前記加算画像をアナログ加算で生成する第２の駆動とを、前記撮像素子に対して行う駆動手段と、
前記駆動手段により前記撮像素子を前記第１の駆動で駆動して被写体を撮像することで前記第１の画像及び第２の画像を取得する立体撮像と、前記駆動手段により前記撮像素子を前記第２の駆動で駆動して被写体を撮像することで前記加算画像を取得する二次元撮像とを制御する制御手段であって、前記立体撮像で被写体を撮像する場合には前記二次元撮像を前記立体撮像と併せて行わせる制御手段と、
前記第１の画像及び第２の画像と前記加算画像とに基づいて前記補正係数を算出し、前記補正係数記憶手段に記憶させる補正係数算出手段と、
を備えたことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像素子から出力される前記第１の画素群の画素値と前記第２の画素群の画素値とをデジタル加算して前記加算画像を出力する画素加算手段と、
前記撮像素子を駆動する駆動手段と、
前記駆動手段により前記撮像素子を駆動して被写体を撮像することで前記第１の画像及び第２の画像を取得する立体撮像を行わせる制御手段と、
前記第１の画像及び第２の画像と前記加算画像とに基づいて前記補正係数を算出し、前記補正係数記憶手段に記憶させる補正係数算出手段と、
を備えたことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記制御手段は、前記第１の画素群の出力値と前記第２の画素群の出力値とを加算して得られる加算画像のシェーディング形状を求めるために前記立体撮像と共に前記二次元撮像を行うとき、前記立体撮像よりも前記二次元撮像の露出を下げることを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記制御手段は、前記二次元撮像の露光時間を前記立体撮像の露光時間よりも短くすることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記二次元撮像のときはＮＤフィルタを用いて被写体を撮像することを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記制御手段は、前記二次元撮像のときに前記立体撮像よりもゲインを下げることを特徴とする請求項５に記載の撮像装置。
【請求項９】
前記補正係数は、前記第１の画像、第２の画像及び前記加算画像をそれぞれ複数の領域に区分し、区分された領域ごとに、前記第１の画像及び第２の画像における各画素群の出力値と前記加算画像における前記画素加算手段の出力値との比を算出し、前記区分された領域ごとの比を前記補正係数とすることを特徴とする請求項３から８のうちいずれか一項に記載の撮像装置。
【請求項１０】
前記補正係数は、前記第１の画素群の出力値から前記画素加算手段の出力値を減算して第１の減算結果を求め、その第１の減算結果が最高値となる画像領域における前記第１の画素群の出力値に対する補正係数を基準として、それ以外の画像領域における前記第１の画素群の出力値に対する補正係数を前記基準より大きくし、かつ前記第２の画素群の出力値から前記画素加算手段の出力値を減算して第２の減算結果を求め、その第２の減算結果が最高値となる画像領域における前記第２の画素群の出力値に対する補正係数を前記基準として、それ以外の画像領域における前記第２の画素群の出力値に対する補正係数を前記基準より大きくすることを特徴とする請求項３から９のうちいずれか１項に記載の撮像装置。
【請求項１１】
前記補正係数は、前記第１の画素群の出力値から前記画素加算手段の出力値を減算して第１の減算結果を求め、かつ前記第２の画素群の出力値から前記画素加算手段の出力値を減算して第２の減算結果を求め、全画像領域の第１の減算結果及び第２の減算結果のうちで最高値となる第１の減算結果又は第２の減算結果に対応する補正係数を基準とし、それ以外の補正係数を前記基準より大きくする規格化を行うことを特徴とする請求項３から９のうちいずれか１項に記載の撮像装置。
【請求項１２】
前記補正係数記憶手段は、前記第１の画像のシェーディング形状を前記加算画像のシェーディング形状に合わせるための第１の補正係数と、前記第２の画像のシェーディング形状を前記加算画像のシェーディング形状に合わせるための第２の補正係数と、前記加算画像のシェーディング形状を補正するための第３の補正係数とを記憶し、
前記シェーディング補正手段は、前記第１の画像の画素値に対して前記第１の補正係数を演算した後に前記第３の補正係数を演算し、かつ前記第２の画像の画素値に対して前記第２の補正係数を演算した後に前記第３の補正係数を演算することを特徴とする請求項２から１１のうちいずれか１項に記載の撮像装置。
【請求項１３】
前記補正係数記憶手段は、前記第１の画像のシェーディング形状を前記加算画像のシェーディング形状に合わせるための第１の補正係数と、前記第２の画像のシェーディング形状を前記加算画像のシェーディング形状に合わせるための第２の補正係数と、前記加算画像のシェーディング形状を補正するための第３の補正係数とを記憶し、
前記補正係数記憶手段は、前記第１の補正係数に前記第３の補正係数を掛けて第４の補正係数を取得し、かつ前記第２の補正係数に前記第３の補正係数を掛けて第５の補正係数を取得し、前記第１の画像に対して第４の補正係数を演算し、かつ前記第２の画像に対して第５の補正係数を演算することを特徴とする請求項２から１１のうちいずれか１項に記載の撮像装置。
【請求項１４】
前記撮像素子の前記第１の画素群及び第２の画素群は、Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタをそれぞれ備えた複数の画素からなり、
前記画素加算手段は、Ｒ，Ｇ，Ｂの色ごとに同色の画素の画素値を加算することを特徴とする請求項３から１１のうちいずれか１項に記載の撮像装置。
【請求項１５】
前記補正係数記憶手段は、Ｒ，Ｇ，Ｂの色ごとに補正係数を記憶することを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記第２の画素群は、２以上の画素群からなることを特徴とする請求項１から１５のうちいずれか１項に記載の撮像装置。
【請求項１７】
単一の撮影光学系と前記撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群及び第２の画素群を有する撮像素子とを備えた撮像装置で生成された画像のシェーディングを補正するシェーディング補正方法であって、
前記第１の画素群及び第２の画素群の出力値に対して補正係数により補正することにより、前記第１の画素群の出力値からなる第１の画像のシェーディング形状、及び前記第２の画素群の出力値からなる第２の画像のシェーディング形状を、前記第１の画素群の画素値と前記第２の画素群の画素値とを加算して得られる加算画像のシェーディング形状と合わせることを特徴とするシェーディング補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞳分割に因るシェーディングを確実に補正することができると共に、二次元画像と比較してシェーディングの差の少ない立体画像を容易に得ることができる撮像装置及びシェーディング補正方法に関する。
【背景技術】
【０００２】
特許文献１には、瞳分割方式で立体画像を取得する撮像装置が開示されている。この撮像素子は、撮影レンズの瞳の大きさを光シャッタによって変化させながら、撮像素子によって被写体を撮像することで、複数の視点画像が取得される。【０００３】
特許文献２には、瞳分割の位相差検出方式により焦点検出を行う焦点検出装置が開示されている。この焦点検出装置は、二次元状に画素が配列された撮像素子であってマイクロレンズの光軸と画素（光電変換素子）の中心とをずらした撮像素子を備え、瞳がずれた互いの画素間で加算演算することで、合焦状態にないときのボケ像を滑らかにする構成が開示されている。【０００４】
特許文献３には、瞳分割型の位相差検出方式により焦点検出が可能な撮像装置であって、通常画素用、焦点検出画素のＡ像用及びＢ像用の３種類のシェーディング補正を行う構成が開示されている。【０００５】
特許文献４には、瞳分割型の位相差検出方式により焦点検出が可能な撮像装置であって、ＳＮ比を向上させるため、同一の画素群内の２画素で画素値を平均することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−４２３１４号公報
【特許文献２】特開２００８−２９９１８４号公報
【特許文献３】特開２００９−２４４８５８号公報
【特許文献４】特開２０１１−１７８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載されているような、瞳分割方式で立体画像を取得する撮像装置では、立体撮影を可能にするために左右逆方向に被写体光の入射角を制御していることに因り、レンズからの主光線角度が結像位置で変わるレンズでは、右視点画像と左視点画像とで極度に特性の異なるシェーディングが発生するという問題を、本件発明者は発見した。【０００８】
また、本件発明者は、立体画像と二次元画像とでシェーディング差を少なくすることで、立体画像の撮影（立体撮影）及び二次元画像の撮影（二次元撮影）の両方を高画質で行えることを発見した。【０００９】
本発明はこのような事情に鑑みてなされたもので、瞳分割に因るシェーディングを確実に補正することができると共に、二次元画像と比較してシェーディング差の少ない立体画像を容易に得ることができる撮像装置及びシェーディング補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、単一の撮影光学系と、撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群及び第２の画素群を有し、第１の画素群の出力値からなる第１の画像及び第２の画素群の出力値からなる第２の画像を生成可能である撮像素子と、第１及び第２の画素群の出力値に対して補正係数を演算することにより、第１の画素群の出力値からなる第１の画像のシェーディング形状、及び第２の画素群の出力値からなる第２の画像のシェーディング形状を、第１の画素群の画素値と第２の画素群の画素値とを加算して得られる加算画像のシェーディング形状と合わせるシェーディング補正手段と、を備えたことを特徴とする撮像装置を提供する。【００１１】
本発明によれば、第１の画像及び第２の画像からなる立体画像と、第１の画素群の画素値と第２の画素群の画素値とを加算して生成した加算画像（二次元画像）とを生成可能であって、立体画像を構成する第１の画像及び第２の画像のそれぞれのシェーディング形状を加算画像のシェーディング形状と合わせることにより、瞳分割に因るシェーディングを確実に補正することができると共に、二次元画像と比較してシェーディング差の少ない立体画像を容易に得ることができる。【００１２】
また、本発明の一実施形態では、補正係数を記憶する補正係数記憶手段を備え、シェーディング補正手段は、第１及び第２の画素群の出力値に対して補正記憶手段に記憶されている補正係数を演算することが好ましい。【００１３】
更に、本発明の一実施形態では、撮像素子内に設けられて、第１の画素群の画素値と第２の画素群の画素値とをアナログ加算して加算画像を出力する画素加算手段と、撮像素子を駆動する駆動手段であって、第１及び第２の画像をアナログ加算無しで生成する第１の駆動と、加算画像をアナログ加算で生成する第２の駆動とを、撮像素子に対して行う駆動手段と、駆動手段により撮像素子を第１の駆動で駆動して被写体を撮像することで第１及び第２の画像を取得する立体撮像と、駆動手段により撮像素子を第２の駆動で駆動して被写体を撮像することで加算画像を取得する二次元撮像とを制御する制御手段であって、立体撮像で被写体を撮像する場合には二次元撮像を立体撮像と併せて行わせる制御手段と、第１及び第２の画像と加算画像とに基づいて補正係数を算出し、補正係数記憶手段に記憶させる補正係数算出手段と、を備える。尚、アナログ加算とは、Ａ／Ｄ変換前での加算であり、電荷、電圧信号、及び電流信号のうち、いずれかの加算であることが好ましい。【００１４】
更にまた、本発明の一実施形態では、撮像素子から出力される第１の画素群の画素値と第２の画素群の画素値とをデジタル加算して加算画像を出力する画素加算手段と、撮像素子を駆動する駆動手段と、駆動手段により撮像素子を駆動して被写体を撮像することで第１及び第２の画像を取得する立体撮像を行わせる制御手段と、第１及び第２の画像と加算画像とに基づいて補正係数を算出し、補正係数記憶手段に記憶させる補正係数算出手段と、を備える。尚、デジタル加算とは、Ａ／Ｄ変換後での加算であり、デジタルの画素値の加算であることが好ましい。【００１５】
加えて、本発明の一実施形態では、制御手段は、補正係数算出手段により補正係数を算出するために立体撮像と共に二次元撮像を行う時、立体撮像よりも二次元撮像を露出アンダーで行うことが好ましい。【００１６】
加えてまた、本発明の一実施形態では、制御手段は、二次元撮像の露光時間を立体撮像の露光時間よりも短くすることが好ましい。【００１７】
また、本発明の一実施形態では、制御手段は、二次元撮像のときはＮＤフィルタを用いて被写体を撮像することが好ましい。【００１８】
更に、本発明の一実施形態では、制御手段は、二次元撮像のときに立体撮像よりもゲインを下げることが好ましい。【００１９】
更にまた、本発明の一実施形態では、補正係数算出手段は、第１の画像、第２の画像及び加算画像をそれぞれ複数の領域に区分し、区分された領域ごとに、第１及び第２の画像における各画素群の出力値と加算画像における画素加算手段の出力値との比を算出し、区分された領域ごとの比を補正係数とすることが好ましい。【００２０】
加えて、本発明の一実施形態では、補正係数算出手段は、第１の画素群の出力値から画素加算手段の出力値を減算して第１の減算結果を求め、その第１の減算結果が最高値となる画像領域における第１の画像群の出力値に対する補正係数を基準として、それ以外の画像領域における第１の画像群の出力値に対する補正係数を基準より大きくする規格化を行うと共に、第２の画素群の出力値から画素加算手段の出力値を減算して第２の減算結果を求め、その第２の減算結果が最高値となる画像領域における第２の画像群の出力値に対する補正係数を基準として、それ以外の画像領域における第２の画像群の出力値に対する補正係数を基準より大きくする規格化を行うことが好ましい。【００２１】
加えてまた、本発明の一実施形態では、補正係数算出手段は、第１の画素群の出力値から画素加算手段の出力値を減算して第１の減算結果を求めると共に、第２の画素群の出力値から画素加算手段の出力値を減算して第２の減算結果を求め、全画像領域の第１の減算結果及び第２の減算結果のうちで最高値となる第１の減算結果又は第２の減算結果に対応する補正係数を基準とし、それ以外の補正係数を基準より大きくする規格化を行うことが好ましい。【００２２】
また、本発明の一実施形態では、補正係数記憶手段は、第１の画像のシェーディング形状を加算画像のシェーディング形状に合わせるための第１の補正係数と、第２の画像のシェーディング形状を加算画像のシェーディング形状に合わせるための第２の補正係数と、加算画像のシェーディング形状を補正するための第３の補正係数とを記憶し、シェーディング補正手段は、第１の画像の画素値に対して第１の補正係数を演算した後に第３の補正係数を演算すると共に、第２の画像の画素値に対して第２の補正係数を演算した後に第３の補正係数を演算することが好ましい。【００２３】
更に、本発明の一実施形態では、補正係数記憶手段は、第１の画像のシェーディング形状を加算画像のシェーディング形状に合わせるための第１の補正係数と、第２の画像のシェーディング形状を加算画像のシェーディング形状に合わせるための第２の補正係数と、加算画像のシェーディング形状を補正するための第３の補正係数とを記憶し、補正係数記憶手段は、第１の補正係数に第３の補正係数を掛けて第４の補正係数を取得すると共に、第２の補正係数に第３の補正係数を掛けて第５の補正係数を取得し、第１の画像に対して第４の補正係数を演算すると共に、第２の画像に対して第５の補正係数を演算することが好ましい。【００２４】
更にまた、本発明の一実施形態では、撮像素子の第１及び第２の画素群は、Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタをそれぞれ備えた複数の画素からなり、画素加算手段は、Ｒ，Ｇ，Ｂの色ごとに同色の画素の画素値を加算することが好ましい。【００２５】
加えて、本発明の一実施形態では、補正係数記憶手段は、Ｒ，Ｇ，Ｂの色ごとに補正係数を記憶することが好ましい。【００２６】
加えてまた、本発明の一実施形態では、第２の画素群は、複数の画素群からなることが好ましい。【００２７】
また、上記目的を達成するために、本発明は、単一の撮影光学系と撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群及び第２の画素群を有する撮像素子とを備えた撮像装置で生成された画像のシェーディングを補正するシェーディング補正方法であって、第１及び第２の画素群の出力値に対して補正係数を演算することにより、第１の画素群の出力値からなる第１の画像のシェーディング形状、及び第２の画素群の出力値からなる第２の画像のシェーディング形状を、第１の画素群の画素値と第２の画素群の画素値とを加算して得られる加算画像のシェーディング形状と合わせることを特徴とするシェーディング補正方法を提供する。
【発明の効果】
【００２８】
本発明によれば、瞳分割に因るシェーディングを確実に補正することができると共に、二次元画像と比較してシェーディング差の少ない立体画像を容易に得ることができる。
【図面の簡単な説明】
【００２９】
【図１】撮像装置の一例のブロック図
【図２】撮像素子の一例の要部の詳細を示す構成図
【図３】立体撮像の原理の説明に用いる模式図
【図４】図４Ａは従来の画素を示す要部拡大図、図４Ｂは本発明における画素の要部拡大図
【図５】（Ａ）は第１画素群におけるシェーディング補正の説明に用いる説明図、（Ｂ）は第２画素群におけるシェーディング補正の説明に用いる説明図
【図６】撮像素子の画素加算機能の説明に用いる説明図
【図７】撮像素子に内蔵された画素加算手段の一例を模式的に示す模式図
【図８】シェーディング補正処理の第１実施例の流れを示すフローチャート
【図９】Ａ面画像及びＢ面画像の一例を示す図
【図１０】Ａ面用シェーディング補正テーブル及びＢ面用シェーディング補正テーブルの一例を示す図
【図１１】Ｃ面用シェーディング補正テーブルの一例を示す図
【図１２】シェーディング補正処理の第２実施例の流れを示すフローチャート
【図１３】シェーディング補正係数の算出処理の一例の流れを示すフローチャート
【図１４】図１４Ａ〜Ｃは、Ａ面シェーディング補正テーブル、Ｃ面画像のシェーディング形状及びＡ面画像のシェーディング形状のそれぞれの一例を示す図
【図１５】Ｃ面画像を露出アンダーにすることの説明に用いる説明図
【図１６】Ｃ面画像の露光時間を短くする場合の例を示すタイミングチャート
【図１７】ＮＤフィルタを用いる場合の例を示すタイミングチャート
【図１８】Ｃ面画像の増幅ゲインを下げる場合の例を示すタイミングチャート
【図１９】Ａ面画像及びＣ面画像の水平方向におけるシェーディング形状の一例を示すグラフ
【図２０】Ａ面シェーディング補正の補正ゲイン形状の一例を示すグラフ
【図２１】Ａ面画像、Ｂ面画像及びＣ面画像の水平方向におけるシェーディング形状の一例を示すグラフ
【図２２】Ａ面シェーディング補正及びＢ面シェーディング補正の補正ゲイン形状の一例を示すグラフ
【図２３】ＲＧＢの各色における感度の例を示すグラフ
【図２４】ＲＧＢ別のシェーディング補正ゲインのテーブルを示す図
【図２５】４画素群を備えた撮像素子の一例を部分的に示す図
【図２６】４画素加算の説明に用いる説明図
【発明を実施するための形態】
【００３０】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００３１】
図１は、本発明に係る撮像装置の一例の全体構成を示すブロック図である。
【００３２】
撮像装置１０は、撮影レンズ１２及び絞り１４を有する単一の撮影光学系１５と、撮影光学系１５を介して被写体を撮像する撮像素子１６と、撮影光学系１１と撮像素子１６との間を遮断して撮像素子１６を遮光することが可能なメカシャッタ１７と、撮像素子１６から出力された画像（画素信号）をアナログからデジタルに変換するＡ／Ｄ変換器２０と、Ａ／Ｄ変換器２０から出力された画像に対して各種の画像処理を行う画像処理部２４と、画像処理部２４で画像処理された画像を表示部３０で出力可能にエンコードするエンコーダ２８と、エンコーダ２８でエンコードされた画像を表示する表示部３０と、撮影光学系１５、撮像素子１６及びメカシャッタ１７を駆動する駆動手段であるデバイス制御部３２と、ユーザからの指示入力を受け付ける操作部３８と、撮像装置１０の各部を制御するＣＰＵ４０と、画像及び各種の情報を記憶する補正係数記憶手段でもあるメモリ４８とを含んで構成されている。なお、本構成の撮像装置１０では、ＣＰＵ４０は、後述する、制御手段及び補正係数算出手段に相当し、かつ、シェーディング補正手段の一構成要素となっているが、それぞれの手段や手段の一部に対応したＣＰＵを個別に設けることも可能である。
【００３３】
尚、撮像素子１６は、Ａ／Ｄ変換器２０と一体になっている撮像素子でもよい。その場合、以下の説明でのＡ／Ｄ変換器は、撮像素子１６内のＡ／Ｄ変換機能を意味する。
【００３４】
図２（Ａ）〜（Ｃ）は、撮像素子１６の一例の一部を示す構成図である。図２（Ａ）はハニカム配列の第１画素群（「Ａ面画素群」ともいう）及び第２画素群（「Ｂ面画素群」ともいう）を示し、図２（Ｂ）は第１画素群のみを示し、図２（Ｃ）は第２画素群のみを示す。
【００３５】
図２（Ａ）〜（Ｃ）に示すように、本例の撮像素子１６は、それぞれマトリクス状に配列された垂直方向（図のｙ軸方向）の奇数ラインの第１画素（「Ａ面画素」ともいう）と、垂直方向の偶数ラインの第２画素（「Ｂ面画素」ともいう）とを有しており、第１画素群、第２画素群にてそれぞれ光電変換された各画素信号は、それぞれ第１視点画像（「Ａ面画像」ともいう）、第２視点画像（「Ｂ面画像」ともいう）として、独立して読み出すことができるようになっている。
【００３６】
図２に示すように撮像素子１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタをそれぞれ備えた画素のうち、ＧＲＧＲ…の画素配列の水平ラインと、ＢＧＢＧ…の画素配列の水平ラインとが交互に設けられている。一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列の水平ラインと、ＢＧＢＧ…の画素配列の水平ラインとが交互に設けられると共に、奇数ラインの画素に対して画素同士が２分の１画素ピッチだけ各ライン方向にずれて配置されている。
【００３７】
図３は、撮影レンズ１２、絞り１４、及び、撮像素子１６の第１画素ＰＤａ、第２画素ＰＤｂの１画素ずつを示した模式図である。図４Ａ〜Ｃは、図３の要部拡大図である。
【００３８】
図４Ａは、従来の撮像素子の画素（フォトダイオード）及びその周辺を示す。従来は、撮影レンズ１２の射出瞳を通過した光束が、マイクロレンズＬを介して、制限（遮蔽）を受けずにフォトダイオードＰＤに入射する。
【００３９】
図４Ｂ及びＣは、本発明における撮像素子の一例の画素及びその周辺を示す。撮像素子１６の各フォトダイオードＰＤ上に遮光部材１６Ａが形成され、この遮光部材１６Ａにより本例では各フォトダイオードＰＤの受光面の左半分又は右半分が遮光されている。図中のマイクロレンズＬの光軸Ｉｃに対する遮光部材１６Ａの端部の偏位量を変えて遮光部材１６Ａを形成することにより、即ち、遮光部材１６Ａの面積（遮光量）を変えることにより、各フォトダイオードＰＤに対する光束の入射角度及び各フォトダイオードＰＤの受光量を変えることができる。言い換えると、遮光部材１６Ａの開口１６Ｂの面積（開口面積）を変えることで、各フォトダイオードＰＤに対する光束の入射角度及び各フォトダイオードＰＤの受光量を変えることができる。
【００４０】
上記構成の撮像素子１６は、第１画素と第２画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されている。
なお、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束を制限してもよい。二つの画素（第１画素と第２画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束を制限してもよい。
【００４１】
図３に示すように、第１画素ＰＤａと第２画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限（遮光）されている遮光領域が異なる。即ち、遮光部材１６Ａは、瞳分割部材としての機能を有しており、撮影レンズ１２の射出瞳を通過した光束のうち、射出瞳半分の一方を通過した光束を第１画素ＰＤａに入射させ、射出瞳半分の他方を通過した光束を第２画素ＰＤｂに入射させている。
【００４２】
ところで、図３では、射出瞳の右半分を通過した光束が第１画素ＰＤａに入射して射出瞳の左半分を通過した光束が第２画素ＰＤｂに入射するものとして模式的に描いたが、実際には、射出瞳のいずれの半分（右半分、左半分）を通過した光束が第１画素ＰＤａ（または第２画素ＰＤｂ）に入射するかについては、マイクロレンズＬ、遮光部材１６Ａ及びフォトダイオードＰＤ（画素）の構造に依存する。
【００４３】
また、本実施形態では水平方向（図３中のｘ軸方向）に瞳分割した場合を例に説明するが、本発明はこのような場合に限定せず、垂直方向に瞳分割することも、水平方向及び垂直方向の両方向にて瞳分割することも、可能である。
【００４４】
図１に戻って、撮像素子１６に蓄積された信号電荷（画素値）は、デバイス制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１６から読み出された電圧信号は、Ａ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタルの画素信号に変換して出力する。尚、本例では、画素ごとのＲ、Ｇ、Ｂ信号（Ｒ，Ｇ、Ｂの各色の画像信号）が、撮像素子１６内でアナログで増幅された後、Ａ／Ｄ変換器２０に向けて出力されている。撮像素子１６とＡ／Ｄ変換器２０との間にアナログ信号処理部を設け、そのアナログ信号処理部で増幅等の処理を行うようにしてもよい。
【００４５】
画像処理部２４は、Ａ／Ｄ変換器２０を介して入力するデジタルの画像信号に対して、シェーディング補正処理、オフセット処理、ホワイトバランス補正処理、ＹＣ処理等の所定の信号処理を行う。
【００４６】
ここで、図２（Ｂ）及び（Ｃ）に示すように、撮像素子１６の奇数ラインの第１画素から読み出される信号は、一方の視点画像（Ａ面画像）の画素値として処理され、偶数ラインの第２画素から読み出される信号は、他方の視点画像（Ｂ面画像）の画素値として処理される。
【００４７】
画像処理部２４で処理されたＡ面画像及びＢ面画像は、メモリ４８に入力される。メモリ４８から読み出された画像はビデオ・エンコーダ２８においてエンコーディングされ、ドライバ２９を介して、カメラ背面に設けられている立体表示用の表示部３０に出力され、これにより立体又は二次元の被写体像が表示部３０の表示画面上に表示される。
【００４８】
本例の表示部３０は、立体画像（第１視点画像及び第２視点画像）をパララックスバリアによりそれぞれ所定の志向性を持った指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネを掛けることで各視点画像を個別に見ることができるものでもよい。
【００４９】
また、操作部３８のシャッタボタン（「撮影ボタン」ともいう）の第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ制御及びＡＥ制御を開始させ、デバイス制御部３２を介して撮影レンズ１２内のフォーカスレンズを合焦位置に移動させる制御を行う。
【００５０】
ＣＰＵ４０によりＡＥ制御及びＡＦ制御を行って、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される第１画素及び第２画素に対応するＡ面画像（第１視点画像）及びＢ面画像（第２視点画像）の２枚分の画像データがメモリ４８に入力され、記憶される。
【００５１】
メモリ４８に記憶された２枚分の画像データは、画像処理部２４により適宜読み出され、ここでシェーディング補正を含む所定の信号処理が行われる。シェーディング補正された画像データは、再びメモリ４８に記憶される。
【００５２】
以上説明したように、撮像素子１６は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色ごとに複数の画素を有すると共に、撮影レンズ１２の射出瞳の異なる領域（例えば右半分および左半分）を通過した光束をそれぞれ光電変換することで、複数の視点画像を取得する。
【００５３】
次に、本実施形態のシェーディング補正手段（ＣＰＵ４０及び画像処理部２４）におけるシェーディング補正について説明する。複数の視点画像（Ａ面画像、Ｂ面画像）間で瞳分割方向（本実施形態では左右方向）に沿ったシェーディング補正量が異なり、且つ、Ｒ、Ｇ、Ｂの色ごとに瞳分割方向に沿ったシェーディング補正量も異なる。
【００５４】
図５（Ａ）および（Ｂ）は、それぞれ第１画素群及び第２画素群におけるＲ，Ｇ、Ｂ画素の受光量の説明に用いる説明図である。図５（Ａ）に示す第１画素群でも、図５（Ｂ）の第２画素群でも、中心部Ｒ１と比較して、周縁部（Ｒ２、Ｒ３、Ｒ４、Ｒ５）は各画素の受光量が小さくなる。また、図５（Ａ）に示す第１画素群では、瞳分割方向Ｘ（左右方向）において、図中の左端側よりも右端側の受光量が小さくなる。また、図５（Ｂ）に示す第２画素群では、瞳分割方向Ｘ（左右方向）において、図中の右端側よりも左端側の受光量が小さくなる。
【００５５】
本実施形態のシェーディング補正手段は、Ｒ、Ｇ、Ｂの色ごとに、第１画素群の各画素から出力される画素信号（Ａ面画像）に対しては、瞳分割の左右方向（水平方向）にて図中左端側の周縁部Ｒ２よりも図中右端側の周縁部Ｒ３でシェーディング補正を強くし、第２画素群の各画素から出力される画素信号（Ｂ面画像）に対しては、瞳分割の左右方向にて図中左端側の周縁部Ｒ２よりも図中右端側の周縁部Ｒ３でシェーディング補正を弱くする（Ｒ３よりもＲ２でシェーディング補正を強くする）。
【００５６】
また、本実施形態のシェーディング補正手段は、各視点画像（第１視点画像および第２視点画像）に対し、撮影レンズ１２の光軸に対応する中心点を基準に、各視点画像の中心から離れるに従い同心円状のシェーディング補正を強める機能も有する。ただし、本発明では、このシェーディング補正を行わない場合もある。
【００５７】
本実施形態のシェーディング補正手段は、第１画素群（Ａ面画素群）の出力値及び第２画素群（Ｂ面画素群）の出力値に対して、メモリ４８に記憶されているＡ面シェーディング補正テーブル及びＢ面シェーディング補正テーブルの補正係数を演算することにより、第１画素群の出力値からなるＡ面画像のシェーディング形状、及び第２画素群の出力値からなるＢ面画像のシェーディング形状を、画素加算手段の出力値からなるＣ面画像（加算画像）のシェーディング形状に合わせる（Ａ面シェーディング補正及びＢ面シェーディング補正）。
【００５８】
また、本例の本実施形態のシェーディング補正手段は、撮像素子１６内の画素加算手段の出力値に対して、メモリ４８に記憶されているＣ面シェーディング補正テーブルの補正係数を演算することにより、Ｃ面画像（加算画像）のシェーディング形状を補正する（Ｃ面シェーディング補正）。また、本例の画像処理部２４は、前述の個別のシェーディング補正（Ａ面シェーディング補正及びＢ面シェーディング補正）を実行後、Ａ面画像の画素値及びＢ面画像の画素値に対して、メモリ４８に記憶されているＣ面シェーディング補正テーブルの補正係数を演算することにより、Ａ面画像及びＢ面画画像のシェーディング形状を更に補正する（ＡＢ面シェーディング補正）。これらのＣ面シェーディング補正及びＡＢ面シェーディング補正を、以下では、「共通のシェーディング補正」ということもある。
【００５９】
尚、画像上の瞳分割方向は、実空間上の瞳分割方向（即ち撮影レンズ１２の瞳の分割された領域同士を結ぶ方向）に対応する。本実施形態では、瞳を左半分と右半分とに分割しているので、瞳分割方向は左右方向（Ｘ方向）である。図３に示すように撮影レンズ１２の光軸中心を屈曲させることなく真っ直ぐ撮像素子１６に向けた場合には、撮像素子１６における瞳分割方向は左右方向（Ｘ方向）である。ただし、いわゆる屈曲光学系では、撮影レンズ１２における瞳分割方向を屈曲した光路に沿って撮像素子１６の受光面に投影した方向になることは、言うまでもない。
【００６０】
図６は、撮像素子１６の画素加算機能の説明に用いる説明図である。本例の撮像素子１６は、Ａ面画素群の画素値とＢ面画素群の画素値とを加算することでＣ面画像（加算画像）を生成する画素加算手段を内蔵している。この画素加算手段は、Ａ面画素群の画素値とＢ面画素群の画素値とをアナログ加算する。尚、アナログ加算とは、Ａ／Ｄ変換前での加算であり、電荷、電圧信号、及び電流信号のうち、いずれかの加算である。図６に示すように、互いに隣接する「Ｒ」画素と「Ｒ」画素とで画素値を加算し、互いに隣接する「Ｇ」画素と「Ｇ」画素とで画素値を加算し、互いに隣接する「Ｂ」画素と「Ｂ」画素とで画素値を加算する。
【００６１】
図７は、アナログでの画素加算の一例を説明するために、撮像素子１６に内蔵された画素加算手段の一例を模式的に示した図である。図７において、本例の撮像素子１６は、アンプＡＭＰを有しており、第１のスイッチＳＷａは第１画素ＰＤａの蓄積電荷（アナログの画素値）をアンプＡＭＰに入力するか否かを切り換えるスイッチデバイスであり、第２のスイッチＳＷｂは第２画素ＰＤｂの蓄積電荷（アナログの画素値）をアンプＡＭＰに入力するか否かを切り換えるスイッチデバイスである。二次元撮像の際には、二つのスイッチＳＷａ及びＳＷｂを共にオンにして、第１画素ＰＤａの蓄積電荷と第２画素ＰＤｂの蓄積電荷とをアンプＡＭＰに入力することで、画素加算され且つ増幅された画素信号（アナログの画素加算値）がＡ／Ｄ変換器２０に向けて出力される。立体撮像の際には、第１のＳＷａオン且つ第２のＳＷｂオフで、第１画素ＰＤａの蓄積電荷のみがアンプＡＭＰに入力されて、増幅された画素信号（アナログの第１画素値）がＡ／Ｄ変換器２０に向けて出力され、第１のＳＷａオフ且つ第２のＳＷｂオンで、第２画素ＰＤｂの蓄積電荷のみがアンプＡＭＰに入力されて、増幅された画素信号（アナログの第２画素値）がＡ／Ｄ変換器２０に向けて出力される。本例では、アンプＡＭＰを含んで画素加算手段が構成されている。
【００６２】
尚、図７は、電荷の状態で加算する例を示したが、本発明はこれに限定されない。図７の構成では、立体撮像の際に第１画素ＰＤａと第２画素ＰＤｂとを同時読み出しできないが、第１画素ＰＤａと第２画素ＰＤｂとを同時読み出しできる構成としてよいことは勿論である。また、本発明の画素加算は、蓄積電荷の状態で画素加算する場合には限定されず、電圧の状態で画素加算してもよい。例えば、アンプで増幅された画素値の電圧同士で加算する。また、アナログの信号処理で画素加算する場合には限定されず、デジタルの信号処理により画素加算するようにしてもよい。
【００６３】
本例の画素加算手段１９（ＳＷａ，ＳＷｂ，ＡＭＰ）のように、アナログの画素値で加算する場合には、デジタルの画素値で画素加算する場合と比較して、高精度の画素加算値を得られるメリットがある。
【００６４】
図８は、シェーディング補正処理の第１実施例の流れを示すフローチャートである。本処理は、ＣＰＵ４０によって、プログラムに従って実行される。
【００６５】
本処理は、立体撮像時のシェーディング補正処理を示す。この処理は、ＣＰＵにより、プログラムに従って実行される。
【００６６】
本例では、デバイス制御部３２によって撮像素子１６を制御し、撮像素子１６によって被写体を立体撮像したものとする。
【００６７】
まず、Ａ面画像（第１の画像）を取得する（ステップＳ１０２）。図９の左側にＡ面画像の一例を示す。
【００６８】
次に、メモリ４８からＡ面シェーディング補正テーブルを取得する（ステップＳ１０４）。図１０の上側にＡ面シェーディング補正テーブルの一例を示す。
【００６９】
次に、Ａ面シェーディング補正テーブルに基づいて、Ａ面画像のシェーディング形状を、Ｃ面画像のシェーディング形状に一致させる（ステップＳ１０６）。
【００７０】
次に、シェーディング補正されたＡ面画像を、メモリ４８に保存する（ステップＳ１０８）。
【００７１】
次に、撮像素子１６から出力されたＢ面画像（第２の画像）を取得する（ステップＳ１１０）。図９の右側にＢ面画像の一例を示す。
【００７２】
次に、メモリからＢ面シェーディング補正テーブルを取得する（ステップＳ１１２）。図１０の下側にＢ面シェーディング補正テーブルの一例を示す。
【００７３】
次に、Ｂ面シェーディング補正テーブルに基づいて、Ｂ面画像のシェーディング形状を、Ｃ面画像のシェーディング形状に近づける（ステップＳ１１４）。
近づけるとは、同一または相似形をいう。
【００７４】
次に、シェーディング補正されたＢ面画像を、メモリ４８に保存する（ステップＳ１１６）。
【００７５】
次に、Ａ面画像を取得する（ステップＳ１１８）。
【００７６】
次に、Ｂ面画像を取得する（ステップＳ１２０）。
【００７７】
次に、Ｃ面シェーディング補正テーブルに基づいて、Ａ面画像のシェーディングを補正すると共に、Ｂ面画像のシェーディングを補正する（ステップＳ１２２）。Ｃ面シェーディング補正テーブルの一例を図１１に示す。
【００７８】
本例では、Ａ面画像の各画素値に対して、Ａ面シェーディング補正テーブルの補正ゲイン（第１の補正係数）を掛けた後に、Ｃ面シェーディング補正テーブルの補正ゲイン（第３の補正係数）を掛ける。また、Ｂ面画像の各画素値に対して、Ｂ面シェーディング補正テーブルの補正ゲイン（第２の補正係数）を掛けた後に、Ｃ面シェーディング補正テーブルの補正ゲイン（第３の補正係数）を掛けている。
【００７９】
また、ＣＰＵ４０（補正係数算出手段）は、Ａ面画像、Ｂ面画像及びＣ面画像をそれぞれ複数の領域に区分し、区分された領域ごとに、Ａ面画像及びＢ面画像における各画素群の出力値とＣ面画像における画像処理部２４（画素加算手段）の出力値との比を算出し、区分された領域ごとの比を補正係数としてメモリ４８に記憶させる。
【００８０】
図１２は、シェーディング補正処理の第２実施例の流れを示すフローチャートである。本処理は、ＣＰＵ４０によって、プログラムに従って実行される。本例では、デバイス制御部３２によって撮像素子１６を制御し、撮像素子１６によって被写体を立体撮像したものとする。
【００８１】
まず、メモリ４８からＡ面シェーディング補正テーブルを取得する（ステップＳ２０２）。Ａ面シェーディング補正テーブルの一例は図１０上側に示した。
【００８２】
次に、メモリ４８からＣ面シェーディング補正テーブルを取得する（ステップＳ２０４）。
【００８３】
次に、Ａ面シェーディング補正テーブルの補正ゲイン（第１の補正係数）に、Ｃ面シェーディング補正テーブルの補正ゲイン（第３の補正係数）を掛ける（ステップＳ２０６）。
【００８４】
次に、メモリ４８からＢ面シェーディング補正テーブルを取得する（ステップＳ２０８）。Ｂ面シェーディング補正テーブルの一例は図１０下側に示した。
【００８５】
次に、メモリ４８からＣ面シェーディング補正テーブルを取得する（ステップＳ２１０）。
【００８６】
次に、Ｂ面シェーディング補正テーブルの補正ゲイン（第２の補正係数）に、Ｃ面シェーディング補正テーブルの補正ゲイン（第３の補正係数）を掛ける（ステップＳ２１２）。
【００８７】
次に、Ａ面画像（第１の画像）を取得する（ステップＳ２１４）。
【００８８】
次に、メモリ４８からＡ面シェーディング補正テーブルを取得する（ステップＳ２１６）。
【００８９】
次に、Ａ面シェーディング補正テーブルに基づいて、Ａ面画像のシェーディングを補正する（ステップＳ２１８）。
【００９０】
次に、シェーディング補正されたＡ面画像を、メモリ４８に保存する（ステップＳ２２０）。
【００９１】
次に、Ｂ面画像（第２の画像）を取得する（ステップＳ２２２）。
【００９２】
次に、メモリ４８からＢ面シェーディング補正テーブルを取得する（ステップＳ２２４）。
【００９３】
次に、Ｂ面シェーディング補正テーブルに基づいて、Ｂ面画像のシェーディングを補正する（ステップＳ２２６）。
【００９４】
次に、シェーディング補正されたＢ面画像を、メモリ４８に保存する（ステップＳ２２８）。
【００９５】
本例では、Ａ面シェーディング補正テーブルの補正ゲイン（第１の補正係数）にＣ面シェーディング補正テーブルの補正ゲイン（第３の補正係数）を掛けて、新たなＡ面シェーディング補正テーブルの補正ゲイン（第４の補正係数）を取得すると共に、Ｂ面シェーディング補正テーブルの補正ゲイン（第２の補正係数）にＣ面シェーディング補正テーブルの補正ゲイン（第３の補正係数）を掛けて、新たなＢ面シェーディング補正テーブルの補正ゲイン（第５の補正係数）を取得する。そして、取得されたＡ面画像（第１の画像）に対して、新たなＡ面シェーディング補正テーブルの補正ゲイン（第４の補正係数）を掛けると共に、取得されたＢ面画像（第２の画像）に対して、新たなＢ面シェーディング補正テーブルの補正ゲイン（第５の補正係数）を掛ける。
【００９６】
以上のように、撮像装置１０は、単一の撮影光学系１５と、撮影光学系１５の異なる領域を通過した光束をそれぞれ光電変換する第１画素群及び第２画素群を有し、第１画素群の出力値からなるＡ面画像（第１の画像）及び第２画素群の出力値からなるＢ面画像（第２の画像）を生成可能である撮像素子１６と、第１画素群の画素値と第２画素群の画素値とを加算することでＣ面画像（加算画像）を生成可能である画素加算手段１９と、第１画素群及び第２画素群の出力値に対する補正係数を記憶するメモリ４８であって、第１画素群の出力値からなるＡ面画像のシェーディング形状、及び第２画素群の出力値からなるＢ面画像のシェーディング形状を、画素加算手段１９の出力値からなるＣ面画像（加算画像）のシェーディング形状と合わせるための補正係数を記憶するメモリ４８と、第１画素群及び第２画素群の出力値に対してメモリ４８に記憶されている補正係数を演算することにより、第１画素群の出力値からなるＡ面画像のシェーディング形状、及び第２画素群の出力値からなるＢ面画像のシェーディング形状を、画素加算手段１９の出力値からなるＣ面画像（加算画像）のシェーディング形状と合わせるシェーディング補正手段（ＣＰＵ４０及び画像処理部２４）を備える。本例の画素加算手段は、撮像素子１６内に設けられて、第１画素群及び第２画素群の画素値をアナログで加算するものである。また、本例の撮像装置１０は、撮像素子１６を駆動するデバイス制御部３２であって、Ａ面画像及びＢ面画像を画素値の加算無しで生成する第１の駆動と、Ｃ面画像（加算画像）を画素加算手段による画素値の加算を行って生成する第２の駆動とを、撮像素子１６に対して行うデバイス制御部３２と、デバイス制御部３２により撮像素子１６を第１の駆動で駆動して被写体を撮像することでＡ面画像及びＢ面画像を取得する立体撮像と、デバイス制御部３２により撮像素子１６を第２の駆動で駆動して被写体を撮像することでＣ面画像（加算画像）を取得する二次元撮像とを制御するＣＰＵ４０であって、立体撮像で被写体を撮像する場合には二次元撮像を立体撮像と同じ撮影条件で併せて行わせるＣＰＵ４０を備える。このＣＰＵ４０は、Ａ面画像及びＢ面画像とＣ面画像（加算画像）とに基づいて補正係数を算出し、メモリ４８に記憶させる補正係数算出手段として機能する。
【００９７】
図１３は、シェーディング補正係数の算出処理の一例の流れを示すフローチャートである。本処理は、ＣＰＵ４０の制御により、プログラムに従って実行される。
【００９８】
尚、本例では立体撮影モード及び二次元撮影モードのうちで立体撮影モードが操作部３８によって予め選択されているものとする。例えば立体／二次元撮影モード切換ボタンによって、撮影モードが切り換えられる。
【００９９】
まず、操作部３８の撮影ボタン（シャッタボタン）がオンされたか否かを判定する（ステップＳ３０２）。
【０１００】
撮影ボタンがオンされた場合、ＡＢ面被写体撮像（立体撮像）を行って（ステップＳ３０４）、Ａ面画像及びＢ面画像をメモリ４８に保存し（ステップＳ３０６）、続いて、Ａ面及びＢ面の画素加算を行うＣ面被写体撮像（二次元撮像）を、ＡＢ面被写体撮像（立体撮像）と同じ撮影条件で行って（ステップＳ３０８）、Ｃ面画像をメモリ４８に保存する（ステップＳ３１０）。ここで同じ撮影条件とは、少なくとも、絞り１４による絞り値、及び撮影レンズ１２のズーム位置が含まれる。これらの撮影条件が変わると、シェーディング特性の分布が変わる要因となるからである。露光時間等は、二次元撮像を露出アンダーで行い、立体撮像と二次元撮像とで異ならせる態様がある。そのような態様については後述する。デバイス制御部３２により撮像素子１６を立体撮像で駆動して被写体を撮像することでＡ面画像及びＢ面画像を取得し、また、デバイス制御部３２により撮像素子１６を二次元撮像で駆動して被写体を撮像することでＣ面画像を取得する。
【０１０１】
次に、Ａ面画像とＣ面画像とに基づいてＡ面シェーディング補正テーブルの補正ゲイン（補正係数）を算出し（ステップＳ３１２）、Ｂ面画像とＣ面画像とに基づいてＢ面シェーディング補正テーブルの補正ゲイン（補正係数）を算出する（ステップＳ３１４）。
【０１０２】
このように、被写体を立体撮像する時に、シェーディング補正の補正係数を算出してメモリ４８に記憶するようにすることで、事前に補正係数を算出してメモリ４８に記憶させおく必要がなくなる。事前に補正係数を準備しておく態様では、ズーム位置や絞り値に依ってシェーディング特性が変化するため、多様な撮影条件に応じて多量の補正係数を準備しておく必要があるが、本例では撮影時に補正係数の算出（測定）を行うので、多量の補正係数を準備しておく必要がない。また、撮影光学系１５が交換式である場合にも、各種の撮影光学系（交換レンズ）に対応した補正係数を準備しておく必要がない。
【０１０３】
図１４ＡにＡ面シェーディング補正テーブルの一例を示す。本例は、画像を、水平方向及び垂直方向に８×８個、合計で６４個のエリア（領域）に区分した場合である。図中のｘ、ｙは、０≦ｘ＜８、０≦ｙ＜８をそれぞれ満たす整数である。（ｘ、ｙ）エリアのＡ面画像の画素値に対するゲイン（補正係数）をｇａｉｎ＿Ａ（ｘ，ｙ）、図１４Ｂに示すＡ面の出力（Ｃ面画像の画素値によって示されるＡ面画素群の出力値である）をＳｉｇｎａｌ＿Ａ（ｘ，ｙ）、図１４Ｃに示すＣ面の出力（Ｃ面画像の画素値によって示される画素加算手段の出力値である）をＳｉｇｎａｌ＿Ｃ（ｘ，ｙ）とすると、ｇａｉｎ＿Ａ（ｘ，ｙ）は次式で表される。
【０１０４】
ｇａｉｎ＿Ａ（ｘ，ｙ）＝Ｓｉｇｎａｌ＿Ｃ（ｘ，ｙ）／Ｓｉｇｎａｌ＿Ａ（ｘ，ｙ）
この式で算出されたｇａｉｎ＿Ａを、立体撮像で得られたＡ面画像の画素値に掛ければ、Ａ面画像のシェーディング形状をＣ面画像のシェーディング形状に等しくすることができる。
【０１０５】
即ち、補正係数算出部は、Ａ面画像及びＣ面画像をそれぞれ複数の領域に区分し、区分された領域ごとに、Ａ面画像におけるＡ面画素群の出力値とＣ面画像における画素加算の出力値との比を、Ａ面画像の補正ゲイン（ｇａｉｎ＿Ａ）として算出する。同様に、Ｂ面画像及びＣ面画像をそれぞれ複数の領域に区分し、区分された領域ごとに、Ｂ面画像におけるＢ面画素群の出力値とＣ面画像における画素加算の出力値との比を、Ｂ面画像の補正ゲイン（ｇａｉｎ＿Ｂ）として算出する。
【０１０６】
尚、この例に挙げた６４エリアごとの補正ゲインを補間して画素ごとの補正ゲインを求め、実際に掛けるゲインとしてもよい。補間は、線形補間や、スプライン補間などにより行うことができる。
【０１０７】
ＣＰＵ４０は、図１５（Ａ）及び図１５（Ｂ）に示すように、補正ゲイン算出のために立体撮像と共に二次元撮像を行う時、立体撮像（Ａ面、Ｂ面画像の取得）よりも二次元撮像（Ｃ面画像の取得）を露出アンダーで行う。
【０１０８】
図１５（Ａ）に示したＡ面画像及びＢ面画像のうちで山頂の部分は、飽和する場合があるため、このような部分では補正ゲインを正確に算出できない可能性がある。そのため、図１５（Ｂ）に示すように、露出を下げて撮影し、適正な補正ゲインが算出されるようにする。つまり、画素加算を行う二次元撮影では、立体撮影時と比較して露出アンダーとなるように、露出アンダーに対応した露出値に基づいて撮像を行う。
【０１０９】
図１６は、二次元撮像の露光時間を立体撮像の露光時間よりも短くする場合のタイミングチャートを示す。
【０１１０】
図１６に示したように、まず、ＣＰＵ４０は、メカシャッタ１７を開いて、Ａ面及びＢ面の画素群の露光を適正露光時間で行う。次に、ＣＰＵ４０は、メカシャッタ１７を閉じて、Ａ面及びＢ面の画素群の蓄積電荷（画素値）の読み出しを行う。Ａ面及びＢ面の画素群の画素値の読み出し終了後、直ぐに、ＣＰＵ４０は、メカシャッタ１７を開いて、Ｃ面の露光を適正露光時間（Ａ面及びＢ面の画素群の露光時間）よりも短い露光時間で行う。次に、ＣＰＵ４０は、メカシャッタ１７を閉じて、Ｃ面画素群の蓄積電荷の読み出しを行う。即ち、ＣＰＵ４０は、撮像素子１６内の画素加算手段の出力値の取得を行う。
【０１１１】
図１７は、二次元撮像のときはＮＤフィルタを用いて被写体を撮像する場合のタイミングチャートを示す。ＮＤフィルタは、図１内での図示を省略したが、撮影光学系１５と撮像素子１６との間（あるいは撮影光学系１５の内部）に、デバイス制御部３２の制御により挿入及び抜脱が可能に設けられているものとする。
【０１１２】
以下では、図１６に示した場合と異なる点のみを説明する。図１７に示すように、ＮＤフィルタ無しの状態でＡ面及びＢ面の画素群の露光を行って、Ａ面及びＢ面の画素群の画素値の読み出しを終了した直後、ＣＰＵ４０は、ＮＤフィルタを撮影光学系１５と撮像素子１６との間（あるいは撮影光学系１５の内部）に挿入する。そして、ＣＰＵ４０は、メカシャッタ１７を開いて、ＮＤフィルタありの状態でＣ面の露光を行う。
【０１１３】
図１８は、二次元撮像のときに立体撮像よりも増幅ゲインを下げる場合のタイミングチャートを示す。
【０１１４】
以下では、図１６に示した場合と異なる点のみを説明する。図１８に示すように、ＣＰＵ４０は、二次元撮像（Ｃ面露光及びＣ面読み出し）のとき、増幅ゲインを下げて、被写体を撮像する。増幅はいずれで行ってもよいが、例えば撮像素子１６の内部で行う。撮像素子１６とＡ／Ｄ変換器２０との間に増幅器を設けて、その増幅器で行うようにしてもよい。
【０１１５】
次に、図１９及び図２０を用いて、補正係数の規格化の第１実施例を説明する。
【０１１６】
第１実施例において、ＣＰＵ４０（補正係数算出手段）は、第１画素群の出力値ＳＡ（Ａ面出力値）から画素加算手段の出力値ＳＣ（Ｃ面出力値）を減算して、ＳＡ−ＳＣを求める。ＳＡ−ＳＣは、正負の符号付の値である。図１９において、三角印を付けたＸｍａの位置がＳＡ−ＳＣが、全画像領域のうちで最高値となる位置である。ＣＰＵ４０は、全画像領域のうちでＳＡ−ＳＣが最高値となる画像領域におけるＡ面画像の画素値に対する補正ゲイン（補正係数）を「１」として、それ以外の画像領域におけるＡ面画像に対する補正ゲインを「１」より大きくする規格化を行う。図２０において、Ｘｍａの位置では補正ゲイン＝１とし、それ以外の位置では補正ゲイン＞１としている。
【０１１７】
同様に、ＣＰＵ４０は、第２画素群（Ｂ面画素群）の出力値ＳＢ（Ｂ面出力値）から画素加算手段の出力値ＳＣ（Ｃ面出力値）を減算して、ＳＢ−ＳＣを求める。ＳＢ−ＳＣは、正負の符号付の値である。ＣＰＵ４０は、全画像領域のうちでＳＢ−ＳＣが最高値となる画像領域におけるＢ面画像の画素値に対する補正ゲイン（補正係数）を「１」として、それ以外の画像領域におけるＢ面画像に対する補正ゲインを「１」より大きくする規格化を行う。
【０１１８】
図１９に示したシェーディング形状の場合に、図２０に示したように最低の補正ゲインを「１」とすると、マイナスの補正ゲインが掛かることがなくなるので、信号出力が飽和した時にシェーディング補正により白が出力されなくなる現象を、防ぐことができる。
【０１１９】
次に、図２１及び図２２を用いて、補正係数の規格化の第２実施例を説明する。
【０１２０】
第２実施例において、ＣＰＵ４０（補正係数算出手段）は、第１画素群の出力値ＳＡ（Ａ面出力値）から画素加算手段の出力値ＳＣ（Ｃ面出力値）を減算してＳＡ−ＳＣを求めると共に、第２画素群の出力値ＳＢ（Ｂ面出力値）から画素加算手段の出力値ＳＣ（Ｃ面出力値）を減算してＳＢ−ＳＣを求める。ＳＡ−ＳＣ、及びＳＢ−ＳＣは、正負の符号付の値である。図１９において、三角印△を付けたＸｍａｂの位置が、全画像領域のＳＡ−ＳＣ及びＳＢ−ＳＣうちで、ＳＡ−ＳＣ又はＳＢ−ＳＣが最高値となる位置である。ＣＰＵ４０は、全画像領域の第１の減算結果ＳＡ−ＳＣ及び第２の減算結果ＳＢ−ＳＣのうちで最高値（ＳＡ−ＳＣ又はＳＢ−ＳＣ）に対応する画像領域における補正係数であって、最高値に対応した画像（本例ではＢ面画像）に対する補正係数を「１」とし、それ以外の補正係数を「１」より大きくする規格化を行う。図２２において、Ｘｍａｂの位置ではＢ面出力値に対する補正ゲイン＝１とし、それ以外では補正ゲイン＞１としている。
【０１２１】
図２１に示したシェーディング形状のときに、図２２に示したように最低の補正ゲインを「１」とすると、マイナスの補正ゲインが掛かることがなくなるので、信号出力が飽和した時にシェーディング補正により白が出力されなくなる現象を、防ぐことができる。更に、本例では、Ａ面及びＢ面の輝度が揃うことになる。
【０１２２】
撮像素子１６の第１画素群及び第２画素群は、Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタをそれぞれ備えた複数の画素からなり、画素加算手段は、Ｒ，Ｇ，Ｂの色ごとに同色の画素の画素値を加算する。
【０１２３】
図２３は、ＲＧＢの分光特性例を示す。図２３に示すように、ＲＧＢの原色フィルタを用いることで、フルカラーの立体画像を取得することができる。
【０１２４】
メモリ４８は、図２４に示すように、Ｒ，Ｇ，Ｂの色ごとに補正係数を記憶する。図２４に示すシェーディング補正テーブルは、Ａ面Ｒ用、Ａ面Ｇ用、Ａ面Ｂ用、Ｂ面Ｒ用、Ｂ面Ｇ用、Ｂ面Ｂ用のそれぞれ補正係数テーブルを有する。
【０１２５】
以上、２画素群を有する２視点の撮像素子１６を例に説明したが、４視点以上の位相差画像を取得する撮像素子でもよい。前述の各シェーディング補正処理は、４視点以上の位相差画像にも適用できる。
【０１２６】
図２５は４視点の撮像素子１６の構成例を示す図である。
【０１２７】
図２５に示すように、撮像素子１６の受光面には、赤、青又は緑のカラーフィルタ、当該カラーフィルタに対応する画素Ａ，Ｂ，Ｃ，Ｄの４視点の画素群、及びその４画素群に対するマイクロレンズＭＬが配置されている。カラーフィルタ、４画素群、マイクロレンズからなる受光単位は、ベイヤ型に配列される。
【０１２８】
ベイヤ配列は、撮像素子１６の半導体基板表面部に正方格子状に形成された上記４画素群の上に、赤色（Ｒ，ｒ），緑色（Ｇ，ｇ），青色（Ｂ，ｂ）の三原色系のカラーフィルタを配列するに際し、赤色と緑色の各フィルタを交互に配列した行と、緑色と青色の各フィルタを交互に配列した行とを、列方向に交互に設ける構成である。
【０１２９】
図２５では、ＸＹ平面が撮像素子１６の受光面であり、Ｘは行方向、Ｙ方向は列方向である。撮影者から見て、画素Ａ・Ｃは左側、画素Ｂ・Ｄは右側に位置する。Ｚはレンズ１２の光軸方向であり、被写体に向かう方向（この図では紙面表から裏に向かう方向）を正の方向とする。以下、画素Ａ、Ｂ、Ｃ、Ｄから読み出された画像データは、それぞれ、Ａ面の画像データ、Ｂ面の画像データ、Ｃ面の画像データ、Ｄ面の画像データと呼ぶ。
【０１３０】
ベイヤ配列は、撮像素子１６の半導体基板表面部に正方格子状に形成された上記４画素群上に、赤色（Ｒ，ｒ），緑色（Ｇ，ｇ），青色（Ｂ，ｂ）の三原色系のカラーフィルタを配列するに際し、赤色と緑色の各フィルタを交互に配列した行と、緑色と青色の各フィルタを交互に配列した行とを、列方向に交互に設ける構成である。
【０１３１】
４視点の場合の補正処理は次のようになる。すなわち、図２６に示すように、Ａ面〜Ｄ面の画像データを取得し、Ａ面〜Ｄ面の画像データを全て合成することで、加算画像Ｘを得る。
【０１３２】
４画素群（Ａ〜Ｄ面画素群）の場合、画素加算手段は、４画像群間の互いに対応する４画素の組み合わせごとに画素値を加算することで１枚の加算画像Ｘを生成する。メモリ４８は、Ａ〜Ｄ面画素群の各画素群の出力値からなる各視点画像（Ａ〜Ｄ面画像のそれぞれ）のシェーディング形状を、画素加算手段の出力値からなる加算画像Ｘのシェーディング形状と合わせるための補正係数を記憶する。ＣＰＵ４０は、シェーディング補正手段として、各画素群（Ａ〜Ｄ面画素群のそれぞれ）の出力値に対してメモリ４８に記憶されている補正係数を演算することにより、各画素群（Ａ〜Ｄ面画素群のそれぞれ）の出力値からなる各視点画像（Ａ〜Ｄ面画像）のシェーディング形状を、画素加算手段の出力値からなる加算画像Ｘのシェーディング形状と合わせる。
【０１３３】
尚、撮像素子１６内で画素値の加算（画素加算）を行う場合を例に説明したが、本発明はこれに限定されない。Ａ／Ｄ変換器２０でアナログからデジタルに変換されたＡ面画像及びＢ面画像の画素加算（「画像加算」ともいう）を行ってもよい。
【０１３４】
撮像素子１６の外で画素加算を行う場合のシェーディング補正について説明する。図１において、ＣＰＵ４０は、デバイス制御部３２により撮像素子１６を駆動して被写体を撮像する。即ち、撮像素子１６に、Ａ面画像及びＢ面画像を取得する立体撮像を行わせる。撮像素子１６から出力されたＡ面画像及びＢ面画像は、画像処理部２４に入力される。画像処理部２４は、Ａ面画像のデジタルな画素値とＢ面画像のデジタルな画素値とを加算してＣ面画像（加算画像）を生成する。ＣＰＵ４０は、撮像素子１６から出力されたＡ面画像及びＢ面画像とＣ面画像とに基づいて、補正係数を算出してメモリ４８に記憶させる。Ａ面画像及びＢ面画像とＣ面画像とに基づく補正係数の算出は、撮像素子１６内で画素加算する場合と同様であり、ここでは説明を省略する。
【０１３５】
撮像素子１６の外で画素加算を行う場合の補正係数の算出について説明する。図１において、ＣＰＵ４０は、撮像素子１６から出力されたＡ面画像及びＢ面画像と、Ａ面画像及びＢ面画像を入力した画像処理部２４から出力されるＣ面画像（加算画像）とに基づいて補正係数を算出し、その補正係数をメモリ４８に記憶させる。Ａ面画像及びＢ面画像とＣ面画像とに基づく補正係数の算出の詳細は、撮像素子１６の外で画素加算を行う場合と同様であり、ここでは説明を省略する。
【０１３６】
また、撮像素子１６が二つの画素群からなり二つの画素群の画素加算を行う場合を例に説明したが、本発明はこれに限定されない。例えば図２５に示すように、４画素群を有する撮像素子１６を用いて、４画素群の画素値を加算するようにしてもよい。
【０１３７】
本明細書は、単一の撮影光学系と、撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する複数の画素群を有し、複数の画素群のそれぞれの出力値からなる複数の視点画像を生成可能である撮像素子と、複数の画像群間の互いに対応する複数の画素の組み合わせごとに画素値を加算することで１枚の加算画像を生成可能である画素加算手段と、各画素群の出力値に対する補正係数を記憶する補正係数記憶手段であって、各画素群の出力値からなる各視点画像のシェーディング形状を、画素加算手段の出力値からなる加算画像のシェーディング形状と合わせるための補正係数を記憶する補正係数記憶手段と、各画素群の出力値に対して補正係数記憶手段に記憶されている補正係数を演算することにより、各画素群の出力値からなる各視点画像のシェーディング形状を、画素加算手段の出力値からなる加算画像のシェーディング形状と合わせるシェーディング補正手段と、を備えたことを特徴とする撮像装置を開示している。
【０１３８】
シェーディング調整は工場出荷時、白壁撮影時、または毎回撮影時の２枚撮りによって実施可能である。
尚、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのは勿論である。
【符号の説明】
【０１３９】
１０…撮像装置、１２…撮影レンズ、１４…絞り、１５…撮影光学系、１６…撮像素子、２０…Ａ／Ｄ変換器（図面ではＡＤ変換器と記載する）、２４…画像処理部、２８…エンコーダ、３２…デバイス制御部、３８…操作部、４８…メモリ
【図１】
0005499224.tif 000002
【図２】
0005499224.tif 000003
【図３】
0005499224.tif 000004
【図４】
0005499224.tif 000005
【図５】
0005499224.tif 000006
【図６】
0005499224.tif 000007
【図７】
0005499224.tif 000008
【図８】
0005499224.tif 000009
【図９】
0005499224.tif 000010
【図１０】
0005499224.tif 000011
【図１１】
0005499224.tif 000012
【図１２】
0005499224.tif 000013
【図１３】
0005499224.tif 000014
【図１４】
0005499224.tif 000015
【図１５】
0005499224.tif 000016
【図１６】
0005499224.tif 000017
【図１７】
0005499224.tif 000018
【図１８】
0005499224.tif 000019
【図１９】
0005499224.tif 000020
【図２０】
0005499224.tif 000021
【図２１】
0005499224.tif 000022
【図２２】
0005499224.tif 000023
【図２３】
0005499224.tif 000024
【図２４】
0005499224.tif 000025
【図２５】
0005499224.tif 000026
【図２６】
0005499224.tif 000027