(57)【要約】【課題】視差量の異なる複数種類の視差画像を取得可能にする。【解決手段】イメージセンサ２０の全画素を、正方行列状に配列された４個の画素で構成される画素ブロック３４Ｇ，３４Ｂ，３４Ｒ毎に分ける。画素ブロック３４Ｇに「第１画素Ｇ１Ｒと第２画素Ｇ２Ｌ」の組と、「第３画素Ｇ３Ｒと第４画素Ｇ４Ｌ」の組とを設ける。画素ブロック３４Ｂに「第１画素Ｂ１Ｒと第２画素Ｂ２Ｌ」の組と、「第３画素Ｂ３Ｒと第４画素Ｂ４Ｌ」の組とを設ける。画素ブロック３４Ｒに「第１画素Ｒ１Ｒと第２画素Ｒ２Ｌ」の組と、「第３画素Ｒ３Ｒと第４画素Ｒ４Ｌ」の組とを設ける。各第１〜第４画素の上方に、第１〜第４偏心開口４６ａ〜４６ｄを設ける。第１偏心開口４６ａのずれ量を、第３偏心開口４６ｃのずれ量よりも大きくする。第２偏心開口４６ｂのずれ量を、第４偏心開口４６ｄのずれ量よりも大きくする。【選択図】図７
2014232899.tif 000002
【特許請求の範囲】
【請求項１】
入射光の光電変換を行う光電変換領域を有する２種類の画素の組を複数組備える画素ブロックが配列された撮像面であって、前記２種類の画素の一方の画素は前記光電変換領域の受光面の中心位置に対して第一の方向にずれた位置に設けられた第一の開口部を通して入射した入射光を受光し、前記２種類の画素の他方の画素は前記光電変換領域の受光面の中心位置に対して前記第一の方向とは反対側の第二の方向にずれた位置に設けられた第二の開口部を通して入射した入射光を受光し、前記第一の開口部及び第二の開口部の前記中心位置に対するずれ量が前記２種類の画素の組毎に異なるように形成されている撮像面と、
各前記光電変換領域の上方に形成された複数色のカラーフィルタを有するカラーフィルタアレイであって、同じ前記画素ブロック内の前記光電変換領域の上方に形成された前記カラーフィルタは同一色を有しているカラーフィルタアレイと、
を備えることを特徴とする固体撮像装置。
【請求項２】
請求項１記載の固体撮像装置と、
前記撮像面に被写体像を結像させる光学系と、
複数の撮影モードの中から１つの撮影モードを選択する選択手段と、
前記選択手段により選択された撮影モードで予め定められた１以上の組に含まれる前記２種類の画素の一方の画素からの出力信号によって構成される第一の視点画像と、当該２種類の画素の他方の画素からの出力信号によって構成される第二の視点画像とを含む視差画像を生成する画像生成手段と、
を備えることを特徴とするデジタルカメラ。
【請求項３】
前記画素ブロックは２組の前記２種類の画素を有し、前記複数の撮影モードには少なくとも第１撮影モード及び第２撮影モードが含まれており、
前記画像生成手段は、前記選択手段により前記第１撮影モードが選択された状態にて、前記２組の中から前記ずれ量が大きい一方の組の前記２種類の画素からの出力信号により第１視差画像を生成し、前記選択手段により前記第２撮影モードが選択された状態にて、前記２組の中から前記ずれ量が小さい他方の組の前記２種類の画素からの出力信号により第２視差画像を生成することを特徴とする請求項２記載のデジタルカメラ。
【請求項４】
前記複数の撮影モードには、さらに第３撮影モードが含まれており、
前記画像生成手段は、前記選択手段により前記第３撮影モードが選択された状態にて、前記一方の組及び他方の組の各々の前記一方の画素からの出力信号を加算または平均した信号と、前記一方の組及び他方の組の各々の前記他方の画素からの出力信号を加算または平均した信号とに基づき、第３視差画像を生成することを特徴とする請求項３記載のデジタルカメラ。
【請求項５】
前記選択手段により前記第１撮影モードが選択された状態にて、前記一方の組の前記２種類の画素から前記画像生成手段へ出力信号を出力させ、前記第２撮影モードが選択された状態にて、前記他方の組の前記２種類の画素から前記画像生成手段へ出力信号を出力させ、前記第３撮影モードが選択された状態にて、全ての組の前記２種類の画素から前記画像生成手段へ出力信号を出力させる信号出力制御手段、を備えることを特徴とする請求項４記載のデジタルカメラ。
【請求項６】
前記光学系に含まれ、当該光学系の光軸方向に移動自在なズームレンズと、
前記ズームレンズを広角端と望遠端との間で移動させるレンズ移動機構であって、前記ズームレンズのレンズ位置を、前記撮像面に入射する入射光の入射角度が大きくなる前記広角端側の第１領域内と、前記撮像面に入射する入射光の入射角度が小さくなる前記望遠端側の第２領域内とにセットするレンズ移動機構とを備え、
前記選択手段は、前記レンズ位置が前記第１領域内にある状態にて前記第１撮影モードを選択し、前記レンズ位置が前記第２領域内にある状態にて前記第２撮影モードを選択することを特徴とする請求項５記載のデジタルカメラ。
【請求項７】
前記レンズ移動機構は、前記ズームレンズを前記第１領域と前記第２領域との間の第３領域内にセット可能であり、
前記選択手段は、前記レンズ位置が前記第３領域内にある状態にて前記第３撮影モードを選択することを特徴とする請求項６記載のデジタルカメラ。
【請求項８】
全ての組の前記２種類の画素から出力された出力信号を記憶する記憶手段を備え、
前記画像生成手段は、前記選択手段により選択された撮影モードに対応する組に含まれる前記２種類の画素の出力信号を前記記憶手段から取得することを特徴とする請求項４記載のデジタルカメラ。
【請求項９】
前記画素ブロックには、２組の前記２種類の画素が正方行列状に配列されていることを特徴とする請求項３ないし８いずれか１項記載のデジタルカメラ。
【請求項１０】
前記第一の開口部及び第二の開口部は、前記撮像面の上方に設けられた遮光膜に形成されていることを特徴とする請求項２ないし９いずれか１項記載のデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視用の視差画像の撮影が可能な固体撮像装置及びこの固体撮像装置を備えるデジタルカメラに関する。
【背景技術】
【０００２】
ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像装置を備え、デジタル画像を取得するデジタルカメラが普及している。デジタルカメラは、撮影レンズの焦点を自動的に調節する機能を備えている。特に、位相差方式の合焦検出により撮影レンズの焦点を自動調節する位相差オートフォーカス機能（以下、単に位相差ＡＦという）を有するデジタルカメラがよく知られている（特許文献１参照）。
【０００３】
位相差ＡＦ機能を有するデジタルカメラの固体撮像装置は、フォトダイオード（以下、単にＰＤという）に入射する入射光の入射角度に選択性を持たせた２種類の画素（以下、第１位相差画素、第２位相差画素という）の組を複数有している（特許文献２ないし４参照）。第１位相差画素は、ＰＤの受光面の中心位置に対し第１の方向に偏心した第１偏心開口部を通して入射した光を受光する。第２位相差画素は、ＰＤの受光面の中心位置に対し第１の方向とは反対側の第２の方向に偏心した第２偏心開口部を通して入射した光を受光する。例えば、第１位相差画素は右斜め上からの入射光に対して感度が高くなり、第２位相差画素は左斜め上からの入射光に対して感度が高くなる。第１及び第２偏心開口部は、ＰＤが形成された半導体基板上を覆う遮光膜に形成されている。
【０００４】
各第１位相差画素によって構成される画像と各第２位相差画素によって構成される画像とは、撮影レンズの合焦状態に応じて左右方向にシフトする。この２つの画像の間のずれ量は撮影レンズの焦点のずれ量に対応している。２つの画像は、撮影レンズが合焦しているときは一致しているため、ずれ量は零となり、そして焦点がすれるほどそのずれ量も大きくなる。従って、各位相差画素によってそれぞれ構成される各画像のずれの方向及び２つの画像間のずれ量を検知することで、撮影レンズのフォーカス調整量を求めることができる。
【０００５】
近年では、撮像面に第１及び第２位相差画素のみを並べた固体撮像装置が知られている（特許文献５参照）。この固体撮像装置では、各第１位相差画素から出力される出力信号によって構成される視点画像（例えばＲ視点画像）と、各第２位相差画素から出力される出力信号によって構成される視点画像（例えばＬ視点画像）とにより構成される２視点の視差画像を取得することができる。一般に、視差画像を取得するためには、撮影レンズと固体撮像装置とを２組用意し、これらを平行に配置して撮影を行う必要がある。これに対して、上記構成の固体撮像装置では１組の撮影レンズ及び固体撮像装置で良いため、簡便な構成で視差画像を取得することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２５２２７７号公報
【特許文献２】特開２００８−３１２０７３号公報
【特許文献３】特開２００９−１５７１９８号公報
【特許文献４】特開２００９−０１７１５２号公報
【特許文献５】特開２００７−１５８５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、視差画像を立体視したときの立体感は視差画像の視差量によって変わる。ここで、視差量とは視差画像を立体視したときの立体感の指標となる値であり、例えば、Ｌ，Ｒ視点画像の対応点のずれ量などで表される。視差量が大きいほど立体感が強くなり、逆に視差量が小さいほど立体感が弱くなる。１組の撮影レンズ及び固体撮像装置で取得された視差画像の視差量は固定されているが、適切な立体感で立体視可能な視差画像の視差量は個々のユーザによって異なる。このため、視差画像の立体視時にユーザによっては立体感が強調されすぎて目の疲労を感じたり、あるいは逆に立体感が感じられなかったりするという問題が生じる。
【０００８】
本発明の目的は、個々のユーザの好みに応じた立体感で立体視可能な視差画像を取得可能な固体撮像装置及びこの固体撮像装置を備えるデジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の固体撮像装置は、入射光の光電変換を行う光電変換領域を有する２種類の画素の組を複数組備える画素ブロックが配列された撮像面であって、前記２種類の画素の一方の画素は前記光電変換領域の受光面の中心位置に対して第一の方向にずれた位置に設けられた第一の開口部を通して入射した入射光を受光し、前記２種類の画素の他方の画素は前記光電変換領域の受光面の中心位置に対して前記第一の方向とは反対側の第二の方向にずれた位置に設けられた第二の開口部を通して入射した入射光を受光し、前記第一の開口部及び第二の開口部の前記中心位置に対するずれ量が前記２種類の画素の組毎に異なるように形成されている撮像面と、各前記光電変換領域の上方に形成された複数色のカラーフィルタを有するカラーフィルタアレイであって、同じ前記画素ブロック内の前記光電変換領域の上方に形成された前記カラーフィルタは同一色を有しているカラーフィルタアレイと、を備えることを特徴とする。
【００１０】
また、本発明のデジタルカメラは、請求項１記載の固体撮像装置と、前記撮像面に被写体像を結像させる光学系と、複数の撮影モードの中から１つの撮影モードを選択する選択手段と、前記選択手段により選択された撮影モードで予め定められた１以上の組に含まれる前記２種類の画素の一方の画素からの出力信号によって構成される第一の視点画像と、当該２種類の画素の他方の画素からの出力信号によって構成される第二の視点画像とを含む視差画像を生成する画像生成手段と、を備えることを特徴とする。
【００１１】
前記画素ブロックは２組の前記２種類の画素を有し、前記複数の撮影モードには少なくとも第１撮影モード及び第２撮影モードが含まれており、前記画像生成手段は、前記選択手段により前記第１撮影モードが選択された状態にて、前記２組の中から前記ずれ量が大きい一方の組の前記２種類の画素からの出力信号により第１視差画像を生成し、前記選択手段により前記第２撮影モードが選択された状態にて、前記２組の中から前記ずれ量が小さい他方の組の前記２種類の画素からの出力信号により第２視差画像を生成することが好ましい。
【００１２】
前記複数の撮影モードには、さらに第３撮影モードが含まれており、前記画像生成手段は、前記選択手段により前記第３撮影モードが選択された状態にて、前記一方の組及び他方の組の各々の前記一方の画素からの出力信号を加算または平均した信号と、前記一方の組及び他方の組の各々の前記他方の画素からの出力信号を加算または平均した信号とに基づき、第３視差画像を生成することが好ましい。
【００１３】
前記選択手段により前記第１撮影モードが選択された状態にて、前記一方の組の前記２種類の画素から前記画像生成手段へ出力信号を出力させ、前記第２撮影モードが選択された状態にて、前記他方の組の前記２種類の画素から前記画像生成手段へ出力信号を出力させ、前記第３撮影モードが選択された状態にて、全ての組の前記２種類の画素から前記画像生成手段へ出力信号を出力させる信号出力制御手段、を備えることが好ましい。
【００１４】
前記光学系に含まれ、当該光学系の光軸方向に移動自在なズームレンズと、前記ズームレンズを広角端と望遠端との間で移動させるレンズ移動機構であって、前記ズームレンズのレンズ位置を、前記撮像面に入射する入射光の入射角度が大きくなる前記広角端側の第１領域内と、前記撮像面に入射する入射光の入射角度が小さくなる前記望遠端側の第２領域内とにセットするレンズ移動機構とを備え、前記選択手段は、前記レンズ位置が前記第１領域内にある状態にて前記第１撮影モードを選択し、前記レンズ位置が前記第２領域内にある状態にて前記第２撮影モードを選択することが好ましい。
【００１５】
前記レンズ移動機構は、前記ズームレンズを前記第１領域と前記第２領域との間の第３領域内にセット可能であり、前記選択手段は、前記レンズ位置が前記第３領域内にある状態にて前記第３撮影モードを選択することが好ましい。
【００１６】
全ての組の前記２種類の画素から出力された出力信号を記憶する記憶手段を備え、前記画像生成手段は、前記選択手段により選択された撮影モードに対応する組に含まれる前記２種類の画素の出力信号を前記記憶手段から取得することが好ましい。
【００１７】
前記画素ブロックには、２組の前記２種類の画素が正方行列状に配列されていることが好ましい。また、前記第一の開口部及び第二の開口部は、前記撮像面の上方に設けられた遮光膜に形成されていることが好ましい。
【発明の効果】
【００１８】
本発明の固体撮像装置及びデジタルカメラは、画素ブロック内に、第一の開口部及び第二の開口部からそれぞれ入射した入射光を別個に受光する２種類の画素の組を複数組設けて、さらに光電変換領域の受光面の中心位置に対する第一の開口部及び第二の開口部のずれ量が２種類の画素の組毎に異なるようにしたので、各組の２種類の画素からの出力信号に基づき視差量の異なる複数種類の視差画像データを生成することができる。その結果、個々のユーザの好みに応じた立体感で立体視可能な視差画像データが得られる。
【図面の簡単な説明】
【００１９】
【図１】第１実施形態のデジタルカメラの電気的構成を示すブロック図である。
【図２】ＣＭＯＳ型のイメージセンサの平面模式図である。
【図３】図２中のIII−III線に沿った断面図である。
【図４】図２中のIV−IV線に沿った断面図である。
【図５】図２中のV−V線に沿った断面図である。
【図６】図２中のVI−VI線に沿った断面図である
【図７】遮光膜の上面図である。
【図８】ＣＰＵの機能ブロック図である。
【図９】第３撮影モード時におけるＬ，Ｒ視点画像データの生成を説明するための説明図である。
【図１０】第１実施形態のデジタルカメラの撮影処理の流れを示したフローチャートである。
【図１１】第１及び第２マイクロレンズの断面図である。
【図１２】第３及び第４マイクロレンズの断面図である。
【図１３】ズームレンズのレンズ位置に応じて撮影モードの切り替えを行う第２実施形態のデジタルカメラの電気的構成を示すブロック図である。
【図１４】第１撮影モード時のズームレンズのレンズ位置を説明するための説明図である。
【図１５】第２撮影モード時のズームレンズのレンズ位置を説明するための説明図である。
【図１６】第３撮影モード時のズームレンズのレンズ位置を説明するための説明図である。
【図１７】撮影モードに関わらず、イメージセンサの全画素からの出力信号の出力を行う第３実施形態のデジタルカメラの電気的構成を示すブロック図である。
【図１８】第３実施形態のデジタルカメラの撮影処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００２０】
［第１実施形態］
図１に示すように、デジタルカメラ１０のＣＰＵ１１は、シャッタボタンや各種操作ボタンを含む操作部（選択手段）１２からの制御信号に基づき、図示しないメモリから読み出した各種プログラムやデータを逐次実行して、デジタルカメラ１０の各部を統括的に制御する。デジタルカメラ１０は、右視点で撮像されたＲ視点画像データ（第一の視点画像）と左視点で撮像されたＬ視点画像データ（第二の視点画像）とを含む２視点の視差画像データを取得する、いわゆる単眼３Ｄカメラである。
【００２１】
デジタルカメラ１０は、視差量「大」の視差画像データ（以下、第１視差画像データという）を取得する第１撮影モードと、視差量「小」の視差画像データ（以下、第２視差画像データという）を取得する第２撮影モードと、視差量「中」の視差画像データを取得する第３撮影モード（以下、第３視差画像データという）とを有している。各撮影モードの切り替えは操作部１２で行われる。
【００２２】
レンズユニット１３には、本発明の光学系に相当するズームレンズ１４及びフォーカスレンズ１５の他に、メカシャッタ１６などが組み込まれている。ズームレンズ１４は、ズーム機構１７により駆動され、撮影光軸Ｏ１に沿って広角端と望遠端との間で前後移動される。フォーカスレンズ１５は、フォーカス機構１８により駆動され、撮影光軸Ｏ１に沿って前後移動される。
【００２３】
メカシャッタ１６は、イメージセンサ２０への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１６は、可動部を各位置に移動させることによって、各レンズ１４，１５からイメージセンサ２０へと至る光路を開放／遮断する。なお、メカシャッタ１６には、イメージセンサ２０に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１６、ズーム機構１７、及びフォーカス機構１８は、レンズドライバ２１を介してＣＰＵ１１によって動作制御される。
【００２４】
レンズユニット１３の背後にはＣＭＯＳ型のイメージセンサ２０が配置されている。イメージセンサ２０は、各レンズ１４，１５からの被写体光を電気的な信号に変換して出力する。ＣＭＯＳドライバ２３は、ＣＰＵ１１の制御の下でイメージセンサ２０の駆動を制御する。
【００２５】
画像処理回路（画像生成手段）２２は、イメージセンサ２０から入力される信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施してＲ，Ｌ視点画像データを生成する。また、画像処理回路２２は、位相差方式によるレンズユニット１３の焦点検出用のＲ，Ｌ焦点検出用画像データの生成も行う。
【００２６】
ＡＦ検出部２６は、Ｌ，Ｒ焦点検出用画像データに基づき、被写体にレンズユニット１３のピントを合致させるためのフォーカス調整量を求める。
【００２７】
圧縮伸長処理回路２９は、画像処理回路２２で処理されたＲ，Ｌ視点画像データに対して圧縮処理を施して１つの視差画像データにまとめる。また、圧縮伸長処理回路２９は、メディアＩ／Ｆ３０を介してメモリカード３１から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３０は、メモリカード３１に対する画像データの記録及び読み出しなどを行う。
【００２８】
表示部３２はスルー画像や再生画像などを表示する。この表示部３２としては、Ｒ視点画像データ及びＬ視点画像データに基づき立体画像の観察が可能な各種モニタが用いられる。なお、立体画像の表示方式は、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式などの周知の各種方式を用いてよい。
【００２９】
図２に示すように、イメージセンサ２０の撮像面２０ａ上には、正方行列状に画素が配列されている。全画素は、正方行列状に配列された４個の画素で構成される画素ブロック毎に分けられている。各画素ブロック上にはカラーフィルタが設けられている。カラーフィルタの色の種類は緑色、青色、赤色の３種類であるので、各画素ブロックはカラーフィルタを透過する色の入射光を選択的に受光する。このため、イメージセンサ２０には、緑色（Ｇ）の入射光を選択的に受光する画素ブロック３４Ｇと、青色（Ｂ）の入射光を選択的に受光する画素ブロック３４Ｂと、赤色（Ｒ）の入射光を選択的に受光する画素ブロック３４Ｒとが設けられている。
【００３０】
撮像面２０ａ上には、Ｇ・Ｂ画素ブロック行３６と、Ｒ・Ｇ画素ブロック行３７とが列方向に交互に形成されている。Ｇ・Ｂ画素ブロック行３６には、画素ブロック３４Ｇと画素ブロック３４Ｂとが行方向に繰り返し配列されている。Ｒ・Ｇ画素ブロック行３７には、画素ブロック３４Ｒと画素ブロック３４Ｇとが行方向に繰り返し配列されている。
【００３１】
画素ブロック３４Ｇには、図中左上に配置された第１画素Ｇ１Ｒと、図中右上に配置された第２画素Ｇ２Ｌと、図中左下に配置された第３画素Ｇ３Ｒと、図中右下に配置された第４画素Ｇ４Ｌとが設けられている。画素ブロック３４Ｂには、Ｇ画素ブロック３４Ｇと基本的に同じ配列パターンで配列された第１画素Ｂ１Ｒと第２画素Ｂ２Ｌと第３画素Ｂ３Ｒと第４画素Ｂ４Ｌとが設けられている。また、画素ブロック３４Ｒには、Ｇ画素ブロック３４Ｇと基本的に同じ配列パターンで配列された第１画素Ｒ１Ｒと第２画素Ｒ２Ｌと第３画素Ｒ３Ｒと第４画素Ｒ４Ｌとが設けられている。
【００３２】
「第１画素Ｇ１Ｒと第２画素Ｇ２Ｌ」、「第３画素Ｇ３Ｒと第４画素Ｇ４Ｌ」、「第１画素Ｂ１Ｒと第２画素Ｂ２Ｌ」、「第３画素Ｂ３Ｒと第４画素Ｂ４Ｌ」、「第１画素Ｒ１Ｒと第２画素Ｒ２Ｌ」、「第３画素Ｒ３Ｒと第４画素Ｒ４Ｌ」は、それぞれ本発明の２種類の画素に相当するものであり、いわゆる位相差画素（位相差検出用画素または焦点検出用画素ともいう）である。各画素はそれぞれ特定の方向からの入射光に対して感度が高くなる。符号に「Ｒ」が付されている画素は右斜め上からの入射光に対して感度が高くなる。また、符号に「Ｌ」が付されている画素は左斜め上からの入射光に対して感度が高くなる。
【００３３】
「第１画素Ｇ１Ｒと第２画素Ｇ２Ｌ」は「第３画素Ｇ３Ｒと第４画素Ｇ４Ｌ」よりも入射角度の大きい入射光に対して感度が高くなる。同様に、「第１画素Ｂ１Ｒと第２画素Ｂ２Ｌ」は「第３画素Ｂ３Ｒと第４画素Ｂ４Ｌ」よりも入射角度の大きい入射光に対して感度が高くなり、「第１画素Ｒ１Ｒと第２画素Ｒ２Ｌ」は「第３画素Ｒ３Ｒと第４画素Ｒ４Ｌ」よりも入射角度の大きい入射光に対して感度が高くなる。以下、各画素の感度が高くなる入射光の入射角度を「最適入射角度」という。
【００３４】
イメージセンサ２０には、図示は省略するが、個々の画素ごとに画素回路が設けられている。画素回路は、各画素のＰＤにそれぞれ蓄積された信号電荷を増幅して信号電圧として出力する。また、イメージセンサ２０には、図示は省略するが、各画素の画素回路を駆動するための複数の駆動線と、各画素の信号電圧を読み出すための複数の信号線とが設けられている。信号線に読み出された信号電圧は、図示しない出力回路やアンプを経て出力信号として画像処理回路２２に出力される。
【００３５】
図３ないし図６に示すように、ｐ型シリコンで形成された半導体基板４０（Ｐｓｕｂ）の表層には、イメージセンサ２０の各画素をそれぞれ構成するｎ型層のＰＤ４１が形成されている。また、半導体基板４０内には、図示は省略するが、上記の画素回路、駆動線、及び信号線などが設けられている。
【００３６】
半導体基板４０上には、例えば酸化シリコン（ＳｉＯ２）で形成された光透過性の絶縁膜４３が設けられている。絶縁膜４３上には、例えばタングステンで形成された遮光膜４４が設けられている。遮光膜４４には、第１偏心開口（第一の開口部）４６ａと第２偏心開口（第二の開口部）４６ｂと第３偏心開口（第一の開口部）４６ｃと第４偏心開口（第二の開口部）４６ｄとが設けられている。
【００３７】
第１偏心開口４６ａは、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１ＲのＰＤ４１上にそれぞれ形成されている。第２偏心開口４６ｂは、第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２ＬのＰＤ４１上にそれぞれ形成されている。第３偏心開口４６ｃは、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３ＲのＰＤ４１上にそれぞれ形成されている。第４偏心開口４６ｄは、第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４ＬのＰＤ４１上にそれぞれ形成されている。
【００３８】
図７に示すように、第１偏心開口４６ａ及び第３偏心開口４６ｃは、その下方のＰＤ４１の受光面の中心に対して図中左方向にずれた位置に形成されている。以下、ＰＤ４１の受光面の中心に対する「ずれの大きさ」を「ずれ量」という。第１偏心開口４６ａのずれ量は、第３偏心開口４６ｃのずれ量よりも大きくなる。各画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ，Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３ＲのＰＤ４１の略右半分の領域（以下、単に右領域という）は遮光膜４４で覆われ、逆に略左半分の領域（以下、単に左領域という）の一部が露呈する。なお、ここでいう「下方」とは、カラーフィルタから画素ブロックに向かって離間する側をいうものである。
【００３９】
第２偏心開口４６ｂ及び第４偏心開口４６ｄは、その下方のＰＤ４１の受光面の中心に対して図右方向にずれた位置に形成されている。さらに、第２偏心開口４６ｂのずれ量は、第４偏心開口４６ｄのずれ量よりも大きくなる。各画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌ，Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４ＬのＰＤ４１の左領域は遮光膜４４で覆われ、逆に右領域の一部が露呈する。なお、第１偏心開口４６ａ及び第２偏心開口４６ｂのずれ量は同じ大きさであり、第３偏心開口４６ｃのずれ量及び第４偏心開口４６ｂのずれ量も同じ大きさである。
【００４０】
図３ないし図６に戻って、遮光膜４４上には、表面が平坦な光透過性の平坦化層４８が設けられている。平坦化層４８上にはカラーフィルタアレイ５０が設けられている。カラーフィルタアレイ５０は、緑色のカラーフィルタ５０Ｇと、青色のカラーフィルタ５０Ｂと、赤色のカラーフィルタ５０Ｒとで構成されている。
【００４１】
カラーフィルタ５０Ｇは、第１〜第４画素Ｇ１Ｒ，Ｇ２Ｌ，Ｇ３Ｒ，Ｇ４ＬのＰＤ４１上に形成されている。カラーフィルタ５０Ｂは、第１〜第４画素Ｂ１Ｒ，Ｂ２Ｌ，Ｂ３Ｒ，Ｂ４ＬのＰＤ４１上に形成されている。カラーフィルタ５０Ｒは、第１〜第４画素Ｒ１Ｒ，Ｒ２Ｌ，Ｒ３Ｒ，Ｒ４ＬのＰＤ４１上に形成されている。これにより、第１〜第４画素Ｇ１Ｒ，Ｇ２Ｌ，Ｇ３Ｒ，Ｇ４ＬのＰＤ４１には緑色の入射光が入射する。第１〜第４画素Ｂ１Ｒ，Ｂ２Ｌ，Ｂ３Ｒ，Ｂ４ＬのＰＤ４１には青色の入射光が入射する。第１〜第４画素Ｒ１Ｒ，Ｒ２Ｌ，Ｒ３Ｒ，Ｒ４ＬのＰＤ４１には赤色の入射光が入射する。
【００４２】
カラーフィルタアレイ５０上には、各ＰＤ４１の上方位置にそれぞれマイクロレンズ５２が設けられている。なお、図中の符号Ｏ２はマイクロレンズ５２の光軸である。なお、ここでいう「上方」とは、画素ブロックからカラーフィルタに向かって離間する側をいうものである。
【００４３】
第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ（以下、単にＲ−位相差画素Ｇ１Ｒ〜Ｒ３Ｒという）上のマイクロレンズ５２に図中左斜め方向から入射した入射光５４Ｌは、遮光膜４４により遮光される。このため、入射光５４Ｌは、Ｒ−位相差画素Ｇ１Ｒ〜Ｒ３ＲのＰＤ４１の右領域には集光されない。逆にマイクロレンズ５２に図中右斜め方向から入射した入射光５４Ｒは、マイクロレンズ５２により第１偏心開口４６ａ及び第３偏心開口４６ｃを介して、Ｒ−位相差画素Ｇ１Ｒ〜Ｒ３ＲのＰＤ４１の左領域に集光される。これにより、Ｒ−位相差画素Ｇ１Ｒ〜Ｒ３Ｒは入射光５４Ｒに対して感度が高くなる。
【００４４】
この際に、第１偏心開口４６ａは、第３偏心開口４６ｃよりも図中左方向にずれた位置に形成されている。このため、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒへの入射光５４Ｒの最適入射角度α（αは絶対値）は、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒへの入射光５４Ｒの最適入射角度β（βは絶対値）よりも大きくなる。
【００４５】
第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌ（以下、単にＬ−位相差画素Ｇ２Ｌ〜Ｒ４Ｌという）上のマイクロレンズ５２に入射した入射光５４Ｒは、遮光膜４４により遮光される。このため、入射光５４Ｒは、Ｌ−位相差画素Ｇ２Ｌ〜Ｒ４ＬのＰＤ４１の左領域には集光されない。逆にマイクロレンズ５２に入射した入射光５４Ｌは、マイクロレンズ５２により第２偏心開口４６ｂ及び第４偏心開口４６ｄを介して、Ｌ−位相差画素Ｇ２Ｌ〜Ｒ４ＬのＰＤ４１の右領域に集光される。これにより、Ｌ−位相差画素Ｇ２Ｌ〜Ｒ４Ｌは入射光５４Ｌに対して感度が高くなる。
【００４６】
また、第２偏心開口４６ｂのずれ量は第１偏心開口４６ａのずれ量と同じ大きさであり、第４偏心開口４６ｂのずれ量は第３偏心開口４６ｃのずれ量と同じ大きさである。このため、第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌへの入射光５４Ｌの最適入射角度は「α」となり、第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌへの入射光５４Ｌの最適入射角度は「β」となる。
【００４７】
図８に示すように、ＣＰＵ１１は、図示しないＲＯＭから読み出した各種プログラムを逐次実行することで、ＡＦ制御部５６及び信号出力制御部５７として機能する。ＡＦ制御部５６は、ＡＦ検出部２６が求めたフォーカス調整量に基づき、レンズドライバ２１を介しフォーカス機構１８を駆動してＡＦ処理を実行する。
【００４８】
信号出力制御部５７は、ＣＭＯＳドライバ２３を介して、イメージセンサ２０の個々の画素からの出力信号の出力／出力停止を制御する。信号出力制御部５７は、第１撮影モード時には第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌから出力信号を出力させる。信号出力制御部５７は、第２撮影モード時には第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌから出力信号を出力させる。そして、信号出力制御部５７は、第３撮影モード時には全画素から出力信号を出力させる。
【００４９】
画像処理回路２２は、第１撮影モード時には第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒからの出力信号に基づきＲ視点画像データを生成し、第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌからの出力信号に基づきＬ視点画像データを生成する。また、画像処理回路２２は、第２撮影モード時には第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒからの出力信号に基づきＲ視点画像データを生成し、第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌからの出力信号に基づきＬ視点画像データを生成する。最適入射角度α＞最適入射角度βであるので、第１撮影モード時に生成されるＲ，Ｌ視点画像の視差量は、第２撮影モード時に生成されるＲ，Ｌ視点画像の視差量よりも大きくなる。
【００５０】
図９に示すように、画像処理回路２２は、第３撮影モード時には第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒからの出力信号と、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒからの出力信号とを混合または平均した信号に基づきＲ視点画像データを生成する。また、画像処理回路２２は、第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌからの出力信号と、第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌからの出力信号とを混合または平均した信号に基づきＬ視点画像データを生成する。
【００５１】
第３撮影モード時に生成されるＲ，Ｌ視点画像データは、いわゆる画素混合により生成された画像データ、あるいは第１及び第２撮影モード時に取得される画像データを平均化した画像データとなる。このため、第３撮影モード時に生成されるＲ，Ｌ視点画像データの視差量は、第１撮影モード時に生成されるＲ，Ｌ視点画像データの視差量と、第２撮影モード時に生成されるＲ，Ｌ視点画像データの視差量とのほぼ中間の値となる。
【００５２】
なお、各撮影モード時に生成されたＲ視点画像データ（Ｌ視点画像データでも可）は、一定タイミングで表示部３２へ出力される。これにより、表示部３２にスルー画像が表示される。
【００５３】
画像処理回路２２は、各撮影モード時に撮像面２０ａの例えば中央領域に含まれる画素からの出力信号に基づき、Ｒ焦点検出用画像データとＬ焦点検出用画像データとを生成する。具体的に，第１撮影モード時に画像処理回路２２は、中央領域に含まれる第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌからの出力信号に基づき、Ｒ焦点検出用画像データ、Ｌ焦点検出用画像データを生成する。
【００５４】
第２撮影モード時に画像処理回路２２は、中央領域に含まれる第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌからの出力信号に基づき、Ｒ焦点検出用画像データ、Ｌ焦点検出用画像データを生成する。また、第３撮影モード時に画像処理回路２２は、第１撮影モードあるいは第２撮影モード時と同様にして、Ｒ，Ｌ焦点検出用画像データを生成する。なお、Ｒ，Ｌ焦点検出用画像データとして、Ｒ，Ｌ視点画像データを用いてもよい。
【００５５】
次に、図１０を用いて上記構成のデジタルカメラ１０の作用について説明を行う。操作部１２にてデジタルカメラ１０が第１撮影モード、第２撮影モード、第３撮影モードのいずれかに設定されると、ＣＰＵ１１はレンズドライバ２１を介してメカシャッタ１６の動作を制御するとともに、ＣＭＯＳドライバ２３を介してイメージセンサ２０を駆動する。所定のシャッタ速度でメカシャッタ１６が開閉され、イメージセンサ２０の各画素のＰＤ４１に信号電荷が蓄積する。
【００５６】
信号出力制御部５７は、第１撮影モードが設定されている場合に、ＣＭＯＳドライバ２３を介して、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌの画素回路に信号出力指令を発する。これにより、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌの各ＰＤ４１にそれぞれ蓄積された信号電荷が信号電圧として読み出され、各信号電圧はそれぞれ出力信号として画像処理回路２２へ出力される。
【００５７】
画像処理回路２２は、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒからの出力信号に基づきＲ視点画像データを生成するとともに、第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌからの出力信号に基づきＬ視点画像データを生成する。Ｒ視点画像データは一定タイミングで表示部３２へ出力される。これにより、表示部３２にスルー画像が表示される。
【００５８】
また、画像処理回路２２は、撮像面２０ａの中央領域に含まれる第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌからの出力信号に基づき、Ｒ焦点検出用画像データ、Ｌ焦点検出用画像データを生成する。Ｒ焦点検出用画像とＬ焦点検出用画像とは、レンズユニット１３の合焦状態に応じて左右方向にシフトする。Ｒ，Ｌ焦点検出用画像データはＡＦ検出部２６に出力される。
【００５９】
ＡＦ検出部２６は、Ｒ，Ｌ焦点検出用画像データを解析して、Ｒ焦点検出用画像とＬ焦点検出用画像とのずれ方向及び両画像間のずれ量を検知することでレンズユニット１３のフォーカス調整量（デフォーカス量ともいう）を求める。このフォーカス調整量に基づき、ＡＦ制御部５６はレンズドライバ２１を制御して、フォーカス機構１８によりフォーカスレンズ１５を駆動することで焦点調節を行う。なお、このような位相差ＡＦ処理については、例えば特許第２９５９１４２号、特開２００９−１２８８９２号、特開２００７−１５８５９７号などに詳細に説明されているので、ここでは説明を省略する。以下、操作部１２で撮影指示がなされるまで、上述の処理が繰り返し実行される。
【００６０】
操作部１２で撮影指示がなされると、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌから１フレーム分の出力信号が画像処理回路２２へ出力され、画像処理回路２２にてＲ，Ｌ視点画像データが生成される。Ｒ，Ｌ視点画像データは、圧縮伸張処理回路２９にて１つの第１視差画像データに圧縮された後、メディアＩ／Ｆ３０を経由してメモリカード３１に記録される。
【００６１】
第１視差画像データは、最適入射角度が大きく形成された第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌからの出力信号に基づき生成される。従って、第１〜第３視差画像データの中で第１視差画像データの視差量が最も大きくなる。このため、ユーザが表示部３２等で第１視差画像データに基づくＲ，Ｌ視点画像を立体視した状態にて、立体感が強調された立体画像を観察することができる。
【００６２】
操作部１２にて撮影モードが第２撮影モードに設定されると、信号出力制御部５７は、ＣＭＯＳドライバ２３を介して、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌの画素回路に信号出力指令を発する。これにより、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌからの出力信号が画像処理回路２２へ出力される。
【００６３】
画像処理回路２２は、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌからの出力信号に基づきＲ視点画像データ、Ｌ視点画像データを生成する。また、画像処理回路２２は、撮像面２０ａの中央領域に含まれる第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌからの出力信号に基づき、Ｒ焦点検出用画像データ、Ｌ焦点検出用画像データをそれぞれ生成してＡＦ検出部２６に送る。これにより、位相差ＡＦ処理が実行される。
【００６４】
操作部１２で撮影指示がなされると、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌから１フレーム分の出力信号が画像処理回路２２へ出力され、画像処理回路２２にてＲ，Ｌ視点画像データが生成される。Ｒ，Ｌ視点画像データは、第１撮影モード時と同様に１つの第２視差画像データに圧縮された後にメモリカード３１に記録される。
【００６５】
第２視差画像データは、最適入射角度が小さく形成された第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌからの出力信号に基づき生成される。従って、第１〜第３視差画像データの中で第２視差画像データの視差量が最も小さくなる。このため、ユーザが表示部３２等で第２視差画像データに基づくＲ，Ｌ視点画像を立体視した状態にて、立体感が弱い立体画像が観察される。この場合には目の疲労が抑えられる。
【００６６】
操作部１２にて撮影モードが第３撮影モードに設定されると、信号出力制御部５７は、ＣＭＯＳドライバ２３を介して、イメージセンサ２０の全画素の画素回路に信号出力指令を発する。これにより、全画素からの出力信号が画像処理回路２２へ送られる。
【００６７】
画像処理回路２２は、図９に示したように各画素からの出力信号を混合または平均した信号に基づき、Ｒ視点画像データ及びＬ視点画像データをそれぞれ生成する。また、画像処理回路２２は、第１撮影モード時または第２撮影モード時と同様にして、Ｒ，Ｌ焦点検出用画像データを生成してＡＦ検出部２６へ送る。これにより、位相差ＡＦ処理が実行される。
【００６８】
操作部１２で撮影指示がなされると、イメージセンサ２０の全画素から１フレーム分の出力信号が画像処理回路２２へ出力され、画像処理回路２２にてＲ，Ｌ視点画像データが生成される。Ｒ，Ｌ視点画像データは、第１撮影モード時と同様に１つの第３視差画像データに圧縮された後にメモリカード３１に記録される。
【００６９】
第３視差画像データは、第１及び第３画素からの出力信号と、第２及び第４画素からの出力信号とを混合または平均した信号に基づき生成される。従って、第１〜第３視差画像データの中で第３視差画像データの視差量の大きさは中となる。このため、ユーザが表示部３２等で第３視差画像データに基づくＲ，Ｌ視点画像を立体視した状態にて、第１撮影モード時よりは立体感が弱いが第２撮影モード時よりは立体感が強調された立体画像が観察される。
【００７０】
以下同様に、第１撮影モードが選択された状態にて視差量「大」の第１視差画像データが生成・記録され、第２撮影モードが選択された状態にて視差量「小」の第２視差画像データが生成・記録され、さらに第３撮影モードが選択された状態にて視差量「中」の第３視差画像データが生成・記録される。これにより、個々のユーザの好みに応じた立体感で立体視可能な視差画像データが得られる。
【００７１】
上記第１実施形態では、遮光膜４４に第１〜第４偏心開口４６ａ〜４６ｄを形成することで、Ｒ−位相差画素Ｇ１Ｒ〜Ｒ３Ｒが入射光５４Ｒに対して感度が高くなり、かつＬ−位相差画素Ｇ２Ｌ〜Ｒ４Ｌが入射光５４Ｌに対して感度が高くなる。このように遮光膜４４に第１〜第４偏心開口４６ａ〜４６ｄを形成する代わりに、マイクロレンズの形状・配置を変えてもよい（第２及び第３実施形態も同様）。
【００７２】
例えば、図１１及び図１２に示すイメージセンサ６０では、平坦化層４８上に第１マイクロレンズ６２ａと第２マイクロレンズ６２ｂと第３マイクロレンズ６２ｃと第４マイクロレンズ６２ｄとが設けられている。
【００７３】
第１マイクロレンズ６２ａは、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１ＲのＰＤ４１上に形成されている。第２マイクロレンズ６２ｂは、第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２ＬのＰＤ４１上に形成されている。第３マイクロレンズ６２ｃは、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３ＲのＰＤ４１上に形成されている。第４マイクロレンズ６２ｄは、第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４ＬのＰＤ４１上に形成されている。
【００７４】
第１及び第３マイクロレンズ６２ａ，６２ｃは、その下方のＰＤ４１の中心に対して図中右方向にずれた位置に形成されている。さらに、第１マイクロレンズ６２ａのずれ量は、第３マイクロレンズ６２ｃのずれ量よりも大きくなる。
【００７５】
第１及び第３マイクロレンズ６２ａ，６２ｃは、その下方のＰＤ４１に対して入射光５４Ｒを集光させる。この際に、第１マイクロレンズ６２ａの方が第３マイクロレンズ６２ｃよりも入射角度の大きい入射光５４ＲをＰＤ４１に集光させることができる。このため、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒへの入射光５４Ｒの最適入射角度αは、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒへの入射光５４Ｒの最適入射角度βよりも大きくなる。
【００７６】
第２及び第４マイクロレンズ６２ｂ，６２ｄは、その下方のＰＤ４１の中心に対して図中左方向にずれた位置に形成されている。さらに、第２マイクロレンズ６２ｂのずれ量は、第４マイクロレンズ６２ｄのずれ量よりも大きくなる。なお、第２マイクロレンズ６２ｂのずれ量は第１マイクロレンズ６２ａのずれ量と同じ大きさであり、第４マイクロレンズ６２ｄのずれ量は第３マイクロレンズ６２ｃのずれ量と同じ大きさである。
【００７７】
第２及び第４マイクロレンズ６２ｂ，６２ｄは、その下方のＰＤ４１に対して入射光５４Ｌを集光させる。さらに、第２マイクロレンズ６２ｂの方が第４マイクロレンズ６２ｄよりも入射角度の大きい入射光５４ＬをＰＤ４１に集光させることができる。このため、第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌへの入射光５４Ｌの最適入射角度αは、第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌへの入射光５４Ｌの最適入射角度βよりも大きくなる。
【００７８】
［第２実施形態］
次に、図１３を用いて本発明の第２実施形態のデジタルカメラ６５について説明を行う。上記第１実施形態では、操作部１２により第１〜第３撮影モードの切り替えが行われるが、デジタルカメラ６５ではズームレンズ１４のレンズ位置に応じて各撮影モードの切り替えが行われる。
【００７９】
デジタルカメラ６５は、ＣＰＵ１１がモード切替制御部（選択手段）６６として機能する点を除けば、第１実施形態のデジタルカメラ１０と基本的には同じ構成であり、上記第１実施形態と機能・構成上同一のものについては同一符号を付してその説明は省略する。
【００８０】
モード切替制御部６６は、ズームレンズ１４のレンズ位置（以下、単にレンズ位置という）に応じてデジタルカメラ６５の撮影モードを切り替える。モード切替制御部６６は、ズームレンズ１４が移動可能な広角端Ｗと望遠端Ｔとの間を３つの領域（図１４〜図１６参照）に分けて、レンズ位置がいずれの領域内にあるのかに応じて撮影モードの切り替えを行う。
【００８１】
図１４に示すように、モード切替制御部６６は、レンズ位置が広角端Ｗ側の第１領域Ａ１内にある状態にて、撮影モードを第１撮影モードに切り替える。一般にレンズ位置が広角端Ｗ側にあるときは、ズームレンズ１４を透過して撮像面２０ａに入射する入射光５４Ｒ，５４Ｌの入射角度θ１が大きくなる。
【００８２】
このような場合は、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌに入射する入射光５４Ｒ，５４Ｌの光量が増加し、逆に第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌに入射する入射光５４Ｒ，５４Ｌの光量が減少する。このため、レンズ位置が第１領域Ａ１内にあるときは、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌからの出力信号に基づき、良好な第１視差画像データを取得することができる。また、逆に第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌからの出力信号によって良好な視差画像データを生成することはできない。従って、レンズ位置が第１領域Ａ１内にあるときは第１撮影モードが設定される。
【００８３】
図１５に示すように、モード切替制御部６６は、レンズ位置が望遠端Ｔ側の第２領域Ａ２内にある状態にて、撮影モードを第２撮影モードに切り替える。一般にレンズ位置が望遠端Ｔ側にあるときは、ズームレンズ１４を透過して撮像面２０ａに入射する入射光５４Ｒ，５４Ｌの入射角度θ２は小さくなる。
【００８４】
このような場合は、第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌに入射する入射光５４Ｒ，５４Ｌの光量が減少し、逆に第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌに入射する入射光５４Ｒ，５４Ｌの光量が増加する。このため、レンズ位置が第２領域Ａ２内にあるときは、第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌからの出力信号に基づき、良好な第２視差画像データを取得することができる。また、逆に第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌからの出力信号によって良好な視差画像データを生成することはできない。従って、レンズ位置が第２領域Ａ２内にあるときは第２撮影モードが設定される。
【００８５】
図１６に示すように、モード切替制御部６６は、レンズ位置が第１領域Ａ１と第２領域Ａ２との間の第３領域Ａ３内にある状態にて、撮影モードを第３撮影モードに切り替える。レンズ位置が広角端Ｗと望遠端Ｔとのほぼ中間にあるときは、ズームレンズ１４を透過して撮像面２０ａに入射する入射光５４Ｒ，５４Ｌの入射角度θ３が、θ１＞θ３＞θ２となる。
【００８６】
このような場合には、各第１〜第４画素に入射する入射光５４Ｒ，５４Ｌの光量に大きな差は生じない。このため、レンズ位置が第３領域Ａ３内にあるときは、全画素からの出力信号に基づき、良好な第３視差画像データを取得することができる。従って、レンズ位置が第３領域Ａ３内にあるときは第３撮影モードが設定される。
【００８７】
このようにデジタルカメラ６５では、レンズ位置に応じて撮影モードを切り替えることにより、常に良好な視差画像データを取得することができる。
【００８８】
［第３実施形態］
次に、図１７を用いて本発明の第３実施形態のデジタルカメラ７０について説明を行う。上記第１実施形態では、撮影モードに応じてイメージセンサ２０の個々の画素からの出力信号の出力／出力停止を切り替えているが、デジタルカメラ７０では撮影モードの種類に関わらず、イメージセンサ２０の全画素からの出力信号の出力を行う。
【００８９】
デジタルカメラ７０は、画像処理回路２２にメモリ７１が設けられ、かつＣＰＵ１１が信号出力制御部５７の代わりに画像生成制御部７２として機能する点を除けば、第１実施形態のデジタルカメラ１０と基本的には同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては同一符号を付してその説明は省略する。
【００９０】
メモリ７１には、操作部１２にて撮影指示がなされた状態にてイメージセンサ２０の全画素から出力された１フレーム分の出力信号が一時的に記憶される。
【００９１】
画像生成制御部７２は、撮影モードの種類に応じて画像処理回路２２によるＲ，Ｌ視点画像データの生成を制御する。画像生成制御部７２は、第１撮影モードには画像処理回路２２を制御して、メモリ７１からの第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌの出力信号の読み出しと、Ｒ，Ｌ視点画像データの生成を実行させる。
【００９２】
また、画像生成制御部７２は、第２撮影モードには画像処理回路２２を制御して、メモリ７１からの第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌの出力信号の読み出しと、Ｒ，Ｌ視点画像データの生成を実行させる。そして、画像生成制御部７２は、第３撮影モードには画像処理回路２２を制御して、メモリ７１から全画素の出力信号の読み出しと、Ｒ，Ｌ視点画像データの生成を実行させる。
【００９３】
図１８を用いて上記構成のデジタルカメラ７０の作用について説明を行う。操作部１２にてデジタルカメラ７０が第１〜第３撮影モードのいずれかに設定されると、イメージセンサ２０の全画素からの出力信号が画像処理回路２２へ出力される。そして、上記第１実施形態の例えば第３撮影モード時と同様に、位相差ＡＦ処理が実行される。
【００９４】
操作部１２で撮影指示がなされると、イメージセンサ２０の全画素から１フレーム分の出力信号が画像処理回路２２へ出力されてメモリ７１に格納される。ＣＰＵ１１の画像生成制御部７２は、第１撮影モード時には画像処理回路２２に対して第１視差画像生成指令を発する。この指令を受けた画像処理回路２２は、メモリ７１から第１画素Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ及び第２画素Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌの出力信号を読み出して、Ｒ，Ｌ視点画像データを生成する。
【００９５】
また、画像生成制御部７２は、第２撮影モード時には画像処理回路２２に対して第２視差画像生成指令を発する。この指令を受けた画像処理回路２２は、メモリ７１から第３画素Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ及び第４画素Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌの出力信号を読み出して、Ｒ，Ｌ視点画像データを生成する。
【００９６】
さらに、画像生成制御部７２は、第３撮影モード時には画像処理回路２２に対して第３視差画像生成指令を発する。この指令を受けた画像処理回路２２は、メモリ７１から全画素の出力信号を読み出して、Ｒ，Ｌ視点画像データを生成する。
【００９７】
以下、第１実施形態と同様にして、第１〜第３撮影モード時にはそれぞれ第１視差画像データ、第２視差画像データ、第３視差画像データ生成される。撮影モードを選択することで、ユーザは好みの立体感で立体視可能な視差画像データを取得することができるので、第１実施形態で説明した効果と同様の効果が得られる。
【００９８】
上記各実施形態では、カラーフィルタアレイ５０，９２が緑色、青色、赤色のカラーフィルタを有しているが、カラーフィルタの色は特に限定されず、例えば黄色、マゼンタ色、シアン色のカラーフィルタを有していてもよい。また、カラーフィルタアレイ５０，７１５０，９２が４色以上のカラーフィルタで構成されていてもよい。この場合に、第４及び第５実施形態では、各色の位相差画素の最適入射角度が異なるように形成すればよい。
【００９９】
上記第１〜第３実施形態では、各画素ブロック３４Ｇ，３４Ｂ，３４Ｂに２組の位相差画素が設けられているが、３組以上の位相差画素が設けられていてもよい。また、上記各実施形態では、各画素ブロックが右斜め上からの入射光に対して感度が高くなる画素と、左斜め上からの入射光に対して感度が高くなる画素とで構成される２種類の画素の組を複数組有している。この際に各画素ブロックが、上記２種類の画素以外に、例えば通常画素や、右・左斜め上とは異なる方向からの入射光に対して感度が高くなる位相差画素を含む３種類以上の画素の組を複数組有していてもよい。
【０１００】
上記各実施形態では、ＣＭＯＳ型のイメージセンサについて説明したが、ＣＣＤ型のイメージセンサに対しても本発明を適用することができる。
【符号の説明】
【０１０１】
１０，６５，７０  デジタルカメラ
１４  ズームレンズ
１５  フォーカスレンズ
２０，６０  イメージセンサ
２２  画像処理回路
２６  ＡＦ検出部
３４Ｇ、３４Ｂ，３４Ｒ  画素ブロック
３４Ｇ１，３４Ｂ１，３４Ｒ１  第１画素ブロック
３４Ｇ２，３４Ｂ２，３４Ｂ２  第２画素ブロック
４１  ＰＤ
４４  遮光膜
４６ａ，４６ｂ，４６ｃ，４６ｄ  第１，第２，第３，第４偏心開口
５０、７１  カラーフィルタアレイ
５０Ｇ，５０Ｂ，５０Ｒ  カラーフィルタ
５６  ＡＦ制御部
５７  信号出力制御部
６２ａ，６２ｂ，６２ｃ，６２ｄ  第１，第２，第３，第４マイクロレンズ
６６  モード切替制御部
７２  画像生成制御部
Ｇ１Ｒ，Ｂ１Ｒ，Ｒ１Ｒ  第１画素
Ｇ２Ｌ，Ｂ２Ｌ，Ｒ２Ｌ  第２画素
Ｇ３Ｒ，Ｂ３Ｒ，Ｒ３Ｒ  第３画素
Ｇ４Ｌ，Ｂ４Ｌ，Ｒ４Ｌ  第４画素
【図１】
2014232899.tif 000003
【図２】
2014232899.tif 000004
【図３】
2014232899.tif 000005
【図４】
2014232899.tif 000006
【図５】
2014232899.tif 000007
【図６】
2014232899.tif 000008
【図７】
2014232899.tif 000009
【図８】
2014232899.tif 000010
【図９】
2014232899.tif 000011
【図１０】
2014232899.tif 000012
【図１１】
2014232899.tif 000013
【図１２】
2014232899.tif 000014
【図１３】
2014232899.tif 000015
【図１４】
2014232899.tif 000016
【図１５】
2014232899.tif 000017
【図１６】
2014232899.tif 000018
【図１７】
2014232899.tif 000019
【図１８】
2014232899.tif 000020