(57)【特許請求の範囲】
【請求項１】
単一の撮影光学系、および、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子を備え、前記第１の画素群および前記第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、前記第１の画素群および前記第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像装置であって、
前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段と、
前記撮像素子に入射する光束が通過する光路中に配置された絞りと、
被写体輝度を取得する被写体輝度取得手段と、
前記立体撮影時には、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、前記絞りの絞り値を前記立体撮影時の絞り値よりも大きくする制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記第１の画素群と前記第２の画素群は２次元に配列されている受光素子からなり、
前記撮像素子には前記第１の画素群の各画素と前記第２の画素群の各画素とが互いに隣接して配置されていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮影光学系を通過した光束を分割する光学部材を備え、
前記撮像素子は、前記光学部材により瞳分割された光束をそれぞれ受光する前記第１の画素群を有した第１の撮像素子と前記第２の画素群を有した第２の撮像素子とによって構成されていることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段は、前記立体撮影時には、前記絞りを開放状態に設定し、前記平面撮影時には、前記絞りを前記開放状態よりも絞ることを特徴とする請求項１から３のうちいずれか１項に記載の撮像装置。
【請求項５】
前記減光手段は、前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタであり、
前記制御手段は、前記立体撮影時には、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光フィルタを前記光路中に挿入した挿入状態にするか否かを制御することを特徴とする請求項１から４のうちいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記立体撮影時に、前記被写体輝度が閾値よりも大きい場合には、前記減光フィルタを挿入状態にし、前記被写体輝度が閾値以下の場合には、前記減光フィルタを非挿入状態にすることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記減光手段は、前記絞りの開口の一部を遮蔽する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記撮像素子の水平方向及び垂直方向の少なくとも一方に均等に二分割するように前記絞りの開口の一部を遮蔽する遮蔽部であり、
前記制御手段は、前記遮蔽部を制御し、前記立体撮影時には、前記遮蔽部により前記絞りの開口の少なくとも一部を遮蔽した遮蔽状態に設定し、前記平面撮影時には、前記遮蔽部により前記絞りの開口を遮蔽しない非遮蔽状態に設定することを特徴とする請求項１から４のうちいずれか１項に記載の撮像装置。
【請求項８】
前記制御手段は、前記立体撮影時に、前記遮蔽部により遮蔽される前記絞りの開口の遮蔽領域の大きさを、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて変更することを特徴とする請求項７に記載の撮像装置。
【請求項９】
単一の撮影光学系、および、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子を備え、前記第１の画素群および前記第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、前記第１の画素群および前記第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像装置であって、
前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段と、
前記撮像素子に入射する光束が通過する光路中に配置された絞りと、
被写体輝度を取得する被写体輝度取得手段と、
被写体距離を取得する被写体距離取得手段と、
前記立体撮影時には、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、前記被写体距離取得手段により取得された前記被写体距離が閾値よりも大きい場合には、前記絞りを開放状態にし、前記被写体距離が閾値以下の場合には、前記絞りの絞り値を前記立体撮影時の絞り値よりも大きくする制御手段と、
を備えたことを特徴とする撮像装置。
【請求項１０】
単一の撮影光学系、および、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子を備え、前記第１の画素群および前記第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、前記第１の画素群および前記第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像装置であって、
前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段と、
前記撮像素子に入射する光束が通過する光路中に配置された絞りと、
被写体輝度を取得する被写体輝度取得手段と、
前記撮影光学系の焦点距離を取得する焦点距離取得手段と、
前記立体撮影時には、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、前記焦点距離取得手段により取得された前記焦点距離が閾値以下の場合には、前記絞りを開放状態にし、前記焦点距離が閾値より大きい場合には、前記絞りの絞り値を前記立体撮影時の絞り値よりも大きくする制御手段と、
を備えたことを特徴とする撮像装置。
【請求項１１】
単一の撮影光学系、および、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子を備え、前記第１の画素群および前記第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、前記第１の画素群および前記第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像装置であって、
前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段と、
前記撮像素子に入射する光束が通過する光路中に配置された絞りと、
被写体輝度を取得する被写体輝度取得手段と、
前記撮像素子により得られた立体視画像を構成する前記第１の画像と前記第２の画像との視差量を算出するとともに、前記立体視画像における近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得する視差情報取得手段と、
前記立体撮影時には、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、前記視差情報取得手段により取得された前記視差範囲が閾値よりも小さい場合には、前記絞りを開放状態にし、前記取得された視差範囲が閾値以上である場合には、前記絞りの絞り値を立体撮影時の絞り値よりも大きくする制御手段と、
を備えたことを特徴とする撮像装置。
【請求項１２】
撮影指示の入力を受け付ける指示入力手段を備え、
前記視差情報取得手段は、前記指示入力手段に撮影指示が入力される前に前記撮像素子により撮像された立体視画像から前記視差範囲を算出することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記制御手段は、前記撮影指示が入力される前の撮像時に、前記絞りを開放状態にすることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記制御手段は、前記平面撮影時に、前記絞りを開放状態にした場合には、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光手段により減光するか否かを切り替えることを特徴とする請求項９ないし１３のうちいずれか１項に記載の撮像装置。
【請求項１５】
前記平面撮影時には、前記第１の画像および前記第２の画像を合成して前記第１の画像および前記第２の画像よりも高解像度の一枚の高解像度平面画像を取得することを特徴とする請求項１から１４のうちいずれか１項に記載の撮像装置。
【請求項１６】
前記平面撮影時には、前記第１の画像と前記第２の画像とで互いに隣接する画素の撮像信号を加算して前記第１の画像および前記第２の画像と同じ解像度の一枚の平面画像を取得することを特徴とする請求項１から１４のうちいずれか１項に記載の撮像装置。
【請求項１７】
前記撮像素子は、前記第１の画素群および第２の画素群がそれぞれ平面視において第１の方向とこれに直交する第２の方向に二次元状に配列され、前記第１及び第２の方向のうち少なくとも一方の方向から見たときに、前記第１の画素群の画素とこれに離間して対応する前記第２の画素群の画素とで、受光領域の一部が重なって見えるようにオーバーラップして配置されていることを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
単一の撮影光学系、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子、前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段、および、前記撮像素子に入射する光束が通過する光路中に配置された絞りを用い、前記第１の画素群および前記第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、前記第１の画素群および前記第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像方法であって、
被写体輝度を取得し、前記立体撮影時には、取得した前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、前記絞りの絞り値を前記立体撮影時の絞り値よりも大きくすることを特徴とする撮像方法。
【請求項１９】
前記立体撮影時には、前記絞りを開放状態に設定し、前記平面撮影時には、前記絞りを前記開放状態よりも絞ることを特徴とする請求項１８に記載の撮像方法。
【請求項２０】
前記減光手段は、前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタであり、
前記立体撮影時には、前記取得された被写体輝度に基づいて、前記減光フィルタを前記光路中に挿入した挿入状態にするか否かを制御することを特徴とする請求項１８または１９に記載の撮像方法。
【請求項２１】
前記立体撮影時に、前記被写体輝度が閾値よりも大きい場合には、前記減光フィルタを挿入状態にし、前記被写体輝度が閾値以下の場合には、前記減光フィルタを非挿入状態にすることを特徴とする請求項２０に記載の撮像方法。
【請求項２２】
前記減光手段は、前記絞りの開口の一部を遮蔽する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記撮像素子の水平方向及び垂直方向の少なくとも一方に均等に二分割するように前記絞りの開口の一部を遮蔽する遮蔽部からなり、
前記立体撮影時には、前記遮蔽部により前記絞りの開口の少なくとも一部を遮蔽した遮蔽状態に設定し、前記平面撮影時には、前記遮蔽部により前記絞りの開口を遮蔽しない非遮蔽状態に設定することを特徴とする請求項１８または１９に記載の撮像方法。
【請求項２３】
前記立体撮影時に、前記遮蔽部により遮蔽される前記絞りの開口の遮蔽領域の大きさを、前記取得された前記被写体輝度に基づいて変更することを特徴とする請求項２２に記載の撮像方法。
【請求項２４】
単一の撮影光学系、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子、前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段、および、前記撮像素子に入射する光束が通過する光路中に配置された絞りを用い、前記第１の画素群および前記第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、前記第１の画素群および前記第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像方法であって、
被写体輝度を取得し、前記立体撮影時には、取得した前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、被写体距離を取得し、前記被写体距離が閾値よりも大きい場合には、前記絞りを開放状態にし、前記被写体距離が閾値以下の場合には、前記絞りの絞り値を前記立体撮影時の絞り値よりも大きくすることを特徴とする撮像方法。
【請求項２５】
単一の撮影光学系、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子、前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段、および、前記撮像素子に入射する光束が通過する光路中に配置された絞りを用い、前記第１の画素群および前記第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、前記第１の画素群および前記第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像方法であって、
被写体輝度を取得し、前記立体撮影時には、取得した前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、前記撮影光学系の焦点距離を取得し、前記取得された焦点距離が閾値よりも小さい場合には、前記絞りを開放状態にし、前記取得された焦点距離が閾値以上の場合には、前記絞りの絞り値を前記立体撮影時の絞り値よりも大きくすることを特徴とする撮像方法。
【請求項２６】
単一の撮影光学系、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子、前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段、および、前記撮像素子に入射する光束が通過する光路中に配置された絞りを用い、前記第１の画素群および前記第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、前記第１の画素群および前記第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像方法であって、
被写体輝度を取得し、前記立体撮影時には、取得した前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、前記撮像素子により得られた立体視画像を構成する前記第１の画像と前記第２の画像との視差量を算出するとともに、近側の視差量の最大値と遠側の視差量の最大値との範囲を示す視差範囲を取得し、前記取得された視差範囲が閾値よりも小さい場合には、前記絞りを開放状態にし、前記取得された視差範囲が閾値以上の場合には、前記絞りの絞り値を前記立体撮影時の絞り値よりも大きくすることを特徴とする撮像方法。
【請求項２７】
前記平面撮影時に、前記絞りを開放状態にした場合には、前記取得された被写体輝度に基づいて、前記減光手段により減光するか否かを切り替えることを特徴とする請求項１８から２６のうちいずれか１項に記載の撮像方法。   
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置が知られている。【０００３】
特許文献１には、単一の撮影光学系を備え、絞りを回転させることで瞳分割を行なって、立体視画像を生成する構成が開示されている。【０００４】
特許文献２には、偏光素子を設け、光路別に撮像素子に受光させることで、単一の撮影光学系で位相情報を得る構成が開示されている。【０００５】
特許文献３には、単一の撮影光学系と、その単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１画素群および第２画素群を配列した撮像素子とを備え、第１画素群により得られた平面画像および第２画素群により得られた平面画像からなる立体視画像を生成する撮像装置が開示されている。【０００６】
特許文献４には、特許文献３に記載の撮像装置において、第１画素の出力と第２画素の出力とを加算することが記載されている。【０００７】
特許文献５には、複数の撮影光学系を備えた複眼撮像装置において、２Ｄ動画、３Ｄ動画それぞれの撮影用に設定された周期で露出制御を行う構成が開示されている。３Ｄ動画撮影では、深度を変えないため、メカ絞りをできるだけ動かさない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００９−５２７００７号公報
【特許文献２】特開２００９−１６８９９５号公報
【特許文献３】特開平１０−４２３１４号公報
【特許文献４】特開２００８−２９９１８４号公報
【特許文献５】特開２００８−１８７３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置（以下「単眼３Ｄ撮像装置」という）では、複数視点の平面画像から一枚の高解像度画像を生成しようとすると、高解像度平面画像のうちで非合焦部分に段差状のパターンが発生してしまう。このような段差状のパターンの発生のしくみについて、以下説明する。【００１０】
まず、図３３Ａを用いて、瞳分割をしない単眼撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明しておく。撮像素子１６に結像された３つの像９１ａ、９２ａ、９３ａのうち、撮像素子１６で焦点が合うのは、合焦面Ｄ上にある被写体９２の像９２ａだけである。被写体９１の撮影レンズ１２からの距離は合焦面Ｄよりも遠く、その合焦像９１ｄは撮像素子１６よりも撮影レンズ１２に近いところに形成されるので、被写体９１の像９１ａは焦点が合わずにぼやけた像、すなわちボケた像となる。また、被写体９３の撮影レンズ１２からの距離は合焦面Ｄよりも近く、その合焦像９３ｄは撮像素子１６よりも撮影レンズ１２から遠いところに形成されるので、被写体９３の像９３ａも焦点が合わずにボケた像となる。【００１１】
次に、瞳分割の単眼３Ｄ撮像装置により３つの被写体９１、９２、９３を撮像した場合について、説明する。本例の単眼３Ｄ撮像装置では、図３３Ｂに示すように撮影レンズ１２の瞳をシャッタ９５によって上方のみに制限した状態と、図３３Ｃに示すように撮影レンズ１２の瞳をシャッタ９５によって下方のみに制限した状態とがある。このような単眼３Ｄ撮像装置における撮像素子１６上の像のボケ量（像の焦点が合っていない量）および位置は、図３３Ａに示した単眼撮像装置と異なる。即ち、図３３Ｂに示した状態では、図３４Ｂに示すように、被写体９１の像９１ｂは、瞳分割なしの場合（図３４Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の下側に移動する。また、被写体９３の像９３ｂは、ボケ量が小さくなり且つ位置が図中の上側に移動する。図３３Ｃに示した状態では、図３４Ｃに示すように、被写体９１の像９１ｃは、瞳分割なしの場合（図３４Ａ）の被写体９１の像９１ａと比較して、ボケ量が小さくなり且つ位置が図中の上側に移動する。また、被写体９３の像９３ｃは、ボケ量が小さくなり且つ位置が図中の下側に移動する。【００１２】
このような単眼３Ｄ撮像装置において、高解像度平面画像を生成するために、図３４Ｂに示した画像と図３４Ｃに示した画像とを合成すると、像９１ｂと像９１ｃ、像９３ｂと像９３ｃとで、結像位置がズレていることに因り、段差状のパターンが発生してしまう。即ち、高解像度平面画像の撮影の際、同一被写体からの光束が撮影レンズ１２の異なる瞳位置を通過することで、同一被写体の像が撮像素子１６の異なる位置に結像し、視差に起因した段差状のパターンが発生するという問題がある。このようなパターンの発生を本明細書では偽解像の発生という。【００１３】
特許文献１〜５には、視差に起因した偽解像を解消することができる構成について、開示がない。【００１４】
なお、特許文献４に記載の構成では、単純に近傍画素同士で画素加算を行なうだけなので、合焦した主要被写体の解像度が画素加算により低下してしまうという問題がある。例えば、２画素混合の場合には、解像度が１／２に低下してしまうことになる。【００１５】
また、特許文献５に記載の構成では、複眼方式であるため、小絞りにしても偽解像は発生せず、また、絞りを切り替えないことに主眼が置かれている。【００１６】
本発明はこのような事情に鑑みてなされたもので、立体視画像における視差を維持しつつ、平面画像の品質を向上させることができる撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
前記目的を達成するために、本発明は、単一の撮影光学系、および、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子を備え、第１の画素群および第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、第１の画素群および第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像装置であって、撮影光学系から撮像素子に入射する光量を減らすことが可能な減光手段と、撮像素子に入射する光束が通過する光路中に配置された絞りと、被写体輝度を取得する被写体輝度取得手段と、立体撮影時には、被写体輝度取得手段により取得された被写体輝度に基づいて、減光手段により撮像素子に達する光量を減らすか否かを制御し、平面撮影時には、絞りの絞り値を立体撮影時の絞り値よりも大きくする制御手段と、を備えたことを特徴とする撮像装置を提供する。 
【００１８】
即ち、立体撮影時には、被写体輝度に基づいて撮像素子に達する光量を減らすか否かを制御し、平面撮影時には、絞りの絞り値を立体撮影時の絞り値よりも大きくして第１および第２の平面画像間の結像位置を近づけるので、立体視画像における視差を維持しつつ、平面画像の偽解像発生を解消して品質を向上させることが可能となる。【００１９】
本発明の一実施形態では、第１の画素群と第２の画素群は２次元に配列されている受光素子からなり、撮像素子には第１の画素群の各画素と第２の画素群の各画素とが互いに隣接して配置されていることが好ましい。【００２０】
本発明の一実施形態では、撮影光学系を通過した光束を分割する光学部材を備え、撮像素子は、光学部材により瞳分割された光束をそれぞれ受光する第１の画素群を有した第１の撮像素子と第２の画素群を有した第２の撮像素子とによって構成されていることが好ましい。【００２１】
本発明の一実施形態では、制御手段は、立体撮影時には、絞りを開放状態に設定し、平面撮影時には、絞りを開放状態よりも絞ることが好ましい。【００２２】
本発明の一実施形態では、減光手段は、撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタであり、制御手段は、立体撮影時には、被写体輝度取得手段により取得された被写体輝度に基づいて、減光フィルタを光路中に挿入した挿入状態にするか否かを制御することが好ましい。【００２３】
本発明の一実施形態では、制御手段は、立体撮影時に、被写体輝度が閾値よりも大きい場合には、減光フィルタを挿入状態にし、被写体輝度が閾値以下の場合には、減光フィルタを非挿入状態にすることが好ましい。【００２４】
本発明の一実施形態では、減光手段は、絞りの開口の一部を遮蔽する遮蔽部であって、光軸方向に見た絞りの開口を、撮像素子の水平方向及び垂直方向の少なくとも一方に均等に二分割するように絞りの開口の一部を遮蔽する遮蔽部であり、制御手段は、遮蔽部を制御し、立体撮影時には、遮蔽部により絞りの開口の少なくとも一部を遮蔽した遮蔽状態に設定し、平面撮影時には、遮蔽部により絞りの開口を遮蔽しない非遮蔽状態に設定することが好ましい。【００２５】
本発明の一実施形態では、制御手段は、立体撮影時に、遮蔽部により遮蔽される絞りの開口の遮蔽領域の大きさを、被写体輝度取得手段により取得された被写体輝度に基づいて変更することが好ましい。【００２６】
なお、減光手段および絞りは、撮影光学系と撮像素子との間に配置されている場合には限定されず、撮影光学系が複数のレンズ（レンズ群）によって構成され、減光手段および絞りのうち少なくとも一方がレンズ群の中に配置されている場合もある。【００２７】
本発明の一実施形態では、被写体距離を取得する被写体距離取得手段を備え、制御手段は、平面撮影時に、被写体距離取得手段により取得された被写体距離に基づいて、絞りを開放状態にするか否かを制御することが好ましい。【００２８】
本発明の一実施形態では、制御手段は、平面撮影時に、被写体距離が閾値よりも大きい場合には、絞りを開放状態にすることが好ましい。即ち、平面撮影でも被写体距離が大きい場合には第１および第２の平面画像間で結像ずれが少ないため、絞りによる回析を回避して高品質の画質を得ることができる。【００２９】
本発明の一実施形態では、撮影光学系の焦点距離を取得する焦点距離取得手段を備え、制御手段は、平面撮影時に、焦点距離取得手段により取得された焦点距離に基づいて、絞りを開放状態にするか否かを制御することが好ましい。【００３０】
本発明の一実施形態では、制御手段は、平面撮影時に、焦点距離が閾値よりも大きい場合には、絞りを開放状態にすることが好ましい。即ち、平面撮影でも撮影光学系の焦点距離が短い場合には第１および第２の平面画像間で結像ずれが少ないため、絞りによる回析を回避して高品質の画質を得ることができる。【００３１】
本発明の一実施形態では、撮像素子により得られた立体視画像を構成する第１の画像と第２の画像との視差量を算出するとともに、立体視画像における近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得する視差情報取得手段を備え、制御手段は、平面撮影時に、視差情報取得手段により取得された視差範囲に基づいて、絞りを開放状態にするか否かを制御することが好ましい。なお、ここでいう「近側」とは、撮像装置に対し近位にある側を言うものであり、一方、「遠側」とは、撮像装置から被写体に向かって離間する側であって、撮像装置に対し遠位にある側をいうものである。 
【００３２】
本発明の一実施形態では、平面撮影時に、取得された視差範囲が閾値よりも小さい場合には、絞りを開放状態にし、取得された視差範囲が閾値以上である場合には、絞りの絞り値を立体撮影時の絞り値よりも大きくすることが好ましい。【００３３】
本発明の一実施形態では、撮影指示の入力を受け付ける指示入力手段を備え、視差情報取得手段は、指示入力手段に撮影指示が入力される前に撮像素子により撮像された立体視画像から視差範囲を算出することが好ましい。【００３４】
本発明の一実施形態では、制御手段は、撮影指示が入力される前の撮像時に、絞りを開放状態にすることが好ましい。【００３５】
本発明の一実施形態では、制御手段は、平面撮影時に、絞りを開放状態にした場合には、被写体輝度取得手段により取得された被写体輝度に基づいて、減光手段により減光するか否かを切り替えることが好ましい。【００３６】
本発明の一実施形態では、平面撮影時には、第１の画像および第２の画像を合成して第１の画像および第２の画像よりも高解像度の一枚の高解像度平面画像を取得することが好ましい。
【００３７】
本発明の一実施形態では、平面撮影時には、第１の画像と第２の画像とで互いに隣接する画素の撮像信号を加算して第１の画像および第２の画像と同じ解像度の一枚の平面画像を取得することが好ましい。
【００３８】
本発明の一実施形態では、撮像素子は、第１の画素群および第２の画素群がそれぞれ平面視において第１の方向とこれに直交する第２の方向に二次元状に配列され、第１及び第２の方向のうち少なくとも一方の方向から見たときに、第１の画素群の画素とこれに離間して対応する第２の画素群の画素とで、受光領域の一部が重なって見えるようにオーバーラップして配置されていることが好ましい。【００３９】
また、本発明は、単一の撮影光学系、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第１の画素群および第２の画素群を有する撮像素子、撮影光学系から撮像素子に入射する光量を減らすことが可能な減光手段、および、撮像素子に入射する光束が通過する光路中に配置された絞りを用い、第１の画素群および第２の画素群から立体視画像として第１の画像および第２の画像を生成する立体撮影と、第１の画素群および第２の画素群から平面画像として第３の画像を生成する平面撮影とを実行可能な撮像方法であって、被写体輝度を取得し、立体撮影時には、取得した被写体輝度に基づいて、減光手段により撮像素子に達する光量を減らすか否かを制御し、平面撮影時には、絞りの絞り値を立体撮影時の絞り値よりも大きくすることを特徴とする撮像方法を提供する。
【発明の効果】
【００４０】
本発明によれば、立体視画像における視差を維持しつつ、平面画像の品質を向上させることができる。
【図面の簡単な説明】
【００４１】
【図１】第１〜第４実施形態における本発明に係る撮像装置のハードウェア構成例を示すブロック図
【図２】撮像素子の構成例を示す図
【図３】撮像画素を示した図
【図４】図３の要部拡大図
【図５】第１実施形態における撮像装置の要部ブロック図
【図６】第１実施形態における撮像処理例の流れを示すフローチャート
【図７】第２実施形態における撮像処理例の流れを示すフローチャート
【図８】第３実施形態における撮像装置の要部ブロック図
【図９】第３実施形態における撮像処理例の流れを示すフローチャート
【図１０】第４実施形態における撮像装置の要部ブロック図
【図１１】第４実施形態における撮像処理例の流れを示すフローチャート
【図１２】第５実施形態における撮像装置のブロック図
【図１３】撮像装置の撮影レンズ、絞り、液晶シャッタ及び撮像素子を斜めからみた斜視図
【図１４】撮像素子のペア画素の入射角感度特性を示す図
【図１５】撮像素子のペア画素の入射角感度特性を完全に分離する場合の特性を示す図
【図１６】液晶シャッタに非透過領域を設けたことによる撮像素子のペア画素の入射角感度特性の変化を示す図
【図１７】第５実施形態における撮像処理例の流れを示すフローチャート
【図１８】液晶シャッタの非透過領域の幅を変更することを説明する図
【図１９】第６実施形態における撮像処理例の流れを示すフローチャート
【図２０】第７実施形態における撮像処理例の流れを示すフローチャート
【図２１】第８実施形態における撮像処理例の流れを示すフローチャート
【図２２】撮影モード設定処理の流れを示すフローチャート
【図２３】複数視点の平面画像から画素加算により一枚の平面画像を生成する場合の説明図
【図２４】撮像素子のペア画素の画素加算後の入射角感度特性を示す図
【図２５】撮像素子の一例のカラーフィルタＧＲＢｇｒｂの配列だけを記載した図
【図２６】各画素の上方にあるマイクロレンズと遮光部材開口との位置関係を示す図
【図２７】図２５に示した画素配列にてペア画素を構成する二つの画素をオーバーラップして配置した様子を示す図
【図２８】全体の画素配列が正方配列である場合の画素配列の概略を示す模式図
【図２９】図２８に示した画素配列にてペア画素を構成する二つの画素をオーバーラップして配置した様子を示す図
【図３０】縦撮り及び横撮りを同時に実行可能な撮像素子の一例の画素配列を示す図
【図３１】図３１Ａは液晶シャッタの遮蔽領域の基本形、図３１Ｂは液晶シャッタの変形例を示す図
【図３２】液晶シャッタの遮蔽領域の他の変形例を示す図
【図３３】本発明の課題の説明に用いる説明図であって、図３１Ａは瞳分割なしの撮像系の要部を示す説明図、図３１Ｂおよび図３１Ｃは瞳分割方式の３Ｄ単眼撮像系の要部を示す説明図
【図３４】本発明の課題の説明に用いる説明図であって、図３４Ａは瞳分割なしの撮像系での結像の様子を示す模式図、図３４Ｂおよび図３４Ｃは瞳分割方式の３Ｄ単眼撮像系での結像の様子を示す模式図
【図３５】瞳分割の他の例を示す説明図
【発明を実施するための形態】
【００４２】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００４３】
＜撮像装置の全体構成＞
図１は本発明に係る撮像装置１０の実施の形態を示すブロック図である。
【００４４】
この撮像装置１０は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００４５】
撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
【００４６】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ（平面）撮影モード、３Ｄ（立体）撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。
【００４７】
再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００４８】
撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影レンズ１２（撮影光学系）、絞り１４を介して固体撮像素子である撮像素子１６の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。
【００４９】
絞り１４は、撮像素子１６に入射する光束が通過する光路１３中に配置され、例えば、５枚の絞り羽根からなる。絞り１４は、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。なお、図１には、撮影レンズ１２と撮像素子１６と間に絞り１４を配置した場合を示したが、このような場合に特に限定されない。撮影レンズ１２が複数のレンズ（あるいは複数のレンズ群）によって構成され、撮影レンズ１２の中に絞り１４が配置されている場合もある。
【００５０】
ＮＤフィルタ１５（減光フィルタ）は、撮像素子１６に入射する光量を減少させるデバイスであり、撮像素子１６に入射する光束が通過する光路１３中に挿入可能である。なお、図１には、撮影レンズ１２と撮像素子１６との間にＮＤフィルタ１５を配置した場合を示したが、このような場合に特に限定されない。撮影レンズ１２が複数のレンズ（あるいは複数のレンズ群）によって構成され、撮影レンズ１２の中にＮＤフィルタ１５が配置されている場合もある。
【００５１】
ＮＤフィルタ１５は、フィルタ挿抜駆動部３３により、光路１３中に挿入された挿入状態と、光路１３から外れた非挿入状態とが切り替えられる。ＮＤフィルタ１５の枚数は、特に限定されない。複数枚（例えば５枚）のフィルタにより構成されていてもよい。
【００５２】
ＣＰＵ４０は、撮像素子制御部３２を介して撮像素子１６での電荷蓄積時間（シャッタ速度）や撮像素子１６での画像信号の読み出しを制御する。また、ＣＰＵ４０は、フィルタ挿抜駆動部３３を介して、ＮＤフィルタ１５の挿入状態および非挿入状態を切り替える。また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御する。
【００５３】
＜単眼３Ｄ撮像素子の構成例＞
図２は撮像素子１６の構成例を示す図である。
【００５４】
撮像素子１６は、それぞれマトリクス状に配列された奇数ラインの撮像画素（以下「主画素」という）と、偶数ラインの撮像画素（以下「副画素」という）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。
【００５５】
図２に示すように撮像素子１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が配列ピッチの２分の１ピッチだけライン方向にずれて配置されている。即ち、撮像素子１６の画素配列は、ハニカム配列となっている。
【００５６】
図３は撮影レンズ１２、絞り１４、及び撮像素子１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４は図３の要部拡大図である。
【００５７】
図４Ａに示すように通常の撮像素子の画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
【００５８】
これに対し、撮像素子１６の主画素ＰＤａ及び副画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。図４Ａに示すように、主画素ＰＤａ群と副画素ＰＤｂ群とは２次元に配列されている受光素子ＰＤａ、ＰＤｂからなり、撮像素子１６には主画素ＰＤａと副画素ＰＤｂとが互いに隣接して配置されている。
【００５９】
尚、上記構成の撮像素子１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
【００６０】
図１に戻って、撮像素子１６に蓄積された信号電荷は、撮像素子制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００６１】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、コントラスト強調、輪郭補正等の所定の信号処理を行う。
【００６２】
また、ＥＥＰＲＯＭ５６は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図等が記憶されている不揮発性メモリである。
【００６３】
ここで、図２Ｂ及びＣに示すように、撮像素子１６の奇数ラインの主画素から読み出される主画像データは、左視点の平面画像（以下「左画像」という）として処理され、偶数ラインの副画素から読み出される副画像データは、右視点の平面画像（以下「右画像」という）として処理される。
【００６４】
デジタル信号処理部２４で処理された左画像及び右画像は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０（ＬＣＤ）に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
【００６５】
この液晶モニタ３０は、立体視画像（左画像及び右画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左画像と右画像とを個別に見ることができるものでもよい。
【００６６】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像素子１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００６７】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。
【００６８】
ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左画像データ及び右画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左画像データ及び右画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。このＡＦ制御中に、合焦した被写体の被写体距離を算出する。
【００６９】
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左画像及び右画像の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
【００７０】
メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
【００７１】
メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＰＭファイルは、メディアＩ／Ｆ５２により読み出され、記録メディア５４に記録される。
【００７２】
次に、本発明を第１実施形態〜第８実施形態に分けて、以下説明する。
【００７３】
＜第１実施形態＞
図５は、撮像装置１０の要部の詳細を示すブロック図である。なお、図５において、図１に示した構成要素には同じ符号を付してあり、既に説明した事項について以下ではその説明を省略する。
【００７４】
本実施形態の撮像装置１０において、ＣＰＵ４０は、撮影モード設定制御部６２、ＡＥ制御部６４、ＡＦ制御部６６、撮影実行制御部６８および絞り制御部７０を含んで構成されている。
【００７５】
撮影モード設定制御部６２は、操作部３８により撮影モードの設定操作を受け付け、受け付けた撮影モードをメモリ４８に記憶する。撮影モードは、少なくとも３Ｄ撮影モードおよび２Ｄ撮影モードがある。また、２Ｄ撮影モードには、高解像度平面（２Ｄ）画像を生成する高解像度２Ｄ撮影モードと、低解像度平面（２Ｄ）画像を生成する低解像度２Ｄ撮影モードとがある。以下では、発明を簡明に説明するため２Ｄ撮影モードが高解像度２Ｄ撮影モードであるものとして説明する。
【００７６】
ＡＥ制御部６４は、後述の絞り制御部７０の制御に従ってＡＥ制御を行うものであり、ＡＥ検出部４４から出力される積算値に基づいてＥＶ値（被写体輝度）を算出し、絞り制御部７０の制御に従って、ＥＶ値に基づいて絞り１４の絞り値、ＮＤフィルタ１５の挿入有無（挿入状態／非挿入状態）、および撮像素子１６のシャッタ速度を決定し、決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御し、決定したＮＤフィルタ１５の挿入有無に基づいてフィルタ挿抜駆動部３３を介してＮＤフィルタ１５の挿入状態／非挿入状態を切り替え、決定したシャッタ速度に基づいて撮像素子制御部３２を介して撮像素子１６での電荷蓄積時間（露光時間）を制御する。
【００７７】
ＡＦ制御部６６は、ＡＦ処理部４２を制御することで、コントラストＡＦ処理または位相差ＡＦ処理を行い、このＡＦ制御中に、合焦した被写体の被写体距離をＡＦ処理部４２から取得する。
【００７８】
撮影実行制御部６８は、撮像素子制御部３２を介して撮像素子１６での電荷蓄積および電荷（画素信号）の読出しを制御して、主画素群の画素信号からなる左画像と副画素群の画素信号からなる右画像とを取得する。
【００７９】
撮影実行制御部６８は、３Ｄ撮影モードの場合には、撮像素子１６により被写体を撮像して、左画像および右画像の組からなる３Ｄ画像（立体視画像）を取得し、その３Ｄ画像をメディアＩ／Ｆ５２を介して記録メディア５４に記録する。また、撮影実行制御部６８は、２Ｄ撮影モード（本例では高解像度２Ｄ撮影モード）の場合には、撮像素子１６により被写体を撮像して、左画像および右画像から一枚の高解像度２Ｄ画像を合成し、その高解像度２Ｄ画像をメディアＩ／Ｆ５２を介して記録メディア５４に記録する。即ち、本撮像装置１０では、３Ｄ撮影および２Ｄ撮影の両方を同一シーンで実行することにより、同一シーンを撮影した３Ｄ画像および２Ｄ画像の両方を得ることが可能である。
【００８０】
３Ｄ画像の解像度は、各視点画像（左画像および右画像）と同じ解像度であるのに対して、高解像度２Ｄ画像の解像度は、各視点画像（左画像および右画像）よりも解像度が高い（例えば２倍である）。
【００８１】
絞り制御部７０は、撮影実行制御部６８の指示に従って、絞り駆動部３４により、絞り１４の絞り値（Ｆ値）を切り替える。また、絞り制御部７０は、撮影実行制御部６８の指示に従って、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５の挿入状態と非挿入状態とを切り替える。挿入状態は、ＮＤフィルタ１５が撮影レンズ１２と撮像素子１６の間の光軸上に挿入された状態であり、非挿入状態は、ＮＤフィルタ１５が撮影レンズ１２と撮像素子１６の間の光軸上から外れた状態である。なお、ＮＤフィルタ１５の枚数は複数枚でもよく、複数枚の場合には挿入枚数を制御する。
【００８２】
絞り制御部７０は、３Ｄ撮影時には、絞り制御部７０を開放状態（絞り値を最小値）にするとともに、ＡＥ制御部６４により取得された被写体輝度に基づいて、ＮＤフィルタ１５を光路１３に挿入した挿入状態にするか非挿入状態にするかを、切り替える。
【００８３】
また、本実施形態の絞り制御部７０は、２Ｄ撮影時には、絞り１４の絞り値を３Ｄ撮影時の絞り値よりも大きくするとともに、ＮＤフィルタ１５を非挿入状態にする。
【００８４】
図６は、第１実施形態における撮像処理例の流れを示すフローチャートである。本処理は、ＣＰＵ４０によりプログラムに従って実行される。
【００８５】
ステップＳ２にて、ＡＥ制御部６４により、ＡＥ処理を行なう。このＡＥ処理にて被写体輝度（ＥＶ値）が算出される。
【００８６】
ステップＳ４にて、ＡＦ制御部６６により、ＡＦ（自動合焦）処理を行なう。このＡＦ処理にて、合焦した被写体の被写体距離が取得される。
【００８７】
ステップＳ６にて、撮影モードが３Ｄ撮影モードであるか２Ｄ撮影モードであるかを判定する。３Ｄ撮影モードである場合にはステップＳ８に進み、２Ｄ撮影モードである場合には、ステップＳ１４に進む。
【００８８】
３Ｄ撮影モードの場合、ステップＳ８にて、ＡＥ制御部６４により取得された被写体輝度が、閾値Ｔｅｖよりも大きいか否かを判定する。
【００８９】
被写体輝度が閾値Ｔｅｖよりも大きい場合（明るい場合）には、ステップＳ１０にて、絞り制御部７０は、絞り駆動部３４により、絞り１４を開放状態にして、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を挿入状態に設定する。
【００９０】
被写体輝度が閾値Ｔｅｖ以下である場合（暗い場合）には、ステップＳ１２にて、絞り制御部７０は、絞り駆動部３４により、絞り１４を開放した開放状態にして、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を非挿入状態にする。
【００９１】
２Ｄ撮影モードの場合、ステップＳ１４にて、絞り制御部７０は、絞り駆動部３４を介して絞り１４の絞り値（Ｆ値）を規定値以上に設定するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を非挿入状態にする。
【００９２】
ここで、絞り値の規定値は、左画像と右画像とで同一被写体の結像位置を３Ｄ撮影時よりも近づけることで、視差に起因した偽解像を許容範囲内とする絞り値である。なお、規定値は、被写体距離、焦点距離、立体視環境（表示画面のサイズ、表示画面の解像度、観視距離など）やユーザの立体視融合限界などによっても異なるが、絞り１４の絞り値を３Ｄ撮影のときよりも大きくさせる値である。
【００９３】
絞り制御部７０は、例えば、絞り１４を開放に対して１段以上絞る。例えば、開放がＦ２．８の場合にはＦ４以上、開放がＦ５．６の場合にはＦ８以上といったように、ＳＮモードの撮影時（開放）よりも１段以上大きな絞り値を設定する。被写体輝度が大きい（明るい）場合には、２段以上絞ることが、望ましい。
【００９４】
ステップＳ１６にて、撮影実行制御部６８は、撮像素子制御部３２を介して、撮像素子１６の露光を制御する。
【００９５】
ステップＳ１８にて、撮影実行制御部６８は、撮像素子制御部３２を介して、撮像素子１６の主画素および副画素からの画素信号（電荷）の読み出しを制御する。読み出された信号はＡ／Ｄ変換器２０によりアナログからデジタルに変換される。
【００９６】
ステップＳ２０にて、デジタル信号処理部２４等により、左画像および右画像に対し、所定のデジタル信号処理を行なう。２Ｄ撮影モードでは、左画像と右画像とを合成して一枚の高解像度２Ｄ画像を合成する。
【００９７】
ステップＳ２２にて、圧縮伸張処理部２６により、画像圧縮を行なう。
【００９８】
ステップＳ２４にて、メディアＩ／Ｆ５２により、立体視画像または高解像度２Ｄ画像を記録メディア５４に記録する。
【００９９】
第１実施形態では、２Ｄ撮影時には、必ず絞り１４（絞り）により絞る。即ち、絞り制御部７０により３Ｄ撮影および２Ｄ撮影を同一シーンで実行する場合、同一の被写体輝度であっても、絞り制御部７０の絞り状態が３Ｄ撮影および２Ｄ撮影のそれぞれに適した絞り状態に切り替わる。従来は、同一被写体からの光束が撮影レンズ１２の異なる瞳位置を通過して同一被写体の像が撮像素子１６の異なる位置に結像することに因り、高解像度２Ｄ画像に偽解像が発生していたが、本実施形態では、２Ｄ撮影時に絞り１４（絞り）により絞るので、左右画像間で結像位置が近づくことで偽解像が解消される。また、３Ｄ撮影時には、絞り１４を開放するとともに、被写体輝度に基づいてＮＤフィルタ１５を挿入状態にするか否かを制御するので、立体視画像の視差を維持しつつ輝度調整を行なうことができる。
【０１００】
なお、３Ｄ撮影時に、ＮＤフィルタ１５を挿入した状態とするか、絞り１４を絞るかを、操作部３８の設定入力により切り替え可能に構成してもよい。
【０１０１】
＜第２実施形態＞
次に、第２実施形態の撮像装置について、図５を用いて説明する。なお、以下では、主として第１実施形態と異なる事項を説明し、第１実施形態で既に説明した事項はその説明を省略する。
【０１０２】
本実施形態の絞り制御部７０は、２Ｄ撮影時に、ＡＦ制御部６６により取得された主要被写体（合焦した被写体）の被写体距離に基づいて、ＮＤフィルタ１５を挿入状態にするか否かを制御する。例えば、２Ｄ撮影時に、合焦した主要被写体の被写体距離が閾値Ｔｓよりも大きい場合（主要被写体が遠い場合）には、絞り１４を開放状態（絞り値を最小値）に設定し、合焦した主要被写体の被写体距離が閾値Ｔｓ以下である場合（主要被写体が近い）場合には、絞り１４の絞り値を規定値まで大きくするとともにＮＤフィルタ１５を非挿入状態にする。
【０１０３】
図７は、第２実施形態の撮像処理の流れを示すフローチャートである。
【０１０４】
ステップＳ２〜Ｓ１２は、第１実施形態と同様である。
【０１０５】
２Ｄ撮影モードの場合、ステップＳ１３ａにて、絞り制御部７０は、ＡＦ処理部４２により取得された主要被写体（合焦した被写体）の被写体距離が閾値Ｔｓよりも大きいか否かを判定する。
【０１０６】
被写体距離が閾値Ｔｓ以下である場合（主要被写体が近い場合）にはステップＳ１４に進み、被写体距離が閾値Ｔｓよりも大きい場合（主要被写体が遠い場合）にはステップＳ１５に進む。
【０１０７】
ステップＳ１４は、第１実施形態と同様である。即ち、絞り制御部７０は、絞り駆動部３４により、絞り１４の絞り値（Ｆ値）を規定値以上に設定するとともに、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を非挿入状態にする。
【０１０８】
ステップＳ１５にて、絞り制御部７０は、絞り駆動部３４により、絞り１４を開放状態に設定するとともに、被写体輝度に基づいて、フィルタ挿抜駆動部３３により、ＮＤフィルタ１５を挿入状態にするか否かを切り替える。
【０１０９】
ステップＳ１６〜Ｓ２４は、第１実施形態と同様である。
【０１１０】
このように、本実施形態では、合焦した被写体の被写体距離が大きい（被写体が遠い）場合、左画像と右画像とで結像ズレが少なくなるため、２Ｄ撮影でも、絞り１４を開放状態（絞り値を最小値）に設定する。絞りを小さくした場合には回析に因り画質が低下してしまうが、ＮＤフィルタ１５を挿入するとともに開放状態（絞り値を最小値）にすることで、メカ絞りに因る回析を避けて画質の低下を防止する。また、被写界深度を一定に維持した撮影が可能となる。なお、被写体距離が小さい場合には、前述の偽解像の影響が大きくなるため、回析は許容して絞り１４を絞ればよい。
【０１１１】
なお、被写体距離をＡＦ制御部６６によりＡＦ制御に伴って取得する場合を例に説明したが、このような場合には特に限定されず、例えば距離センサ等により直接的に検出してもよい。
【０１１２】
＜第３実施形態＞
次に、第３実施形態の撮像装置について、図８を用いて説明する。なお、以下では、主として図５および図６に示した第１実施形態と異なる事項を説明し、第１実施形態で既に説明した事項はその説明を省略する。
【０１１３】
図８は、第３実施形態における撮像装置１０の要部を示すブロック図である。なお、図７において図１および図５に示した構成要素には同じ符号を付してある。
【０１１４】
撮影レンズ１２は、ズームレンズを有しており、焦点距離取得部７２は、撮影レンズ１２の焦点距離を取得する。
【０１１５】
本実施形態の絞り制御部７０は、２Ｄ撮影時に、焦点距離取得部７２により取得された撮影レンズ１２の焦点距離に基づいて、ＮＤフィルタ１５を挿入状態にするか否かを制御する。例えば、２Ｄ撮影時に、焦点距離が閾値Ｔｚよりも大きい（焦点距離が長い）場合には、絞り１４の絞り値を規定値まで大きくするとともにＮＤフィルタ１５を非挿入状態にして、焦点距離が閾値Ｔｚ以下である（焦点距離が短い）場合には、絞り１４を開放状態（絞り値を最小値）に設定する。
【０１１６】
図９は、第３実施形態の撮像処理の流れを示すフローチャートである。
【０１１７】
ステップＳ２〜Ｓ１２は、第１実施形態と同様である。
【０１１８】
２Ｄ撮影モードの場合、ステップＳ１３ｂにて、焦点距離取得部７２により取得された撮影レンズ１２の焦点距離が閾値Ｔｚよりも大きいか否かを判定する。
【０１１９】
焦点距離が閾値Ｔｚよりも大きい場合（焦点距離が長い場合）にはステップＳ１４に進み、焦点距離が閾値Ｔｚ以下である場合（焦点距離が短い場合）にはステップＳ１５に進む。
【０１２０】
ステップＳ１４〜Ｓ２４は、第１実施形態と同様である。
【０１２１】
本実施形態では、撮影レンズ１２の焦点距離が短い場合、左画像と右画像とで結像ズレが少なくなるため、２Ｄ撮影でも、絞り１４を開放状態（絞り値を最小値）に設定して、ＮＤフィルタ１５を用いて減光を行なう。したがって、回析に因る画質の低下を防止することができる。
【０１２２】
なお、焦点距離の取得態様は特に限定されない。撮影レンズ１２のズームレンズの移動を直接的に焦点距離を検出してもよいし、レンズ駆動部３６におけるズームレンズの駆動信号を監視して焦点距離を求めてもよいし、画像処理により焦点距離を求めてもよい。
【０１２３】
＜第４実施形態＞
次に、第４実施形態の撮像装置について、図１０を用いて説明する。なお、以下では、主として第２実施形態とは異なる事項のみ説明し、既に説明した事項はその説明を省略する。
【０１２４】
図１０は、第４実施形態における撮像装置１０の要部を示すブロック図である。なお、図１０において図１および図５に示した構成要素には同じ符号を付してある。
【０１２５】
視差情報取得部７４は、撮像素子１６により撮像して取得された３Ｄ画像に基づいて、３Ｄ画像を構成する複数視点の平面画像（視点画像）間の視差に関する視差情報を取得する。視差情報は、視差マップ（視差分布情報）と、視差マップから取得される視差範囲等の情報を含む。視差範囲（視差レンジ）は、撮像素子１６により得られる３Ｄ画像の近側の最大視差量と遠側の最大視差量との差を示す。
【０１２６】
本例の視差情報取得部７４は、取得された３Ｄ画像のうち左画像（第１の２Ｄ画像）と右画像（第２の平面画像）との特徴が一致する対応点を検出し、検出された各対応点の左画像と右画像との視差量を算出して、視差量の分布を示す視差マップを作成する。また、本例の視差情報取得部７４は、作成された視差マップから近側の最大視差量と遠側の最大視差量との差（視差範囲）を算出する。  
【０１２７】
本例の絞り制御部７０は、２Ｄ撮影時に、ＡＦ制御部６６により取得された主要被写体（合焦した被写体）の被写体距離、及び、視差情報取得部７４により取得された視差範囲に基づいて、絞り１４を開放にするか否かを制御する。なお、本発明は、被写体距離と視差範囲の両方に基づいて絞り１４の開放／非開放を切り換える場合には限定されず、視差範囲のみに基づいて絞り１４の開放／非開放を切り換える場合を含む。
【０１２８】
例えば、２Ｄ撮影時に、視差範囲が閾値ＴＲよりも小さい場合（視差範囲が小さいと判定した場合）には、絞り１４を開放状態（絞り値を最小値）に設定し、視差範囲が閾値ＴＲ以上である場合（視差範囲が大きいと判定した場合）には、絞り１４の絞り値を規定値まで大きくする。
【０１２９】
図１１は、第４実施形態の撮像処理の流れを示すフローチャートである。
【０１３０】
ステップＳ３２にて、視差情報取得部７４は、撮像素子１６により撮像して得られた３Ｄ画像を構成する複数視点の２Ｄ画像から、視差マップ及び視差範囲を含む視差情報を作成する。本例では、操作部３８により撮影指示（例えばシャッタボタンによる）が入力される前に立体視画像として撮像されたスルー画（ライブビュー画像）から、視差範囲を算出する。なお、スルー画像の撮像時、絞り制御部７０は、絞り１４を開放状態に設定する。これにより、視差情報を確実に取得することが可能になる。また、スルー画像の解像度は、記録メディア５４に記録する立体視画像（記録画像）よりも低くてよい。これにより、撮像装置１０の処理負担を軽減することができる。
【０１３１】
ステップＳ２〜Ｓ１２及び１３ａは、第２実施形態と同様である。
【０１３２】
ステップＳ１３ａにて、２Ｄ撮影モードであって被写体距離が閾値Ｔｓ以下である場合（主要被写体が近い場合）にはステップＳ３４に進み、被写体距離が閾値Ｔｓよりも大きい場合（主要被写体が遠い場合）にはステップＳ１５に進む。
【０１３３】
ステップＳ３４にて、視差範囲を閾値ＴＲと比較して、視差範囲が閾値ＴＲよりも小さい場合（視差範囲が小さいと判定した場合）には、絞り１４を開放状態（絞り値を最小値）に設定し（ステップＳ１５）、視差範囲が閾値ＴＲ以上である場合（視差範囲が大きいと判定した場合）には、絞り制御部７０は、絞り駆動部３４により絞り１４の絞り値（Ｆ値）を規定値以上に設定する（ステップＳ１４）。即ち、同じ被写体輝度の３Ｄ撮影よりも、絞り１４を絞る。
【０１３４】
なお、ステップＳ１５〜Ｓ２４は、第２実施形態と同様である。
【０１３５】
＜第５実施形態＞
次に、第５実施形態の撮像装置について、図１２〜図１８を用いて説明する。なお、以下では、既に説明した事項はその説明を省略する。
【０１３６】
図１２は、第５実施形態における撮像装置１０を示すブロック図である。なお、図１に示した撮像装置１０と同じ構成要素には同じ符号を付した。
【０１３７】
本実施形態では、図１３に示すように、絞り1 ４の背部に、後述する液晶シャッタ１１５が配置されている。よって、撮影レンズ１２、絞り1 ４、及び液晶シャッタ１１５の順に通って撮像素子１６の受光面に入射した被写体光像に対応する撮像画像信号が、図１２に示したＡ／Ｄ変換器２０でデジタルデータに変換される。
【０１３８】
液晶シャッタ１１５は、液晶分子への電圧の印加あるいは除去により液晶分子の配列変化を起こさせることにより、光の透過や遮断を行う。液晶シャッタ１１５の液晶層は、光軸方向Ｋ（図１２の１３）から見たときに、絞り１４の最大開口時の開口１４ａを覆う大きさとなっていればよい。
【０１３９】
液晶シャッタ１１５は、絞り１４を通過した光を透過する透過領域と、絞り１４を通過した光を透過させない非透過領域とを液晶層の任意の位置に形成することができる。
【０１４０】
液晶シャッタ１１５と絞り１４は近接して(理想的には接触して)配置されているため、図１３に示すように、液晶シャッタ１１５に形成される非透過領域１１５ａによって、開口１４ａの一部(非透過領域１１５ａとほぼ同じ面積の領域)が完全に遮蔽された状態になる。
【０１４１】
ＣＰＵ４０には、液晶シャッタ駆動部１３１が接続されている。液晶シャッタ駆動部１３１は、 ＣＰＵ４０からの指示に従い、液晶シャッタ１１５の駆動制御を行う。
【０１４２】
本実施形態の撮像装置１０では、３Ｄ撮影モード時には、ＣＰＵ４０の制御により、液晶シャッタ駆動部１３１が、光軸方向に見たときの開口１４ａを水平方向Ｘに均等に二分割するように、開口１４ａの一部を遮蔽するための非透過領域１１５ａを液晶シャッタ１１５に形成する。
【０１４３】
ここで、ペア画素を構成する一方の画素と他方の画素の入射角感度特性（画素に入射してくる光の入射角毎の感度の特性）について詳しく説明する。
【０１４４】
図１４は、撮像素子１６のペア画素を構成する２つの画素の入射角感度特性を示す図である。図１４において、符号ＴＬで示したものが主画素ＰＤａ群（以下「Ａ群」ともいう）の入射角感度特性であり、符号ＴＲで示したものが副画素ＰＤｂ群（以下「Ｂ群」ともいう）の入射角感度特性である。符号Ｔ１で示したものは、例えば図４Ｂに示した位相差画素において、マイクロレンズＬの中心と遮光部材開口１６Ｂの中心とを一致させた仮想的な画素の入射角感度特性である。
【０１４５】
図１４において横軸は入射角を示し、縦軸は感度を示している。入射角は、画素上方のマイクロレンズＬの中心に垂直に光が入射するときを０°とし、当該中心に入射する光線が水平方向（ペア画素の瞳分割方向）に斜めに傾くほど、その角度が大きくなるものとしている。具体的には、マイクロレンズＬの中心に入射する光線が水平方向右側に傾いていくと図１４の横軸の右側の数値が増え、当該光線が水平方向左側に傾いていくと図１４の横軸の左側の数値が増える。
【０１４６】
図１４に示したように、撮像素子１６のペア画素を構成する２つの画素の入射角感度特性は、略同一形状であり、かつ、それぞれの感度のピーク位置が縦軸から均等な距離だけ離れた位置にある。つまり、ペア画素を構成する２つの画素の入射角感度特性は、縦軸（入射角０°のときの感度の軸）に対して線対称の関係にある。そして、ペア画素を構成する２つの画素の入射角感度特性は、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なり（図１４中の符号Ｔ２で示した範囲）を持っている。
【０１４７】
図１４に示す波形ＴＲと横軸で囲まれた範囲が、撮影光学系の第一の瞳領域を通過する光の量に相当し、波形ＴＬと横軸で囲まれた範囲が、撮影光学系の第二の瞳領域を通過する光の量に相当し、波形Ｔ１と横軸で囲まれた範囲が、撮影光学系の第一の瞳領域と第二の瞳領域を含む第三の瞳領域を通過する光の量に相当する。つまり、ペア画素を構成する２つの画素は、撮影光学系のそれぞれ異なる瞳領域を通過した光を受光するように瞳分割されている。そして、ペア画素を構成する２つの画素の各々が受光する光の通過する瞳領域は、光軸付近において互いに重なりを有するように瞳分割がなされている。
【０１４８】
Ａ群の撮像画像信号とＢ群の撮像画像信号とで良好な視差を得られるようにするには、図１４に示した重なり範囲Ｔ２をゼロにして、ペア画素の一方の画素と他方の画素で入射角感度特性を完全に分離することが好ましい。しかし、重なり範囲Ｔ２がゼロになるようにするには、ペア画素を構成する二つの画素間で遮光部材開口の間隔（後述する図２６の１３３ａと１３３ｂとの間隔）の水平方向Ｘの距離を大きくする必要があり、これを実現するには遮光部材開口１６Ｂ（図２６の遮光部材開口１３３ａ，１３３ｂ）を小さくする必要がある。この結果、重なり範囲Ｔ２をゼロにした場合のペア画素の入射角感度特性ＴＲ、ＴＬは図１５に示したようになり、図１４の場合よりもペア画素の感度が低下してしまう。
【０１４９】
つまり、本実施形態の撮像素子１６は、感度を上げようとすると、良好な視差が得られにくくなり、逆に、良好な視差を得ようとすると、感度が低下するという課題を抱えている。
【０１５０】
そこで、本実施形態の撮像装置１０は、撮像素子１６が、視差よりも感度を優先した図１４に示した入射角感度特性を有し、撮像素子１６と絞り1 ４との間に設けた液晶シャッタ１１５が、図１４に示した入射角感度特性であっても良好な視差を得られるように、撮像素子１６に入射する光を制限している。
【０１５１】
非透過領域１１５ａ（遮蔽領域）を形成することにより、ペア画素の入射角感度特性ＴＲ, ＴＬは図１６に示したようになる。
【０１５２】
図１６において、符号Ｔ３で示した範囲は、非透過領域１１５ａによって感度が得られなくなった入射角範囲である。この入射角範囲の横軸方向の幅を、図１４に示す重なり範囲Ｔ２の横軸方向の幅と同じにすれば、重なり範囲Ｔ２を除去して、ペア画素の入射角感度特性を完全に分離することができる。このため、このような範囲Ｔ３が得られるように、非透過領域１１５ａの水平方向ｘの幅が設定される。
【０１５３】
このように、非透過領域１１５ａを形成することで、各画素の感度を図１５に示した例よりも高くしながら、Ａ群とＢ群とで入射角感度特性を完全に分離することができる。しかも、その分離度合は、図１５に示した場合よりも大きい。したがって、良好な視差と高感度を両立させた立体撮像が可能になる。
【０１５４】
図１２に戻って説明すると、本実施形態の絞り制御部７０は、３Ｄ撮影時には、液晶シャッタ駆動部１３１を介して液晶シャッタ１１５を制御し、液晶シャッタ１１５により絞り１４の開口１４ａの一部（中央部）を遮蔽した遮蔽状態（非透過状態）に設定する。また、絞り制御部７０は、３Ｄ撮影時に、ＡＥ制御部６４により取得された被写体輝度に基づいて、液晶シャッタ駆動部１３１を介して液晶シャッタ１１５を制御し、絞り１４の開口１４ａの遮蔽領域（非透過領域）の大きさ（幅）を制御する。また、本例の絞り制御部７０は、３Ｄ撮影時には、絞り駆動部３４を介して絞り１４を制御し、絞り１４を開放状態（絞り値を最小値）に設定する。
【０１５５】
また、本実施形態の絞り制御部７０は、２Ｄ撮影時には、液晶シャッタ駆動部１３１を介して液晶シャッタ１１５を制御し、液晶シャッタ１１５により絞り１４の開口１４ａを遮蔽しない非遮蔽状態（透過状態）に設定する。また、絞り制御部７０は、２Ｄ撮影時には、絞り駆動部３４を介して絞り１４を制御し、絞り１４の絞り値を３Ｄ撮影時の絞り値よりも大きくする。
【０１５６】
図１７は、図１２に示した撮像装置１０の撮像処理例の流れを示すフローチャートである。本処理は、ＣＰＵ４０によりプログラムに従って実行される。なお、動作開始前では、液晶シャッタ１１５は全面が透過状態になっているものとして説明する。
【０１５７】
ステップＳ２〜Ｓ６及びＳ１４は、第１実施形態と同様である。
【０１５８】
３Ｄ撮影モードの場合、ステップＳ６の後、 ＣＰＵ４０は、液晶シャッタ駆動部１３１を介して、液晶シャッタ１１５に非透過領域１１５ａを形成する（ステップＳ４２) 。この非透過領域１１５ａの水平方向Ｘの幅は、ステップＳ２で取得した被写体輝度に応じた幅に設定する。
【０１５９】
ステップＳ１６〜Ｓ２４は、第１実施形態と同様である。
【０１６０】
２Ｄ撮影モードの場合、ＣＰＵ４０は、液晶シャッタ１１５の全面を非遮蔽状態（透過状態）にしたまま、決定したＦ値、シャッタ速度、フォーカス位置にしたがって撮像素子１６により本撮像を行う（ステップＳ１６〜Ｓ２４）。即ち、１回の撮像で１枚の２Ｄ画像を記録する２Ｄモード(平面撮影)時、液晶シャッタ駆動部１３１は液晶シャッタ１１５に非透過領域１１５ａを形成せずに撮像を行う。
【０１６１】
なお、図１４に示した重なり範囲Ｔ２は、被写体輝度が任意の値であったときのものであり、被写体輝度が変化すれば、撮像素子１６に入射させる光量の最適値も変化する。そこで、液晶シャッタ駆動部１３１は、被写体輝度に応じて、液晶シャッタ１１５に形成する非透過領域１１５ａの水平方向Ｘの幅を変更することが好ましい。
【０１６２】
例えば、被写体輝度が小さいときは、図１８Ａに示すように、非透過領域１１５ａの水平方向Ｘの幅Ｌを小さくし、被写体輝度が大きいときは、図１８Ｂに示すように、非透過領域１１５ａの水平方向Ｘの幅Ｌを大きくする。つまり、液晶シャッタ駆動部１３１は、被写体輝度が大きいほど、非透過領域１１５ａの水平方向Ｘの幅Ｌを広くする。
【０１６３】
このようにすることで、被写体輝度によらずに、常に良好な明るさの画像を得ることができる。
【０１６４】
なお、３Ｄ撮影モード時に液晶シャッタ１１５に形成する非透過領域１１５ａの水平方向Ｘの幅Ｌは、被写体輝度以外の情報に応じて変化させてもよい。例えば、撮影距離(被写体距離)にも応じて非透過領域１１５ａの幅を決定してもよい。または、撮影レンズ１２が焦点距離を可変なものである場合には、その焦点距離にも応じて、非透過領域１１５ａの幅を決定してもよい。
【０１６５】
無限遠の遠景の風景画像を撮影する場合は、ペア画素で感度特性が分離しにくくなり、近景の画像を撮影する場合は、ペア画素で感度特性が分離しやすくなる。このため、撮影距離が近いときは感度を優先して、非透過領域１１５ａの幅を狭くすることが有効となる。一方、撮影距離が遠い場合は、視差を優先して、非透過領域１１５ａの幅を広くすることが有効となる。以上のことから、液晶シャッタ駆動部１３１は、撮影距離が遠いほど非透過領域１１５ａの幅を広くすることが好ましい。
【０１６６】
また、焦点距離が短い場合は、ペア画素で感度特性が分離しにくくなり、焦点距離が長い場合は、ペア画素で感度特性が分離しやすくなる。このため、焦点距離が長いときは、感度を優先して非透過領域１１５ａの幅を狭くすることが有効となる。一方、焦点距離が短いときは、視差を優先して非透過領域１１５ａの幅を広くすることが有効となる。以上のことから、液晶シャッタ駆動部１３１は、焦点距離が短いほど非透過領域１１５ａの幅を広くすることが好ましい。
【０１６７】
また、撮影シーンに応じて非透過領域１１５ａの水平方向Ｘの幅を決定してもよい。
【０１６８】
夜景等の暗いシーン(被写体の明るさが閥値以下のシーン)では、高感度が求められるため、感度優先(非透過領域１１５ａの幅を狭くする)とし、それ以外のシーンでは視差優先(非透過領域１１５ａの幅を広くする)とすることで、撮影シーンに応じて最適な画質を得ることが可能となる。
【０１６９】
また、本実施形態では３Ｄ撮影時は絞り１４を開放状態に設定することが好ましいが、もしも３Ｄ撮影時に絞り１４を絞る場合であって絞り値が大きい場合には、非透過領域１１５ａの水平方向Ｘの幅Ｌを小さくするようにしてもよい。つまり、液晶シャッタ駆動部１３１は、絞り値が大きいほど、非透過領域１１５ａの水平方向Ｘの幅Ｌを狭くする。この場合でも、被写体輝度が大きいほど非透過領域１１５ａの水平方向Ｘの幅Ｌを大きくする。
【０１７０】
なお、暗いシーンのときには、非透過領域１１５ａの幅をゼロにして高感度化を目指すことが好ましい。
【０１７１】
非透過領域１１５ａの水平方向Ｘの幅は、被写体距離の単独に応じて決めてもよいし、撮影距離、焦点距離、撮影シーンのいずれか単独または組み合わせとを考慮して決めてもよい。
【０１７２】
例えば、撮影距離又は焦点距離に応じて重なり範囲Ｔ３が無くなるように非透過領域１１５ａの幅を設定した後、被写体輝度に応じて非透過領域１１５ａの幅を調整してもよい。または、被写体輝度と撮影距離又は焦点距離の組み合わせ毎に非透過領域１１５ａの幅を記憶しておき、組み合わせが決まったときに、その組み合わせに応じた幅に設定してもよい。被写体輝度は撮影シーン応じて決定してもよい。
【０１７３】
なお、２Ｄ撮影時の処理は、第２実施形態〜第４実施形態にて説明したように行なってもよい。図１９は、２Ｄ撮影時に第２実施形態と同様な処理（特にステップＳ１３ａ〜Ｓ１５）を行なう第６実施形態における撮影処理例の流れを示す。図２０は、２Ｄ撮影時に第３実施形態と同様な処理（特にステップＳ１３ｂ〜Ｓ１５）を行なう第７実施形態における撮影処理例の流れを示す。図２１は、２Ｄ撮影時に第４実施形態と同様な処理（特にステップＳ１３ａ，Ｓ３４，Ｓ１４，Ｓ１５）を行なう第８実施形態における撮影処理例の流れを示す。第６実施形態から第８実施形態にて、ステップＳ４２は第５実施形態と同様な処理を行なう。
【０１７４】
＜撮影モード設定処理＞
図２２は、第１実施形態から第８実施形態において共通の撮影モード設定処理の流れを示すフローチャートである。本処理は撮影モード設定制御部６２により実行される。
【０１７５】
電源がオンされると撮像装置１０はスタンバイ状態になる（ステップＳ５１）。スタンバイ状態では、操作部３８により撮影モードの選択指示操作を受け付ける。
【０１７６】
選択指示操作を受け付けると、選択指示された撮影モードが２Ｄ撮影モードであるか３Ｄ撮影モードであるかを判定する（ステップＳ５２）。
【０１７７】
選択指示された３Ｄ撮影モードである場合には、３Ｄ撮影モードを設定する（ステップＳ５３）。
【０１７８】
選択指示された２Ｄ撮影モードである場合には、記録画素数が（撮像素子１６の有効画素数／２）よりも大きいか否かを判定する（ステップＳ５４）。記録画素数の方が大きい場合には、高解像度２Ｄ撮影モードを設定し（ステップＳ５５）、そうでない場合には、低解像度（画素加算）２Ｄ撮影モードを設定する（ステップＳ５６）。画素加算２Ｄ撮影モードでは、記録する２Ｄ画像の解像度を、例えば高解像度２Ｄ撮影モードの１／２に設定する。
【０１７９】
３Ｄ撮影モードでは、左画像および右画像の各々に対し、通常のベイヤ処理を行なう。
【０１８０】
画素加算２Ｄ撮影モード処理では、全画素に対し、加算平均処理を行なうことで、視差に起因するパタンノイズの発生を抑える。
【０１８１】
本例では、高解像度平面（２Ｄ）画像を生成する高解像度２Ｄ撮影モード、高解像度平面画像よりも解像度が低い画素加算平面（２Ｄ）画像を生成する低解像度（画素加算）２Ｄ撮影モード、および、３Ｄ画像（立体視画像）を生成する３Ｄ撮影モードを有し、高解像度２Ｄ撮影モードが設定されている場合に、高解像度平面画像が生成される。
【０１８２】
本発明は、図２２に示した場合には特に限定されず、高解像度平面画像を生成する２Ｄ画像撮影モード、および、３Ｄ画像を生成する３Ｄ撮影モードを有し、２Ｄ撮影モードが設定されているときに、高解像度平面画像を生成するようにしてもよい。
【０１８３】
図２３は、撮像素子１６により低解像度（画素加算）２Ｄ画像を撮像する場合の説明図である。画素加算２Ｄ撮影モードの場合には、Ａ群とＢ群のペアとなる同色２画素の撮像信号を画素加算して撮像素子１６から出力させる。
【０１８４】
図２３に長円で示すペア画素の信号電荷を、撮像素子１６で画素加算（信号電荷同士を加算）してから撮像信号に変換して出力することで、ペア画素の撮像信号同士を加算したのに相当する撮像信号を、ペアの総数と同じ数だけ得ることができ、これら撮像信号の集合である撮像画像信号を処理して２Ｄの撮像画像データを得ることが可能となる。
【０１８５】
若しくは、 Ａ群の全画素の撮像画像信号を読み出し、 Ｂ群の全画素の撮像画像信号を読み出し、デジタル信号処理部２４（画像処理部）で、ペア画素から得られた撮像信号の画素加算（撮像信号同士を加算）を行い、画素加算後の撮像画像信号を処理して２Ｄの撮像画像データを得ることもできる。
【０１８６】
Ａ群の撮像画像信号とＢ群の撮像画像信号は、左右のボケ画像の位置がＡ群とＢ群でずれるため、これらをそのまま２Ｄ画像として表示すると偽解像（二重像）が生じる。しかし、実施形態の様に画素加算（撮像素子１６内で信号電荷の状態で加算する場合とデジタル信号処理部２４（画像処理部）内で撮像信号の状態で加算する場合を含む）を行うと、ボケ部分が加算によって合成され、Ａ群、Ｂ群画素の区別のない１枚の画像となり、高品質な２Ｄ画像を取得することが可能となる。
【０１８７】
また、低解像度２Ｄ撮影モード時には、液晶シャッタ１１５の全面が透過領域となるため、ペア画素の画素加算後の入射角感度特性は図１３の符号Ｔ４に示したようになり、デフォーカス像が分離せず、高品質な２Ｄ画像を取得することが可能となる。
【０１８８】
＜撮像素子のバリエーション＞
次に、撮像素子１６の各種バリエーションについて、説明する。
【０１８９】
まず、図２に示した撮像素子１６について説明を加えておく。
【０１９０】
図２５は、図２Ａの各画素ＰＤａ，ＰＤｂに積層されたカラーフィルタの配列だけを記載した図である。図２５に示す「Ｒ」「ｒ」「Ｇ」「ｇ」「Ｂ」「ｂ」はカラーフィルタの色（Ｒ、ｒ＝赤、 Ｇ，ｇ＝緑、Ｂ、ｂ＝緑）を示している。Ｒ，ｒの色の区別はなく、Ｇ，ｇとＢ，ｂも同様である。この撮像素子１６では、奇数行の画素行にある全ての主画素ＰＤａ(以下、「Ａ群」ともいう)の上方にはＲＧＢのカラーフィルタがベイヤ配列され、偶数行の画素行にある全ての副画素ＰＤａ(以下、「Ｂ群」という)の上方にはｒｇｂのカラーフィルタがベイヤ配列されている。図２５に示す撮像素子１６では、同一面に平均的に混在して設けられるＡ群の画素とＢ群の画素は、各画素が１対１に対応して設けられるため、Ａ群の画素数、Ｂ群の画素数は同一となる。カラーフィルタの上（各画素１３３の上）には、夫々、マイクロレンズが積層され、また、各画素１３３の受光面の上部（カラーフフィルタの下）には遮光部材開口（図４Ｂの１６Ｂ）遮光部材開口が設けられるが、これらは、図２５では図示を省略している。
【０１９１】
図２６は、各画素の上方にあるマイクロレンズ(円形) １３８と遮光部材開口との位置関係を示す図である。Ａ群の画素においては、マイクロレンズ１３８（図４ＢのＬ）に対して、遮光部材開口１３３ａ（図４Ｂの１６Ｂ）を、マイクロレンズ中心に対して左側(被写体側から撮像素子１６を視た場合)に偏心して設けている。また、Ｂ群の画素においては、マイクロレンズ１３８に対して、遮光部材開口１３３ｂを、マイクロレンズ中心に対して右側に偏心して設けている。
【０１９２】
Ａ群とＢ群とは、画素ピッチの１／２だけ垂直方向Ｙ及び水平方向Ｘに互いにずれているため、同色画素（Ｒとｒ、 Ｇとｇ、 Ｂとｂ)が斜めに隣接する配置となっている。斜めに最隣接する同色２画素をペア画素とした場合、ペア画素の一方の遮光部材開口１３３ａは左側に偏心し、他方の遮光部材開口１３３ｂは右側に偏心していることになる。このように、ペア画素を構成する一方の画素と他方の画素とは、マイクロレンズ１３８の中心に対して遮光部材開口が互いに逆方向にずれているため、撮影光学系を通して入射してくる同一被写体からの光の入射角が互いに逆方向となる様に制限されることになる。この結果、撮像素子１６を用いて被写体を撮影した場合、遮光部材開口１３３ａを通して受光されたＡ群の撮像画像信号は右眼で被写体を視たものとなり、遮光部材開口１３３ｂを通して受光されたＢ群の撮像画像信号は左眼で被写体を視たものとなり、Ａ群の撮像画像信号とＢ群の撮像画像信号とで、視差が生じることになる。
【０１９３】
被写体のうちＡ群の画素とＢ群の画素で合焦する部分は、同じ位置で合焦状態となりＡ群の画素、Ｂ群の画素の夫々に結像する。被写体のうち合焦状態とならない部分はＡ群の画素(右眼画像)とＢ群の画素(左眼画像)で左右にずれた位置にボケ像が作られる。このボケ像が、合焦距離に対する被写体距離の差に応じて左右のずれ量(視差)として変わってくるため、Ａ群の撮像画像信号とＢ群の撮像画像信号を左右の撮像画像信号とすることで、単一の撮影光学系と単一の撮像素子で、立体画像の撮像が可能となる。
【０１９４】
立体画像を再生する場合、図１２のデジタル信号処理部２４（画像処理部）は、Ａ群の撮像画像信号から１枚の右眼用撮像画像データを生成し記録メディア５４（メモリカード）に保存すると共にＬＣＤ３０（表示部）に右眼用撮像画像データを表示させ、Ｂ群の撮像画像信号から１枚の左眼用撮像画像データを生成し記録メディア５４（メモリカード）に保存すると共にＬＣＤ３０（表示部）に左眼用撮像画像データを表示させ、被写体の立体画像をＬＣＤ３０（表示部）に表示させる。
【０１９５】
また、実施形態の撮像素子１６では、図２５のカラーフィルタ配列をとっているため、Ａ群の撮像画像信号とＢ群の撮像画像信号を画素加算した後の２Ｄの撮像画像信号の色配列はベイヤ配列となり、既存のベイヤ配列用の画像処理技術を利用可能となり、画像処理が容易となる。
【０１９６】
図２５で説明した実施形態では、奇数行の画素が偶数行の画素に対して１／２画素ピッチずつずらした画素配列(所謂、ハニカム画素配列)となっているが、画素配列が正方配列であっても良い。
【０１９７】
図２７は、画素加算の平面画像にて二重像発生（偽解像発生）を更に低減させるために、Ａ群とＢ群とで画素の受光領域をオーバーラップさせた画素配列を有した撮像素子１６を示す。この撮像素子１６は、Ａ群（第１の画素群）およびＢ群（第２の画素群）がそれぞれ平面視においてＸ方向とこれに直交するＹ方向に二次元状に配列され、Ａ群の画素とＢ群の画素とがＹ方向にて受光領域１３３ａ、１３３ｂを千鳥状且つ重なるように配置されている。
【０１９８】
図２８ＡまたはＢに配列の一部を模式的に示す正方配列であってもよい。具体的には、偶数列全体としての画素配列（主画素配列）および奇数列全体としての画素配列（副画素配列）がいずれも正方配列である、ダブルの正方配列となっている。図２８ＡおよびＢにおいて、Ｒ、Ｇ，Ｂは、それぞれ赤、緑、青のフィルタを有する撮像画素であって、互いに隣接するＲ−Ｒ、Ｇ−Ｇ、Ｂ−Ｂの二つの画素（即ち近傍の同色画素）により画素ペアが構成されている。画素ペアのうち一方の画素信号により左画像の画素が構成され、他方の画素信号により右画像の画素が構成される。
【０１９９】
図２９は、正方配列の撮像素子１６にて、Ａ群とＢ群とで画素の受光領域をオーバーラップさせた画素配列とした場合を示す。図２９に示す場合でも、図２７に示した場合と同様に、Ａ群およびＢ群がそれぞれ平面視においてＸ方向とこれに直交するＹ方向に二次元状に配列され、Ａ群の画素とＢ群の画素とがＹ方向にて受光領域１３３ａ、１３３ｂを千鳥状且つ重なるように配置されている。
【０２００】
また、上述した実施形態では、図２６に示したように、ペア画素の遮光部材開口を互いに左右の反対方向に偏心させることで、ペア画素を瞳分割して視差のある２つの撮像画像信号を得られるようにしている。しかし、瞳分割は、遮光部材開口を偏心させなくても実現できる。例えば、ペア画素の遮光部材の開口を各画素の受光面全面で開口させる。更に、ペア画素に対して、長円(楕円)形の１つのマイクロレンズを搭載し、同一被写体からの入射角の異なる入射光(撮影光学系の異なる瞳領域を通過した光)がペア画素の夫々に入射されるようにすればよい。
【０２０１】
また、液晶シャッタ１１５に形成する遮光領域（非透過領域）は、横撮りであるか縦撮りであるかにより、形成される方向を異ならせてもよい。
【０２０２】
例えば、図３０に画素配列の一部を示す撮像素子１６を採用し、横撮りの場合には図３１Ａに示すように液晶シャッタ１１５に非透過領域１１５ａを形成し、縦撮りの場合には図３１Ｂに示すように液晶シャッタ１１５に非透過領域１１５ａを形成するようにしてもよい。また、図３２に示すように液晶シャッタ１１５に非透過領域１１５ａを形成するようにしてもよい。
【０２０３】
なお、本発明において、瞳分割の方式は、図３〜図４に示した瞳分割用の遮光部材１６Ａを用いる態様には特に限定されない。例えば、マイクロレンズＬおよびフォトダイオードＰＤのうちで少なくとも一方の配置や形状に依り瞳分割する態様でもよいし、機械的な絞り１４により瞳分割する態様でも。それ以外の態様でもよい。
【０２０４】
また、撮像素子１６は、ＣＣＤ撮像素子に特に限定されない。例えば、ＣＭＯＳ撮像素子であってもよい。
【０２０５】
また、前述の実施形態において、判定に用いる規定値は、例えば、モニタサイズ（表示画面のサイズ）、モニタ解像度（表示画面の解像度）、観視距離（表示画面を見る距離）、ユーザの立体視融合限界（個人差がある）などの算出条件に基づいて、ＣＰＵ４０により算出される。これらの算出条件の設定は、ユーザ設定および自動設定のいずれでもよい。ユーザ設定の場合には、操作部３８により設定操作が行われ、その設定内容がＥＥＰＲＯＭ５６に記憶される。モニタサイズおよびモニタ解像度（表示画面の解像度）は、モニタ（図１のＬＣＤ３０）等から情報を自動的に取得してもよい。また、ユーザ設定されなかった算出条件（または自動取得できなかった算出条件）については、標準的な条件を適用してもよい。
【０２０６】
また、瞳分割は、図２〜図４に示したような撮像素子１６（主画素と副画素とが互いに近接して配置されている構造）を用いる場合には、特に限定されない。例えば、図３５に示すように、メインレンズ１及びリレーレンズ２の左右異なる領域を通過した光束をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像するようにしてもよい。つまり、光学部材（ミラー４）により瞳分割された光束をそれぞれ受光する第１の画素群を有した第１の撮像素子７および第２の画素群を有した第２の撮像素子８を備えた撮像装置としてもよい。図３５に示した構成にも本発明を適用できる。
【０２０７】
また、電荷結合素子(ＣＣＤ)を信号読出回路とした撮像素子１６を説明したが、信号読出回路がCMOS型等のトランジスタ回路を用いた撮像素子も適用可能である。
【０２０８】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【０２０９】
本明細書にて、発明の理解を容易にするために、各種の実施形態に分けて説明したが、本発明は、これらを単独で実施する場合に特に限定されず、複数の実施形態を組み合わせて実施する場合も含まれる。
【符号の説明】
【０２１０】
１０…撮像装置、１２…撮影レンズ、１４…絞り、１５…ＮＤフィルタ（減光フィルタ）、１６…撮像素子、４０…ＣＰＵ、６２…撮影モード設定制御部、６４…ＡＥ制御部（被写体輝度取得手段）、６６…ＡＦ制御部（被写体距離取得手段）、６８…撮影実行制御部、７０…絞り制御部、７２…焦点距離取得部、７４…視差情報取得部、１１５…液晶シャッタ、１３１…液晶シャッタ駆動部
【図１】
0005628913.tif 000002
【図２】
0005628913.tif 000003
【図３】
0005628913.tif 000004
【図４】
0005628913.tif 000005
【図５】
0005628913.tif 000006
【図６】
0005628913.tif 000007
【図７】
0005628913.tif 000008
【図８】
0005628913.tif 000009
【図９】
0005628913.tif 000010
【図１０】
0005628913.tif 000011
【図１１】
0005628913.tif 000012
【図１２】
0005628913.tif 000013
【図１３】
0005628913.tif 000014
【図１４】
0005628913.tif 000015
【図１５】
0005628913.tif 000016
【図１６】
0005628913.tif 000017
【図１７】
0005628913.tif 000018
【図１８】
0005628913.tif 000019
【図１９】
0005628913.tif 000020
【図２０】
0005628913.tif 000021
【図２１】
0005628913.tif 000022
【図２２】
0005628913.tif 000023
【図２３】
0005628913.tif 000024
【図２４】
0005628913.tif 000025
【図２５】
0005628913.tif 000026
【図２６】
0005628913.tif 000027
【図２７】
0005628913.tif 000028
【図２８】
0005628913.tif 000029
【図２９】
0005628913.tif 000030
【図３０】
0005628913.tif 000031
【図３１】
0005628913.tif 000032
【図３２】
0005628913.tif 000033
【図３３】
0005628913.tif 000034
【図３４】
0005628913.tif 000035
【図３５】
0005628913.tif 000036