"単一の撮影光学系、および、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第1の画素群および第2の画素群を有する撮像素子を備え、前記第1の画素群および前記第2の画素群により同一のシーンを撮像して、前記第1の画素群および前記第2の画素群によりそれぞれ生成された第1の平面画像および第2の平面画像からなる立体視画像を取得する立体撮影と、前記第1の平面画像および第2の平面画像から一枚の平面画像を取得する平面撮影とを実行可能な撮像装置であって、前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段と、前記光路中に配置された絞りと、被写体輝度を取得する被写体輝度取得手段と、前記立体撮影時には、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、前記絞りの絞り値を前記立体撮影時の絞り値よりも大きくする制御手段と、を備えたことを特徴とする撮像装置。前記第1の画素群と前記第2の画素群は2次元に配列されている受光素子からなり、前記撮像素子には前記第1の画素群の各画素と前記第2の画素群の各画素とが互いに隣接して配置されていることを特徴とする請求項1に記載の撮像装置。前記撮影光学系を通過した光束を分割する光学部材を備え、前記撮像素子は、前記光学部材により瞳分割された光束をそれぞれ受光する前記第1の画素群を有した第1の撮像素子と前記第2の画素群を有した第2の撮像素子とによって構成されていることを特徴とする請求項1に記載の撮像装置。前記制御手段は、前記立体撮影時には、前記絞りを開放状態に設定し、前記平面撮影時には、前記絞りを前記開放状態よりも絞ることを特徴とする請求項1から3のうちいずれか1項に記載の撮像装置。前記減光手段は、前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタであり、前記制御手段は、前記立体撮影時には、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光フィルタを前記光路中に挿入した挿入状態にするか否かを制御することを特徴とする請求項1から4のうちいずれか1項に記載の撮像装置。前記制御手段は、前記立体撮影時に、前記被写体輝度が閾値よりも大きい場合には、前記減光フィルタを挿入状態にし、前記被写体輝度が閾値以下の場合には、前記減光フィルタを非挿入状態にすることを特徴とする請求項5に記載の撮像装置。前記減光手段は、前記絞りの開口の一部を遮蔽する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記撮像素子の水平方向及び垂直方向の少なくとも一方に均等に二分割するように前記絞りの開口の一部を遮蔽する遮蔽部であり、前記制御手段は、前記遮蔽部を制御し、前記立体撮影時には、前記遮蔽部により前記絞りの開口の少なくとも一部を遮蔽した遮蔽状態に設定し、前記平面撮影時には、前記遮蔽部により前記絞りの開口を遮蔽しない非遮蔽状態に設定することを特徴とする請求項1から4のうちいずれか1項に記載の撮像装置。前記制御手段は、前記立体撮影時に、前記遮蔽部により遮蔽される前記絞りの開口の遮蔽領域の大きさを、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて変更することを特徴とする請求項7に記載の撮像装置。被写体距離を取得する被写体距離取得手段を備え、前記制御手段は、前記平面撮影時に、前記被写体距離取得手段により取得された前記被写体距離に基づいて、前記絞りを開放状態にするか否かを制御することを特徴とする請求項1ないし8のうちいずれか1項に記載の撮像装置。前記制御手段は、前記平面撮影時に、前記被写体距離が閾値よりも大きい場合には、前記絞りを開放状態にすることを特徴とする請求項9に記載の撮像装置。前記撮影光学系の焦点距離を取得する焦点距離取得手段を備え、前記制御手段は、前記平面撮影時に、前記焦点距離取得手段により取得された前記焦点距離に基づいて、前記絞りを開放状態にするか否かを制御することを特徴とする請求項1ないし8のうちいずれか1項に記載の撮像装置。前記制御手段は、前記平面撮影時に、前記焦点距離が閾値よりも大きい場合には、前記絞りを開放状態にすることを特徴とする請求項11に記載の撮像装置。前記撮像素子により得られた立体視画像を構成する前記第1の平面画像と前記第2の平面画像との視差量を算出するとともに、前記立体視画像における近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得する視差情報取得手段を備え、前記制御手段は、前記平面撮影時に、前記視差情報作成手段により取得された前記視差範囲に基づいて、前記絞りを開放状態にするか否かを制御することを特徴とする請求項1ないし8のうちいずれか1項に記載の撮像装置。前記平面撮影時に、前記取得された視差範囲が閾値よりも小さい場合には、前記絞りを開放状態にし、前記取得された視差範囲が閾値以上である場合には、前記絞りの絞り値を立体撮影時の絞り値よりも大きくすることを特徴とする請求項13に記載の撮像装置。撮影指示の入力を受け付ける指示入力手段を備え、前記視差情報取得手段は、前記指示入力手段に撮影指示が入力される前に前記撮像素子により撮像された立体視画像から前記視差範囲を算出することを特徴とする請求項13または14に記載の撮像装置。前記制御手段は、前記撮影指示が入力される前の撮像時に、前記絞りを開放状態にすることを特徴とする請求項15に記載の撮像装置。前記制御手段は、前記平面撮影時に、前記絞りを開放状態にした場合には、前記被写体輝度取得手段により取得された前記被写体輝度に基づいて、前記減光手段により減光するか否かを切り替えることを特徴とする請求項1ないし16のうちいずれか1項に記載の撮像装置。前記平面撮影時には、前記第1の平面画像および第2の平面画像を合成して前記第1および第2の平面画像よりも高解像度の一枚の高解像度平面画像を取得することを特徴とする請求項1から17のうちいずれか1項に記載の撮像装置。前記平面撮影時には、前記第1の平面画像と第2の平面画像とで互いに隣接する画素の撮像信号を加算して前記第1および第2の平面画像と同じ解像度の一枚の平面画像を取得することを特徴とする請求項1から17のうちいずれか1項に記載の撮像装置。前記撮像素子は、前記第1の画素群および第2の画素群がそれぞれ平面視において第1の方向とこれに直交する第2の方向に二次元状に配列され、前記第1及び第2の方向のうち少なくとも一方の方向から見たときに、前記第1の画素群の画素とこれに離間して対応する前記第2の画素群の画素とで、受光領域の一部が重なって見えるようにオーバーラップして配置されていることを特徴とする請求項19に記載の撮像装置。単一の撮影光学系、前記単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第1の画素群および第2の画素群を有する撮像素子、前記撮影光学系から前記撮像素子に入射する光量を減らすことが可能な減光手段、および、前記光路中に配置された絞りを用い、前記第1の画素群および前記第2の画素群により同一のシーンを撮像して、前記第1の画素群および前記第2の画素群によりそれぞれ生成された第1の平面画像および第2の平面画像からなる立体視画像を取得する立体撮影と、前記第1の平面画像および第2の平面画像から一枚の平面画像を取得する平面撮影とを実行可能な撮像方法であって、被写体輝度を取得し、前記立体撮影時には、取得した前記被写体輝度に基づいて、前記減光手段により前記撮像素子に達する光量を減らすか否かを制御し、前記平面撮影時には、前記絞りの絞り値を前記立体撮影時の絞り値よりも大きくすることを特徴とする撮像方法。前記立体撮影時には、前記絞りを開放状態に設定し、前記平面撮影時には、前記絞りを前記開放状態よりも絞ることを特徴とする請求項21に記載の撮像方法。前記減光手段は、前記撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタであり、前記立体撮影時には、前記取得された被写体輝度に基づいて、前記減光フィルタを前記光路中に挿入した挿入状態にするか否かを制御することを特徴とする請求項21または22に記載の撮像方法。前記立体撮影時に、前記被写体輝度が閾値よりも大きい場合には、前記減光フィルタを挿入状態にし、前記被写体輝度が閾値以下の場合には、前記減光フィルタを非挿入状態にすることを特徴とする請求項23に記載の撮像方法。前記減光手段は、前記絞りの開口の一部を遮蔽する遮蔽部であって、光軸方向に見た前記絞りの開口を、前記撮像素子の水平方向及び垂直方向の少なくとも一方に均等に二分割するように前記絞りの開口の一部を遮蔽する遮蔽部からなり、前記立体撮影時には、前記遮蔽部により前記絞りの開口の少なくとも一部を遮蔽した遮蔽状態に設定し、前記平面撮影時には、前記遮蔽部により前記絞りの開口を遮蔽しない非遮蔽状態に設定することを特徴とする請求項21または22に記載の撮像方法。前記立体撮影時に、前記遮蔽部により遮蔽される前記絞りの開口の遮蔽領域の大きさを、前記取得された前記被写体輝度に基づいて変更することを特徴とする請求項25に記載の撮像方法。被写体距離を取得し、前記平面撮影時に、前記取得された被写体距離に基づいて、前記絞りを開放状態にするか否かを制御することを特徴とする請求項21から26のうちいずれか1項に記載の撮像方法。前記平面撮影時に、前記被写体距離が閾値よりも大きい場合には、前記絞りを開放状態にすることを特徴とする請求項27に記載の撮像方法。前記撮影光学系の焦点距離を取得し、前記平面撮影時に、前記取得された焦点距離に基づいて、前記絞りを開放状態にするか否かを制御することを特徴とする請求項21から26のうちいずれか1項に記載の撮像方法。前記平面撮影時に、前記取得された焦点距離が閾値よりも小さい場合には、前記絞りを開放状態にすることを特徴とする請求項29に記載の撮像方法。前記撮像素子により得られた立体視画像を構成する前記第1の平面画像と前記第2の平面画像との視差量を算出するとともに、近側の視差量の最大値と遠側の視差量の最大値との範囲を示す視差範囲を取得し、前記平面撮影時に、前記取得された視差範囲に基づいて、前記絞りを開放状態にするか否かを制御することを特徴とする請求項21ないし26のうちいずれか1項に記載の撮像方法。前記平面撮影時に、前記取得された視差範囲が閾値よりも小さい場合には、前記絞りを開放状態にすることを特徴とする請求項31に記載の撮像方法。前記平面撮影時に、前記絞りを開放状態にした場合には、前記取得された被写体輝度に基づいて、前記減光手段により減光するか否かを切り替えることを特徴とする請求項21から32のうちいずれか1項に記載の撮像方法。しかしながら、単一の撮影光学系を用いて複数視点の平面画像からなる立体視画像を生成可能な撮像装置以下単眼3D撮像装置というでは、複数視点の平面画像から一枚の高解像度画像を生成しようとすると、高解像度平面画像のうちで非合焦部分に段差状のパターンが発生してしまう。このような段差状のパターンの発生のしくみについて、以下説明する。まず、図33Aを用いて、瞳分割をしない単眼撮像装置により3つの被写体91、92、93を撮像した場合について、説明しておく。撮像素子16に結像された3つの像91a、92a、93aのうち、撮像素子16で焦点が合うのは、合焦面D上にある被写体92の像92aだけである。被写体91の撮影レンズ12からの距離は合焦面Dよりも遠く、その合焦像91dは撮像素子16よりも撮影レンズ12に近いところに形成されるので、被写体91の像91aは焦点が合わずにぼやけた像、すなわちボケた像となる。また、被写体93の撮影レンズ12からの距離は合焦面Dよりも近く、その合焦像93dは撮像素子16よりも撮影レンズ12から遠いところに形成されるので、被写体93の像93aも焦点が合わずにボケた像となる。次に、瞳分割の単眼3D撮像装置により3つの被写体91、92、93を撮像した場合について、説明する。本例の単眼3D撮像装置では、図33Bに示すように撮影レンズ12の瞳をシャッタ95によって上方のみに制限した状態と、図33Cに示すように撮影レンズ12の瞳をシャッタ95によって下方のみに制限した状態とがある。このような単眼3D撮像装置における撮像素子16上の像のボケ量像の焦点が合っていない量および位置は、図33Aに示した単眼撮像装置と異なる。即ち、図33Bに示した状態では、図34Bに示すように、被写体91の像91bは、瞳分割なしの場合図34Aの被写体91の像91aと比較して、ボケ量が小さくなり且つ位置が図中の下側に移動する。また、被写体93の像93bは、ボケ量が小さくなり且つ位置が図中の上側に移動する。図33Cに示した状態では、図34Cに示すように、被写体91の像91cは、瞳分割なしの場合図34Aの被写体91の像91aと比較して、ボケ量が小さくなり且つ位置が図中の上側に移動する。また、被写体93の像93cは、ボケ量が小さくなり且つ位置が図中の下側に移動する。このような単眼3D撮像装置において、高解像度平面画像を生成するために、図34Bに示した画像と図34Cに示した画像とを合成すると、像91bと像91c、像93bと像93cとで、結像位置がズレていることに因り、段差状のパターンが発生してしまう。即ち、高解像度平面画像の撮影の際、同一被写体からの光束が撮影レンズ12の異なる瞳位置を通過することで、同一被写体の像が撮像素子16の異なる位置に結像し、視差に起因した段差状のパターンが発生するという問題がある。このようなパターンの発生を本明細書では偽解像の発生という。特許文献1~5には、視差に起因した偽解像を解消することができる構成について、開示がない。なお、特許文献4に記載の構成では、単純に近傍画素同士で画素加算を行なうだけなので、合焦した主要被写体の解像度が画素加算により低下してしまうという問題がある。例えば、2画素混合の場合には、解像度が1/2に低下してしまうことになる。また、特許文献5に記載の構成では、複眼方式であるため、小絞りにしても偽解像は発生せず、また、絞りを切り替えないことに主眼が置かれている。本発明はこのような事情に鑑みてなされたもので、立体視画像における視差を維持しつつ、平面画像の品質を向上させることができる撮像装置および撮像方法を提供することを目的とする。前記目的を達成するために、本発明は、単一の撮影光学系、および、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第1の画素群および第2の画素群を有する撮像素子を備え、第1の画素群および第2の画素群により同一のシーンを撮像して、第1の画素群および第2の画素群によりそれぞれ生成された第1の平面画像および第2の平面画像からなる立体視画像を取得する立体撮影と、第1の平面画像および第2の平面画像から一枚の平面画像を取得する平面撮影とを実行可能な撮像装置であって、撮影光学系から撮像素子に入射する光量を減らすことが可能な減光手段と、光路中に配置された絞りと、被写体輝度を取得する被写体輝度取得手段と、立体撮影時には、被写体輝度取得手段により取得された被写体輝度に基づいて、減光手段により撮像素子に達する光量を減らすか否かを制御し、平面撮影時には、絞りの絞り値を立体撮影時の絞り値よりも大きくする制御手段と、を備えたことを特徴とする撮像装置を提供する。即ち、立体撮影時には、被写体輝度に基づいて撮像素子に達する光量を減らすか否かを制御し、平面撮影時には、絞りの絞り値を立体撮影時の絞り値よりも大きくして第1および第2の平面画像間の結像位置を近づけるので、立体視画像における視差を維持しつつ、平面画像の偽解像発生を解消して品質を向上させることが可能となる。本発明の一実施形態では、第1の画素群と第2の画素群は2次元に配列されている受光素子からなり、撮像素子には第1の画素群の各画素と第2の画素群の各画素とが互いに隣接して配置されていることが好ましい。本発明の一実施形態では、撮影光学系を通過した光束を分割する光学部材を備え、撮像素子は、光学部材により瞳分割された光束をそれぞれ受光する第1の画素群を有した第1の撮像素子と第2の画素群を有した第2の撮像素子とによって構成されていることが好ましい。本発明の一実施形態では、制御手段は、立体撮影時には、絞りを開放状態に設定し、平面撮影時には、絞りを開放状態よりも絞ることが好ましい。本発明の一実施形態では、減光手段は、撮像素子に入射する光束が通過する光路中に挿入可能である減光フィルタであり、制御手段は、立体撮影時には、被写体輝度取得手段により取得された被写体輝度に基づいて、減光フィルタを光路中に挿入した挿入状態にするか否かを制御することが好ましい。本発明の一実施形態では、制御手段は、立体撮影時に、被写体輝度が閾値よりも大きい場合には、減光フィルタを挿入状態にし、被写体輝度が閾値以下の場合には、減光フィルタを非挿入状態にすることが好ましい。本発明の一実施形態では、減光手段は、絞りの開口の一部を遮蔽する遮蔽部であって、光軸方向に見た絞りの開口を、撮像素子の水平方向及び垂直方向の少なくとも一方に均等に二分割するように絞りの開口の一部を遮蔽する遮蔽部であり、制御手段は、遮蔽部を制御し、立体撮影時には、遮蔽部により絞りの開口の少なくとも一部を遮蔽した遮蔽状態に設定し、平面撮影時には、遮蔽部により絞りの開口を遮蔽しない非遮蔽状態に設定することが好ましい。本発明の一実施形態では、制御手段は、立体撮影時に、遮蔽部により遮蔽される絞りの開口の遮蔽領域の大きさを、被写体輝度取得手段により取得された被写体輝度に基づいて変更することが好ましい。なお、減光手段および絞りは、撮影光学系と撮像素子との間に配置されている場合には限定されず、撮影光学系が複数のレンズレンズ群によって構成され、減光手段および絞りのうち少なくとも一方がレンズ群の中に配置されている場合もある。本発明の一実施形態では、被写体距離を取得する被写体距離取得手段を備え、制御手段は、平面撮影時に、被写体距離取得手段により取得された被写体距離に基づいて、絞りを開放状態にするか否かを制御することが好ましい。本発明の一実施形態では、制御手段は、平面撮影時に、被写体距離が閾値よりも大きい場合には、絞りを開放状態にすることが好ましい。即ち、平面撮影でも被写体距離が大きい場合には第1および第2の平面画像間で結像ずれが少ないため、絞りによる回析を回避して高品質の画質を得ることができる。本発明の一実施形態では、撮影光学系の焦点距離を取得する焦点距離取得手段を備え、制御手段は、平面撮影時に、焦点距離取得手段により取得された焦点距離に基づいて、絞りを開放状態にするか否かを制御することが好ましい。本発明の一実施形態では、制御手段は、平面撮影時に、焦点距離が閾値よりも大きい場合には、絞りを開放状態にすることが好ましい。即ち、平面撮影でも撮影光学系の焦点距離が短い場合には第1および第2の平面画像間で結像ずれが少ないため、絞りによる回析を回避して高品質の画質を得ることができる。本発明の一実施形態では、撮像素子により得られた立体視画像を構成する第1の平面画像と第2の平面画像との視差量を算出するとともに、立体視画像における近側の最大視差量と遠側の最大視差量との差を示す視差範囲を取得する視差情報取得手段を備え、制御手段は、平面撮影時に、視差情報作成手段により取得された視差範囲に基づいて、絞りを開放状態にするか否かを制御することが好ましい。なお、ここでいう近側とは、撮像装置に対し近位にある側を言うものであり、一方、遠側とは、撮像装置から被写体に向かって離間する側であって、撮像装置に対し遠位にある側をいうものである。本発明の一実施形態では、平面撮影時に、取得された視差範囲が閾値よりも小さい場合には、絞りを開放状態にし、取得された視差範囲が閾値以上である場合には、絞りの絞り値を立体撮影時の絞り値よりも大きくすることが好ましい。本発明の一実施形態では、撮影指示の入力を受け付ける指示入力手段を備え、視差情報取得手段は、指示入力手段に撮影指示が入力される前に撮像素子により撮像された立体視画像から視差範囲を算出することが好ましい。本発明の一実施形態では、制御手段は、撮影指示が入力される前の撮像時に、絞りを開放状態にすることが好ましい。本発明の一実施形態では、制御手段は、平面撮影時に、絞りを開放状態にした場合には、被写体輝度取得手段により取得された被写体輝度に基づいて、減光手段により減光するか否かを切り替えることが好ましい。本発明の一実施形態では、平面撮影時には、第1の平面画像および第2の平面画像を合成して第1および第2の平面画像よりも高解像度の一枚の高解像度平面画像を取得することが好ましい。本発明の一実施形態では、平面撮影時には、第1の平面画像と第2の平面画像とで互いに隣接する画素の撮像信号を加算して第1および第2の平面画像と同じ解像度の一枚の平面画像を取得することが好ましい。本発明の一実施形態では、撮像素子は、第1の画素群および第2の画素群がそれぞれ平面視において第1の方向とこれに直交する第2の方向に二次元状に配列され、第1及び第2の方向のうち少なくとも一方の方向から見たときに、第1の画素群の画素とこれに離間して対応する第2の画素群の画素とで、受光領域の一部が重なって見えるようにオーバーラップして配置されていることが好ましい。また、本発明は、単一の撮影光学系、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する第1の画素群および第2の画素群を有する撮像素子、撮影光学系から撮像素子に入射する光量を減らすことが可能な減光手段、および、光路中に配置された絞りを用い、第1の画素群および第2の画素群により同一のシーンを撮像して、第1の画素群および第2の画素群によりそれぞれ生成された第1の平面画像および第2の平面画像からなる立体視画像を取得する立体撮影と、第1の平面画像および第2の平面画像から一枚の平面画像を取得する平面撮影とを実行可能な撮像方法であって、被写体輝度を取得し、立体撮影時には、取得した被写体輝度に基づいて、減光手段により撮像素子に達する光量を減らすか否かを制御し、平面撮影時には、絞りの絞り値を立体撮影時の絞り値よりも大きくすることを特徴とする撮像方法を提供する。本発明によれば、立体視画像における視差を維持しつつ、平面画像の品質を向上させることができる。以下、添付図面に従って、本発明の実施形態について、詳細に説明する。<撮像装置の全体構成>図1は本発明に係る撮像装置10の実施の形態を示すブロック図である。この撮像装置10は、撮像した画像を記録メディア54に記録するもので、装置全体の動作は、中央処理装置CPU40によって統括制御される。撮像装置10には、シャッタボタン、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキー等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置10の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、立体表示用の液晶モニタ30の表示制御などを行う。シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、2D平面撮影モード、3D立体撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。再生ボタンは、撮影記録した立体視画像3D画像、平面画像2D画像の静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。MENU/OKキーは、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタンカーソル移動操作手段として機能する。また、十字キーの上/下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り順方向/逆方向送りボタンとして機能する。BACKキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせる時などに使用される。撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影レンズ12撮影光学系、絞り14を介して固体撮像素子である撮像素子16の受光面に結像される。撮影レンズ12は、CPU40によって制御されるレンズ駆動部36によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り14は、撮像素子16に入射する光束が通過する光路13中に配置され、例えば、5枚の絞り羽根からなる。絞り14は、CPU40によって制御される絞り駆動部34によって駆動され、例えば、絞り値F14~F11まで1AV刻みで6段階に絞り制御される。なお、図1には、撮影レンズ12と撮像素子16と間に絞り14を配置した場合を示したが、このような場合に特に限定されない。撮影レンズ12が複数のレンズあるいは複数のレンズ群によって構成され、撮影レンズ12の中に絞り14が配置されている場合もある。NDフィルタ15減光フィルタは、撮像素子16に入射する光量を減少させるデバイスであり、撮像素子16に入射する光束が通過する光路13中に挿入可能である。なお、図1には、撮影レンズ12と撮像素子16との間にNDフィルタ15を配置した場合を示したが、このような場合に特に限定されない。撮影レンズ12が複数のレンズあるいは複数のレンズ群によって構成され、撮影レンズ12の中にNDフィルタ15が配置されている場合もある。NDフィルタ15は、フィルタ挿抜駆動部33により、光路13中に挿入された挿入状態と、光路13から外れた非挿入状態とが切り替えられる。NDフィルタ15の枚数は、特に限定されない。複数枚例えば5枚のフィルタにより構成されていてもよい。CPU40は、撮像素子制御部32を介して撮像素子16での電荷蓄積時間シャッタ速度や撮像素子16での画像信号の読み出しを制御する。また、CPU40は、フィルタ挿抜駆動部33を介して、NDフィルタ15の挿入状態および非挿入状態を切り替える。また、CPU40は、絞り駆動部34を介して絞り14を制御する。<単眼3D撮像素子の構成例>図2は撮像素子16の構成例を示す図である。撮像素子16は、それぞれマトリクス状に配列された奇数ラインの撮像画素以下主画素というと、偶数ラインの撮像画素以下副画素というとを有しており、これらの主、副画素にてそれぞれ光電変換された2面分の画像信号は、独立して読み出すことができるようになっている。図2に示すように撮像素子16の奇数ライン1、3、5、...には、R赤、G緑、B青のカラーフィルタを備えた画素のうち、GRGR...の画素配列のラインと、BGBG...の画素配列のラインとが交互に設けられ、一方、偶数ライン2、4、6、...の画素は、奇数ラインと同様に、GRGR...の画素配列のラインと、BGBG...の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が配列ピッチの2分の1ピッチだけライン方向にずれて配置されている。即ち、撮像素子16の画素配列は、ハニカム配列となっている。図3は撮影レンズ12、絞り14、及び撮像素子16の主画素PDa、副画素PDbの1画素ずつを示した図であり、図4は図3の要部拡大図である。図4Aに示すように通常の撮像素子の画素フォトダイオードPDには、射出瞳を通過する光束が、マイクロレンズLを介して制限を受けずに入射する。これに対し、撮像素子16の主画素PDa及び副画素PDbには遮光部材16Aが形成され、この遮光部材16Aにより主画素PDa、副画素PDbの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材16Aが瞳分割部材としての機能を有している。図4Aに示すように、主画素PDa群と副画素PDb群とは2次元に配列されている受光素子PDa、PDbからなり、撮像素子16には主画素PDaと副画素PDbとが互いに隣接して配置されている。尚、上記構成の撮像素子16は、主画素PDaと副画素PDbとでは、遮光部材16Aにより光束が制限されている領域右半分、左半分が異なるように構成されているが、これに限らず、遮光部材16Aを設けずに、マイクロレンズLとフォトダイオードPDPDa,PDbとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードPDに入射する光束が制限されるものでもよいし、また、2つの画素主画素と副画素に対して1つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。図1に戻って、撮像素子16に蓄積された信号電荷は、撮像素子制御部32から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子16から読み出された電圧信号は、アナログ信号処理部18に加えられ、ここで各画素ごとのR、G、B信号がサンプリングホールドされ、CPU40から指定されたゲインISO感度に相当で増幅されたのちA/D変換器20に加えられる。A/D変換器20は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲインコントロール処理、ガンマ補正処理、同時化処理、YC処理、コントラスト強調、輪郭補正等の所定の信号処理を行う。また、EEPROM56は、カメラ制御プログラム、撮像素子16の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図等が記憶されている不揮発性メモリである。ここで、図2B及びCに示すように、撮像素子16の奇数ラインの主画素から読み出される主画像データは、左視点の平面画像以下左画像というとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点の平面画像以下右画像というとして処理される。デジタル信号処理部24で処理された左画像及び右画像は、VRAM50に入力する。VRAM50には、それぞれが1コマ分の3D画像を表す3D画像データを記憶するA領域とB領域とが含まれている。VRAM50において1コマ分の3D画像を表す3D画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域及びB領域のうち、3D画像データが書き換えられている方の領域以外の領域から、書き込まれている3D画像データが読み出される。VRAM50から読み出された3D画像データはビデオエンコーダ28においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ30LCDに出力され、これにより3Dの被写体像が液晶モニタ30の表示画面上に表示される。この液晶モニタ30は、立体視画像左画像及び右画像をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左画像と右画像とを個別に見ることができるものでもよい。また、操作部38のシャッタボタンの第1段階の押下半押しがあると、撮像素子16は、AF動作及びAE動作を開始させ、レンズ駆動部36を介して撮影レンズ12内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にA/D変換器20から出力される画像データは、AE検出部44に取り込まれる。AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。AF処理部42は、コントラストAF処理又は位相AF処理を行う部分である。コントラストAF処理を行う場合には、左画像データ及び右画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すAF評価値を算出する。このAF評価値が極大となるように撮影レンズ12内のフォーカスレンズを制御することによりAF制御が行われる。また、位相差AF処理を行う場合には、左画像データ及び右画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が0になるように撮影レンズ12内のフォーカスレンズを制御することによりAF制御が行われる。このAF制御中に、合焦した被写体の被写体距離を算出する。AE動作及びAF動作が終了し、シャッタボタンの第2段階の押下全押しがあると、その押下に応答してA/D変換器20から出力される主画素及び副画素に対応する左画像及び右画像の2枚分の画像データが画像入力コントローラ22からメモリ48に入力し、一時的に記憶される。メモリ48に一時的に記憶された2枚分の画像データは、デジタル信号処理部24により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理YC処理を含む所定の信号処理が行われる。YC処理された画像データYCデータは、再びメモリ48に記憶される。続いて、2枚分のYCデータは、それぞれ圧縮伸張処理部26に出力され、JPEGなどの所定の圧縮処理が実行されたのち、再びメモリ48に記憶される。メモリ48に記憶された2枚分のYCデータ圧縮データから、マルチピクチャファイルMPファイル:複数の画像が連結された形式のファイルが生成され、そのPMファイルは、メディアI/F52により読み出され、記録メディア54に記録される。次に、本発明を第1実施形態~第8実施形態に分けて、以下説明する。<第1実施形態>図5は、撮像装置10の要部の詳細を示すブロック図である。なお、図5において、図1に示した構成要素には同じ符号を付してあり、既に説明した事項について以下ではその説明を省略する。本実施形態の撮像装置10において、CPU40は、撮影モード設定制御部62、AE制御部64、AF制御部66、撮影実行制御部68および絞り制御部70を含んで構成されている。撮影モード設定制御部62は、操作部38により撮影モードの設定操作を受け付け、受け付けた撮影モードをメモリ48に記憶する。撮影モードは、少なくとも3D撮影モードおよび2D撮影モードがある。また、2D撮影モードには、高解像度平面2D画像を生成する高解像度2D撮影モードと、低解像度平面2D画像を生成する低解像度2D撮影モードとがある。以下では、発明を簡明に説明するため2D撮影モードが高解像度2D撮影モードであるものとして説明する。AE制御部64は、後述の絞り制御部70の制御に従ってAE制御を行うものであり、AE検出部44から出力される積算値に基づいてEV値被写体輝度を算出し、絞り制御部70の制御に従って、EV値に基づいて絞り14の絞り値、NDフィルタ15の挿入有無挿入状態/非挿入状態、および撮像素子16のシャッタ速度を決定し、決定した絞り値に基づいて絞り駆動部34を介して絞り14を制御し、決定したNDフィルタ15の挿入有無に基づいてフィルタ挿抜駆動部33を介してNDフィルタ15の挿入状態/非挿入状態を切り替え、決定したシャッタ速度に基づいて撮像素子制御部32を介して撮像素子16での電荷蓄積時間露光時間を制御する。AF制御部66は、AF処理部42を制御することで、コントラストAF処理または位相差AF処理を行い、このAF制御中に、合焦した被写体の被写体距離をAF処理部42から取得する。撮影実行制御部68は、撮像素子制御部32を介して撮像素子16での電荷蓄積および電荷画素信号の読出しを制御して、主画素群の画素信号からなる左画像と副画素群の画素信号からなる右画像とを取得する。撮影実行制御部68は、3D撮影モードの場合には、撮像素子16により被写体を撮像して、左画像および右画像の組からなる3D画像立体視画像を取得し、その3D画像をメディアI/F52を介して記録メディア54に記録する。また、撮影実行制御部68は、2D撮影モード本例では高解像度2D撮影モードの場合には、撮像素子16により被写体を撮像して、左画像および右画像から一枚の高解像度2D画像を合成し、その高解像度2D画像をメディアI/F52を介して記録メディア54に記録する。即ち、本撮像装置10では、3D撮影および2D撮影の両方を同一シーンで実行することにより、同一シーンを撮影した3D画像および2D画像の両方を得ることが可能である。3D画像の解像度は、各視点画像左画像および右画像と同じ解像度であるのに対して、高解像度2D画像の解像度は、各視点画像左画像および右画像よりも解像度が高い例えば2倍である。絞り制御部70は、撮影実行制御部68の指示に従って、絞り駆動部34により、絞り14の絞り値F値を切り替える。また、絞り制御部70は、撮影実行制御部68の指示に従って、フィルタ挿抜駆動部33により、NDフィルタ15の挿入状態と非挿入状態とを切り替える。挿入状態は、NDフィルタ15が撮影レンズ12と撮像素子16の間の光軸上に挿入された状態であり、非挿入状態は、NDフィルタ15が撮影レンズ12と撮像素子16の間の光軸上から外れた状態である。なお、NDフィルタ15の枚数は複数枚でもよく、複数枚の場合には挿入枚数を制御する。絞り制御部70は、3D撮影時には、絞り制御部70を開放状態絞り値を最小値にするとともに、AE制御部64により取得された被写体輝度に基づいて、NDフィルタ15を光路13に挿入した挿入状態にするか非挿入状態にするかを、切り替える。また、本実施形態の絞り制御部70は、2D撮影時には、絞り14の絞り値を3D撮影時の絞り値よりも大きくするとともに、NDフィルタ15を非挿入状態にする。図6は、第1実施形態における撮像処理例の流れを示すフローチャートである。本処理は、CPU40によりプログラムに従って実行される。ステップS2にて、AE制御部64により、AE処理を行なう。このAE処理にて被写体輝度EV値が算出される。ステップS4にて、AF制御部66により、AF自動合焦処理を行なう。このAF処理にて、合焦した被写体の被写体距離が取得される。ステップS6にて、撮影モードが3D撮影モードであるか2D撮影モードであるかを判定する。3D撮影モードである場合にはステップS8に進み、2D撮影モードである場合には、ステップS14に進む。3D撮影モードの場合、ステップS8にて、AE制御部64により取得された被写体輝度が、閾値Tevよりも大きいか否かを判定する。被写体輝度が閾値Tevよりも大きい場合明るい場合には、ステップS10にて、絞り制御部70は、絞り駆動部34により、絞り14を開放状態にして、フィルタ挿抜駆動部33により、NDフィルタ15を挿入状態に設定する。被写体輝度が閾値Tev以下である場合暗い場合には、ステップS12にて、絞り制御部70は、絞り駆動部34により、絞り14を開放した開放状態にして、フィルタ挿抜駆動部33により、NDフィルタ15を非挿入状態にする。2D撮影モードの場合、ステップS14にて、絞り制御部70は、絞り駆動部34を介して絞り14の絞り値F値を規定値以上に設定するとともに、フィルタ挿抜駆動部33により、NDフィルタ15を非挿入状態にする。ここで、絞り値の規定値は、左画像と右画像とで同一被写体の結像位置を3D撮影時よりも近づけることで、視差に起因した偽解像を許容範囲内とする絞り値である。なお、規定値は、被写体距離、焦点距離、立体視環境表示画面のサイズ、表示画面の解像度、観視距離などやユーザの立体視融合限界などによっても異なるが、絞り14の絞り値を3D撮影のときよりも大きくさせる値である。絞り制御部70は、例えば、絞り14を開放に対して1段以上絞る。例えば、開放がF2.8の場合にはF4以上、開放がF5.6の場合にはF8以上といったように、SNモードの撮影時開放よりも1段以上大きな絞り値を設定する。被写体輝度が大きい明るい場合には、2段以上絞ることが、望ましい。ステップS16にて、撮影実行制御部68は、撮像素子制御部32を介して、撮像素子16の露光を制御する。ステップS18にて、撮影実行制御部68は、撮像素子制御部32を介して、撮像素子16の主画素および副画素からの画素信号電荷の読み出しを制御する。読み出された信号はA/D変換器20によりアナログからデジタルに変換される。ステップS20にて、デジタル信号処理部24等により、左画像および右画像に対し、所定のデジタル信号処理を行なう。2D撮影モードでは、左画像と右画像とを合成して一枚の高解像度2D画像を合成する。ステップS22にて、圧縮伸張処理部26により、画像圧縮を行なう。ステップS24にて、メディアI/F52により、立体視画像または高解像度2D画像を記録メディア54に記録する。第1実施形態では、2D撮影時には、必ず絞り14絞りにより絞る。即ち、絞り制御部70により3D撮影および2D撮影を同一シーンで実行する場合、同一の被写体輝度であっても、絞り制御部70の絞り状態が3D撮影および2D撮影のそれぞれに適した絞り状態に切り替わる。従来は、同一被写体からの光束が撮影レンズ12の異なる瞳位置を通過して同一被写体の像が撮像素子16の異なる位置に結像することに因り、高解像度2D画像に偽解像が発生していたが、本実施形態では、2D撮影時に絞り14絞りにより絞るので、左右画像間で結像位置が近づくことで偽解像が解消される。また、3D撮影時には、絞り14を開放するとともに、被写体輝度に基づいてNDフィルタ15を挿入状態にするか否かを制御するので、立体視画像の視差を維持しつつ輝度調整を行なうことができる。なお、3D撮影時に、NDフィルタ15を挿入した状態とするか、絞り14を絞るかを、操作部38の設定入力により切り替え可能に構成してもよい。<第2実施形態>次に、第2実施形態の撮像装置について、図5を用いて説明する。なお、以下では、主として第1実施形態と異なる事項を説明し、第1実施形態で既に説明した事項はその説明を省略する。本実施形態の絞り制御部70は、2D撮影時に、AF制御部66により取得された主要被写体合焦した被写体の被写体距離に基づいて、NDフィルタ15を挿入状態にするか否かを制御する。例えば、2D撮影時に、合焦した主要被写体の被写体距離が閾値Tsよりも大きい場合主要被写体が遠い場合には、絞り14を開放状態絞り値を最小値に設定し、合焦した主要被写体の被写体距離が閾値Ts以下である場合主要被写体が近い場合には、絞り14の絞り値を規定値まで大きくするとともにNDフィルタ15を非挿入状態にする。図7は、第2実施形態の撮像処理の流れを示すフローチャートである。ステップS2~S12は、第1実施形態と同様である。2D撮影モードの場合、ステップS13aにて、絞り制御部70は、AF処理部42により取得された主要被写体合焦した被写体の被写体距離が閾値Tsよりも大きいか否かを判定する。被写体距離が閾値Ts以下である場合主要被写体が近い場合にはステップS14に進み、被写体距離が閾値Tsよりも大きい場合主要被写体が遠い場合にはステップS15に進む。ステップS14は、第1実施形態と同様である。即ち、絞り制御部70は、絞り駆動部34により、絞り14の絞り値F値を規定値以上に設定するとともに、フィルタ挿抜駆動部33により、NDフィルタ15を非挿入状態にする。ステップS15にて、絞り制御部70は、絞り駆動部34により、絞り14を開放状態に設定するとともに、被写体輝度に基づいて、フィルタ挿抜駆動部33により、NDフィルタ15を挿入状態にするか否かを切り替える。ステップS16~S24は、第1実施形態と同様である。このように、本実施形態では、合焦した被写体の被写体距離が大きい被写体が遠い場合、左画像と右画像とで結像ズレが少なくなるため、2D撮影でも、絞り14を開放状態絞り値を最小値に設定する。絞りを小さくした場合には回析に因り画質が低下してしまうが、NDフィルタ15を挿入するとともに開放状態絞り値を最小値にすることで、メカ絞りに因る回析を避けて画質の低下を防止する。また、被写界深度を一定に維持した撮影が可能となる。なお、被写体距離が小さい場合には、前述の偽解像の影響が大きくなるため、回析は許容して絞り14を絞ればよい。なお、被写体距離をAF制御部66によりAF制御に伴って取得する場合を例に説明したが、このような場合には特に限定されず、例えば距離センサ等により直接的に検出してもよい。<第3実施形態>次に、第3実施形態の撮像装置について、図8を用いて説明する。なお、以下では、主として図5および図6に示した第1実施形態と異なる事項を説明し、第1実施形態で既に説明した事項はその説明を省略する。図8は、第3実施形態における撮像装置10の要部を示すブロック図である。なお、図7において図1および図5に示した構成要素には同じ符号を付してある。撮影レンズ12は、ズームレンズを有しており、焦点距離取得部72は、撮影レンズ12の焦点距離を取得する。本実施形態の絞り制御部70は、2D撮影時に、焦点距離取得部72により取得された撮影レンズ12の焦点距離に基づいて、NDフィルタ15を挿入状態にするか否かを制御する。例えば、2D撮影時に、焦点距離が閾値Tzよりも大きい焦点距離が長い場合には、絞り14の絞り値を規定値まで大きくするとともにNDフィルタ15を非挿入状態にして、焦点距離が閾値Tz以下である焦点距離が短い場合には、絞り14を開放状態絞り値を最小値に設定する。図9は、第3実施形態の撮像処理の流れを示すフローチャートである。ステップS2~S12は、第1実施形態と同様である。2D撮影モードの場合、ステップS13bにて、焦点距離取得部72により取得された撮影レンズ12の焦点距離が閾値Tzよりも大きいか否かを判定する。焦点距離が閾値Tzよりも大きい場合焦点距離が長い場合にはステップS14に進み、焦点距離が閾値Tz以下である場合焦点距離が短い場合にはステップS15に進む。ステップS14~S24は、第1実施形態と同様である。本実施形態では、撮影レンズ12の焦点距離が短い場合、左画像と右画像とで結像ズレが少なくなるため、2D撮影でも、絞り14を開放状態絞り値を最小値に設定して、NDフィルタ15を用いて減光を行なう。したがって、回析に因る画質の低下を防止することができる。なお、焦点距離の取得態様は特に限定されない。撮影レンズ12のズームレンズの移動を直接的に焦点距離を検出してもよいし、レンズ駆動部36におけるズームレンズの駆動信号を監視して焦点距離を求めてもよいし、画像処理により焦点距離を求めてもよい。<第4実施形態>次に、第4実施形態の撮像装置について、図10を用いて説明する。なお、以下では、主として第2実施形態とは異なる事項のみ説明し、既に説明した事項はその説明を省略する。図10は、第4実施形態における撮像装置10の要部を示すブロック図である。なお、図10において図1および図5に示した構成要素には同じ符号を付してある。視差情報取得部74は、撮像素子16により撮像して取得された3D画像に基づいて、3D画像を構成する複数視点の平面画像視点画像間の視差に関する視差情報を取得する。視差情報は、視差マップ視差分布情報と、視差マップから取得される視差範囲等の情報を含む。視差範囲視差レンジは、撮像素子16により得られる3D画像の近側の最大視差量と遠側の最大視差量との差を示す。本例の視差情報取得部74は、取得された3D画像のうち左画像第1の2D画像と右画像第2の平面画像との特徴が一致する対応点を検出し、検出された各対応点の左画像と右画像との視差量を算出して、視差量の分布を示す視差マップを作成する。また、本例の視差情報取得部74は、作成された視差マップから近側の最大視差量と遠側の最大視差量との差視差範囲を算出する。本例の絞り制御部70は、2D撮影時に、AF制御部66により取得された主要被写体合焦した被写体の被写体距離、及び、視差情報取得部74により取得された視差範囲に基づいて、絞り14を開放にするか否かを制御する。なお、本発明は、被写体距離と視差範囲の両方に基づいて絞り14の開放/非開放を切り換える場合には限定されず、視差範囲のみに基づいて絞り14の開放/非開放を切り換える場合を含む。例えば、2D撮影時に、視差範囲が閾値TRよりも小さい場合視差範囲が小さいと判定した場合には、絞り14を開放状態絞り値を最小値に設定し、視差範囲が閾値TR以上である場合視差範囲が大きいと判定した場合には、絞り14の絞り値を規定値まで大きくする。図11は、第4実施形態の撮像処理の流れを示すフローチャートである。ステップS32にて、視差情報取得部74は、撮像素子16により撮像して得られた3D画像を構成する複数視点の2D画像から、視差マップ及び視差範囲を含む視差情報を作成する。本例では、操作部38により撮影指示例えばシャッタボタンによるが入力される前に立体視画像として撮像されたスルー画ライブビュー画像から、視差範囲を算出する。なお、スルー画像の撮像時、絞り制御部70は、絞り14を開放状態に設定する。これにより、視差情報を確実に取得することが可能になる。また、スルー画像の解像度は、記録メディア54に記録する立体視画像記録画像よりも低くてよい。これにより、撮像装置10の処理負担を軽減することができる。ステップS2~S12及び13aは、第2実施形態と同様である。ステップS13aにて、2D撮影モードであって被写体距離が閾値Ts以下である場合主要被写体が近い場合にはステップS34に進み、被写体距離が閾値Tsよりも大きい場合主要被写体が遠い場合にはステップS15に進む。ステップS34にて、視差範囲を閾値TRと比較して、視差範囲が閾値TRよりも小さい場合視差範囲が小さいと判定した場合には、絞り14を開放状態絞り値を最小値に設定しステップS15、視差範囲が閾値TR以上である場合視差範囲が大きいと判定した場合には、絞り制御部70は、絞り駆動部34により絞り14の絞り値F値を規定値以上に設定するステップS14。即ち、同じ被写体輝度の3D撮影よりも、絞り14を絞る。なお、ステップS15~S24は、第2実施形態と同様である。<第5実施形態>次に、第5実施形態の撮像装置について、図12~図18を用いて説明する。なお、以下では、既に説明した事項はその説明を省略する。図12は、第5実施形態における撮像装置10を示すブロック図である。なお、図1に示した撮像装置10と同じ構成要素には同じ符号を付した。本実施形態では、図13に示すように、絞り14の背部に、後述する液晶シャッタ115が配置されている。よって、撮影レンズ12、絞り14、及び液晶シャッタ115の順に通って撮像素子16の受光面に入射した被写体光像に対応する撮像画像信号が、図12に示したA/D変換器20でデジタルデータに変換される。液晶シャッタ115は、液晶分子への電圧の印加あるいは除去により液晶分子の配列変化を起こさせることにより、光の透過や遮断を行う。液晶シャッタ115の液晶層は、光軸方向K図12の13から見たときに、絞り14の最大開口時の開口14aを覆う大きさとなっていればよい。液晶シャッタ115は、絞り14を通過した光を透過する透過領域と、絞り14を通過した光を透過させない非透過領域とを液晶層の任意の位置に形成することができる。液晶シャッタ115と絞り14は近接して配置されているため、図13に示すように、液晶シャッタ115に形成される非透過領域115aによって、開口14aの一部が完全に遮蔽された状態になる。CPU40には、液晶シャッタ駆動部131が接続されている。液晶シャッタ駆動部131は、CPU40からの指示に従い、液晶シャッタ115の駆動制御を行う。本実施形態の撮像装置10では、3D撮影モード時には、CPU40の制御により、液晶シャッタ駆動部131が、光軸方向に見たときの開口14aを水平方向Xに均等に二分割するように、開口14aの一部を遮蔽するための非透過領域115aを液晶シャッタ115に形成する。ここで、ペア画素を構成する一方の画素と他方の画素の入射角感度特性画素に入射してくる光の入射角毎の感度の特性について詳しく説明する。図14は、撮像素子16のペア画素を構成する2つの画素の入射角感度特性を示す図である。図14において、符号TLで示したものが主画素PDa群以下A群ともいうの入射角感度特性であり、符号TRで示したものが副画素PDb群以下B群ともいうの入射角感度特性である。符号T1で示したものは、例えば図4Bに示した位相差画素において、マイクロレンズLの中心と遮光部材開口16Bの中心とを一致させた仮想的な画素の入射角感度特性である。図14において横軸は入射角を示し、縦軸は感度を示している。入射角は、画素上方のマイクロレンズLの中心に垂直に光が入射するときを0°とし、当該中心に入射する光線が水平方向ペア画素の瞳分割方向に斜めに傾くほど、その角度が大きくなるものとしている。具体的には、マイクロレンズLの中心に入射する光線が水平方向右側に傾いていくと図14の横軸の右側の数値が増え、当該光線が水平方向左側に傾いていくと図14の横軸の左側の数値が増える。図14に示したように、撮像素子16のペア画素を構成する2つの画素の入射角感度特性は、略同一形状であり、かつ、それぞれの感度のピーク位置が縦軸から均等な距離だけ離れた位置にある。つまり、ペア画素を構成する2つの画素の入射角感度特性は、縦軸入射角0°のときの感度の軸に対して線対称の関係にある。そして、ペア画素を構成する2つの画素の入射角感度特性は、一方の画素の感度を持つ入射角範囲と他方の画素の感度を持つ入射角範囲とが重なり図14中の符号T2で示した範囲を持っている。図14に示す波形TRと横軸で囲まれた範囲が、撮影光学系の第一の瞳領域を通過する光の量に相当し、波形TLと横軸で囲まれた範囲が、撮影光学系の第二の瞳領域を通過する光の量に相当し、波形T1と横軸で囲まれた範囲が、撮影光学系の第一の瞳領域と第二の瞳領域を含む第三の瞳領域を通過する光の量に相当する。つまり、ペア画素を構成する2つの画素は、撮影光学系のそれぞれ異なる瞳領域を通過した光を受光するように瞳分割されている。そして、ペア画素を構成する2つの画素の各々が受光する光の通過する瞳領域は、光軸付近において互いに重なりを有するように瞳分割がなされている。A群の撮像画像信号とB群の撮像画像信号とで良好な視差を得られるようにするには、図14に示した重なり範囲T2をゼロにして、ペア画素の一方の画素と他方の画素で入射角感度特性を完全に分離することが好ましい。しかし、重なり範囲T2がゼロになるようにするには、ペア画素を構成する二つの画素間で遮光部材開口の間隔後述する図26の133aと133bとの間隔の水平方向Xの距離を大きくする必要があり、これを実現するには遮光部材開口16B図26の遮光部材開口133a,133bを小さくする必要がある。この結果、重なり範囲T2をゼロにした場合のペア画素の入射角感度特性TR、TLは図15に示したようになり、図14の場合よりもペア画素の感度が低下してしまう。つまり、本実施形態の撮像素子16は、感度を上げようとすると、良好な視差が得られにくくなり、逆に、良好な視差を得ようとすると、感度が低下するという課題を抱えている。そこで、本実施形態の撮像装置10は、撮像素子16が、視差よりも感度を優先した図14に示した入射角感度特性を有し、撮像素子16と絞り14との間に設けた液晶シャッタ115が、図14に示した入射角感度特性であっても良好な視差を得られるように、撮像素子16に入射する光を制限している。非透過領域115a遮蔽領域を形成することにより、ペア画素の入射角感度特性TRTLは図16に示したようになる。図16において、符号T3で示した範囲は、非透過領域115aによって感度が得られなくなった入射角範囲である。この入射角範囲の横軸方向の幅を、図14に示す重なり範囲T2の横軸方向の幅と同じにすれば、重なり範囲T2を除去して、ペア画素の入射角感度特性を完全に分離することができる。このため、このような範囲T3が得られるように、非透過領域115aの水平方向xの幅が設定される。このように、非透過領域115aを形成することで、各画素の感度を図15に示した例よりも高くしながら、A群とB群とで入射角感度特性を完全に分離することができる。しかも、その分離度合は、図15に示した場合よりも大きい。したがって、良好な視差と高感度を両立させた立体撮像が可能になる。図12に戻って説明すると、本実施形態の絞り制御部70は、3D撮影時には、液晶シャッタ駆動部131を介して液晶シャッタ115を制御し、液晶シャッタ115により絞り14の開口14aの一部中央部を遮蔽した遮蔽状態非透過状態に設定する。また、絞り制御部70は、3D撮影時に、AE制御部64により取得された被写体輝度に基づいて、液晶シャッタ駆動部131を介して液晶シャッタ115を制御し、絞り14の開口14aの遮蔽領域非透過領域の大きさ幅を制御する。また、本例の絞り制御部70は、3D撮影時には、絞り駆動部34を介して絞り14を制御し、絞り14を開放状態絞り値を最小値に設定する。また、本実施形態の絞り制御部70は、2D撮影時には、液晶シャッタ駆動部131を介して液晶シャッタ115を制御し、液晶シャッタ115により絞り14の開口14aを遮蔽しない非遮蔽状態透過状態に設定する。また、絞り制御部70は、2D撮影時には、絞り駆動部34を介して絞り14を制御し、絞り14の絞り値を3D撮影時の絞り値よりも大きくする。図17は、図12に示した撮像装置10の撮像処理例の流れを示すフローチャートである。本処理は、CPU40によりプログラムに従って実行される。なお、動作開始前では、液晶シャッタ115は全面が透過状態になっているものとして説明する。ステップS2~S6及びS14は、第1実施形態と同様である。3D撮影モードの場合、ステップS6の後、CPU40は、液晶シャッタ駆動部131を介して、液晶シャッタ115に非透過領域115aを形成するステップS42。この非透過領域115aの水平方向Xの幅は、ステップS2で取得した被写体輝度に応じた幅に設定する。ステップS16~S24は、第1実施形態と同様である。2D撮影モードの場合、CPU40は、液晶シャッタ115の全面を非遮蔽状態透過状態にしたまま、決定したF値、シャッタ速度、フォーカス位置にしたがって撮像素子16により本撮像を行うステップS16~S24。即ち、1回の撮像で1枚の2D画像を記録する2Dモード時、液晶シャッタ駆動部131は液晶シャッタ115に非透過領域115aを形成せずに撮像を行う。なお、図14に示した重なり範囲T2は、被写体輝度が任意の値であったときのものであり、被写体輝度が変化すれば、撮像素子16に入射させる光量の最適値も変化する。そこで、液晶シャッタ駆動部131は、被写体輝度に応じて、液晶シャッタ115に形成する非透過領域115aの水平方向Xの幅を変更することが好ましい。例えば、被写体輝度が小さいときは、図18Aに示すように、非透過領域115aの水平方向Xの幅Lを小さくし、被写体輝度が大きいときは、図18Bに示すように、非透過領域115aの水平方向Xの幅Lを大きくする。つまり、液晶シャッタ駆動部131は、被写体輝度が大きいほど、非透過領域115aの水平方向Xの幅Lを広くする。このようにすることで、被写体輝度によらずに、常に良好な明るさの画像を得ることができる。なお、3D撮影モード時に液晶シャッタ115に形成する非透過領域115aの水平方向Xの幅Lは、被写体輝度以外の情報に応じて変化させてもよい。例えば、撮影距離にも応じて非透過領域115aの幅を決定してもよい。または、撮影レンズ12が焦点距離を可変なものである場合には、その焦点距離にも応じて、非透過領域115aの幅を決定してもよい。無限遠の遠景の風景画像を撮影する場合は、ペア画素で感度特性が分離しにくくなり、近景の画像を撮影する場合は、ペア画素で感度特性が分離しやすくなる。このため、撮影距離が近いときは感度を優先して、非透過領域115aの幅を狭くすることが有効となる。一方、撮影距離が遠い場合は、視差を優先して、非透過領域115aの幅を広くすることが有効となる。以上のことから、液晶シャッタ駆動部131は、撮影距離が遠いほど非透過領域115aの幅を広くすることが好ましい。また、焦点距離が短い場合は、ペア画素で感度特性が分離しにくくなり、焦点距離が長い場合は、ペア画素で感度特性が分離しやすくなる。このため、焦点距離が長いときは、感度を優先して非透過領域115aの幅を狭くすることが有効となる。一方、焦点距離が短いときは、視差を優先して非透過領域115aの幅を広くすることが有効となる。以上のことから、液晶シャッタ駆動部131は、焦点距離が短いほど非透過領域115aの幅を広くすることが好ましい。また、撮影シーンに応じて非透過領域115aの水平方向Xの幅を決定してもよい。夜景等の暗いシーンでは、高感度が求められるため、感度優先とし、それ以外のシーンでは視差優先とすることで、撮影シーンに応じて最適な画質を得ることが可能となる。また、本実施形態では3D撮影時は絞り14を開放状態に設定することが好ましいが、もしも3D撮影時に絞り14を絞る場合であって絞り値が大きい場合には、非透過領域115aの水平方向Xの幅Lを小さくするようにしてもよい。つまり、液晶シャッタ駆動部131は、絞り値が大きいほど、非透過領域115aの水平方向Xの幅Lを狭くする。この場合でも、被写体輝度が大きいほど非透過領域115aの水平方向Xの幅Lを大きくする。なお、暗いシーンのときには、非透過領域115aの幅をゼロにして高感度化を目指すことが好ましい。非透過領域115aの水平方向Xの幅は、被写体距離の単独に応じて決めてもよいし、撮影距離、焦点距離、撮影シーンのいずれか単独または組み合わせとを考慮して決めてもよい。例えば、撮影距離又は焦点距離に応じて重なり範囲T3が無くなるように非透過領域115aの幅を設定した後、被写体輝度に応じて非透過領域115aの幅を調整してもよい。または、被写体輝度と撮影距離又は焦点距離の組み合わせ毎に非透過領域115aの幅を記憶しておき、組み合わせが決まったときに、その組み合わせに応じた幅に設定してもよい。被写体輝度は撮影シーン応じて決定してもよい。なお、2D撮影時の処理は、第2実施形態~第4実施形態にて説明したように行なってもよい。図19は、2D撮影時に第2実施形態と同様な処理特にステップS13a~S15を行なう第6実施形態における撮影処理例の流れを示す。図20は、2D撮影時に第3実施形態と同様な処理特にステップS13b~S15を行なう第7実施形態における撮影処理例の流れを示す。図21は、2D撮影時に第4実施形態と同様な処理特にステップS13a,S34,S14,S15を行なう第8実施形態における撮影処理例の流れを示す。第6実施形態から第8実施形態にて、ステップS42は第5実施形態と同様な処理を行なう。<撮影モード設定処理>図22は、第1実施形態から第8実施形態において共通の撮影モード設定処理の流れを示すフローチャートである。本処理は撮影モード設定制御部62により実行される。電源がオンされると撮像装置10はスタンバイ状態になるステップS51。スタンバイ状態では、操作部38により撮影モードの選択指示操作を受け付ける。選択指示操作を受け付けると、選択指示された撮影モードが2D撮影モードであるか3D撮影モードであるかを判定するステップS52。選択指示された3D撮影モードである場合には、3D撮影モードを設定するステップS53。選択指示された2D撮影モードである場合には、記録画素数が撮像素子16の有効画素数/2よりも大きいか否かを判定するステップS54。記録画素数の方が大きい場合には、高解像度2D撮影モードを設定しステップS55、そうでない場合には、低解像度画素加算2D撮影モードを設定するステップS56。画素加算2D撮影モードでは、記録する2D画像の解像度を、例えば高解像度2D撮影モードの1/2に設定する。3D撮影モードでは、左画像および右画像の各々に対し、通常のベイヤ処理を行なう。画素加算2D撮影モード処理では、全画素に対し、加算平均処理を行なうことで、視差に起因するパタンノイズの発生を抑える。本例では、高解像度平面2D画像を生成する高解像度2D撮影モード、高解像度平面画像よりも解像度が低い画素加算平面2D画像を生成する低解像度画素加算2D撮影モード、および、3D画像立体視画像を生成する3D撮影モードを有し、高解像度2D撮影モードが設定されている場合に、高解像度平面画像が生成される。本発明は、図22に示した場合には特に限定されず、高解像度平面画像を生成する2D画像撮影モード、および、3D画像を生成する3D撮影モードを有し、2D撮影モードが設定されているときに、高解像度平面画像を生成するようにしてもよい。図23は、撮像素子16により低解像度画素加算2D画像を撮像する場合の説明図である。画素加算2D撮影モードの場合には、A群とB群のペアとなる同色2画素の撮像信号を画素加算して撮像素子16から出力させる。図23に長円で示すペア画素の信号電荷を、撮像素子16で画素加算信号電荷同士を加算してから撮像信号に変換して出力することで、ペア画素の撮像信号同士を加算したのに相当する撮像信号を、ペアの総数と同じ数だけ得ることができ、これら撮像信号の集合である撮像画像信号を処理して2Dの撮像画像データを得ることが可能となる。若しくは、A群の全画素の撮像画像信号を読み出し、B群の全画素の撮像画像信号を読み出し、デジタル信号処理部24画像処理部で、ペア画素から得られた撮像信号の画素加算撮像信号同士を加算を行い、画素加算後の撮像画像信号を処理して2Dの撮像画像データを得ることもできる。A群の撮像画像信号とB群の撮像画像信号は、左右のボケ画像の位置がA群とB群でずれるため、これらをそのまま2D画像として表示すると偽解像二重像が生じる。しかし、実施形態の様に画素加算撮像素子16内で信号電荷の状態で加算する場合とデジタル信号処理部24画像処理部内で撮像信号の状態で加算する場合を含むを行うと、ボケ部分が加算によって合成され、A群、B群画素の区別のない1枚の画像となり、高品質な2D画像を取得することが可能となる。また、低解像度2D撮影モード時には、液晶シャッタ115の全面が透過領域となるため、ペア画素の画素加算後の入射角感度特性は図13の符号T4に示したようになり、デフォーカス像が分離せず、高品質な2D画像を取得することが可能となる。<撮像素子のバリエーション>次に、撮像素子16の各種バリエーションについて、説明する。まず、図2に示した撮像素子16について説明を加えておく。図25は、図2Aの各画素PDa,PDbに積層されたカラーフィルタの配列だけを記載した図である。図25に示すRrGgBbはカラーフィルタの色R、r=赤、G,g=緑、B、b=緑を示している。R,rの色の区別はなく、G,gとB,bも同様である。この撮像素子16では、奇数行の画素行にある全ての主画素PDaの上方にはRGBのカラーフィルタがベイヤ配列され、偶数行の画素行にある全ての副画素PDaの上方にはrgbのカラーフィルタがベイヤ配列されている。図25に示す撮像素子16では、同一面に平均的に混在して設けられるA群の画素とB群の画素は、各画素が1対1に対応して設けられるため、A群の画素数、B群の画素数は同一となる。カラーフィルタの上各画素133の上には、夫々、マイクロレンズが積層され、また、各画素133の受光面の上部カラーフフィルタの下には遮光部材開口図4Bの16B遮光部材開口が設けられるが、これらは、図25では図示を省略している。図26は、各画素の上方にあるマイクロレンズ138と遮光部材開口との位置関係を示す図である。A群の画素においては、マイクロレンズ138図4BのLに対して、遮光部材開口133a図4Bの16Bを、マイクロレンズ中心に対して左側に偏心して設けている。また、B群の画素においては、マイクロレンズ138に対して、遮光部材開口133bを、マイクロレンズ中心に対して右側に偏心して設けている。A群とB群とは、画素ピッチの1/2だけ垂直方向Y及び水平方向Xに互いにずれているため、同色画素Rとr、Gとg、Bとbが斜めに隣接する配置となっている。斜めに最隣接する同色2画素をペア画素とした場合、ペア画素の一方の遮光部材開口133aは左側に偏心し、他方の遮光部材開口133bは右側に偏心していることになる。このように、ペア画素を構成する一方の画素と他方の画素とは、マイクロレンズ138の中心に対して遮光部材開口が互いに逆方向にずれているため、撮影光学系を通して入射してくる同一被写体からの光の入射角が互いに逆方向となる様に制限されることになる。この結果、撮像素子16を用いて被写体を撮影した場合、遮光部材開口133aを通して受光されたA群の撮像画像信号は右眼で被写体を視たものとなり、遮光部材開口133bを通して受光されたB群の撮像画像信号は左眼で被写体を視たものとなり、A群の撮像画像信号とB群の撮像画像信号とで、視差が生じることになる。被写体のうちA群の画素とB群の画素で合焦する部分は、同じ位置で合焦状態となりA群の画素、B群の画素の夫々に結像する。被写体のうち合焦状態とならない部分はA群の画素とB群の画素で左右にずれた位置にボケ像が作られる。このボケ像が、合焦距離に対する被写体距離の差に応じて左右のずれ量として変わってくるため、A群の撮像画像信号とB群の撮像画像信号を左右の撮像画像信号とすることで、単一の撮影光学系と単一の撮像素子で、立体画像の撮像が可能となる。立体画像を再生する場合、図12のデジタル信号処理部24画像処理部は、A群の撮像画像信号から1枚の右眼用撮像画像データを生成し記録メディア54メモリカードに保存すると共にLCD30表示部に右眼用撮像画像データを表示させ、B群の撮像画像信号から1枚の左眼用撮像画像データを生成し記録メディア54メモリカードに保存すると共にLCD30表示部に左眼用撮像画像データを表示させ、被写体の立体画像をLCD30表示部に表示させる。また、実施形態の撮像素子16では、図25のカラーフィルタ配列をとっているため、A群の撮像画像信号とB群の撮像画像信号を画素加算した後の2Dの撮像画像信号の色配列はベイヤ配列となり、既存のベイヤ配列用の画像処理技術を利用可能となり、画像処理が容易となる。図25で説明した実施形態では、奇数行の画素が偶数行の画素に対して1/2画素ピッチずつずらした画素配列となっているが、画素配列が正方配列であっても良い。図27は、画素加算の平面画像にて二重像発生偽解像発生を更に低減させるために、A群とB群とで画素の受光領域をオーバーラップさせた画素配列を有した撮像素子16を示す。この撮像素子16は、A群第1の画素群およびB群第2の画素群がそれぞれ平面視においてX方向とこれに直交するY方向に二次元状に配列され、A群の画素とB群の画素とがY方向にて受光領域133a、133bを千鳥状且つ重なるように配置されている。図28AまたはBに配列の一部を模式的に示す正方配列であってもよい。具体的には、偶数列全体としての画素配列主画素配列および奇数列全体としての画素配列副画素配列がいずれも正方配列である、ダブルの正方配列となっている。図28AおよびBにおいて、R、G,Bは、それぞれ赤、緑、青のフィルタを有する撮像画素であって、互いに隣接するR-R、G-G、B-Bの二つの画素即ち近傍の同色画素により画素ペアが構成されている。画素ペアのうち一方の画素信号により左画像の画素が構成され、他方の画素信号により右画像の画素が構成される。図29は、正方配列の撮像素子16にて、A群とB群とで画素の受光領域をオーバーラップさせた画素配列とした場合を示す。図29に示す場合でも、図27に示した場合と同様に、A群およびB群がそれぞれ平面視においてX方向とこれに直交するY方向に二次元状に配列され、A群の画素とB群の画素とがY方向にて受光領域133a、133bを千鳥状且つ重なるように配置されている。また、上述した実施形態では、図26に示したように、ペア画素の遮光部材開口を互いに左右の反対方向に偏心させることで、ペア画素を瞳分割して視差のある2つの撮像画像信号を得られるようにしている。しかし、瞳分割は、遮光部材開口を偏心させなくても実現できる。例えば、ペア画素の遮光部材の開口を各画素の受光面全面で開口させる。更に、ペア画素に対して、長円形の1つのマイクロレンズを搭載し、同一被写体からの入射角の異なる入射光がペア画素の夫々に入射されるようにすればよい。また、液晶シャッタ115に形成する遮光領域非透過領域は、横撮りであるか縦撮りであるかにより、形成される方向を異ならせてもよい。例えば、図30に画素配列の一部を示す撮像素子16を採用し、横撮りの場合には図31Aに示すように液晶シャッタ115に非透過領域115aを形成し、縦撮りの場合には図31Bに示すように液晶シャッタ115に非透過領域115aを形成するようにしてもよい。また、図32に示すように液晶シャッタ115に非透過領域115aを形成するようにしてもよい。なお、本発明において、瞳分割の方式は、図3~図4に示した瞳分割用の遮光部材16Aを用いる態様には特に限定されない。例えば、マイクロレンズLおよびフォトダイオードPDのうちで少なくとも一方の配置や形状に依り瞳分割する態様でもよいし、機械的な絞り14により瞳分割する態様でも。それ以外の態様でもよい。また、撮像素子16は、CCD撮像素子に特に限定されない。例えば、CMOS撮像素子であってもよい。また、前述の実施形態において、判定に用いる規定値は、例えば、モニタサイズ表示画面のサイズ、モニタ解像度表示画面の解像度、観視距離表示画面を見る距離、ユーザの立体視融合限界個人差があるなどの算出条件に基づいて、CPU40により算出される。これらの算出条件の設定は、ユーザ設定および自動設定のいずれでもよい。ユーザ設定の場合には、操作部38により設定操作が行われ、その設定内容がEEPROM56に記憶される。モニタサイズおよびモニタ解像度表示画面の解像度は、モニタ図1のLCD30等から情報を自動的に取得してもよい。また、ユーザ設定されなかった算出条件または自動取得できなかった算出条件については、標準的な条件を適用してもよい。また、瞳分割は、図2~図4に示したような撮像素子16主画素と副画素とが互いに近接して配置されている構造を用いる場合には、特に限定されない。例えば、図35に示すように、メインレンズ1及びリレーレンズ2の左右異なる領域を通過した光束をミラー4により瞳分割し、それぞれ結像レンズ5、6を介して撮像素子7、8に結像するようにしてもよい。つまり、光学部材ミラー4により瞳分割された光束をそれぞれ受光する第1の画素群を有した第1の撮像素子7および第2の画素群を有した第2の撮像素子8を備えた撮像装置としてもよい。図35に示した構成にも本発明を適用できる。また、電荷結合素子を信号読出回路とした撮像素子16を説明したが、信号読出回路がCMOS型等のトランジスタ回路を用いた撮像素子も適用可能である。本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。本明細書にて、発明の理解を容易にするために、各種の実施形態に分けて説明したが、本発明は、これらを単独で実施する場合に特に限定されず、複数の実施形態を組み合わせて実施する場合も含まれる。"