絞りを含む撮像光学系と、各々が左眼用及び右眼用の受光素子を備える複数の画素からなる撮像素子であって、前記左眼用及び右眼用の受光素子のそれぞれが左眼用及び右眼用の光束を受光し、左眼用及び右眼用の画像を出力する撮像素子と、前記絞りの開口を開側の状態と閉側の状態のいずれかに制御する制御手段と、前記撮像素子により出力された左眼用及び右眼用の画像を用いて、両眼立体視用の画像データを出力する生成手段と、を備え、前記生成手段は、左眼用及び右眼用の画像の各々について、前記絞りの開口が前記開側の状態である際に前記撮像素子により出力された第1の画像の画素値から、前記絞りの開口が前記閉側の状態である際に前記撮像素子により出力された第2の画像の画素値を減算することにより得られた第3の画像を前記両眼立体視用の画像データとして出力することを特徴とする撮像装置。前記第1の画像の取得に用いた露光時間と前記第2の画像の取得に用いた露光時間とは、同じ長さであることを特徴とする請求項1に記載の撮像装置。前記生成手段は、前記第1の画像において前記絞りにより生じる周辺画素の光量の減衰率と、前記第2の画像において生じる周辺画素の光量の減衰率とが同一となるように、少なくともいずれかの画像の周辺画素の光量の減衰率を補正してから減算することにより前記第3の画像を得ることを特徴とする請求項1または2に記載の撮像装置。前記生成手段は、前記第3の画像について、減算により低下した平均輝度を補償することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。前記生成手段は、前記第1の画像に飽和画素が含まれる場合は、前記第1の画像を前記両眼立体視用の画像データとして出力することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。前記生成手段が出力する前記両眼立体視用の画像データを構成する左眼用及び右眼用の画像データにおける視差を設定する設定手段をさらに備え、前記制御手段は、前記設定手段により設定された視差が大きいほど、前記開側の絞りの開口を大きく、かつ当該開側の絞りの開口と前記閉側の絞りの開口との差が小さくなるように、前記開側の絞りの開口と前記閉側の絞りの開口の組み合わせを決定することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。前記設定手段は、ユーザにより設定された撮影モードによって、前記両眼立体視用の画像データの視差を設定することを特徴とする請求項6に記載の撮像装置。絞りを含む撮像光学系と、各々が左眼用及び右眼用の受光素子を備える複数の画素からなる撮像素子であって、前記左眼用及び右眼用の受光素子のそれぞれが左眼用及び右眼用の光束を受光し、左眼用及び右眼用の画像を出力する撮像素子とを備える撮像装置の制御方法であって、制御手段が、前記絞りの開口を開側の状態と閉側の状態のいずれかに制御する制御工程と、前記撮像素子が、前記制御工程で制御された前記絞りの開口状態における画像を撮像する撮像工程と、生成手段が、前記撮像素子により出力された左眼用及び右眼用の画像を用いて、両眼立体視用の画像データを出力する生成工程と、を備え、前記生成工程において前記生成手段は、左眼用及び右眼用の画像の各々について、前記絞りの開口が前記開側の状態である際に前記撮像素子により出力された第1の画像の画素値から、前記絞りの開口が前記閉側の状態である際に前記撮像素子により出力された第2の画像の画素値を減算することにより得られた第3の画像を前記両眼立体視用の画像データとして出力することを特徴とする撮像装置の制御方法。撮像装置が備えるコンピュータに、請求項8に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。しかしながら、1つの撮像光学系を有する撮像装置の場合、閲覧者に知覚させることが可能な立体感は、撮像光学系の仕様により制限される。例えば図11aに示すように、1つのマイクロレンズ1101に対応して配置された、左眼用及び右眼用の一対の受光素子1102及び1103には、射出瞳1104のうちのそれぞれ異なる領域1105及び1106を通過した光束が結像される。このとき、左眼用の受光素子1102及び右眼用の受光素子1103のそれぞれにマイクロレンズにより屈折されたて入射する光束は、所定の入射角の範囲を有する。入射角における入射光束の強度分布は図11bのようになる。図11bでは、受光素子に対して入射する光の入射角を、右側からの入射角を横軸の正、左側からの入射角を横軸の負とし、それぞれの入射角で入射する光束の強度を縦軸とした図である。図には、左眼用の受光素子1102への入射光束の強度分布は1111、右眼用の受光素子1103への入射光束の強度分布は1112として示されている。強度のピークはそれぞれの入射光束が射出瞳を通過した領域における重心位置となっているため、当該受光素子により生成された左眼用及び右眼用の画像における最大の視差は、領域1105及び1106の重心位置がなす距離に制限されることになる。即ち、1つの撮像光学系で撮影された両眼立体視用の画像における最大の視差は、絞りが開放状態である場合の射出瞳の半径に応じて決定されるため、左眼用および右眼用の画像の視差を拡張する場合は射出瞳の大きい撮像光学系を用いる必要があった。本発明は、上述の問題点に鑑みてなされたものであり、射出瞳の異なる領域を通過した光束により得られる両眼立体視用の画像における視差を拡張することを目的とする。前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。各々が左眼用及び右眼用の受光素子を備える複数の画素からなる撮像素子であって、左眼用及び右眼用の受光素子のそれぞれが左眼用及び右眼用の光束を受光し、左眼用及び右眼用の画像を出力する撮像素子と、絞りの開口を開側の状態と閉側の状態のいずれかに制御する制御手段と、撮像素子により出力された左眼用及び右眼用の画像を用いて、両眼立体視用の画像データを出力する生成手段と、を備え、生成手段は、左眼用及び右眼用の画像の各々について、絞りの開口が開側の状態である際に撮像素子により出力された第1の画像の画素値から、絞りの開口が閉側の状態である際に撮像素子により出力された第2の画像の画素値を減算することにより得られた第3の画像を両眼立体視用の画像データとして出力することを特徴とする。このような構成により本発明によれば、射出瞳の異なる領域を通過した光束により得られる両眼立体視用の画像における視差を拡張することが可能となる。[実施形態]以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、射出瞳の異なる領域を通過した光束を用いて、両眼立体視用の画像を撮影可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、射出瞳の異なる領域を通過した光束を用いて、両眼立体視用の画像を撮像することが可能な任意の機器に適用可能である。<デジタルカメラ100の機能構成>図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。CPU101は、デジタルカメラ100が備える各ブロックの動作を制御する。CPU101は、例えばROM102に記憶されている、後述する立体視画像撮影処理のプログラムを読み出し、RAM103に展開して実行することにより、各ブロックの動作を制御する。ROM102は、例えばEEPROM等の書き換え可能な不揮発性メモリであり、視差拡張処理のプログラムに加え、各ブロックの動作において必要な動作パラメータや、デジタルカメラ100の設定等を記憶する。RAM103は、揮発性メモリであり、視差拡張処理のプログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する。撮像光学系104は、対物レンズ、絞り、接眼レンズ等から構成され、撮像部106の受光素子に被写体像を結像する。なお、本実施形態の説明では、絞りはメカニカル絞りであるものとして説明するが、絞りの形状や直径等を制御可能な透過型の液晶絞りであっても本発明は実施可能である。撮像部106は、例えばCCDやCMOSセンサ等の撮像素子及び読み出し回路を備えるブロックであり、素子に結像された被写体像を光電変換して、アナログ画像信号を出力する。撮像素子の構成本実施形態では、撮像光学系104の射出瞳の異なる位置を通過した光束を用いて左眼用及び右眼用の画像を生成するため、図2に示すように撮像素子の1画素は左眼用及び右眼用の1対の受光素子201、202で構成される。1画素に対応する1対の受光素子には、それぞれ射出瞳の異なる領域を通過した光束が結像されるように、撮像素子の画素ごとにマイクロレンズ203が設けられている。図3は、CMOSセンサを例にとり、1つの画素に含まれる左眼用受光素子201、あるいは右眼用受光素子202の構成を示している。光信号電荷を発生するフォトダイオード301は、図においてアノード側が接地されている。またフォトダイオード301のカソード側は、転送MOSトランジスタ302を介して増幅MOSトランジスタ304のゲートに接続されている。また、上記増幅MOSトランジスタ304のゲートには、これをリセットするためのリセットMOSトランジスタ303のソースが接続されている。リセットMOSトランジスタ303のドレインは電源電圧VDDに接続されている。さらに、増幅MOSトランジスタ304は、ドレインが電源電圧VDDに接続され、ソースが選択MOSトランジスタ305のドレインに接続されている。転送MOSトランジスタ302のゲート端子はPtx信号により駆動され、リセットMOSトランジスタ303のゲート端子はPres信号により駆動される。また、選択MOSトランジスタ305のゲート端子はPsel信号により駆動され、フォトダイオード301により発生された光信号画素信号は、適切なタイミングでVout端子から出力される。具体的には、左眼用及び右眼用の受光素子で発生した画素信号は、CPU101の制御の下でTG105により入力された読み出しタイミングに応じて、読み出し回路CH1及びCH2により別々に読み出され出力される。図4は、CMOSセンサにおける画素信号の読み出しに必要な回路構成を示した図である。図4に示すように、左眼用受光素子201及び右眼用受光素子202それぞれの出力は、異なる読み出し回路に接続されている。なお、単位画素は、上述したように左眼用受光素子201及び右眼用受光素子202で構成されるため、破線で示されており、図の例では簡単のため、横2列、縦4行の8画素を備える撮像素子を示している。ここでは、右眼用の画素信号の読み出しについて以下に説明する。なお、左眼用の画素信号の読み出しについても、読み出し回路CH1が同様に行うものとする。垂直シフトレジスタ401は、TG105より入力されたタイミング信号に応じて、行選択線垂直走査線Pres、Ptx、及びPselを介して、信号電圧を左眼用受光素子201及び右眼用受光素子202に印加する。各受光素子において、転送MOSトランジスタ302のゲートは行選択線Ptxに、リセットMOSトランジスタ303のゲートは行選択線Presに、選択MOSトランジスタ305のゲートは行選択線Pselに接続されている。このように、同一行の受光素子は同一の垂直走査線に共通接続されている。また、各受光素子の選択MOSトランジスタ305のソースは、垂直方向に延長して配置される垂直信号線の端子Voutに接続され、負荷手段である定電流源407に接続される。そして、各受光素子の出力は、当該垂直信号線を介して読み出し回路402により読み出される。読み出し回路402は、入力である垂直信号線上の画素信号のうち、画素信号をnチャネルMOSトランジスタ403に、ノイズ信号をnチャネルMOSトランジスタ404に出力する。そしてそれぞれのnチャネルMOSトランジスタに出力された信号は差動増幅器405に入力され、画素信号とノイズ信号の差分がアナログ画像信号として出力される。なお、読み出し回路402は、列ごとの読み出し回路を含んでいる。また水平シフトレジスタ406は、nチャネルMOSトランジスタ403及びnチャネルMOSトランジスタ404のON/OFFを制御する。このように、本実施形態の撮像部106は1画素中に1対の受光素子を備え、射出瞳の異なる領域を通過した光束により、左眼用及び右眼用の画像を取得し、アナログフロントエンドAFE107に出力する。AFE107は、TG105より入力されたタイミング信号に従い、入力されたアナログ画像信号について信号増幅、及びA/D変換処理等を行ない、左眼用及び右眼用の画像データを出力する。DSPDigitalSignalProcessor108は、入力された画像データについて、色変換やホワイトバランス調整等の補正処理、及び予め定められた記録形式への符号化処理等を実行する画像処理回路である。測光回路109は、被写体輝度を測定するための回路であり、当該回路により取得された被写体輝度の情報は、通常の画像撮影における絞り値の決定、及び露出量の決定に用いられる。表示部110は、例えば小型LCD等のデジタルカメラ100が備える表示装置であり、撮影された画像、及び後述する記録媒体に記録されている画像の表示に用いられる。本実施形態では、表示部110はユーザが裸眼立体視可能なように左眼用及び右眼用画像を表示する表示装置であるものとする。また、撮像部106により撮像されたアナログ画像信号を順次表示部110に出力することにより、表示部110は電子ビューファインダとして機能する。記録媒体111は、例えばデジタルカメラ100が備える内蔵メモリや、メモリカードやHDD等のデジタルカメラ100に着脱可能に接続される記録装置である。デジタルカメラ100において撮影された画像は、所定の符号化形式に変換された後、当該記録媒体111に記録されるものとする。操作部112は、例えば電源ボタン、シャッタボタン、モード切替スイッチ等のデジタルカメラ100が備えるユーザインタフェースである。操作部112は、ユーザにより各操作部材が操作されたことに応じて、操作内容を示す制御信号をCPU101に出力する。<視差拡張の概念>ここで、本発明における、射出瞳の異なる領域を通過した光束により得られる両眼立体視用の画像における視差を拡張する方法の概念について、図5を用いて説明する。例えば、撮像光学系104の絞りが開放状態である場合、左眼用受光素子501及び右眼用受光素子502に結像される光学像は、図5aのように射出瞳503において異なる領域504及び505のそれぞれを通過した光束である。このときの光束の入射角に対する強度分布は、図11を参照して前述したように図5dのようになり、当該光束により得られた両眼立体視用の画像における視差は、開放絞り時の射出瞳の半径L1に応じて決定される。また、撮像光学系104の絞りが絞り状態である場合、左眼用受光素子501及び右眼用受光素子502に結像される光学像は図5bのように、射出瞳503より狭められた射出瞳511において、異なる領域512及び513のそれぞれを通過した光束である。このとき、光束の入射角に対する強度分布は、図5eのようになり、当該光束により得られた両眼立体視用の画像における視差は、絞り状態の射出瞳の半径L2L2<L1に応じて決定される。本発明では、このように絞り状態を異ならせて得られた左眼用及び右眼用の画像データの画素値を減算することにより、図5cのような領域521及び522を通過した光束により結像された光学像に相当する画像データを取得する。即ち、当該減算により光束の入射角に対する強度分布は図5fのようになり、レンズ外周からの光に対して相対的に感度が高くなるため、射出瞳における光束の通過領域の重心間距離L3を、絞り開放状態における重心間距離より拡張することができる。つまり、当該重心間距離に応じて決定される左眼用及び右眼用の画像における視差を、拡張することができる。なお、絞り径と射出瞳の径が一致する撮像光学系の場合、図5a乃至cに示した左眼用及び右眼用の受光素子に到達する光束が、射出瞳において通過する領域の重心間距離L1、L2、及びL3は、概略以下のようになる。L1=D1/2L2=D2/2L3=L1L2ここで、D1は開放絞り時の絞り径、D2は絞り状態における絞り径である。また、図5bの場合における左眼用受光素子501及び右眼用受光素子502の出力Pbは、撮像光学系104の光学性能や、撮像部106のマイクロレンズ及び受光素子の配置に起因する集光性能により変化するが、絞り開放状態における出力Paを基準としてPa×D2/D1≦Pb≦Pa×D2/D12の範囲に含まれる。またこの場合、視差を拡張するために減算した画像データにおける出力Pcは、Pc=Pa-Pbとなる。なお、絞りの開口はステッピングモータ等の駆動系により段階的に制御されるため、開放状態で得られた左眼用及び右眼用の画像データから、絞り状態で得られた左眼用および右眼用の画像データを減算しても、所望の視差を有する画像を得られないことがある。この場合、例えば図6に示すような、異なる絞り状態で得られた画像データを減算することにより、所望の視差を有する両眼立体視用の画像を取得するようにしてもよい。両眼立体視用の画像が所望の視差となるように選択される2つの絞り値の組み合わせは、上述したようにCPU101は計算により算出してもよい。また、所望の視差となるように撮影を行う2つの絞り値の組み合わせの情報は、例えばROM102に予め記憶されていてもよい。このようにすることで、CPU101は設定された視差を有する両眼立体視用の画像を取得するために撮影する2種類の絞り値を決定することが可能となる。なお、2つの絞り値の組み合わせは、所望される視差によって次のような傾向になる。即ち、大きい視差が要求される場合、より外側から入射する光束を取り込むために、開側の絞りの開口はより大きくなるように絞り値が決定される。また、減算後の画像データに対応する光束が射出瞳において通過する領域の重心間距離を大きくするために、閉側の絞りの開口はより開側の絞りの開口に近づく、即ち開側の絞りの開口と閉側の絞りの開口との差が小さくなるように絞り値が決定される。このように、本発明を用いることにより、射出瞳の異なる領域を通過した光束により得られる左眼用及び右眼用の画像データにおける視差は、理論的には略射出瞳の径に近い値まで拡張することができる。<立体視画像撮影処理>このような構成をもつ本実施形態のデジタルカメラ100の立体視画像撮影処理について、図7のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、CPU101が、例えばROM102に記憶されている対応する処理プログラムを読み出し、RAM103に展開して実行することにより実現することができる。なお、本立体視画像撮影処理は、例えばデジタルカメラ100の撮影モードが、視差が大きい両眼立体視用の画像を撮影する視差強調モードに設定された状態で、ユーザのシャッタボタン操作により撮影指示が入力された際に開始されるものとして説明する。即ち、本立体視画像撮影処理により得られる両眼立体視用の画像は、当該画像における左眼用及び右眼用の画像の視差が、通常開放絞り状態で得られる画像よりも拡張されているものとする。S701で、CPU101は、絞り値を例えばF2.0等の開側の値第1の絞り値に設定して撮影処理を実行し、得られた絞り開側画像データをRAM103に格納する。なお、上述したように絞り開側画像データは左眼用及び右眼用の画像データで構成される。S702で、CPU101は、S701で撮影された絞り開側画像データの左眼用及び右眼用の画像データに飽和画素が含まれているか否かを判断する。具体的にはCPU101は、左眼用及び右眼用それぞれの画像データの各画素の画素値を取得し、最大値を示す画素が存在するか否かを判断する。CPU101は、絞り開側画像データの左眼用及び右眼用の画像データに飽和画素が含まれていると判断した場合は処理をS707に移し、含まれていないと判断した場合は処理をS703に移す。飽和画素が存在する場合、異なる絞り値で撮影された画像データと減算を行ったとしても、対応する射出瞳の領域を通過した光束により得られる画像データとは厳密には異なる。このため、本立体視画像撮影処理において飽和画素が存在した場合は、視差の拡張ができないと判断し、後述するS707において絞り開側画像データを両眼立体視用の画像として記録媒体111に記録する。S703で、CPU101は、絞り値を例えばF8.0等の閉側の値第2の絞り値に設定し、絞り開側画像データの撮影時と同一の露光時間で撮影処理を行い、得られた絞り閉側画像データをRAM103に格納する。即ち、同一の露光時間で撮影を行うことにより、飽和信号の発生を回避するとともに、絞り開側画像データと絞り閉側画像データの減算を行った際に、適切に絞り閉側画像データに対応する光束の成分を除去した画像データを得ることができる。S704で、CPU101は、左眼用及び右眼用それぞれの画像データについて、絞り開側画像データと絞り閉側画像データとの減算をDSP108に実行させる。例えばDSP108は、RAM103に記憶されているそれぞれの画像データを読み出し、左眼用及び右眼用の画像データについて画素値の減算を行った後、得られた画像データをRAM103に格納する。S705で、CPU101は、画素値の減算により画像の平均輝度が低下するため、当該減算により低下した平均輝度を補償するようにゲイン補正処理をDSP108に実行させる。このとき、ゲイン補正量gは、絞り開側の絞り径をd1、絞り閉側の絞り径をd2とした場合、概略g=d1/d1-d22となる。しかしながら、当該ゲイン補正量は上述したように撮像光学系の光学性能等に起因して変化するため、予め実験的に求められていてもよい。また、絞り開側画像データと絞り閉側画像データとでは絞り径開口状態が異なるため、周辺光量落ちの特性周辺画素における信号レベルの減衰率が異なる。このため、ゲイン補正処理は、当該周辺光量落ち特性を他方の画像データに合わせるように補正する処理も含む。例えば、絞り値のそれぞれについて予め周辺光量落ちの特性を実験的に測定しておき、選択された2種類の絞り値に対して、当該周辺光量落ちの差分を取得し、一方に対して適用すればよい。このようにして周辺光量落ち特性を合わせた画像を用いて減算を行うことにより、周辺画素においても適切な減算結果を得ることができる。S706で、CPU101はDSP108に、ゲイン補正がなされた左眼用及び右眼用の画像データを、予め定められた両眼立体視用の画像データの記録形式に変換させる。そしてCPU101は得られた記録形式の両眼立体視用の画像データを記録媒体111に記録し、本立体視用画像撮影処理を完了する。またS702において絞り開側画像データに飽和画素が含まれていると判断された場合、CPU101はS707において、DSP108に当該絞り開側画像データを予め定められた両眼立体視用の画像データの記録形式に変換させる。そしてCPU101は、得られた記録形式の両眼立体視用の画像データを記録媒体111に記録し、本立体視用画像処理を完了する。なお、S702において、絞り開側画像データに飽和画素があった場合は、絞り閉側画像データの撮影を行わずに当該絞り開側画像データを用いて両眼立体視用の画像データを生成するものとして説明したが、本発明の実施はこれに限らない。例えば、飽和画素がなくなるような露光時間を設定し、当該露光時間を用いて再度絞り開側画像データの撮影処理を実行してもよい。以上説明したように、本実施形態の撮像装置は、射出瞳の異なる領域を通過した光束により得られる両眼立体視用の画像における視差を拡張することができる。具体的には撮像装置は、絞りを含む撮像光学系と、各々が左眼用及び右眼用の受光素子を備える複数の画素からなり、左眼用及び右眼用の受光素子のそれぞれが左眼用及び右眼用の画像を出力する撮像素子とを備える。そして、左眼用及び右眼用の画像の各々について、絞りの開口が開側の状態である際に撮像素子により出力された第1の画像の画素値から、絞りの開口が閉側の状態である際に撮像素子により出力された第2の画像の画素値を減算することにより得られた第3の画像を両眼立体視用の画像データとして出力する。このとき、第3の画像データは、例えば図5における左眼用画素501から得られた左眼用画像と右眼用画素502から得られた右眼用画像を1つのシーンとして別々に記録する。再生装置では前記1つのシーンとして記録された左眼用画像を左眼で視認し右眼用画像を右眼で視認出来るように再生することで、撮影された画像を立体視することが可能である。このようにすることで、単眼の撮像装置であっても、二眼の撮像装置と同様の視差を有する画像を取得することもできるため、ユーザに対して効果的に視差を調整した画像を提示することができる。[変形例]上述した実施形態では、視差強調モードのみの動作について説明したが、デジタルカメラ100が通常の撮影モード、及び撮影する両眼立体視用の画像について異なる視差を設定可能なモードを備える場合の例について説明する。<撮影処理>上述の実施形態1と同様の構成を有する本変形例のデジタルカメラ100の撮影処理について、図8のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、CPU101が、例えばROM102に記憶されている対応する処理プログラムを読み出し、RAM103に展開して実行することにより実現することができる。なお、本撮影処理は、例えばデジタルカメラ100が撮影可能なモードに設定されている状態で、ユーザがシャッタボタンを操作することにより撮影指示が入力された際に開始されるものとして説明する。S801で、CPU101は、現在のデジタルカメラ100の撮影モードが両眼立体視用の画像データの撮影を行うモードに設定されているか否かを判断する。具体的にはCPU101は、例えばRAM103に格納されている現在の撮影モードの設定が、視差強調モード、視差低減モード、及び通常視差モードのいずれかに該当するか否かを判断する。なお、本実施形態で説明する両眼立体視用の画像データの撮影を行うモードの概要は、以下のようになる。通常視差モード:絞り開放状態例えばF2.0で得られた画像を両眼立体視用の画像データとして記録するモード視差低減モード:通常視差モードよりも視差の小さい両眼立体視用の画像データを記録するモード例えば、絞り開放より6段絞ったF16と、7段絞ったF22とで得られた画像データの減算を行う視差強調モード:通常視差モードよりも視差の大きい両眼立体視用の画像データを記録するモード例えば、絞り開放F2.0と、絞り開放より1段絞ったF2.8とで得られた画像データの減算を行うCPU101は、現在のデジタルカメラ100の撮影モードが両眼立体視用の画像データの撮影を行うモードに設定されていると判断した場合は処理をS803に移し、それ以外の撮影モードに設定されていると判断した場合は処理をS802に移す。S802で、CPU101は、測光回路109により決定された露光量に従って通常のAE撮影を行い、DSP108に得られた画像データを記録形式に変換させ、記録媒体111に記録し、本撮影処理を完了する。また両眼立体視用の画像データの撮影を行うモードに設定されていると判断した場合、CPU101はS803で、現在の撮影モードが視差強調モードであるか否かを判断する。CPU101は、現在の撮影モードが視差強調モードであると判断した場合は処理をS804に移し、視差強調モードではないと判断した場合は処理をS805に移す。S804で、CPU101は、上述した実施形態の立体視画像撮影処理と同様に、F2.0とF2.8について撮影を行い、左眼用及び右眼用それぞれの画像データを減算して記録用の両眼立体視用の画像データを取得し、記録媒体111に記録する。S805で、CPU101は、現在の撮影モードが視差低減モードであるか否かを判断する。CPU101は、現在の撮影モードが視差低減モードであると判断した場合は処理をS806に移し、視差低減モードではないと判断した場合は処理をS807に移す。S806で、CPU101は、上述した実施形態の立体視画像撮影処理と同様に、F16とF22について撮影を行い、左眼用及び右眼用それぞれの画像データを減算して記録用の両眼立体視用の画像データを取得し、記録媒体111に記録する。S805において現在の撮影モードが視差低減モードではないと判断した場合、CPU101は現在の撮影モードは通常視差モードであると判断する。そしてCPU101は、S807においてF2.0で撮影を行い、得られた左眼用及び右眼用の画像データをDSP108に記録形式の両眼立体視用の画像データに変換させ、記録媒体111に記録する。なお、本実施形態では撮影モードによって3段階に視差を切り替えて両眼立体視用の画像データを撮影可能であるものとして説明したが、本発明の実施はこれに限らない。例えば、ユーザにより選択された視差の目標値について、絞り値の変更で対応可能か、あるいは異なる2つの絞り値の組み合わせを選択して、得られた2つの画像の画素値の減算を行うかを判断して撮影処理を行ってもよい。このようにすることで、両眼立体視用の画像データを撮影する際に、ユーザはシーンに合わせて所望の視差を選択することができる。また、撮像光学系の射出瞳に制限されず、視差の選択について自由度を向上させることができる。なお、上述した実施形態及び変形例は、異なる2つの絞り状態で撮影して得られた、左眼用及び右眼用の画像を減算することにより、両眼立体視用の画像における視差を拡張する方法について説明したが、本発明の実施はこれに限らない。本発明のように単位画素内に複数の受光素子を設ける場合、受光素子の各々について読み出し回路が必要になる。このため、読み出し回路の設置スペースを確保すると、例えば図9aに示すように受光素子の受光面積は限定されることが考えられる。しかしながら図9aのように、撮像素子において、垂直方向に左眼用及び右眼用の受光素子901及び902の占有範囲を狭めることにより得られた画像データを用いて、上述の処理を行うことにより同様の効果を得ることができる。即ち、単位画素において受光可能な光束が制限されたとしても、異なる絞り開口で得られた画素信号の差分に対応する射出瞳の領域は図9bのように垂直方向にのみ縮小されるため、当該領域の重心位置は受光面積に依らず変化しない。つまり、上述した実施形態及び変形例と同様に、視差をより拡張することが可能である。なお、図9aの例では、受光素子の構成要素を効率的に配置するために、それぞれの受光素子であるフォトダイオードに接続される転送MOSトランジスタ903及び904とリセットMOSトランジスタ905及び906とが配置されている。このとき、受光素子901及び902以外の部材については、光が入射しないように直上に金属遮光層が配置されているものとする。また例えば上述したような、透過型の液晶等を絞りとして用いることで、異なる2つの絞り値で撮影された画像データの画素値を減算することなく、当該絞りにより射出瞳を通過する領域を制御することも可能である。具体的には例えば図10aに示すような絞りを用いることで視差を拡張する、あるいは図10bに示すような絞りを用いることで視差を低減することが容易に実現できる。その他の実施形態また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。