各々が、撮像光学系の射出瞳の領域を通過した光束を光電変換して左目用画像を出力する第1の光電変換部と、前記射出瞳の前記領域とは異なる領域を通過した光束を光電変換して右目用画像を出力する第2の光電変換部とを有する複数の画素を備える撮像素子と、前記第1の光電変換部が出力した前記左目用画像と前記第2の光電変換部が出力した前記右目用画像とを画素毎に加算することによって合成画像を生成する第1の画像生成手段と、前記生成された合成画像の位置を基準とした前記左目用画像/右目用画像の位置ずれ量を視差量として算出し、算出した視差量を記憶手段に記憶する視差算出手段と、前記生成された合成画像が含む被写体を前記記憶手段に記憶された視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する第2の画像生成手段とを備えることを特徴とする撮像装置。前記第2の画像生成手段は、前記合成画像が含む被写体を前記記憶手段に記憶された視差量の分だけ移動させることによって、左目用画像または右目用画像のうち、前記視差量に対応する画像の再生用データを生成し、前記合成画像が含む被写体を前記視差量を反転した分だけ移動させることによって、左目用画像または右目用画像のうち、前記視差量に対応する画像以外の画像の再生用データを生成することを特徴とする請求項1に記載の撮像装置。前記視差算出手段が、前記左目用画像/右目用画像の位置を基準とした、前記左目用画像または前記右目用画像のうち前記基準となる位置の画像以外の画像の位置ずれ量を前記視差量として算出し、前記第2の画像生成手段は、前記合成画像が含む被写体を前記記憶手段に記憶された視差量の分だけ移動させることによって、左目用画像または右目用画像のうち、前記視差量に対応する画像の再生用データを生成し、前記生成された合成画像を、左目用画像または右目用画像のうち、前記視差量に対応する画像以外の画像の再生用データとすることを特徴とする請求項1に記載の撮像装置。前記視差算出手段は、前記視差量とともに、該視差量の基準となる画像の位置の情報を前記記憶手段に記憶し、前記第2の画像生成手段は、前記記憶手段に記憶された前記視差量の基準となる画像の位置の情報に基づいて、前記記憶手段に記憶された視差量が前記左目用画像または右目用画像のうち、いずれの画像の位置を基準とした視差量であるかを判断し、前記視差量が前記左目用画像の位置を基準とした視差量であると判断した場合に、前記合成画像を前記再生対象の左目用画像とするとともに、前記合成画像が含む被写体を前記視差量の分だけ移動させることによって、前記右目用画像の再生用データを生成し、前記視差量が前記右目用画像の位置を基準とした視差量であると判断した場合に、前記合成画像を前記再生対象の右目用画像とするとともに、前記合成画像が含む被写体を前記視差量の分だけ移動させることによって、前記左目用画像の再生用データを生成することを特徴とする請求項3に記載の撮像装置。各々が、撮像光学系の射出瞳の領域を通過した光束を光電変換して左目用画像を出力する第1の光電変換部と、前記射出瞳の前記領域とは異なる領域を通過した光束を光電変換して右目用画像を出力する第2の光電変換部とを有する複数の画素を備える撮像素子とを備える撮像装置の制御方法であって、前記第1の光電変換部が出力した前記左目用画像と前記第2の光電変換部が出力した前記右目用画像とを画素毎に加算することによって合成画像を生成し、前記生成された合成画像の位置を基準とした前記左目用画像/右目用画像の位置ずれ量を視差量として算出し、算出した視差量を記憶手段に記憶し、前記生成された合成画像が含む被写体を前記記憶手段に記憶された視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成することを特徴とする撮像装置の制御方法。立体映像を鑑賞するには、背景技術で述べたように、左右方向に視差を持たせた画像を、それぞれ対応する目で見る必要がある。したがって、背景技術で述べたいずれの技術も、左目で鑑賞するための左目用画像と、右目で鑑賞するための右目用画像とを用意する必要がある。しかし、特許文献1が開示する、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが1対以上配置されている固体撮像素子を用いて撮影をした場合、以下のような問題がある。対をなすフォトダイオードの一方が撮像光学系の射出瞳のある領域を通過した光束を光電変換した左目用画像を出力し、他方が射出瞳の上記領域とは異なる領域を通過した光束を光電変換した右目用画像を出力する場合を想定する。この場合、被写体によっては、左目用画像、右目用画像のいずれの画像も、被写体の形状を反映した画像でないことがある。例えば、点光源からの光がボケたように撮影される撮影シーンにおいては、本来、円形にボケた光源の写真が撮影されるべきである。しかし、特許文献1が開示する固体撮像素子で撮影した場合には、撮影される画像は、被写体の形状が反映されていない半円形や楕円形などの形状となってしまう。しかも、例えば、左目用画像における被写体は左半分が欠けており、右目用画像における被写体は右半分が欠けているというように、左目用画像と右目用画像とでは、画像として写る被写体の形状が異なって撮影される。その理由としては、撮像光学系の射出瞳から出た光束のうち、光軸を境にして、フォトダイオードが受光する光の領域が異なるためである。撮像装置が、特許文献2の技術を適用し、左目用画像と視差マップとに基づいて右目用画像を生成するようにしても、以下の問題が生ずる。すなわち、右目用画像の生成の基となる左目用画像における被写体の形状が、実際の被写体とは異なる形状を有するので、視差マップを用いても、被写体の形状が反映された正しい右目用画像を生成できない。本発明は、撮像光学系の射出瞳の異なる領域からの光を光電変換して画像を出力する複数の光電変換部を有する撮像素子を備え、出力画像と視差量とに基づいて、被写体の形状を正しく反映した右目用画像/左目用画像を生成する撮像装置の提供を目的とする。本発明の一実施形態の撮像装置は、各々が、撮像光学系の射出瞳の領域を通過した光束を光電変換して左目用画像を出力する第1の光電変換部と、前記射出瞳の前記領域とは異なる領域を通過した光束を光電変換して右目用画像を出力する第2の光電変換部とを有する複数の画素を備える撮像素子と、前記第1の光電変換部が出力した前記左目用画像と前記第2の光電変換部が出力した前記右目用画像とを画素毎に加算することによって合成画像を生成する第1の画像生成手段と、前記生成された合成画像の位置を基準とした前記左目用画像/右目用画像の位置ずれ量を視差量として算出し、算出した視差量を記憶手段に記憶する視差算出手段と、前記生成された合成画像が含む被写体を前記記憶手段に記憶された視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する第2の画像生成手段とを備える。本発明の撮像装置によれば、撮像光学系の射出瞳の異なる領域からの光を光電変換して出力された画像と視差量とに基づいて、被写体の形状を正しく反映した右目用画像/左目用画像を生成することが可能となる。図1は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。撮像素子100は、画素アレイ101と、画素アレイ101における行を選択する垂直選択回路102と、画素アレイ101における列を選択する水平選択回路104を含む。読み出し回路103は、画素アレイ101中の画素のうち垂直選択回路102によって選択される画素の信号を読み出す。読み出し回路103は、信号を蓄積するメモリ、ゲインアンプ、AD変換器などを列毎に有する。シリアルインターフェースSI部105は、各回路の動作モードなどを外部回路からの指示に従って決定する。垂直選択回路102は、画素アレイ101の複数の行を順次選択し、読み出し回路103に画素信号を取り出す。また水平選択回路104は、読み出し回路103によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子100は、図1に示す構成要素以外に、例えば、垂直選択回路102、水平選択回路104、読み出し回路103等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。図2は、撮像素子100の画素の構成例を示す図である。図2Aは1画素の構成を概略的に示す。図2Bは、画素アレイ101の配置を示す。図2Aに示す画素201は、光学素子としてのマイクロレンズ202と、受光素子としての複数のフォトダイオード以下、PDと略記するとを有する。図2Aには、1画素に左側のPD203と右側のPD204の2個を設けた例を示すが、3個以上例えば、4個または9個のPDを用いてもよい。PD203は、受光した光束を光電変換して左目用画像を出力する。PD204は、受光した光束を光電変換して右目用画像を出力する。なお、画素201は、図示の構成要素以外にも、例えば、PD信号を読み出し回路103に取り出す画素増幅アンプや、行選択スイッチ、PD信号のリセットスイッチなどを備える。画素アレイ101は、2次元画像を提供するため、図2Bに示す多数の画素301から304のように、2次元アレイ状に配列して構成される。PD301L、302L、303L、304Lは、図2A中のPD203に相当する。また、PD301R、302R、303R、304Rは、図2A中のPD204に相当する。すなわち、本実施形態の撮像装置は、各々が、左目用画像を出力する第1の光電変換部PD203と、右目用画像を出力する第2の光電変換部PD204とを有する複数の画素を備える撮像素子を備える。次に、図2Bに示す画素構成を有する撮像素子100の受光について説明する。図3は撮影レンズの射出瞳から出た光束が撮像素子100に入射する様子を表した概念図である。画素アレイ101は、マイクロレンズ202と、カラーフィルタ403と、PD404および405を有する。PD404、PD405は、図2A中のPD203、PD204にそれぞれ相当する。図3において、マイクロレンズ202に対して、撮影レンズの射出瞳406から出た光束の中心を光軸409とする。射出瞳406から出た光は、光軸409を中心として撮像素子100に入射する。一部領域407、408は、撮影レンズの射出瞳406の領域である。光線410、411は、一部領域407を通過する光の最外周の光線である。光線412、413は、一部領域408を通過する光の最外周の光線である。射出瞳406から出る光束のうち、光軸409を境界線として、上側の光束はPD405に入射し、下側の光束はPD404に入射する。つまり、PD404とPD405は、各々、撮影光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。図4は、本実施形態の撮像装置の構成例を示す図である。図4を参照して、図1に示す撮像素子100の、撮像装置であるデジタルカメラへの適用例について説明する。撮像光学系を構成するレンズ部501は、被写体からの光を撮像素子505に結像する。撮像素子505は、図1に示す撮像素子100に相当し、図2Bに示す画素構成を有する。レンズ駆動装置502は、ズーム制御、フォーカス制御、絞り制御などを行う。メカニカルシャッタ503は、シャッタ駆動装置504によって制御される。撮像素子505は、レンズ部501により結像した被写体像を画像信号に変換する。撮像信号処理回路506は、撮像素子505の出力する画像信号に対して各種の処理や補正を行う。タイミング発生部507は、撮像素子505や撮像信号処理回路506に必要なタイミング信号を出力する。システム制御部509は、各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のCPU中央演算処理装置がプログラムを実行することで処理を行う。本実施形態に特有の動作として、システム制御部509は、画像合成回路513によって生成された合成画像と、視差マップ生成回路514によって生成された視差マップとに基づいて、被写体の形状が正しく反映された左目用画像と右目用画像とを生成する。また、システム制御部509は、生成した左目用画像と右目用画像とを再生することによって、ユーザに立体画像を鑑賞させる。なお、システム制御部509は、左目用画像と右目用画像と基づいて、位相差の検知を行って、位相差AFを実現することもできる。記憶部508は、画像データを一時的に記憶するメモリを備える。記憶媒体制御インターフェース部以下、I/F部と略記する510は、記録媒体511に画像データなどを記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体511は、半導体メモリ等である。外部I/F部512は、外部装置との間でデータを送受する。表示部516は、表示制御回路517からの表示用データに従って、各種情報や撮影画像を表示する。撮像信号処理回路506は、撮像素子505が出力する撮像データを左目用画像と右目用画像に振り分けて画像処理を行う。メモリ部508は、撮像信号処理回路506の出力データ、画像合成回路によって生成された合成画像、視差マップ生成回路によって生成された視差マップを記憶する記憶手段として機能する。画像合成回路513は、左目用画像と右目用画像とを合成し、合成画像を生成する第1の画像生成手段として機能する。視差マップ生成回路514は、以下の処理を実行する視差算出手段として機能する。視差マップ生成回路514は、合成画像の位置を基準とした左目用画像/右目用画像の位置ずれ量を視差量として算出し、算出した視差量に関する情報を視差マップとしてメモリ部508に記憶する。測光装置515は、露出制御に用いられる測光値を取得する。次に、撮影時のデジタルカメラの動作について説明する。メイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路506などの撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部509が、撮像素子505からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置502が、レンズ部501の可動レンズを駆動し、システム制御部509が、合焦状態であるか否かを判定する。システム制御部509が、合焦状態でないと判定した場合、再びレンズ部501の駆動制御により、焦点状態の検出処理が実行される。なお、被写体までの距離を求める演算については、撮像素子505からのデータから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部509は、合焦と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路506は撮像素子505が出力した画像信号を処理し、システム制御部509は画像データをメモリ部508に書き込む制御を行う。撮像素子505が出力する撮像データについては、複数のPDからの画像信号として出力される。図2Bに示す例では、PD301L、301R、302L、302R、303L、303R、304L、304Rの順に画像信号が出力される。撮像信号処理回路506が、撮像素子505の出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。左目用画像データは、図2Bにおける左側PD301L、302L、303L、304Lの出力のみを選択して処理した結果得られる画像データである。また、右目用画像は、図2Bにおける右側PD301R、302R、303R、304Rの出力のみを選択して処理した結果得られる画像データである。左目用画像データと右目用画像データとは、別々にメモリ部508に保持される。画像合成部513は、メモリ部508に保持した左目用画像と右目用画像の各データを読み出して合成画像を生成する。生成された合成画像データはメモリ部508に格納される。画像合成部513によって実行される画像処理は、左目用画像と右目用画像について画素毎の加算平均値を算出する処理である。従って、この画像処理によって生成される合成画像は、被写体の形状を反映した形状を有する。例えば、被写体の形状が円形状であって、左目用画像と右目用画像が半円形状である場合、合成画像は、被写体の形状と同じ円形状を有する。撮像素子505にて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成部513の画像処理によって、被写体像の形状が補間されるため、正しい形状の画像データが生成される。なお、撮像信号処理回路506が、画像処理を行った後の左目用画像と右目用画像とを合成するようにしてもよい。次に、視差マップ生成回路514が、視差マップを生成して、メモリ部508に記憶する。視差マップ生成回路514は、合成画像の位置を基準とした左目用画像/右目用画像の位置ずれ量を視差量として、視差マップを生成する。実施例1以下に、実施例1について説明する。図5は、実施例1における視差マップの生成処理の一例を示す図である。図5A中の符号601は、被写体を撮影して得られる構図を示す。符号602、603、604は、被写体を示す。図5A中に示す構図では、被写体602、603、604は、この順に上から並んでいる。また、被写体は、図5Cに示すように、奥行き方向に並んで配置されている。符号604が最も近い被写体、符号602が最も遠い被写体である。図5Bは、図5Aに示す構図を撮影して得られるステレオ画像を示す。画像605は左目用画像であり、画像606は右目用画像である。左目用画像605には、被写体602、603、604が、それぞれ、607L、608L、609Lとして示される。右目用画像606には、被写体602、603、604が、それぞれ、607R、608R、609Rとして示される。左目用画像605における被写体と右目用画像606における当該被写体との間には、位置ずれがある。本実施形態では、位置ずれの量を視差量と定義する。符号610は、被写体602の左目用画像605における位置を基準とする、右目用画像606における位置のずれ量、つまり607Lと607Rとの間の視差量を示す。同様に、符号611は、被写体604の左目用画像605における位置を基準とする、右目用画像606における位置のずれ量、つまり609Lと609Rとの間の視差量を示す。被写体603については、左目用画像605における位置と右目用画像606における位置とが同じである。すなわち、被写体603については、視差量がない。視差マップ生成回路514は、まず、公知のパターンマッチング法を用いて、左目用画像605と右目用画像606に含まれる被写体を検知する。視差マップ生成回路514は、検知した被写体毎に以下の処理を実行する。視差マップ生成回路514は、左目用画像605、右目用画像606における被写体の重心間の中点から左目用画像605における被写体の重心までの位置ずれ量を視差量として算出する。言い換えると、視差マップ生成回路514は、左目用画像605と右目用画像606とに基づいて生成された合成画像における被写体の重心の位置を基準とした、左目用画像における当該被写体の重心の位置の位置ずれ量を視差量として算出する。算出される視差量は、左目画像に対応する視差量である。もちろん、視差マップ生成回路514が、合成画像における被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量を、右目画像に対応する視差量として算出するようにしてもよい。図5Bに示す例では、被写体602については、視差マップ生成回路514は、視差量610の半分の量である視差量612を算出する。また、被写体604については、視差マップ生成回路514は、視差量611の半分の量である視差量613を算出する。視差マップ生成回路514は、算出した視差量612、613に関する情報と、当該視差量の基準となる画像の位置の情報を視差マップとしてメモリ部508に記憶する。この例では、視差量の基準となる画像の位置の情報は、合成画像における被写体の重心を示す。なお、上述したように、図5Bに示す例では、被写体603については視差量がない。図6は、視差マップを模式的に示す図である。視差マップ801は、視差量802と、視差量の基準となる画像の位置重心の情報803を含む。次に、画像の再生処理について説明する。システム制御部509が、以下の処理を実行する第2の画像生成手段として機能する。システム制御部509が、メモリ部508から合成画像と視差マップとを読み出す。システム制御部509が、視差マップが示す視差量の基準となる画像の位置が、合成画像における被写体の重心であることを確認する。そして、システム制御部509が、合成画像における被写体を当該視差マップが示す視差量の分だけシフトすることによって、再生対象の左目用画像すなわち視差量に対応する画像の再生用データを生成する。また、システム制御部509が、視差マップが示す視差量を反転させる。システム制御部509が、視差マップが示す視差量を反転させて得られる視差量を、合成画像における当該被写体の重心を基準とする右目用画像における当該被写体の重心の位置の位置ずれ量とする。そして、システム制御部509が、合成画像における被写体を当該視差マップが示す視差量を反転させて得られる視差量の分だけシフトすることによって、再生対象の右目用画像すなわち視差マップが示す視差量に対応する画像以外の画像の再生用データを生成する。なお、合成画像における被写体をシフトすることによって、当該被写体が配置されていた位置の画素は、欠落画素となる。従って、例えば、システム制御部509は、例えば、下記の参考文献1に記載されている公知の技術を用いて、この欠落画素に色空間情報を付与する。すなわち、システム制御部509は、欠落画素の近傍の画素の画素値の平均値を色空間情報として算出し、算出した色空間情報を欠落画素に付与する。参考文献1:特許第3524147号公報実施例1の撮像装置は、左目用画像と右目用画像を合成して、被写体の形状が反映された合成画像を生成する。この撮像装置は、生成した合成画像の位置を基準とする視差量に関する情報を視差マップとして生成する。そして、この撮像装置は、合成画像と視差マップが示す視差量とに基づいて、再生対象の左目用画像と右目用画像とを生成する。従って、実施例1の撮像装置によれば、撮影光学系の射出瞳の異なる領域を通過した光束の光電変換によって得られる左目用画像、右目用画像の形状が被写体の形状と異なる場合であっても、画像の再生時には被写体の形状を反映した正しい画像を再生できる。実施例2次に、実施例2について説明する。実施例2の撮像装置が備えるシステム制御部509は、左目用画像/右目用画像の位置を基準とした、左目用画像または右目用画像のうち基準となる位置の画像以外の画像の位置ずれ量を視差量として算出する。システム制御部509は、算出した視差量と、該視差量の基準となる画像の位置の情報とを、視差マップとしてメモリ部508に記憶する。この例では、左目用画像の位置を視差量の基準となる位置とするものとする。図5Bに示す例では、視差マップ生成回路514は、被写体602については、左目用画像605における当該被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量すなわち視差量610を算出する。視差マップ生成回路514は、被写体604については、左目用画像605における当該被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量すなわち視差量611を算出する。視差マップ生成回路514は、算出した視差量610、611に関する情報と、当該視差量の基準となる画像の位置の情報を視差マップとしてメモリ部508に記憶する。この例では、視差量の基準となる画像の位置の情報は、左目用画像における被写体の重心を示す。もちろん、視差量の基準となる画像の位置を、右目用画像における被写体の重心としてもよい。次に、画像の再生処理について説明する。システム制御部509が、メモリ部508から合成画像と視差マップとを読み出す。システム制御部509が、視差マップが含む、視差量の基準となる画像の位置の情報に基づいて、視差量が左目用画像または右目用画像のうち、いずれの画像の位置を基準とした視差量であるかを判断する。システム制御部509は、視差量が左目用画像の位置を基準とした視差量であると判断した場合に、合成画像を再生対象の左目用画像とするとともに、合成画像が含む被写体を視差量の分だけ移動させることによって、再生対象の右目用画像を生成する。また、システム制御部509は、視差量が前記右目用画像の位置を基準とした視差量であると判断した場合に、合成画像を再生対象の右目用画像とするとともに、合成画像が含む被写体を視差量の分だけ移動させることによって、再生対象の左目用画像を生成する。この例では、システム制御部509が、視差マップが示す視差量の基準となる画像の位置が、左目用画像における被写体の重心であると判断する。従って、システム制御部509が、読み出した合成画像を再生対象の左目用画像とする。本実施例において、左目用画像は、視差マップが示す視差量に対応する画像以外の画像である。また、システム制御部509が、合成画像における被写体を当該視差マップが示す視差量の分だけシフトすることによって、再生対象の右目用画像すなわち視差量に対応する画像の再生用データを生成する。実施例2の撮像装置によれば、画像の再生処理時には、合成画像を再生対象の左目用画像としてそのまま使用し、合成画像を視差マップが示す視差量の分だけシフトすることによって、再生対象の右目用画像を生成することができる。従って、実施例1に比べて、画像の再生に必要な画像処理量を減らし、再生動作の高速化を図ることが可能となる。その他の実施例また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。