"一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を、水平方向および垂直方向に並べて配置した撮像素子と、撮影の開始と該撮影の種別とを検知する撮影検知手段と、前記開始が検知された撮影の種別に応じて、前記複数の光電変換部から、左目用画像信号を生成する第1の光電変換部、右目用画像信号を生成する第2の光電変換部または前記複数の光電変換部の全てのうちのいずれかを選択し、選択した光電変換部が生成する信号に基づいて画像データを生成して出力する第1選択手段と、前記第1選択手段が出力した画像データを記憶する記憶手段と、前記開始が検知された撮影の種別に応じて、前記記憶手段に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第2選択手段とを備え、前記開始が検知された撮影の種別が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合に、前記第1選択手段が、前記第1または第2の光電変換部を選択するとともに、前記複数の画素部から予め決められた複数の画素部を1つの処理単位として選択し、前記選択した画素部が有する前記選択された光電変換部が生成した画像信号を加算平均して1つの画素部に対応する画像信号として出力する信号出力処理を、前記第1または第2の光電変換部を選択する毎に実行することによって、左目用動画像データと右目用動画像データとを生成して前記記憶手段に記憶し、前記開始が検知された撮影の種別が、静止画撮影である場合に、前記第1選択手段が、各々の画素部が有する前記複数の光電変換部の全てを選択し、該選択した光電変換部が生成した画像信号に基づいて静止画像データを生成して前記記憶手段に記憶し、前記第2選択手段が、該記憶手段に記憶された静止画像データのうち、前記第1の光電変換部が生成した画像信号に対応する静止画像データに基づいて、左目用静止画像データを生成し、前記第2の光電変換部が生成した画像信号に対応する静止画像データに基づいて、右目用静止画像データを生成することを特徴とする撮像装置。前記第1選択手段は、前記開始が検知された撮影の種別が前記ライブビュー撮影である場合に、前記第1または第2の光電変換部を選択して前記処理単位の全てについて前記信号出力処理を実行して、前記選択された光電変換部が生成する画像信号に対応する動画像データを生成した後に、前記第1または第2の光電変換部のうち、前記選択されなかった光電変換部を選択して前記処理単位の全てについて前記信号出力処理を実行して、該選択された光電変換部が生成する画像信号に対応する動画像データを生成することを特徴とする請求項1に記載の撮像装置。前記第1選択手段は、前記開始が検知された撮影の種別が前記ライブビュー撮影である場合に、前記第1および第2の光電変換部を選択した上で、前記処理単位の画素部が有する前記選択された光電変換部が生成した画像信号を前記第1、第2の光電変換部のそれぞれについて加算平均して1つの画素部に対応する2つの画像信号として出力する信号出力処理を前記処理単位の全てについて実行することによって、前記左目用動画像データと前記右目用動画像データとを含む動画像データを生成して前記記憶手段に記憶し、前記第2選択手段は、前記開始が検知された撮影の種別が前記ライブビュー撮影である場合に、前記記憶手段に記憶された動画像データから前記左目用動画像データと、右目用動画像データとを取得することを特徴とする請求項1に記載の撮像装置。前記撮像素子が有する各々の画素部が、カラーフィルタを有し、予め決められた画素配列で配置されており、前記第1選択手段は、前記撮像素子が有する複数の画素部のうち、水平方向に、同じカラーフィルタを有する予め決められた数の画素部を選択し、該選択した画素部を前記処理単位とすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。前記撮像素子が有する各々の画素部が、カラーフィルタを有し、予め決められた画素配列で配置されており、前記第1選択手段は、垂直方向に予め決められた間隔で予め決められた数の画素部群を選択し、該選択された各々の画素部群が含む画素部から、水平方向に、同じカラーフィルタを有する予め決められた数の画素部を選択し、該選択した画素部を前記処理単位とすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を、水平方向および垂直方向に並べて配置した撮像素子を備える撮像装置の制御方法であって、撮影の開始と該撮影の種別とを検知する撮影検知工程と、前記開始が検知された撮影の種別に応じて、前記複数の光電変換部から、左目用画像信号を生成する第1の光電変換部、右目用画像信号を生成する第2の光電変換部または前記複数の光電変換部の全てのうちのいずれかを選択し、選択した光電変換部が生成する信号に基づいて画像データを生成して出力する第1選択工程と、前記第1選択工程によって出力された画像データを記憶手段に記憶する記憶工程と、前記開始が検知された撮影の種別に応じて、前記記憶手段に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第2選択工程とを有し、前記開始が検知された撮影の種別が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合に、前記第1選択工程において、前記第1または第2の光電変換部を選択するとともに、前記複数の画素部から予め決められた複数の画素部を1つの処理単位として選択し、前記選択した画素部が有する前記選択された光電変換部が生成した画像信号を加算平均して1つの画素部に対応する画像信号として出力する信号出力処理を、前記第1または第2の光電変換部を選択する毎に実行することによって、左目用動画像データと右目用動画像データとを生成して前記記憶手段に記憶し、前記開始が検知された撮影の種別が、静止画撮影である場合に、前記第1選択工程において、各々の画素部が有する前記複数の光電変換部の全てを選択し、該選択した光電変換部が生成した画像信号に基づいて静止画像データを生成して前記記憶手段に記憶し、前記第2選択工程において、該記憶手段に記憶された静止画像データのうち、前記第1の光電変換部が生成した画像信号に対応する静止画像データに基づいて、左目用静止画像データを生成し、前記第2の光電変換部が生成した画像信号に対応する静止画像データに基づいて、右目用静止画像データを生成することを特徴とする撮像装置の制御方法。しかし、撮像素子が備える各々の画素部が有するフォトダイオードの数が増えると、撮像素子から読み込むデータ量が増えるので、滑らかな動画を表示することができない。また逆に、撮像装置が静止画撮影した場合には、後工程での画像処理の自由度を上げるために、できるだけ多くのフォトダイオードのデータを記録した方が有利である。本発明は、左目用画像/右目用画像を撮影する撮像装置であって、ライブビュー撮影時に撮像素子からの画像信号の取り込み時間を短縮し、静止画撮影時に後工程での画像処理の自由度が上がるように画像信号を記憶する撮像装置の提供を目的とする。本実施形態の撮像装置は、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を、水平方向および垂直方向に並べて配置した撮像素子と、撮影の開始と該撮影の種別とを検知する撮影検知手段と、前記開始が検知された撮影の種別に応じて、前記複数の光電変換部から、左目用画像信号を生成する第1の光電変換部、右目用画像信号を生成する第2の光電変換部または前記複数の光電変換部の全てのうちのいずれかを選択し、選択した光電変換部が生成する信号に基づいて画像データを生成して出力する第1選択手段と、前記第1選択手段が出力した画像データを記憶する記憶手段と、前記開始が検知された撮影の種別に応じて、前記記憶手段に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第2選択手段とを備える。前記開始が検知された撮影の種別が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合に、前記第1選択手段が、前記第1または第2の光電変換部を選択するとともに、前記複数の画素部から予め決められた複数の画素部を1つの処理単位として選択し、前記選択した画素部が有する前記選択された光電変換部が生成した画像信号を加算平均して1つの画素部に対応する画像信号として出力する信号出力処理を、前記第1または第2の光電変換部を選択する毎に実行することによって、左目用動画像データと右目用動画像データとを生成して前記記憶手段に記憶する。前記開始が検知された撮影の種別が、静止画撮影である場合に、前記第1選択手段が、各々の画素部が有する前記複数の光電変換部の全てを選択し、該選択した光電変換部が生成した画像信号に基づいて静止画像データを生成して前記記憶手段に記憶し、前記第2選択手段が、該記憶手段に記憶された静止画像データのうち、前記第1の光電変換部が生成した画像信号に対応する静止画像データに基づいて、左目用静止画像データを生成し、前記第2の光電変換部が生成した画像信号に対応する静止画像データに基づいて、右目用静止画像データを生成する。本発明の撮像装置によれば、ライブビュー撮影時に左目用画像/右目用画像を撮影する場合に、撮像素子からの画像信号の取り込み時間を短縮することができる。また、本発明の撮像装置によれば、静止画撮影時に左目用画像/右目用画像を撮影する場合に、後工程での画像処理の自由度が上がるように画像信号を記憶することができる。図1は、本実施形態の撮像装置の構成例を示す図である。本実施形態の撮像装置は、例えば、デジタルカメラである。図1に示す撮像装置が備える構成要素のうち、デジタルカメラ本体100は、被写体を撮影する。CPU109は、撮像装置全体を制御する。電源110は、デジタルカメラ本体100内の各回路に電源を供給する。カードスロット120は、着脱可能な記録媒体であるメモリカード121を差し込むことができるスロットである。メモリカード121をカードスロット120に差し込んだ状態で、メモリカード121は、カード入出力部119と電気的に接続する。なお、本実施形態では記録媒体としてメモリカード121を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを採用してもよい。フォーカシングレンズ101は、光軸に沿った方向に進退して、焦点調節を行なう。絞り103は、撮像素子への光量を調節する。フォーカシングレンズ101および絞り103は、撮像光学系を構成する。撮像素子105、像信号処理107、フレームメモリ108は、光電変換系を構成する。この光電変換系は、撮像光学系が形成した被写体の光学像をデジタル画像信号又は画像データに変換する。撮像素子105は、撮像光学系が形成した被写体像を光電変換し、画像信号を出力する光電変換手段として機能する。撮像素子105は、CCDChargeCoupledDevice撮像素子またはCMOSComplementaryMetalOxideSemiconductor撮像素子等である。撮像素子105は、第1PD選択合成部106を備える。第1PD選択合成部106は、フォトダイオード以下PDを選択する機能と選択した画像信号を合成して出力する機能とを有する。なお、第1PD選択合成部106が、撮像素子105の外部に設けられるようにしてもよい。図2は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。図2Aは、撮像素子の全体構成を示す。撮像素子105は、画素アレイ301と、画素アレイ301における行を選択する垂直選択回路302と、画素アレイ301における列を選択する水平選択回路304を含む。読み出し回路303は、画素アレイ301中の画素部のうち垂直選択回路302によって選択される画素部の信号を読み出す。読み出し回路303は、信号を蓄積するメモリ、ゲインアンプ、AAnalog/DDegital変換器などを列毎に有する。シリアルインターフェースSI部305は、各回路の動作モードなどを、CPU109からの指示に従って決定する。垂直選択回路302は、画素アレイ301の複数の行を順次選択し、読み出し回路303に画素信号を取り出す。また水平選択回路304は、読み出し回路303によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子105は、図2に示す構成要素以外に、例えば、垂直選択回路302、水平選択回路304、読み出し回路303等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。図2Bは、撮像素子105の画素部の構成例を示す。図2Bに示す画素部400は、光学素子としてのマイクロレンズ401と、受光素子としての複数のフォトダイオード以下、PDと略記する402a乃至402iとを有する。PDは、光束を受光し、当該光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図2Bに示す例では、1つの画素部が備えるPDの数は9個であるが、PDの数は、2個以上の任意の数であればよい。なお、画素部は、図示された構成要素以外にも、例えば、PDの信号を読み出し回路303に読み出すための画素増幅アンプ、行を選択する選択スイッチ、PDの信号をリセットするリセットスイッチなどを備える。PD402a乃至402gは、受光した光束を光電変換して左目用画像信号を出力する。PD402c乃至402iは、受光した光束を光電変換して右目用画像信号を出力する。左目用画像信号は、左目用画像データに対応する画像信号である。左目用画像データは、ユーザが左目で鑑賞する画像データである。右目用画像信号は、右目用画像データに対応する画像信号である。撮像装置100が、左目用画像データをユーザに左目で鑑賞させ、右目用画像データをユーザに左目で鑑賞させることによって、ユーザに立体画像を鑑賞させる。なお、画素部400は、図示の構成要素以外にも、例えば、PD信号を読み出し回路303に取り出す画素増幅アンプや、行選択スイッチ、PD信号のリセットスイッチなどを備える。図3は、画素アレイの例を示す図である。画素アレイ301は、2次元画像を提供するため、図3に示すように、水平方向にN個、垂直方向にM個の画素部を複数2次元アレイ状に配列して構成される。画素アレイ301の各画素部は、カラーフィルタを有している。この例では、奇数行が、赤Rと緑Gのカラーフィルタの繰り返し、偶数行が、緑Gと青Bのカラーフィルタの繰り返しである。すなわち、画素アレイ301が備える画素部は、予め決められた画素配列この例ではベイヤー配列に従って配置されている。次に、図3に示す画素構成を有する撮像素子の受光について説明する。図4は撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。符号501は、3つの画素アレイの断面を示す。各々の画素アレイは、マイクロレンズ401、カラーフィルタ503、PD504、505を有する。PD504は、図2B中のPD402aに相当する。また、PD505は、図2B中のPD402cに相当する。符号506は、撮影レンズの射出瞳である。この例では、マイクロレンズ502を有する画素部に対して、射出瞳506から出た光束の中心を光軸509とする。射出瞳506から出た光は、光軸509を中心として撮像素子105に入射される。符号507、508は、撮影レンズの射出瞳の一部領域を表す。一部領域507、508は、撮像光学系の射出瞳の分割された異なる領域である。光線510、511は、一部領域507を通過する光の最外周の光線である。光線512、513は、一部領域508を通過する光の最外周の光線である。射出瞳から出る光束のうち、光軸509を境にして、上側の光束はPD505に入射され、下側の光束はPD504に入射される。つまり、PD504とPD505は、各々、撮影レンズの射出瞳に対する別の領域の光を受光するという特性を有する。この特性を生かして、撮像装置は、視差のある少なくとも2つの画像を取得することができる。例えば、撮像装置は、画素部内の領域において、複数の左側のPDから得られるデータを第1ラインとし、複数の右側のPDから得られるデータを第2ラインとして、2つの画像を取得することができる。そして、撮像装置は、この2つの画像を利用して位相差の検知を行なって位相差AFを実現することができる。さらに、撮像装置は、上記視差のある2つの画像を左目用画像と右目用画像としてステレオ画像を生成し、ステレオ表示装置上に表示することによって、立体感のある画像を表示することができる。上述した説明から、撮像素子105は、一つのマイクロレンズに対して、各々が、撮像光学系の射出瞳の異なる領域を通過した光束を光電変換して画像信号を生成する複数のPDを有する画素部を、水平方向および垂直方向に並べて配置した撮像素子である。図1に戻って、第1PD選択合成部106は、図2Aを参照して説明した垂直選択回路302、読み出し回路303、水平選択回路304、SI305を備える。第1PD選択合成部106は、撮像装置において開始が検知された撮影の種別に応じてCPU109が設定する第1PD選択合成部106の動作モードに従って動作する。第1PD選択合成部106の動作モードには、ライブビュー右目モード、ライブビュー左目モード、両目選択合成モード、非選択合成モードがある。ライブビュー右目モードは、ライブビュー用の右目用RAWデータを生成する動作モードである。具体的には、ライブビュー右目モードは、右目用画像信号を生成するPD第1の光電変換部を選択する動作モードである。ライブビュー用の右目用RAWデータは、ライブビュー表示用の右目用画像を生成する基となるRAWデータである。RAWデータは、フレームメモリ108に記憶される画像データである。つまり、フレームメモリ108は、第1PD選択合成部106が出力した画像データを記憶する記憶手段として機能する。ライブビュー左目モードは、ライブビュー用の左目用RAWデータを生成する動作モードである。具体的には、ライブビュー左目モードは、左目用画像信号を生成するPD第2の光電変換部を選択する動作モードである。ライブビュー用の左目用RAWデータは、ライブビュー表示用の左目用画像を生成する基となるRAWデータである。両目選択合成モードは、両目用RAWデータを生成する動作モードである。具体的には、両目選択合成モードは、右目用画像信号を生成するPDと、左目用画像信号を生成するPDとを両方選択する動作モードである。非選択合成モードは、全PDRAWデータを生成する動作モードである。具体的には、非選択合成モードは、撮像素子が備える各画素部が有する複数のPDの全てを選択する動作モードである。全PDRAWデータは、撮像素子が備える各画素部が有する複数のPDの全てが出力する画像信号に対応するデータである。すなわち、第1PD選択合成部106は、開始が検知された撮影の種別に応じて、以下の処理を実行する第1選択手段として機能する。第1PD選択合成部106は、撮像素子の画素部が備える複数のPDから、左目用画像信号を生成するPD、右目用画像信号を生成するPDまたは複数のPDの全てのうちのいずれかを選択し、選択したPDが生成する信号に基づいて、画像データを生成して出力する。CPU109は、第1PD選択合成部106の動作モードを設定する前に、撮影の開始と該撮影の種別とを検知する撮影検知手段として検知する。CPU109が開始を検知した撮影の種別がライブビュー撮影である場合、CPU109は、第1PD選択合成部106の動作モードをライブビュー右目モードに設定する。ライブビュー撮影は、画像表示手段である表示装置を介して被写体像を視認可能な状態で行う撮影である。第1PD選択合成部106は、設定されたライブビュー右目モードに従って、ライブビュー用の右目用RAWデータを生成する。具体的には、第1PD選択合成部106は、処理単位とする複数の画素部が有するPDのうち、PD402a、402d、402gに対応するPDの信号の加算平均を行なって、1つの画素部の出力値とする。第1PD選択合成部106が、全ての処理単位についてPDの信号の加算平均を行って、ライブビュー用の右目用RAWデータとして出力し、フレームメモリ108に記憶する。そして、現像処理部112が、フレームメモリ108内のライブビュー用の右目用RAWデータを現像することによって、ライブビュー表示用の右目用画像を生成する。CPU109は、ライブビュー表示用の右目用画像の生成処理が完了した後に、第1PD選択合成部106の動作モードを、ライブビュー左目モードに設定する。CPU109が開始を検知した撮影の種別がライブビュー撮影である場合、CPU109が、第1PD選択合成部106の動作モードをライブビュー左目モードに設定し、第1PD選択合成部106にライブビュー用の左目用RAWデータを生成させてもよい。そして、ライブビュー表示用の左目用画像の生成処理が完了した後に、CPU109が、第1PD選択合成部106の動作モードをライブビュー右目モードに設定するようにしてもよい。上記ライブビュー左目モードに設定された第1PD選択合成部106は、処理単位とする複数の画素部が有するPDのうち、PD402c、402f、402iに対応したPDの加算平均を行なって、1つの画素部の出力値とする。第1PD選択合成部106が、全ての処理単位についてPDの信号の加算平均を行って、ライブビュー用の左目用RAWデータとして出力し、フレームメモリ108内に記憶する。現像処理部112が、フレームメモリ108内のライブビュー用の左目用RAWデータを現像して、ライブビュー表示用の左目用画像を生成する。上記の説明から、ライブビュー撮影時に、第1PD選択合成部106が、3つのPDが生成する画像信号に基づいて1つの画素部の画像信号を生成して出力することによって、データ量を減らすことができる。以下に、第1PD選択合成部106の動作例について、図3を参照して説明する。図3において、n行m列目の画素部をn-m画素部と表現するn≧1,m≧1。第1PD選択合成部106は、水平方向に同色の3画素部を平均するために、1行目の最初の赤画素部出力を以下のようにして算出する。動作モードがライブビュー左目モードである場合、第1PD選択合成部106は、画素部1-1、1-3、1-5を1つの処理単位として、以下の信号出力処理を実行する。すなわち、第1PD選択合成部106は、撮像素子が備える画素部が有するPD402a乃至402gが生成した画像信号を取得し、取得した画像信号を加算平均処理して、1つの画素部の出力値とする。また、第1PD選択合成部106は、次の赤画素部出力については、画素部1-7、1-9、1-11を処理単位として、同様の加算平均処理を実行する。また、第1PD選択合成部106は、1行目の最初の緑画素部出力については、画素部1-2、1-4、1-6を処理単位として、同様の加算平均処理を実行する。なお、動作モードがライブビュー右目モードである場合、第1PD選択合成部106は、処理単位である画素部が有するPD402c乃至402iが生成した画像信号を加算平均処理する。第1PD選択合成部106が、以下のようにして、処理単位を決定するようにしてもよい。すなわち、第1PD選択合成部106は、垂直方向に予め決められた間隔で画素部群を選択する。該選択された各々の画素部群が含む画素部から、水平方向に、同じカラーフィルタを有する予め決められた数の画素部を選択する。第1PD選択合成部106は、該選択した画素部を処理単位とする。この例では、第1PD選択合成部106は、垂直3画素部毎に画素部群を選択する。従って、図3に示す画素アレイが有する、垂直方向に並んだ画素部群のうち、第1PD選択合成部106は、1行目の画素部群、4行目の画素部群、というように、2行の間隔を空けながら画素部群を選択する。1行目の画素部群においては、赤の画素部と緑の画素部とが交互に並んでいる。4行目の画素部群においては、緑の画素部と青の画素部とが交互に並んでいる。第1PD選択合成部106は、選択された各々の画素部群が含む画素部から、水平方向に、1つ飛びに、すなわち1画素部の間隔を空けながら、同じカラーフィルタを有する3個の画素部を選択する。第1PD選択合成部106は、選択した3個の画素部を処理単位とする。本実施形態では、第1PD選択合成部106は、4行目の最初の緑画素部出力については、画素部4-1、4-3、4-5を処理単位として、上述した加算平均処理を実行する。第1PD選択合成部106は、4行目の最初の青画素部出力については、画素部4-2、4-4、4-6を処理単位として、上述した加算平均処理を実行する。すなわち、第1PD選択合成部106は、開始が検知された撮影の種別がライブビュー撮影である場合に、以下の処理を実行する。第1PD選択合成部106は、左目用画像信号を生成するPDまたは右目用画像信号を生成するPDを選択するとともに、撮像素子が有する複数の画素部から予め決められた複数の画素部を1つの処理単位として選択する。第1PD選択合成部106は、上記選択した画素部が有する上記選択されたPDが生成した画像信号を加算平均して1つの画素部に対応する画像信号として出力する信号出力処理を実行する。第1PD選択合成部106は、上記信号出力処理を、左目用画像信号を生成するPDまたは右目用画像信号を生成するPDを選択する毎に実行する。例えば、第1PD選択合成部106は、左目用画像信号を生成するPDまたは右目用画像信号を生成するPDを選択して、処理単位の全てについて信号出力処理を実行する。この信号出力処理によって、選択されたPDが生成する画像信号に対応するライブビュー用RAWデータを生成した後、第1PD選択合成部106は、左目用画像信号を生成するPDまたは右目用画像信号を生成するPDのうち、選択されなかったPDを選択する。そして、第1PD選択合成部106は、上記処理単位の全てについて信号出力処理を実行して、該選択されたPDが生成する画像信号に対応するライブビュー用RAWデータを生成する。これにより、第1PD選択合成部106は、ライブビュー用の左目用RAWデータ左目用動画像データとライブビュー用の右目用RAWデータ右目用動画像データとを生成する。なお、CPU109が開始を検知した撮影の種別がライブビュー撮影である場合、CPU109が、第1PD選択合成部106の動作モードを両目選択合成モードに設定するようにしてもよい。両目選択合成モードに設定された第1PD選択合成部106は、左目用画像信号を生成するPDおよび右目用画像信号を生成するPDを選択した上で、以下の処理を実行する。第1PD選択合成部106は、処理単位の画素部が有する選択されたPDが生成した画像信号を、左目用画像信号を生成するPD、右目用画像信号を生成するPDのそれぞれについて加算平均して1つの画素部に対応する2つの画像信号として出力する。第1PD選択合成部106は、この信号出力処理を処理単位の全てについて実行することによって、ライブビュー用の左目用RAWデータと右目用RAWデータとを含むRAWデータを生成してフレームメモリ108に記憶する。CPU109が開始を検知した撮影の種別が、静止画撮影である場合、CPU109は、第1PD選択合成部106の動作モードを非選択合成モードに設定する。非選択モードに設定された第1PD選択合成部106は、撮像素子が備える各々の画素部が有する複数のPDの全てを選択し、該選択したPDが生成した画像信号に基づいて静止画像データを生成する。具体的には、第1PD選択合成部106は、各々の画素部が備える9個全てのPDの加算平均を行い、加算平均結果をその画素部の出力値とすることによって、静止画用RAWデータを生成する。第1PD選択合成部106は、生成した静止画用RAWデータをフレームメモリ108に記憶する。図1に戻って、撮像素子105は電子シャッタ機能を有しており、露光時間を調整することができる。また、撮像装置が、電子シャッタ機能の代わりに機械式のシャッタを用いて露光時間を調整する構成を有していてもよい。像信号処理装置107は、デジタル画像信号にシェーディング補正等のカメラで周知の画像信号処理を施す。像信号処理装置107は、撮像素子105の特性に起因する画像濃度の非線形性、光源に起因する画像色の偏りを補正する。フレームメモリ108は、撮像素子105と像信号処理装置107とによって生成される画像データRAWデータを一時記憶するバッファメモリとして機能する。フレームメモリ108に格納されるRAWデータは、補正処理等が施されているが、撮像素子105の各画素部に蓄積された電化エネルギーをそのままデジタルデータ化したものと考えることができる。ここで、ライブビュー用の左目用RAWデータと右目用RAWデータとを、ライブビュー用RAWデータと総称する。ライブビュー用RAWデータは、複数の画素部が備えるPDが生成した画像信号が第1PD選択合成部106によって加算平均処理された結果である。すなわち、ライブビュー用RAWデータは、データ量が少ないので、撮像装置がライブビュー表示時に読み出す時のフレームレートが高くなる。一方、全PDRAWデータは、各画素部内の各PDが生成した全ての画像信号に対応する。全PDRAWデータはフレームメモリ108に格納される。全PDRAWデータは、画像データとして詳細な情報を有するので、後工程で各種画像処理する時の自由度が上がる。RAWデータの画像の画質に関するパラメータを撮像パラメータと呼ぶ。撮像パラメータは、絞り103の設定値であるAv、Tv、ISOを含む。バス150には、CPU109、電源110、不揮発性メモリ111、現像処理部112、RAMメモリ113、表示制御装置114、メインスイッチ116が接続される。CPUは、CentralProcessingUnitの略称である。RAMは、RandomAccessMemoryの略称である。また、バス150には、第1レリーズスイッチ117、第2レリーズスイッチ118、操作ボタン140乃至142、現像パラメータ変更ボタン143、ライブビュー開始/終了ボタン144、カード入出力部119、第2PD選択合成部151が接続される。また、バス150には、USB制御装置127、LANLocalAreaNetwork制御装置が接続される。CPU109は、撮像素子105からの画像信号読み出しを制御する。すなわち、CPU109は、撮像素子105、像信号処理107、フレームメモリ108の動作タイミングを制御する。不揮発性メモリ111は、EEPROMElectricallyErasableProgrammableReadOnlyMemory等で構成されており、電源110がオフにされても、記録されたデータを失わない。不揮発性メモリ111には、電源110がオンされた時にカメラに設定する初期カメラ設定値が記録されている。第2PD選択合成部151は、画素選択合成パラメータの設定に基づいて、フレームメモリ108上またはRAMメモリ113上のRAWデータから左目用RAWデータまたは右目用RAWデータを選択して合成する処理選択合成処理を実行する。CPU109が、開始を検知した撮影の種別に応じて、画素選択合成パラメータを設定する。画素選択合成パラメータは、どのPDが生成した画像信号に対応するRAWデータを合成して出力するかを決定するパラメータ、すなわち、第2PD選択合成部151の動作モードを設定するパラメータである。画素選択合成パラメータは、例えば、左目用画像合成パラメータ、右目用画像合成パラメータを含む。左目用画像合成パラメータは、第2PD選択合成部151を左目選択合成モードに設定するパラメータである。左目選択合成モードは、左目用画像データを合成して出力する左目用画像合成処理を実行する動作モードである。右目用画像合成パラメータは、第2PD選択合成部151を右目選択合成モードに設定するパラメータである。右目選択合成モードは、右目用画像データを合成して出力する右目用画像合成処理を実行する動作モードである。左目用画像合成処理は、前述した動作モードがライブビュー左目モードである場合の第1PD選択合成部106の動作処理と同様である。具体的には、第2PD選択合成部151は、フレームメモリ108に記憶された静止画用RAWデータのうち、左目用画像信号に対応する静止画像RAWデータに基づいて、左目用静止画像データを生成する。なお、フレームメモリ108に記憶されたRAWデータが、ライブビュー用の左目用RAWデータと右目用RAWデータとを含むRAWデータである場合、第2画素選択合成部151は、以下のようにして左目用画像合成処理を実行するようにしてもよい。第2画素選択合成部151は、フレームメモリ108に記憶されたRAWデータから、ライブビュー用の左目用RAWデータを取得する。右目用画像合成処理は、前述した動作モードがライブビュー右目モードである場合の第1PD選択合成部106の動作処理と同様である。具体的には、第2画素選択合成部151は、フレームメモリ108に記憶された静止画用RAWデータのうち、右目用画像信号に対応する静止画像RAWデータに基づいて、右目用静止画像データを生成する。なお、フレームメモリ108に記憶されたRAWデータが、ライブビュー用の左目用RAWデータと右目用RAWデータとを含むRAWデータである場合、第2画素選択合成部151が、以下のようにして右目用画像合成処理を実行するようにしてもよい。第2画素選択合成部151は、フレームメモリ108に記憶されたRAWデータから、ライブビュー用の右目用RAWデータを取得する。第2PD選択合成部151は、選択合成処理によって得られる右目用/左目用画像データをRAMメモリ113に格納する。すなわち、第2PD選択合成部151は、開始が検知された撮影の種別に応じて、フレームメモリ108に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第2選択手段として機能する。なお、本実施形態では、RAWデータをフレームメモリ108またはRAMメモリ113を経由して第2PD選択合成部151へ入力するが、RAWデータを像信号処理装置107から直接第2PD選択合成部151に入力するようにしてもよい。現像処理部112は、CPU109が読み出したフレームメモリ108上またはRAMメモリ113上の、画素部毎に合成されたRAWデータを、現像パラメータ設定に基づいて画像処理を行なう。画像処理を施されたそれぞれの画像データは、RAMメモリ113に格納される。現像パラメータは、デジタル画像データの画質に関するパラメータである。デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度に関するパラメータはすべて現像パラメータに相当する。以後、1つ以上の現像パラメータを用いてデジタル画像データの画質を調整変更する処理のことを現像処理と呼ぶ。本実施形態では、RAWデータをフレームメモリ108またはRAMメモリ113を経由して現像処理部112へ入力しているが、像信号処理装置107がRAWデータを直接現像処理部112に入力するようにしてもよい。RAMメモリ113は、現像処理結果の画像データの他、CPU109が各種処理を行なう際にデータを一時的に記憶する。表示制御装置114は、液晶表示素子を備えるTFT115の駆動および制御をする。表示制御装置114がRAMメモリ113に表示用の画像フォーマットで配置された画像表示用の画像を表示装置へ出力する。表示用の画像が配置されるRAMメモリ113をVRAMと呼ぶ。本実施形態ではステレオ表示を行なうため、表示装置はステレオ表示が可能である。ステレオ表示を行なうために、VRAMは、右目用VRAMと左目用VRAMとを含む。表示装置が、右目用VRAMが含む右目用画像と、左目用VRAMが含む左目用画像を配置することで、ステレオ表示を行なう。ユーザが、メインスイッチ116をオンにすると、CPU109が、所定のプログラムを実行する。メインスイッチ116をオフにすると、CPU109が、所定のプログラムを実行し、カメラをスタンバイモードにする。第1レリーズスイッチ117は、レリーズボタンの第1ストローク半押し状態でオンになり、第2レリーズスイッチ118は、レリーズボタンの第2ストローク全押し状態でオンとなる。第1レリーズスイッチ117がオンとなった場合、CPU109が、撮影準備処理例えば、焦点検出処理等を実行する。第2レリーズスイッチ118がオンとなった場合、CPU109が、撮影この例では静止画撮影の開始を検知し、撮影動作を実行する。CPU109は、左選択ボタン140、右選択ボタン141、設定ボタン142の押下とデジタルカメラの動作状態に応じた制御を行なう。例えば、デジタルカメラの動作状態が再生状態であって、左選択ボタン140が押下げされた場合、CPU109は前の画像データを表示する。また、右選択ボタン141が押下げられた場合、CPU109は次の画像データを表示する。現像パラメータは、現像パラメータ変更ボタン143を用いたユーザのメニュー操作に従って設定される、現像に関するパラメータである。ユーザは、グラフィカルユーザインタフェース上で現像パラメータの確認と設定とを行なうことができる。ユーザがライブビュー開始/終了ボタン144を押下げすると、CPU109が定期的例えば1秒に30回に撮像素子105からRAWデータを取り込む。そしてCPU109からの指示に従って、現像処理部112がRAWデータを現像処理してVRAMへ配置することで、リアルタイムに撮像素子105から取り込んだ画像を表示することができる。ユーザがライブビューが動作している状態で、ライブビュー開始/終了ボタン144を押下げすると、CPU109がライブビューを終了する。LAN制御装置129は、有線LAN端子130または無線LANを介して、撮像装置と外部装置との間の通信を制御する。USB制御部127は、USB端子128を介して、撮像装置と外部装置との間の通信を制御する。実施例1図5は、実施例1の撮像装置の動作処理の例を説明するフローチャートである。まず、CPU109が、第2レリーズスイッチがONされているかを判断するステップS101。第2レリーズスイッチがONされている場合、CPU109は、静止画撮影が開始されたと判断する。そして、処理がステップ102に進む。第2レリーズスイッチがONされていない場合は、ステップS110に進む。ステップS102において、CPU109が、第1PD選択合成部106の動作モードを非選択合成モードに設定するステップS102。続いて、CPU109が撮影を開始すると、第1PD選択合成部106が、フレームメモリ108上に全PDRAWデータを記憶するステップS103。次に、現像処理部112が、フレームメモリ108から全PDRAWデータを読み出し、読み出した全PDRAWデータをRAW画像用の現像パラメータを用いて現像し、現像結果すなわちRAW画像データをRAMメモリ113へ配置するステップS104。次に、CPU109が、第2PD選択合成部151の動作モードを右目用選択合成モードに設定するステップS105。続いて、CPU109が、フレームメモリ108上の全PDRAWデータを第2PD選択合成部151へ入力する。そして、第2PD選択合成部151が、入力された全PDRAWデータを用いて、右目用RAWデータを生成し、生成した右目用RAWデータをRAMメモリ113に記憶する。第2PD選択合成部151は、さらに、RAMメモリ113上の右目用RAWデータをJPEG画像用の現像パラメータを用いて現像処理部112で現像を行い、現像結果すなわち右目用JPEG画像をRAMメモリ113へ配置するステップS106。次に、CPU109が、第2PD選択合成部151の動作モードを左目用選択合成モードに設定するステップS107。続いて、CPU109が、フレームメモリ108上の全PDRAWデータを第2PD選択合成部151へ入力する。そして、第2PD選択合成部151が、入力された全PDRAWデータを用いて、左目用RAWデータを生成し、生成した左目用RAWデータをRAMメモリ113に記憶する。第2PD選択合成部151は、さらに、RAMメモリ113上の左目用RAWデータをJPEG画像用の現像パラメータを用いて現像処理部112で現像を行い、現像結果すなわち左目用JPEG画像をRAMメモリ113へ配置するステップS108。次に、CPU109が、ステップS104で生成したRAW画像データとステップS106で生成した右目用JPEG画像とステップS108で生成した左目用JPEG画像とを1つのExif規格のファイルとして記憶するステップS109。具体的には、CPU109が、RAW画像データと右目用JPEG画像と左目用JPEG画像とを、カード入出力部119を介して、メモリカード121に記憶する。ステップS110において、CPU109が、ライブビューが開始されていない状態においてライブビュー開始/終了ボタン144がONになったかを判断するステップS110。ライブビュー開始/終了ボタン144がONになっていない場合は、ステップS101に戻る。ライブビュー開始/終了ボタン144がONになった場合は、CPU109が、ライブビュー撮影が開始されたことを検知する。そして、処理がステップS111に進む。ステップS111において、CPU109が、第1PD選択合成部106の動作モードを、ライブビュー右目モードに設定するステップS111。続いて、CPU109が、ライブビュー用の撮影パラメータで撮影を開始する。第1PD選択合成部106が、右目用RAWデータを生成してフレームメモリ108に記憶するステップS112。現像処理部112が、表示用の現像パラメータを用いて、フレームメモリ108上の右目用RAWデータを現像し、現像画像を右目用のVRAMへ配置して、ステップS113に進む。ステップS113において、CPU109が、第1PD選択合成部106の動作モードを、ライブビュー左目モードに設定するステップS113。続いて、CPU109が、ライブビュー用の撮影パラメータで撮影を開始する。第1PD選択合成部106が、左目用RAWデータを生成してフレームメモリ108に記憶するステップS114。現像処理部112が、表示用の現像パラメータを用いて、フレームメモリ108上の左目用RAWデータを現像し、現像画像を左目用のVRAMへ配置して、ステップS110に戻る。実施例1の撮像装置によれば、ライブビューにおいてステレオ表示をする際に、撮像素子105内の第1PD選択合成部106で右目用と左目用の画像を生成し、撮像素子の出力データを低く抑えることで、高いフレームレートを実現することが可能となる。また、実施例1の撮像装置によれば、静止画撮影時に、撮像素子105内の第1PD選択合成部106が、撮像素子が有するPDの情報を全て出力することで、後処理での自由度を高めることができる。実施例2図6は、実施例2の撮像装置の動作処理の例を説明するフローチャートである。図6のフローチャートを参照して説明する処理は、ライブビュー撮影の開始が検知された場合の処理である。静止画撮影の開始が検知された場合の処理は、実施例1と同様である。まず、CPU109が、ライブビューが開始されていない状態においてライブビュー開始/終了ボタン144がONになったかを判断するステップS201。ライブビュー開始/終了ボタン144がONになっていない場合は、ステップS201に戻る。ライブビュー開始/終了ボタン144がONになった場合は、CPU109が、ライブビュー撮影が開始されたことを検知する。そして、処理がステップS202に進む。ステップS202において、CPU109が、第1PD選択合成部106の動作モードを両目選択合成モードに設定するステップS202。CPU109が、ライブビュー用の撮影パラメータで撮影を開始する。そして、両目選択合成モードに設定された第1PD選択合成部106は、処理単位の画素部が有する選択されたPDが生成した画像信号を、左目用画像信号を生成するPD、右目用画像信号を生成するPDのそれぞれについて加算平均する。第1PD選択合成部106は、加算平均結果を、1つの画素部に対応する2つの画像信号として出力する。第1PD選択合成部106は、この信号出力処理を処理単位の全てについて実行する。これにより、第1PD選択合成部106は、ライブビュー用の左目用RAWデータと右目用RAWデータとを含むRAWデータ両目用RAWデータを生成する。第1PD選択合成部106は、生成した両目用RAWデータをフレームメモリ108に記憶するステップS203。ステップS203における具体的な処理について以下に説明する。第1PD選択合成部106は、例えば、予め決められた複数の画素部を処理単位として、当該処理単位の画素部が有するPD402a,402d,402gが生成した右目用画像信号を加算平均する。また、第1PD選択合成部106は、例えば、予め決められた複数の画素部を処理単位として、当該処理単位の画素部が有するPD402c,402f,402iが生成した左目目用画像信号を加算平均する。第1PD選択合成部106は、これら2つの加算平均結果を両目用RAWデータとする。次に、CPU109が、第2PD選択合成部106の動作モードを右目選択合成モードに設定するステップS204。続いて、CPU109が、フレームメモリ108上の両目用RAWデータを第2PD選択合成部106へ入力する。そして、第2PD選択合成部151が、入力された両目用RAWデータを用いて、右目用RAWデータを生成し、生成した右目用RAWデータをRAMメモリ113に記憶するステップS205。さらに、現像処理部112が、表示用の現像パラメータを用いて、フレームメモリ108上の右目用RAWデータを現像し、現像画像を右目用のVRAMへ配置して、ステップS206に進む。次に、CPU109が、第2PD選択合成部106の動作モードを左目選択合成モードに設定するステップS206。続いて、CPU109が、フレームメモリ108上の両目用RAWデータを第2PD選択合成部106へ入力する。そして、第2PD選択合成部151が、入力された両目用RAWデータを用いて、左目用RAWデータを生成し、生成した左目用RAWデータをRAMメモリ113に記憶するステップS207。さらに、現像処理部112が、表示用の現像パラメータを用いて、フレームメモリ108上の左目用RAWデータを現像し、現像画像を左目用のVRAMへ配置して、ステップS200に戻る。実施例2の撮像装置によれば、ライブビューにおいてステレオ表示をする際に、撮像素子105内の第1PD選択合成部106で右目用と左目用の画像を同時に生成し、撮像素子の出力データを低く抑えることで高いフレームレートを実現することが可能となる。また、実施例2の撮像装置は、右目用と左目用の画像を同時に撮像素子105から取得する。従って、実施例2の撮像装置によれば、右目用と左目用の画像との間で時差のない画像をステレオ表示することができる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。その他の実施例また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。"