"フォーカスレンズを含む撮影光学系と、前記撮影光学系の異なる領域を通過して瞳分割された被写体光を撮像して、視差のある複数の視点画像を得る撮像手段と、前記撮影光学系の画角を変化させるズーム手段と、前記フォーカスレンズを前記撮影光学系の光軸方向に移動させるレンズ移動手段と、前記撮影手段により複数回撮像が行われたときに、前記フォーカスレンズが第1レンズ位置から第2レンズ位置に移動されたか否かを判定する第1判定手段と、前記第1判定手段の判定結果に基づき、前記フォーカスレンズが前記第2レンズ位置に移動されたときに、前記ズーム手段を制御して前記画角を変化させるズーム制御手段であって、前記第2レンズ位置が前記第1レンズ位置よりも無限遠位置側である場合には前記画角を狭くさせ、逆に前記第2レンズ位置が前記第1レンズ位置よりも至近位置側である場合には前記画角を広くさせるズーム制御手段と、を備えることを特徴とするデジタルカメラ。前記撮像手段は、前記異なる領域を通過した被写体光をそれぞれ光電変換する複数種類の画素が配列された撮像面を有するとともに、前記複数種類の画素には、前記撮影光学系のその光軸に対して対称な領域をそれぞれ透過した被写体光を光電変換する第1画素及び第2画素が含まれており、前記第1画素から出力された第1出力信号と、前記第2画素から出力された第2出力信号とに基づき、位相差検出方式により前記撮影光学系の合焦検出を行う第1合焦検出手段と、前記第1合焦検出手段の合焦検出結果に基づき、前記レンズ移動手段を駆動して、前記フォーカスレンズを被写体に合焦するレンズ位置にセットする合焦制御手段と、を備えることを特徴とする請求項1記載のデジタルカメラ。前記撮像手段は、前記異なる領域を通過した被写体光をそれぞれ光電変換する複数種類の画素が配列された撮像面を有するとともに、前記複数種類の画素には、前記撮影光学系のその光軸に対して対称な領域をそれぞれ透過した被写体光を光電変換する第1画素及び第2画素が含まれており、前記レンズ移動手段により前記フォーカスレンズが前記無限遠位置及び前記至近位置の一方から他方側に移動される間に、前記第1画素から出力された第1出力信号及び前記第2画素から出力された第2出力信号の少なくともいずれか一方に基づいて、コントラスト検出方式により前記撮影光学系の合焦検出を行う第2合焦検出手段と、前記第2合焦検出手段の合焦検出結果に基づき、前記レンズ移動手段を駆動して、前記フォーカスレンズを被写体に合焦するレンズ位置にセットする合焦制御手段と、を備えることを特徴とする請求項1記載のデジタルカメラ。前記撮像手段の撮像範囲に複数の被写体が含まれている場合に、前記第1レンズ位置は前記フォーカスレンズが複数の被写体の中の第1被写体に合焦する位置であるとともに、前記第2レンズ位置は前記フォーカスレンズが前記第1被写体とは別の第2被写体に合焦する位置であり、複数の前記第1画素から出力された前記第1出力信号の出力値と、複数の前記第2画素から出力された第2出力信号の出力値とをそれぞれ検出する信号出力検出手段と、前記信号出力検出手段の検出結果に基づき、各前記第1出力信号の出力値における前記第1被写体に対応するピーク値の位置と、各前記第2出力信号の出力値における前記第1被写体に対応するピーク値の位置との第1位相差を検出する位相差検出手段とを備え、前記ズーム制御手段は、前記位相差検出手段が検出した前記第1位相差の大きさに応じて、前記画角の変化量を調整することを特徴とする請求項2または3記載のデジタルカメラ。前記撮像手段は前記撮像面を有する固体撮像素子であり、前記信号出力検出手段は、前記固体撮像素子の特定の水平走査期間に出力される各前記第1画素からの前記第1出力信号の出力値をそれぞれ検出するとともに、前記水平走査期間に出力される各前記第2画素からの前記第2出力信号の出力値をそれぞれ検出することを特徴とする請求項4記載のデジタルカメラ。前記ズーム制御手段は、前記第1位相差が大きくなるのに従って、前記画角の変化量を大きくすることを特徴とする請求項4または5記載のデジタルカメラ。前記フォーカスレンズが前記第2レンズ位置に移動された後で、前記フォーカスレンズが引き続き前記第2レンズ位置にあるか否かを判定する第2判定手段を備え、前記ズーム制御手段は、前記第2判定手段の判定結果に基づき、前記フォーカスレンズが前記第2レンズ位置に一定期間位置している場合には、前記画角を変化前の元の大きさに戻すことを特徴とする請求項1ないし6いずれか1項記載のデジタルカメラ。フォーカスレンズを含む撮影光学系と、前記撮影光学系の異なる領域を通過して瞳分割された被写体光を撮像して、視差のある複数の視点画像を得る撮像手段と、前記複数の視点画像の一部を拡大処理する電子ズームによって前記複数の視点画像中の被写体像の大きさを変更するズーム手段と、前記フォーカスレンズを前記撮影光学系の光軸方向に移動させるレンズ移動手段と、前記撮影手段により複数回撮像が行われたときに、前記フォーカスレンズが第1レンズ位置から第2レンズ位置に移動されたか否かを判定する第1判定手段と、前記第1判定手段の判定結果に基づき、前記フォーカスレンズが前記第2レンズ位置に移動されたときに、前記ズーム手段を制御して前記被写体像の大きさを変化させるズーム制御手段であって、前記第2レンズ位置が前記第1レンズ位置よりも無限遠位置側である場合には前記被写体像を拡大させ、逆に前記第2レンズ位置が前記第1レンズ位置よりも至近位置側である場合には前記被写体像を縮小させるズーム制御手段と、を備えることを特徴とするデジタルカメラ。前記撮像手段は、前記異なる領域を通過した被写体光をそれぞれ光電変換する複数種類の画素が配列された撮像面を有するとともに、前記複数種類の画素には、前記撮影光学系のその光軸に対して対称な領域をそれぞれ透過した被写体光を光電変換する第1画素及び第2画素が含まれており、前記第1画素から出力された第1出力信号と、前記第2画素から出力された第2出力信号とに基づき、位相差検出方式により前記撮影光学系の合焦検出を行う第1合焦検出手段と、前記第1合焦検出手段の合焦検出結果に基づき、前記レンズ移動手段を駆動して、前記フォーカスレンズを被写体に合焦するレンズ位置にセットする合焦制御手段と、を備えることを特徴とする請求項8記載のデジタルカメラ。前記撮像手段は、前記異なる領域を通過した被写体光をそれぞれ光電変換する複数種類の画素が配列された撮像面を有するとともに、前記複数種類の画素には、前記撮影光学系のその光軸に対して対称な領域をそれぞれ透過した被写体光を光電変換する第1画素及び第2画素が含まれており、前記レンズ移動手段により前記フォーカスレンズが前記無限遠位置及び前記至近位置の一方から他方側に移動される間に、前記第1画素から出力された第1出力信号及び前記第2画素から出力された第2出力信号の少なくともいずれか一方に基づいて、コントラスト検出方式により前記撮影光学系の合焦検出を行う第2合焦検出手段と、前記第2合焦検出手段の合焦検出結果に基づき、前記レンズ移動手段を駆動して、前記フォーカスレンズを被写体に合焦するレンズ位置にセットする合焦制御手段と、を備えることを特徴とする請求項8記載のデジタルカメラ。前記撮像手段の撮像範囲に複数の被写体が含まれている場合に、前記第1レンズ位置は前記フォーカスレンズが複数の被写体の中の第1被写体に合焦する位置であるとともに、前記第2レンズ位置は前記フォーカスレンズが前記第1被写体とは別の第2被写体に合焦する位置であり、複数の前記第1画素から出力された前記第1出力信号の出力値と、複数の前記第2画素から出力された第2出力信号の出力値とをそれぞれ検出する信号出力検出手段と、前記信号出力検出手段の検出結果に基づき、各前記第1出力信号の出力値における前記第1被写体に対応するピーク値の位置と、各前記第2出力信号の出力値における前記第1被写体に対応するピーク値の位置との第1位相差を検出する位相差検出手段とを備え、前記ズーム制御手段は、前記位相差検出手段が検出した前記第1位相差の大きさに応じて、前記被写体像の大きさの変化量を調整することを特徴とする請求項9または10記載のデジタルカメラ。前記撮像手段は前記撮像面を有する固体撮像素子であり、前記信号出力検出手段は、前記固体撮像素子の特定の水平走査期間に出力される各前記第1画素からの前記第1出力信号の出力値をそれぞれ検出するとともに、前記水平走査期間に出力される各前記第2画素からの前記第2出力信号の出力値をそれぞれ検出することを特徴とする請求項11記載のデジタルカメラ。前記ズーム制御手段は、前記第1位相差が大きくなるのに従って、前記被写体像の大きさの変化量を大きくすることを特徴とする請求項11または12記載のデジタルカメラ。前記フォーカスレンズが前記第2レンズ位置に移動された後で、前記フォーカスレンズが引き続き前記第2レンズ位置にあるか否かを判定する第2判定手段を備え、前記ズーム制御手段は、前記第2判定手段の判定結果に基づき、前記フォーカスレンズが前記第2レンズ位置に一定期間位置している場合には、前記被写体像の大きさを変化前の元の大きさに戻すことを特徴とする請求項8ないし13いずれか1項記載のデジタルカメラ。前記位相差検出手段は、各前記第1出力信号の出力値における前記第2被写体に対応するピーク値の位置と、各前記第2出力信号の出力値における前記第2被写体に対応するピーク値の位置との第2位相差を検出するものであり、前記第1判定手段は、前記位相差検出手段の検出結果に基づき、前記第2位相差がほぼゼロとなりかつ前記第1位相差が大きくなったときに、前記フォーカスレンズが前記第2レンズ位置に移動されたと判定することを特徴とする請求項4または11記載のデジタルカメラ。前記画像生成手段が新たに生成した前記複数の視点画像の少なくとも1つの画像内における前記第1被写体の位置座標を検出する位置座標検出手段を備えており、前記第1判定手段は、前記位置座標検出手段の検出結果に基づき、前記位置座標の変化量が規定の値よりも小さい場合には、前記フォーカスレンズが前記第2レンズ位置に移動されていないと判定することを特徴とする請求項15記載のデジタルカメラ。前記第1判定手段は、前記合焦制御手段の制御により前記フォーカスレンズが移動されていない場合には、前記フォーカスレンズが前記第2レンズ位置に移動されていないと判定することを特徴とする請求項15または16記載のデジタルカメラ。前記複数の視点画像を立体視可能に表示するモニタを備えることを特徴とする請求項1ないし17いずれか1項記載のデジタルカメラ。デジタルカメラでは、固体撮像素子の撮像面の特定の領域例えば中央領域に含まれる第1及び第2位相差画素からの出力信号に基づいて位相差AFを実行する場合が多い。このため、R,L視点画像内の一部の領域はピントが合うが他の領域はピントが合わない。位相差AFでは、R,L視点画像内のピントの合う領域には視差が生じず、逆にピントが合わない領域には視差が生じる。このようなR,L視点画像を、例えばデジタルカメラの3Dモニタで立体視すると、R,L視点画像内のピントの合う領域はモニタ画面上に位置するように見え、逆にピントの合わない領域はモニタ画面から飛びだすように見える、あるいはモニタ画面の奥側に引っ込むように見える。このようにデジタルカメラでは、R,L視点画像内のピントの合う領域がモニタ画面上に位置するように見える。このため、図18に示すように、例えば2つの被写体A,Bが含まれる同一の撮影シーンを連続して撮影するライブビュー画像表示時において、このライブビュー画像を3Dモニタで立体視したときに以下に説明するような違和感が生じる場合がある。なお、被写体Aは被写体Bよりもデジタルカメラに対して遠い位置にある。図19に示すように、デジタルカメラ100の撮影レンズのピントが被写体Bに合っている場合には、被写体Bがモニタ画面上に位置するように見えるが、被写体Aはモニタ画面よりも奥側に引っ込んでいるように見える。なお、符号Fsは撮影レンズの合焦面焦点面ともいうであり、符号La,Lbはデジタルカメラ100からそれぞれ被写体A、被写体Bまでの距離である。この際に、撮影者の姿勢の僅かな変化や手ブレなどにより被写体AがR,L視点画像の中央領域に移動してしまうと、位相差AFにより被写体Aにピントが合う場合がある。被写体Aにピントが合うと、図20に示すように、被写体Aがモニタ画面上に位置するように見えるが、被写体Bはモニタ画面よりも手前側に飛び出しているように見える。デジタルカメラ100では、ピントが合っている合焦被写体がモニタ画面上に位置するように見える。このため、実際の被写体A,Bまでの距離La,Lbは異なるものの、被写体Bにピントが合う状態以下、第1状態というでの被写体Bまでの距離感と、被写体Aにピントが合う状態以下、第2状態というでの被写体Aまでの距離感とが一定に保たれてしまう。従って、第1状態から第2状態に切り替わると、先にモニタ画面上に位置していた被写体Bがモニタ画面の手前側に飛び出したように見える。その結果、実際には被写体Bが移動していないにも関わらず、被写体Bが手前側に移動したような錯覚が生じてしまうので、ユーザは強い違和感を覚えてしまう。また、逆に第2状態から第1状態に切り替わった場合には、先にモニタ画面上に位置していた被写体Aがモニタ画面の奥側に引っ込むように見える。その結果、実際には被写体Aが移動していないにも関わらず、被写体Aが奥側に移動したような錯覚が生じてしまうので、同様にユーザは強い違和感を覚えてしまう。本発明の目的は、同一の撮影シーンを繰り返し撮影するライブビュー画像表示時や動画撮影時などの際に、合焦被写体が変わることなどにより生じる錯覚に起因する違和感を抑えることができるデジタルカメラを提供することにある。上記目的を達成するため、本発明のデジタルカメラは、フォーカスレンズを含む撮影光学系と、前記撮影光学系の異なる領域を通過して瞳分割された被写体光を撮像して、視差のある複数の視点画像を得る撮像手段と、前記撮影光学系の画角を変化させるズーム手段と、前記フォーカスレンズを前記撮影光学系の光軸方向に移動させるレンズ移動手段と、前記撮影手段により複数回撮像が行われたときに、前記フォーカスレンズが第1レンズ位置から第2レンズ位置に移動されたか否かを判定する第1判定手段と、前記第1判定手段の判定結果に基づき、前記フォーカスレンズが前記第2レンズ位置に移動されたときに、前記ズーム手段を制御して前記画角を変化させるズーム制御手段であって、前記第2レンズ位置が前記第1レンズ位置よりも無限遠位置側である場合には前記画角を狭くさせ、逆に前記第2レンズ位置が前記第1レンズ位置よりも至近位置側である場合には前記画角を広くさせるズーム制御手段と、を備えることを特徴とする。前記撮像手段は、前記異なる領域を通過した被写体光をそれぞれ光電変換する複数種類の画素が配列された撮像面を有するとともに、前記複数種類の画素には、前記撮影光学系のその光軸に対して対称な領域をそれぞれ透過した被写体光を光電変換する第1画素及び第2画素が含まれており、前記第1画素から出力された第1出力信号と、前記第2画素から出力された第2出力信号とに基づき、位相差検出方式により前記撮影光学系の合焦検出を行う第1合焦検出手段と、前記第1合焦検出手段の合焦検出結果に基づき、前記レンズ移動手段を駆動して、前記フォーカスレンズを被写体に合焦するレンズ位置にセットする合焦制御手段と、を備えることが好ましい。前記撮像手段は、前記異なる領域を通過した被写体光をそれぞれ光電変換する複数種類の画素が配列された撮像面を有するとともに、前記複数種類の画素には、前記撮影光学系のその光軸に対して対称な領域をそれぞれ透過した被写体光を光電変換する第1画素及び第2画素が含まれており、前記レンズ移動手段により前記フォーカスレンズが前記無限遠位置及び前記至近位置の一方から他方側に移動される間に、前記第1画素から出力された第1出力信号及び前記第2画素から出力された第2出力信号の少なくともいずれか一方に基づいて、コントラスト検出方式により前記撮影光学系の合焦検出を行う第2合焦検出手段と、前記第2合焦検出手段の合焦検出結果に基づき、前記レンズ移動手段を駆動して、前記フォーカスレンズを被写体に合焦するレンズ位置にセットする合焦制御手段と、を備えることが好ましい。前記撮像手段の撮像範囲に複数の被写体が含まれている場合に、前記第1レンズ位置は前記フォーカスレンズが複数の被写体の中の第1被写体に合焦する位置であるとともに、前記第2レンズ位置は前記フォーカスレンズが前記第1被写体とは別の第2被写体に合焦する位置であり、複数の前記第1画素から出力された前記第1出力信号の出力値と、複数の前記第2画素から出力された第2出力信号の出力値とをそれぞれ検出する信号出力検出手段と、前記信号出力検出手段の検出結果に基づき、各前記第1出力信号の出力値における前記第1被写体に対応するピーク値の位置と、各前記第2出力信号の出力値における前記第1被写体に対応するピーク値の位置との第1位相差を検出する位相差検出手段とを備え、前記ズーム制御手段は、前記位相差検出手段が検出した前記第1位相差の大きさに応じて、前記画角の変化量を調整することが好ましい。前記撮像手段は前記撮像面を有する固体撮像素子であり、前記信号出力検出手段は、前記固体撮像素子の特定の水平走査期間に出力される各前記第1画素からの前記第1出力信号の出力値をそれぞれ検出するとともに、前記水平走査期間に出力される各前記第2画素からの前記第2出力信号の出力値をそれぞれ検出することが好ましい。前記ズーム制御手段は、前記第1位相差が大きくなるのに従って、前記画角の変化量を大きくすることが好ましい。前記フォーカスレンズが前記第2レンズ位置に移動された後で、前記フォーカスレンズが引き続き前記第2レンズ位置にあるか否かを判定する第2判定手段を備え、前記ズーム制御手段は、前記第2判定手段の判定結果に基づき、前記フォーカスレンズが前記第2レンズ位置に一定期間位置している場合には、前記画角を変化前の元の大きさに戻すことが好ましい。また、本発明のデジタルカメラは、フォーカスレンズを含む撮影光学系と、前記撮影光学系の異なる領域を通過して瞳分割された被写体光を撮像して、視差のある複数の視点画像を得る撮像手段と、前記複数の視点画像の一部を拡大処理する電子ズームによって前記複数の視点画像中の被写体像の大きさを変更するズーム手段と、前記フォーカスレンズを前記撮影光学系の光軸方向に移動させるレンズ移動手段と、前記撮影手段により複数回撮像が行われたときに、前記フォーカスレンズが第1レンズ位置から第2レンズ位置に移動されたか否かを判定する第1判定手段と、前記第1判定手段の判定結果に基づき、前記フォーカスレンズが前記第2レンズ位置に移動されたときに、前記ズーム手段を制御して前記被写体像の大きさを変化させるズーム制御手段であって、前記第2レンズ位置が前記第1レンズ位置よりも無限遠位置側である場合には前記被写体像を拡大させ、逆に前記第2レンズ位置が前記第1レンズ位置よりも至近位置側である場合には前記被写体像を縮小させるズーム制御手段と、を備えることを特徴とする。前記撮像手段は、前記異なる領域を通過した被写体光をそれぞれ光電変換する複数種類の画素が配列された撮像面を有するとともに、前記複数種類の画素には、前記撮影光学系のその光軸に対して対称な領域をそれぞれ透過した被写体光を光電変換する第1画素及び第2画素が含まれており、前記第1画素から出力された第1出力信号と、前記第2画素から出力された第2出力信号とに基づき、位相差検出方式により前記撮影光学系の合焦検出を行う第1合焦検出手段と、前記第1合焦検出手段の合焦検出結果に基づき、前記レンズ移動手段を駆動して、前記フォーカスレンズを被写体に合焦するレンズ位置にセットする合焦制御手段と、を備えることが好ましい。前記撮像手段は、前記異なる領域を通過した被写体光をそれぞれ光電変換する複数種類の画素が配列された撮像面を有するとともに、前記複数種類の画素には、前記撮影光学系のその光軸に対して対称な領域をそれぞれ透過した被写体光を光電変換する第1画素及び第2画素が含まれており、前記レンズ移動手段により前記フォーカスレンズが前記無限遠位置及び前記至近位置の一方から他方側に移動される間に、前記第1画素から出力された第1出力信号及び前記第2画素から出力された第2出力信号の少なくともいずれか一方に基づいて、コントラスト検出方式により前記撮影光学系の合焦検出を行う第2合焦検出手段と、前記第2合焦検出手段の合焦検出結果に基づき、前記レンズ移動手段を駆動して、前記フォーカスレンズを被写体に合焦するレンズ位置にセットする合焦制御手段と、を備えることが好ましい。前記撮像手段の撮像範囲に複数の被写体が含まれている場合に、前記第1レンズ位置は前記フォーカスレンズが複数の被写体の中の第1被写体に合焦する位置であるとともに、前記第2レンズ位置は前記フォーカスレンズが前記第1被写体とは別の第2被写体に合焦する位置であり、複数の前記第1画素から出力された前記第1出力信号の出力値と、複数の前記第2画素から出力された第2出力信号の出力値とをそれぞれ検出する信号出力検出手段と、前記信号出力検出手段の検出結果に基づき、各前記第1出力信号の出力値における前記第1被写体に対応するピーク値の位置と、各前記第2出力信号の出力値における前記第1被写体に対応するピーク値の位置との第1位相差を検出する位相差検出手段とを備え、前記ズーム制御手段は、前記位相差検出手段が検出した前記第1位相差の大きさに応じて、前記被写体像の大きさの変化量を調整することが好ましい。前記撮像手段は前記撮像面を有する固体撮像素子であり、前記信号出力検出手段は、前記固体撮像素子の特定の水平走査期間に出力される各前記第1画素からの前記第1出力信号の出力値をそれぞれ検出するとともに、前記水平走査期間に出力される各前記第2画素からの前記第2出力信号の出力値をそれぞれ検出することが好ましい。前記ズーム制御手段は、前記第1位相差が大きくなるのに従って、前記被写体像の大きさの変化量を大きくすることが好ましい。前記フォーカスレンズが前記第2レンズ位置に移動された後で、前記フォーカスレンズが引き続き前記第2レンズ位置にあるか否かを判定する第2判定手段を備え、前記ズーム制御手段は、前記第2判定手段の判定結果に基づき、前記フォーカスレンズが前記第2レンズ位置に一定期間位置している場合には、前記被写体像の大きさを変化前の元の大きさに戻すことが好ましい。前記位相差検出手段は、各前記第1出力信号の出力値における前記第2被写体に対応するピーク値の位置と、各前記第2出力信号の出力値における前記第2被写体に対応するピーク値の位置との第2位相差を検出するものであり、前記第1判定手段は、前記位相差検出手段の検出結果に基づき、前記第2位相差がほぼゼロとなりかつ前記第1位相差が大きくなったときに、前記フォーカスレンズが前記第2レンズ位置に移動されたと判定することが好ましい。前記画像生成手段が新たに生成した前記複数の視点画像の少なくとも1つの画像内における前記第1被写体の位置座標を検出する位置座標検出手段を備えており、前記第1判定手段は、前記位置座標検出手段の検出結果に基づき、前記位置座標の変化量が規定の値よりも小さい場合には、前記フォーカスレンズが前記第2レンズ位置に移動されていないと判定することが好ましい。前記第1判定手段は、前記合焦制御手段の制御により前記フォーカスレンズが移動されていない場合には、前記フォーカスレンズが前記第2レンズ位置に移動されていないと判定することが好ましい。前記複数の視点画像を立体視可能に表示するモニタを備えることが好ましい。本発明のデジタルカメラは、フォーカスレンズが第1レンズ位置から第2レンズ位置に移動されたときに、第2レンズ位置が第1レンズ位置よりも無限遠位置側である場合には光学ズームまたは電子ズームのズーム倍率を大きくさせ、逆に至近位置側である場合にはズーム倍率を小さくさせるので、例えば合焦被写体が変わったときに他の被写体が手前側あるいは奥側に移動したような錯覚が生じることが防止される。その結果、この錯覚に起因する違和感が抑えられる。図1に示すように、デジタルカメラ10のCPU11は、操作部12からの制御信号に基づき、図示しないメモリから読み出した各種プログラムやデータを逐次実行して、デジタルカメラ10の各部を統括的に制御する。デジタルカメラ10は、右視点で撮像されたR視点画像データと左視点で撮像されたL視点画像データとを含む2視点の視差画像データを取得する。デジタルカメラ10は、静止画像を撮影する静止画撮影モードと、動画像を撮影する動画撮影モードと、撮影により得られた静止画像や動画像を再生表示する再生モードとを含む複数の動作モードを有している。この動作モードの切り替えは操作部12のモード切替スイッチ12aで行われる。また、操作部12には、シャッタボタン12b、ズーム操作を行うためのズームスイッチ12cなどが設けられている。レンズユニット13には、本発明の撮影光学系に相当するズームレンズ14及びフォーカスレンズ15の他に、メカシャッタ16などが組み込まれている。ズームレンズ14は、ズーム機構ズーム手段17により駆動され、光軸O1に沿ってワイド端広角端とテレ端望遠端との間で前後移動される。フォーカスレンズ15は、フォーカス機構レンズ移動手段18により駆動され、光軸O1に沿って無限遠に合焦する無限遠位置と至近に合焦する至近位置との間で前後移動される。メカシャッタ16は、イメージセンサ20への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部図示は省略を有する。メカシャッタ16は、可動部を各位置に移動させることによって、各レンズ14,15からイメージセンサ20へと至る光路を開放/遮断する。なお、メカシャッタ16には、イメージセンサ20に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ16、ズーム機構17、及びフォーカス機構18は、レンズドライバ21を介してCPU11によって動作制御される。レンズユニット13の背後には、減光NDフィルタ19a、ローパスLPフィルタ19b、本発明の固体撮像素子に相当するCMOS型のイメージセンサ20などが配置されている。NDフィルタ19aは、イメージセンサ20に入射する被写体光を減光する。LPフィルタ19bは、所定周波数よりも高い周波数を有する光を遮断する。イメージセンサ20は、各レンズ14,15からの被写体光を電気的な信号に変換して出力する。CMOSドライバ23は、CPU11の制御の下でイメージセンサ20の駆動を制御する。画像処理回路画像生成手段22の視差画像生成部23は、イメージセンサ20から入力される信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施してR,L視点画像データを生成し、これらR,L視点画像データをVRAM24に格納する。なお、ここでいう視差画像とは、被写体を異なる視点から見たときの、個々の視点画像の集まりをいう。画像処理回路22は、位相差方式によるレンズユニット13の焦点検出用のR,L焦点検出用画像データの生成も行う。合焦検出部第1合焦検出手段26は、L,R焦点検出用画像データに基づき、被写体にレンズユニット13のピントを合致させるためのフォーカス調整量を求める。圧縮伸長処理回路29は、撮影指示がなされたときに画像処理回路22で処理されたR,L視点画像データに対して圧縮処理を施して、所定のファイル形式の画像ファイルを生成する。静止画撮影モード時には、1フレーム分のR,L視点画像データで構成される静止画像ファイルが生成される。また、動画撮影モード時には、複数フレーム分のR,L視点画像データ以下、R,Lフレーム画像データというで構成される動画像ファイルが生成される。また、圧縮伸長処理回路29は、メディアI/F30を介してメモリカード31から得られた画像ファイルに対して伸長処理を施す。メディアI/F30は、メモリカード31に対する画像ファイルの記録及び読み出しなどを行う。モニタ32はライブビュー画像スルー画像ともいうや再生画像などを表示する。このモニタ32としては、R視点画像データ及びL視点画像データに基づき立体画像の観察が可能な各種モニタが用いられる。なお、立体画像の表示方式は、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式などの周知の各種方式を用いてよい。表示回路33は、VRAM24に格納されたR,L視点画像データまたは圧縮伸長処理回路29で伸張されたR,L視点画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでモニタ32へ出力する。これにより、モニタ32には、静止画及び動画撮影モード時にライブビュー画像が立体視可能に表示される。また、モニタ32には、再生モード時にメモリカード31から読み出されたR,L視点画像が立体視可能に表示される。図2に示すように、イメージセンサ20は、各レンズ14,15の異なる領域を通過して瞳分割された被写体光がそれぞれ結像される撮像面20aを有している。撮像面20a上の全画素は、第1位相差画素以下、単に第1画素という35と第2位相差画素以下、単に第2画素という36との組で構成されている。撮像面20a上には、第1画素35と第2画素36とを図中水平方向に交互に配列した画素ライン37が図中垂直方向に複数配列されている。第1画素35は、撮像面20aに対して右斜め上から入射する入射光に対して感度が高くなる。第2画素36は、撮像面20aに対して左斜め上から入射する入射光に対して感度が高くなる。第1~第2画素35,36には、画素回路38が設けられている。画素回路38は、第1~第2画素35,36のPDにそれぞれ蓄積された信号電荷を増幅して信号電圧として出力する。画素回路38は、例えば、読み出しトランジスタ、アンプトランジスタ、スイッチトランジスタ、リセットトランジスタ等を有する。読み出しトランジスタは、PD光電変換膜に蓄積された信号電荷を読み出す。アンプトランジスタは、読み出しトランジスタにより読み出された信号電荷を増幅し、信号電圧として出力する。スイッチトランジスタは、信号線による信号電圧の読み出しを制御する。リセットトランジスタは、PD光電変換膜に蓄積された信号電荷をクリアする。また、イメージセンサ20には、第1~第2画素35,36の画素回路38等を駆動するための複数の駆動線39と、第1~第2画素35,36の信号電圧を読み出すための複数の信号線40とが形成されている。駆動線39は、図中垂直方向に長く延びており、各第1~第2画素35,36の垂直方向の列毎にそれぞれ設けられている。各駆動線39には、CMOSドライバ23が接続している。これにより、CMOSドライバ23は、各駆動線39を介して各第1~第2画素35,36の駆動を行う。信号線40は、図中水平方向に長く延びており、画素ライン37毎にそれぞれ1本ずつ設けられている。これにより、画素ライン37毎に、各第1~第2画素35,36の信号電圧が信号線40に読み出される。各信号線40に読み出された信号電圧は、図示しない出力回路やアンプを経て出力信号として画像処理回路22へ出力される。図3に示すように、p型シリコンで形成された半導体基板42Psubの表層には、各第1~第2画素35,36をそれぞれ構成するn型層のPD43が形成されている。また、半導体基板42には、図示は省略するが画素回路38、駆動線39、信号線40などが設けられている。半導体基板42上には、例えば酸化シリコンSiO2で形成された光透過性の絶縁膜44が設けられている。絶縁膜44上には、例えばタングステンで形成された遮光膜45が設けられている。遮光膜45は、第1画素35のPD43上に形成された第1偏心開口45aと、第2画素36のPD43上に形成された第2偏心開口45bとを有している。第1偏心開口45aは、第1画素35のPD43の中心に対して図中左方向にずれた位置に形成されている。これにより、第1画素35のPD43の略右半分の領域以下、単に右領域というは遮光膜45で覆われ、逆に略左半分の領域以下、単に左領域というは露呈している。一方、第2偏心開口45bは、第2画素36のPD43の中心に対して図中右方向にずれた位置に形成されている。これにより、第2画素36のPD43の左領域は遮光膜45で覆われ、逆に右領域は露呈している。遮光膜45上には、表面が平坦な光透過性の平坦化層47が設けられている。平坦化層47上には、第1~第2画素35,36毎にそれぞれカラーフィルタ48が設けられている。なお、同じ組の第1~第2画素35,36では、カラーフィルタ48の色が同色となる。カラーフィルタ48上には、各第1~第2画素35,36の上方位置にそれぞれマイクロレンズ49が設けられている。なお、図中の符号O2はマイクロレンズ49の光軸である。第1画素35上のマイクロレンズ49に図中左斜め方向から入射した入射光50Lは、遮光膜45により遮光される。このため、入射光50Lは、第1画素35のPD43の右領域には集光されない。逆にマイクロレンズ49に図中右斜め方向から入射した入射光50Rは、マイクロレンズ49により第1偏心開口45aを介して、第1画素35のPD43の左領域に集光される。これにより、第1画素35は入射光50Rに対して感度が高くなる。第2画素36上のマイクロレンズ49に入射した入射光50Rは、遮光膜45により遮光される。このため、入射光50Rは、第2画素35のPD43の左領域には集光されない。逆にマイクロレンズ49に入射した入射光50Lは、マイクロレンズ49により第2偏心開口45bを介して、第2画素36のPD43の右領域に集光される。これにより、第2画素36は入射光50Lに対して感度が高くなる。図1に戻って、画像処理回路22には、視差画像生成部23以外に、焦点検出用画像生成部52と、信号出力検出部53と、位相差検出部54とが設けられている。焦点検出用画像生成部52は、静止画像動画像撮影モード時に作動する。焦点検出用画像生成部52は、例えば撮像面20aの中央領域に含まれる第1~第2画素35,36からの出力信号に基づき、位相差AFに用いられるR焦点検出用画像データ、L焦点検出用画像データをそれぞれ生成する。R,L焦点検出用画像データは、合焦検出部26に送られる。図4に示すように、信号出力検出部53は、イメージセンサ20の特定の水平走査期間Htにおける各第1~第2画素35,36からの出力信号の出力値を別個に検出する。ここで、特定の水平走査期間とは、特定の画素ライン37の各第1~第2画素35,36の画素回路38に駆動信号が供給される期間である。これにより、図5に示すように、特定の画素ライン37に含まれる各第1画素35からの出力信号の出力波形WRと、各第2画素36からの出力信号の出力波形WLとが得られる。出力波形WR,WLには、それぞれ被写体A,Bに対応するピークPA,PBが生じる。位相差検出部54は、両出力波形WR,WLのピークPAのずれ量である位相差量と、両出力波形WR,WLのピークPBのずれ量である位相差量とを算出する。なお、図5は被写体Bにピントが合いかつ被写体Aにピントが合わない場合の出力波形WR,WLの一例である。このような場合には、両出力波形WR,WLのピークPBには位相差がほぼ検出されないが、両出力波形WR,WLのピークPAには被写体Bから被写体Aまでの距離に応じた位相差が検出される。なお、図中の符号αは、両出力波形WR,WLのピークPAの位相差量である。また、図6に示すように、被写体Aにピントが合いかつ被写体Bにピントが合わない場合には、両出力波形WR,WLのピークPAには位相差がほぼ検出されないが、両出力波形WR,WLのピークPBには被写体Aから被写体Bまでの距離に応じた位相差が検出される。なお、図中の符号βは、両出力波形WR,WLのピークPBの位相差量である。位相差検出部54は、ピークPAの位相差量の検出結果、ピークPBの位相差量の検出結果をCPU11に送る。図7に示すように、CPU11は、図示しないROMから読み出した各種プログラムを逐次実行することで、合焦制御部55、被写体位置座標検出部以下、位置座標検出部という56、ズーム制御部58として機能する。合焦制御部55は、合焦検出部26が求めたフォーカス調整量に基づき、レンズドライバ21を介しフォーカス機構18を駆動してAF処理を実行する。位置座標検出部56は、動画撮影モード時やライブビュー画像表示時に作動する。位置座標検出部56は、VRAM24に格納されたR視点画像データL視点画像データ、あるいはR,L視点画像データの両方でも可を解析して、ピントが合っている被写体以下、合焦被写体というの位置座標X,Yを検出する。例えば位置座標検出部56は、周知のパターンマッチング法や顔検出法などを用いてR視点画像データに含まれる全ての被写体を検出する。次いで、位置座標検出部56は、位相差検出部54の検出結果に基づき、位相差量が最小となるピークに対応する被写体を合焦被写体であると判別する。そして、位置座標検出部56は、R視点画像内における合焦被写体の例えば中心座標他の座標でも可を位置座標X,Yとして検出する。位置座標検出部56は、VRAM24に新たなR視点画像データが格納される度に位置座標の検出を行い、この検出結果をズーム制御部58に逐次送る。ズーム制御部58は、ズームスイッチ12cがズーム操作されたときに、レンズドライバ21を介してズーム機構17を制御して、ズームレンズ14をテレ端側あるいはワイド端側に移動させる。また、ズーム制御部58は、動画撮影モード時やライブビュー画像表示時に合焦被写体が別の被写体に変わったときに、ズームレンズ14をテレ端側あるいはワイド端側に自動的に移動させる自動ズーム制御処理を行う。ズーム制御部58には、判定部第1判定手段60と、レンズ移動量決定部61と、自動ズーム制御部62とが設けられている。判定部60は、新たなR,L画像データがVRAM24に格納される度に、下記の第1~第3条件が満たされている否かを判定することで、合焦被写体が別の被写体に変わったか否かを判定する。第1条件として、判定部60は、位置座標検出部56が抽出した合焦被写体の位置座標X,Yの変化量が規定の値を超えるかを判定する。具体的には、位置座標X,Yの変化量ΔX,ΔYの上限値をそれぞれX0、Y0としたときに、|ΔX|>X0または|ΔY|>Y0が満たされたか否かを判定する。判定部60は、上記2式のいずれも満たされていない場合には、第1条件が満たされず、合焦被写体が別の被写体に変わっていないと判定する。また、判定部60は、上記2式のいずれかが満たされた場合には、第1条件が満たされたと判定する。第2条件として、判定部60は、合焦制御部55によるAF制御を監視してフォーカスレンズ15が移動したか否かを判定する。判定部60は、フォーカスレンズ15が移動していない場合には、第2条件が満たされず、合焦被写体が別の被写体に変わっていないと判定する。また、判定部60は、フォーカスレンズ15が移動した場合には、第2条件が満たされたと判定する。第3条件として、判定部60は、位相差検出部54の検出結果に基づき、位相差量が最小となるピークが変わったか否かを判定する。判定部60は、位相差量が最小となるピークが変わらない場合には、第3条件が満たされず、合焦被写体が別の被写体に変わっていないと判定する。また、判定部60は、位相差量が最小となるピークが変わった場合には、第3条件が満たされたと判定する。判定部60は、第1~第3条件の全てが満たされたときに合焦被写体が別の被写体に変わったと判定し、この判定結果をレンズ移動量決定部61、自動ズーム制御部62にそれぞれ送る。レンズ移動量決定部61は、判定部60からの判定結果が入力されたときに作動する。レンズ移動量決定部61は、ズームレンズ14の移動方向及び移動量を決定し、その結果を自動ズーム制御部62に送る。レンズ移動量決定部61は、フォーカスレンズ15の移動方向に基づいてズームレンズ14の移動方向を決定する。具体的には、フォーカスレンズ15が無限縁位置側に移動した場合には、ズームレンズ14の移動方向をテレ端側に決定する。逆にフォーカスレンズ15が至近位置側に移動した場合には、ズームレンズ14の移動方向をワイド端側に決定する。また、レンズ移動量決定部61は、位相差検出部54の検出結果に基づき、ピントが合っていない非合焦被写体被写体が2つの場合には、先の合焦被写体に対応するピークの位相差量から、ズームレンズ14の移動量を求める。具体的には、非合焦被写体に対応するピークの位相差量に所定の係数を乗じることにより、ズームレンズ14の移動量を求める。ここで所定の係数とは、レンズユニット13の光学特性、例えばズーム倍率やF値などに応じて定められたり、実験などにより定められたりする。これにより、非合焦被写体に対応するピークの位相差量が大きいほど、ズームレンズ14の移動量も大きくなる。自動ズーム制御部62は、判定部60からの判定結果が入力されたときに作動する。自動ズーム制御部62は、レンズ移動量決定部61から入力されるズームレンズ14の移動方向及び移動量の決定結果に基づき、レンズドライバ21を介してズーム機構17を制御してズームレンズ14を移動させる。次に、図9を用いて上記構成のデジタルカメラ10の作用について説明を行う。なお、以下の説明では図4、図18に示した被写体A,Bを含む撮影シーンを動画撮影するものとする。最初にモード切替スイッチ12aが動画撮影モードに切り替えられる。CPU11は、レンズドライバ21を介してメカシャッタ16の動作を制御するとともに、CMOSドライバ23を介してイメージセンサ20を駆動する。所定のシャッタ速度でメカシャッタ16が開閉され、イメージセンサ20の各第1~第2画素35,36のPD43に信号電荷が蓄積する。次いで、CMOSドライバ23の制御の下、各第1~第2画素35,36の画素回路38によって、各PD43に蓄積された信号電荷が信号電圧として信号線40にそれぞれ読み出される。各信号電圧はそれぞれ出力信号として画像処理回路22へ出力される。視差画像生成部23は、各第1画素35からの出力信号に基づきR視点画像データを生成するとともに、各第2画素36からの出力信号に基づきL視点画像データを生成する。画像処理回路22はこれらR,L視点画像データをVRAM24に格納する。表示回路33は、VRAM24に格納されたR,L視点画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これをモニタ32へ出力する。これにより、モニタ32に立体視可能なライブビュー画像が表示される。また、焦点検出用画像生成部52は、撮像面20aの中央領域に含まれる第1画素35及び第2画素36からの出力信号に基づき、R焦点検出用画像データ、L焦点検出用画像データを生成する。R焦点検出用画像とL焦点検出用画像とは、レンズユニット13の合焦状態に応じて左右方向にシフトする。R,L焦点検出用画像データは合焦検出部26に出力される。合焦検出部26は、R,L焦点検出用画像データを解析して、R焦点検出用画像とL焦点検出用画像とのずれ方向及び両画像間のずれ量を検知することでレンズユニット13のフォーカス調整量デフォーカス量ともいうを求める。このフォーカス調整量に基づき、AF制御部56はレンズドライバ21を制御して、フォーカス機構18によりフォーカスレンズ15を駆動する。ここでは被写体Bにピントを合わせるために、フォーカスレンズ15が被写体Bに合焦するレンズ位置以下、Bレンズ位置というに移動されたものとする。なお、このような位相差AF処理については、例えば特許第2959142号、特開2009-128892号、特開2007-158597号などに詳細に説明されているので、ここでは説明を省略する。図9に示すように、デジタルカメラ10が動画撮影モードに設定されると、信号出力検出部53と位相差検出部54と位置座標検出部56と判定部60とが作動する。信号出力検出部53は、図5に示したように、イメージセンサ20の特定の水平走査期間Htにおける各第1~第2画素35,36からの出力信号の出力値を検出する。これにより、出力波形WR,WLが得られる。次いで、位相差検出部54は、両出力波形WR,WLから位相差量αと位相差量βとをそれぞれ算出して、算出結果をCPU11に送る。被写体Bが合焦被写体であるので、位相差量αは検出されるが位相差量βはほぼゼロとなる。位置座標検出部56は、VRAM24に新たに格納されたR視点画像データの解析結果及び位相差検出部54の検出結果に基づき、被写体Bが合焦被写体であると判別する。次いで、位置座標検出部56は、被写体Bの位置座標X,Yを検出し、この検出結果をズーム制御部58に送る。判定部60は、フォーカスレンズ15の移動の監視結果と、位相差検出部54の検出結果と、位置座標検出部56の検出結果とに基づき、第1~第3条件が満たされている否かを判定する。判定部60は、最初に位置座標検出部56の検出結果に基づき、位置座標X,Yの変化量ΔX,ΔYが|ΔX|>X0または|ΔY|>Y0となる第1条件が満たされるか否かを判定する。第1条件が満たされる場合に判定部60は、フォーカスレンズ15が移動する第2条件が満たされたか否かを判定する。さらに、第2条件が満たされる場合に判定部60は、位相差検出部54の検出結果に基づき、被写体Aに対応するピークPAの位相差量αが最小となる第3条件が満たされるか否かを判定する。合焦被写体が被写体Bのままである場合には、少なくとも第3条件が満たされない。また、第1条件及び第2条件が満たされない限り、第3条件が満たされることはない。このため、判定部60は、第1~第3条件の全てが満たされない限り、合焦被写体が被写体Bから被写体Aに変わったとは判定しない。以下、判定部60により合焦被写体が被写体Aに変わったとは判定されるまで、R,L視点画像データの生成処理、ライブビュー画像の生成処理、AF処理が繰り返し実行される。一方、撮影者の姿勢の変化や手ブレなどにより被写体AがR,L視点画像の中央領域に移動してしまうことがある。その結果、位相差AF処理によってフォーカスレンズ15が被写体Aに合焦するレンズ位置以下、Aレンズ位置というに移動されることにより、合焦被写体が被写体Aに変わる場合がある。このような場合には、被写体Bの位置座標X,Yの変化量ΔX,ΔYが|ΔX|>X0または|ΔY|>Y0となるので、第1条件が満たされる。また、フォーカスレンズ15がBレンズ位置からAレンズ位置に向けて無限遠位置側に移動するので第2条件も満たされる。さらに、合焦被写体が被写体Bから被写体Aに変わると、出力波形WR,WLが、図10Aに示したような位相差量αは検出されるが位相差量βはほぼゼロとなる状態から、図10Bに示したような位相差量βが増加して逆に位相差量αがほぼゼロとなる状態に変わる。このため、第3条件も満たされる。判定部60は、第1~第3条件の全てが満たされた場合には、合焦被写体が被写体Bから被写体Aに変わったと判定して、その判定結果をレンズ移動量決定部61、自動ズーム制御部62にそれぞれ送る。これにより、レンズ移動量決定部61及び自動ズーム制御部62が作動する。図9に戻って、レンズ移動量決定部61は、フォーカスレンズ15が無限縁位置側に移動した場合に、ズームレンズ14の移動方向をテレ端側に決定する。そして、レンズ移動量決定部61は、先の合焦被写体である被写体Bの位相差量βを負の値-βとする。次いで、レンズ移動量決定部61は、-βに所定の係数を乗じることでズームレンズ14の移動量を求め、その結果を自動ズーム制御部62に送る。なお、ズームレンズの移動量が負の値である場合にはズームレンズ14をテレ端側に移動させることを示し、逆に正の値である場合にはズームレンズ14をワイド端側に移動させることを示している。自動ズーム制御部62は、レンズドライバ21を介してズーム機構17を制御して、レンズ移動量決定部61が決定した移動量だけズームレンズ14をテレ端側に向けて移動させる。これにより、ズーム倍率が増加する。図11A,Bに示すように、ズーム倍率が増加すると、モニタ32で立体視可能に表示されるライブビュー画像中の被写体A,Bも拡大される。合焦被写体が被写体Bから被写体Aに変わる前には、被写体Bの視差がほぼゼロとなり被写体Aに視差が生じているので、被写体Bはモニタ画面上に位置するように見え、逆に被写体Aはモニタ画面の奥側に引っ込むように見える。合焦被写体が被写体Bから被写体Aに変わると、被写体Aの視差がほぼゼロとなり被写体Bに視差が生じるので、被写体Aはモニタ画面上に位置するように見え、逆に被写体Bはモニタ画面から飛びだすように見える。この際に、ズーム倍率を増加させて被写体A,Bを拡大表示させているので、ユーザにはモニタ画面上に位置していた被写体Bが手前側に飛び出すように移動したのではなく、ズームレンズ14の移動による画角の変化であると認識させることができる。その結果、被写体Bが手前側に移動してきたような錯覚が生じることなくなり、この錯覚による違和感の発生を抑えることができる。一方、合焦被写体が被写体Aから被写体Bに変わった場合には、位置座標検出部56により検出される被写体Aの位置座標が変わり、さらにフォーカスレンズ15がAレンズ位置からBレンズ位置に移動するので、判定部60は第1~第3条件が満たされたと判定する。この場合にはフォーカスレンズ15が至近位置側に移動するので、レンズ移動量決定部61は、ズームレンズ14の移動方向をワイド端側に決定して、先の合焦被写体である被写体Aの位相差量αを正の値αとする。次いで、レンズ移動量決定部61は、αに所定の係数を乗じることでズームレンズ14の移動量を求め、その結果を自動ズーム制御部62に送る。自動ズーム制御部62は、レンズドライバ21を介してズーム機構17を制御して、レンズ移動量決定部61が決定した移動量だけズームレンズ14をワイド端側に向けて移動させる。これにより、ズーム倍率が減少する。合焦被写体が被写体Aから被写体Bに変わると、被写体Bの視差がほぼゼロとなり逆に被写体Aに視差が生じる。このため、被写体Bはモニタ画面上に位置するように見え、逆にモニタ画面上に位置していた被写体Aがモニタ画面の奥側に引っ込んだように見える。この際に、ズーム倍率を減少させて被写体A,Bを縮小表示させているので、ユーザにはモニタ画面上に位置していた被写体Aがモニタ画面の奥側に引っ込むように移動したのではなく、ズームレンズ14の移動による画角の変化であると認識させることができる。その結果、被写体Aが手前側に移動してきたような錯覚が生じることなくなり、この錯覚による違和感の発生を抑えることができる。図8に戻って、シャッタボタン12bが押下操作されるまで、上述の位相差AF処理や自動ズーム制御処理などの各処理が繰り返し実行される。シャッタボタン12bが押下操作されると、第1~第2画素35,36から1フレーム分の出力信号が一定のフレームレート例えば、30フレーム/秒で画像処理回路22に出力され、画像処理回路22にてR,Lフレーム画像データが逐次生成される。R,Lフレーム画像データは、順次VRAM24に格納される。これにより、上述のようにモニタ32に立体視可能なライブビュー画像が表示される。圧縮伸長処理回路29は、VRAM24に順次格納されるR,Lフレーム画像データに対してデータ圧縮処理を逐次施す。データ圧縮処理が施された圧縮フレーム画像データは、メモリカード31に所定のファイル形式で逐次記録される。また、上記の位相差AF処理と、図9に示した自動ズーム制御処理とが実行される。以下、シャッタボタン12bが再度押下操作されるまで、上述の各処理が繰り返し実行される。シャッタボタン12bが再度押下操作されると、動画撮影で得られた各圧縮フレーム画像データは、1つの動画像ファイルとしてメモリカード31に記録される。動画撮影時にも自動ズーム制御処理を実行しているので、動画撮影により得られた画像を立体視したときに、合焦被写体が変わることにより生じる錯覚に起因する違和感が抑えられる。引き続き他の動画撮影を行う場合には、上述の一連の処理が繰り返し実行される。なお、デジタルカメラ10が静止画撮影モードに設定された場合には、シャッタボタン12bが押下操作されるまでの処理の流れは動画撮影モードと同じである。そして、シャッタボタン12bが押下されたときにイメージセンサ20から1フレーム分の出力信号が出力され、R,L視点画像データが生成される。R,L視点画像データは圧縮処理が施された後、静止画像ファイルとしてメモリカード31に記録される。[第2実施形態]次に、図12を用いて本発明の第2実施形態のデジタルカメラ70について説明を行う。上記第1実施形態では、合焦被写体が変わったときにズーム倍率を変倍することで、合焦被写体が変わることにより生じる錯覚に起因する違和感を抑えている。しかしながら、これが繰り返されると、実際のズーム倍率とユーザが設定したズーム倍率との差異が大きくなり、ユーザが不快に感じるおそれがある。そこで、デジタルカメラ70では、自動ズーム制御処理によりズーム倍率が変倍された後で、合焦被写体が一定期間変わらなかった場合にズーム倍率を元の倍率に戻す。デジタルカメラ70は、CPU71が第1実施形態のズーム制御部58とは異なるズーム制御部72として機能する点を除けば、第1実施形態のデジタルカメラ10と基本的に同じ構成である。なお、上記第1実施形態と機能構成上同一のものについては、同一符号を付してその説明は省略する。ズーム制御部72には、判定部60、レンズ移動量決定部61、及び自動ズーム制御部62の他に、レンズ位置戻し判定部第2判定手段73とレンズ位置戻し制御部74とが設けられている。また、自動ズーム制御部62には、レンズ位置記憶部62aが設けられている。自動ズーム制御部62は、ズームレンズ14を移動させる前に、このズームレンズ14の元の位置に関する情報以下、単に移動前位置情報というをレンズ位置記憶部62aに記憶させる。レンズ位置戻し判定部73は、フォーカスレンズ15が新たな合焦被写体に合焦するレンズ位置にセットされて、自動ズーム制御処理によりズームレンズ14が移動ズーム倍率が変倍された後に作動する。レンズ位置戻し判定部73は、合焦被写体が一定期間変わらないか否かを判定する。具体的には、判定部60と同様に、新たなR,L画像データがVRAM24に格納される度に、第1~第3条件が満たされているか否かを判定する。また、レンズ位置戻し判定部73にはカウンタ75が設けられている。レンズ位置戻し判定部73は、第1~第3条件のいずれかが満たされていないときは、カウンタ75のカウント値を1増加させる。そして、レンズ位置戻し判定部73は、カウンタ75のカウント値が所定の上限値に達したときに、合焦被写体が一定期間変わっていないと判定してその判定結果をレンズ位置戻し制御部74に送る。また、これと同時にレンズ位置戻し判定部73は、カウンタ75のカウント値をリセットする。レンズ位置戻し制御部74は、レンズ位置戻し判定部73からの判定結果が入力されたときに作動する。レンズ位置戻し制御部74は、レンズ位置記憶部62aに記憶された移動前位置情報に基づき、レンズドライバ21を介してズーム機構17を制御して、ズームレンズ14を元のレンズ位置に戻す。また、レンズ位置戻し制御部74は、ズームレンズ14を元のレンズ位置に戻す際に、ズームレンズ14の移動速度をユーザが気づきにくい緩慢な速度に調整する。図13を用いて上記構成のデジタルカメラ70の作用について説明を行う。なお、自動ズーム制御処理以外の処理、及び自動ズーム制御処理によるズームレンズ14の移動が行われるまでの処理は、第1実施形態と同じであるので説明は省略する。ただし、自動ズーム制御部62は、ズームレンズ14を移動させる前にその移動前位置情報をレンズ位置記憶部62aに記憶させる。フォーカスレンズ15が新たな合焦被写体に合焦するレンズ位置にセットされた後、自動ズーム制御処理によりズームレンズ14が移動されると、レンズ位置戻し判定部73が作動する。レンズ位置戻し判定部73は、フォーカスレンズ15の移動の監視結果と、位相差検出部54の検出結果と、位置座標検出部56の検出結果とに基づき、新たなR,L画像データがVRAM24に格納される度に第1~第3条件が満たされている否かを判定する。レンズ位置戻し判定部73は、第1~第3条件のいずれかが満たされない場合には、カウンタ75のカウント値を1増加させる。第1~第3条件のいずれかが満たされない状態が継続すると、カウンタ75のカウント値が増加する。そして、一定期間が経過しても合焦被写体が変わらず、第1~第3条件のいずれかが満たされない場合には、カウンタ75のカウント値が所定の上限値に達する。レンズ位置戻し判定部73は、カウンタ75のカウント値が所定の上限値に達したときに、合焦被写体が一定期間変わっていないと判定してその判定結果をレンズ位置戻し制御部74に送る。また、レンズ位置戻し判定部73はカウンタ75のカウント値をリセットする。レンズ位置戻し制御部74は、レンズ位置戻し判定部73からの判定結果の入力を受けて作動する。最初にレンズ位置戻し制御部74は、レンズ位置記憶部62aに記憶された移動前位置情報を読み出す。次いで、レンズ位置戻し制御部74は、移動前位置情報に基づき、レンズドライバ21を介してズーム機構17を制御して、ズームレンズ14を元のレンズ位置に向けて緩慢な速度で戻す。このように一定期間が経過しても合焦被写体が変わらない場合にはズームレンズ14を元のレンズ位置に戻すことで、自動ズーム制御処理が繰り返し実行されたときに実際のズーム倍率とユーザが設定したズーム倍率との差異が大きくなることが防止される。その結果、ユーザの不快感を軽減させることができる。ズームレンズ14を元の位置に戻した後の処理は、第1実施形態と基本的に同じであるのでここでは説明を省略する。[第3実施形態]次に、図14及び図15を用いて本発明の第3実施形態のデジタルカメラ80について説明を行う。上記第1実施形態のデジタルカメラ10は、ズームレンズ14を光軸O1方向に移動させる光学ズームを行うことで画角を変化させているが、デジタルカメラ80は光学ズームの変わりに電子ズームを行う。デジタルカメラ80は、第1実施形態のズームレンズ14及びズーム機構17の代わりに変倍回路ズーム手段82が設けられている点を除けば、第1実施形態のデジタルカメラ10と基本的に同じ構成である。なお、上記第1実施形態と機能構成上同一のものについては、同一符号を付してその説明は省略する。変倍回路82は、VRAM24に新たに格納されたR,L視点画像を読み出して、これらR,L視点画像に対して変倍処理を施す。具体的には、ズーム制御部58により指定されたズーム倍率でR,L視点画像のそれぞれの一部を電子的に拡大させて変倍R,L視点画像データを生成する。これにより、R,L視点画像中の被写体A,Bの大きさが変化する。変倍R,L視点画像データは、VRAM24に再び格納される。表示回路33は、VRAM24に格納された変倍R,L視点画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでモニタ32へ出力する。これにより、モニタ32にはライブビュー画像が立体視可能に表示される。また、圧縮伸長処理回路29は、撮影指示がなされたときに変倍回路82で処理された変倍R,L視点画像データに対して圧縮処理を施して、所定のファイル形式の画像ファイルを生成する。ズーム制御部58は、ズームスイッチ12cがズーム操作されたときに、変倍回路82を制御してズーム操作で指定されたズーム倍率の変倍R,L視点画像データを生成させる。このズーム制御部58には、第1実施形態のレンズ移動量決定部61、自動ズーム制御部62の変わりにズーム倍率決定部84、自動ズーム制御部85が設けられている。ズーム倍率決定部84は、判定部60からの判定結果が入力されたときに作動する。ズーム倍率決定部84は、フォーカスレンズ15の移動方向や位相差検出部54の検出結果に基づき、データテーブル86を参照してズーム倍率を決定し、その結果を自動ズーム制御部85に送る。データテーブル86には、非合焦被写体先の合焦被写体に対応するピークの位相差量と、フォーカスレンズ15が無限縁位置側に移動した場合のズーム倍率と、フォーカスレンズ15が至近位置側に移動した場合のズーム倍率とが対応付けて格納されている。データテーブル86では、フォーカスレンズ15が無限縁位置側に移動した場合にはズーム倍率が増加し、逆にフォーカスレンズ15が至近位置側に移動した場合にはズーム倍率が減少するように設定されている。また、データテーブル86では、非合焦被写体に対応するピークの位相差量X1<X2<X3が大きいほど、ズーム倍率の増減量|Z1|<|Z2|<|Z3|が大きくなるように設定されている。自動ズーム制御部85は、判定部60からの判定結果が入力されたときに作動する。自動ズーム制御部85は、ズーム倍率決定部84の決定結果に基づき、変倍回路82を制御して変倍R,L視点画像データを生成させる。上記構成のデジタルカメラ80の作用は、光学ズームの代わりに電子ズームを行う点を除けば基本的に第1実施形態のデジタルカメラ10と同じである。ただし、ズーム倍率決定部84は、合焦被写体が変わったと判定部60が判定したときに、フォーカスレンズ15の移動方向や位相差検出部54の検出結果に基づき、データテーブル86を参照してズーム倍率を決定する。自動ズーム制御部85は、変倍回路82を制御してズーム倍率決定部84が決定したズーム倍率の変倍R,L視点画像データを生成させる。これにより、合焦被写体が被写体Bから被写体Aに変わったときにはズーム倍率が増大するので、ユーザにはモニタ画面上に位置していた被写体Bが手前側に飛び出すように移動したのではなく、電子ズームのズーム倍率の変化であると認識させることができる。また、合焦被写体が被写体Aから被写体Bに変わったときにはズーム倍率が減少するので、ユーザにはモニタ画面上に位置していた被写体Aがモニタ画面の奥側に引っ込むように移動したのではなく、電子ズームのズーム倍率の変化であると認識させることができる。その結果、第1実施形態と同様に、錯覚による違和感の発生を抑えることができる。[第4実施形態]次に、図16を用いて本発明の第4実施形態のデジタルカメラ90について説明を行う。上記第2実施形態のデジタルカメラ70は光学ズームを行うことで画角を変化させているが、デジタルカメラ90は第3実施形態のデジタルカメラ80と同様に電子ズームを行うことで画角を変化させる。デジタルカメラ90は、ズームレンズ14、ズーム機構17、レンズ移動量決定部61、自動ズーム制御部62、レンズ位置戻し判定部73、及びレンズ位置戻し制御部74の代わりに、変倍回路82、ズーム倍率決定部84、自動ズーム制御部91、ズーム倍率戻し判定部92、及びズーム倍率戻し制御部93が設けられている点を除けば、第2実施形態のデジタルカメラ70と基本的に同じ構成である。また、変倍回路82及びズーム倍率決定部84は、上記第3実施形態のデジタルカメラ80に設けられているものと同じである。なお、上記第1~第3実施形態と機能構成上同一のものについては、同一符号を付してその説明は省略する自動ズーム制御部91は、基本的には第3実施形態の自動ズーム制御部85と同じものである。ただし、自動ズーム制御部91には、ズーム倍率記憶部90aが設けられている。自動ズーム制御部91は、変倍回路82を制御してズーム倍率を変倍させる前に、元のズーム倍率に関する情報以下、単に変倍前倍率情報というをズーム倍率記憶部90aに記憶させる。ズーム倍率戻し判定部92は、基本的には第2実施形態のレンズ位置戻し判定部73と同じものである。ズーム倍率戻し判定部92は、自動ズーム制御処理によりズーム倍率が変倍された後で、合焦被写体が一定期間変わらないか否かを判定する。具体的には、第1~第3条件のいずれかが満たされていないときは、カウンタ75のカウント値を1増加させて、このカウント値が所定の上限値に達したときに合焦被写体が一定期間変わっていないと判定する。ズーム倍率戻し制御部93は、ズーム倍率戻し判定部92からの判定結果が入力されたときに、ズーム倍率記憶部90aに記憶された変倍前倍率情報に基づき変倍回路82を制御して、ズーム倍率を元の倍率に戻す。また、ズーム倍率戻し制御部93は、ズーム倍率を元のズーム倍率に戻す際の速度をユーザが気づきにくい緩慢な速度に調整する。上記構成のデジタルカメラ90の作用は、光学ズームの代わりに電子ズームを行う点を除けば基本的に第2実施形態のデジタルカメラ70と同じである。ただし、デジタルカメラ90では、合焦被写体が変わったときにズーム倍率を変倍し、この変倍後に合焦被写体が一定期間変わらなかった場合には、ズーム倍率を元の倍率に緩慢な速度で戻す。これにより、第2実施形態と同様の効果が得られる。上記第1~第2実施形態のレンズ移動量決定部61は、先の合焦被写体に対応するピークの位相差量に所定の係数を乗じることでズームレンズ14の移動量を求めている。この際に、例えば第3実施形態と同様に、位相差量とズームレンズ14の移動量と対応づけたデータテーブル等を参照することでズームレンズ14の移動量を決定してもよい。また、逆に第3~第4実施形態のズーム倍率決定部84が、位相差検出部54が検出した位相差量に所定の係数を乗じることでズーム倍率を求めてもよい。上記各実施形態のイメージセンサ20では、遮光膜45に第1~第2偏心開口45a,45bを形成することで、第1画素35が入射光54Rに対して感度が高くなり、かつ第2画素36が入射光54Lに対して感度が高くなる。このように遮光膜45に第1~第2偏心開口45a,45bを形成する代わりに、マイクロレンズ49をその下方のPD43の中心に対してずれた位置に形成してもよい例えば特許2959142号参照。上記各実施形態では、フォーカスレンズ15がAレンズ位置とBレンズ位置の一方から他方に移動した場合に光学ズームまたは電子ズームのズーム倍率を変倍させているが、被写体とは無関係に光学ズームまたは電子ズームのズーム倍率を変倍させてもよい。具体的には、フォーカスレンズ15が第1フォーカスレンズ位置から第2フォーカスレンズ位置に移動した場合に、第1フォーカスレンズ位置及びその時点のズーム倍率と、第2フォーカスレンズ位置とからズーム倍率を決定し、この結果に基づきズーム倍率を変倍させてもよい。この際にも、フォーカスレンズ15が無限遠位置側に移動した場合にはズーム倍率を増加させ、逆にフォーカスレンズ15が至近位置側に移動した場合にはズーム倍率を減少させる。上記各実施形態ではAF処理に伴い光学ズームまたは電子ズームのズーム倍率が変倍されるが、手動でフォーカス調整を行った場合にも同様にしてズーム倍率を変倍させるようにしてもよい。上記各実施形態では、位相差AF機能を有するデジタルカメラについて説明したが、周知のコントラスト検出方式による合焦検出、及び焦点調整を行うデジタルカメラにも本発明を適用することができる。例えば図17に示すように、デジタルカメラ100は、コントラスト検出方式の合焦検出を行うためのAF用レンズ移動制御部以下、単にレンズ移動制御部という101と、合焦検出部第2合焦検出手段102とを備えている。なお、デジタルカメラ100は、コントラスト検出方式の合焦検出を行う点を除けば上記第1実施形態のデジタルカメラ10と基本的に同じ構成である。このため、上記第1実施形態と機能構成上同一のものについては、同一符号を付してその説明は省略する。レンズ移動制御部101は、合焦検出時にフォーカスレンズ15を無限遠位置及び至近位置の一方から他方側に向けて移動させる。合焦検出部102は、フォーカスレンズ15が移動される際に、その各レンズ位置において第1画素35及び第2画素36の少なくともいずれか一方より出力される出力信号から被写体像のAFコントラスト値AF評価値ともいうを算出する。そして、合焦検出部102は、コントラストが最も高くなる位置ピーク位置を合焦レンズ位置と判断し、その結果を合焦制御部55に送る。合焦制御部55は、レンズドライバ21を介しフォーカス機構18を駆動して、フォーカスレンズ15を合焦レンズ位置にセットする。なお、コントラスト検出方式の合焦検出を行うAF制御については、例えば特開2008-262001号などに詳細に説明されているので、ここでは詳細な説明は省略する。デジタルカメラ100においても、第1実施形態と同様にAF処理に伴いズーム倍率が変倍される自動ズーム制御が行われるので、第1実施形態と同様の効果が得られる。この際に、自動ズーム制御は、例えばフォーカスレンズ15の移動後に行う。また、AF処理と自動ズーム制御とを交互に繰り返し実行してもよい。なお、上記第2~第4実施形態についても、位相差方式の合焦検出の代わりにコントラスト検出方式の合焦検出を行ってもよい。また、位相差方式の合焦検出とコントラスト検出方式の合焦検出とを組み合せて行うハイブリッド方式の合焦検出を行ってもよい例えば特許4646709号参照。上記各実施形態では、撮像面20a上に第1~第2画素35,36の計2種類の位相差画素が配列されているが、例えば右左斜め上とは異なる方向からの入射光に対して感度が高くなる位相差画素を含む2種類以上の位相差画素が配列されていてもよい。この場合には2視点以上の視点画像が得られる。上記各実施形態では、ライブビュー画像表示時や動画撮影時になどに撮影される同一の撮影シーン内に2つの被写体A,Bが含まれる場合について説明したが、3以上の被写体が含まれる場合にも本発明を適用することができる。上記各実施形態では、信号出力検出部53や位相差検出部54が画像処理回路22に設けられているが、これらがイメージセンサ20やCPUなどの画像処理回路22以外に設けられていてもよい。上記各実施形態のイメージセンサ20の画素配列パターンは、図2に示したパターンに限定されるものではなく、例えばハニカム配列パターンなどの各種配列パターンで配列されていてもよい。上記各実施形態では、CMOS型のイメージセンサを備えるデジタルカメラについて説明したが、CCD型のイメージセンサをデジタルカメラにも本発明を適用することができる。"