"単一の撮像光学系と、前記撮像光学系の予め定められた方向の異なる第1の領域および第2の領域を通過した被写体像を瞳分割してそれぞれ2つの光電変換素子群に結像して光電変換することで、第1画像および第2画像からなる視点画像の組を連続的に出力可能な撮像部と、前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、任意の1または複数の第1の時点で、前記撮像部から出力される視点画像の組の対応点間で視差が得られるよう前記絞り部の開放量を制御する第1の絞り制御を実行可能であるとともに、前記第1の時点と時間的に前後する任意の第2の時点で、前記絞り部の開放量が前記第1の絞り制御の開放量よりも小さくなるよう制御する第2の絞り制御を実行可能な絞り制御部と、前記第1の時点および前記第2の時点で前記視点画像の組が出力されるよう前記撮像部を制御する撮像制御部と、前記第1の時点で前記撮像部から出力された視点画像の組に基づいて視差情報を算出する視差情報算出部と、前記第2の時点で前記撮像部から出力された視点画像の組に基づいて平面画像を作成する平面画像作成部と、前記視差情報算出部の算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の決定された対象画素にぼかし処理を施すぼかし処理部と、を備える撮像装置。前記視差情報は、各画素の距離情報を含み、前記ぼかし処理部は、前記距離情報が所定の第1の距離よりも遠い遠景の画素および/または前記距離情報が所定の第2の距離よりも小さい近景の画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項1に記載の撮像装置。前記視差情報は、前記視点画像の組の対応点間の視差量を表す視差マップを含み、前記ぼかし処理部は、前記対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項1または2に記載の撮像装置。前記ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を前記平面画像のぼかし処理を施す対象画素に決定し、前記対象画素にぼかし処理を施す請求項1~3のいずれかに記載の撮像装置。前記視差情報は、前記視点画像の組の対応点間の視差量を表す視差マップを含み、前記ぼかし処理部は、前記対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す請求項1~4のいずれかに記載の撮像装置。前記ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を前記対象画素に施す1~4のいずれかに記載の撮像装置。前記第2の時点は、ユーザ操作により平面画像の撮像指示が入力された時点であり、前記第1の時点は、前記第2の時点よりも前の時点である請求項1~6のいずれかに記載の撮像装置。前記第2の時点は、ユーザ操作により平面画像の撮像指示が入力された時点であり、前記第1の時点は、前記第2の時点よりも後の時点である請求項1~6のいずれかに記載の撮像装置。前記絞り制御部は、前記第2の時点で前記撮像部から出力される視点画像の組の対応点間で視差を減少させるよう前記絞り部の開放量を制御する第2の絞り制御を実行可能である請求項1~8のいずれかに記載の撮像装置。前記複数の第1の時点で前記撮像部から出力された複数の視点画像の組の各々と前記第2の時点で前記撮像部から出力された視点画像の組との間の差分を算出する差分算出部を備え、前記視差情報算出部は、前記複数の第1の時点で前記撮像部から出力された複数の視点画像の組のうち、前記差分算出部が算出した差分が最小となる視点画像の組に基づいて視差情報を算出する請求項7に記載の撮像装置。前記差分は動きベクトルを含む請求項10に記載の撮像装置。単一の撮像光学系と、前記撮像光学系の予め定められた方向の異なる第1の領域および第2の領域を通過した被写体像を瞳分割してそれぞれ2つの光電変換素子群に結像して光電変換することで、第1画像および第2画像からなる視点画像の組を連続的に出力可能な撮像部と、前記撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、を備える撮像装置が、任意の1または複数の第1の時点で、前記撮像部から出力される視点画像の組の対応点間で視差が得られるよう前記絞り部の開放量を制御する第1の絞り制御を実行するとともに、前記第1の時点と時間的に前後する任意の第2の時点で、前記絞り部の開放量が前記第1の絞り制御の開放量よりも小さくなるよう制御する第2の絞り制御を実行するステップと、前記第1の時点および前記第2の時点で前記視点画像の組が出力されるよう前記撮像部を制御するステップと、前記第1の時点で前記撮像部から出力された視点画像の組に基づいて視差情報を算出するステップと、前記第2の時点で前記撮像部から出力された視点画像の組に基づいて平面画像を作成するステップと、前記算出した視差情報に従い、前記平面画像のぼかし処理を施す対象画素を決定し、前記平面画像の決定された対象画素にぼかし処理を施すステップと、を実行する撮像方法。特許文献4~6のような、画像結像手段の異なる瞳位置を通過した画像情報を選択的に取得することで視差画像を撮像して立体画像を生成する瞳分割式立体撮像装置においては、合焦位置の視差が0となり、非合焦位置ではボケデフォーカス量に応じた視差が生じる。そのため、上記立体撮像装置で、ボケのない平面画像を得るためには、絞りを絞って焦点深度を深くし、撮影を行う必要がある。しかし、絞りを絞って撮影すると、主要被写体に対して前景や背景をぼかすことができない。瞳分割式立体撮像装置では、クリアな平面画像を得るために、絞りを絞って撮影するため、絵づくりに制約がある。本発明は、主要被写体に対して前景および背景などの所望の部分をぼかした平面画像を得ることのできる瞳分割式立体撮像装置、ならびに瞳分割式立体撮像装置において上記平面画像を撮像する方法を提供する。本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第1の領域および第2の領域を通過した被写体像を瞳分割してそれぞれ2つの光電変換素子群に結像して光電変換することで、第1画像および第2画像からなる視点画像の組を連続的に出力可能な撮像部と、撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、任意の1または複数の第1の時点で、撮像部から出力される視点画像の組の対応点間で視差が得られるよう絞り部の開放量を制御する第1の絞り制御を実行可能であるとともに、第1の時点と時間的に前後する任意の第2の時点で、絞り部の開放量が第1の絞り制御の開放量よりも小さくなるよう制御する第2の絞り制御を実行可能な絞り制御部と、第1の時点および第2の時点で視点画像の組が出力されるよう撮像部を制御する撮像制御部と、第1の時点で撮像部から出力された視点画像の組に基づいて視差情報を算出する視差情報算出部と、第2の時点で撮像部から出力された視点画像の組に基づいて平面画像を作成する平面画像作成部と、視差情報算出部の算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の決定された対象画素にぼかし処理を施すぼかし処理部と、を備える撮像装置を提供する。視差情報は、各画素の距離情報を含み、ぼかし処理部は、距離情報が所定の第1の距離よりも遠い遠景の画素および/又は距離情報が所定の第2の距離よりも小さい近景の画素を平面画像のぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す。視差情報は、視点画像の組の対応点間の視差量を表す視差マップを含み、ぼかし処理部は、対応点間の視差量が所定の値以上となる対応点を構成する画素を、ぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す。ぼかし処理部は、ユーザ操作により指定された領域を構成する画素を平面画像のぼかし処理を施す対象画素に決定し、対象画素にぼかし処理を施す。視差情報は、視点画像の組の対応点間の視差量を表す視差マップを含み、ぼかし処理部は、対応点間の視差量に応じた程度のぼかし処理を各対応点を構成する画素に施す。ぼかし処理部は、ユーザ操作により指定された程度のぼかし処理を対象画素に施す。第2の時点は、ユーザ操作により平面画像の撮像指示が入力された時点であり、第1の時点は、第2の時点よりも前の時点である。第2の時点は、ユーザ操作により平面画像の撮像指示が入力された時点であり、第1の時点は、第2の時点よりも後の時点である。絞り制御部は、第2の時点で撮像部から出力される視点画像の組の対応点間で視差を減少させるよう絞り部の開放量を制御する第2の絞り制御を実行可能である。複数の第1の時点で撮像部から出力された複数の視点画像の組の各々と第2の時点で撮像部から出力された視点画像の組との間の差分を算出する差分算出部を備え、視差情報算出部は、複数の第1の時点で撮像部から出力された複数の視点画像の組のうち、差分算出部が算出した差分が最小となる視点画像の組に基づいて視差情報を算出する。差分は動きベクトルを含む。本発明は、単一の撮像光学系と、撮像光学系の予め定められた方向の異なる第1の領域および第2の領域を通過した被写体像を瞳分割してそれぞれ2つの光電変換素子群に結像して光電変換することで、第1画像および第2画像からなる視点画像の組を連続的に出力可能な撮像部と、撮像部の光電変換素子群に結像する光束の光量を調整可能な絞り部と、を備える撮像装置が、任意の1または複数の第1の時点で、撮像部から出力される視点画像の組の対応点間で視差が得られるよう絞り部の開放量を制御する第1の絞り制御を実行するとともに、第1の時点と時間的に前後する任意の第2の時点で、絞り部の開放量が第1の絞り制御の開放量よりも小さくなるよう制御する第2の絞り制御を実行するステップと、第1の時点および第2の時点で視点画像の組が出力されるよう撮像部を制御するステップと、第1の時点で撮像部から出力された視点画像の組に基づいて視差情報を算出するステップと、第2の時点で撮像部から出力された視点画像の組に基づいて平面画像を作成するステップと、算出した視差情報に従い、平面画像のぼかし処理を施す対象画素を決定し、平面画像の決定された対象画素にぼかし処理を施すステップと、を実行する撮像方法を提供する。本発明の撮像装置および撮像方法は、第1の時点では、開放側絞りで視点画像の組を撮像し、該視点画像の組から視差情報を得るとともに、第2の時点では、第1の時点よりも小絞り側で視点画像の組を撮像し、全体的にボケの少ない平面画像を作成し、該視差情報に基づいて該平面画像のぼかし処理を施す対象画素を決定し、その対象画素にぼかし処理を施す。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えることができる。<第1実施形態>図1は第1実施形態に係るカメラ1の実施の形態を示すブロック図である。このカメラ1は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置CPU40によって統括制御される。カメラ1には、シャッタボタン、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキー等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいてカメラ1の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、立体表示用の液晶モニタLCD30の表示制御などを行う。ROM10には、CPU40が実行するプログラム及び制御に必要な各種データ、CCD16の画素欠陥情報、カメラ動作に関する各種定数/情報等が格納されている。シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、および動画を撮影する動画モードのいずれかを選択する選択手段である。再生ボタンは、撮影記録した立体視画像3D画像、平面画像2D画像の静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。MENU/OKキーは、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタンカーソル移動操作手段として機能する。また、十字キーの上/下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り順方向/逆方向送りボタンとして機能する。BACKキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせる時などに使用される。撮影モード時において、被写体を示す画像光は、撮像レンズ12、絞り14を介して瞳分割視差画像を取得可能な位相差イメージセンサである固体撮像素子以下、CCDというが、CMOS等でも可16の受光面に結像される。撮像レンズ12は、CPU40によって制御されるレンズ駆動部36によって駆動され、フォーカス制御、ズーム焦点距離制御等が行われる。絞り14は、例えば、5枚の絞り羽根からなり、CPU40によって制御される絞り駆動部34によって駆動され、例えば、絞り値F値F28~F11まで1AV刻みで5段階に絞り制御される。また、CPU40は、絞り駆動部34を介して絞り14を制御するとともに、CCD制御部32を介してCCD16での電荷蓄積時間シャッタスピードや、CCD16からの画像信号の読み出し制御等を行う。<CCDの構成例>図2はCCD16の構成例を示す図である。図2のA部分に示すように、CCD16は、それぞれマトリクス状に配列された奇数ラインの画素と、偶数ラインの画素とを有しており、これらの2つのラインの画素にてそれぞれ光電変換された2面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域以下OB領域というとを形成する。OB領域は、実際には、有効画素領域の周囲を取り囲むように形成される。図2のB部分に示すように、CCD16の奇数ライン1、3、5、...には、R赤、G緑、B青のカラーフィルタを備えた画素のうち、GRGR...の画素配列のラインと、BGBG...の画素配列のラインとが交互に設けられる。一方、図2のC部分に示すように、偶数ライン2、4、6、...の画素は、奇数ラインと同様に、GRGR...の画素配列のラインと、BGBG...の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が2分の1ピッチだけライン方向にずれて配置されている。2面分の画像信号を構成する第1画素と第2画素の配置領域は同一であってもよいし同一でなくてもよい。例えば、第1画素は有効画素領域全体に渡って存在するが、第2画素の存在領域はAF領域内など特定の領域のみでもよい。第2画素は、有効画素領域全体あるいは特定の領域内に渡って密に配列されてもよいし、粗に配列されてもよい。具体的には、図2のD部分およびE部分のように、第2画素数は第1画素数よりも低くてもよい。図2のD部分およびE部分は、白部分で第1画素、黒部分で第2画素を示している。黒部分のカラーフィルタは、RGBでもよいし図2のD部分、輝度情報を取るGのみ図2のE部分でもよい。図2のD部分の場合は、第1画素第2画素の間でRGBカラーフィルタの配列を変えずに済む利点があり、図2のE部分の場合は各第2画素の情報をデフォーカス量の検出に利用できる利点がある。図3は、撮像レンズ12、絞り14、および図2のA部分のCCD16の第1、第2画素の1画素ずつを示した図であり、図4は図3の要部拡大図である。図4のA部分に示すように通常のCCDの画素フォトダイオードPDには、射出瞳を通過する光束が、マイクロレンズLを介して制限を受けずに入射する。これに対し、図4のB部分に示すようにCCD16の第1画素および第2画素には遮光部材16Aが形成される。カメラ1を横置きにして撮像する場合、この遮光部材16Aにより第1画素、第2画素フォトダイオードPDの受光面の右半分又は左半分が遮光される。あるいはカメラ1を縦置きにして撮像する場合、この遮光部材16Aにより第1画素、第2画素フォトダイオードPDの受光面の上半分又は下半分が遮光される。マイクロレンズLの光軸Zから右、左、上、あるいは下方向例えば図4のB部分では光軸より左方向に所定量Δだけ偏位した位置には、遮光部材16Aの開口16Bが設けられている。光束は開口16Bを通過し、フォトダイオードPDの受光面に到達する。即ち、遮光部材16Aが瞳分割部材としての機能を有している。なお、第1画素と第2画素とでは、遮光部材16Aより光束が制限されている領域右半分/左半分、あるいは上半分/下半分が異なる。例えば、第1画素では光束の左半分が制限され、第2画素では光束の右半分が制限されると、第1画素からは右の視点画像、第2画素からは左の視点画像が得られる。あるいは、第1画素では光束の上半分が制限され、第2画素では光束の下半分が制限されると、第1画素からは下の視点画像、第2画素からは上の視点画像が得られる。従って、図8に示すように、後ピン、合焦、前ピンの状態に応じて第1画素と第2画素の出力は、位相がずれるか又は位相が一致する。第1画素と第2画素の出力信号の位相差は撮像レンズ12のデフォーカス量に対応するため、この位相差を検出することにより撮像レンズ12のAF制御を行うことができる位相差AF。上記構成のCCD16は、第1画素と第2画素とでは、遮光部材16Aより光束が制限されている領域右半分、左半分が異なるように構成されているが、CCD16の構成はこれに限らず、遮光部材16Aを設けずに、マイクロレンズLとフォトダイオードPDとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードPDに入射する光束が制限されるものでもよい。また、2つの画素第1画素と第2画素に対して1つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよいし、ミラーにより瞳分割するもの例えば図7でもよい。要するに本発明の適用範囲は、瞳分割により位相差画像を取得するカメラである。図1に戻って、CCD16に蓄積された信号電荷は、CCD制御部32から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。CCD16から読み出された電圧信号は、アナログ信号処理部18に加えられ、ここで各画素ごとのR、G、B信号がサンプリングホールドされ、増幅されたのちA/D変換器20に加えられる。A/D変換器20は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲインコントロール処理、ガンマ補正処理、YC処理等の所定の信号処理を行う。ここで、図2のB部分およびC部分に示すように,CCD16の奇数ラインの第1画素から読み出される第1画像データは、左視点画像データとして処理され、偶数ラインの第2画素から読み出される第2画像データは、右視点画像データとして処理される。図2のD部分およびE部分の場合も同様に、第1画素から読み出される第1画像データは、左視点画像データとして処理され、偶数ラインの第2画素から読み出される第2画像データは、右視点画像データとして処理される。なお、第1画像データが左視点画像データであり、第2画像データが右視点画像データである必然性はなく、その逆でもよい。デジタル信号処理部24で処理された左視点画像データおよび右視点画像データ3D画像データは、VRAM50に入力する。VRAM50には、それぞれが1コマ分の3D画像を表す3D画像データを記憶するA領域とB領域とが含まれている。VRAM50において1コマ分の3D画像を表す3D画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域およびB領域のうち、3D画像データが書き換えられている方の領域以外の領域から、書き込まれている3D画像データが読み出される。VRAM50から読み出された3D画像データはビデオエンコーダ28においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタLCD30に出力され、これにより3Dの被写体像が液晶モニタ30の表示画面上に表示される。この液晶モニタ30は、立体視画像左視点画像および右視点画像をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。また、操作部38のシャッタボタンの第1段階の押下半押しがあると、CPU40は、AF動作およびAE動作を開始させ、レンズ駆動部36を介して撮像レンズ12内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にA/D変換器20から出力される画像データは、AE検出部44に取り込まれる。AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ撮影Ev値を算出し、この撮影Ev値に基づいて適正露出が得られる絞り14の絞り値およびCCD16の電子シャッタシャッタスピードを所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部33を介して絞り14を制御する平面画像の絞り制御とともに、決定したシャッタスピードに基づいてCCD制御部32を介してCCD16での電荷蓄積時間を制御する。なお、被写体の明るさは外部の測光センサに基づいて算出されてもよい。所定のプログラム線図は、被写体の明るさ撮影EV値に対応して、絞り14の絞り値とCCD16のシャッタスピードの組み合わせ、又はこれらと撮影感度ISO感度の組み合わせからなる撮影露出条件が設計されたものである。ここで、所定のプログラム線図とは、視差優先のプログラム線図とピント優先のプログラム線図を含む。まず、視差優先のプログラム線図は、F値を一定の小さい値で固定している。このプログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、所望の視差を有する主画像、副画像の撮影が可能となる。例えば、視差優先のプログラム線図は、F値が14の一定の値をとり、撮影EV値が7から12まで明るいは撮影EV値に応じてシャッタ速度のみを160秒TV=6から12000TV=11まで変化させるように設計されている。また、撮影EV値が7よりも小さくなると暗くなると、F値=14、シャッタ速度=160秒で固定した状態で、撮影EV値が1EV小さくなる毎にISO感度を100から20040080016003200になるように設計されている。すなわち、被写体が明るくても、絞り14を絞らず、シャッタ速度を落として被写体輝度を調整する。なお、固定するF値を大きくすれば、視差は弱くなり、固定するF値を小さくすれば、視差は強くなるので、操作部38を介してユーザから指示された視差に応じて固定するF値とプログラム線図を切り替えてもよい。この視差優先のプログラム線図は、F値を一定の小さい値で固定しているため、一定の視差を有する主画像、副画像の撮影を行うことができる。ただし、撮影EV値が16よりも大きくなるとシャッタ速度が最大値になると、露出オーバになり撮影できなくなるが、NDフィルタを自動挿入して光量を減光できる構成をカメラ1に追加すれば、撮影EV値が16よりも大きくなっても撮影可能である。一方、ピント優先のプログラム線図は、F値を一定の大きい値で固定している。このピント優先のプログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、画像全体にピントのあった画像の撮影が可能となる。例えば、所定のプログラム線図は、F値が56の一定の値をとり、撮影EV値が11から16までは撮影EV値に応じてシャッタ速度のみを160秒TV=6から12000TV=11まで変化させるように設計されている。また、撮影EV値が11よりも小さくなると暗くなると、F値=56、シャッタ速度=160秒で固定した状態で、撮影EV値が1EV小さくなる毎にISO感度を100から20040080016003200になるように設計されている。すなわち、被写体が暗くなると、絞り14を開放せず、シャッタ速度やISO感度を増やして明るさを補う。このピント優先のプログラム線図は、F値を一定の大きい値で固定しているため、画像全域にピントのあった画像の撮影を行うことができる。AF処理部42は、コントラストAF処理又は位相差AF処理を行う部分である。コントラストAF処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内画面中央部の矩形領域などの画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すAF評価値を算出する。このAF評価値が極大となるように撮像レンズ12内のフォーカスレンズを制御することによりAF制御が行われる。また、位相差AF処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の第1画素、第2画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が0になるように撮像レンズ12内のフォーカスレンズを制御することによりAF制御が行われる。AE動作およびAF動作が終了し、シャッタボタンの第2段階の押下全押しがあると、その押下に応答してA/D変換器20から出力される第1画素および第2画素に対応する左視点画像第1画像および右視点画像第2画像の2枚分の画像データが画像入力コントローラ22からメモリ48に入力し、一時的に記憶される。メモリ48に一時的に記憶された2枚分の画像データは、デジタル信号処理部24により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理YC処理を含む所定の信号処理が行われる。YC処理された画像データYCデータは、再びメモリ48に記憶される。続いて、2枚分のYCデータは、それぞれ圧縮伸長処理部26に出力され、JPEGなどの所定の圧縮処理が実行されたのち、再びメモリ48に記憶される。メモリ48に記憶された2枚分のYCデータ圧縮データから、マルチピクチャファイルMPファイル:複数の画像が連結された形式のファイルが生成され、そのMPファイルは、メディアコントローラ52により読み出され、メモリカード54に記録される。デフォーカスマップ作成部61は、第1画素および第2画素に対応する位相差を、所定のフォーカス領域に含まれる小領域の各々について算出するだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出する。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、有効画素領域をマトリクス状に所定の単位例えば8×8画素、あるいはそれ以下例えば1×1画素、あるいはそれ以上例えば10×10画素で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ例えば分割領域1つ分、あるいはそれ以上、あるいはそれ以下を隔てた所定の単位の分割領域ごとに位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。デフォーカスマップ作成部61は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部61は、RAMなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。デフォーカスマップ作成部61は、ステレオマッチング処理部83にて各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。復元フィルタ保存部62は、ROMなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高画像中心からの距離、典型的には撮像レンズ12の光軸中心Lからの距離およびデフォーカス量ないしは被写体距離に対応する復元フィルタを保存している。復元部63は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。この信号処理により、光学系のボケ、特に光束の入射のアンバランスが生じる受光面の周辺画素に対応する画像のボケが取り除かれる。ステレオマッチング処理部対象物検出手段83は、同じタイミングでメモリ48に格納された2つの画像データA、B間で互いに対応する1つ以上の対応点対象物を検出するものである。なおステレオマッチング処理部83における処理方法は、領域ベース法、セグメントベース法、等輝度線法等を用いる公知の技術を使用することができる。また、ステレオマッチングはパッシブ式でもアクティブ式でもよい。また、画素数の異なる画像間でのステレオマッチングは、例えば特許文献3、7~11のような公知の技術に基づいて行うことができる。距離算出部84は、上述したステレオマッチング処理部83によって検出された対応点の3次元座標値距離情報を算出するものである。距離算出部84における距離情報の算出方法は、三角測量の原理により計算する公知の技術を使用することができる。なお、ステレオマッチング処理部83および距離算出部84はプログラムにより構成されるものであっても、IC、LSI等によって構成されるものであってもよい。視差マップ基準の視点画像、例えば画像データAから、別の視点画像、例えば画像データBへの対応点までの視差量で、別の視点画像を表したものは、距離情報と技術的に等価であり、以下の距離情報についての処理は、視差マップについても行うことができる。さらに、被写体までの距離情報又は視差マップを包括して、視差情報と呼ぶ。視差情報の算出は、カメラ1でなく、パソコンのような他の情報処理装置で行うこともできる。第1画像データの取得画素と第2画像データの取得画素は、同じ構成であってもよいし、そうでなくてもよい。第1画像データは色情報と輝度情報を有するが、第2画像データは輝度情報のみを有してもよい。あるいは、第2画素は、赤外領域を受光可能な白黒CCDとし、特許文献7のような赤外光を用いたアクティブ式のステレオマッチングが採用されてもよい。以下では、ステレオマッチングを可能にするため、第1画像データ第2画像データの双方は少なくとも輝度情報を含むものとする。また、好ましくは、2次元画像に色情報を付加するためには、第1画像データ第2画像データの双方は色情報を含むものとする。ここでは説明の簡略のため、第1画像データ第2画像データは、ともに輝度情報と色情報を含むものとする。3次元画像処理部85は、CCD16から取得された視点画像の組から3次元画像を生成することができる。これは特許文献2と同様である。なお、視差情報からの3次元画像生成は、特許文献7~11のような公知技術に基づいて行うことができる。3次元画像の生成は、撮影モードが3D静止画記録に設定された場合に行われ、所望の視差量を有する立体画がLCD30に表示される。3次元画像処理部45が生成する3次元画像の視差量は、固定値又は任意の設定値のいずれでもよい。ぼかし処理部86は、所定周波数以上の画像信号成分を除去するローパスフィルタ処理を行う。図5は本発明の好ましい第1実施形態に係る平面静止画撮像処理のフローチャートを示す。この処理は撮影モードが2D静止画記録に設定されたことに応じて開始される。S1では、CPU40は、撮影モードが2D静止画記録に設定されたことに応じ、視差優先のプログラム線図に従って絞り値Xとシャッタスピードを決定する。そして、CPU40は、その決定した絞り値Xに基づいて絞り駆動部33を介して絞り14を制御する視差優先の絞り制御とともに、決定したシャッタスピードに基づいてCCD制御部32を介してCCD16での電荷蓄積時間を制御する。これにより、CCD16から、視差を有する左右の画像データAB視点画像の組が取得される。なお、この画像データABの一方は、LCD30に2Dスルー画として表示されるものの1つであってもよいし、2Dスルー画とは別でもよい。S2では、CPU40は、ステレオマッチング処理部83と距離算出部84にステレオマッチングと距離情報視差情報の算出を行わせる。ステレオマッチング処理部83は、S1で取得された1コマ分の画像データABに基づいてステレオマッチングを行う。距離算出部84は、ステレオマッチング処理部83によって検出された対応点ごとの距離情報を算出する。S3では、CPU40は、操作部38のシャッタボタンの第1段階の押下半押しがあったか否かを判断する。Yesの場合はS4に進み、Noの場合は当該判断を繰り返す。S4では、CPU40は、ピント優先のプログラム線図に従って絞り値Yとシャッタスピードを決定する。この結果、絞り値Yは、絞り値Xよりもさらに大きく小絞り側になる関係にある。換言すると、絞り値Xは、絞り値Yよりもさらに小さく開放側になる関係にある。例えば、X14、Y56である。そして、CPU40は、S4で決定した絞り値Yに基づいて絞り駆動部33を介して絞り14を制御するピント優先の絞り制御。S5では、CPU40は、操作部38のシャッタボタンの第2段階の押下全押しがあったか否かを判断する。Yesの場合はS6に進み、Noの場合は当該判断を繰り返す。S6では、CPU40は、S4のピント優先の絞り制御とともに、決定したシャッタスピードに基づいてCCD制御部32を介してCCD16での電荷蓄積時間を制御する。これにより、各対応点間で視差ボケないしデフォーカス量がないあってもごく小さい左右の画像データABが取得される。CPU40は、左右の画像データABについて、瞳分割された同一の光束に対応する2つの画素ごとに画像信号を加算する。これにより、高解像度の2D画像が生成される。S7では、ぼかし処理部86は、S2で算出された対応点ごとの距離情報視差情報に基づき、ぼかし処理を施す対象画素を決定する。そしてぼかし処理部86は、決定されたぼかし処理の対象画素に、ぼかし処理を行う。ぼかし処理の対象の画素は、自動的に決定される。ただし、それに加えて、ユーザ操作に基づいて決定されてもよい。例えば、ぼかし処理の対象として決定される画素は、次のものが挙げられる。例1:ぼかし処理部86は、各画素の距離情報を参照し、所定の第1の距離よりも遠い遠景の画素例えば5m以上の被写体像の画素、あるいは所定の第2の距離よりも小さい近景の画素例えば50cm以下の被写体像の画素を、ぼかし処理の対象画素に決定する。例2:ぼかし処理部86は、各画素の視差マップを参照し、対応点間の視差量が所定の値例えば2画素分以上となる対応点を構成する画素を、ぼかし処理の対象画素に決定する。例3:例1および/又は例2に加え、ぼかし処理部86は、ユーザ操作で指定された領域に含まれる各画素を、ぼかし処理の対象画素に決定する。また、ぼかし処理の程度は、ユーザ操作に基づいて決定されてもよいし、自動的に決定されてもよい。例えば、ユーザが、ぼかし強を指定した場合、ぼかし処理部86は、ローパスフィルタ処理の除去対象とする画像信号成分の周波数の下限閾値をαに設定し、ぼかし中を指定した場合、該周波数の下限閾値をβに設定し、ぼかし弱を指定した場合、該周波数の下限閾値をγに設定する。ここでα<β<γである。あるいは、ぼかし処理部86は、視差マップで示される視差量に応じて、ぼかしの程度を変化させてもよい。すなわち、ある対応点間の視差量が大きければ、それに従ってそれらの対応点のぼかしの程度を強くする。以上のように、カメラ1は、開放絞りで視点画像の組を撮像し、該視点画像の組から視差情報を得るとともに、小絞りで視点画像の組を撮像し、全体的にボケのない2D画像を得て、該視差情報に基づいて該2D画像にぼかし処理を施す箇所を決定し、その箇所にぼかし処理を施す。こうすれば、瞳分割方式の撮像装置において、被写体の遠近や視差量の大小などを示した視差情報に応じ、適切な位置にぼかしを加えることができる。<第2実施形態>図6は本発明の好ましい第2実施形態に係る平面静止画撮像処理のフローチャートを示す。この処理は撮影モードが2D静止画記録に設定されたことに応じて開始される。S11~14はS3~6と同様である。S15~16はS1~2と同様である。S17はS7と同様である。撮影モードが2D静止画記録の場合、視差優先のプログラム線図に従って撮像された視点画像の組そのものは、記録されない。よって、その取得のタイミングは基本的に任意であるが、異なる2つの時点の視点画像の組の構図のずれを小さくするため、好ましくはシャッタボタンの第2段階の押下の前後の近接した時点に取得されるべきである。第2段階の押下の前、例えば第1実施形態のように、シャッタボタンの第1段階の押下よりも前に視点画像の組を取得する場合は、第2段階の押下から2D画像の記録までのタイムラグが小さくて済むメリットがある。しかし、シャッタボタンの第1段階の押下のタイミングは任意に発生するため、場合によっては、構図のずれが大きくなることがある。一方、本実施形態のように、シャッタボタンの第2段階の押下に応じた2D画像用の視点画像の組の取得後に、視差情報用の視点画像の組を取得すれば、両者の構図のずれが少なくなる。よって、ぼかし処理の対象画素の決定が正確になる。<第3実施形態>第1実施形態の平面静止画撮像処理において、S1では、常に絞り14を開放して視点画像の組を1または複数取得しておき、それらの視点画像の組とS6で取得された2D画像ぼかし対象画像との差分を各々算出し、該差分が最も小さい視点画像の組を、S2で視差情報を算出する視点画像の組としてもよい。例えば、CPU40は、絞り14を開放して取得された1または複数の視点画像の組の各々を、組ごとに合成して、視差情報を算出する候補となる2D画像候補画像を作成する。CPU40は、候補画像とぼかし対象画像との間で動きベクトルを算出する。動きベクトルの検出の仕方としては各種の公知技術が採用できる。例えば、まずCPU40は、ある時点例えば最初に取得された候補画像から移動体を含む領域追跡対象領域を抽出し、テンプレートとしてVRAM50に記憶した後、ぼかし対象画像上で、テンプレートの位置を微小にずらしながら相関値を算出して、最も相関の大きい領域を求めることで動きベクトルを検出するパターンマッチング法。CPU40は、動きベクトルのスカラー量が最小となる候補画像に対応する視点画像の組を視差情報を算出する3D画像に決定し、その決定された3D画像から視差情報を算出する。こうすれば、動体を撮影するときに、3D画像と2D画像の差が小さくなり、ぼかし処理の対象画素の決定がより正確になる。なお、上述した3D画像と2D画像の差分の算出とその結果に応じた視差情報の算出は、スポーツモードなど動体撮影するモードが選択された場合にのみ行い、その他の場合は、第2実施形態のように、シャッタ全押し後に取得された3D画像から視差情報を算出してもよい。<第4実施形態>第13実施形態の平面静止画撮像処理のS1S4、あるいは第2実施形態のS12S15において、絞り14の開口径を制御する代わりに、液晶フィルタの透過率を制御してもよい。具体的には、絞り14の前段または後段の光路に、液晶フィルタを設置する。液晶フィルタは、CPU40からの制御信号に従って、小絞り相当の透過率または開放絞り相当の透過率を設定できる。開放絞り相当の透過率は、同心円状に広がる連続的あるいは段階的な透過率であり、中心に向かうほど透過率が高い。開放絞り相当の透過率は、実質的に100素通しである。CPU40は、絞り14を開放した上、S1またはS15で開放絞り相当の透過率を設定し、S4またはS12で小絞り相当の透過率を設定するよう液晶フィルタを制御すれば、上記実施形態と同様、3D画像と2D画像が得られる。ここで、絞り14の開口径を逐次機械的に制御するよりも、液晶フィルタの透過率を制御する方が、CCD16の受光量を短時間で制御でき、3D画像取得と2D画像取得の間のタイムラグを短くでき、ぼかし処理の対象画素の決定がより正確になる。"