"単一の撮像光学系からの光束に対する瞳分割により位相差を有する複数の画像を出力し、前記複数の画像から前記位相差に応じた視差を有する立体視画像を復元可能な立体撮像装置であって、前記複数の画像を合成して、前記複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力する合成部と、前記合成部の出力した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正する補正部と、を備える立体撮像装置。前記複数の画像の各々において、各画像の画素を間引く間引き部を備え、前記合成部は、前記間引き部により画素を間引いた複数の画像を合成して、前記複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力し、前記補正部は、前記参照データを前記複数の画像の各々の元のサイズと一致するよう補間し、前記補間した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正する請求項1に記載の立体撮像装置。前記参照データ、前記複数の画像の各々にローパスフィルタによるフィルタリングを施して出力するフィルタ部を備え、前記補正部は、前記フィルタ部の出力した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正する請求項1または2に記載の立体撮像装置。前記複数の画像の各々の撮影時における設定情報を取得する取得部と、前記取得部の取得した設定情報に基づいて前記補正部によるシェーディング補正の実行の要否を判定する判定部と、を備え、前記補正部は、前記判定部が前記補正部によるシェーディング補正の実行を要すると判定したことに応じ、前記複数の画像の各々をシェーディング補正する請求項1~3のいずれかに記載の立体撮像装置。前記設定情報は立体視画像撮影モードか平面画像撮影モードのいずれか一方の撮影モードの設定情報を含み、前記判定部は、前記撮影モードの設定情報が平面画像撮影モードの場合、前記補正部によるシェーディング補正の実行を要すると判定する請求項4に記載の立体撮像装置。前記判定部は、前記撮影モードの設定情報が立体視画像撮影モードの場合、前記補正部によるシェーディング補正の実行を不要と判定する請求項5に記載の立体撮像装置。前記設定情報は絞りの設定情報を含み、前記判定部は、前記絞りの設定情報が所定の絞り値よりも絞り側の場合、前記補正部によるシェーディング補正の実行を要すると判定する請求項5に記載の立体撮像装置。前記設定情報はズーム位置の設定情報を含み、前記判定部は、前記レンズ絞りの設定情報が所定の絞り値よりも開放側でありかつ前記ズーム位置の設定情報が所定のズーム位置よりもワイド側の場合、前記補正部によるシェーディング補正の実行を要すると判定する請求項7に記載の立体撮像装置。前記参照データ、前記複数の画像の各々にローパスフィルタによるフィルタリングを施して出力するフィルタ部を備え、前記判定部は、前記レンズ絞りの設定情報が前記所定の絞り値よりも開放側でありかつ前記ズーム位置の設定情報が前記所定のズーム位置よりもテレ側の場合、前記補正部によるシェーディング補正の実行を要すると判定し、前記補正部は、前記判定部が前記補正部によるシェーディング補正の実行を要すると判定したことに応じ、前記フィルタ部の出力した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正する請求項8に記載の立体撮像装置。単一の撮像光学系からの光束に対する瞳分割により位相差を有する複数の画像を出力し、前記複数の画像から前記位相差に応じた視差を有する立体視画像を復元可能な立体撮像装置の実行するシェーディング補正方法であって、前記複数の画像を合成して、前記複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力するステップと、前記合成部の出力した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正するステップと、を備えるシェーディング補正方法。しかし、瞳分割方式の立体撮像装置に特有の画素配列に起因して、明暗のひずみを生ずるシェーディングが各視点画像において発生し、視点画像間の明るさが均一とはならずに画像の品質が低下する。また、フル画素での平面画像の記録時は、単に暗くなるだけでなく、解像度の低下や偽解像などの画質低下も発生する。更に、シェーディングの強度はレンズの絞りによっても変わるため、撮像条件に応じた補正が必要となる。特許文献1では、A像とB像の各々にローパスフィルタLowPassFilterによるフィルタリングを施すことにより、ランダムノイズを減少させるレベル補正を行う。しかし、撮像条件の変化に伴いレベル補正の結果が変化してしまうという問題がある。また、特許文献2では、撮像素子の中心と周辺でマイクロレンズのずらし量を調整するため、画素の位置によって位相差量が変わってしまう。そのため、変化する位相差に合わせた補正が必要となるという問題がある。本発明はこのような事情に鑑みてなされたもので、瞳分割方式の立体撮像装置で得られた画像の品質を向上させる技術を提供することを目的とする。上記目的を達成するため、本発明は、単一の撮像光学系からの光束に対する瞳分割により位相差を有する複数の画像を出力し、複数の画像から位相差に応じた視差を有する立体視画像を復元可能な立体撮像装置であって、複数の画像を合成して、複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力する合成部と、合成部の出力した参照データと複数の画像の各々とを比較することにより、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正する補正部と、を備える立体撮像装置である。また、本発明の立体撮像装置は、複数の画像の各々において、各画像の画素を間引く間引き部を備え、合成部は、間引き部により画素を間引いた複数の画像を合成して、複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力し、補正部は、参照データを複数の画像の各々の元のサイズと一致するよう補間し、補間した参照データと複数の画像の各々とを比較することにより、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正することが好ましい。更に、本発明の立体撮像装置は、参照データ、複数の画像の各々にローパスフィルタによるフィルタリングを施して出力するフィルタ部を更に備え、補正部は、フィルタ部の出力した参照データと複数の画像の各々とを比較することにより、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正することが好ましい。更にまた、本発明の立体撮像装置は、複数の画像の各々の撮影時における設定情報を取得する取得部と、取得部の取得した設定情報に基づいて補正部によるシェーディング補正の実行の要否を判定する判定部と、を備え、補正部は、判定部が補正部によるシェーディング処理シェーディング補正の実行を要すると判定したことに応じ、複数の画像の各々をシェーディングを補正することが好ましい。このとき、設定情報は立体視画像撮影モードか平面画像撮影モードのいずれか一方の撮影モードの設定情報を含み、判定部は、撮影モードの設定情報が平面画像撮影モードの場合、補正部によるシェーディング補正の実行を要すると判定することが好ましい。また、判定部は、撮影モードの設定情報が立体視画像撮影モードの場合、補正部によるシェーディング補正の実行を不要と判定することが好ましい。更に、設定情報は絞りの設定情報を含み、判定部は、絞りの設定情報が所定の絞り値よりも絞り側の場合、補正部によるシェーディング補正の実行を要すると判定することが好ましい。更にまた、設定情報はズーム位置の設定情報を含み、判定部は、レンズ絞りの設定情報が所定の絞り値よりも開放側でありかつズーム位置の設定情報が所定のズーム位置よりもワイド側の場合、補正部によるシェーディング補正の実行を要すると判定することが好ましい。加えて、参照データ、複数の画像の各々にローパスフィルタによるフィルタリングを施して出力するフィルタ部を備え、判定部は、レンズ絞りの設定情報が所定の絞り値よりも開放側でありかつズーム位置の設定情報が所定のズーム位置よりもテレ側の場合、補正部によるシェーディング補正の実行を要すると判定し、補正部は、判定部が補正部によるシェーディング補正の実行を要すると判定したことに応じ、フィルタ部の出力した参照データと複数の画像の各々とを比較することで、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正することが好ましい。また、上記目的を達成するため、本発明は、単一の撮像光学系からの光束に対する瞳分割により位相差を有する複数の画像を出力し、複数の画像から位相差に応じた視差を有する立体視画像を復元可能な立体撮像装置の実行するシェーディング補正方法であって、複数の画像の各々を合成して、前記複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力するステップと、合成部の出力した参照データと複数の画像の各々とを比較することで、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正するステップと、を備えるシェーディング補正方法である。本発明に係る立体撮像装置で得られた複数の画像は、瞳分割方向に対象のシェーディングを有する。よって、該複数の画像を合成すれば、シェーディングがキャンセルされた参照データが生じる。この参照データに基づいて、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正することができる。<第1実施形態>以下、添付図面に従って本発明に係る単眼立体撮像装置の実施の形態について説明する。[撮像装置の全体構成]図1は本発明に係る単眼立体撮像装置10の実施の形態を示すブロック図である。この単眼立体撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置CPU40によって統括制御される。単眼立体撮像装置10には、シャッタボタン、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキー等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて単眼立体撮像装置10の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、立体表示用の液晶モニタ30の表示制御などを行う。シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、立体視画像を撮影する立体視画像撮影モード、平面画像を撮影する平面画像撮影モードの設定を受け付ける。立体視画像撮影モードおよび平面画像撮影モードは、静止画モード又は動画モードに分岐し、いずれか一方を選択できる。再生ボタンは、撮影記録した立体視画像3D画像、平面画像2D画像の静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。MENU/OKキーは、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタンカーソル移動操作手段として機能する。また、十字キーの上/下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り順方向/逆方向送りボタンとして機能する。BACKキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせる時などに使用される。撮影モード時において、被写体を示す画像光は、撮像レンズ12、絞り14を介して瞳分割視差画像を取得可能な位相差イメージセンサである撮像部以下、CCDという16の受光面に結像される。撮像レンズ12は、CPU40によって制御されるレンズ駆動部36によって駆動され、フォーカス制御、ズーム焦点距離制御等が行われる。絞り14は、例えば、5枚の絞り羽根からなり、CPU40によって制御される絞り駆動部33によって駆動され、例えば、絞り値F値F28~F11まで1AV刻みで5段階に絞り制御される。また、CPU40は、絞り駆動部33を介して絞り14を制御するとともに、CCD制御部32を介してCCD16での電荷蓄積時間シャッタスピードや、CCD16からの画像信号の読み出し制御等を行う。<CCDの構成例>図2は2視点のCCD16の構成例を示す図である。CCD16は、それぞれマトリクス状に配列された奇数ラインの画素主画素と、偶数ラインの画素副画素とを有しており、これらの主、副画素にてそれぞれ光電変換された2面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域以下OB領域というとを形成する。OB領域は、実際には、有効画素領域の周囲を取り囲むように形成される。図2に示すようにCCD16の奇数ライン1、3、5、...には、R赤、G緑、B青のカラーフィルタを備えた画素のうち、GRGR...の画素配列のラインと、BGBG...の画素配列のラインとが交互に設けられ、一方、偶数ライン2、4、6、...の画素は、奇数ラインと同様に、GRGR...の画素配列のラインと、BGBG...の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が2分の1ピッチだけライン方向にずれて配置されている。図3は撮像レンズ12、絞り14、およびCCD16の主、副画素の1画素ずつを示した図であり、図4は図3の要部拡大図である。図4Aに示すように通常のCCDの画素フォトダイオードPDには、射出瞳を通過する光束が、マイクロレンズLを介して制限を受けずに入射する。これに対し、図4Bに示すようにCCD16の主画素A面および副画素B面には遮光部材16Aが形成される。単眼立体撮像装置10を横置きにして撮像する場合、この遮光部材16Aにより主画素、副画素フォトダイオードPDの受光面の右半分又は左半分が遮光される。あるいは単眼立体撮像装置10を縦置きにして撮像する場合、この遮光部材16Aにより主画素、副画素フォトダイオードPDの受光面の上半分又は下半分が遮光される。マイクロレンズLの光軸Zから右、左、上、あるいは下方向例えば図4Bでは光軸より左方向に所定量Δだけ偏位した位置には、遮光部材16Aの開口16Bが設けられている。光束は開口16Bを通過し、フォトダイオードPDの受光面に到達する。即ち、遮光部材16Aが瞳分割部材としての機能を有している。なお、主画素と副画素とでは、遮光部材16Aより光束が制限されている領域右半分/左半分、あるいは上半分/下半分が異なる。例えば、主画素では光束の左半分が制限され、副画素では光束の右半分が制限されると、主画素からは右の視点画像、副画素からは左の視点画像が得られる。あるいは、主画素では光束の上半分が制限され、副画素では光束の下半分が制限されると、主画素からは下の視点画像、副画素からは上の視点画像が得られる。上記構成のCCD16は、主画素と副画素とでは、遮光部材16Aより光束が制限されている領域右半分、左半分が異なるように構成されているが、CCD16の構成はこれに限らず、遮光部材16Aを設けずに、マイクロレンズLとフォトダイオードPDとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードPDに入射する光束が制限されるものでもよいし、また、2つの画素主画素と副画素に対して1つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよいし、ミラーにより瞳分割するもの例えば図13でもよい。図1に戻って、CCD16に蓄積された信号電荷は、CCD制御部32から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。CCD16から読み出された電圧信号は、アナログ信号処理部18に加えられ、ここで画素ごとのR、G、B信号がサンプリングホールドされ、増幅されたのちA/D変換器20に加えられる。A/D変換器20は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲインコントロール処理、ガンマ補正処理、YC処理等の所定の信号処理を行う。ここで、図2のBおよびCに示すように,CCD16の奇数ラインの主画素A面から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素B面から読み出される副画像データは、右視点画像データとして処理される。デジタル信号処理部24で処理された左視点画像データおよび右視点画像データ3D画像データは、VRAM50に入力する。VRAM50には、それぞれが1コマ分の3D画像を表す3D画像データを記憶するA領域とB領域とが含まれている。VRAM50において1コマ分の3D画像を表す3D画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域およびB領域のうち、3D画像データが書き換えられている方の領域以外の領域から、書き込まれている3D画像データが読み出される。VRAM50から読み出された3D画像データはビデオエンコーダ28においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタLCD30に出力され、これにより3Dの被写体像が液晶モニタ30の表示画面上に表示される。この液晶モニタ30は、立体視画像左視点画像及び右視点画像をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。また、操作部38のシャッタボタンの第1段階の押下半押しがあると、CPU40は、AF動作およびAE動作を開始させ、レンズ駆動部36を介して撮像レンズ12内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にA/D変換器20から出力される画像データは、AE検出部44に取り込まれる。AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ撮影Ev値を算出し、この撮影Ev値に基づいて絞り14の絞り値およびCCD16の電子シャッタシャッタスピードを所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部33を介して絞り14を制御するとともに、決定したシャッタスピードに基づいてCCD制御部32を介してCCD16での電荷蓄積時間を制御する。AF処理部42は、コントラストAF処理又は位相差AF処理を行う部分である。コントラストAF処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すAF評価値を算出する。このAF評価値が極大となるように撮像レンズ12内のフォーカスレンズを制御することによりAF制御が行われる。また、位相差AF処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が0になるように撮像レンズ12内のフォーカスレンズを制御することによりAF制御が行われる。AE動作およびAF動作が終了し、シャッタボタンの第2段階の押下全押しがあると、その押下に応答してA/D変換器20から出力される主画素および副画素に対応する左視点画像主画像および右視点画像副画像の2枚分の画像データが画像入力コントローラ22からメモリ48に入力し、一時的に記憶される。メモリ48に一時的に記憶された2枚分の画像データは、デジタル信号処理部24により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理YC処理を含む所定の信号処理が行われる。YC処理された画像データYCデータは、再びメモリ48に記憶される。続いて、2枚分のYCデータは、それぞれ圧縮伸長処理部26に出力され、JPEGなどの所定の圧縮処理が実行されたのち、再びメモリ48に記憶される。メモリ48に記憶された2枚分のYCデータ圧縮データから、マルチピクチャファイルMPファイル:複数の画像が連結された形式のファイルが生成され、そのMPファイルは、メディアコントローラ52により読み出され、メモリカード54に記録される。デフォーカスマップ作成部61は、主画素および副画素に対応する位相差を、所定のフォーカス領域に含まれる小領域の各々について算出するだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出する。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、有効画素領域をマトリクス状に所定の単位例えば8×8画素、あるいはそれ以下例えば1×1画素、あるいはそれ以上例えば10×10画素で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ例えば分割領域1つ分、あるいはそれ以上、あるいはそれ以下を隔てた所定の単位の分割領域ごとに位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。デフォーカスマップ作成部61は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部61は、RAMなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。なお、デフォーカス量は被写体距離情報と等価であるため、デフォーカスマップは、小領域の各々に対応する被写体距離情報と等価である。デフォーカスマップ作成部61は、各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。復元フィルタ保存部62は、ROMなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高画像中心からの距離、典型的には撮像レンズ12の光軸中心Lからの距離およびデフォーカス量ないしは被写体距離に対応する復元フィルタを保存している。復元部63は、情報処理装置、例えばCPU40で構成されており、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。これにより、デフォーカス量ボケ量に応じた視差を画像に与えることができる。補正部64は、デジタル信号処理部24で処理された左視点画像データおよび右視点画像データに対し、所定の補正処理を行う。そして、補正部64は補正処理後の左視点画像データおよび右視点画像データをVRAM50に記憶する。補正部64による補正処理は、特定の条件が満たされた場合に限って実行されてもよい。例えば、操作部38により、撮影モードが特定のモードに設定された場合に補正処理が実行される。特定のモードとしては、平面モード、平面モードのフル画素記録モードなどがある。あるいは、ある特定の撮影条件が満たされた場合に補正処理が実行されてもよい。絞り値がある閾値例えばF値=28よりも小さくなった場合に補正処理が実行されてもよい。図5は第1実施形態に係る補正部64の詳細な構成を示す。補正部64は、合成処理部64a合成部と補正処理部64bを含む。なお、第1実施形態では、補正部64と合成処理部64a合成部とが一体となって構成されているが、その他の態様においては、補正部64と合成処理部64a合成部とを別体として構成しても良い。図6は第1実施形態に係る補正部64の実行する補正処理のフローチャートである。S1では、合成処理部64aは、主画素A面から読み出された左画像データと副画素B面から右画像データとを合成することで、シェーディング補正のための参照データX面を作成する。合成とは画像信号の可算を意味する。図7は参照データの概念説明図である。図7に示すように、A面の画像データとB面の画像データは、瞳分割方向、ここでは左右の両眼視差方向に対象のシェーディングを有する。よって、A面の画像データとB面の画像データを合成すれば、シェーディングがキャンセルされた参照データが生じる。図6に戻って、S2では、補正処理部64bは、参照データとA面の画像データ、および参照データとB面の画像データを比較することで、A面B面の補正量を決定し、当該決定された補正量に基づいて、A面の画像データとB面の画像データをシェーディング補正する。メモリ48がA面B面参照データを同時に保存可能であれば、それらをメモリ48に保存し、メモリ上で参照データとA面の画像データ、および参照データとB面の画像データを比較し、補正する。このシェーディング補正と、A面の画像データとB面の画像データが、ともに参照データと同じ明るさになるような補正である。その具体的方法は、以下のものが挙げられるが、これらに限定されない。例えば、補正処理部64bは、参照データを複数の小領域で区切るとともに、A面の画像データとB面の画像データを参照データと同じ単位の小領域に区切る。補正処理部64bは、参照データの小領域ごとに、濃度の平均値を算出する。補正処理部64bは、A面の画像データと参照データの双方で、対応する小領域ごとに、濃度の平均値を算出する。補正処理部64bは、対応する双方の小領域の濃度の平均値の差分値を算出することで小領域ごとの補正量を決定する。そして、補正処理部64bは、A面の画像データの各画素から得られた画像データに、当該画素の属する小領域に対応する補正量差分値を可算する。補正処理部64bは、B面の画像データについても、A面と同様の補正量の決定と当該補正量に基づく補正処理を行う。例えば、参照データの小領域Δiの濃度の平均値Mi、それに対応するA面の画像データの小領域δiの濃度の平均値mi、小領域Δiの濃度差di=Mi-miとする。A面ないしB面の画像データのある画素Pが小領域δiに属し、その濃度がYiとする場合、補正処理部64bは、Yi’=Yidiとし、Yi’を補正後の画素Pの濃度とする。あるいは、補正処理部64bは、上記と同様、A面の画像データと参照データの双方で、小領域ごとに濃度の平均値を算出する。補正処理部64bは、対応する双方の小領域の濃度の平均値の比を算出することで小領域ごとの補正量を決定する。そして、補正処理部64bは、A面の画像データの各画素から得られた画像データに、当該画素の属する小領域に対応する補正量濃度の比を可算する。補正処理部64bは、B面の画像データについても、A面と同様の処理を行う。例えば、参照データの小領域Δiの濃度の平均値Mi、それに対応するA面の画像データの小領域δiの濃度の平均値mi、小領域Δiの比ri=Mi/miとする。A面ないしB面の画像データのある画素Pが小領域δiに属し、その濃度がYiとする場合、補正処理部64bは、Yi’=Yiriとし、Yi’を補正後の画素Pの濃度とする。あるいは、A面B面の画像データの高周波成分に、X面の画像データの低周波成分を加えてもよい。つまり、図8のように、シェーディングの影響のあるA面B面の画素の濃度を、シェーディングの影響のない参照データの濃度分だけ補償することで、左右の視点画像データから明暗のひずみを除去する。A面B面の個々の画素について個別に補正量濃度差diや比riを求めて補正する必要がない場合には、間引き部図示せずによりA面B面の画像を所定のサイズに間引き、間引いたA面B面の画像を合成してサイズの低減された参照データを作成し、この参照データに基づいてA面B面の各小領域に対応する補正量を求める。この際、参照データとA面B面の画像の小領域のサイズが合わなくなるため、これらが一致するよう、参照データの各小領域の各画素を周囲の画素で補間してA面B面の画像の小領域と参照データの小領域の対応関係を維持する。そして、この補間後の小領域ごとに決定された補正量に基づいて対応するA面B面の画像の各小領域をシェーディング補正してもよい。なお、サイズの低減された参照データを作成する方法は、上記に限られない。例えば、A面B面の画像を合成したあとに所定のサイズに間引いてもよい。S3では、補正処理部64bは、シェーディング補正した左右の視点画像データをVRAM50に記憶する。この左右の視点画像データは、立体視画像として利用されてもよいし平面画像として利用されてもよい。例えば、平面画像記録モードが設定されている場合は、左右の視点画像データを合成して高解像度の平面画像を作成したあと、これを圧縮し、フル画素の平面画像としてメモリカード54に記録することができる。あるいは、立体視画像記録モードが設定されている場合は、左右の視点画像データを個別に圧縮し、立体視画像としてメモリカード54に記録することができる。<第2実施形態>図9は第2実施形態に係る補正部64の詳細な構成を示す。補正部64は、合成処理部64aと補正処理部64bとフィルタ処理部64cフィルタ部を含む。フィルタ処理部64cは、ローパスフィルタであり、画像データの輪郭を抑制してぼかす。図10は第2実施形態に係る補正部64の実行する補正処理のフローチャートである。S11~S12はS1~S2と同様である。S13では、フィルタ処理部64cは、合成処理部64aから出力された参照データとA面B面の画像データにフィルタリングを施し、フィルタリング後の参照データとA面B面の画像データを、それぞれ新たな参照データ、A面B面の画像データとして補正処理部64bに出力する。S14では、補正処理部64bは、フィルタ処理部64cから出力された参照データ、A面B面の画像データについて、S4と同様の補正処理を行う。このフィルタリングを施すことで、A面B面の画像データの位相差デフォーカス量、ボケ量をなくすことができ、合成によるシェーディングのキャンセルを効果的に行うことができる。なお、補正量濃度差diや比riを正確に求めるため、A面B面の画像データについても同じこのフィルタリングを施す。<第3実施形態>図11は第3実施形態に係る補正部64の詳細な構成を示す。補正部64は、処理制御部64dをさらに含む。処理制御部64dは、CPUなどの情報処理装置で構成されており、撮影条件および撮影モードに応じて、補正処理部64bによる補正処理を実行するか否かを制御する。図12は第3実施形態に係る補正部64の実行する補正処理のフローチャートである。S31はS1と同様である。S32では、処理制御部64dは、A面B面の画像データの取得時シャッタ全押し時のタイミングでCPU40などが設定した撮影条件と撮影モード設定情報を識別する。撮影条件は、撮像レンズ12のズーム位置焦点距離、絞り14の絞り値などを含む。撮影モードは、立体画像撮影モード、平面画像撮影モード、フル画素記録モードなどがある。S33では、処理制御部64dは、A面B面の画像データの取得時に設定されている撮影モードは、立体画像撮影モードか平面画像撮影モードのいずれであるかを判定部図示せずにより判断する。撮影モードが立体モードの場合は処理を終了し、平面モードの場合はS34に進む。S34では、処理制御部64dは、A面B面の画像データの取得時に設定されている絞り14の絞り値が、所定の閾値例えばF値=28よりも小さい開放側か大きい絞り側かを判断する。絞り側の場合はS36に進み、開放側の場合はS35に進む。S35では、処理制御部64dは、A面B面の画像データの取得時に設定されている撮像レンズ12のズーム位置が、テレ端とワイド端の間のズーム位置の中間点よりもワイド側にあるかテレ側にあるかを判断する。ワイド側の場合はS36、テレ側の場合はS38に進む。S36~S37は、S2~S3と同様である。S38~S39は、S12~S14と同様である。以上の処理により、例えば、立体モードの場合、補正処理が行われない。これは立体視画像ではシェーディングの影響がさほど大きくなく、観察者が気にならないためである。また、平面モードの場合は、補正処理が行われるが、絞り14が開放で撮像レンズ12がテレ側の場合はシェーディングの影響が大きいため、フィルタリングを施す補正処理を行う。なお、S33、S34,S35の分岐条件は一例であり、その他の条件の充足の有無に基づいて分岐してもよい。このように、シェーディング補正の必要性の有無、またシェーディングの影響の強弱に応じて補正処理を行うことで、無駄な処理を行わず、良好な画像を得ることができる。<第4実施形態>第1実施形態における2視点のCCD16は、4視点または9視点の位相差画像を取得するCCDでもよく、第1~3実施形態の補正処理は、4視点または9視点の位相差画像にも適用できる。図15は4視点のCCD16の構成例を示す図である。図15に示すように、CCD16の受光面には、赤、青または緑のカラーフィルタ、当該カラーフィルタに対応する画素A,B,C,Dの4視点の画素群、およびその4画素群に対するマイクロレンズMLが配置されている。カラーフィルタ、4画素群、マイクロレンズからなる受光単位は、ベイヤ型に配列される。ベイヤ配列は、CCD16の半導体基板表面部に正方格子状に形成された上記4画素群の上に、赤色R,r,緑色G,g,青色B,bの三原色系のカラーフィルタを配列するに際し、赤色と緑色の各フィルタを交互に配列した行と、緑色と青色の各フィルタを交互に配列した行とを、列方向に交互に設ける構成である。図15では、XY平面がCCD16の受光面であり、Xは行方向、Y方向は列方向である。撮影者から見て、画素ACは左側、画素BDは右側に位置する。Zはレンズ12の光軸方向であり、被写体に向かう方向この図では紙面表から裏に向かう方向を正の方向とする。以下、画素A、B、C、Dから読み出された画像データは、それぞれ、A面の画像データ、B面の画像データ、C面の画像データ、D面の画像データと呼ぶ。ベイヤ配列は、CCD16の半導体基板表面部に正方格子状に形成された上記4画素群の上に、赤色R,r,緑色G,g,青色B,bの三原色系のカラーフィルタを配列するに際し、赤色と緑色の各フィルタを交互に配列した行と、緑色と青色の各フィルタを交互に配列した行とを、列方向に交互に設ける構成である。4視点の場合の補正処理は次のようになる。すなわち、図16に示すように、S1では、A面~D面の画像データを取得する。S2では、A面~D面の画像データを全て合成することで、シェーディングのない参照データXを得る図17参照。S3では、当該参照データをA面~D面の画像データの各々と比較することで、A面~D面の補正量を各々決定し、その補正量でA面~D面の各々を補正することで、シェーディングのないA面~D面の画像データを得る図18参照。9視点のCCD16の構成は、特許文献4の図4および明細書段落0033等と同様である。図19に例示するように、CCD16の受光面には、赤、青または緑のカラーフィルタ、当該カラーフィルタに対応する画素A,B,C,D,E,F,G,H,Iの9視点の画素群、およびその9画素群に対するマイクロレンズMLが配置されている。カラーフィルタ、9画素群、マイクロレンズからなる受光単位は、ベイヤ型に配列される。9視点の場合の補正処理は次のようになる。すなわち、図20に示すように、S1では、A面~I面の画像データを取得し、S2では、A面~I面の画像データを全て合成することで、シェーディングのない参照データを得る図21参照。ただし、中央の画素Eには、シェーディングが存在しないかあっても微小なため、E面を除くA面~I面の画像データを全て合成することで、シェーディングのない参照データを得てもよい。E面そのものを参照データとしてもよい。S3では、当該参照データをA面~I面の画像データの各々と比較してA面~I面の補正量を各々決定し、その補正量でA面~I面の各々を補正することで、シェーディングのないA面~D面の画像データを得る図22参照。参照データの合成にE面を使用しない場合は、E面の補正量決定と補正は必要ない。また、間引いた画像で参照データを作成してもよいのは、2視点、4視点、9視点のCCD16のいずれであっても同様である。さらに、第2実施形態の補正処理図10、第3実施形態の補正処理図12は、2視点、4視点、9視点のCCD16のいずれであっても同様に成立しうる。例えば、4視点のCCD16の場合、第2実施形態の補正処理のS13では、フィルタ処理の対象をA~D面の画像データとし、S14では、フィルタ処理後のA~D面の画像データを、フィルタ処理後のX面の画像データと比較してフィルタ処理後のA~D面の補正量を決定し、その補正量でフィルタ処理後のA~D面の画像データを補正する。9視点のCCD16の場合、第2実施形態の補正処理のS13では、フィルタ処理の対象をA~I面の画像データとし、S14では、フィルタ処理後のA~I面の画像データを、フィルタ処理後のX面の画像データと比較してフィルタ処理後のA~I面の補正量を決定し、その補正量でフィルタ処理後のA~I面の画像データを補正する。また、第3実施形態の補正処理のS36~S40では、2視点、4視点あるいは9視点のCCD16から取得される2つ、4つあるいは9つの画像データに対応した参照データに基づいて、第1実施形態、第2実施形態、またはこれらに対応する上記の変形例と同様のシェーディング補正を行えばよい。平面画像記録モードが設定されている場合は、シェーディング補正後、2つ、4つあるいは9つの画像データを合成して高解像度の平面画像を作成したあと、これを圧縮し、フル画素の平面画像としてメモリカード54に記録することができる。あるいは、立体視画像記録モードが設定されている場合は、2つ、4つあるいは9つの画像データを個別に圧縮し、立体視画像としてメモリカード54に記録することができる。なお、立体視画像記録モードの場合において、4視点あるいは9視点のCCD16から得られた4つあるいは9つの画像データに対応した3D画像の生成の仕方は任意である。4視点の場合は、AおよびC面の合成画像Lと、CおよびD面の合成画像Rを作成することで、左右方向に視差を有する視差画像を作成できる。あるいは、AおよびB面の合成画像Uと、CおよびD面の合成画像Dを作成することで、上下方向に視差を有する視差画像を作成できる。9視点の場合は、A、DおよびG面の合成画像Lと、C,FおよびI面の合成画像Rを作成することで、左右方向に視差を有する視差画像を作成できる。あるいは、A,BおよびC面の合成画像Uと、G,HおよびI面の合成画像Dを作成することで、上下方向に視差を有する視差画像を作成できる。さらに一般化すれば、本発明は、瞳分割により上下ないし左右に視差を有するn×nn=1,2,3,4視点の画像データに適用可能である。"