"撮像装置によって撮像された、各画素が1つの色成分を有するRAW画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、前記RAW画像のうち予め定めた基準の色成分について、画素補間処理を行う第1の画素補間手段と、前記RAW画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第1の取得手段と、前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを、前記RAW画像の色成分の各々に対して適用する画像回復処理手段と、前記画像回復フィルタが適用されたRAW画像のうち前記基準の色成分について、画素補間処理を行う第2の画素補間手段と、前記画像回復フィルタが適用されたRAW画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記第2の画素補間手段による画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第2の取得手段と、前記第1の取得手段と前記第2の取得手段が取得した前記色差の変化に応じて、前記画像回復フィルタが適用されたRAW画像のうち、前記基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正する画素値補正手段と、を有することを特徴とする画像処理装置。前記RAW画像のうち前記基準の色成分以外の色成分の各々について、前記撮像光学系の倍率色収差を補正する倍率色収差補正手段をさらに有し、前記第1の取得手段は前記倍率色収差が補正された色成分の各々について前記色差を取得し、前記画像回復処理手段は、倍率色収差の補正を行わない画像回復フィルタを適用することを特徴とする請求項1記載の画像処理装置。前記RAW画像が、ベイヤー配列の原色カラーフィルタを備えた撮像素子によって撮像され、前記基準の色成分がG成分であることを特徴とする請求項1又は請求項2に記載の画像処理装置。前記画像回復処理手段は、前記G成分をG1成分とG2成分に分離し、前記G1成分と前記G2成分とで個別に前記画像回復フィルタを適用することを特徴とする請求項3記載の画像処理装置。さらに、前記画素値補正手段の出力する前記基準の色成分以外の色成分と、前記画像回復フィルタが適用された前記基準の色成分とをそれぞれ画素補間して出力する第3の画素補間手段を有することを特徴とする請求項1乃至請求項4のいずれか1項に記載の画像処理装置。前記第1の画素補間手段、前記第2の画素補間手段、及び前記第3の画素補間手段の少なくとも1つは、補間する画素の特定の色成分の値を、該画素の周囲の、前記特定の色成分以外の色成分の値を用いて決定した補間方法によって前記画素補間処理を行うことを特徴とする請求項5記載の画像処理装置。前記画像回復フィルタは、前記撮像光学系の点像分布関数の色成分間の差異を、ある色成分の点像分布関数の位置に他の色成分の点像分布関数を平行移動させることによって低減した点像分布関数に基づいて生成されたものであることを特徴とする請求項1乃至請求項6のいずれか1項に記載の画像処理装置。前記画像回復フィルタは、前記撮像光学系の光学伝達関数の位相の周波数特性から直線成分を除去した前記光学伝達関数に基づいて生成されたものであることを特徴とする請求項1乃至請求項6のいずれか1項に記載の画像処理装置。被写体の光学像を結像する撮像光学系と、前記光学像を撮像する撮像素子と、請求項1乃至請求項8のいずれか1項に記載の画像処理装置とを有することを特徴とする撮像装置。撮像装置によって撮像された、各画素が1つの色成分を有するRAW画像における、前記撮像装置の撮像光学系の収差による画質の劣化を回復するための、画像処理装置によって実行される画像処理方法であって、前記画像処理装置の第1の画素補間手段が、前記RAW画像のうち予め定めた基準の色成分について、画素補間処理を行う第1の画素補間工程と、前記画像処理装置の第1の取得手段が、前記RAW画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第1の取得工程と、前記画像処理装置の画像回復処理手段が、前記撮像光学系の収差を示す関数に基づいた画像回復フィルタを、前記RAW画像の色成分の各々に対して適用する画像回復処理工程と、前記画像処理装置の第2の画素補間手段が、前記画像回復フィルタが適用されたRAW画像のうち前記基準の色成分について画素補間処理を行う第2の画素補間工程と、前記画像処理装置の第2の取得手段が、前記画像回復フィルタが適用されたRAW画像のうち前記基準の色成分以外の色成分の各々について、値を有する画素と前記第2の画素補間手段による画素補間処理後の前記基準の色成分の対応する画素とから、色差を取得する第2の取得工程と、前記画像処理装置の画素値補正手段が、前記第1の取得工程と前記第2の取得工程で取得された前記色差の変化に応じて、前記画像回復フィルタが適用されたRAW画像のうち前記基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正する画素値補正工程と、を有することを特徴とする画像処理方法。コンピュータを、請求項1乃至請求項8のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。このように、撮像画像に対して撮像光学系の点像分布関数を用いた画像回復処理を施すことにより、諸収差を補正して画質を向上させる技術が知られている。しかしながら、実際の撮像では、入力画像の撮像状態と、適用する画像回復フィルタの状態が最適には一致しない場合がある。例えば、立体被写体の撮像画像がその一例である。撮像装置は、オートフォーカス機能やマニュアルフォーカスにより被写体空間の1つの面に焦点を合わせて撮像するため、合焦面に位置する被写体は比較的先鋭に撮像される。しかし、他の被写体同一被写体の、合焦面から異なる位置にある部分を含むは合焦面からの距離に応じたぼけ量で撮像される。そして、被写体距離に関する情報が、合焦面までの距離のみの場合、この被写体距離と画角に最適な画像回復フィルタを選択若しくは生成して使用することになる。その結果、合焦物体に対しては最適な画像回復フィルタが適用されるため、望ましい回復結果を得ることができるが、非合焦物体については画像回復フィルタが最適でないため、多少の回復効果はあるものの、ぼけを解消することはできない。一方で、写真において被写体のぼけは、被写体の立体感や注視物体を表現するための手法として用いられている。例えば、被写界深度の浅い望遠レンズを用いて主被写体にピントを合わせ、背景を意図的にぼかす写真表現などである。このような写真表現の存在を考慮すれば、合焦被写体はより先鋭化され、非合焦被写体にはぼけが残存する上述の画像回復処理は適切とも考えられる。しかし、合焦距離の被写体に最適であり、非合焦距離の被写体には最適でない画像回復フィルタを用いて画像回復処理した場合、非合焦距離の被写体に色付きが発生する場合がある。ここでの色付きとは、画像の各色成分のぼけ方の関係が画像回復処理の前後で異なることにより、画像回復処理後の画像の例えば非合焦距離の被写体非合焦被写体のエッジ部に、被写体に無い色偽色が発生することである。さらに、このような色付きは立体被写体の撮像に限らず発生する場合がある。本質的には合焦しているか否かに関わらず、画像を撮像した際の収差の状態と、適用する画像回復フィルタが補正する収差の状態とが異なる場合に色付きが発生する。例えば撮像光学系の製造ばらつきや撮像時の光源分光の変動などが原因となりうる。このような色付きを低減する方法として、画像回復処理前の画像の色情報に基づいて、画像回復処理後の画像の色を補正する方法がある。つまり画像の各画素において画像回復処理による色の変化を判定し、画像回復処理による色付きを低減させるという方法である。ところで、撮像素子がベイヤー配列のカラーフィルタを備えている場合、撮像素子から得られる画像は各画素がR、G、又はBの1つの色成分を有するRAW画像であるが、このようなRAW画像に対する画像回復処理には2通りの方法が考えられる。1つ目の方法は、RAW画像に対して色補間処理を適用し、各画素がRGB全ての色成分を有する状態にしてから、R,G,Bプレーンの各々に画像回復フィルタを適用する方法である。また、2つ目の方法は、色補間処理を適用せずに、各画素が1つの色成分をもつRAW画像の状態のまま画像回復フィルタを適用する方法である。各色プレーンに画像回復フィルタを適用する方法は、RAW画像に適用する方法と比較して画像回復処理を適用する画素数と画像回復フィルタのタップ数が多くなるため、画像回復処理の負荷が著しく増大する。そのため、低処理負荷が求められる場合はRAW画像に画像回復処理を適用する方法を用いることになる。しかし、RAW画像に画像回復処理を適用する場合も、画像を撮像した際の収差の状態と、適用する画像回復フィルタが補正する収差の状態とが異なると、RAW画像に色補間処理を含む所謂現像処理を適用して得られる出力画像に色付きが発生することがある。出力画像の画質を向上させるためのRAW画像に対する画像回復処理において生じる色付きは、無視できない画質劣化であり、十分な抑制が必要である。しかし、上述のようにRAW画像は各画素が1つの色成分しか持たないため、画像回復処理前後の色の変化を測定するために必要な色情報が存在しない。そのため、画像回復処理前の画像の色情報に基づいて画像回復処理後の画像の色を補正する上述の方法をそのまま適用することはできない。特許文献1では、撮像画像の非合焦範囲に対して画像回復処理を行うことで、撮像光学系の浅い被写界深度を補おうとするものである。特許文献1記載の画像回復処理では、非業小範囲における先鋭度の向上は実現できたとしても、RAW画像に適用した画像回復処理で発生する色付きを十分抑制することはできない。本発明はこのような従来技術の課題に鑑みてなされたものであり、RAW画像に対する画像回復処理において生じる色付きを抑制可能な画像処理装置および画像処理方法を提供することを目的とする。上述の目的は、撮像装置によって撮像された、各画素が1つの色成分を有するRAW画像における、撮像装置の撮像光学系の収差による画質の劣化を回復するための画像処理装置であって、RAW画像のうち予め定めた基準の色成分について、画素補間処理を行う第1の画素補間手段と、RAW画像のうち基準の色成分以外の色成分の各々について、値を有する画素と画素補間処理後の基準の色成分の対応する画素とから、色差を取得する第1の取得手段と、撮像光学系の収差を示す関数に基づいた画像回復フィルタを、RAW画像の色成分の各々に対して適用する画像回復処理手段と、画像回復フィルタが適用されたRAW画像のうち基準の色成分について、画素補間処理を行う第2の画素補間手段と、画像回復フィルタが適用されたRAW画像のうち基準の色成分以外の色成分の各々について、値を有する画素と第2の画素補間手段による画素補間処理後の基準の色成分の対応する画素とから、色差を取得する第2の取得手段と、第1の取得手段と第2の取得手段が取得した色差の変化に応じて、画像回復フィルタが適用されたRAW画像のうち、基準の色成分以外の色成分の画素値の補正要否を判定し、補正が必要と判定された画素値を補正する画素値補正手段と、を有することを特徴とする画像処理装置によって達成される。このような構成により本発明によれば、RAW画像に対する画像回復処理において生じる色付きを抑制可能な画像処理装置および画像処理方法を提供することができる。以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。撮像装置の構成図1は、本発明の実施形態にかかる画像処理装置の一例としての撮像装置の構成例を示すブロック図である。本実施形態では撮像光学系および撮像素子を有する撮像装置に本発明を適用した例を説明するが、本発明において撮像光学系や撮像素子といった撮像画像を生成するための構成要素は必須でない。不図示の被写体の光学像を撮像光学系101で撮像素子102に結像する。撮像素子102で結像光が電気信号に変換され、A/Dコンバータ103でデジタル信号に変換されて、画像処理部104に入力される。画像処理部104は画像回復処理部111と、画像回復処理以外の画像処理を行う、他の画像処理部112から構成される。画像回復処理部111は、まず、状態検知部107から撮像装置の撮像状態の情報を得る。状態検知部107は撮像装置の撮像状態の情報をシステムコントローラ110から直接得ても良いし、例えば撮像光学系101に関する撮像状態の情報は撮像光学系制御部106から得てもよい。次に画像回復処理部111は、撮像状態に応じた画像回復フィルタを例えば記憶部108から選択し、画像回復処理部111は画像処理部104に入力された画像に対して倍率色収差補正処理および画像回復フィルタ適用処理を行う。画像回復処理部111の詳細については後述する。記憶部108で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要な情報例えば点像分布関数や光学伝達関数に関する情報でもよい。この場合、画像回復処理部111は撮像状態に応じた点像分布関数又は光学伝達関数に関する情報を記憶部108から選択して撮像状態に応じた画像回復フィルタを生成し、この画像回復フィルタを用いて画像回復処理を行う。また、他の画像処理部112は画像回復処理後の画像に対し、ガンマ補正やカラーバランス調整など、所定の画像処理を行ないJPEG等の画像ファイルを生成する。画像処理部104で処理された出力画像は、システムコントローラ110が画像記録媒体109に所定のフォーマットで保存する。また、表示部105には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、画像回復処理を行わない、又は簡易的な回復処理を行った画像を表示しても良い。一連の制御はシステムコントローラ110で行われ、撮像光学系101の機械的な駆動絞り101a、フォーカスレンズ101b、光学ズームの駆動などはシステムコントローラ110の指示により撮像光学系制御部106で行う。システムコントローラ110は例えばCPUやMPUのようなプログラマブルなコントローラであり、記憶部108に記憶されたプログラムを実行することで撮像装置の全体的な動作を実現する。なお、画像処理部104はハードウェアで実現してもよいが、少なくとも一部をシステムコントローラ110がソフトウェア的に実現することも可能である。絞り101aは、Fナンバーの撮像状態設定として開口径が制御される。フォーカスレンズ101bは、被写体距離に応じてピント調整を行うために不図示のオートフォーカスAF機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。撮像光学系101にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子による光学伝達関数の変化を考慮する。赤外カットフィルタにおいても、分光波長の点像分布関数の積分値であるRGBチャンネルの各点像分布関数、特にRチャンネルの点像分布関数に影響するため、画像回復フィルタを作成する時点で赤外カットフィルタによる点像分布関数の変化を考慮する。また、撮像光学系101は撮像装置の一部として図示しているが、レンズ交換式カメラのような交換可能な構成であっても良い。画像回復処理部111図2は画像回復処理部111の機能構成例を示すブロック図、図3は画像回復処理部111における画像回復処理を説明するためのフローチャートである。画像回復処理部111には、図4aに示すように各画素が1つの色成分を持つRAW画像が入力される。従って、図4b~dに示すように、各色成分は一部の画素にのみ値を有する。画像回復処理部111での処理は、図4b~dに示す色成分色プレーンごとに行われる。ここでは、RAW画像が色成分ごとに入力されているように図示しているが、実際に色プレーンごとに分離して入力するようにしてもよいし、RAW画像が保存されたメモリから、必要な色成分だけ読み出して処理すように構成してもよい。図3のS201で第1の画素補間部1001は、G成分図4bに対して画素補間処理を適用し、G成分の値がない画素に対応するG成分の値を求める。この画素補間処理により、図4eに示すように各画素がG成分の値を有するようになる。S202で回復前色差算出部R1002は、第1の画素補間部1001が出力する画素補間処理後のG成分図4eと、画素補間していない状態のR成分図4cとから、画像回復処理前の色情報としての色差情報を取得する。また同様に、回復前色差算出部B1003が、第1の画素補間部1001が出力する画素補間処理後のG成分図4eと、画素補間していない状態のB成分図4dとから、画像回復処理前の色情報としての色差情報を取得する。色差情報を取得する。回復前色差算出部R1002及び回復前色差算出部B1003は、第1の取得手段に相当する。本実施形態では、色差を、基準の色成分ここではGの信号値との差分と定義する。従って、基準の色成分以外の色成分であるR成分、B成分の、G成分に対する色差C1r、C1bは、以下の式6、式7により計算される。式6,式7においてx,yは画像上の座標値である。C1rx,y=Rx,y-Gx,y式6C1bx,y=Bx,y-Gx,y式7なお、上述の通りR成分及びB成分は画素補間していないので、S202で色差を計算する画素は、基準の色成分以外の色成分であるR成分、B成分のうち、値が存在する画素のみである。つまり、回復前色差算出部R1002は、図4cでRと記載された画素についてのみC1rx,yを計算し、回復前色差算出部B1003は図4dでBと記載された画素についてのみC1bx,yを計算する。このように、第1の画素補間部1001で基準色成分G成分を画素補間することで、他の色成分R,B成分について画素補間せずに、色付き抑制処理に必要な画像回復フィルタ適用前の色差情報を取得することができる。ベイヤー配列のカラーフィルタを備えた撮像素子で得られるRAW画像については、従来から様々な画素補間技術が開示されており、第1の画素補間部1001は既知の任意の方法を用いることができる。例えば、対象画素の特定の色成分の値を、周囲の画素の他の色成分の値を用いて決定した補間方法で求めることができる。つまり、ある画素のG成分の値を補間処理により生成する場合、周囲の画素のR、B成分の値を用いてG成分の補間方法を決定する。近傍の同じ色成分の値を単純に線形補間するような方法と比較して、このような適応的な方法は、補間処理による偽色の発生や先鋭度の低下を低減することが可能である。図5を参照して、適応的な画素補間処理方法の一例をさらに説明する。図5aは、画像の無彩色のエッジと直交する方向に並んだ画素値の例を示している。このエッジは無彩色であるため、撮像素子の各画素におけるRGB成分の値は等しい。ここでは図5bに示すように、の画素と、の画素とから構成されるものとする。実際にはベイヤー配列の撮像素子で撮像されたRAW画像は各画素とも1つの色成分を持つため、色成分ごとに値を抽出すると、図5c~eに示す配列となる。図5c~eにおいて黒い画素が補間の必要な画素である。この場合、画素補間処理後の各色成分の値が、図5bに示した値になることが理想であることは明らかである。以後、図5c~eの画素配列はGx,y、Rx,y、Bx,yと記述する。ここでxは横方向の座標、yは縦方向の座標であり、図示の通り左上角の画素が0,0、右下角の画素が4,4の座標値を有する。上述の通り、S201において第1の画素補間部1001はG成分に対して画素補間処理を行なう。図5cに示す状態のG成分の黒い画素の値を周囲の他の色成分の画素情報を使って適応的に生成する画素補間処理の例を、以下に説明する。例えばG1,2のように、R成分に値をもつ画素のG成分の値を求める場合H_DIFF=Rx,y-Rx-2,yRx,y-Rx2,y式8V_DIFF=Rx,y-Rx,y-2Rx,y-Rx,y2式9|H_DIFF|>|V_DIFF|の場合、Gx,y=Gx,y-1Gx,y1/2式10|H_DIFF|≦|V_DIFF|の場合、Gx,y=Gx-1,yGx1,y/2式11このように、対象の画素が有する色成分について、周辺の画素値から計算したの水平方向及び垂直方向の画素値の変化量であるH_DIFF、V_DIFFを求め、変化量の絶対値が小さい方向を決定する。そして、対象の画素を挟んで位置する、一対の同色成分の画素値を補間ここでは平均して対象の画素における色成分値を求めることができる。このような適応的な画素補間処理の結果を図5iに示す。また、式8~11を用いて説明した適応的な画像補間処理を適用せず、周辺のG画素の画素値を単純に補間する画素補間処理の結果を図5fに示す。図5i及びfの比較から明らかなように、適応的な画素補間処理を行った場合は、線形補間を行なった場合に対して先鋭度が低下していないことが分かる。R成分の値をもつ画素に対するG成分の値を生成する場合について説明したが、例えばG2,1のように、B成分の値をもつ画素に対するG成分の値を生成する場合も同様に行なうことができる。なお、ここで説明した画素補間方法は単なる例示であって、第1の画素補間部1001が用いる画素補間方法は、単なる線形補間方法を含む他の方法を採用することができる。図3に戻り、S203で回復フィルタ適用部G1004、回復フィルタ適用部R1005、回復フィルタ適用部B1006は、撮像条件に適した画像回復フィルタを選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部108に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、画像回復処理を実行する際に、実際の撮像状態に応じて画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要な光学伝達関数に関する情報から、撮像状態に応じた画像回復フィルタを生成してもよい。S204で回復フィルタ適用部G1004、回復フィルタ適用部R1005及び回復フィルタ適用部B1006は、S203で選択もしくは生成した画像回復フィルタを用いて、入力画像の色成分ごとに、各画素に対してコンボリューション処理を行う。コンボリューション処理の詳細は、式5を用いて上述した通りである。これにより、撮像光学系101の収差による点像分布関数の非対称性を補正し、画像のぼけ成分を除去もしくは低減することができる。回復フィルタ適用部G1004、回復フィルタ適用部R1005及び回復フィルタ適用部B1006は、画像回復処理手段に相当する。上述の通り、画像回復フィルタは2次元画像に適用する場合、画素に対応するタップを有する2次元フィルタとして構成され、タップ数は撮像光学系の収差特性や要求される回復精度に応じて決定することができる。図6aは、例として、水平及び垂直方向に11タップを有する11×11タップの2次元フィルタで構成された画像回復フィルタを模式的に示している。なお、図6aに示す画像回復フィルタは、各画素がRGBの各色成分を有する画像の各色プレーンに適用する画像回復フィルタの例である。図6aに示すように画像回復フィルタを100以上のタップを有する2次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の、結像位置から大きく広がる収差に対しても回復することができる。図6aでは各タップの値係数値の記載を省略しているが、画像回復フィルタの1水平ラインのタップ係数の分布例を図6bに示す。画像回復フィルタのタップの値係数値の分布が、撮像光学系の収差によって空間的な広がりを持つ点像分布関数を、理想的には元の1点に戻す回折の影響を無視した場合役割を果たしている。画像回復フィルタのタップ係数値は、画像回復処理の工程で実行される画素ごとのコンボリューション処理畳み込み積分、積和に用いられる。コンボリューション処理では、処理対象の画素の信号値に画像回復処理を適用するために、処理対象の画素を画像回復フィルタの中心タップと一致させる。そして、画像回復フィルタの各タップ位置において、対応する画素信号値とタップ係数値との積を求め、積の総和で処理対象の画素の信号値を置き換える。このような画像回復フィルタは、上述のように撮像光学系の光学伝達関数を計算若しくは計測し、光学伝達関数の逆関数を逆フーリエ変換して得ることができる。なお、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、高画質の回復画像を得ることができない。そのため、例えば後述するウィーナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する画像回復フィルタを用いることで、回復画像におけるノイズを抑制する方法が知られている。さらに、光学伝達関数は撮像光学系のみならず、画像処理部104に入力される画像に対して、光学伝達関数を劣化させる要因を含めることができる。例えば、ローパスフィルタは光学伝達関数の周波数特性おける高周波成分を抑制する。また、撮像素子の画素開口の形状や開口率も周波数特性に影響を与える。光源の分光特性や各種波長フィルタの分光特性もまた光学伝達関数に影響する。従って、これら様々な要因を含めた広義の光学伝達関数に基づいて画像回復フィルタを作成することが望ましい。また、画像がRGB形式のカラー画像である場合は、R、G、Bの各色成分に対応した3つの画像回復フィルタを作成すれば良い。撮像光学系には色収差があり、色成分によってぼけ方が異なるため、画像回復フィルタもまた対象とする色成分に応じて特性が異なる。具体的には、図6bに示すタップ値の変化が色成分毎に異なる。画像回復フィルタの縦横のタップ数が等しい必要はなく、コンボリューション処理が可能な範囲で任意に変更することができる。各画素がRGBの各色成分を有する画像の各色プレーンに適用する画像回復フィルタに対し、本実施形態のように、各画素が1つの色成分のみを有するRAW画像に適用する画像回復フィルタの例を図7に示す。対象の色成分が存在する画素に対応したタップが係数を有し、図7aはG成分に提供する画像回復フィルタを、図7bはR、B成分に適用する画像回復フィルタを模式的に示している。図7a,bにおいて、黒いタップがタップ係数を有しタップ係数が0でない、白いタップはタップ係数を有していないタップ係数が0。回復フィルタ適用部G1004は、図4bに示す画素補間されていないG成分に対し、図7aに示す画像回復フィルタを用いたコンボリューション処理を適用する。また、回復フィルタ適用部R1005と回復フィルタ適用部B1006は、図4c及びdに示したR成分及びB成分に対し、図7bに示す画像回復フィルタを用いたコンボリューション処理をそれぞれ適用する。図3のS205では、画像回復フィルタが適用されたG成分に対し、第2の画素補間部1007で画素補間処理を適用する。これは第1の画素補間部1001がS201で行うものと同様の処理であり、この画素補間処理によりG成分が図4bに示した状態から図4eに示す各画素がG成分の値を有する状態になる。S206では、第2の取得手段に相当する回復後色差算出部R1008と回復後色差算出部B1009で色差情報を取得する。ここでの色差計算はS202で回復後色差算出部R1002と回復後色差算出部B1003が行なうものと同様であり、基準色成分であるG成分に対するR成分、B成分の差として以下の式によって求める。すなわち、R成分、B成分のG成分に対する色差C2r、C2bは、次式で定義される。C2rx,y=Rx,y-Gx,y式12C2bx,y=Bx,y-Gx,y式13このように、第2の画素補間部1007でG成分にのみ画素補間を行なうことで、色付き抑制処理に必要な画像回復フィルタ適用後の色差情報を取得することができる。S207で画素値調整部R1010は色差情報C1rとC2rとから、画素値調整部B1011はCb1とC2bとから、それぞれR成分及びB成分について色付き抑制のための画素値調整が必要か否かを決定する。画素値調整部R1010及び画素値調整部B1011は、画素値補正手段に相当する。この決定は、以下に示すように、色差が増大しているか否か、色差の符号が反転しているか否かに基づいて行うことができる。画素値調整部R1010と画素値調整部B1011は各画素におけるR成分とB成分に対してそれぞれ以下の判定を行い、いずれかを満たす場合はその色成分の値に対し、色付き抑制のための画素値調整が必要と決定する。画素値調整部R1010が行う、Rに対する判定判定条件1:C1rx,yとC2rx,yが同符号、且つ|C1rx,y|<|C2rx,y|判定条件2:C1rx,yとC2rx,yが異符号画素値調整部B1011が行う、Bに対する判定判定条件1:C1bx,yとC2bx,yが同符号、且つ|C1rx,y|<|C2rx,y|判定条件2:C1bx,yとC2bx,yが異符号この判定結果により、画素値調整が必要と決定された画素について、画素値調整部R1010及び画素値調整部B1011は、S208において色付き抑制のための画素値調整を適用する。画素値調整は例えば以下に示すように、色差が増大した場合は画像回復前の色差を使用し、色差の符号が反転した場合は色差を0とするものであってよい。画素値調整部R1010による、Rに対する画素値調整判定条件1を満たす場合色差増大;R2x,y=G2x,yC1rx,y式14判定条件2を満たす場合色差反転:R2x,y=G2x,y式15画素値調整部B1011による、Bに対する画素値調整判定条件1を満たす場合色差増大:B2x,y=G2x,yC1rx,y式16判定条件2を満たす場合色差反転:B2x,y=G2x,y式17S209では、画像回復フィルタが適用され、色付き抑制のための画素値調整が行なわれたRGBの各色成分に対し、第3の画素補間部1012が画素補間処理を行なう。第3の画素補間部1012がG成分に対して適用する適応的な画素補間処理は、第1の画素補間部1001や第2の画素補間部1007での処理と同様であってよい。一方、R成分及びB成分に対する適応的な画素補間処理の方法は、例えば以下のように行うことができる。ここでは、図5dに示した補間前のR成分における値を有さない画素に対し、他の色成分を有する周囲の画素の情報を用いてR成分の値を生成する適応補間を行なう場合の例を説明する。第3の画素補間部1012において、R成分に対する適応的な画素補間処理は、R成分の値を有する隣接画素の存在する方向に応じて、また事前に補間されたG成分の値を用いて、以下のように行うことができる。隣接する左右画素に値がある場合例えばR2,0:Cr=Rx-1,y-Gx-1,yRx1,y-Gx1,y/2式18Rx,y=Gx,yCr式19隣接する上下画素に値がある場合例えばR1,1:Cr=Rx,y-1-Gx,y-1式20Rx,y1-Gx,y1/2Rx,y=Gx,yCr式21隣接する斜め画素に値がある場合例えばR2,1:Cr=Rx-1,y-1-Gx-1,y-1Rx1,y-1-Gx1,y-1Rx-1,y1-Gx-1,y1Rx1,y1-Gx1,y1/4式22Rx,y=Gx,yCr式23このように、同じ色成分の値を有する隣接画素の存在する方向に応じて、その隣接画素に対して取得した色差情報R-Gを補間することにより、適応的な画素補間処理を行う。図5eに示したB成分に対する画素補間処理についても、上述したR成分と同様にして、同じ色成分の値を有する隣接画素の存在する方向に応じて、その隣接画素に対して取得した色差情報R-Bを補間することにより、適応的な画素補間処理を行う。このような適応的な画素補間処理の適用により得られた、各色成分の値の例を図5i~kに示す。また、適応的な画素補間処理の代わりに一般的な線形画素補間処理を適用して得られた色成分の値の例を図5f~hに示す。線形補間の場合は100、200以外の値が生成されており、理想的な図5bに示した画素配列に対して先鋭度が低下している。これに対し、適応的な画素補間処理を適用した場合、RGB各成分の値は等しく、かつ図5bに示した画素配列と一致している。このように、ある画素の色成分を求める際、その画素の周囲の、他の色成分を有する画素の情報に応じて適応的に画素補間を行なうことで、補間による先鋭度の低下を抑制または防止することが可能である。なお、ここで説明した画素補間方法は単なる例示であって、第3の画素補間部1012が用いる画素補間方法は、単なる線形補間方法を含む他の方法を採用することができる。このように、図3のフローチャートに従った処理により、画像処理部104画像回復処理部111における画像回復処理が実行される。なお、撮像光学系101の光学伝達関数は1つの撮像状態においても撮像光学系の画角像高に応じて変化するので、ここで説明した画像回復処理を、像高に応じたて分割した領域例えば図14aのh1~h8ごとに変更して行うことが望ましい。具体的には、画像回復フィルタを画像上にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちS203の処理を各対象画素に対して実行する。なお、本実施形態では理解及び説明を容易にするため、画像回復フィルタの適用=画像回復処理として説明したが、画像回復処理の一部として、他の補正処理、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等を含めてもよい。ここで、S202、S204、S206、S208で行なわれる画像回復処理前後の色差情報取得、画像回復フィルタ適用、並びに色付き抑制のための画素値調整の作用および効果の例を図9を用いて説明する。図9a、bは、図8に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍の水平方向における画素値の例を示す模式図である。図9a、bはいずれも上段にR成分とG成分の画素値を、下段には上段で示したR成分とG成分の差分、つまり色差を示している。まず、図9aは合焦時の状態を示している。aー1は画像回復処理を適用していない状態を示し、画像に各収差が残存している。そのため、G成分、R成分ともにぼけており、さらにG成分とR成分のぼけ方が異なっているため色にじみが発生している。この場合、色差は左右のエッジ部分で正の値を持っている。一方、a-2はRAW画像に画像回復処理を適用した状態を示し、収差が補正されぼけ成分が除去されている。a-2は、合焦時には画像回復処理による色付きが発生しない例を示している。この場合、本実施形態において色付き抑制のための画素値調整は不要と判定される。また、図9bは非合焦時の状態を示している。b-1はa-1と同様に画像回復処理を適用していない状態を示し、画像に各収差が残存している。G成分、R成分ともにぼけているが、G成分とR成分のぼけ方が一致しているため、色差は全領域で0である。一方、b-2はRAW画像に画像回復処理を適用した状態を示し、収差が補正されぼけ成分が低減されている。しかし、G成分とR成分のぼけ方が異なっているため色にじみが発生している。この場合、色差は左右のエッジ部分で負の値を持つ。このような、画像回復処理の適用によって生じる色にじみが、本実施形態において抑制の対象となる色付きである。b-3は本実施形態のS208において色付き抑制のための画素値調整処理が行われた状態を示し、画像回復処理による色付きが適切に抑制され、色差はb-1と同様に全領域で0である。このように、本実施形態では、RAW画像に対して画像回復処理を行う場合でも、画像回復フィルタの適用によって発生する色付きを効果的に抑制することができる。図9aで示した合焦時と図9bで示した非合焦時のそれぞれで、画像回復フィルタ適用前後のG成分とR成分のぼけ方の違いについて図10を用いて説明する。図10a~dは撮像光学系101のMTFと画像回復フィルタ適用後のMTFの空間周波数特性を示す模式図である。また、図10eは画像回復フィルタによるMTFの増減率回復ゲインを示す模式図である。図10aは合焦時の撮像光学系101のMTFであり、R成分はG成分よりも劣化している。従って図9a-1ではG成分とR成分のぼけ方が異なり、点光源部分の画素値の変化はR成分の方がG成分よりも広がった状態になっている。図10bは合焦時の画像回復フィルタ適用後のMTFであり、G成分とR成分ともにMTFが適切に補正され、G成分とR成分は一致している。これは図10aのMTFに図10eに示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、合焦時は適切な画像回復処理がされる。従って図9a-2に示す画像回復処理適用後はG成分とR成分のぼけが適切に除去され、色にじみも除去されている。一方、図10cは非合焦時の撮像光学系101のMTFであり、図10aの合焦時と比較するとG成分もR成分も劣化した状態で一致している。従って図9b-1ではG成分とR成分のぼけ方が一致しているが、図9a-1で示した合焦時よりぼけが大きくなっている状態である。図10dは非合焦時の画像回復処理適用後のMTFであり、G成分とR成分ともにMTFが補正されているが、G成分はR成分よりも劣化した状態になっている。これは図10cのMTFに図10eに示す回復ゲインが乗算された結果である。画像回復フィルタは合焦物体に最適な画像回復処理が行なえるように設計されているため、非合焦時は期待した画像回復結果にならない場合がある。従って、図9b-2に示す画像回復処理適用後では、G成分とR成分のぼけが低減しているものの、G成分の方がR成分よりも広がった状態になっている。なお、本実施形態の画像回復処理部111は、G成分に対する回復フィルタ適用部G1004には入力RAW画像のG成分がそのまま入力され、回復フィルタ適用部G1004の出力がそのまま第3の画素補間部1012に入力される構成であった。しかし、図11のように、第1の画素補間部1001の出力を第1の画素間引き部1013で間引いて回復フィルタ適用部G1004に入力し、第2の画素補間部1007の出力を第2の画素間引き部1014で間引いて第3の画素補間部1012に出力してもよい。図2の構成では、第1の画素補間部1001と第2の画素補間部1007により生成された画素補間後のG成分を、ベイヤー配列のG成分とは別に保持するためのメモリが必要となる。しかし、図11の構成では、画素補間後に、補間で作成された画素の値を第1の画素間引き部1013と第2の画素間引き部1014で間引き、ベイヤー配列におけるG成分の状態に戻すため、画素補間後のG成分を保持するためのメモリが不要である。このように、本実施形態で説明した処理を実施するにあたり、処理中の画像データは様々な時点で保持することができる。例えば回復フィルタ適用部1004~1006に入力する各色成分は色成分ごとに保持しても良いし、ベイヤー配列のまま色プレーンに分離せずに保持してもよい。また、図2の構成のように、第1の画素補間部1001と第2の画素補間部1007で生成されたG成分を、ベイヤ配列のG成分とは別に保持してもよい。データの保持方法は、システムの有するメモリ容量等に応じて適宜決定すればよい。以上説明したように、本実施形態によれば、RAW画像のうちG成分のみを画素補間して、R成分及びG成分の画素について画像回復処理前後に色情報を取得する。そのため、RAW画像に対して適用した画像回復処理によって色付きが生じた場合でも、画像回復処理前後に取得した色情報に基づいて色付きを効果的に抑制することが可能であり、高画質な画像回復処理結果を得ることができる。さらに、G成分についてのみ画素補間を行うので、処理負荷の増加は少なくてすむという利点もある。第2の実施形態以下、本発明の第2の実施形態について説明する。本実施形態に係る画像処理装置は、画像回復処理部の構成及び動作を除き、第1の実施形態で説明した撮像装置と同等であってよいため、以下の説明においては画像回復処理部の動作に関して説明する。まず、本実施形態で用いる、倍率色収差補正成分を含まない画像回復フィルタと、倍率色収差の補正について説明する。倍率色収差補正成分を含まない画像回復フィルタ画像回復処理の実空間と周波数空間での特性を図12を用いて説明する。図12において、aは画像回復処理前の点像分布関数を、bは回復後の点像分布関数をそれぞれ示している。また、図12cの401は画像回復処理前のMTF、402は画像回復処理後のMTFを示し、図12dの403は画像回復処理前のPTF、404は画像回復処理後のPTFを示している。図12aからわかるように、画像回復処理前の点像分布関数は非対称な広がりを有し、この非対称性により、対応するPTFは零ではない値を有する図12d403。画像回復処理は、図12cの402に示すようにMTFを増幅し、図12dの404に示すようにPTFを零に補正するため、画像回復処理後の点像分布関数は図12bに示すように対称で先鋭になる。画像回復フィルタは、撮像光学系の光学伝達関数の逆関数1/Hに基づいて設計した関数を逆フーリエ変換して得ることができる。画像回復フィルタには上述のウィナーフィルタを用いることができるが、他のフィルタを用いてもよい。ウィナーフィルタを用いる場合、以下の式24を逆フーリエ変換することで、コンボリューション処理に用いる実空間の画像回復フィルタを作成することができる。次に、倍率色収差を考慮した画像回復フィルタの生成について説明する。図13aの502は、501の結像位置を基準として平行移動した位置に同形状の点像分布関数として結像した2つの色成分を表している。このときのPTFを図13bに示す。図13bの601、602は図13aの501、502と対応しており、602は位相が傾きをもった直線となっている。画像回復フィルタは、このような直線的なPTFも図3dの403のような非直線のPTFも、もととなる光学伝達関数に含まれているため図13bの601のように補正することができる。また、予めPTFから直線成分を除去した光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。一方、実空間で倍率色収差成分を除去する場合、図13aの502を501の位置に平行移動して色成分間の差異を低減した点像分布関数を生成し、フーリエ変換することで、同様に倍率色収差の成分を除去した光学伝達関数を生成することができる。実際には501と502の点像分布関数の形状は異なるため、例えば重心を一致させる方法や501と502の差分の二乗平均を最小化するなどして両者を位置合わせすることで、色成分間の差異を低減できる。この光学伝達関数をもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。倍率色収差の成分を補正しない画像回復フィルタを適用することで、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。なお、光学伝達関数は同一の撮像状態ズーム位置や絞りの開口径であっても撮像光学系の像高画像の位置に応じて変化するので、画像回復フィルタは像高に応じて変更して使用することが望ましい。倍率色収差の検出と補正倍率色収差の補正量は、上述のようにPTFの直線成分や点像分布関数の形状など、撮像光学系の設計値から算出することができる。上述のように、本明細書では色ズレと倍率色収差とを同義として用いるので、倍率色収差はGに対するRのズレ量、Gに対するBのズレ量として扱うことができる。以下、本実施形態における倍率色収差の補正方法を説明する。倍率色収差による色ズレ量は一般に撮像光学系の光軸中心からの距離を示す像高によって変動する。ここで、ある像高Lにおける色ズレ量Dから、像高Lに対する色ズレ率Mを次式のように定義する。M=D/L式25図14bに示すように、像高ここでは図14aに示した領域h1~h8と色ズレ率とから、像高lと色ズレ率Mとの関係を表す高次の多項近似式Flを算出し、これを補正データとする。図14bは以下の式26のように3次の多項式により補正データを算出した例である。なお式26においてa、b、cは係数を示している。M=Fl=al3bl2cl式26色ズレの補正は対象色成分の画素位置をシフトすることで行い、具体的には例えば以下に示す方法で補正することができる。まず、補正したいプレーンRプレーン、Bプレーンの画素X,Yにおいて、画素X,Yの像高Lと、補正データとから、画素X,Yにおける色ズレ率Mを求める。なお、光学中心に対応する画素が0,0の座標系とする。M=FL式27次に色ズレ補正により生成する画素の座標X1,Y1を求める。X1=M×X式28Y1=M×Y式29補正したいプレーンにおいて上記座標X1,Y1に相当する画素値を、一般的な補間処理により生成し、画素X,Yの画素値とする。これらを全画素について行うことで、色ズレ補正を行う。このようにして、倍率色収差を補正する。図15は、本発明の第2の実施形態に係る画像処理装置の一例としての撮像装置が有する画像回復処理部111の機能構成例を示すブロック図である。図15において、第1の実施形態に係る画像回復処理部111と同じ機能ブロックには同じ参照数字を付してある。図2と図15との比較からわかるように、本実施形態ではG成分に対する回復フィルタ適用部が2つあること、倍率色収差補正部R1015と倍率色収差補正部B1016を有することを特徴とする。図16に示すフローチャートを用いて、画像回復処理部111の動作について説明する。まずS301で、倍率色収差補正部R1015と倍率色収差補正部B1016で、R成分とB成分の倍率色収差をそれぞれ補正する。図4c及びdに示したように、入力されるR成分とB成分は限られた画素にのみ値を持つ状態だが、値を持つ画素のみを使用した補間処理による画素位置のシフトを行なうことで、RAW画像のまま倍率色収差を補正することができる。G成分の画素補間処理S201と、回復前色差情報取得処理S202は第1の実施形態で説明したとおりである。次のS304で、回復フィルタ適用部1005,1006,1017,1018は撮像条件に適した画像回復フィルタを選択する。ただし、本実施形態で用いる画像回復フィルタは、倍率色収差補正のための平行移動成分が除去されている。つまり、画像回復フィルタは倍率色収差補正成分を含んでおらず、収差の非対称性および広がりを補正して画像の先鋭化を行うが、倍率色収差の平行移動成分に関しては補正しない。上述の通り、このような画像回復フィルタを用いることにより、倍率色収差を画像回復処理と独立して処理することが可能になる。つまり、色成分ごとの非対称収差の補正および先鋭化と、倍率色収差の平行移動の成分である色ズレの補正とを分離して処理することが可能になる。また、S304においては、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部108に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、画像回復処理を実行する際に、実際の撮像状態に応じて画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要な光学伝達関数に関する情報から、撮像状態に応じた画像回復フィルタを生成してもよい。S305で回復フィルタ適用部1005,1006,1017,1018は、S304で選択もしくは生成した画像回復フィルタを、撮像された入力画像の各色成分に対して適用する。これにより、撮像光学系101の収差による点像分布関数の非対称性を補正し、画像のぼけ成分を除去もしくは低減することができる。本実施形態では図17adeで示すように、RAW画像のG成分をさらにベイヤー配列におけるG1、G2の2成分に分離し、回復フィルタ適用部G11017と回復フィルタ適用部G21018で別個に画像回復フィルタを適用する。具体的には、R成分の信号を出力する画素の水平方向に隣接する画素から出力されるG成分の信号をG1成分の信号とし、B成分の信号を出力する画素の水平方向に隣接する画素から出力されるG成分の信号をG2成分の信号とする。つまり、図17bcdeで示したR、B、G1、G2の4つを画像回復成分として扱い、個別に回復フィルタ適用部1005、1006、1017、1018、で画像回復処理コンボリューション処理を適用する。ここで、G成分をさらにG1、G2の2成分に分離して処理する意味を説明する。図18はベイヤー配列の原色カラーフィルタを備える撮像素子における、色成分別の画素配列の空間周波数特性を示す図である。所定のx,yの範囲について、G成分の画素で光を感知できる画素白を1、光を感知できない画素黒を0とする配列m_Gx,yを求める。同様の配列を、R、B、G1、G2成分についても求め、m_Rx,y、m_Bx,y、m_G1x,y、m_G2x,yとする。m_Gx,y、m_Rx,y、m_Bx,y、m_G1x,y、m_G2x,yをフーリエ変換したものが図18に示した周波数特性に相当する。図18aはG1成分とG2成分の両方を含んだG成分、すなわち図17aの周波数特性を表したものであり、●の位置のみに1が存在するくし型関数である。図18aに示すG成分の周波数特性は、図17bcで示したR成分B成分の周波数特性を示した図18bとは異なる。一方、G成分をG1成分とG2成分に分離すると、周波数特性はRやB成分と同様に図18bのようになる。ベイヤー配列の原色カラーフィルタでは、G画素がR画素やB画素の2倍含まれるため、図18に示すとおりG成分とR,B成分とで周波数特性が異なる。そのため、G成分をG1成分とG2成分に分離せず、R、G、Bの3つの色成分に画像回復フィルタを適用した場合、G成分だけが高周波帯域まで回復される。RGB成分のうちG成分だけが高周波帯域まで回復されると、高周波成分を含む画像領域に、本来存在しなかった偽色が発生することがある。これは、画像の高周波帯域におけるRGB成分の周波数特性の関係が、画像回復処理前と後で変化したことによる。このように、画像回復対象成分の周波数特性が異なる場合、画像回復処理によって偽色が発生の原因になる。この偽色は、ベイヤー配列の画像に対する画素補間によって発生する偽色とは異なり、撮像素子によって取得された画素値そのものが変化することで発生する。そのため、画素補間による偽色発生を抑制する手法では画像回復処理によって発生する偽色は抑制できない。G成分をG1成分及びG2成分に分離することで、4つの画像回復成分R、G1、G2、Bの画素配列は同じ空間周波数特性を示すようになるため、画像回復処理による偽色の発生を抑えることができる。なお、G成分をG1成分とG2成分に分離しない場合も、G成分に適用する画像回復フィルタの作り方によって、補正されるG成分の周波数帯域をRやB成分に一致させることが可能である。しかし、その場合、回復される周波数帯域はG成分をG1成分とG2成分に分離した場合と同等である。以後の処理は第1の実施形態におけるS205~S209の処理と同様である。S305でG成分をG1成分とG2成分に分離して画像回復フィルタを適用した後は、再度1つのG成分として以降の処理を行なう。以上、本実施形態にかかわる画像回復処理部111の構成及び画像回復処理について説明した。ここで、本実施形態においてS301で倍率色収差補正を行い、S305で倍率色収差補正成分を含まない画像回復フィルタを適用することの作用および効果の例を図19を用いて説明する。図19abは、図8に示したような、周辺部に点光源が存在する被写界を撮像した入力における、点光源とその近傍の水平方向における画素値の例を示す模式図である。図19abはいずれも上段にR成分とG成分の画素値を、下段には上段で示したR成分とG成分の差分、つまり色差を示している。まず、図19aは非合焦時において、倍率色収差補正成分を含まない画像回復フィルタを使用することの作用及び効果を説明するための図である。a-1は倍率色収差補正と、倍率色収差補正成分を含まない画像回復フィルタによる画像回復処理を行っていない状態を示し、画像に各収差が残存していることがわかる。G成分、R成分ともにぼけており、さらに倍率色収差により色ズレが発生しているため左右のエッジで色差が発生している。ただし、G成分とR成分のぼけ方は一致している。倍率色収差補正のみを適用した場合を、a-2に示す。G成分、R成分ともにぼけているが、倍率色収差補正により色ズレが解消されている。もともとG成分とR成分のぼけ方は一致していたため、色差は全領域で0である。倍率色収差補正に加え、倍率色収差補正成分を含まない画像回復フィルタによる画像回復処理を適用した場合をa-3に示す。非合焦時の例であるため、ぼけは低減しているが、実際の撮像状態での収差の状態と、画像回復フィルタの対象としている収差の状態が異なるために色付きが発生している。この色付きが本実施形態において抑制の対象となる色付きである。上述のように、本実施形態では、色付き抑制のための画素値調整処理の要否画素値の補正要否は、倍率色収差が補正された状態に相当するa-2の色差と、画像回復フィルタ適用後の状態に相当するa-3の色差の変化に基づいて判定される。a-2の状態で色差は全領域で0であるため、画像回復フィルタの適用により色差が増大したと判定され、色付き抑制のための画素値調整が必要と決定される。a-4は色付き抑制のための画素値調整処理の実行後の状態を示し、画像回復処理によって発生した色付きが適切に抑制され、色差はa-2と同様に全領域で0となる。一方、図19bは非合焦時において、倍率色収差補正成分を含んだ画像回復フィルタを使用した場合を示す。b-1はa-1と同じであり、倍率色収差補正も画像回復フィルタによる画像回復処理も行っていない状態を示している。この状態から、倍率色収差補正成分を有する画像回復フィルタを適用し、倍率色収差補正と画像回復処理を行った状態をb-2に示す。色ズレが消滅し、ぼけは低減されてはいるが、画像回復フィルタの適用により色付きが発生している。a-3と同様の状態である。倍率色収差補正成分を含んだ画像回復フィルタを使用した場合、色付き抑制のための画素値の補正要否は、画像回復フィルタ適用前のb-1での色差と、画像回復フィルタ適用後のb-2での色差の変化に基づいて判定する。この場合、左のエッジは色差が一部反転しているため、色付き抑制のために画素値の補正が必要と判定されるが、右のエッジは色差が増大も反転もしていないため、画素値の補正は不要と判定される。b-3は色付き抑制のための画素値調整処理が実行された状態を示し、左のエッジは色付きが抑制されているが、右のエッジは色付きが抑制されずそのまま残っている。このように本実施形態では、画像回復処理の前に倍率色収差補正を行い、その後、倍率色収差補正成分を含まない画像回復フィルタを適用して画像回復処理を行うことで、第1の実施形態による効果に加え、より高精度な色付き抑制が可能となる。また、G成分をG1成分とG2成分に分離して画像回復処理を適用することで、RAW画像における各成分の周波数特性が等しくなり、画像回復処理による色付きをさらに抑制することができる。なお、本実施形態では、基準の色成分であるG成分をG1成分とG2成分に分離する構成と、倍率色収差補正と倍率色収差補正成分を含まない画像回復フィルタの組み合わせとを両方備える画像回復処理部111について説明した。しかし、一方だけを用いることもでき、個々の効果を享受できる。また、本実施形態においても、図11を用いて説明した第1の実施形態の変形例のように、画素間引き部を設けた構成とすることができる。その他の実施形態また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"