"複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理装置であって、前記複数色の画像データを、各色の画像データに分離する分離手段と、前記分離手段により分離された前記各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う複数の画像処理手段と、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理手段とを有し、前記分離手段は、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを、前記他の色と同じ空間周波数特性となるように複数の色の画像データに分離し、前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理装置。前記複数色のカラーフィルタは、ベイヤー配列のカラーフィルタであり、前記画像処理手段は、前記画像データのG成分を、R成分及びB成分の周波数特性と一致するように、2つのG成分の画像データに分離することを特徴とする請求項1に記載の画像処理装置。前記画像処理手段により行われる前記フィルタ処理に用いられるフィルタは、前記撮像光学系の光学素子の光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換して得られる2次元のフィルタであり、前記画像処理手段は、前記フィルタをコンボリューション処理することを特徴とする請求項1または2に記載の画像処理方法。複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理装置であって、前記複数色の画像データのうちの一部の画像データに対して、フィルタ処理による回復処理を行う、直列に配された複数の画像処理手段と、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理手段とを有し、前記複数の画像処理手段それぞれは、前記回復処理が行われていない各色の画像データに対して前記回復処理を行うとともに、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを複数の色の画像データとして分けて扱うことで、前記複数の画像処理手段が処理する前記一部の画像データが、互いに同じ周波数特性を有し、前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理装置。前記複数色のカラーフィルタは、ベイヤー配列のカラーフィルタであり、前記複数の画像処理手段は、前記画像データのG成分を、R成分及びB成分の周波数特性と一致する2つのG成分として、一方のG成分の画像データを処理する画像処理手段と、他方のG成分の画像データを処理する画像処理手段と、R成分の画像データを処理する画像処理手段と、B成分の画像データを処理する画像処理手段から構成されることを特徴とする請求項4に記載の画像処理装置。前記複数の画像処理手段により行われる前記フィルタ処理に用いられるフィルタは、前記撮像光学系の光学素子の光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換して得られる2次元のフィルタであり、前記複数の画像処理手段は、前記フィルタをコンボリューション処理することを特徴とする請求項4または5に記載の画像処理装置。複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理方法であって、分離手段が、前記複数色の画像データを、各色の画像データに分離する分離工程と、複数の画像処理手段が、前記分離工程により分離された前記各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う画像処理工程と、補間処理手段が、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理工程とを有し、前記分離工程では、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを、前記他の色と同じ空間周波数特性となるように複数の色の画像データに分離し、前記補間処理工程では、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理方法。複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う画像処理工程であって、直列に配された複数の画像処理手段が、前記複数色の画像データのうちの一部の画像データに対して、フィルタ処理による回復処理を順次、行う画像処理工程と、補間処理手段が、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理工程とを有し、前記複数の画像処理手段それぞれは、前記回復処理が行われていない各色の画像データに対して前記回復処理を行うとともに、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを複数の色の画像データとして分けて扱うことで、前記複数の画像処理手段が処理する前記一部の画像データが、互いに同じ周波数特性を有し、前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行うことを特徴とする画像処理方法。コンピュータを、請求項1乃至請求項6のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。請求項9に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。画像回復処理には、各画素が、例えばRGBのいずれか1色の色成分の信号を持つRAW画像に適用する方法と、各画素が、例えばRGBの各色成分の信号をそれぞれ有するように補間をしてから、各色プレーンに適用する方法とがある。各色プレーンに適用する方法は、RAW画像に適用する方法に比べ、画像回復処理を適用する画素数と回復フィルタのタップ数が多くなるために画像回復処理の処理負荷が著しく増大する。一方、RAW画像を構成する各画素の色成分の配列としては、一般的に図2に示すようなベイヤー配列になっていることが多く、この場合、G成分の画素数はRやB成分の画素数よりも多くなっている。そのためRAW画像におけるG成分の画素配列における周波数特性はRやB成分の画素配列における周波数特性と異なっている。前述の通り画像回復処理は周波数特性の補正と等価であるため、G成分は回復される周波数帯域がRやB成分とは異なり、この場合、G成分はRやB成分よりも高周波帯域の回復が可能になる。RGBの中でG成分だけが高周波帯域まで回復されると、画像中の高周波成分を含む領域では画像回復処理により本来画像には存在しなかった偽色が発生することがある。これは画像の高周波帯域におけるRGBの周波数特性の関係が、画像回復処理前と後で変わってしまったためである。このように、周波数帯域が異なる信号成分に対して画像回復処理を行うことは、偽色発生の原因になる。ここで言う偽色とはベイヤー配列の画像に対する画素補間によって発生する偽色とは異なり、撮像素子によって取得された画素データそのものが変化することで発生するものである。従って偽色発生を抑制するような画素補間アルゴリズムを適用しても、画像回復処理によって発生する偽色は抑制されない。本発明は上記問題点を鑑みてなされたものであり、RAW画像における画像回復処理で発生する偽色を低減させるとともに、画像回復処理にかかる負荷を低減することを目的とする。上記目的を達成するために、複数色のカラーフィルタのいずかにより各画素が覆われた撮像素子により、撮像光学系を介して入射する被写体像を撮像して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を回復する回復処理を行う本発明の画像処理装置は、前記複数色の画像データを、各色の画像データに分離する分離手段と、前記分離手段により分離された前記各色の画像データそれぞれに対して、フィルタ処理による回復処理を行う複数の画像処理手段と、前記回復処理が行われた画像データに対して、各画素の色補間処理を行う補間処理手段とを有し、前記分離手段は、前記複数色のカラーフィルタの配列により他の色に比較して空間周波数特性が高くなる色の画像データを、前記他の色と同じ空間周波数特性となるように複数の色の画像データに分離し、前記補間処理手段は、前記複数の色の画像データを同じ色の画像データとして用いて前記色補間処理を行う。本発明によれば、RAW画像における画像回復処理で発生する偽色を低減させるとともに、画像回復処理にかかる負荷を低減することができる。以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。<第1の実施形態>図1は、本発明の実施形態に係る撮像装置の基本構成の一例である。不図示の被写体像は、絞り101aおよびフォーカスレンズ101bを含む撮像光学系101を介して撮像素子102に入射する。撮像素子102は、一例として、図2に示す所謂ベイヤー配列のカラーフィルタにより覆われ、撮像素子102を構成する各画素は、赤R、緑G、青Bの内、覆われたフィルタの色に応じた色成分の信号を出力する。撮像素子102で結像光が電気信号に変換され、A/Dコンバータ103でデジタル信号に変換されて、画像処理部104に入力される。画像処理部104は、画像回復処理部111と、所定の処理を行うその他画像処理部112とから構成され、その他画像処理部112は色補間処理を含んでいる。画像回復処理部111の出力画像は各画素がいずれか1つのフィルタの色に応じた色成分の信号のみを有する状態である。そのため、その他画像処理部112では回復された画像に対して、各画素に全てのフィルタの色に応じた色成分の信号を持たせるための色補間処理が行われる。画像処理部104は、まず、状態検知部107から撮像装置の撮像状態の情報を得る。状態検知部107はシステムコントローラ110から直接撮像状態の情報を得ても良いし、例えば撮像光学系に関する撮像状態の情報は撮像光学系制御部106から得ることもできる。次に撮像状態に応じた画像回復フィルタを記憶部108から選択し、画像回復処理部111は画像処理部104に入力された画像に対して画像回復処理を行う。記憶部108で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要な光学伝達関数OTFに関する情報でもよい。この場合、画像回復処理部111は撮像状態に応じた光学伝達関数OTFに関する情報を記憶部108から選択し、撮像状態に応じた画像回復フィルタを生成した後、画像処理部104に入力された画像に対して画像回復処理を行う。画像処理部104で処理された出力画像を、画像記録媒体109に所定のフォーマットで保存する。また、表示部105には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、画像回復処理を行わない、又は簡易的な回復処理を行った画像を表示しても良い。一連の制御はシステムコントローラ110で行われ、撮像光学系の機械的な駆動はシステムコントローラ110の指示により撮像光学系制御部106で行う。絞り101aは、Fナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ101bは、被写体距離に応じてピント調整を行うために不図示のオートフォーカスAF機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等の光学伝達関数OTFの特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子による光学伝達関数OTFの変化を考慮する。赤外カットフィルタにおいても、分光波長の点像分布関数PSFの積分値であるRGBチャンネルの各PSF、特にRチャンネルのPSFに影響する。そのため、画像回復フィルタを作成する時点で、赤外カットフィルタによる点像分布関数PSFの変化を考慮する。また、撮像光学系101は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。本第1の実施形態における画像処理部104の構成を図3に示す。画像回復処理部111への入力画像は、上述したように、各画素が、例えば図2のベイヤー配列のR、G、Bいずれか1色の色成分を有するRAWデータである。本第1の実施形態では、画像回復処理部111内の信号分離部1101においてG成分をG1とG2に分離してR、G1、G2、Bの4つの画像回復成分とする。そして、この4つの画像回復成分に対して画像回復フィルタを適用するために、回復フィルタ適用部1110~1113に入力される。RAWデータにおける各色成分と各画像回復成分の例を図4に示す。図4a~cはRAWデータにおける3つの色成分を示しており、aはG成分、bはR成分、cはB成分を示している。図中の白で示した画素がそれぞれの色成分を表している。本第1の実施形態では図4aに示したG成分を、図4d、eに示したG1とG2に分けて画像回復処理を適用する。R成分の信号を出力する画素の水平方向に隣接する画素から出力されるG成分の信号をG1成分の信号とし、B成分の信号を出力する画素の水平方向に隣接する画素から出力されるG成分の信号をG2成分の信号とする。つまり図4において、bは画像回復成分R、cは画像回復成分B、dは画像回復成分G1、eは画像回復成分G2となる。図5は撮像素子における色成分別の画素配列の空間周波数特性を示した図である。図4a~eで示した各成分において光を感知できる画素白で表した画素を1、光を感知できない画素黒で表した画素を0とし、それぞれをm_Gxy、m_Rxy、m_Bxy、m_G1xy、m_G2xyとおく。図5に示した空間周波数特性は、このm_Gxy、m_Rxy、m_Bxy、m_G1xy、m_G2xyをフーリエ変換したものに相当する。図5aはG成分、すなわち図4aの空間周波数特性を表したものであり、●の位置のみに1が存在する、くし型関数である。図4b、cに示したR、B成分の空間周波数特性を示したものが図5bであり、G成分の空間周波数特性を示した図5aとは異なっている。また、G成分をG1、G2の画像回復成分に分離した場合の空間周波数特性はRやB成分と同様に図5bのようになる。R、G、Bの3つの色成分に対してそのまま画像回復処理を行うと、図5に示したとおりG成分とR、B成分とで空間周波数特性が異なることから、前述したように画像の高周波成分を含む領域で本来画像には存在しなかった偽色が発生する原因になる。これに対し、G成分をG1、G2の画像回復成分に分離することで、4つの画像回復成分R、G1、G2、Bの画素配列は同じ空間周波数特性を示すようになる。そのため画像回復処理で対象となる周波数帯域が共通になることから、画像回復処理による偽色の発生を抑えることができる。なお、R、G、Bの3つの色成分に対してそのまま画像回復を行う場合も、G成分に適用する画像回復フィルタの作り方によっては補正されるG成分の周波数帯域をRやB成分に一致させることが可能である。しかし、その場合、回復される周波数帯域はG成分をG1、G2の画像回復成分に分離した場合と同等であるため、後述の通り画像回復フィルタのコンボリューション時の処理負荷の観点からG1、G2の画像回復成分に分離した方が有利である。以下、図6のフローチャートを用いて、画像回復処理部111における第1の実施形態における画像回復処理の流れを詳細に説明する。S11では、前述のように状態検知部107から実際の撮像状態の情報を取得する。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮影条件である。次に、S12では、信号分離部1101において、R、G、Bから構成されるRAWデータを、R、G1、G2、Bの4つの画像回復成分に分離する。具体的には対象の画像回復成分以外の色成分に対応する画素に該当する部分に0を設定した画像データをR、G1、G2、B成分別に4つ用意すればよい。あるいは、対象の画像回復成分以外の色成分に対応する画素に該当する部分を間引いた1/4サイズの画像データをR、G1、G2、B成分別に4つ用意してもよい。次に、S13では、取得した撮像状態に適し、且つ、R、G1、G2、Bの4つの画像回復成分に適した画像回復フィルタを記憶部108から選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部108に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、実際に画像回復処理を実行する際に画像回復フィルタを補正することである。また、記憶部108が、画像回復フィルタではなく、画像回復フィルタを生成するために必要な光学伝達関数OTFに関する情報を保持している場合、選択した光学伝達関数OTFに関する情報から撮像状態に応じた画像回復フィルタを生成する。ここで、画像回復フィルタについて説明する。図7は、各画素にR、G、Bの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタの例を示す模式図である。画像回復フィルタは撮像光学系の収差量に応じてタップ数を決めることができ、この例では11×11タップの2次元フィルタとしている。フィルタの各タップが画像の1画素に対応して画像回復工程でコンボリューション処理される。図7aのように画像回復フィルタを100以上に分割した2次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。図7aでは各タップ内の値を省略しているが、このフィルタの1断面を図7bに示す。この画像回復フィルタの作成法については上記のように撮像光学系の光学素子の光学伝達関数OTFを計算若しくは計測し、その逆関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるためウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。さらに、光学伝達関数OTFは撮像光学系のみならず、入力される画像に対して、光学伝達関数OTFを劣化させる要因を含めることができる。例えば、ローパスフィルタは光学伝達関数OTFの周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数OTFに基づいて、画像回復フィルタを作成することが望ましい。画像がR、G、B形式のカラー画像である場合は、R、G、Bの各色成分に対応した3つの画像回復フィルタを作成すれば良い。撮像光学系には色収差があり、色成分毎にぼけ方が異なるため、色成分毎の画像回復フィルタは特性が色収差に基づいて若干異なる。即ち、図7aの断面図が色成分毎に異なることに対応する。画像回復フィルタの縦横のタップ数に関しても正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。上述した、各画素にRGBの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタに対し、本第1の実施形態で用いられる、各画素に1色の色成分を持つRAW画像に適用する画像回復フィルタの例を図8を参照して説明する。対象の色成分が存在する画素に対して係数を保持する画像回復フィルタであり、係数を保持している箇所を図中の白で表し、それ以外の0を保持する箇所を黒で表している。R、G、Bの3つの色成分に対して、G成分を分離せずにそのまま画像回復処理を行う場合、R、B成分に適用する画像回復フィルタは図8aのようになり、G成分に適用する画像回復フィルタは図8bのようになる。しかし、本第1の実施形態ではG成分をG1、G2の画像回復成分に分離して画像回復フィルタを適用するため、R、G1、G2、Bのいずれに対しても図8aのような画像回復フィルタを用いることができる。図6に戻り、S14において、回復フィルタ適用部1110~1113は、S13で選択された画像回復フィルタを用いて、撮像された入力画像の各画像回復成分R、G1、G2、Bの各画素に対してフィルタ処理によるコンボリューション処理を行う。これにより撮像光学系で発生した収差による画像のぼけ成分を除去若しくは低減することができる。前記したように色画像回復成分R、G1、G2、B毎に適した画像回復フィルタを用いることで色収差も補正することができる。第1の実施形態におけるコンボリューション処理は、図4のb~eで示した各画像回復成分R、G1、G2、Bと、図8aで示した画像回復フィルタを用いたフィルタ処理によるコンボリューション処理である。S12で分離した各画像回復成分のデータの持たせ方に応じて画像回復フィルタの保持方法や適用方法は適宜変えればよい。例えば、対象の画像回復成分以外の部分に0を設定した画像データをR、G1、G2、B成分別に4つ用意した場合は、コンボリューション処理の対象にする画素を対象の画像回復成分に限定することで、余計な演算を省くことができる。また、対象の画像回復成分以外の部分を間引いた1/4サイズの画像データをR、G1、G2、B成分別に4つ用意した場合は、画像回復フィルタ自体も使用される係数以外を間引いた状態で保持する。そのようにすることで、1/4サイズの画像データにそのまま適用することができる。いずれであっても、図7aに示した各画素にR、G、Bの各色成分が揃った画像に適用する画像回復フィルタや、図8bで示した分離しないG成分に適用する画像回復フィルタに比べ、有効な係数の数が明らかに少なくなる。そのため、コンボリューション処理の負荷は低減される。以上、画像の各画素に対して画像回復処理を行って、画像回復処理部111の処理は終了となる。なお、光学伝達関数OTFは1つの撮影状態においても撮像光学系の画角像高に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像上にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちS13とS14を各画像回復成分の各対象画素に対して実行する。画像回復処理部111において画像回復処理が施された画像データは、その後、その他画像処理部112に入力される。画像回復処理が施された画像データはベイヤー配列のままであるので、その他画像処理部112では撮像素子が保持している3つの色成分毎に色補間処理が行われる。その他画像処理部112では色補間処理の他に、ガンマ補正やカラーバランス調整など、RAWデータに対する周知の現像処理を行い、JPEG等の画像ファイルを生成する。ここで図9を用いて画像回復フィルタの回復ゲインと、画像回復処理の有/無による画像の周波数特性を説明する。なお、回復ゲインを画像回復処理によるMTFの増減率と定義する。図9aに示すグラフは第1の実施形態における画像回復フィルタの回復ゲインの一例である。上述の画像回復成分の画素配列における空間周波数特性から、画像回復フィルタにより回復される周波数帯域は撮像素子のナイキスト周波数の2分の1までと考えることができる。これに対し、各画素にRGBの各色成分が揃った画像の各色プレーンに画像回復処理を行う場合、画像回復成分の画素配列における空間周波数特性から、画像回復フィルタにより回復される周波数帯域は撮像素子のナイキスト周波数までと考えることができる。しかし、第1の実施形態により画像回復処理が施されたJPEG等の出力画像におけるMTFの改善は、撮像素子のナイキスト周波数の2分の1までの帯域だけではない。本第1の実施形態による出力画像のある領域におけるMTFの例を図9bに示す。画像回復処理を行わない場合の出力画像に比べ、画像回復処理を行う場合は、撮像素子のナイキスト周波数以上の帯域もMTFが改善していることが分かる。これは、その他画像処理部112で行われる色補間処理が影響する。ベイヤー配列のような撮像素子における色補間処理は従来から研究がなされ、様々な補間技術が開示されている。一般的に用いられている方法は周囲の他の色成分の画素情報を使って補間画素を生成する適応的な色補間処理である。これは、例えばある画素においてRの画素値を補間処理により生成する場合、周囲の画素のGやBの情報を使ってRの補間方法を決定する方法である。1つの色成分を単純に線形補間するような方法とは異なり、このような適応的な色補間処理は、補間処理による偽色の発生や先鋭度の低下を低減させることが可能である。図10に示したエッジ部における画素補間の例を使用して、適応的な色補間処理方法の一例を説明する。図10aはあるエッジの断面図を示している。エッジが色の無いモノクロであって、撮像素子102の各画素でR、G、Bのそれぞれの値を取得した場合に、R、G、Bの各色成分がいずれも図10bに示したように画素値100と200から構成される画素配列であるものとする。実際にはベイヤー配列の撮像素子102で撮影されたRAW画像は各画素に1色の色成分を持っているため、色成分毎に値を抽出した場合、図10c~eに示す画素配列となる。c~eに示す各色成分の画素配列において黒で示した画素が色補間処理が必要な画素である。この場合、色補間処理後の各色成分は図10bに示した画素値になることが理想であることは明らかである。以後、図10c~eの画素配列をGx,y、Rx,y、Bx,yと記述する。ここでxは横方向の座標、yは縦方向の座標であり、いずれも図10においては0~4の範囲で値を持つ。図10c~eの各色成分において、まず線形補間を行う場合の例を以下に示す。G成分に対する線形補間は隣接する4つの画素を使用して、式6の演算を行う。Gx,y=Gx,y-1Gx-1,yGx1,yGx,y1/4...6R成分に対する線形補間は、補間する画素の場所によって異なり、下記3パターンの式7のいずれかにより行う。隣接する左右画素に値がある場合例えばR2,0:Rx,y=Rx-1,yRx1,y/2隣接する上下画素に値がある場合例えばR1,1:Rx,y=Rx,y-1Rx,y1/2隣接する斜め画素に値がある場合例えばR2,1:Rx,y=Rx-1,y-1Rx1,y-1Rx-1,y1Rx1,y1/4...7B成分に対する線形補間もR成分と同様に、補間する画素の場所に応じて上述した3パターンの式7のいずれかを適用することで行う。上記で示した線形補間を適用した各色成分の例を図10f~hに示す。補間処理により100、200以外の画素値が生成されており、図10bに示した画素値と比較して、先鋭度は低下していることが分かる。次に、周囲の他の色成分の画素情報を使って補間画素を生成する適応的な色補間処理を行う場合の例を以下に示す。以後、この適応的な色補間処理を適応補間と記述する。G成分に対する適応補間は下記のように行う。R成分に値をもつ画素のG成分を生成する場合例えばG1,2:H_DIFF=Rx,y-Rx-2,yRx,y-Rx2,yV_DIFF=Rx,y-Rx,y-2Rx,y-Rx,y2IF|H_DIFF|>|V_DIFF|Gx,y=Gx,y-1Gx,y1/2}ELSE{Gx,y=Gx-1,yGx1,y/2}このようにR成分から計算したH_DIFF、V_DIFFにより補間する向きを判定することで、線形補間による先鋭度の低下を低減させることが可能である。上記はR成分に値をもつ画素のG成分を生成する場合であるが、B成分に値をもつ画素例えばG2、1のG成分を補間する場合も同様に行うことができる。このように、補間を行う際にはG成分をG1成分とG2成分に分けずに一つの色成分として扱うため、G1成分とG2成分に分ける場合よりも、近くの画素の値を補間演算に用いることができ、高い周波数帯域におけるMTFが改善されることになる。R成分に対する適応補間は、下記の式8に示すように上記方法により補間されたG信号を使用して行う。隣接する左右画素に値がある場合例えばR2,0:Cr=Rx-1,y-Gx-1,yRx1,y-Gx1,y/2Rx,y=Gx,yCr隣接する上下画素に値がある場合例えばR1,1:Cr=Rx,y-1-Gx,y-1Rx,y1-Gx,y1/2Rx,y=Gx,yCr隣接する斜め画素に値がある場合例えばR2,1:Cr=Rx-1、y-1-Gx-1、y-1Rx1、y-1-Gx1、y-1Rx-1、y1-Gx-1、y1Rx1、y1-Gx1、y1/4Rx、y=Gx、yCr...8このように隣接する画素で取得した色差情報R-Gを補間することで、適応補間を行う。B成分に対する適応補間もR成分と同様に、補間する画素の場所に応じて上述した3パターンの式8のいずれかを適用し、隣接する画素で取得した色差情報B-Gを補間することで行う。上記で示した適応補間を適用した各色成分の例を図10i~kに示す。R、G、Bの画素値は一致しており、いずれも図10bに示した画素配列と一致している。周囲の他の色成分の画素情報を使って補間画素を生成する適応補間を行うことで、図10bに示した画素配列に対して先鋭度が低下していない画像を生成することが可能である。上記の通り、周波数帯域を揃えた各画像回復成分に対して画像回復処理を適用した後、回復された各色成分に対し上記で示したような適応的な色補間処理を行うことで、各色成分の画素配列が持つ周波数帯域よりも高い周波数帯域でもMTFの改善が実現される。なお、これは1つの補間方法に限定される効果ではなく、画像回復処理で補正されたMTFは、画像回復処理後の色補間処理によって撮像素子のナイキスト周波数まで維持され、その量は画素補間方法の工夫により可変であることを意味している。以上、本発明を適用した画像処理部104の構成及び処理について説明した。なお、第1の実施形態では一般的なR、G、Bから構成されるベイヤー配列を用いて説明したが、本発明における色成分はR、G、Bに限定されずR、G、B以外の複数色の色成分から構成される画素配列にも適用可能である。また、本発明は撮像素子における様々な画素配列に適用することができる。一般的なR、G、Bから構成されるベイヤー配列は、具体的な色を明記せずに画素配列のパターンで示した場合、図11aのように表せる。C1、C2、C3はそれぞれ1つの色成分を意味している。これに対し、例えば図11bのような色成分の配列を考える。これは4つの色成分C1、C2、C3、C4から構成されている撮像素子の画素配列である。この画素配列の各色成分と、本発明を適用した場合の画像回復成分の例を図12に示す。C1成分は4つの画像回復成分に分離される。C2とC3成分はそのまま画像回復成分とする。C4は2つの画像回復成分に分離する。つまり、他の色成分に比較して空間周波数特性が高くなる色成分の画素を、他の色成分と同じ空間周波数特性となるように複数の色成分に分離する。このようにすることで各画像回復成分の画素配列の空間周波数特性を揃えてから画像回復処理を行うことができる。このように本発明は一般的なR、G、Bから構成されるベイヤー配列に限定されず、様々な色成分の様々な画素配列に適用することができる。もちろん画素配列は格子状にも限定されず、撮像素子を構成する色成分を分離することで各画像回復成分の周波数特性を揃えることが可能な配列であれば本発明を適用することができる。<第2の実施形態>以下、本発明の第2の実施形態による画像回復処理について説明する。第2の実施形態における撮像装置の基本構成は第1の実施形態で示した図1と同様であるため、ここでは説明を省略する。第2の実施形態における画像処理部104の構成を図13に示す。画像回復処理部111への入力画像は、第1の実施形態と同様に、各画素が、例えば図2のベイヤー配列のR、G、Bいずれか1色の色成分を有するRAWデータである。本第2の実施形態では、入力のRAWデータを画像回復成分にデータ分割せず、ベイヤー配列である入力のRAWデータのまま、それぞれに画像回復フィルタを適用する。4つの画像回復成分はそれぞれ、直列に配された回復フィルタ適用部1114~1117において画像回復フィルタが適用される。以下、図14を用いて画像回復処理部111における第2の実施形態の画像回復処理の流れを詳細に説明する。S21では、前述のように状態検知部107から実際の撮像状態の情報を取得する。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮影条件である。次に、S22では、取得した撮像状態に適したR成分の画像回復フィルタを図1の記憶部108から選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部108に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておいて、実際に画像回復処理を実行する際に画像回復フィルタを補正することである。次に、S23では、回復フィルタ適用部1114は、S22で選択されたR成分の画像回復フィルタを用いて、撮像された入力画像のR成分の各画素に対してフィルタ処理によるコンボリューション処理を行う。これにより撮像光学系で発生した収差による画像のR成分のぼけ成分を除去若しくは低減することができる。前述したように色画像回復成分毎に適した画像回復フィルタを用いることで色収差も補正することができる。次に続くS24~S29ではG1一方のG成分の画像データ、G2他方のG成分の画像データ、Bの画像回復成分に対し画像回復処理が行われる。なお、ここで行われる画像回復処理は、対象となる色成分が異なるだけで処理内容はS22、S23と同じであるため説明は割愛する。S23、S25、S27、S29における各画像回復成分のコンボリューション処理は、図4のb~eで示した各画像回復成分と、図8aで示した画像回復フィルタを用いたフィルタ処理によるコンボリューション処理である。コンボリューション処理の対象にする画素を対象の画像回復成分に限定することで、余計な演算を省くことができる。この場合、図7aで示した各画素にR、G、Bの各色成分が揃った画像に適用する画像回復フィルタや、図8bで示した分離しないG成分に適用する画像回復フィルタに比べ、有効な係数の数が明らかに少なくなる。そのため、コンボリューション処理の負荷は低減される。また、入力画像はベイヤー配列のRAWデータのまま使用するので、信号分離部1101や新たなメモリを確保する必要がなく、消費メモリを抑えることができる。以上、画像の各画素に対して画像回復処理を行って、画像回復処理部111の処理は終了となる。なお、光学伝達関数OTFは1つの撮影状態においても撮像光学系の画角像高に応じて変化するので、本発明の画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。これには、画像回復フィルタを画像にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちS22、S23はR成分の各画素に対して実行し、S24~S29も対象の画像回復成分において同様に実行する。なお、上述した第1及び第2の実施形態では画像回復フィルタの適用を画像回復処理として扱ったが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本発明のフローの前後や途中に組み合わせ、画像回復処理として扱うことも可能である。以上、本発明の画像処理方法を用いた撮像装置に関する実施形態を示したが、本発明の画像処理方法は、その要旨の範囲内で種々の変形及び変更が可能であり、装置での使用に限るものではない。例えば、PC上で動作する画像処理ソフトのアルゴリズムとして用いることもできる。その場合、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"