"カラーフィルタを有する撮像素子から得られる画像信号を、輝度信号及び色信号に変換する変換手段と、前記色信号を間引く間引き手段と、前記間引き手段で間引かれた前記色信号と、前記輝度信号とを記憶する記憶手段と、前記記憶手段から読み出した前記輝度信号に対して輝度信号処理を行う輝度信号処理手段と、前記記憶手段から読み出した前記色信号を補間する補間手段と、前記記憶手段から読み出した前記輝度信号に対して、前記間引き手段と前記補間手段によって前記色信号に行われた間引き及び補間と同様の間引き及び補間を行う間引き補間手段と、前記補間手段によって補間された色信号と、前記間引き補間手段で間引き及び補間された輝度信号とを用いて、色信号処理を行う色信号処理手段と、を有することを特徴とする画像処理装置。前記間引き手段が、前記画像信号の偶数位相又は奇数位相を選択して前記間引きを行い、前記補間手段が、前記間引き手段が間引いた偶数位相又は奇数位相を補間することを特徴とする請求項1記載の画像処理装置。前記色信号処理手段は、前記補間手段によって補間された色信号と、前記間引き補間手段で間引き及び補間された輝度信号とを、前記画像信号の形式に変換してから前記色信号処理を行うことを特徴とする請求項1又は請求項2に記載の画像処理装置。前記色信号処理が、倍率色収差補正処理又はノイズ低減処理のうち、少なくともノイズ低減処理を含むことを特徴とする請求項1記載の画像処理装置。前記画像処理装置が、前記変換手段が変換した前記輝度信号及び前記色信号を、複数の周波数帯域に分割する分割手段をさらに有し、前記記憶手段、前記輝度信号処理手段、前記補間手段、前記間引き補間手段、及び前記色信号処理手段が、前記分割された周波数帯域ごとの色信号または輝度信号に対して処理を行い、前記画像処理装置が、前記輝度信号処理手段および前記色信号処理手段がそれぞれ出力する前記周波数帯域ごとの輝度信号及び色信号を合成し、合成した輝度信号及び色信号を出力する合成手段をさらに有することを特徴とする請求項1乃至請求項4のいずれか1項に記載の画像処理装置。画像処理装置が実行する画像処理方法であって、変換手段が、カラーフィルタを有する撮像素子から得られる画像信号を、輝度信号及び色信号に変換する変換工程と、間引き手段が、前記色信号を間引く間引き工程と、記憶手段が、前記間引き手段で間引かれた前記色信号と、前記輝度信号とを記憶装置に記憶する記憶工程と、輝度信号処理手段が、前記記憶手段から読み出した前記輝度信号に対して輝度信号処理を行う輝度信号処理工程と、補間手段が、前記記憶手段から読み出した前記色信号を補間する補間工程と、間引き補間手段が、前記記憶手段から読み出した前記輝度信号に対して、前記間引き工程と前記補間工程によって前記色信号に行われた間引き及び補間と同様の間引き及び補間を行う間引き補間工程と、色信号処理手段が、前記補間工程によって補間された色信号と、前記間引き補間工程で間引き及び補間された輝度信号とを用いて、色信号処理を行う色信号処理工程と、を有することを特徴とする画像処理方法。特許文献2の技術では、画像信号をR/G1/G2/Bの4プレーンで記憶する必要があり、さらに各プレーンの画像信号を周波数帯域ごとに記憶する必要がある。そのため大容量のメモリが必要となり、コストの面で好ましくない。また、必要なメモリアクセス量も多いため、連写撮影など高速性が求められる処理の場合にはメモリアクセス帯域の上限に達して処理速度の低下を招くおそれがある。この問題を緩和するために、例えば、特許文献1に示されるような色信号の間引き技術を特許文献2の構成に適用して、必要なメモリ容量及びメモリアクセス量を削減することが考えられる。しかしながら、特許文献1の技術には、間引かれた色信号を隣接画素の色信号から補間して復元するため、色信号の周波数帯域と輝度信号の周波数帯域に差が生じ、被写体には存在しない色スジが発生してしまうという問題がある。そのため、特許文献2の構成に適用した場合においても、周波数帯域ごとに分割された画像信号の全てにおいて、補間後の色信号の周波数帯域と、輝度信号の周波数帯域の差に起因した色スジが発生してしまう。その結果、各周波数帯域の画像信号を合成すると、低い周波数帯域の画像信号に生じている色スジが広がって画質の劣化を招くことが予想される。本発明はこのような従来技術の組み合わせにおいて予期される問題を解決するためになされたものであり、間引きと補間がなされた色信号に対して信号処理を適用する画像処理装置および画像処理方法において、画質低下の抑制を実現することを目的とする。上述の目的は、カラーフィルタを有する撮像素子から得られる画像信号を、輝度信号及び色信号に変換する変換手段と、色信号を間引く間引き手段と、間引き手段で間引かれた色信号と、輝度信号とを記憶する記憶手段と、記憶手段から読み出した輝度信号に対して輝度信号処理を行う輝度信号処理手段と、記憶手段から読み出した色信号を補間する補間手段と、記憶手段から読み出した輝度信号に対して、間引き手段と補間手段によって色信号に行われた間引き及び補間と同様の間引き及び補間を行う間引き補間手段と、補間手段によって補間された色信号と、間引き補間手段で間引き及び補間された輝度信号とを用いて、色信号処理を行う色信号処理手段と、を有することを特徴とする画像処理装置によって達成される。このような構成により、本発明によれば、間引きと補間がなされた色信号に対して信号処理を適用する画像処理装置および画像処理方法において、処理データ量の削減と画質低下の抑制を実現することができる。第1の実施形態以下、本発明の例示的な実施形態について、添付図面に基づいて詳細に説明する。図1は、本発明の実施形態にかかる画像処理装置の一例としての撮像装置200の機能構成例を示すブロック図である。なお、本発明において撮像のための構成は必須でなく、処理対象となる画像データは記憶装置や記憶媒体に予め記憶されたデータファイルなどから直接、又はネットワークなどを介して間接的に取得することもできる。図1aにおいて、結像光学系201はレンズや絞り等からなり、被写体光学像を撮像素子202の撮像面に結蔵する。結像光学系201の合焦制御や絞りの制御はシステム制御部207が行う。撮像素子202はCCDイメージセンサやCMOSイメージセンサであり、結像光学系201が結蔵した被写体光学像を画素単位のアナログ電気信号に変換する。本実施形態において撮像素子202の結像面には、図1bに示すベイヤ-配列のカラーフィルタが配置されており、撮像素子202の各画素は対応するカラーフィルタの色に応じた画素値輝度値を出力する。A/D変換部203は撮像素子202の出力するアナログ画像信号をデジタル画像信号画像データとも呼ぶに変換する。信号処理部204はA/D変換部203が出力するデジタル画像信号に対して周波数帯域ごとにノイズ低減などの信号処理を行う。メモリ制御部205はメモリDRAM206との間でデジタル画像信号の書き込み/読み出しを行う。システム制御部207は撮像装置200全体の動作を制御する。なお、図1aにおいては、撮像装置200が通常有する構成のうち、本実施形態の説明に直接関係がない構成要素については図示していない。図2は、信号処理部204の機能構成例を示すブロック図である。信号処理部204は周波数分解回路101と、バッファ103と、周波数合成回路102とを有する。なお、バッファ103は信号処理部204内に設けてもよいが、本実施形態ではメモリ206の一部領域をバッファ103として用いるものとする。従って、周波数分解回路101からバッファ103への書き込みおよび、バッファ103から周波数合成回路102への読み出しは、メモリ制御部205を通じて実行される。周波数分解回路101はA/D変換されたベイヤー配列の画像データを予め定められた複数の周波数帯域に分割し、色信号成分を間引く。周波数合成回路102は周波数帯域ごとに信号処理を行ってから合成して出力する。周波数合成回路102の出力画像データは、メモリ制御部205を通じてメモリ206に記憶される。周波数分解回路101の構成周波数分解回路101において、フォーマット変換回路104は図1bに示したR赤、G1緑1、G2緑2、B青形式の画像信号をY輝度及びR、B形式に変換する。さらにフォーマット変換回路104では偽色抑圧処理が行われる。なお、偽色抑圧処理の方法に特に制限はなく、公知な任意の方法を採用することができる。特開2002-300590号公報に記載される方法は採用可能な方法の一例である。具体的には、撮像素子に結像された光学像の画素ごとに、水平方向、垂直方向の相関のどちらが強いか判別する。そして、水平方向の相関が強ければR-G1を、垂直方向の相関が強ければR-G2を選択してR-Ga1信号とする。同様に、水平方向の相関が強ければB-G2を、垂直方向の相関が強ければB-G1を選択してB-Ga2信号とする。また、画素ごとにG1、G2から例えばGb=G1G2/2の演算からGb信号を作成し、R-Gbを生成する。さらに、画素ごとに例えばSatARGa1BGa2SatBRGbBGbとして彩度値SatA、SatBを求め、SatA<SatBならR-Ga1を、SatA≧SatBならR-Gbを選択してCr信号とする。SatA<SatBならB-Ga2を、SatA≧SatBならB-Gbを選択してCb信号とする。このような処理を行うことで、偽色が抑圧された色差信号Cr、Cbを生成する。また輝度信号Yは、撮像素子に結像された光学像の水平方向の相関が強ければ水平方向の画素から、垂直方向の相関が強ければ垂直方向の画素から、画素ごとに補間されたR信号、G信号、B信号を用いて、例えばY=0.33R0.59G0.11Bの演算から生成する。フォーマット変換回路104は例えばこのような方法で生成されたY、Cr、Cb信号から、Y=Y、R=CrY、B=CbYとしてY,R,B形式の画像データを生成する。ローパスフィルタLPF105~107は、水平方向、垂直方向のいずれにおいても、例えば伝達関数Hz=1/21Z1を有するフィルタである。ダウンサンプリング回路108~110は、入力画像信号を水平方向と垂直方向で1/2にダウンサンプリングする。ダウンサンプリングする位相は、水平方向では左右2画素のうち左側の画素、垂直方向では上下2画素のうち上側の画素とする。LPF105~107とダウンサンプリング回路108~110は交互に、かつ直列に接続されている。従って、LPF105に入力されたY/R/B信号は水平および垂直に1/2に帯域制限され、画素数もダウンサンプリング回路108により水平および垂直に1/2に間引かれる。そして、ダウンサンプリング回路108で間引かれたY/R/B信号は、LPF106に入力されてさらに1/2に帯域制限され、ダウンサンプリング回路109で1/2に間引かれる。LPF107も同様にダウンサンプリング回路109で間引かれたY/R/B信号を1/2に帯域制限し、ダウンサンプリング回路110は画素数を1/2に間引く。フォーマット変換回路104とダウンサンプリング回路108~110から出力されるY/R/B信号はそれぞれ、R信号とB信号の解像度を低下させるRB間引き回路111~114に入力される。図3aは、RB間引き回路111の構成例を説明する図である。図3bは、RB間引き回路111及び周波数合成回路102のRB補間回路115の動作を説明する図である。RB間引き回路111~114の構成及び動作は共通であるため、ここではRB間引き回路111について説明する。なお、図3aには、RB間引き回路111の構成のうち、R信号の間引きを行う回路R間引き回路のみを示しているが、B信号の間引きを行う回路B間引き回路も同様の構成を有している。ローパスフィルタ401は例えば伝達関数Hz=1/21Z1を有する水平方向の一次元ローパスフィルタである。セレクタ402はローパスフィルタ401が適用された信号と、適用されない信号の一方を出力する。間引き回路403は、必要に応じて偶数位相か奇数位相を選択し、選択した位相の画素を間引いて出力する図3b。なお、R間引き回路とB間引き回路はその伝達関数Hzが等しくなるよう、セレクタの選択する信号を等しくする。つまり、R間引き回路のセレクタ402がローパスフィルタ401の出力を選択する場合、B間引き回路のセレクタでもローパスフィルタの出力を選択するようにする。また、R間引き回路で偶数位相奇数位相を選択して間引きする場合は、B間引き回路でも偶数位相奇数位相を選択して間引きを行う。この点に関しては後で詳述する。以上の構成を有する周波数分解回路101は、周波数帯域ごとに帯域制限された、YとRBの2プレーンから成るY/RB信号を出力する。上述の通り、このY/RBが像信号は周波数帯域ごとにバッファ103に記憶されるY/RB-1~Y/RB-4。このように、周波数分解回路101は周波数帯域を分割するだけでなく、R/G1/G2/B形式の画像信号をY/RBの2プレーンの画像信号とする。そのため、R/G1/G2/Bの4プレーンの画像信号を用いる場合と比較して必要となるバッファ103の容量を削減可能である。これにより、コストダウンおよび装置の小型化が実現できる。また、かつ単位時間あたりのメモリアクセスも削減可能なため、処理パフォーマンスの低下も抑制可能である。周波数合成回路102の構成周波数合成回路102は、まずRB補間回路115~118により、周波数帯域ごとにRおよびB信号に対して補間処理を行う。RB補間回路115~118はそれぞれ、図3bに示すように、R及びB信号が間引かれたY/RB-1~Y/RB-4に対し、RB間引き回路111~114が選択した位相に応じて補間の位相奇数位相又は偶数位相を補間する。つまり、偶数位相が間引かれていれば、偶数位相を補間し、奇数位相が間引かれていれば、奇数位相を補間する。補間対象の画素の隣接画素の平均値で補間する例を図3bに示す。なお、上述の通り図3ではR画素信号についてのみ記載しているが、B画素信号についても同様の補間処理を行う。RB補間回路115~118でRBが補間されたY/R/B信号は、Y間引き補間回路119~122と輝度信号処理回路123~126に出力される。図4a及び図4bは、Y間引き補間回路119の構成および動作の例を説明する図である。Y間引き補間回路119~122の構成及び動作は共通であるため、ここではY間引き補間回路119について説明する。ローパスフィルタ501は、例えば伝達関数Hz=1/21Z1を有する水平方向の一次元ローパスフィルタである。セレクタ502はローパスフィルタ501が適用された信号と、適用されない信号の一方を出力する。輝度Y間引き回路503は、間引き前のY信号のうち、必要に応じて偶数位相か奇数位相を選択し、選択した画素を間引いて出力する図4b。輝度Y補間回路504は、Y間引き回路503で水平方向に間引かれたY信号に対し、間引いた位相に応じた補間の位相を補間する。つまり、偶数位相が間引かれていれば、偶数位相を補間し、奇数位相が間引かれていれば、奇数位相を補間する。補間対象の画素の隣接画素の平均値で補間する例を図4bに示す。なお、RB間引き回路111~114のセレクタ402でローパスフィルタ411の出力を選択した場合、Y間引き補間回路119のセレクタ502でもローパスフィルタ501の出力を選択する。これにより、Y間引き補間回路の伝達関数Hzを、R間引き回路及びB間引き回路の伝達関数Hzと等しくする。また、RB間引き回路で偶数位相を選択して間引きを行った場合は、Y間引き回路503でも偶数位相を選択して間引く。また、RB間引き回路で奇数位相を選択して間引きを行った場合は、Y間引き回路503でも同様に奇数位相を選択して間引く。さらに、Y補間回路504でも、RB補間回路115~118が選択した位相に応じて補間の位相を選択する。先に述べたように、Y間引き補間回路119~122によって、RB間引き回路111~114とRB補間回路115~118と等価の処理を行うことで、Y信号と、R、B信号との周波数帯域が一致するようになる。また、RB間引き回路111~114とRB補間回路115~118とが、同じ位相で間引き及び補間を行うことで、Y信号と、R、B信号との位相も一致するようになる。信号処理部204内の処理におけるY信号とRB信号の帯域変化の例を図5を用いて説明する。図5a~図5gは、横軸が位相を示し、右側を高周波成分とする。また縦軸はゲインを示す。また、図3a及び図4aに、図5a~図5gに対応する信号が得られる位置a~gを示した。まずRB間引き回路に入力される、RB間引き前の状態図5aでは、Y信号の帯域と、R及びB信号の帯域は一致している。R,B信号にLPF401によりローパスフィルタ処理を行うと、図5bに示すようにR及びB信号の高周波成分が抑圧される。次にR,B信号が間引き回路403により間引かれ、図5cに示すように、高周波成分がカットされるとともに低周波成分に折り返し成分が発生する。間引かれたR、B信号はRB補間回路115~118により補間され、図5dに示すように、さらに高周波成分が抑圧される。次にY信号に対しても同様に、LPF501によりローパスフィルタ処理を行うと、図5eに示すように高周波成分が抑圧される。さらに、Y間引き回路503によりY信号が間引かれると、図5fに示すように、高周波成分がカットされ、低周波成分に折り返し成分が発生する。最後にY補間回路504によりY信号が補間されると、図5gに示すようにさらに高周波成分が抑圧され、R,B信号と同様の帯域を有するY信号となる。このように、Y信号とR,B信号とがそれぞれ同様の周波数帯域を有する信号となるようにすることで、Y信号とR,B信号の周波数帯域の差により生じる色スジの発生を抑圧することが可能である。Y間引き補間回路119~122で周波数帯域が揃えられたY/R/B信号は色信号処理回路127~130に入力される。色信号処理回路127~130は、フォーマット変換回路104の逆の処理を行う。すなわち、Cr=R-YCb=B-YとしてCr信号及びCb信号を生成し、各周波数帯域ごとにノイズ低減処理を適用する。ここで適用するノイズ低減処理の方法に制限はなく、公知かつ任意の方法を用いることができる。一例として、例えば特開2008-15741号公報に記載されている方法であってよい。具体的には、周波数帯域ごとに低周波画像と高周波画像を生成し、コアリング処理を行ってノイズ除去を行った高周波画像と、コアリング処理前の高周波画像とを、低周波画像のエッジ強度に応じて合成する方法である。低周波画像のエッジ強度が大きいほどコアリング処理前の高周波画像の重みを大きくすることで、元画像のエッジを保存しつつノイズ除去することができる。色信号処理回路127~130は、ノイズ低減処理したCr,Cb信号を合成回路131に出力する。色信号処理回路127~130が出力する周波数帯域ごとのCr、Cb信号は合成回路131で合成され、Cr、Cbの色差信号として出力される。Cr、Cbの色差信号についてはそれぞれ水平方向の解像度を1/2に落として1プレーンの色差信号CrCbとして出力しても良いし、Cr、Cbそれぞれ1プレーンとして出力しても良い。また、輝度信号処理回路123~126は、RB補間回路115~118から出力されたY/R/B信号に対し、例えば上述した方法で周波数帯域ごとにノイズ低減処理を適用する。輝度信号処理回路126~129で処理された各周波数成分ごとのY信号は合成回路131で合成されて出力される。このとき、輝度信号処理回路123~126に入力されるY/R/B信号のY信号に対しては、Y間引き補間回路119~122で行っているような周波数帯域制限処理がなされていないため、Y信号に対しては高周波成分を保持することが可能である。以上説明したように、本実施形態によれば、間引きと補間がなされた色信号に対して信号処理を適用する画像処理装置において、間引きと補間を行った色信号の処理に用いる輝度信号として、色信号と同様の間引き及び補間処理を行った輝度信号を用いる。これにより、色信号処理に用いる色信号と輝度信号の周波数帯域を揃えることができ、色信号のみ間引きと補間がなされる従来技術で発生していた色スジの発生を抑制することができる。このように、本実施形態においては、間引きと補間がなされた色信号に対して信号処理を適用する画像処理装置において、処理データ量の削減と画質低下の抑制を両立することが可能である。なお、この効果は、周波数帯域ごとに画像信号を信号処理する画像処理装置でなくても得ることができることは理解されよう。ただし、画像信号を複数の周波数帯域に分割し、周波数帯域ごとに信号処理を適用して合成する画像処理装置においては、より効果が大きい。つまり、このような画像処理装置では、周波数帯域ごとに発生した色スジの影響が合成によって加算されるが、本実施形態においては周波数帯域ごとの処理で色スジの発生を抑制するため、画質劣化抑制効果が大きい。また、色信号の間引きによる中間データの記憶容量及び記録装置へのアクセス低減という効果も、周波数帯域ごとに中間データを記憶する必要のある、周波数帯域ごとに信号処理を適用して合成する画像処理装置で顕著となることが理解されよう。第2の実施形態次に、本発明の第2の実施形態に係る画像処理装置について説明する。なお、本実施形態による画像処理装置は、信号処理部204の色信号処理回路127~130の処理以外は第1の実施形態と同様であるため、本実施形態における色信号処理回路127~130についてのみ説明する。図6は、本実施形態における色信号処理回路の構成例を示すブロック図である。図6では、同一構成を有する色信号処理回路127~130を代表して色信号処理回路127を示している。倍率色収差補正回路701は、結像光学系に起因する倍率色収差を補正する。ノイズリダクション回路702は第1の実施形態で説明したノイズリダクション処理を行う。倍率色収差補正回路701が行う倍率色収差の方法に特に制限はないが、例えば特開2008-15946号公報に開示されているように、Gの信号を基準として、R、Bの信号を本来あるべき位置の画素値と置き換えることで倍率色収差を補正する。ただし、本実施形態においてはG信号の代わりにY信号を基準として、R信号、B信号の倍率色収差を補正する。またR信号の倍率色収差を補正する際に、本来あるべき位置の画素の位置が実際の画素位置から1画素未満ずれている場合は、周辺のR信号の画素値から補間して、本来あるべき位置の画素値を計算する。B信号についても同様の置き換えを行い、Y信号に対してR信号、B信号の画素位置を補正することにより、倍率色収差を補正する。R信号、B信号にはフォーマット変換回路104の処理によりベイヤー配列のG信号も含まれているため、完全に倍率色収差を補正することは不可能だが、倍率色収差の影響を軽減することは可能である。倍率色収差補正されたY/R/Bの信号はノイズリダクション回路702に入力される。ノイズリダクション回路702では、Y信号と、倍率色収差が補正されたRB信号とから実施形態1と同様にCr,Cb信号を生成し、ノイズ低減処理を適用する。このように、本発明は、ノイズ低減処理だけでなく倍率色収差補正処理を行う画像処理装置においても有効であり、画像信号を周波数帯域ごとに処理する画像処理装置において、処理データ量の削減と画質低下の抑制を両立することが可能である。その他の実施形態なお、上述の実施形態においては、輝度信号処理回路123~126は、RB補間回路115~118の出力するY/R/B信号を用いてY信号に信号処理を行うものとして説明した。しかしながら、信号処理にY信号だけを用いる場合には、RB補間回路115~118を介する必要はない。あるいは、輝度信号処理回路123~126は、RB補間回路115~118から受けたY/R/B信号のうち、Y信号のみを用いる。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"