"分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、前記複数種類のフィルタの色が4色であり、第1の色が市松状に配置され、第2の色が前記第1の色の存在しない画素位置で水平及び垂直に1ラインおきに配置され、第3の色及び第4の色が前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されているカラーフィルタ。分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、前記複数種類のフィルタの色が5色であり、前記第1の色が市松状に配置され、前記第2の色及び第3の色の存在しない画素位置で水平及び垂直に1ラインおきの画素位置にランダムに配置され、前記第4の色及び第5の色が前記第1の色、前記第2の色、前記第3の色の存在しない画素位置にランダムに配置されているカラーフィルタ。前記第2の色と前記第3の色の分光感度の相関、並びに前記第4の色と前記第5の色の分光感度の相関が、他の色間の分光感度の相関に比べて高い請求項2に記載のカラーフィルタ。分光特性が異なる5種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、複数のフィルタの色のうち第1の色が水平及び垂直に1ラインおきに配置され、第2の色が水平及び垂直に1ラインおき、且つ前記第1の色とは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されているカラーフィルタ。任意の注目画素位置において、前記注目画素位置を含む規定された大きさの領域内における同じ色の存在頻度が所望の誤差範囲に収まる請求項4に記載のカラーフィルタ。前記複数のフィルタの色が5色であり、前記第1の色が水平及び垂直に1ラインおきに配置され、前記第2の色が水平及び垂直に1ラインおき、且つ前記第1の色とは異なるラインに配置され、第3の色が前記第1の色及び前記第2の色の存在しない画素位置に水平及び垂直に1ラインおきに配置され、第4の色及び第5の色が前記第1の色、前記第2の色、前記第3の色の存在しない画素位置にランダムに配置されている請求項5に記載のカラーフィルタ。前記第4の色と前記第5の色の分光感度の相関が、他の色間の分光感度の相関に比べて高い請求項6に記載のカラーフィルタ。分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、前記複数のフィルタの色が6色であり、前記第1の色が水平及び垂直に1ラインおきに配置され、前記第2の色が水平及び垂直に1ラインおき、且つ前記第1のとは異なるラインに配置され、第3の色及び第4の色が前記第1の色及び前記第2の色の存在しない画素位置で、水平及び垂直に1ラインおきの画素位置にランダムに配置され、第5の色及び第6の色が前記第1の色、前記第2の色、前記第3の色および前記第4の色の存在しない画素位置にランダムに配置されているカラーフィルタ。前記第3の色と前記第4の色の分光感度の相関、並びに前記第5の色と前記第6の色の分光感度の相関が、他の色間の相関に比べて高い請求項8に記載のカラーフィルタ。前記第1の色と前記第2の色の分光感度の相関が、他の色間の分光感度の相関に比べて高い請求項4乃至9のいずれかに記載のカラーフィルタ。分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、前記複数種類のフィルタの色が4色であり、第1の色が市松状に配置され、第2の色が前記第1の色の存在しない画素位置で水平及び垂直に1ラインおきに配置され、第3の色及び第4の色が前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されている撮像素子。分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、前記複数種類のフィルタの色が5色であり、前記第1の色が市松状に配置され、前記第2の色及び第3の色がの存在しない画素位置で水平及び垂直に1ラインおきの画素位置にランダムに配置され、前記第4の色及び第5の色が前記第1の色、前記第2の色、前記第3の色の存在しない画素位置にランダムに配置されている撮像素子。分光特性が異なる5種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、複数のフィルタの色のうち第1の色が水平及び垂直に1ラインおきに配置され、第2の色が水平及び垂直に1ラインおき、且つ前記第1の色とは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されている撮像素子。分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、前記複数のフィルタの色が6色であり、前記第1の色が水平及び垂直に1ラインおきに配置され、前記第2の色が水平及び垂直に1ラインおき、且つ前記第1のとは異なるラインに配置され、第3の色及び第4の色が前記第1の色及び前記第2の色の存在しない画素位置で、水平及び垂直に1ラインおきの画素位置にランダムに配置され、第5の色及び第6の色が前記第1の色、前記第2の色、前記第3の色および前記第4の色の存在しない画素位置にランダムに配置されている撮像素子。分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、前記複数種類のフィルタのうち1種類の所定のフィルタが市松状の画素位置に配置され、残りのフィルタの一部もしくは全てが前記所定のフィルタが位置しない画素位置にランダムに配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、前記入力手段が入力した画像データ内の前記所定の色が存在しない画素位置における第1の色の画素値を、その周囲に存在する前記第1の色を用いて補間して第1の画像を生成する第1の補間手段と、前記第1の色以外の第2の色の画素値は注目画素位置を含む局所領域に存在する前記第1の色及び前記第2の色を用いて補間して第2の画像を生成する第2の補間手段とを有する画像処理装置。前記第1の補間手段が生成した前記第1の画像と前記第2の補間手段が生成した前記第2の画像とを含む複数の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記複数の画像の中から1つの画像を、前記複数の画像間の相関に基づいて修正する修正手段と、前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段とを有する請求項15に記載の画像処理装置。分光特性が異なる5種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、複数のフィルタの色のうち第1の色が水平及び垂直に1ラインおきに配置され、第2の色が水平及び垂直に1ラインおき、且つ前記第1の色とは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、前記入力手段が入力した画像データ内の注目画素位置を含む局所領域に存在する前記第1の色と前記第2の色の画素値を用いて注目画素位置における新たな第3の色の画素値を補間する第1の補間手段と、前記カラーフィルタが持つ複数種類のフィルタの各色の画素値を注目画素位置を含む局所領域に存在する第3の色及び前記各色の画素値を用いて補間する第2の補間手段とを有する画像処理装置。前記第2の補間手段が生成した前記各色の複数の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記複数の画像の中から1つの画像を、前記複数の画像間の相関に基づいて修正する修正手段と、前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段とを有する請求項17に記載の画像処理装置。単板カラー撮像素子に使用される色フィルタをランダムに配置して偽色の発生を抑える発明や、フィルタの色数を増やして色再現やダイナミックレンジを向上させる発明がなされてきたが、Bayer配列を代表とする従来の配列に比べて解像度が低下し、間引き加算読み出しでの不具合を生じさせるという問題があった。本発明は上記問題を解決し、Bayer配列に比べてより多くの色数のフィルタを用いても、解像度の低下や偽色の発生が十分に抑制でき、間引き加算読み出しにも対応できるカラーフィルタ、撮像素子および画像処理装置を提供することを目的とする。上述した従来技術の問題点を解決し、上述した目的を達成するため、第1の発明のカラーフィルタは、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、前記複数種類のフィルタの色が4色であり、第1の色が市松状に配置され、第2の色が前記第1の色の存在しない画素位置で水平及び垂直に1ラインおきに配置され、第3の色及び第4の色が前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されている。第2の発明のカラーフィルタは、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、前記複数種類のフィルタの色が5色であり、前記第1の色が市松状に配置され、前記第2の色及び第3の色がの存在しない画素位置で水平及び垂直に1ラインおきの画素位置にランダムに配置され、前記第4の色及び第5の色が前記第1の色、前記第2の色、前記第3の色の存在しない画素位置にランダムに配置されている。第3の発明のカラーフィルタは、分光特性が異なる5種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、複数のフィルタの色のうち第1の色が水平及び垂直に1ラインおきに配置され、第2の色が水平及び垂直に1ラインおき、且つ前記第1の色とは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されている。第4の発明のカラーフィルタは、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、前記複数のフィルタの色が6色であり、前記第1の色が水平及び垂直に1ラインおきに配置され、前記第2の色が水平及び垂直に1ラインおき、且つ前記第1のとは異なるラインに配置され、第3の色及び第4の色が前記第1の色及び前記第2の色の存在しない画素位置で、水平及び垂直に1ラインおきの画素位置にランダムに配置され、第5の色及び第6の色が前記第1の色、前記第2の色、前記第3の色および前記第4の色の存在しない画素位置にランダムに配置されている。第5の発明の撮像素子は、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、前記複数種類のフィルタの色が4色であり、第1の色が市松状に配置され、第2の色が前記第1の色の存在しない画素位置で水平及び垂直に1ラインおきに配置され、第3の色及び第4の色が前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されている。第6の発明の撮像素子は、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、前記複数種類のフィルタの色が5色であり、前記第1の色が市松状に配置され、前記第2の色及び第3の色がの存在しない画素位置で水平及び垂直に1ラインおきの画素位置にランダムに配置され、前記第4の色及び第5の色が前記第1の色、前記第2の色、前記第3の色の存在しない画素位置にランダムに配置されている。第7の発明の撮像素子は、分光特性が異なる5種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、複数のフィルタの色のうち第1の色が水平及び垂直に1ラインおきに配置され、第2の色が水平及び垂直に1ラインおき、且つ前記第1の色とは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されている。第8の発明の撮像素子は、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、前記複数のフィルタの色が6色であり、前記第1の色が水平及び垂直に1ラインおきに配置され、前記第2の色が水平及び垂直に1ラインおき、且つ前記第1のとは異なるラインに配置され、第3の色及び第4の色が前記第1の色及び前記第2の色の存在しない画素位置で、水平及び垂直に1ラインおきの画素位置にランダムに配置され、第5の色及び第6の色が前記第1の色、前記第2の色、前記第3の色および前記第4の色の存在しない画素位置にランダムに配置されている。第9の発明の画像処理装置は、分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、前記複数種類のフィルタのうち1種類の所定のフィルタが市松状の画素位置に配置され、残りのフィルタの一部もしくは全てが前記所定のフィルタが位置しない画素位置にランダムに配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、前記入力手段が入力した画像データ内の前記所定の色が存在しない画素位置における第1の色の画素値を、その周囲に存在する前記第1の色を用いて補間して第1の画像を生成する第1の補間手段と、前記第1の色以外の第2の色の画素値は注目画素位置を含む局所領域に存在する前記第1の色及び前記第2の色を用いて補間して第2の画像を生成する第2の補間手段とを有する。第10の発明の画像処理装置は、分光特性が異なる5種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、複数のフィルタの色のうち第1の色が水平及び垂直に1ラインおきに配置され、第2の色が水平及び垂直に1ラインおき、且つ前記第1の色とは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色及び前記第2の色の存在しない画素位置にランダムに配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、前記入力手段が入力した画像データ内の注目画素位置を含む局所領域に存在する前記第1の色と前記第2の色の画素値を用いて注目画素位置における新たな第3の色の画素値を補間する第1の補間手段と、前記カラーフィルタが持つ複数種類のフィルタの各色の画素値を注目画素位置を含む局所領域に存在する第3の色及び前記各色の画素値を用いて補間する第2の補間手段とを有する。本発明によれば、Bayer配列に比べてより多くの色数のフィルタを用いても、解像度の低下や偽色の発生が十分に抑制でき、間引き加算読み出しにも対応できるカラーフィルタ、撮像素子および画像処理装置を提供することができる。以下、本発明の実施形態に係わるカラーフィルタ、撮像素子および画像処理装置について説明する。<第1実施形態>第1実施形態は、第1および第3の観点の発明の一例である。本実施形態のフィルタ配列は、画素毎に、分光特性色が異なる複数種類のフィルタのうちどれか1つを貼るようにしてつくった画像センサのフィルタ配列であり、4つ以上の色を含み、色C1が市松状に配置され、残りの色の一部もしくは全てが色C1の存在しない画素位置にランダムに配置されるカラーフィルタ配列である。なお、本実施形態において、色とは、フィルタ、あるいはそのフィルタから得られた画素値等を示している。このように定められたカラーフィルタ配列では、4色以上のカラーフィルタを用いることにより、3色のカラーフィルタ配列に比べ色再現やダイナミックレンジを向上させることができる。色C1については市松の配列を持つので、Bayer配列のG市松配列に対して使われてきた相関処理を適用でき、高周波数帯域まで信号が再現できる。画素数の少ない色C1以外の色CXにおいて発生しやすい偽色の問題についても、ランダムな配列を用いて抑制することができ、さらに色C1をリファレンスとして色CXの高周波成分を推定補間することで、最終的に全画素位置で得られる色CXも高周波数成分を含んだ信号として再現できる。本実施形態のカラーフィルタ配列の一例を図3に示す。本例ではC1が市松状に配置され、色C2C3C4C5がC1の存在しない位置にランダムに配置された5色の配列になっている。また、本実施形態のカラーフィルタ配列は、好ましくは、配列内の任意の注目画素位置において、注目画素位置を含む規定された大きさの領域内に存在する色の存在頻度が所望の誤差範囲に収まるように規定されている。ある注目画素位置における不明な色を推定するためには、近傍にその色が存在している必要がある。そこで、局所領域における色の存在頻度を所望の範囲に収め、特定の色が極端に偏って存在するフィルタ配列を除外しなければならない。上記の条件を満たす配列は、複数回のランダム配置の試行結果から得ても良いし、EP公告広報第0804037号で言及されているように、デジタルハーフトーンで用いられている局所領域内で色を一様にランダム分布させる技術を利用してもよい。このように本実施形態で述べるランダムという言葉は、必ずしも完全ランダムを意味せず、長周期で繰り返しを起こす擬似ランダムであっても構わない。また、フィルタ配列の端における色の存在頻度については、配列の上下が接合され、同様に左右も接合された空間で考えても良いし、規定された大きさの領域に比べて、フィルタ配列が十分に大きければ、端に関しては無視しても構わない。図3に示すカラーフィルタ配列では、色C1が市松状に配置され、色C2C3C4C5がC1の存在しない位置にランダムに配置された5色の配列であり、規定された大きさの領域を15x15画素の矩形とし、C1の存在頻度が比率として12、色C2C3C4C5の存在頻度をそれぞれ18とし、存在頻度の誤差を±150としている。また、本実施形態では、上記カラーフィルタ配列において、第1の変形例として、フィルタ配列に含まれる色が4色であり、第1の色C1が市松状に配置され、第2の色C2が色C1の存在しない画素位置で水平及び垂直に1ラインおきに配置され、第3の色C3及び第4の色C4が色C1及び色C2の存在しない画素位置にランダムに配置されるようにしてもよい。このように定められたフィルタ配列では、C1とC2が規則正しく配列され、C3とC4がランダムに配置される。色C1は撮像素子全体の約12の画素数を持ち、色C2は約14の画素数を持つ。色C3C4は2色合わせて約14の画素数しか持たないので、例えば色C3、C4がほぼ同数あるとすると、色C3C4はそれぞれ約18の画素数しか持たないため、解像度が低く偽色が発生しやすいが、ランダムに配置することで、偽色の発生を低減することができる。また、本実施形態の上記第1の変形例のカラーフィルタ配列は、例えば、色C3と色C4の分光感度の相関が高いフィルタ配列である。このように定められたカラーフィルタ配列では、例えば色C1をGとし、色C2をRとし、色C3をBとし、色C4をBに分光感度の近いB’とすると、Bayer配列においてBが配置されている位置に、色BとB’がランダムに配置されている配列であると考えられる。以下、この配列を4色G市松ランダム配列と呼ぶ。4色G市松ランダム配列を図4に示す。固体撮像素子の間引きや加算読み出し方法として現在用いられている技術の大半は、Bayer配列を元にして考えられており、読み出した結果得られる配列がやはりBayer配列になっていることを特徴としている。間引き読み出しと加算読み出しを組み合わせて固体撮像素子から高速に信号を読み出す例を図5に示す。この例では垂直8ライン中、4ラインが間引かれると同時に、水平方向については1ライン飛ばしで同色同士の加算が行われ、垂直方向については3ライン飛ばしで同色同士の加算が行われる。これらの従来用いられてきた読み出し方法を4色G市松ランダム配列に適用した場合、間引き読み出しでは、読み出し後にも4色G市松ランダム配列になることは明らかである。間引き読み出しを行った後でもなお、上述した存在頻度に関する条件を満たすようにあらかじめ配列を決定しておくと、より好ましい。加算読み出しの場合、色GとRについてはBayer配列と同じ条件になるが、色BとB’が区別なく加算されて出力される。例えば4画素を加算する場合を考えると、1色Bの画素が4個、色B’の画素が0個加算される場合、2色Bの画素が3個、色B’の画素が1個加算される場合、3色Bの画素が2個、色B’の画素が2個加算される場合、4色Bの画素が1個、色B’の画素が3個加算される場合、5色Bの画素が0個、B’の画素が4個加算される場合の5通りがある。つまり、単色の領域であっても加算される色BとB’の個数の違いによって、Bayer配列のBの位置で得られる画素値が異なってしまうことになる。しかし、色分離処理における計算の特徴により、本実施形態のカラーフィルタ配列で述べた色の存在頻度に比例して色BとB’の画素値をブレンドした色を新たな色B’’とすると、加算読み出しによって得られた配列はRGB’’のBayer配列と見なすことができる。Bayer配列の色分離処理では色RBはその低周波成分さえ分かれば、色Gをリファレンスにして高周波成分まで含んだ信号を推定できることが知られている。例えば、ある画素位置pにおける色Gの画素値をG、G、Bの低周波成分をGlow、BlowとするとBの画素値Bは下記式を用いて推定することができる。低周波成分は、画素位置pの近傍に存在する色GやBの加算平均として計算される。RGB画像の大半の部分において、色RとGとBの画素値の間には強い正の相関が存在する。そのため、図6に示されるように、横軸を色Gの画素値、縦軸を色Bの画素値とした空間に対し、局所領域に存在する画素をプロットすると、限られた狭い領域内に画素が分布する。この分布は原点と分布の中心を通る線形回帰直線、つまり式で表される直線を用いて近似することができる。ここで加算読み出しによって得られた配列に対して、Bayer配列の色Bに対して行われる低周波成分の算出と同じ計算を行うことを考える。この計算は色BとB’が加算された結果をさらにある局所範囲内で加算平均したものである。加算前の配列に対する計算として考えると、画素位置pの近傍に存在する色B、B’を加算平均したものに過ぎない。色BとB’の分光感度が近いことから、同じ入射光パターンに対しては、ほぼ同じ周波数特性を示すことが期待でき、さらに十分に局所領域が大きければ、色BとB’の加算される画素数の比率は上述した色の存在頻度に近付くことが期待できる。この特徴により、加算読み出しによって得られた配列を用いて、色RGB’’のBayer配列における色B’’の低周波成分を近似することができる。色B’’の低周波成分が分かれば、B’’の画素値は式に示されるようにGをリファレンスとして推定できることから、加算読み出しによって得られた配列はRGB’’のBayer配列の代わりとして用いることができる。間引き読み出しと加算読み出しを組み合わせた場合も、同様の理由でRGB’’のBayer配列の代わりとして用いることができる。本実施形態のカラーフィルタ配列は、第2の変形例として、フィルタ配列に含まれる色が5色であり、第1の色C1が市松状に配置され、第2の色C2及び第3の色C3がC1の存在しない画素位置で、水平及び垂直に1ラインおきの画素位置にランダムに配置され、第4の色C4及び第5の色C5がC1C2C3の存在しない画素位置にランダムに配置される。このように定められたフィルタ配列では、フィルタ配列の色数を増やすことによって、さらに色再現やダイナミックレンジを向上させることができる。上記第2の変形例において、上記カラーフィルタ配列において、C2とC3の分光感度の相関が高く、C4とC5の分光感度の相関が高いフィルタ配列にしてもよい。このように定められたカラーフィルタ配列では、例えばC1をGとし、C2をRとし、C3をRに感度の近いR’とし、C4をBとし、C5をBに感度の近いB’とすると、Bayer配列においてRが配置されている位置に、RとR’がランダムに配置され、Bが配置されている位置に、BとB’がランダムに配置されている配列であると考えられる。以下、この配列を5色G市松ランダム配列と呼ぶ。5色G市松ランダム配列を図7に示す。5色G市松ランダム配列に対して、加算読み出しや間引き読み出しを行った場合も、請求項11で述べた色の存在頻度に比例してRとR’の画素値をブレンドした色を新たな色R’’とし、上記カラーフィルタ配列で述べた色の存在頻度に比例してBとB’の画素値をブレンドした色を新たな色B’’とすると、4色G市松ランダム配列と同様の理由で、読み出し後の配列はR’’GB’’のBayer配列として扱うことができる。以下、本発明を内部に実装した撮像装置の例を説明する。図8は本実施形態であるデジタルビデオカメラシステム100の構成を示すブロックダイアグラムである。図8に示すようにデジタルビデオカメラシステム100は、レンズ101、絞り102、CCDイメージセンサ103、相関2重サンプリング回路104、ADコンバータ105、DSPブロック106、タイミングジェネレータ107、DAコンバータ108、ビデオエンコーダ109、ビデオモニタ110、CODEC111、メモリ112、CPU113および入力デバイス114から構成される。ここで、入力デバイス114はカメラ本体にある録画ボタンなどの操作ボタン類をさす。また、DSPブロック106は信号処理用プロセッサと画像用RAMを持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下DSPブロックを単にDSPと呼ぶ。光学系を通過してCCD103に到達した入射光は、まずCCD撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関2重サンプリング回路104によってノイズ除去され、ADコンバータ105によってデジタイズされた後、DSP106中の画像メモリに一時格納されるようになっている。撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ107が信号処理系を制御するようになっている。DSP106へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはDAコンバータ108もしくはCODEC111あるいはその両方に送られる。DAコンバータ108はDSP106から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ109がビデオ信号に変換し、そのビデオ信号をビデオモニタ110でモニタできるようになっていて、このビデオモニタ110は本実施例においてカメラのファインダの役割を担っている。また、CODEC111はDSP106から送られる画像データに符号化をおこない、符号化された画像データはメモリ112に記録されるようになっている。ここで、メモリ112は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってもよい。以上が本実施例のデジタルビデオカメラのシステム全体の説明であるが、本実施例中で本発明が実現されているのは、DSP106における画像処理である。以下その画像処理の部分を詳細に説明する。前述のように、本実施例の画像処理部は実際には、DSP106で実現されている。したがって本実施例の構成においては、画像処理部の動作は、DSP106内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現されている。以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本発明は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して構成してもよい。CCD103のオンチップカラーフィルタには本発明のフィルタ配列が用いられているものとする。一時格納状態での画像は各画素1つの色しか持たない。DSP106はあらかじめ組み込まれた画像処理プログラムによってこの画像を処理し、全画素において全色もつ画像データを生成する。本実施形態では図7に示す5色G市松ランダム配列から得られたモザイク画像に対して画像処理を行う場合説明する。まず、市松状に得られたGの画素値を用い、全画素位置のGの画素値を算出する。続いて、Gをリファレンスとし、RR’BB’を全画素位置で補間する。このようにして全画素位置に全ての色が揃った画像に対し、MSSyncNRを適用し、偽色を除去する。図9は本実施例のブロックダイヤグラムである。5色G市松ランダム配列より得られたRR’GBB’モザイク画像が入力され、G補間部201、R補間部202、R’補間部203、B補間部204、B’補間部205により全画素位置で全ての色が補間された画像であるRR’GBB’補間画像1206が得られる。さらにRR’GBB’補間画像206に対して、RMSSyncNR部207、R’MSSyncNR部208、BMSSyncNR部209、B’MSSyncNR部210を適用し、最終出力であるRR’GBB’補間画像211を得る。[G補間部]G補間部201では全画素位置にGの画素値を補間する。他の色に比べて画素数が多いので、Bicubic補間のような簡易な補間方法を用いても高い解像度を持った補間結果が得られる。ここでは、Gが市松状に並べられている特長を生かす補間方法の一例として、特許番号2931520号単板式カラービデオカメラの色分離回路で述べられている補間方法を用いて説明を行う。図10は図9のG補間部201の処理手順を示すフローチャートである。以下、このフローチャートに基づいて手順を説明する。G補間部201は、ループ302により、ループ内の処理を全画素位置において行う。一回のループにおいて処理される一つの画素の事を、ここでは注目画素と呼ぶ。G補間部201は、ステップST301において、モザイク画像中の注目画素位置近傍の画素値を読み込む。次に、G補間部201は、ステップST303において、注目画素におけるフィルタの色がGであるかどうかを判定する。次に、G補間部201は、ステップST303において、フィルタの色がGであると判定された場合、ステップST304により、注目画素の画素値をGの画素値とする。次に、G補間部201は、ステップST303において、フィルタの色がGではないと判定された場合、ステップST305に進む。次に、G補間部201は、ステップST305において、以下式により、水平グラディエントGradHを算出し、下記式により水平補間GHを算出する。Mは注目画素位置におけるモザイク画像の画素値を表すものとする。同様に、G補間部201は、ステップST306において、以下式により、垂直グラディエントGradVを算出し、下記式により垂直補間GVを算出する。これら、GradH、GradV、GH、GVを用い、ステップST307において、注目画素のGの画素値Gが式により補間される。ステップST304若しくはステップST307が終了したところで当該注目画素におけるGの画素値の補間が完了するので、次の注目画素位置の処理のために次のループ処理を行う。全画素においてループ処理が終了したらループ302を抜け、G補間部201の処理を完了する。[R補間部202、R’補間部203、B補間部204、B’補間205]R補間部202、R’補間部203、B補間部204、B’補間部205は対象とする色が異なる以外は同等の処理であるので、ここではR補間部202を例にして説明を行う。R’BB’に関する補間部203、204、205についてはR補間部202の説明内で用いられているRの表記をR’BB’に読み替えれば良い。図11は、図9のR補間部202の処理手順を示すフローチャートである。以下、このフローチャートに基づいて手順を説明する。R補間部202は、ループ403により、ループ内の処理を全画素位置において行う。一回のループにおいて処理される一つの画素のことを、ここでは注目画素と呼ぶ。R補間部202は、ステップST401により図9のG補間部201で算出された当該注目画素近傍のGの画素値を読み込む。さらにR補間部202は、ステップST402によりRR’GBB’モザイク画像中の注目画素位置近傍の画素値を読み込む。次に、R補間部202は、ステップST404において注目画素におけるG画素の低周波成分Glowを算出し、ステップST405において注目画素におけるR画素の低周波成分Rlowを算出する。R補間部202は、これらGlow、Rlowを用い、ステップST406において、注目画素のRの画素値Rを式により補間する。ステップST406が終了したところで当該注目画素におけるRの画素値の補間が完了するので、次の注目画素の処理のために次のループ処理を行う。全画素においてループ処理が終了したらループ403を抜け、R補間部202の処理を完了する。図12aは図11のステップST404の処理手順の詳細を示したフローチャートである。この処理は局所領域内に含まれるG画素を加算平均する処理であり、FIRフィルタによるローパスフィルタを構成している。先ず、R補間部202は、ステップST501により、変数Glowに0を設定して初期化する。続いて、R補間部202は、ループ502により、ループ内の処理を注目画素を含む局所領域内の全画素位置において行う。ここで用いる局所領域は、上述した予め規定された大きさの領域と同一のものである。一回のループにおいて局所領域内で処理される一つの画素の事を、ここでは局所内注目画素と呼ぶ。R補間部202は、ステップST503ではGにWGを乗算したものをGlowに加算し、その結果を新たなGlowとする。ここで、Gは局所内注目画素位置におけるGの画素値、WGは重み付け係数を表すものとする。WGはローパスフィルタとなる係数であれば良く、係数の総和が1になるように選ばれる。ステップST503が終了したところで当該局所内注目画素における処理が完了するので、次の局所内注目画素位置の処理のために次のループ処理を行う。全局所内画素においてループ処理が終了したらループ502を抜け、R補間部202のステップST404の処理を完了する。図12bは図11のステップST405の処理手順の詳細を示したフローチャートである。この処理は局所領域内に含まれるR画素を加算平均する処理であり、FIRフィルタによるローパスフィルタを構成している。先ず、R補間部202は、ステップST601により、変数Rlowが0に初期化される。続いて、R補間部202は、ループ602により、ループ内の処理を注目画素を含む局所領域内の全画素位置において行う。ここで用いる局所領域は、上述した予め規定された大きさの領域と同一のものである。R補間部202は、ステップST603では局所内注目画素におけるフィルタの色がRであるかどうかを判定する。R補間部202は、ステップST603において、フィルタの色がRであると判定された場合、ステップST604により、MにWRを乗算したものをRlowに加算し、その結果を新たなRlowとする。ここで、Mは局所内注目画素位置におけるモザイク画像の画素値、WRは重み付け係数を表すものとする。WRはローパスフィルタとなる係数であれば良く、係数の総和が1になるように選ばれる。ただし、R画素はランダムに配列されているため、局所領域内のRの配置に応じて、異なるWRが用いられる。また、WGにより構成されるローパスフィルタの特性になるべく近づくようにWRが選ばれることが好ましい。ステップST604が終了したところで当該局所内注目画素における処理が完了するので、次の局所内注目画素位置の処理のために次のループ処理をおこなう。全局所内画素においてループ処理が終了したらループ602を抜け、R補間部202のステップST405の処理を完了する。[RMSSyncNR部207、R’MSSyncNR部208、BMSSyncNR部209、B’MSSyncNR部210]RMSSyncNR部207、R’MSSyncNR部208、BMSSyncNR部209、B’MSSyncNR部210は対象とする色が異なる以外は同等の処理であるので、ここではRMSSyncNR207を例にして説明を行う。R’BB’に関するMSSyncNR部208、209、210についてはRMSSyncNR207の説明内で用いられているRの表記をR’BB’に読み替えれば良い。図13は図9のRMSSyncNR部207の詳細を示したブロックダイアグラムである。図13に示す構成は、GとRの2チャネルの入力によりRに対してノイズ除去をおこなった出力を算出するようになっている。Gに対してRの相関がない成分が除去されれば偽色は除去されるので、本発明ではGに対するノイズ除去はおこなわない。しかしながら実用においては、Gに対してなんらかのノイズ除去をおこなった後に本発明によりRのノイズ除去をおこなうようにするのがより適切である。RMSSyncNR部207は2つ多重解像度変換部701、702、多重解像度逆変換部717、多重解像度のレイヤ数より1少ない数図13では3の修正部711、712、713によって構成される。第1の多重解像度変換部701はGチャネルの入力画像を多重解像度画像データに変換し、その結果多重解像度の各レイヤの画像信号を対応するメモリ703、704705、706に格納する。同様に、第2の多重解像度変換部702はRチャネルの入力画像を多重解像度画像データに変換し、その結果多重解像度の各レイヤの画像信号を対応するメモリ707、708、709、710に格納する。3つの修正部711、712、713は、最低解像度のレイヤ以外のレイヤにそれぞれ対応し、各レイヤのG、Rチャネルの画像を入力として、ノイズが混在した各画素の修正をおこなって、ノイズが除去されたRチャネル画像を生成し、それを対応する画像メモリ714、715、716に格納する。以下、修正部711、712、713について詳細に説明する。修正部711、712、713は同様の構成を有し同様の動作を行うので、ここでは一例として修正部711について説明する。図14は、修正部711の構成の一例を示すブロック図である。図14に示すように、修正部711は、サンプリング処理部801及び802、分散算出処理部803、クリッピング処理部804、除算処理部805、共分散算出処理部806、乗算処理部807を有する。サンプリング処理部801は、当該するレイヤのGチャネル画像から、注目画素位置に対応して設定される所定位置の近傍画素から複数個のGチャネル画素値をサンプリング抽出し、乗算処理部807、分散算出処理部803、および共分散算出処理部806に供給する。サンプリング処理部802は、当該するレイヤのRチャネル画像から、注目画素位置に対応して設定される所定の位置の近傍画素から複数個のRチャネル画素値をサンプリング抽出し、共分散算出処理部806に供給する。尚、サンプリング処理部801,802は、注目画素位置に対して設定される同一の所定の位置のG画素値とR画素値を抽出する。分散算出処理部803は、サンプリングされたGの画素値に基づいて、Gの注目画素周辺の分散値を算出し、クリッピング処理部804に供給する。共分散算出処理部806は、サンプリングされたGとRの画素値に基づいて、それらの共分散値を算出し、除算処理部805に供給する。クリッピング処理部804は、Gチャネルのサンプルの分散値が所定の閾値より小さい場合、その閾値でクリッピングし、除算処理部805に供給する。除算処理部805は、クリッピング処理部804より供給される分散値により、共分散算出処理部806より供給される共分散値を除算し、分散値に対する共分散値の割合として乗算処理部807に供給する。尚、クリッピング処理部804の処理は、後続の除算処理部805がを算出するため、0割を回避するための処理である。乗算処理部807は、に注目画素位置のGチャネル画素値を乗じることで注目画素のノイズ除去されたRチャネル画素値を推定し、それを出力する。ここで、修正部711、712、713の処理の詳細について説明する。修正部711、712、713は、チャネル間相関を利用した画素値推定方法により画素値を修正している。より具体的には、チャネル間相関を利用した画素値推定方法は、局所領域に注目した場合、2つのチャネル例えばGとR間には線形な関係があるという仮定に基づいて、局所領域内のある画素位置Rの推定値を線形回帰計算によって算出するというものである。例えば、画像中の注目画素周辺の局所領域においてC1チャネル例えばGの画素値のサンプル注目画素の位置に対応する所定の位置の複数の画素の画素値{C11,C12,C13,,C1N}とC2チャネル例えばRの画素値のサンプル注目画素の位置に対応する所定の位置の複数の画素の画素値{C21,C22,C23,,C2N}とが得られたとき、上述した両者間の線形な関係があると仮定することにより、C2チャネルの注目画素位置の輝度推定値C2C’は注目画素位置のC1チャネルの輝度値C1Cから以下の式により推定することができる。ここで、MC1は、その局所領域におけるC1チャネルの期待値、MC2は、C2チャネルの期待値、VC1C2は、C1,C2チャネルの共分散値、VC1C1は、C1チャネルの分散値である。また、共分散値VC1C2および分散値VC1C1は、それぞれ以下の式,式により求められる。式,式において、wiは、所定の重み係数である。従って、上述した式を算出することでノイズを除去することが可能となる。しかしながら、図13で示されるようにRMSSyncNR部207には多重解像度変換部701、702が設けられており、修正部711は、帯域毎に分離された画像に対して上述した2チャネルの相関を利用して画素値を修正することになる。ところで、多重解像度変換により生成された複数のレイヤの画像においては、画像の直流成分は最低解像度のレイヤに集中するので、それ以外のレイヤでは局所的な画素の期待値は0になる。結果として、多重解像度処理を利用する場合、上述した式乃至式は、以下の式乃至式で置き換えられることになる。従って、図14の分散算出処理部803は、実質的に式により分散値を算出し、共分散算出処理部806は、式により共分散値を算出し、さらに、乗算処理部807は、式により画素値を修正している補正している。さらに、式乃至式の共分散値および分散値の算出処理にあたり、コンピュータによる算出処理で処理負荷の大きな乗算処理を軽減させるため、近似関数を用いて、乗算処理回数を低減させるようにしてもよく、例えば、以下の式乃至式のような近似関数により算出するようにしてもよい。また、多重解像度逆変換部717は、各レイヤのノイズ除去されたRチャネル画像と、最低解像度のレイヤのRチャネル画像を入力として、元画像と同じ解像度の画像へ統合し、出力する。以上説明したように、本実施形態では、4色以上の色フィルタを持ち、一部の色が規則的に配置され、残りの色がランダムに配置された単板カラー撮像素子に使用される色フィルタの配列を定義し、本フィルタ配列を持つカラーフィルタを用いた画像処理装置を構成する。本実施形態のカラーフィルタは、従来用いられてきたBayer配列と比べ色数が多く、色再現やダイナミックレンジを向上させることができる。また、本実施形態のカラーフィルタは、規則的に配置された色フィルタの存在により、Bayer配列同等の解像度を得ることができると同時に、ランダム配列と図9に示すRMSSyncNR部207、R’MSSyncNR部208、BMSSyncNR部209、B’MSSyncNR部210を用いることで、効果的に偽色の発生を低減させることができる。すなわち、本実施形態のカラーフィルタで得られたモザイク画像ではC1が全画素数の半分を占めるため、他の色に比べて高い解像度を持つ。そこで、まず全画素位置においてまずC1を揃え、それをリファレンスとして他の色の高周波成分を推定補間することで、全色が高い解像度をもった補間結果を得ることができる。また、本実施形態では、カラーフィルタから得られたモザイク画像に対して画像処理を適用して得られた画像は、特定の空間周波数帯域に偏った偽色の発生が抑制され、様々な空間周波数帯域に少しずつ偽色が分散して存在している。このため人間に知覚され難く、RMSSyncNR部207、R’MSSyncNR部208、BMSSyncNR部209、B’MSSyncNR部210を用いて効果的に除去することができる。RMSSyncNR部207、R’MSSyncNR部208、BMSSyncNR部209、B’MSSyncNR部210を用いた処理は、チャネル間相関を利用した画素値推定方法と同じ考え方に基づき、基準となるチャネル例えばG信号に対して他のチャネル信号の相関がなるべく高くなるように推定する処理をおこなうことにより、チャネル間の無相関な成分を低減し、クロマ成分に混在するノイズ成分である、色ムラや色ズレという現象をなくすことのできる画像処理方法である。本実施形態で得られた画像は、色ムラを含んだ画像と同じ特徴を持つ。様々な空間周波数帯域に分散して偽色が存在する画像は、チャネル間の相関が低くなっている状態であり、RMSSyncNR部207、R’MSSyncNR部208、BMSSyncNR部209、B’MSSyncNR部210を用いて相関を高めることで、偽色を除去することができる。なお、本実施形態のカラーフィルタは、間引き読み出し、加算読み出しを行った場合にはBayer配列同等の配列と見なすことができる。<第2実施形態>第2実施形態は、第2および第4の観点の発明の一例である。本実施形態のカラーフィルタ配列は、第1実施形態で説明したカラーフィルタ配列において色C1が市松状に配置されていた点を二つの色C1aとC1bの規則的配置に置き換えたものである。特開2005160044号公報に述べられているように、C1aとC1bの規則的配置からC1aとC1bに基づいて作られた新たな色C1cをC1aとC1bが存在する全画素上に補間することができる。C1aとC1bの代わりにC1cを配置した配列は、第1実施形態で説明したフィルタ配列と等しい。すなわち、本実施形態のカラーフィルタは、第1実施形態で説明したカラーフィルタの利点を持ちながら、フィルタの色数が一つ増えることにより、さらに色再現やダイナミックレンジを向上させることができる。図15は、本実施形態のカラーフィルタの構成を説明するための図である。図15に示すように、本実施形態のカラーフィルタは、GとG’の2色で市松配置を構成し、残り4色をランダムに配置している。図16は、図15に示す本実施形態のカラーフィルタを用いた場合におけるデモザイク処理を説明するための図である。図16に示すように、本実施形態の画像処理装置は、図9と対比すると、G補間部201に代わって補間部a201を用い、R補間部202と同じ処理がGとG’用に追加され、その結果5プレーンでなく6プレーン画像RR’GG’BB’補間画像1a208が生成される。その後段のノイズ除去処理では、G画像、G’画像はランダム配列に起因するノイズが発生しないためノイズ除去処理をスルーし、図9と同様にRR’BB’画像の4つに対してMSSyncNR処理がおこなわれる。なお、補間部a201の実現には、特開2005160044号公報に開示された補間処理アルゴリズムを利用することができる。当該公報には、2色で市松配置を構成する配列の当該2色C1C2から第3の色をC3を全画素に補間する処理について記載されている。本実施形態においても、第1実施形態で説明した図8示すブロック構成、並びに図9に示すフローチャートが適用できる。本実施形態のカラーフィルタの変形例として、図17に示す構成を用いてもよい。当該カラーフィルタでは、GとG’の2色で市松配置を構成し、Rが水平垂直に1画素おきに配置され、残り2色がランダムに配置されている。本実施形態のカラーフィルタは、例えば、色C1をC1aとC1bに置き換えることによって、さらに色再現やダイナミックレンジを向上させることができることができる。また、色C1aと色C1bの分光感度の相関が、他の色間の分光感度の相関に比べて高いことが好ましい。すなわち、特開2005160044号公報に述べられているように、C1aとC1bの規則的配置からC1aとC1bに基づいて作られた新たな色C1cを作る場合、C1aとC1bの分光感度の相関が高い方が好ましい。また、本実施形態のカラーフィルタを備えた画像センサによって得られたモザイク画像から、全画素で全色がそろうようなカラー画像を生成する画像処理では、色C1aとC1bを用いて新たな色C1cを算出する。当該画像処理部は、注目画素位置に色C1aが配置されている場合、注目画素位置における色C1bの画素値を、注目画素位置を含む局所領域に存在する色C1aC1bを用いて推定補間する。上記画像処理部は、注目画素位置に色C1bが配置されている場合、注目画素位置における色C1aの画素値を、注目画素位置を含む局所領域に存在する色C1aC1bを用いて補間する。また、上記画像処理部は、市松の画素位置に得られたC1a及びC1bの画素値から市松の画素位置の色C1cを算出し、色C1cが存在しない画素位置における色C1cの画素値を、周囲に存在する色C1cを用いて補間し、色C1c以外の色CXは注目画素位置を含む局所領域に存在する色C1c及びCXを用いて補間する。また、本実施形態においても、図16に示すように、第1実施形態と同様に、RMSSyncNR部a209、R’MSSyncNR部a210、BMSSyncNR部a211、B’MSSyncNR部a212を備えている。上述したように、本実施形態では、色C1aとC1bの規則的配置から色C1aとC1bに基づいて作られた新たな色C1cをC1aとC1bが存在する全画素上に補間することができる。本実施形態においても、第1実施形態と同様の効果が得られる。本発明は上述した実施形態には限定されない。すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。"