"画素が行列状に2次元配置された画素アレイ部上に設けられ、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列された色配列の色フィルタ部と、前記画素アレイ部と同じ基板上に設けられ、当該画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換して出力する変換処理部とを備えた固体撮像装置。前記輝度信号の主成分となる色は、白色または緑色である請求項1記載の固体撮像装置。前記色フィルタ部のカラーコーディングは、白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横2画素ピッチの市松配列で、且つ赤色と青色の各フィルタ間が斜め1画素ズレで、残りが緑色フィルタとなっている請求項2記載の固体撮像装置。前記色フィルタ部のカラーコーディングは、前記緑色フィルタが斜め方向、縦方向または横方向において4画素単位でストライプ状の配列となっており、前記変換処理部は、白色フィルタの画素に隣接する1つまたは2つの緑色の画素の信号を当該白色フィルタの画素に加算して輝度信号の主成分に利用する請求項3記載の固体撮像装置。前記色フィルタ部のカラーコーディングは、白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横4画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め1画素ズレで、残りが緑色フィルタとなっている請求項2記載の固体撮像装置。前記色フィルタ部のカラーコーディングは、白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横4画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め2画素ズレで、残りが緑色フィルタとなっている請求項2記載の固体撮像装置。前記色フィルタ部のカラーコーディングは、白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横2画素ピッチの市松配列で、且つ赤色と青色の各フィルタ間が斜め2画素ズレで、残りが緑色フィルタとなっている請求項2記載の固体撮像装置。前記色フィルタ部のカラーコーディングは、白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横2画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め1画素ズレとなっている請求項2記載の固体撮像装置。前記色フィルタ部のカラーコーディングは、白色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横4画素ピッチの正方配列で、且つ赤色と青色の各フィルタ間が斜め方向に2画素単位で並び、残りが緑色フィルタとなっている請求項2記載の固体撮像装置。前記色フィルタ部のカラーコーディングは、前記緑色フィルタが斜め方向、縦方向または横方向において4画素単位でストライプ状の配列となっており、前記変換処理部は、白色フィルタの画素に隣接する1つまたは2つの緑色の画素の信号を当該白色フィルタの画素に加算して輝度信号の主成分に利用する請求項9記載の固体撮像装置。前記色フィルタ部のカラーコーディングは、緑色フィルタが市松状に配置され、赤色と青色の各フィルタが縦横2画素ピッチの市松配列で、且つ赤色と青色の各フィルタ間が斜め2画素ズレで、残りが白色フィルタとなっている請求項2記載の固体撮像装置。画素が行列状に2次元配置された画素アレイ部上に、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列された色配列の色フィルタ部を有する固体撮像装置の信号処理に当たって、前記画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号を、前記画素アレイ部と同じ基板上でベイヤ配列に対応した信号に変換する固体撮像装置の信号処理方法。画素が行列状に2次元配置された画素アレイ部上に設けられ、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列された色配列の色フィルタ部と、前記画素アレイ部と同じ基板上に設けられ、当該画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換して出力する変換処理部とを有する固体撮像装置と、前記変換処理部から出力される前記ベイヤ配列に対応した信号を基に輝度信号および色差信号を生成する信号処理部とを具備する撮像装置。しかし、白色を含む色フィルタアレイを用いた固体撮像装置の信号処理に、既存のRGBベイヤ配列用のDSPを用いることはできない。したがって、カラーコーディングを変更すると、新規にDSPの開発が必要になる。そして、既に普及しているRGBベイヤ配列用のDSPを、白色市松用のDSPに変更するには莫大な開発コストがかかる。この開発コストは、DSPを含むカメラモジュールの製品価格に反映されることから、カメラモジュールの低コスト化を阻み、白色を用いたカラーコーディングの普及を妨げる一因となっている。そこで、本発明は、輝度信号の主成分となる色が市松状に配置されたカラーコーディングを用いるに当たって、既存のRGBベイヤ配列用のDSPの使用を可能にした固体撮像装置、固体撮像装置の信号処理方法および撮像装置を提供することを目的とする。上記目的を達成するために、本発明は、画素が行列状に2次元配置された画素アレイ部上に、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列された色配列の色フィルタ部を有する固体撮像装置において、前記画素アレイ部の各画素から出力される前記色フィルタ部の色配列に対応した信号を、前記画素アレイ部と同じ基板上でベイヤ配列に対応した信号に変換する構成を採っている。上記構成の固体撮像装置において、市松状に配置される色が、輝度信号の主成分となる色であることで、当該主成分となる色の信号を用いてその上下左右の他の色の信号を復元することができる。したがって、色フィルタ部の色配列に対応した信号をベイヤ配列に対応した信号に変換する際の変換効率を高くできる。そして、画素アレイ部が形成された基板センサチップからベイヤ配列に対応した信号が出力されることで、後段の信号処理部として既存のベイヤ配列用のDSPを用いることができる。本発明によれば、カラーコーディングを変更しても、既存のRGBベイヤ配列用のDSPを用いることができるために、莫大な開発コストがかかるDSPを新規に開発する必要がなくなる。以下、発明を実施するための最良の形態以下、実施形態と記述するについて図面を用いて詳細に説明する。なお、説明は以下の順序で行う。1.実施形態1-1.システム構成1-2.色フィルタアレイのカラーコーディング1-3.カラーコーディングの具体例1-4.W:G:R:Bの感度比1-5.色変換処理2.適用例撮像装置<1.実施形態>[1-1.システム構成]図1は、本発明の一実施形態に係る固体撮像装置、例えばX-Yアドレス型固体撮像装置の一種であるCMOSイメージセンサの構成の概略を示すシステム構成図である。本実施形態に係るCMOSイメージセンサ10は、半導体基板以下、単にセンサチップと記述する場合もある11上に形成された画素アレイ部12と、当該画素アレイ部12と同じ半導体基板11上に集積された周辺回路部とを有する構成となっている。周辺回路部としては、例えば、垂直駆動部13、カラム処理部14、水平駆動部15、変換処理部16およびシステム制御部18が設けられている。画素アレイ部12には、入射する可視光をその光量に応じた電荷量に光電変換する光電変換素子を含む図示せぬ単位画素以下、単に画素と記述する場合もあるが行列状に2次元配置されている。単位画素の具体的な回路構成については後述する。この画素アレイ部12の受光面光入射面側には、色フィルタアレイ30が設けられている。本実施形態では、この色フィルタアレイ30のカラーコーディングを特徴の一つとしており、その詳細については後述する。画素アレイ部12にはさらに、行列状の画素配列に対して行ごとに画素駆動線18が図の左右方向画素行の画素配列方向/水平方向に沿って配線され、列ごとに垂直信号線19が図の上下方向画素列の画素配列方向/垂直方向に沿って形成されている。図1では、画素駆動線18について1本として示しているが、1本に限られるものではない。画素駆動線18の一端は、垂直駆動部13の各行に対応した出力端に接続されている。垂直駆動部13は、シフトレジスタやアドレスデコーダなどによって構成されている。ここでは、具体的な構成については図示を省略するが、垂直駆動部13は、読出し走査系と掃出し走査系とを有する構成となっている。読出し走査系は、信号を読み出す単位画素について行単位で順に選択走査を行う。一方、掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行して当該読出し行の単位画素の光電変換素子から不要な電荷を掃き出すリセットする掃出し走査を行う。この掃出し走査系による不要電荷の掃き出しリセットにより、いわゆる電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する光電荷の蓄積を開始する動作のことを言う。読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の蓄積時間露光時間となる。垂直駆動部13によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線19の各々を通してカラム処理部14に供給される。カラム処理部14は、画素アレイ部12の画素列ごとに、選択行の各画素から出力されるアナログの画素信号に対してあらかじめ定められた信号処理を行う。カラム処理部14での信号処理としては、例えばCDS処理が挙げられる。CDS処理は、選択行の各画素から出力されるリセットレベルと信号レベルとを取り込み、これらのレベル差を取ることによって1行分の画素の信号を得るとともに、画素の固定パターンノイズを除去する処理である。カラム処理部14に、アナログの画素信号をデジタル化するA/D変換機能を持たせる場合もある。水平駆動部15は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部14の画素列に対応した回路部分を順番に選択走査する。この水平駆動部15による選択走査により、カラム処理部14で画素列ごとに信号処理された画素信号が順番に出力される。変換処理部16は、画素アレイ部12の各画素から出力される、先述した色フィルタアレイ色フィルタ部30の色配列に対応した信号を、演算処理にてベイヤ配列に対応した信号に変換する処理を行う。本実施形態では、この変換処理部16を画素アレイ部12と同じ基板、即ちセンサチップ11上に設け、当該センサチップ11上で色変換処理を行ってベイヤ配列に対応した信号をセンサチップ11外へ出力する点をもう一つの特徴としている。変換処理部16での具体的な変換処理の詳細については後で詳細に説明する。ここで、ベイヤ配列とは、周知の通り、高解像度が必要な輝度信号の主成分となる色を市松状に配置し、残りの部分に比較的解像度が要求されない、色情報成分となる2種類の色を市松状に配列した色配列を言う。ベイヤ配列の基本形としては、輝度信号の寄与する割合の大きい緑色Gを市松状に配置し、残りの部分にR赤色/B青色を市松状に配列した色配列のカラーコーディングが挙げられる。システム制御部17は、センサチップ11の外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、また、本CMOSイメージセンサ10の内部情報などのデータを出力する。システム制御部17はさらには、各種のタイミング信号を生成するタイミングジェネレータを有し、当該タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部13、カラム処理部14、水平駆動部14および変換処理部16などの駆動制御を行う。単位画素の回路構成図2は、単位画素20の回路構成の一例を示す回路図である。図2に示すように、本回路例に係る単位画素20は、光電変換素子、例えばフォトダイオード21と、例えば転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24および選択トランジスタ25の4つのトランジスタとを有する構成となっている。ここでは、4つのトランジスタ22~25として、例えばNチャネルのMOSトランジスタを用いている。ただし、ここで例示した転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24および選択トランジスタ25の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。この単位画素20に対して、画素駆動線18として、例えば、転送線181、リセット線182および選択線183の3本の駆動配線が同一画素行の各画素について共通に設けられている。これら転送線181、リセット線182および選択線183の各一端は、垂直駆動部13の各画素行に対応した出力端に、画素行単位で接続されている。フォトダイオード21は、アノード電極が負側電源に接続されており、受光した光をその光量に応じた電荷量の光電荷ここでは、光電子に光電変換する。フォトダイオード21のカソード電極は、転送トランジスタ22を介して増幅トランジスタ24のゲート電極と電気的に接続されている。増幅トランジスタ24のゲート電極と電気的に繋がったノード26をFDフローティングディフュージョン部と呼ぶ。転送トランジスタ22は、フォトダイオード21のカソード電極とFD部26との間に接続されている。転送トランジスタ22のゲート電極には、高レベル例えば、Vddレベルがアクティブ以下、Highアクティブと記述するの転送パルスφTRFが転送線181を介して与えられる。転送パルスφTRFが与えられることで、転送トランジスタ22はオン状態となってフォトダイオード21で光電変換された光電荷をFD部26に転送する。リセットトランジスタ23は、ドレイン電極が画素電源Vddに、ソース電極がFD部26にそれぞれ接続されている。リセットトランジスタ23のゲート電極には、フォトダイオード21からFD部26への信号電荷の転送に先立って、HighアクティブのリセットパルスφRSTがリセット線182を介して与えられる。リセットパルスφRSTが与えられることで、リセットトランジスタ23はオン状態となり、FD部26の電荷を画素電源Vddに捨てることによって当該FD部26をリセットする。増幅トランジスタ24は、ゲート電極がFD部26に、ドレイン電極が画素電源Vddにそれぞれ接続されている。そして、増幅トランジスタ24は、リセットトランジスタ23によってリセットした後のFD部26の電位をリセット信号リセットレベルVresetとして出力する。増幅トランジスタ24はさらに、転送トランジスタ22によって信号電荷を転送した後のFD部26の電位を光蓄積信号信号レベルVsigとして出力する。選択トランジスタ25は、例えば、ドレイン電極が増幅トランジスタ24のソース電極に、ソース電極が垂直信号線17にそれぞれ接続されている。選択トランジスタ25のゲート電極には、Highアクティブの選択パルスφSELが選択線163を介して与えられる。選択パルスφSELが与えられることで、選択トランジスタ25はオン状態となって単位画素20を選択状態とし、増幅トランジスタ24から出力される信号を垂直信号線17に中継する。なお、選択トランジスタ25については、画素電源Vddと増幅トランジスタ24のドレインとの間に接続した回路構成を採ることも可能である。また、単位画素20としては、上記構成の4つのトランジスタからなる画素構成のものに限られるものではない。例えば、増幅トランジスタ24と選択トランジスタ25とを兼用した3つのトランジスタからなる画素構成のものなどであっても良く、その画素回路の構成は問わない。ところで、一般的に、動画撮像のときにはフレームレートを上げるために、隣接する複数の画素の信号を加算して読み出す画素加算が行われる。画素内や、信号線上や、カラム処理部14や、後段の信号処理部で行うことができる。ここで、一例として、例えば上下左右に隣接する4画素の信号を画素内で加算する場合の画素構成について説明する。図3は、隣接4画素加算を画素内で行う場合の回路構成の一例を示す回路図であり、図中、図2と同等部分には同一符号を付して示している。図3において、上下左右に隣接する4画素のフォトダイオード21を、フォトダイオード21-1,21-2,21-3,21-4とする。これらフォトダイオード21-1,21-2,21-3,21-4に対して、4個の転送トランジスタ22-1,22-2,22-3,22-4が設けられ、リセットトランジスタ23、増幅トランジスタ24および選択トランジスタ25が1個ずつ設けられている。すなわち、転送トランジスタ22-1,22-2,22-3,22-4は、各一方の電極がフォトダイオード21-1,21-2,21-3,21-4の各カソード電極に接続され、各他方の電極が増幅トランジスタ24のゲート電極に共通に接続されている。この増幅トランジスタ24のゲート電極には、フォトダイオード21-1,21-2,21-3,21-4に対して共通のFD部26が電気的に接続されている。リセットトランジスタ23は、ドレイン電極が画素電源Vddに、ソース電極がFD部26にそれぞれ接続されている。上記構成の隣接4画素加算に対応した画素構成において、4個の転送トランジスタ22-1,22-2,22-3,22-4に対して同じタイミングで転送パルスφTRFを与えることで、隣接する4画素間での画素加算を実現できる。すなわち、フォトダイオード21-1,21-2,21-3,21-4から転送トランジスタ22-1,22-2,22-3,22-4によってFD部26に転送された信号電荷は、当該FD部26において加算されることになる。一方、転送トランジスタ22-1,22-2,22-3,22-4に対して異なるタイミングで転送パルスφTRFを与えることで、画素単位での信号出力も実現できる。すなわち、動画撮像時には画素加算を行うことによってフレームレートの向上を図ることができるに対して、静止画撮像時には全画素の信号を独立して読み出すことで、解像度の向上を図ることができる。[1-2.色フィルタアレイのカラーコーディング]続いて、本実施形態の特徴の一つとしている色フィルタアレイ30のカラーコーディングについて説明する。本実施形態に係る色フィルタアレイ30は、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列された色配列のカラーコーディングとなっている。ここで、輝度信号の主成分となる色としては、白色W、緑色G、輝度分光等が挙げられる。Wフィルタは、Gフィルタの2倍程度と感度が高い出力レベルが高いために、高S/Nを実現できる。ただし、Wフィルタは、各種の色情報を含んでいるために、被写体の本来の色とは違う色を再現するいわゆる色偽が出やすい。逆に、Gフィルタは、Wフィルタに比べて感度が低いものの、色偽が出にくい。すなわち、感度と色偽はトレードオフの関係にある。Wフィルタを輝度信号の主成分となる色として市松状に配置する場合は、残りの部分に配列される色情報成分となる複数色のフィルタはR/G/Bの各フィルタとなる。一方、Gフィルタを輝度信号の主成分となる色として市松状に配置する場合は、残りの部分に配列される色情報成分となる複数色のフィルタはR/Bの各フィルタとなる。このように、色フィルタアレイ30として、Wフィルタが輝度信号の主成分となる色として市松状に配置されたカラーコーディングのものを用いることで、当該Wフィルタの感度が他の色に比べて高いため、CMOSイメージセンサ10の高感度化を図ることができる。一方、色フィルタアレイ30として、Gフィルタが輝度信号の主成分となる色として市松状に配置されたカラーコーディングのものを用いることで、当該GフィルタがWフィルタに比べて色偽が出にくいため、CMOSイメージセンサ10の色再現性の向上を図ることができる。そして、いずれのカラーコーディングの色フィルタアレイ30を用いる場合にも、これらの色配列に対応した信号を、センサチップ11上でベイヤ配列に対応した信号に変換するようにする。このとき、輝度信号の主成分となる色が市松状に配置されていることで、当該主成分となる色の信号を用いてその上下左右の他の色の信号を復元できるために、変換処理部16での色変換の変換効率を高くできる。また、センサチップ11からベイヤ配列に対応した信号が出力されることで、後段の信号処理部として既存のベイヤ配列用のDSPを用いることができる。このベイヤ配列用のDSPは、センサチップ11から出力されるベイヤ配列に対応した信号を基に輝度信号Yおよび2つの色差信号UB-Y,VR-Yを生成する処理を基本的な処理としている。このように、既存のベイヤ配列用のDSPを用いることができることで、色フィルタアレイ30のカラーコーディングを変更しても、莫大な開発コストがかかるDSPを新規に開発する必要がなくなる。これにより、DSPを含むカメラモジュールの低コスト化および特にWフィルタを用いたカラーコーディングの色フィルタアレイ30の普及に寄与できることになる。[1-3.色フィルタアレイのカラーコーディングの具体例]次に、輝度信号の主成分となる色が市松状に配置された色配列に対応した信号から、RGBベイヤ配列に対応した信号への変換が容易なカラーコーディングの具体例について説明する。第1具体例図4は、第1具体例に係るカラーコーディングを示す色配列図である。図4に示すように、第1具体例に係るカラーコーディングは、出力レベルが最も高くなるWフィルタが市松状に配置され、R/Bの各フィルタが縦横2画素ピッチの市松配列で、且つR/Bの各フィルタ間が斜め1画素ズレで、残りがGフィルタとなっている。具体的には、縦4画素、横4画素を単位としたときに、Wフィルタが市松状に配置されている。Rフィルタは2行目の1列目と4行目の3列目に配置され、Bフィルタは1行目の2列目と3行目の4列目に配置されている。この配列が、縦横2画素ピッチの市松配列である。そして、残りの画素位置にGフィルタが配置されている。このとき、Gフィルタは斜めストライブ状の配列となっている。第2具体例図5は、第2具体例に係るカラーコーディングを示す色配列図である。図5に示すように、第2具体例に係るカラーコーディングは、Wフィルタが市松状に配置され、R/Bの各フィルタが縦横4画素ピッチの正方配列で、且つR/Bの各フィルタ間が斜め1画素ズレで、残りがGフィルタとなっている。具体的には、縦4画素、横4画素を単位としたときに、Wフィルタが市松状に配置されている。Rフィルタは2行目の3列目に配置され、Bフィルタは3行目の2列目に配置されている。この配列が、縦横4画素ピッチの正方配列である。そして、残りの画素位置にGフィルタが配置されている。このとき、Gフィルタは斜めストライブ状の配列となっている。第3具体例図6は、第3具体例に係るカラーコーディングを示す色配列図である。図6に示すように、第3具体例に係るカラーコーディングは、Wフィルタが市松状に配置され、R/Bの各フィルタが縦横4画素ピッチの正方配列で、且つR/Bの各フィルタ間が斜め2画素ズレで、残りがGフィルタとなっている。具体的には、縦4画素、横4画素を単位としたときに、Wフィルタが市松状に配置されている。Rフィルタは2行目の1列目に配置され、Bフィルタは4行目の3列目に配置されている。この配列が、縦横4画素ピッチの正方配列である。そして、残りの画素位置にGフィルタが配置されている。このとき、Gフィルタは斜めストライブ状の配列となっている。第4具体例図7は、第4具体例に係るカラーコーディングを示す色配列図である。図7に示すように、第4具体例に係るカラーコーディングは、Wフィルタが市松状に配置され、R/Bの各フィルタが縦横2画素ピッチの市松配列で、且つR/Bの各フィルタ間が斜め2画素ズレで、残りがGフィルタとなっている。具体的には、縦4画素、横4画素を単位としたときに、Wフィルタが市松状に配置されている。Rフィルタは1行目の2列目と3行目の4列目に配置され、Bフィルタは3行目の2列目と1行目の4列目に配置されている。この配列が、縦横2画素ピッチの市松配列である。そして、残りの画素位置にGフィルタが配置されている。第5具体例図8は、第5具体例に係るカラーコーディングを示す色配列図である。図8に示すように、第5具体例に係るカラーコーディングは、Wフィルタが市松状に配置され、R/Bの各フィルタが縦横2画素ピッチの正方配列で、且つR/Bの各フィルタ間が斜め1画素ズレとなっている。具体的には、縦4画素、横4画素を単位としたときに、Wフィルタが市松状に配置されている。Rフィルタは2行目および4行目の1列目および3列目に配置され、Bフィルタは1行目および3行目の2列目および4列目に配置されている。この配列が、縦横2画素ピッチの正方配列である。第6具体例図9は、第6具体例に係るカラーコーディングを示す色配列図である。図9に示すように、第6具体例に係るカラーコーディングは、Wフィルタが市松状に配置され、R/Bの各フィルタが縦横4画素ピッチの正方配列で、且つR/Bの各フィルタ間が斜め方向に2画素単位で並び、残りがGフィルタとなっている。具体的には、縦4画素、横4画素を単位としたときに、Wフィルタが市松状に配置されている。Rフィルタは3行目の4列目と4行目の3列目に配置され、Bフィルタは1行目の2列目と2行目の1列目に配置されている。この配列が、縦横4画素ピッチの正方配列である。そして、残りの画素位置にGフィルタが配置されている。このとき、Gフィルタは斜めストライブ状の配列となっている。上述した第1~第6具体例に係るカラーコーディングはいずれも、出力レベルが最も高くなる輝度信号の主成分となる色フィルタとして、Wフィルタが市松状に配置された色配列となっている。Wフィルタが市松状に配置されていることで、WフィルタはR/G/Bの各色成分を含んでいるために、RGBベイヤ配列に対応した信号への変換精度を高めることができる。これらのカラーコーディングでは、後述する色変換処理において、Wフィルタの画素についてGフィルタに置き換えたときに、R/Bの各フィルタがベイヤ配列におけるR/Bの各フィルタの位置の一部に合致することを特長としている。そして、合致しない抜けた部分については、Wフィルタの画素の情報を用いることで、R/Bの各画素の情報を復元することができるために変換効率が非常に良いと言える。また、第1具体例~第3具体例および第6具体例に係るカラーコーディングは、Wフィルタが市松状に配置され、且つGフィルタの一部が4画素単位で斜め方向にストライプ状に配列されていることを特長としている。このカラーコーディングにおいて、Wフィルタの画素に隣接するGフィルタの画素の信号をWフィルタの画素の信号に加算して輝度信号の主成分とすることで、輝度信号量を増大させることができるため、感度S/Nの向上を図ることができる。そして、特に第1具体例に係るカラーコーディングの場合には、R/Bの各フィルタが縦横2画素ピッチの市松配列で、R/Bの各フィルタ間が斜め1画素ずれた配列であるために、ベイヤ配列に対応した信号への変換効率を高めることができる。また、第2具体例に係るカラーコーディングの場合には、R/Bの各フィルタが縦横4画素ピッチの正方配列で、R/Bの各フィルタ間が斜め1画素ずれた配列であるために変換効率を高く保つことができる。第2具体例に係るカラーコーディングの場合はさらに、Gフィルタが多いためにGの変換効率を高めることができる。また、第1,第6具体例に係るカラーコーディングは、Gフィルタが斜め方向に4画素単位でストライプ配列となっている。したがって、これらのカラーコーディングの場合には、後述する色変換処理において、W画素に隣接する1つまたは2つのG画素の信号を当該W画素の信号に加算して輝度信号の主成分に利用することで、解像度の低下を抑えつつ高感度化高S/N化を実現できる。この作用効果については、Gフィルタが斜め方向に4画素単位でストライプ配列となっている場合に限らず、縦方向または横方向において4画素単位でストライプ状に配列されている場合にも同様のことが言える。第7具体例図10は、第7具体例に係るカラーコーディングを示す色配列図である。図10に示すように、第7具体例に係るカラーコーディングは、輝度信号の主成分となる色フィルタとしてGフィルタが市松配置され、R/Bの各フィルタが縦横2画素ピッチの市松配列で、且つR/Bの各フィルタ間が斜め2画素ズレで、残りがWフィルタとなっている。具体的には、縦4画素、横4画素を単位としたときに、Gフィルタが市松状に配置されている。Rフィルタは1行目の1列目と3行目の3列目に配置され、Bフィルタは1行目の3列目と3行目の1列目に配置されている。この配列が、縦横2画素ピッチの市松配列である。そして、残りの画素位置にWフィルタが配置されている。以上説明した第1~第7具体例に係るカラーコーディングは、輝度信号の主成分となる色フィルタとしてWフィルタまたはGフィルタが市松状に配置された構成となっている。ただし、センサチップ11上の変換処理部16でRGBベイヤ配列に対応した信号への変換が容易なカラーコーディングとしてはWフィルタまたはGフィルタが市松配置された構成のものに限られない。以下に、WフィルタまたはGフィルタが市松配置されていないカラーコーディングについて、第8具体例および第9具体例として説明する。第8具体例図11は、第8具体例に係るカラーコーディングを示す色配列図である。図11に示すように、第8具体例に係るカラーコーディングは、2×2画素ごとにWRGBの各フィルタで構成され、縦横2画素ピッチの配列となっている。具体的には、Wフィルタが偶数行の偶数列に配置され、Rフィルタが偶数行の奇数列に配置され、Gフィルタが奇数行の奇数列に配置され、Bフィルタが奇数行の偶数列に配置されている。第9具体例図12は、第9具体例に係るカラーコーディングを示す色配列図である。図12に示すように、第9具体例に係るカラーコーディングは、RGBの各フィルタがそれぞれ2×2画素単位で同色のベイヤ配列となっている。具体的には、Gフィルタが1行目、2行目の1列目、2列目と3行目、4行目の3列目、4列目に配置され、Bフィルタが1行目、2行目の3列目、4列目に配置され、Rフィルタが3行目、4行目の1列目、2行目に配置されている。[1-4.W:G:R:Bの感度比]ここで、W:G:R:Bの感度比について説明する。Wフィルタを含むカラーコーディングでは、出力信号レベルが高いWフィルタの画素が他の色フィルタの画素よりも早く飽和してしまう。したがって、Wフィルタの画素の感度を落とし、相対的に他の色フィルタの画素の感度を上げることで、W:G:R:Bの各画素間で感度のバランスをとる、即ちW:G:R:Bの各画素の感度比を調整する必要がある。この感度比の調整には、周知の露光制御の技術を用いることができる。具体的には、色フィルタアレイ30の外側に画素単位で設けられるオンチップマイクロレンズのサイズを調整することで、各色の画素間で入射光量のバランスをとる技術がある例えば、特開平9-116127号公報等参照。この技術を活用し、W画素のオンチップマイクロレンズのサイズを他の色の画素よりも小さくすることで、Wフィルタの画素の感度を落とし、相対的に他の色フィルタの画素の感度を上げることができる。他の露光制御の技術として、Wフィルタを含むカラーコーディングにおいて、W画素のオンチップマイクロレンズを無くすことで、感度差を縮めると同時に、色感度を上げて色S/Nを改善する技術がある例えば、特開2007-287891号公報等参照。この技術を活用することによっても、Wフィルタの画素の感度を落とし、相対的に他の色フィルタの画素の感度を上げることができる。また、R/Bの各フィルタの画素の露光時間に比べて、Gフィルタの画素の露光時間を短くするシャッタ露光制御を行うことで色バランスが崩れるのを防止する技術がある例えば、特開2003-60992号公報参照。このシャッタ露光制御の技術を受光面積の制御と組み合わせることによっても、Wフィルタの画素の感度を落とし、相対的に他の色フィルタの画素の感度を上げることができるとともに、特に動体の輪郭部分での色つきを無くすことができる。その結果、外部の信号処理部DSPでの色消し処理が不要になる。なお、ここで挙げた感度比の調整に活用する露光制御の技術は一例に過ぎず、上記の3例に限られるものではない。ここで、前者のW画素のオンチップマイクロレンズのサイズを調整する場合のサイズ案について一例を示す。W/G/B/Rの各画素の出力レベルのおおよその割合は、W:G:B:R=2:1:0.5:0.5である。W画素のオンチップマイクロレンズについて、1.1μm画素で±0.1μmサイジングで、2倍の面積差になるために、2倍の感度差で、同サイズ時でW画素の出力レベル=G画素の出力レベル×2であったものを完全に同レベルに補正できる。1.1μm画素で±0.05μmサイジングでも、1.42倍の面積差になるために、感度差を1.42倍に縮めることができる。このとき、残りの差分感度差については、シャッタ露光制御との併用によって補正するようにしてもよい。[1-5.色変換処理]次に、変換処理部16による色変換処理にてRGBベイヤ配列に対応した信号に変換する処理色変換処理の詳細について説明する。色変換処理については、全画素を走査する静止画撮像時フルスキャン時の色変換処理と、隣接する複数の画素の信号を加算する動画撮像時画素加算時の色変換処理とに分けられる。第1具体例および第6具体例に係るカラーコーディングの場合には、先述したように、高感度化を実現可能な色変換処理であり、低照度モードを採ることができることから、フルスキャン時の色変換処理について2つ色変換処理に分けることができる。2つの色変換処理の一つは、入射光輝度があらかじめ定められた基準輝度よりも高い高輝度時の色変換処理であり、これを色変換処理1と呼ぶこととする。他の一つは、基準輝度以下の低輝度時の色変換処理であり、これを色変換処理2と呼ぶこととする。また、画素加算時の色変換処理についても、加算する画素の組み合わせの違い等によって複数の色変換処理に分けることができる。なお、第1、第6具体例以外の具体例に係るカラーコーディングの場合におけるフルスキャン時の色変換処理については、低照度モードを採ることができないために、高照度モードのみを採ることになる。すなわち、第2~第5具体例および第7~第9具体例に係るカラーコーディングの場合におけるフルスキャン時の色変換処理は、第1、第6具体例に係るカラーコーディングの場合の高輝度時の色変換処理1に対応するものとする。第1具体例に係るカラーコーディングの場合先ず、第1具体例に係るカラーコーディングの場合の色変換処理について説明する。最初に、フルスキャン時における高輝度時の色変換処理1について、図13のフローチャートおよび図14の概念図を用いて説明する。図13のフローチャートに示すように、高輝度時の色変換処理1は、基本的に、ステップS11、ステップS12およびステップS13の各処理を順に実行することによって実現される。図14Aに、第1具体例に係るカラーコーディングの4×4画素の色配列を示す。ステップS11では、図14Bに示すように、市松状の白色W画素の成分を、解像度の方向性を判断して全ての色の画素に展開する処理が行われる。ここで、解像度の方向とは、画素信号が存在している方向を意味している。図14Bにおいて、白抜きの四角□で示すWは、各色に展開されたW画素の成分を表わすものとする。W画素の成分を他の全ての色の画素に展開するに当たっては、周知の方向性相関を利用した信号処理を用いることができる。この方向性相関を利用した信号処理の技術としては、例えば、特定の画素に対応する複数の色信号を得て、特定の画素に対応する位置での垂直方向および/または水平方向の相関値を得る技術例えば、特許第2931520号明細書等参照が挙げられる。ステップS12では、図14Cに示すように、W画素とG画素との相関からW画素をG画素に置換する。先述した各種のカラーコーディングの色配列から明らかなように、W画素とG画素とは隣接している。ある領域でW画素とG画素との相関をみると、どちらも輝度信号の主成分となる色であるためにかなり強い相関をもっており、相関値相関係数が1に近い。この色相関を用いて解像度の方向性を判断し、W画素の出力レベルをG画素相当のレベルに変えることで、W画素をG画素に置き換えることができる。ステップS13では、W画素とR/Bの各画素との相関から、図14Dに示すベイヤ用R/Bの各画素を生成する。WフィルタはR/G/Bの各色成分を含んでいるために、W画素とR/Bの各画素との相関をとることができる。この信号処理には、4色の色配列においてGに代替される輝度信号を全画素に補間する周知の技術例えば、特開2005-160044号公報等参照を用いることができる。続いて、フルスキャン時における低輝度時の色変換処理2について、図15のフローチャートおよび図16の概念図を用いて説明する。先ず、先述した周知の方向性相関を利用した信号処理を用いることで、図16Aに示すように、解像度の方向性をみるステップS21。そして、方向性を判断できるか否かを判断しステップS22、方向性を判断できる場合は、市松状のW画素の成分を全ての色の画素に展開するステップS23。次に、先述した周知の技術を用いることで、図16Bに示すように、W画素とR/Bの各画素との相関からR/Bの各画素を生成するステップS24。次いで、図16Cに示すように、W画素の信号に当該W画素に隣接する2つのR画素の信号を加算してG=W2Gに近似することで、図16Dに示すように、ベイヤ用R/Bの各画素を生成するステップS25。ステップS22において、方向性を判断できない場合は、上下左右に隣接する4画素間で均等に補完する単純4画素均等補間によってベイヤ用R/Bの各画素を生成するステップS26。上述したように、入射光の輝度に応じて色変換処理1または色変換処理2を用いることで、Wフィルタが市松状に配置された色配列に対応した信号を、RGBベイヤ配列に対応した信号にセンサチップ11上で変換して出力することができる。次に、動画撮像時における画素加算時の2つの色変換処理について説明する。この2つの色変換処理を画素加算処理1および画素加算処理2と呼ぶこととする。先ず、画素加算処理1について、図17のフローチャートおよび図18の概念図を用いて説明する。最初に、W画素について、斜め方向に位置する2つの画素間で加算処理を行うステップS31。具体的には、図18Aに示すように、注目画素と当該注目画素の右斜め下に位置する画素1列右隣りで1行下の画素との間で加算を行う。このW画素の加算については、図3に示す画素構成において、加算を行う2つの画素の転送トランジスタ22、本例では転送トランジスタ22-1,22-4に対して同時に転送パルスφTRFを与えることで、FD部26において2画素加算を行うことができる。この画素加算をFD加算と呼ぶこととする。次に、R/G/Bの各画素について、W画素の場合と逆斜め方向に位置する2つの画素間で飛び越し加算を行うステップS32。具体的には、図18Bに示すように、注目画素と当該注目画素の左斜め下に位置する画素2列左隣りで2行下の画素との間で飛び越し加算を行う。このR/G/Bの各画素の加算については、例えば図1に示すカラム処理部14がA/D変換機能を持つ場合において、当該A/D変換の際に飛び越し加算を行うことができる。より具体的には、図19に示す色配列において、B1,G1の各画素の信号を独立に読み出し、これらの信号をA/D変換後に連続的にB2,G3の各画素の信号を読み出してA/D変換を行うことで2画素加算を行うことができる。このカラム処理部14でのA/D変換の際に画素加算を行う技術としては、カウンタを用いてアナログ画素信号をデジタル画素信号に変換する周知の技術例えば、特開2006-033454号公報等参照を用いることができる。このA/D変換部の一部を構成するカウンタを用いて画素加算を行う処理をカウンタ加算と呼ぶこととする。このカウンタ加算を行うときにラインごとにゲインを変えると、加算比率を可変にできる。R画素についても同様にしてカウンタ加算を行うことができる。因みに、先述したW画素についての2画素加算は、W1,W2の各画素間、W3,W4の各画素間でそれぞれFD加算が行われる。次に、図18Cに示すように、W画素の成分をR/G/Bの各画素にフィッティングするステップS33。次いで、図18Dに示すように、RGBベイヤ配列の4画素を生成するステップS34。続いて、画素加算処理2について、図20のフローチャートおよび図21の概念図を用いて説明する。最初に、W画素およびG画素について、左右斜め方向に位置する2つの画素間でFD加算を行うことによってW/R/G/Bを生成するステップS41。具体的には、W画素については、図21Aに示すように、注目画素と当該注目画素の右斜め下に位置する画素1列右隣りで1行下の画素との間でFD加算を行う。G画素については、図21Bに示すように、注目画素と当該注目画素の左斜め下に位置する画素1列左隣りで1行下の画素との間でFD加算を行う。ここで、縦4画素×横4画素の計8画素において、R/Bの1組の信号については未使用となる。すなわち、R/Bの各画素については画素加算無しの間引き読み出しとなる。したがって、画素加算処理1の場合に比べてR/Bの感度が低くなるために色S/Nが悪い。次に、図21Cに示すように、W画素の成分をR/G/Bの各画素にフィッティングするステップS42。次いで、図21Dに示すように、RGBベイヤ配列の4画素を生成するステップS43。画素加算処理2の場合、画素加算処理1の場合に比べてRGBベイヤ配列の重心が多少ずれる。さらに、画素加算処理3について、図22のフローチャートおよび図23の概念図を用いて説明する。先ず、図23Aに示すように、WRGBとも全て斜め飛び越し2画素加算を行うステップS51。この加算処理により、図23Bに示すように、ある行がR,W,G,W,...、次の行がW,G,W,R...となる色配列が得られる。そして、フルスキャン時の処理の場合と同様に、W画素とR/Bの各画素との相関から、図23Cに示すベイヤ用R/Bの各画素を生成するステップS52。上述したように、動画撮像時に画素加算処理1、画素加算処理2または画素加算処理3を用いることで、Wフィルタが市松状に配置された色配列に対応した信号を、RGBベイヤ配列に対応した信号にセンサチップ11上で変換して出力することができる。以下に、第2乃至第9具体例に係るカラーコーディングの場合の色変換処理について説明するが、多くの場合、一連の処理の流れについては概ね、第1具体例に係るカラーコーディングの場合を基本としている。第2具体例に係るカラーコーディングの場合先ず、フルスキャン時の色変換処理について図24の概念図を用いて説明する。図24Aに示す第2具体例に係るカラーコーディングの4×4画素の色配列において、解像度の方向性をみて、図24Bに示すように、市松状のW画素の成分を全ての色の画素に展開する。次に、W画素とG画素との相関から、図24Cに示すように、W画素をG画素に置換する。そして、W画素とR/Bの各画素との相関から、図24Dに示すベイヤ用R/Bの各画素を生成する。次に、画素加算処理について図25の概念図を用いて説明する。先ず、図25A,Bに示すように、W画素およびG画素について、左右斜め方向に位置する2つの画素間でFD加算を行うことによってW/R/G/Bを生成する。そして、図25Cに示すように、W画素の成分をR/G/Bの各画素にフィッティングし、図25Dに示すRGBベイヤ配列の4画素を生成する。第3具体例に係るカラーコーディングの場合先ず、フルスキャン時の色変換処理について図26の概念図を用いて説明する。図26Aに示す第3具体例に係るカラーコーディングの4×4画素の色配列において、解像度の方向性をみて、図26Bに示すように、市松状のW画素の成分を全ての色の画素に展開する。次に、W画素とG画素との相関から、図26Cに示すように、W画素をG画素に置換する。そして、W画素とR/Bの各画素との相関から、図26Dに示すベイヤ用R/Bの各画素を生成する。次に、画素加算処理について図27の概念図を用いて説明する。先ず、図27A,Bに示すように、W/R/G/Bの各画素について、左右斜めFD加算を行うことによってW/Cyシアン色/G/Ye黄色を生成する。次いで、B=W-Ye、R=W-Cyの演算処理により、図27Cに示すように、ベイヤ配列を生成する。このとき、減算処理によってB/RのS/Nが悪化するものの色再現性は良くなる。そして、図27Dに示すように、W画素の成分をR/G/Bの各画素にフィッティングし、図27Eに示すRGBベイヤ配列の4画素を生成する。第4具体例に係るカラーコーディングの場合先ず、フルスキャン時の色変換処理について図28の概念図を用いて説明する。図28Aに示す第4具体例に係るカラーコーディングの4×4画素の色配列において、解像度の方向性をみて、図28Bに示すように、市松状のW画素の成分を全ての色の画素に展開する。次に、W画素とG画素との相関から、図28Cに示すように、W画素をG画素に置換する。そして、W画素とR/Bの各画素との相関から、図28Dに示すベイヤ用R/Bの各画素を生成する。画素加算処理については4つの処理の仕方が考えられる。第1の画素加算処理について図29の概念図を用いて説明する。先ず、図29A,Bに示すように、R/Bの各画素については左右斜め飛び越し2画素加算を行い、W/Cy/Yeを生成する。次いで、図29Cに示すように、解像度の方向性を見て、Cy/Yeの各成分を全画素に展開する。次いで、図29Dに示すように、G=CyYe-W、B=W-Ye、R=W-Cyの演算処理を行う。そして、図29Eに示すように、W画素の成分をR/G/Bの各画素にフィッティングし、図29Fに示すRGBベイヤ配列の4画素を生成する。次に、第2の画素加算処理について図30の概念図を用いて説明する。先ず、図30Aに示すように、R/Bの画素について左右斜め飛び越し2画素加算を行う。G画素については中心のG画素と当該中心画素の上下左右の4つのG画素の平均値とを合成する。W画素については、図30Bに示すように、斜めFD加算を行う。そして、図30Cに示すように、W画素の成分をR/G/Bの各画素にフィッティングし、図30Dに示すRGBベイヤ配列の4画素を生成する。続いて、第3の画素加算処理について図31の概念図を用いて説明する。先ず、図31Aに示すように、W画素については斜め隣接2画素間で加算を行い、RGBについてはともに斜め飛び越し2画素加算を行う。これにより、図31Bに示すような色配列が得られる。そして、W画素の成分をR/G/Bの各画素にフィッティングし、図31Cに示すRGBベイヤ配列の4画素を生成する。最後に、第4の画素加算処理について図32の概念図を用いて説明する。先ず、図32Aに示すように、WRGBとも斜め飛び越し2画素加算を行う。次に、寄り目の市松配列のW画素の信号を合成することで、図32Bに示すW市松の色配列を得る。次いで、フルスキャン時の処理の場合と同様に、W画素とG画素との相関から、図32Cに示すように、W画素をG画素に置換する。そして、W画素とR/Bの各画素との相関から、図32Dに示すベイヤ用R/Bの各画素を生成する。第5具体例に係るカラーコーディングの場合先ず、フルスキャン時の色変換処理について図29の概念図を用いて説明する。図33Aに示す第5具体例に係るカラーコーディングの4×4画素の色配列において、解像度の方向性をみて、図33Bに示すように、市松状のW画素の成分を全ての色の画素に展開する。次に、W画素とR/Bの各画素との相関から、図33Cに示すように、R/Bの各画素の成分を全画素に展開する。そして、G=W-R-Bの演算処理後W画素の成分を各画素にフィッティングし、図33Dに示すRGBベイヤ配列の4画素を生成する。次に、画素加算処理について図34の概念図を用いて説明する。先ず、図34Aに示すように、R/G/Bの重心を合わせて各画素の信号を加算し、次いで、G=W-R-Bの演算処理を行うことで、図34Bに示すようにG画素を生成する。次に、図34Cに示すように、B画素については斜め方向4画素加算を行い、R画素については上下左右5画素加算を行うことで、R/Bの各画素を生成する。そして、最終的に、図34Dに示すRGBベイヤ配列の4画素を生成する。第6具体例に係るカラーコーディングの場合先ず、フルスキャン時の色変換処理1について図35の概念図を用いて説明する。図35Aに示す第6具体例に係るカラーコーディングの4×4画素の色配列において、解像度の方向性をみて、図35Bに示すように、市松状のW画素の成分を全ての色の画素に展開する。次に、W画素とG画素との相関から、図35Cに示すように、W画素をG画素に置換する。そして、W画素とR/Bの各画素との相関から、図35Dに示すベイヤ用R/Bの各画素を生成する。次に、フルスキャン時の色変換処理2について図36の概念図を用いて説明する。色変換処理1の場合と同様に、第6具体例に係るカラーコーディングの4×4画素の色配列において、解像度の方向性をみて、図36Aに示すように、市松状のW画素の成分を全ての色の画素に展開する。W画素とR/Bの各画素との相関から、図36Bに示すようにR/Bの各画素を生成する。次に、図36Cに示すように、W画素の信号に当該W画素に隣接するG画素2つの信号を加算し、G=W2Gに近似し、図36Dに示すように、ベイヤ用R/Bの各画素を生成する。このとき、方向性がある場合は、加算比率をアクティブに変えるとよい。続いて、画素加算処理1について図37を用いて説明する。図37A,Bに示すように、W画素とR/G/Bの各画素について左右斜めFD加算を行うことでW/R/G/Bの各画素を生成する。そして、図37Cに示すように、W画素の成分を各画素にフィッティングし、図37Dに示すRGBベイヤ配列の4画素を生成する。次に、画素加算処理2について図38を用いて説明する。図38A,Bに示すように、W画素とR/G/Bの各画素について左右斜めFD加算を行うことでW/R/G/Bの各画素を生成する。そして、図38Cに示すように、W画素の成分をR/Bの各画素にフィッティングし、図38Dに示すRGBベイヤ配列の4画素を生成する。第7具体例に係るカラーコーディングの場合先ず、フルスキャン時の色変換処理について図39の概念図を用いて説明する。図39Aに示す第7具体例に係るカラーコーディングの4×4画素の色配列において、解像度の方向性をみて、図39Bに示すように、市松状のG画素の成分をR/Bの各画素に展開する。次に、W画素とR/Bの各画素との相関から、図39Cに示すように、W画素をR/Bの各画素に置換する。そして、図39Dに示すRGBベイヤ配列の4画素を生成する。次に、画素加算処理について図40の概念図を用いて説明する。先ず、図40Aに示すように、R/Bの各画素について左右斜め飛び越し加算を行うことで、図40Bに示すように2R/2Bを生成する。次に、図40Cに示すように、G画素について斜め菱形加算を行うことで、図40Dに示すように4Gを生成する。そして、W画素とR/G/Bの各画素との相関から、Gw/Rw/Bwを加えることで、図40Eに示すRGBベイヤ配列の4画素を生成する。第8具体例に係るカラーコーディングの場合先ず、フルスキャン時の色変換処理について図41の概念図を用いて説明する。図41Aに示す第8具体例に係るカラーコーディングの4×4画素の色配列において、解像度の方向性をみて、図41Bに示すように、G/Wの各画素について市松状に展開する。次に、図41Cに示すように、W画素の成分をG画素にフィッティングし、図41Dに示すRGBベイヤ配列の4画素を生成する。次に、画素加算処理について図42の概念図を用いて説明する。先ず、図42Aに示すように、G/Wの重心を合わせてこれら画素の信号を加算する。次に、図42Bに示すように、W画素の成分をG画素にフィッティングしてG=GGwを生成する。次いで、図42Cに示すように、B画素について斜め方向4画素加算を行い、R画素について上下左右5画素加算を行うことで、図42Dに示すRGBベイヤ配列の4画素を生成する。第9具体例に係るカラーコーディングの場合先ず、フルスキャン時の色変換処理について図43の概念図を用いて説明する。図43Aに示す第9具体例に係るカラーコーディングの4×4画素の色配列において、解像度の方向性をみて、図42Bに示すように、G画素の成分をR/Bの各画素に展開する。次に、G画素とR/Bの各画素との相関から、図42Cに示すRGBベイヤ配列の4画素を生成する。次に、画素加算処理について図44の概念図を用いて説明する。先ず、図44Aに示すように、上下左右で隣接する同色の2×2画素の計4画素の信号をFD加算する。そして、最終的に、図44Bに示すRGBベイヤ配列の4画素を生成する。<2.適用例>[撮像装置]図45は、本発明に係る撮像装置の構成の一例を示すブロック図である。図45に示すように、本発明に係る撮像装置100は、レンズ群101等を含む光学系、撮像素子102、カメラ信号処理回路であるDSP回路103、フレームメモリ104、表示装置105、記録装置106、操作系107および電源系108等を有している。そして、DSP回路103、フレームメモリ104、表示装置105、記録装置106、操作系107および電源系108がバスライン109を介して相互に接続された構成となっている。レンズ群101は、被写体からの入射光像光を取り込んで撮像素子102の撮像面上に結像する。撮像素子102は、レンズ群101によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像素子102として、先述した実施形態に係るCMOSイメージセンサ10が用いられる。CMOSイメージセンサ10は、色フィルタアレイとして、輝度信号の主成分となる色が市松状に配置され、残りの部分に色情報成分となる複数色が配列された色配列のカラーコーディングのものを有している。そして、CMOSイメージセンサ10は、色フィルタアレイの色配列に対応した信号を、演算処理にてベイヤ配列に対応した信号に変換する構成となっている。したがって、CMOSイメージセンサ10からは、色フィルタアレイが輝度信号の主成分となる色が市松状に配置されたカラーコーディングでありながら、ベイヤ配列に対応した信号が出力される。これにより、DSP回路103として、ベイヤ配列に対応した信号を基に輝度信号Yおよび2つの色差信号UB-Y,VR-Yを生成する処理を基本的な処理とする既存のベイヤ配列用のDSPを用いることができる。このように、既存のベイヤ配列用のDSPを用いることができることで、撮像素子102で用いる色フィルタアレイのカラーコーディングを変更しても、莫大な開発コストがかかるDSPを新規に開発する必要がなくなる。これにより、DSP回路103を含む本撮像装置100の低コスト化および特にWフィルタを用いたカラーコーディングの色フィルタアレイの普及に寄与できる。表示装置105は、液晶表示装置や有機EL表示装置等のパネル型表示装置からなり、撮像素子102で撮像された動画または静止画を表示する。記録装置106は、撮像素子102で撮像された動画または静止画を、ビデオテープやDVDDigitalVersatileDisk等の記録媒体に記録する。操作系107は、ユーザによる操作の下に、本撮像装置が持つ様々な機能について操作指令を発する。電源系108は、DSP回路103、フレームメモリ104、表示装置105、記録装置106および操作系107の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。"