(57)【要約】【課題】欠陥画素の信号補正や解像度の向上を図れ、しかも色再現性に優れた画像信号処理装置、撮像装置、画像信号処理方法、およびプログラムを提供する。【解決手段１】補間処理部１４１は、色補間用検知信号ＣＤＴ４、第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、第３の色検知信号ＣＤＴ３を用いて、第１の色検知信号、第２の色検知信号、および第３の色検知信号それぞれの補間処理を行い、各色検知信号について複数の信号Ｘ１，Ｘ２,Ｙ１，Ｙ２,Ｚ１，Ｚ２を生成し、合成処理部１４２は、補間処理部から出力される各色検知信号の複数の出力信号をそれぞれ合成して、第１の色信号ＣＸ、第２の色信号ＣＹ、および第３の色信号ＣＺを生成することで、画素の欠陥を補い、かつ２倍の信号強度を得る。【選択図】図５
2010081583.tif 000002
【特許請求の範囲】
【請求項１】
入力される複数の色検知信号の補間処理を行い、各色検知信号について複数の信号を生成する機能を含む補間処理部と、
上記補間処理部の各出力信号を合成して、各色信号を生成する合成処理部と、を有し、
上記補間処理部は、
第１の電磁波の波長範囲において透過性を有する第１の色検知素子からの第１の色検知信号、
第２の電磁波の波長範囲において透過性を有する第２の色検知素子からの第２の色検知信号、
第３の電磁波の波長範囲において透過性を有する第３の色検知素子からの第３の色検知信号、および
上記第１、第２、および第３の波長範囲のすくなくとも一部を包含する波長範囲において、透過性を有する色補間用素子からの色補間用検知信号を入力し、
上記色補間用検知信号、上記第１の色検知信号、上記第２の色検知信号、上記第３の色検知信号を用いて、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号それぞれの補間処理を行い、各色検知信号について複数の信号を生成し、
上記合成処理部は、
上記補間処理部から出力される各色検知信号の複数の出力信号をそれぞれ合成して、第１の色信号、第２の色信号、および第３の色信号を生成する
画像信号処理装置。
【請求項２】
上記補間処理部は、
一つの補間対象の色検知信号について、当該補間対象の色検知信号を第１の出力信号として、上記色補間用検知信号から当該補間対象の色検知信号を除く２つの色検知信号を減算して第２の出力信号を生成し、
上記合成処理部は、
上記補間処理部から出力される上記第１の出力信号と上記第２の出力信号を合成して色信号を生成する
請求項１記載の画像信号処理装置。
【請求項３】
上記補間処理部は、
上記第１の色検知信号について、当該第１の色検知信号を第１の出力信号として、上記色補間用検知信号から当該第１の色検知信号を除く２つの第２および第３の色検知信号の双方が所定値以上の場合はこれらを減算して第２の出力信号を生成し、２つの色検知信号のいずれかが所定値以下なら値０の第２の出力信号を生成し、
上記第２の色検知信号について、当該第２の色検知信号を第３の出力信号として、上記色補間用検知信号から当該第２の色検知信号を除く２つの第１および第３の色検知信号の双方が所定値以上の場合はこれらを減算して第４の出力信号を生成し、２つの色検知信号のいずれかが所定値以下なら値０の第４の出力信号を生成し、
上記第３の色検知信号について、当該第３の色検知信号を第５の出力信号として、上記色補間用検知信号から当該第３の色検知信号を除く２つの第１および第２の色検知信号の双方が所定値以上の場合はこれらを減算して第６の出力信号を生成し、２つの色検知信号のいずれかが所定値以下なら値０の第６の出力信号を生成し、
上記合成処理部は、
上記補間処理部から出力される上記第１の出力信号と上記第２の出力信号を合成して第１の色信号を生成し、
上記補間処理部から出力される上記第３の出力信号と上記第４の出力信号を合成して第２の色信号を生成し、
上記補間処理部から出力される上記第５の出力信号と上記第６の出力信号を合成して第３の色信号を生成する
請求項１記載の画像信号処理装置。
【請求項４】
上記補間処理部は、
一つの補間対象の色検知信号について、当該補間対象の色検知信号を第１の出力信号として、当該補間対象の色検知信号を除く２つの色検知信号を含めて、３つの色検知信号を演算対象とし、当該３つの色検知信号について、上記色補間用検知信号から演算対象の色検知信号を除く２つの色検知信号を減算する処理を複数回繰り返して第２の出力信号を生成し、
上記合成処理部は、
上記補間処理部から出力される上記第１の出力信号と上記第２の出力信号を合成して色信号を生成する
請求項１記載の画像信号処理装置。
【請求項５】
上記補間処理部は、
上記第１の色検知信号について、当該第１の色検知信号を第１の出力信号として上記色補間用検知信号から当該第１の色検知信号を除く２つの第２および第３の色検知信号の双方が所定値以上の場合は、第１の色検知信号、第２の色検知信号、および第３の色検知信号を演算対象として、当該３つの色検知信号を演算対象とし、当該３つの色検知信号について、上記色補間用検知信号から演算対象の色検知信号を除く２つの色検知信号を減算する処理を複数回繰り返して第２の出力信号を生成し、２つの色検知信号のいずれかが所定値以下なら値０の第２の出力信号を生成し、
上記第２の色検知信号について、当該第２の色検知信号を第３の出力信号として、上記色補間用検知信号から当該第２の色検知信号を除く２つの第１および第３の色検知信号の双方が所定値以上の場合は、第１の色検知信号、第２の色検知信号、および第３の色検知信号を演算対象として、当該３つの色検知信号を演算対象とし、当該３つの色検知信号について、上記色補間用検知信号から演算対象の色検知信号を除く２つの色検知信号を減算する処理を複数回繰り返して第４の出力信号を生成し、２つの色検知信号のいずれかが所定値以下なら値０の第４の出力信号を生成し、
上記第３の色検知信号について、当該第３の色検知信号を第５の出力信号として、上記色補間用検知信号から当該第３の色検知信号を除く２つの第１および第２の色検知信号の双方が所定値以上の場合は、第１の色検知信号、第２の色検知信号、および第３の色検知信号を演算対象として、当該３つの色検知信号を演算対象とし、当該３つの色検知信号について、上記色補間用検知信号から演算対象の色検知信号を除く２つの色検知信号を減算する処理を複数回繰り返して第６の出力信号を生成し、２つの色検知信号のいずれかが所定値以下なら値０の第６の出力信号を生成し、
上記合成処理部は、
上記補間処理部から出力される上記第１の出力信号と上記第２の出力信号を合成して第１の色信号を生成し、
上記補間処理部から出力される上記第３の出力信号と上記第４の出力信号を合成して第２の色信号を生成し、
上記補間処理部から出力される上記第５の出力信号と上記第６の出力信号を合成して第３の色信号を生成する
請求項１記載の画像信号処理装置。
【請求項６】
上記補間処理部は、
あらかじめ設定した回数になると上記した繰り返し演算処理を終了する
請求項４または５記載の画像信号処理装置。
【請求項７】
上記補間処理部は、
上記した繰り返し演算処理した差の絶対値があらかじめ設定した閾値以下になると当該繰り返し演算処理を終了する
請求項４または５記載の画像信号処理装置。
【請求項８】
上記合成処理部は、
上記第１の出力信号および上記第２の出力信号が所定のレベルを有する場合、当該第１の出力信号と第２の出力信号を加算して色信号を生成し、
上記第１の出力信号および上記第２の出力信号の一方のみが所定のレベルを有する場合、当該第１の出力信号と第２の出力信号を加算した信号に１より大きい値を乗算して色信号を生成し、
上記第１の出力信号および上記第２の出力信号の両方が所定のレベルに達していない場合、対応する色検知信号の周辺の色検知信号を用いて色信号を生成する
請求項２記載の画像信号処理装置。
【請求項９】
上記合成処理部は、
第１の色信号を生成するに際し、
上記第１の出力信号および上記第２の出力信号が所定のレベルを有する場合、上記第１の出力信号と第２の出力信号を加算して第１の色信号を生成し、
上記第１の出力信号および上記第２の出力信号の一方のみが所定のレベルを有する場合、当該第１の出力信号と第２の出力信号を加算した信号に１より大きい値を乗算して第１の色信号を生成し、
上記第１の出力信号および上記第２の出力信号の両方が所定のレベルに達していない場合、対応する色検知信号の周辺の色検知信号を用いて第１の色信号を生成し、
第２の色信号を生成するに際し、
上記第３の出力信号および上記第４の出力信号が所定のレベルを有する場合、上記第３の出力信号と第４の出力信号を加算して第２の色信号を生成し、
上記第３の出力信号および上記第４の出力信号の一方のみが所定のレベルを有する場合、当該第３の出力信号と第４の出力信号を加算した信号に１より大きい値を乗算して第２の色信号を生成し、
上記第３の出力信号および上記第４の出力信号の両方が所定のレベルに達していない場合、対応する色検知信号の周辺の色検知信号を用いて第３の色信号を生成し、
第３の色信号を生成するに際し、
上記第５の出力信号および上記第６の出力信号が所定のレベルを有する場合、上記第５の出力信号と第６の出力信号を加算して第３の色信号を生成し、
上記第５の出力信号および上記第６の出力信号の一方のみが所定のレベルを有する場合、当該第５の出力信号と第６の出力信号を加算した信号に１より大きい値を乗算して第３の色信号を生成し、
上記第５の出力信号および上記第６の出力信号の両方が所定のレベルに達していない場合、対応する色検知信号の周辺の色検知信号を用いて第３の色信号を生成する
請求項３記載の画像信号処理装置。
【請求項１０】
上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号に対して光の減衰率に応じた重み付けを行って上記補間処理部に供給する重み付け部を
さらに有する請求項１から９のいずれか一に記載の画像信号処理装置。
【請求項１１】
上記補間処理部および上記合成処理部は、
上記色補間用検知信号が許容範囲外にあるときは、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号をそのまま色信号として処理する
請求項１０記載の画像信号処理装置。
【請求項１２】
透過する波長範囲の異なる複数の画素がアレイ状に配列され、上記画素を透過した光を電気信号に変換し、複数の色検知信号および色補間用検知信号を出力する複数の画素ユニットを含むセンサ部と、
上記センサ部による複数の色検知信号および色補間用検知信号に対して補間および合成処理を行う機能を有する画像信号処理装置と、を有し、
上記画像信号処理装置は、
上記センサ部から出力された複数の色検知信号の補間処理を行い、各色検知信号について複数の信号を生成する機能を含む補間処理部と、
上記補間処理部の各出力信号を合成して、各色信号を生成する合成処理部と、を有し、
上記センサ部の画素ユニットは、
第１の電磁波の波長範囲において透過性を有し、当該第１の電磁波を検知して第１の色検知信号を生成する第１の色検知素子と、
第２の電磁波の波長範囲において透過性を有し、当該第２の電磁波を検知して第２の色検知信号を生成する第２の色検知素子と、
第３の電磁波の波長範囲において透過性を有し、当該第３の電磁波を検知して第３の色検知信号を生成する第３の色検知素子と、
上記第１、第２、および第３の波長範囲のすくなくとも一部を包含する第４の波長範囲において透過性を有し、当該第４の波長範囲の電磁波を検知して色補間用検知信号を生成する色補間用素子と、を含み、
上記補間処理部は、
上記センサ部による上記色補間用検知信号、上記第１の色検知信号、上記第２の色検知信号、上記第３の色検知信号を用いて、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号それぞれの補間処理を行い、各色検知信号について複数の信号を生成し、
上記合成処理部は、
上記補間処理部から出力される各色検知信号の複数の出力信号をそれぞれ合成して、第１の色信号、第２の色信号、および第３の色信号を生成する
撮像装置。
【請求項１３】
上記補間処理部は、
一つの補間対象の色検知信号について、当該補間対象の色検知信号を第１の出力信号として、上記色補間用検知信号から当該補間対象の色検知信号を除く２つの色検知信号を減算して第２の出力信号を生成し、
上記合成処理部は、
上記補間処理部から出力される上記第１の出力信号と上記第２の出力信号を合成して色信号を生成する
請求項１２記載の撮像装置。
【請求項１４】
上記補間処理部は、
一つの補間対象の色検知信号について、当該補間対象の色検知信号を第１の出力信号として、当該補間対象の色検知信号を除く２つの色検知信号を含めて、３つの色検知信号を演算対象とし、当該３つの色検知信号について、上記色補間用検知信号から演算対象の色検知信号を除く２つの色検知信号を減算する処理を複数回繰り返して第２の出力信号を生成し、
上記合成処理部は、
上記補間処理部から出力される上記第１の出力信号と上記第２の出力信号を合成して色信号を生成する
請求項１２記載の撮像装置。
【請求項１５】
上記合成処理部は、
上記第１の出力信号および上記第２の出力信号が所定のレベルを有する場合、当該第１の出力信号と第２の出力信号を加算して色信号を生成し、
上記第１の出力信号および上記第２の出力信号の一方のみが所定のレベルを有する場合、当該第１の出力信号と第２の出力信号を加算した信号に１より大きい値を乗算して色信号を生成し、
上記第１の出力信号および上記第２の出力信号の両方が所定のレベルに達していない場合、対応する色検知信号の周辺の色検知信号を用いて色信号を生成する
請求項１３記載の撮像装置。
【請求項１６】
上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号に対して光の減衰率に応じた重み付けを行って上記補間処理部に供給する重み付け部を
さらに有する請求項１２から１５のいずれか一に記載の撮像装置。
【請求項１７】
上記補間処理部および上記合成処理部は、
上記色補間用検知信号が許容範囲外にあるときは、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号をそのまま色信号として処理する
請求項１６記載の撮像装置。
【請求項１８】
第１の電磁波の波長範囲において透過性を有する第１の色検知素子からの第１の色検知信号、
第２の電磁波の波長範囲において透過性を有する第２の色検知素子からの第２の色検知信号、
第３の電磁波の波長範囲において透過性を有する第３の色検知素子からの第３の色検知信号、および
上記第１、第２、および第３の波長範囲のすくなくとも一部を包含する波長範囲において、透過性を有する色補間用素子からの色補間用検知信号を用いて、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号それぞれの補間処理を行い、各色検知信号について複数の信号を生成し、
上記生成された各色検知信号の複数の信号をそれぞれ合成して、第１の色信号、第２の色信号、および第３の色信号を生成する
画像信号処理方法。
【請求項１９】
第１の電磁波の波長範囲において透過性を有する第１の色検知素子からの第１の色検知信号、
第２の電磁波の波長範囲において透過性を有する第２の色検知素子からの第２の色検知信号、
第３の電磁波の波長範囲において透過性を有する第３の色検知素子からの第３の色検知信号、および
上記第１、第２、および第３の波長範囲のすくなくとも一部を包含する波長範囲において、透過性を有する色補間用素子からの色補間用検知信号を用いて、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号それぞれの補間処理を行い、各色検知信号について複数の信号を生成する処理と、
上記生成された各色検知信号の複数の信号をそれぞれ合成して、第１の色信号、第２の色信号、および第３の色信号を生成する処理と
を含む画像信号処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子による色検知信号を処理する画像信号処理装置、および撮像装置に関するものである。本発明は、特に、複数の色フィルタを用いた２次元画素アレイの読み出し信号を処理する画像信号処理装置、撮像装置、画像信号処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
撮像素子の色フィルタの配列としては、色再現性が良好な、色の３原色のうち緑（Ｇ１，Ｇ２）を２つ、赤（Ｒ）、青（Ｂ）を一つずつ用いたベイヤ配列が知られている。
このベイヤ配列は、色よりも輝度の解像度を重視した配列である。
【０００３】
ところで、このような色フィルタ配列において、良好な色再現性を保持しながら、感度アップをできるように、透明なフィルタを配置した画素配列を有する撮像装置が提案されている（たとえば特許文献１参照）。
この画素ユニットは、Ｒ、Ｇ、Ｂ、およびカラーフィルタを持たない白（Ｗ）の４つの画素により構成される。
この白色の画素は、輝度信号に用いられるのが主である。
【０００４】
近年、白色信号に、周辺素子のＲ、Ｇ、Ｂ画素から得られる信号の比を乗じて、Ｒ、Ｇ、Ｂの信号を生成することにより、Ｓ／Ｎ比を改善する技術が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】ＵＳＰ６４７６８６５Ｂ１明細書
【特許文献２】特開２００８‐２２５２１号公報
【特許文献３】特開２００７−３２９３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献２に開示された技術では、白色画素の周辺のＲ、Ｇ、Ｂ比は周辺の数画素の信号の平均から求めるため、解像度の低下が懸念される。
【０００７】
微細化が進み、画素ピクセルが小さくなると、光の入射によって発生する電気信号に対し、熱揺らぎ等で発生する電気ノイズ等が無視できなくなってくるという問題が発生する。
画素の全体に占める割合を増やせばこの問題は改善するが、画素の面積は撮像素子の面積が上限となるので、おのずと限界がある。
【０００８】
一方、微細化が進み、それに併せて、１枚の撮像素子に搭載される画素数が増えると、１撮像素子あたりに発生する白点などの欠陥の数は増える傾向にあり、画素数を増やしても、白点の数を抑制する手法が求められている。
現在、単一の撮像素子では十分な大きさの信号強度が得られないため、複数の素子を１つのユニットとして使用しているが、画素の素子数よりも少ない解像度の画像しか得られず、コストメリットがとりにくいという問題がある。
【０００９】
高解像度な色信号を得る技術として、隣接画素から、色を補間する方法が提案されている（たとえば特許文献３参照）。
【００１０】
しかし、この技術では、アルゴリズムが複雑であり、色信号を直線補間等の技術を使い補間するため、高い色再現性を得ることが困難である。
【００１１】
本発明は、画素の欠陥をアルゴリズムで補完する技術を提供し、簡単なアルゴリズムで、解像度の向上を図れる画像信号処理装置、撮像装置、画像信号処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の観点の画像信号処理装置は、入力される複数の色検知信号の補間処理を行い、各色検知信号について複数の信号を生成する機能を含む補間処理部と、上記補間処理部の各出力信号を合成して、各色信号を生成する合成処理部と、を有し、上記補間処理部は、第１の電磁波の波長範囲において透過性を有する第１の色検知素子からの第１の色検知信号、第２の電磁波の波長範囲において透過性を有する第２の色検知素子からの第２の色検知信号、第３の電磁波の波長範囲において透過性を有する第３の色検知素子からの第３の色検知信号、および上記第１、第２、および第３の波長範囲のすくなくとも一部を包含する波長範囲において、透過性を有する色補間用素子からの色補間用検知信号を入力し、上記色補間用検知信号、上記第１の色検知信号、上記第２の色検知信号、上記第３の色検知信号を用いて、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号それぞれの補間処理を行い、各色検知信号について複数の信号を生成し、上記合成処理部は、上記補間処理部から出力される各色検知信号の複数の出力信号をそれぞれ合成して、第１の色信号、第２の色信号、および第３の色信号を生成する。
【００１３】
好適には、上記補間処理部は、一つの補間対象の色検知信号について、当該補間対象の色検知信号を第１の出力信号として、上記色補間用検知信号から当該補間対象の色検知信号を除く２つの色検知信号を減算して第２の出力信号を生成し、上記合成処理部は、上記補間処理部から出力される上記第１の出力信号と上記第２の出力信号を合成して色信号を生成する。
【００１４】
好適には、上記補間処理部は、上記第１の色検知信号について、当該第１の色検知信号を第１の出力信号として、上記色補間用検知信号から当該第１の色検知信号を除く２つの第２および第３の色検知信号の双方が所定値以上の場合はこれらを減算して第２の出力信号を生成し、２つの色検知信号のいずれかが所定値以下なら値０の第２の出力信号を生成し、上記第２の色検知信号について、当該第２の色検知信号を第３の出力信号として、上記色補間用検知信号から当該第２の色検知信号を除く２つの第１および第３の色検知信号の双方が所定値以上の場合はこれらを減算して第４の出力信号を生成し、２つの色検知信号のいずれかが所定値以下なら値０の第４の出力信号を生成し、上記第３の色検知信号について、当該第３の色検知信号を第５の出力信号として、上記色補間用検知信号から当該第３の色検知信号を除く２つの第１および第２の色検知信号の双方が所定値以上の場合はこれらを減算して第６の出力信号を生成し、２つの色検知信号のいずれかが所定値以下なら値０の第６の出力信号を生成し、上記合成処理部は、上記補間処理部から出力される上記第１の出力信号と上記第２の出力信号を合成して第１の色信号を生成し、上記補間処理部から出力される上記第３の出力信号と上記第４の出力信号を合成して第２の色信号を生成し、上記補間処理部から出力される上記第５の出力信号と上記第６の出力信号を合成して第３の色信号を生成する。
【００１５】
好適には、上記合成処理部は、上記第１の出力信号および上記第２の出力信号が所定のレベルを有する場合、当該第１の出力信号と第２の出力信号を加算して色信号を生成し、上記第１の出力信号および上記第２の出力信号の一方のみが所定のレベルを有する場合、当該第１の出力信号と第２の出力信号を加算した信号に１より大きい値を乗算して色信号を生成し、上記第１の出力信号および上記第２の出力信号の両方が所定のレベルに達していない場合、対応する色検知信号の周辺の色検知信号を用いて色信号を生成する。
【００１６】
好適には、上記合成処理部は、第１の色信号を生成するに際し、上記第１の出力信号および上記第２の出力信号が所定のレベルを有する場合、上記第１の出力信号と第２の出力信号を加算して第１の色信号を生成し、上記第１の出力信号および上記第２の出力信号の一方のみが所定のレベルを有する場合、当該第１の出力信号と第２の出力信号を加算した信号に１より大きい値を乗算して第１の色信号を生成し、上記第１の出力信号および上記第２の出力信号の両方が所定のレベルに達していない場合、対応する色検知信号の周辺の色検知信号を用いて第１の色信号を生成し、第２の色信号を生成するに際し、上記第３の出力信号および上記第４の出力信号が所定のレベルを有する場合、上記第３の出力信号と第４の出力信号を加算して第２の色信号を生成し、上記第３の出力信号および上記第４の出力信号の一方のみが所定のレベルを有する場合、当該第３の出力信号と第４の出力信号を加算した信号に１より大きい値を乗算して第２の色信号を生成し、上記第３の出力信号および上記第４の出力信号の両方が所定のレベルに達していない場合、対応する色検知信号の周辺の色検知信号を用いて第３の色信号を生成し、第３の色信号を生成するに際し、上記第５の出力信号および上記第６の出力信号が所定のレベルを有する場合、上記第５の出力信号と第６の出力信号を加算して第３の色信号を生成し、上記第５の出力信号および上記第６の出力信号の一方のみが所定のレベルを有する場合、当該第５の出力信号と第６の出力信号を加算した信号に１より大きい値を乗算して第３の色信号を生成し、上記第５の出力信号および上記第６の出力信号の両方が所定のレベルに達していない場合、対応する色検知信号の周辺の色検知信号を用いて第３の色信号を生成する。
【００１７】
好適には、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号に対して光の減衰率に応じた重み付けを行って上記補間処理部に供給する重み付け部をさらに有する。
【００１８】
好適には、上記補間処理部および上記合成処理部は、上記色補間用検知信号が許容範囲外にあるときは、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号をそのまま色信号として処理する。
【００１９】
本発明の第２の観点の撮像装置は、透過する波長範囲の異なる複数の画素がアレイ状に配列され、上記画素を透過した光を電気信号に変換し、複数の色検知信号および色補間用検知信号を出力する複数の画素ユニットを含むセンサ部と、上記センサ部による複数の色検知信号および色補間用検知信号に対して補間および合成処理を行う機能を有する画像信号処理装置と、を有し、上記画像信号処理装置は、上記センサ部から出力された複数の色検知信号の補間処理を行い、各色検知信号について複数の信号を生成する機能を含む補間処理部と、上記補間処理部の各出力信号を合成して、各色信号を生成する合成処理部と、を有し、上記センサ部の画素ユニットは、第１の電磁波の波長範囲において透過性を有し、当該第１の電磁波を検知して第１の色検知信号を生成する第１の色検知素子と、第２の電磁波の波長範囲において透過性を有し、当該第２の電磁波を検知して第２の色検知信号を生成する第２の色検知素子と、第３の電磁波の波長範囲において透過性を有し、当該第３の電磁波を検知して第３の色検知信号を生成する第３の色検知素子と、上記第１、第２、および第３の波長範囲のすくなくとも一部を包含する第４の波長範囲において透過性を有し、当該第４の波長範囲の電磁波を検知して色補間用検知信号を生成する色補間用素子と、を含み、上記補間処理部は、上記センサ部による上記色補間用検知信号、上記第１の色検知信号、上記第２の色検知信号、上記第３の色検知信号を用いて、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号それぞれの補間処理を行い、各色検知信号について複数の信号を生成し、上記合成処理部は、上記補間処理部から出力される各色検知信号の複数の出力信号をそれぞれ合成して、第１の色信号、第２の色信号、および第３の色信号を生成する。
【００２０】
本発明の第３の観点の画像信号処理方法は、第１の電磁波の波長範囲において透過性を有する第１の色検知素子からの第１の色検知信号、第２の電磁波の波長範囲において透過性を有する第２の色検知素子からの第２の色検知信号、第３の電磁波の波長範囲において透過性を有する第３の色検知素子からの第３の色検知信号、および上記第１、第２、および第３の波長範囲のすくなくとも一部を包含する波長範囲において、透過性を有する色補間用素子からの色補間用検知信号を用いて、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号それぞれの補間処理を行い、各色検知信号について複数の信号を生成し、上記生成された各色検知信号の複数の信号をそれぞれ合成して、第１の色信号、第２の色信号、および第３の色信号を生成する。
【００２１】
本発明の第４の観点は、第１の電磁波の波長範囲において透過性を有する第１の色検知素子からの第１の色検知信号、第２の電磁波の波長範囲において透過性を有する第２の色検知素子からの第２の色検知信号、第３の電磁波の波長範囲において透過性を有する第３の色検知素子からの第３の色検知信号、および上記第１、第２、および第３の波長範囲のすくなくとも一部を包含する波長範囲において、透過性を有する色補間用素子からの色補間用検知信号を用いて、上記第１の色検知信号、上記第２の色検知信号、および上記第３の色検知信号それぞれの補間処理を行い、各色検知信号について複数の信号を生成する処理と、上記生成された各色検知信号の複数の信号をそれぞれ合成して、第１の色信号、第２の色信号、および第３の色信号を生成する処理とを含む画像信号処理をコンピュータに実行させるプログラムである。
【００２２】
本発明によれば、たとえば青色の場合、青色のカラーフィルタからの受光信号の他に、白色の信号から赤、緑の信号を引き去る事で別途、青色の信号が得られる。
演算としては、Blue=W+B/b(B)-R/r(R)-G/g(G)（ｒ、ｇ、ｂはカラーフィルタによる光の透過率）という演算で、青色信号が合成される。他の色についても同様の演算で生成される。
【発明の効果】
【００２３】
本発明によれば、通常よりも高精度に欠陥画素の色補間を実現でき、また、簡単なアルゴリズムで、解像度の向上を図れ、しかも色再現性に優れた撮像装置を実現できる。
また、本発明は、明るさに応じた自然に近い色を生成することが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る撮像装置の要部の構成例を示すブロック図である。
【図２】本実施形態の単位画素の一例を示す回路図である。
【図３】本実施形態の画素アレイ部の画素ユニットの一例を模式的に示す図である。
【図４】各色フィルタ画素Ｒ，Ｇ，Ｂとホワイト画素Ｗの分光特性を概念的に示す図である。
【図５】本第１の実施形態に係る信号補間合成処理部の構成例を示すブロック図である。
【図６】本第１の実施形態のＲ、Ｇ、Ｂ、Ｗの第１の画素ユニットを有する撮像装置の動作を説明するため第１のフローチャートである。
【図７】本第１の実施形態のＲ、Ｇ、Ｂ、Ｗの第１の画素ユニットを有する撮像装置の動作を説明するため第２のフローチャートである。
【図８】本第１の実施形態のＲ、Ｇ、Ｂ、Ｗの第１の画素ユニットを有する撮像装置の動作を説明するため第３のフローチャートである。
【図９】本第１の実施形態のＲ、Ｇ、Ｂ、Ｗの第１の画素ユニットを有する撮像装置の動作を説明するため第４のフローチャートである。
【図１０】本第１の実施形態の画素アレイ部の画素ユニットの他例を模式的に示す図である。
【図１１】本第１の実施形態のＣｙ、Ｍｇ、Ｙ、Ｗの第２の画素ユニットを有する撮像装置の動作を説明するため第１のフローチャートである。
【図１２】本第１の実施形態のＣｙ、Ｍｇ、Ｙ、Ｗの第２の画素ユニットを有する撮像装置の動作を説明するため第２のフローチャートである。
【図１３】本第１の実施形態のＣｙ、Ｍｇ、Ｙ、Ｗの第２の画素ユニットを有する撮像装置の動作を説明するため第３のフローチャートである。
【図１４】本第１の実施形態のＣｙ、Ｍｇ、Ｙ、Ｗの第２の画素ユニットを有する撮像装置の動作を説明するため第４のフローチャートである。
【図１５】本第２の実施形態に係る信号補間合成処理部の構成例を示すブロック図である。
【図１６】本第２の実施形態に係る基本的なアルゴリズムの第１例を示す図である。
【図１７】本第２の実施形態に係る基本的なアルゴリズムの第２例を示す図である。
【図１８】本第２の実施形態に係る基本的なアルゴリズムの第３例を示す図である。
【図１９】本第２の実施形態に係る基本的なアルゴリズムの第４例を示す図である。
【図２０】画素データの座標補間方法を説明するための図である。
【図２１】比較例として示す座標補間方法を示す図である。
【図２２】本第２の実施形態に係る第１の処理を説明するための第１のフローチャートである。
【図２３】本第２の実施形態に係る第１の処理を説明するための第２のフローチャートである。
【図２４】本第２の実施形態に係る第１の処理を説明するための第３のフローチャートである。
【図２５】本第２の実施形態に係る第１の処理を説明するための第４のフローチャートである。
【図２６】本第２の実施形態に係る第２の処理を説明するための第１のフローチャートである。
【図２７】本第２の実施形態に係る第２の処理を説明するための第２のフローチャートである。
【図２８】本第２の実施形態に係る第２の処理を説明するための第３のフローチャートである。
【図２９】本第２の実施形態に係る第２の処理を説明するための第４のフローチャートである。
【図３０】本実施形態に係る撮像装置の他の構成例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．第１の実施形態
２．第２の実施形態
【００２６】
＜１．第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置の要部の構成例を示すブロック図である。
【００２７】
本撮像装置１００は、図１に示すように、光学レンズ系１１０、イメージセンサ部１２０、重み付け部１３０、信号補間合成処理部１４０、および信号処理部１５０を有する。
なお、重み付け部１３０、信号補間合成処理部１４０、および信号処理部１５０により画像信号処理装置が構成される。
【００２８】
光学系レンズ１１０は、被写体像をイメージセンサ部１２０の撮像素子の撮像面上に結像する。
【００２９】
イメージセンサ部１２０は、光学レンズ系１１０を通して結像された被写体の像光をアナログ電気信号に変換する撮像素子を有する。
イメージセンサ部１２０は、このアナログ電気信号を図示しないアナログ・デジタル（ＡＤ）コンバータによりデジタル信号に変換し、最終的にデジタルの生（ＲＡＷ）画像データとして出力する。
【００３０】
イメージセンサ部１２０は、たとえばセンサ画素ユニットが所定の配列形態をもってアレイ状に配列された画素アレイ部を有する。
また、画素アレイ部には、画素配列の各行（ロウ）に転送選択線、リセット線、セレクト線が配線され、画素配列の各列（カラム）に信号線が配線されている。
【００３１】
図２は、本実施形態の画素の一例を示す回路図である。図２では、ＣＭＯＳセンサを一例として示している。
【００３２】
図２の画素１２０Ａは、フォトダイオード１２１、転送トランジスタ１２２、増幅トランジスタ１２３、セレクトトランジスタ１２４、リセットトランジスタ１２５、およびフローティングディフュージョン（ＦＤ）ノードＮＤ１２１を有している。
【００３３】
フォトダイオード１２１は、入射光をその光量に応じた電荷量の信号電荷（たとえば電子）に光電変換して蓄積する。
転送トランジスタ１２２は、フォトダイオード１２１のカソードとＦＤノードＮＤ１２１との間に接続され、ゲートが転送選択線ＴＲＦＬに接続されている。転送トランジスタ１２２は、導通（オン）することにより、フォトダイオード１２１に蓄積されている信号電荷をＦＤノードＮＤ１２１に転送する。
増幅トランジスタ１２３とセレクトトランジスタ１２４は電源電位ＶＤＤと信号線ＳＧＮＬとの間に直列に接続されている。
増幅トランジスタ１２３はゲートがＦＤノードＮＤ１２１に接続され、ＦＤノードＮＤ１２１の電位を増幅しセレクトトランジスタ１２４を介して信号線ＳＧＮＬに出力する。
セレクトトランジスタ１２４のゲートはセレクト線ＳＥＬＬに接続されている。
リセットトランジスタ１２５は、ソースがＦＤノードＮＤ１２１に接続され、ドレインが所定電位線に接続され、ゲートがリセット線ＲＳＴＬに接続され、ＦＤノードＮＤ１２１の電位をリセットする機能を有している。
【００３４】
画素配列の各行に配線される転送選択線ＴＲＦＬ、セレクト線ＳＥＬＬ、リセット線ＲＳＴＬは、垂直スキャン回路（ＶＳＣＮ）１２６により選択的に駆動され、信号線ＳＧＮＬは水平スキャン回路（ＨＳＣＮ）１２７に画素から読み出した信号を選択的転送する。
垂直スキャン回路１２６および水平スキャン回路１２７は、タイミング制御部（ＴＣ）１２８により駆動タイミングが制御される。
【００３５】
図３（Ａ）および（Ｂ）は、本実施形態の画素アレイ部の画素ユニットの一例を模式的に示す図である。
【００３６】
図３（Ａ）の画素ユニット２００は、いわゆる正方配列された３つの色検知素子２０１，２０２，２０３、および色補間用素子２０４により形成される。
第１の色検知素子２０１は、第１の電磁波の波長範囲において透過性を有し、この第１の電磁波を検知して第１の色検知信号ＣＤＴ１を生成する。
第２の色検知素子２０２は、第２の電磁波の波長範囲において透過性を有し、この第２の電磁波を検知して第２の色検知信号ＣＤＴ２を生成する。
第３の色検知素子２０３は、第３の電磁波の波長範囲において透過性を有し、この第３の電磁波を検知して第３の色検知信号ＣＤＴ３を生成する。
色補間用素子２０４は、第１、第２、および第３の波長範囲のすくなくとも一部を包含する第４の波長範囲において透過性を有し、第４の波長範囲の電磁波を検知して色補間用検知信号ＣＤＴ４を生成する。
【００３７】
本実施形態において、第１の色検知素子２０１は、色フィルタを含む分光感度特性のピークが赤色（Ｒ）にある色フィルタ画素Ｒにより形成される。
第２の色検知素子２０２は、色フィルタを含む分光感度特性のピークが緑色（Ｇ）にある色フィルタ画素Ｇにより形成される。
第３の色検知素子２０３は、色フィルタを含む分光感度特性のピークが青色（Ｂ）にある色フィルタ画素Ｂにより形成される。
色補間用素子２０４は、色フィルタを含まない分光感度特性がＲ、Ｇ、Ｂの各色を含む透過率の高い白（ホワイト）画素Ｗにより形成される。
なお、色補間用素子２０４は、必ずしも白色である必要なはい。
【００３８】
また、図３（Ａ）では正方配列された画素ユニットの例を示しているが、本発明は、種々の配列、たとえば図３（Ｂ）に示すように、いわゆるハニカム構造の配列の画素ユニットも適用可能である。
【００３９】
図４は、各色フィルタ画素Ｒ，Ｇ，Ｂとホワイト画素Ｗの分光特性を概念的に示す図である。
図４において、横軸が波長を、縦軸が相対出力をそれぞれ示している。
図４から分かるように、ホワイト画素Ｗは可視光領域(波長３６０ｎｍから７００ｎｍ)の略全域にわたって感度を持っている。
すなわち、ホワイト画素Ｗでは、広い波長領域成分を持っていることから（全ての色信号は含まれる）クリア画素との境目の色再現をしやすい。
【００４０】
イメージセンサ部１２０で生成された第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３は重み付け部１３０に供給される。
一方、イメージセンサ部１２０で生成された色補間用検知信号ＣＤＴ４は、信号補間合成処理部１４０に供給される。
【００４１】
重み付け部１３０は、イメージセンサ部１２０によるＲＡＷデータである第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３に対して光の減衰率に応じた重み付けを行って信号補間合成処理部１４０に供給する。
重み付け部１３０は、イメージセンサ部１２０におけるカラーフィルタによる光の減衰率を考慮した重み付け係数ｇを用いた重み付けを行う。
【００４２】
カラーフィルタにおける光の透過率は、Ｒ、Ｇ、Ｂの単色光を信号として入力し、単色ピクセル（pixel）からの出力信号と白色（ホワイト）ピクセルからの出力信号の比から求め、重み付け部１３０は、各色の透過率をテーブルとして持っておく。
Ｒ色の透過率ｒ（Ｒ）はＲ／Ｗ、Ｇ色の透過率ｇ（Ｇ）はＧ／Ｗ、Ｂ色の透過率ｂ（Ｂ）はＢ／Ｗで与えられる。
このテーブルは単色ピクセルの出力に応じて変化するものも適用可能である。
【００４３】
信号補間合成処理部１４０は、入力される複数の色検知信号の補間処理を行い、各色検知信号について複数の信号を生成し、各生成信号を合成して、各色信号を生成し、生成した各色信号を信号処理部１５０に出力する。
信号補間合成処理部１４０は、色補間用検知信号ＣＤＴ４が許容範囲外にあるときは、第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３をそのまま色信号として処理する機能を有する。
あるピクセルで色補間検知信号が許容範囲の上限閾値をＷ１、下限閾値をＷ２（Ｗ１＞Ｗ２）とした場合、信号補間合成処理部１４０は、次の処理を行う。
信号補間合成処理部１４０は、Ｗ＞Ｗ１，Ｗ＜Ｗ２であるときは、第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３をそのまま色信号として処理する。
【００４４】
図５は、本第１の実施形態に係る信号補間合成処理部１４０の構成例を示すブロック図である。
【００４５】
信号補間合成処理部１４０は、図５に示すように、補間処理部１４１および合成処理部１４２を有する。
【００４６】
補間処理部１４１は、イメージセンサ部１２０による色補間用検知信号ＣＤＴ４を用いて、第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３それぞれの補間処理を行い、各色検知信号について複数の信号を生成する。
補間処理部１４１は、第１の色検知信号ＣＤＴ１について信号Ｘ１およびＸ２を生成し、第２の色検知信号ＣＤＴ２について信号Ｙ１およびＹ２を生成し、第３の色検知信号ＣＤＴ３について信号Ｚ１およびＺ２を生成する。
補間処理部１４１は、生成した信号Ｘ１およびＸ２、Ｙ１およびＹ２、並びにＺ１およびＺ２を合成処理部１４２に出力する。
【００４７】
具体的には、補間処理部１４１は、第１の色検知信号ＣＤＴ１について、第１の色検知信号ＣＤＴ１をそのまま第１の出力信号Ｘ１として、Ｙ１，Ｚ１が所定値以上の場合、次の処理を行う。
補間処理部１４１は、色補間用検知信号ＣＤＴ４から第１の色検知信号を除く第２および第３の色検知信号を減算して第２の出力信号Ｘ２を生成する。Ｙ１，Ｚ１のいずれかが所定値以下の場合、Ｘ２はゼロとする。
第２の出力信号Ｘ２は、次式で与えられる。
【００４８】
［数１］
Ｘ２＝Ｗ−ｇｙ＊Ｙ−ｇｚ＊Ｚ
【００４９】
重み付け部１３０による重み付けを施さない場合、たとえばＲについては、Ｘ２は単純にＸ２＝Ｗ−Ｇ−Ｂで与えられる。
【００５０】
補間処理部１４１は、第２の色検知信号ＣＤＴ２について、第２の色検知信号ＣＤＴ２をそのまま第３の出力信号Ｙ１として、Ｘ１，Ｚ１が所定値以上の場合、次に処理を行う。
補間処理部１４１は、色補間用検知信号ＣＤＴ４から第２の色検知信号を除く第１および第３の色検知信号を減算して第４の出力信号Ｙ２を生成する。Ｘ１，Ｚ１のいずれかが所定値以下の場合、Ｙ２はゼロとする。
第４の出力信号Ｙ２は、次式で与えられる。
【００５１】
［数２］
Ｙ２＝Ｗ−ｇｘ＊Ｘ−ｇｚ＊Ｚ
【００５２】
重み付け部１３０による重み付けを施さない場合、たとえばＧについては、Ｙ２は単純にＹ２＝Ｗ−Ｒ−Ｂで与えられる。
【００５３】
補間処理部１４１は、第３の色検知信号ＣＤＴ３について、第３の色検知信号ＣＤＴ３をそのまま第５の出力信号Ｚ１として、Ｘ１，Ｙ１が所定値以上の場合、次の処理を行う。
補間処理部１４１は、色補間用検知信号ＣＤＴ４から第３の色検知信号を除く第１および第２の色検知信号を減算して第６の出力信号Ｚ２を生成する。Ｘ１，Ｙ１のいずれかが所定値以下の場合、Ｚ２はゼロとする。
第６の出力信号Ｚ２は、次式で与えられる。
【００５４】
［数３］
Ｚ２＝Ｗ−ｇｘ＊Ｘ−ｇｙ＊Ｙ
【００５５】
重み付け部１３０による重み付けを施さない場合、たとえばＢについては、Ｚ２は単純にＺ２＝Ｗ−Ｒ−Ｇで与えられる。
【００５６】
合成処理部１４２は、補間処理部１４１による第１の出力信号Ｘ１と第２の出力信号Ｘ２、第３の出力信号Ｙ１と第４の出力信号Ｙ２、並びに第５の出力信号Ｚ１と第６の出力信号Ｚ２を、それぞれ合成して信号処理部１５０に出力する。
【００５７】
合成処理部１４２は、第１の出力信号Ｘ１と第２の出力信号Ｘ２を合成し、合成信号Ｘ１＋Ｘ２である第１の色信号ＣＸを信号処理部１５０に出力する。
合成信号Ｘ１＋Ｘ２は次式で与えられる。
【００５８】
［数４］
Ｘ１＋Ｘ２＝Ｗ＋Ｘ１−ｇｙ＊Ｙ−ｇｚ＊Ｚ
【００５９】
重み付け部１３０による重み付けを施さない場合、たとえばＲについては、補間および合成にかかわるＲＧＢの画素が全て有効な場合、合成信号Ｘ１＋Ｘ２は単純に［Ｘ１＋Ｘ２＝Ｗ＋Ｒ−Ｇ−Ｂ］で与えられる第１の色信号ＣＸを生成する。
合成処理部１４２は、補間および合成にかかわるＲ画素に欠陥があり、補間処理に用いることが困難なレベル、たとえば０である場合には、信号処理部１５０に出力するＲ信号としては、［Ｒ＝Ｗ−Ｇ−Ｂ］で与えられる第１の色信号ＣＸを生成する。
合成処理部１４２は、第１の出力信号Ｘ１および第２の出力信号Ｘ２の一方のみが所定のレベルを有する場合、第１の出力信号Ｘ１と第２の出力信号Ｘ２を加算した信号に１より大きい値、たとえば２を乗算して第１の色信号ＣＸを生成する。
合成処理部１４２は、補間および合成にかかわる２画素以上に欠陥があり、補間処理に用いることが困難なレベルたとえば０である場合には、信号処理部１５０に出力するＲ信号としては通常の周辺の色検知信号を用いた補間処理により第１の色信号ＣＸを生成する。
【００６０】
合成処理部１４２は、第３の出力信号Ｙ１と第４の出力信号Ｙ２を合成し、合成信号Ｙ１＋Ｙ２である色信号ＣＹを信号処理部１５０に出力する。
合成信号Ｙ１＋Ｙ２は次式で与えられる。
【００６１】
［数５］
Ｙ１＋Ｙ２＝Ｗ＋Ｙ１−ｇｘ＊Ｘ−ｇｚ＊Ｚ
【００６２】
重み付け部１３０による重み付けを施さない場合、たとえばＧについては、補間および合成にかかわるＲＧＢの画素が全て有効な場合、合成信号Ｙ１＋Ｙ２は単純に［Ｙ１＋Ｙ２＝Ｗ＋Ｇ−Ｒ−Ｂ］で与えられる第２の色信号ＣＹを生成する。
合成処理部１４２は、補間および合成にかかわるＧ画素に欠陥があり、補間処理に用いることが困難なレベル、たとえば０である場合には、信号処理部１５０に出力するＧ信号としては、［Ｇ＝Ｗ−Ｒ−Ｂ］で与えられる第２の色信号ＣＹを生成する。
合成処理部１４２は、第３の出力信号Ｙ１および第４の出力信号Ｙ２の一方のみが所定のレベルを有する場合、第３の出力信号Ｙ１と第４の出力信号Ｙ２を加算した信号に１より大きい値、たとえば２を乗算して第２の色信号ＣＹを生成する。
合成処理部１４２は、補間および合成にかかわる２画素以上に欠陥があり、補間処理に用いることが困難なレベルたとえば０である場合は、信号処理部１５０に出力するＧ信号としては通常の周辺の色検知信号を用いた補間処理により第２の色信号ＣＹを生成する。
【００６３】
合成処理部１４２は、第５の出力信号Ｚ１と第６の出力信号Ｚ２を合成し、合成信号Ｚ１＋Ｚ２である色信号ＣＺを信号処理部１５０に出力する。
合成信号Ｚ１＋Ｚ２は次式で与えられる。
【００６４】
［数６］
Ｚ１＋Ｚ２＝Ｗ＋Ｚ１−ｇｘ＊Ｘ−ｇｙ＊Ｙ
【００６５】
重み付け部１３０による重み付けを施さない場合、たとえばＢについては、補間および合成にかかわるＲＧＢの画素が全て有効な場合、合成信号Ｚ１＋Ｚ２は単純に［Ｚ１＋Ｚ２＝Ｗ＋Ｂ−Ｒ−Ｇ］で与えられる第３の色信号ＣＺを生成する。
合成処理部１４２は、補間および合成にかかわるＢ画素に欠陥があり、補間処理に用いることが困難なレベル、たとえば０である場合には、信号処理部１５０に出力するＢ信号としては、［Ｇ＝Ｗ−Ｒ−Ｇ］で与えられる第３の色信号ＣＺを生成する。
合成処理部１４２は、第５の出力信号Ｚ１および第６の出力信号Ｚ２の一方のみが所定のレベルを有する場合、第５の出力信号Ｚ１と第６の出力信号Ｚ２を加算した信号に１より大きい値、たとえば２を乗算して第３の色信号ＣＺを生成する。
合成処理部１４２は、補間および合成にかかわる２画素以上に欠陥があり、補間処理に用いることが困難なレベルたとえば０である場合は、信号処理部１５０に出力するＢ信号としては通常の周辺の色検知信号を用いた補間処理により第３の色信号ＣＺを生成する。
【００６６】
信号処理部１５０は、信号補間合成処理部１４０による色信号ＣＸ、ＣＹ、ＣＺを受けて、ホワイトバランス、圧縮等の処理を行う。
【００６７】
［Ｒ、Ｇ、Ｂ、Ｗの画素ユニットを有する撮像装置の動作］
次に、上記構成による動作を説明する。
図６から図９は、本第１の実施形態のＲ、Ｇ、Ｂ、Ｗの画素ユニットを有する撮像装置の動作を説明するためのフローチャートである。
【００６８】
＜ステップＳＴ１＞
ステップＳＴ１において、重み付け部１３０は、イメージセンサ部１２０によるＲ，Ｇ，ＢのＲＡＷ画素データから取り出した信号にカラーフィルタによる光の減衰率を考慮して信号に重み付け係数ｇを用いた重み付けを行う。
重み付け部１３０は、イメージセンサ部１２０によるＲＡＷデータである第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３に対して重み付けを行う。
重み付け処理を受けた第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３は信号補間合成処理部１４０の補間処理部１４１に供給される。
また、イメージセンサ部１２０による色補間用検知信号ＣＤＴ４は、重み付け部１３０を通さずに補間処理部１４１に供給される。
【００６９】
＜ステップＳＴ２＞
ステップＳＴ２において、信号補間合成処理部１４０は、ホワイト信号Ｗを示す色補間用検知信号ＣＤＴ４の大きさ（レベル）が閾値Ｗ１以上（Ｗ＞Ｗ１）か閾値Ｗ２以下（Ｗ＜Ｗ２）であるか否かを判定する。
【００７０】
＜ステップＳＴ３＞
ステップＳＴ２において、色補間用検知信号ＣＤＴ４の大きさ（レベル）が閾値Ｗ１以上（Ｗ＞Ｗ１）か閾値Ｗ２以下（Ｗ＜Ｗ２）であると判定すると、信号補間合成処理部１４０は、ステップＳＴ３において、生成した色信号をそのまま、色信号として処理する。
【００７１】
＜ステップＳＴ４＞
ステップＳＴ２において、色補間用検知信号ＣＤＴ４の大きさ（レベル）が閾値Ｗ１以下でかつ閾値Ｗ２以上（Ｗ２＜Ｗ＜Ｗ１）であると判定すると、補間処理部１４１は、ステップＳＴ４において対象となる色Ｘ，Ｙ，Ｚを特定する。
そして、補間処理部１４１は、対象となる色Ｘを特定し、図７の処理を行う。
補間処理部１４１は、対象となる色Ｙを特定し、図８の処理を行う。
補間処理部１４１は、対象となる色Ｚを特定し、図９の処理を行う。
補間処理部１４１は、たとえばＸをＲ、ＹをＧ、ＺをＢとして特定する。
【００７２】
＜ステップＳＴ５＞
補間処理部１４１は、対象となる色Ｘを特定し、Ｘ以外の色をＹ，Ｚとした場合、図７のステップＳＴ５において、Ｘ信号があらかじめ設定した閾値ＶＴＨＸ以上であるか否かを判定する。
【００７３】
＜ステップＳＴ６＞
ステップＳＴ５でＸ信号があらかじめ設定した閾値ＶＴＨＸ以上であると判定すると、補間処理部１４１は、ステップＳＴ６において重み付けされたＸ信号をそのまま第１の出力信号Ｘ１としてその値をｇｘ＊Ｘとする。
【００７４】
＜ステップＳＴ７＞
ステップＳＴ５でＸ信号があらかじめ設定した閾値ＶＴＨＸ以上でないと判定すると、補間処理部１４１は、ステップＳＴ７において第１の出力信号Ｘ１を０とする。
【００７５】
＜ステップＳＴ８＞
また、補間処理部１４１は、ステップＳＴ８において、Ｘ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上であるか否かを判定する。
【００７６】
＜ステップＳＴ９＞
ステップＳＴ８でＸ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上であると判定すると、補間処理部１４１は、ステップＳＴ９において演算により第２の出力信号Ｘ２を［Ｗ−ｇｙ＊Ｙ−ｇｚ＊Ｚ］として求める。
【００７７】
＜ステップＳＴ１０＞
ステップＳＴ８でＸ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上でないと判定すると、補間処理部１４１は、ステップＳＴ１０において第２の出力信号Ｘ２を０とする。
【００７８】
補間処理部１４１は、得られた第１の出力信号Ｘ１および第２の出力信号Ｘ２を合成処理部１４２に出力する。
【００７９】
＜ステップＳＴ１１＞
ステップＳＴ１１において、合成処理部１４２は、補間処理部１４１から第１の出力信号Ｘ１および第２の出力信号Ｘ２を受けて、第１の出力信号Ｘ１および第２の出力信号Ｘ２の両信号レベルが０より大きいか否かを判定する。
【００８０】
＜ステップＳＴ１２＞
ステップＳＴ１１で第１の出力信号Ｘ１および第２の出力信号Ｘ２が０より大きいと判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ１２において第１の出力信号Ｘ１および第２の出力信号Ｘ２を加算した合成信号Ｘ１＋Ｘ２を得、この合成信号Ｘ１＋Ｘ２を第１の色信号ＣＸとして出力する。
【００８１】
＜ステップＳＴ１３＞
ステップＳＴ１１で第１の出力信号Ｘ１および第２の出力信号Ｘ２が０より大きくないと判定すると、合成処理部１４２は、ステップＳＴ１３において第１の出力信号Ｘ１および第２の出力信号Ｘ２が０であるか否かを判定する。
【００８２】
＜ステップＳＴ１４＞
ステップＳＴ１３で第１または第２の出力信号Ｘ１，Ｘ２のいずれか一方のみが０であると判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ１４において第１の出力信号Ｘ１および第２の出力信号Ｘ２を加算した合成信号［２＊（Ｘ１＋Ｘ２）］を得、この合成信号を第１の色信号ＣＸとして出力する。
【００８３】
＜ステップＳＴ１５＞
ステップＳＴ１３で第１または第２の出力信号Ｘ１，Ｘ２の両信号が０であると判定すると、合成処理部１４２は、ステップＳＴ１６において周辺の信号Ｘのから内挿または、外挿することで信号Ｘを計算し、第１の色信号ＣＸとして出力する。
【００８４】
＜ステップＳＴ１６＞
補間処理部１４１は、対象となる色Ｙを特定し、Ｙ以外の色をＸ，Ｚとして場合、図８のステップＳＴ１６において、Ｙ信号があらかじめ設定した閾値ＶＴＨＹ以上であるか否かを判定する。
【００８５】
＜ステップＳＴ１７＞
ステップＳＴ１６でＹ信号があらかじめ設定した閾値ＶＴＨＹ以上であると判定すると、補間処理部１４１は、ステップＳＴ１７において重み付けされたＹ信号をそのまま第３の出力信号Ｙ１としてその値をｇｙ＊Ｙとする。
【００８６】
＜ステップＳＴ１８＞
ステップＳＴ１６でＹ信号があらかじめ設定した閾値ＶＴＨＹ以上でないと判定すると、補間処理部１４１は、ステップＳＴ１８において第３の出力信号Ｙ１を０とする。
【００８７】
＜ステップＳＴ１９＞
また、補間処理部１４１は、ステップＳＴ１９において、Ｙ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上であるか否かを判定する。
【００８８】
＜ステップＳＴ２０＞
ステップＳＴ１９でＹ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上であると判定すると、補間処理部１４１は、ステップＳＴ２０において演算により第４の出力信号Ｙ２を［Ｗ−ｇｘ＊Ｘ−ｇｚ＊Ｚ］として求める。
【００８９】
＜ステップＳＴ２１＞
ステップＳＴ１９でＹ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上でないと判定すると、補間処理部１４１は、ステップＳＴ２１において第４の出力信号Ｙ２を０とする。
【００９０】
補間処理部１４１は、得られた第３の出力信号Ｙ１および第４の出力信号Ｙ２を合成処理部１４２に出力する。
【００９１】
＜ステップＳＴ２２＞
ステップＳＴ２２において、合成処理部１４２は、補間処理部１４１から第３の出力信号Ｙ１および第４の出力信号Ｙ２を受けて、第３の出力信号Ｙ１および第４の出力信号Ｙ２の両信号レベルが０より大きいか否かを判定する。
【００９２】
＜ステップＳＴ２３＞
ステップＳＴ２２で第３の出力信号Ｙ１および第４の出力信号Ｙ２が０より大きいと判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ２３において第３の出力信号Ｙ１および第４の出力信号Ｙ２を加算した合成信号Ｙ１＋Ｙ２を得、この合成信号Ｙ１＋Ｙ２を第２の色信号ＣＹとして出力する。
【００９３】
＜ステップＳＴ２４＞
ステップＳＴ２２で第３の出力信号Ｙ１および第４の出力信号Ｙ２が０より大きくないと判定すると、合成処理部１４２は、ステップＳＴ２４において第３の出力信号Ｙ１および第４の出力信号Ｙ２が０であるか否かを判定する。
【００９４】
＜ステップＳＴ２５＞
ステップＳＴ２４で第３または第４の出力信号Ｙ１，Ｙ２のいずれか一方のみが０であると判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ２５において第３の出力信号Ｙ１および第４の出力信号Ｙ２を加算した合成信号［２＊（Ｙ１＋Ｙ２）］を得、この合成信号を第２の色信号ＣＹとして出力する。
【００９５】
＜ステップＳＴ２６＞
ステップＳＴ２４で第３または第４の出力信号Ｙ１，Ｙ２の両信号が０であると判定すると、合成処理部１４２は、ステップＳＴ２６において周辺の信号Ｙから内挿または、外挿することで信号Ｙを計算し、第２の色信号ＣＹとして出力する。
【００９６】
＜ステップＳＴ２７＞
補間処理部１４１は、対象となる色Ｚを特定し、Ｚ以外の色をＸ，Ｙとして場合、図９のステップＳＴ２７においてＺ信号があらかじめ設定した閾値ＶＴＨＺ以上であるか否かを判定する。
【００９７】
＜ステップＳＴ２８＞
ステップＳＴ２７でＺ信号があらかじめ設定した閾値ＶＴＨＺ以上であると判定すると、補間処理部１４１は、ステップＳＴ２８において重み付けされたＺ信号をそのまま第５の出力信号Ｚ１としてその値をｇｚ＊Ｚとする。
【００９８】
＜ステップＳＴ２９＞
ステップＳＴ２７でＺ信号があらかじめ設定した閾値ＶＴＨＺ以上でないと判定すると、補間処理部１４１は、ステップＳＴ２９において第５の出力信号Ｚ１を０とする。
【００９９】
＜ステップＳＴ３０＞
また、補間処理部１４１は、ステップＳＴ３０において、Ｚ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上であるか否かを判定する。
【０１００】
＜ステップＳＴ３１＞
ステップＳＴ３０でＺ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上であると判定すると、補間処理部１４１は、ステップＳＴ３１において演算により第６の出力信号Ｚ２を［Ｗ−ｇｘ＊Ｘ−ｇｙ＊Ｙ］として求める。
【０１０１】
＜ステップＳＴ３２＞
ステップＳＴ３０でＺ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上でないと判定すると、補間処理部１４１は、ステップＳＴ３２において第６の出力信号Ｚ２を０とする。
【０１０２】
補間処理部１４１は、得られた第５の出力信号Ｚ１および第６の出力信号Ｚ２を合成処理部１４２に出力する。
【０１０３】
＜ステップＳＴ３３＞
ステップＳＴ３３において、合成処理部１４２は、補間処理部１４１から第５の出力信号Ｚ１および第６の出力信号Ｚ２を受けて、第５の出力信号Ｚ１および第６の出力信号Ｚ２の両信号レベルが０より大きいか否かを判定する。
【０１０４】
＜ステップＳＴ３４＞
ステップＳＴ３３で第５の出力信号Ｚ１および第６の出力信号Ｚ２が０より大きいと判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ３４において第５の出力信号Ｚ１および第６の出力信号Ｚ２を加算した合成信号Ｚ１＋Ｚ２を得、この合成信号Ｚ１＋Ｚ２を第３の色信号ＣＺとして出力する。
【０１０５】
＜ステップＳＴ３５＞
ステップＳＴ３３で第５の出力信号Ｚ１および第６の出力信号Ｚ２が０より大きくないと判定すると、合成処理部１４２は、ステップＳＴ３５において第５の出力信号Ｚ１および第６の出力信号Ｚ２が０であるか否かを判定する。
【０１０６】
＜ステップＳＴ３６＞
ステップＳＴ３５で第５または第６の出力信号Ｚ１，Ｚ２のいずれか一方のみが０であると判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ３６において第５の出力信号Ｚ１および第６の出力信号Ｚ２を加算した合成信号［２＊（Ｚ１＋Ｚ２）］を得、この合成信号を第３の色信号ＣＺとして出力する。
【０１０７】
＜ステップＳＴ３７＞
ステップＳＴ３５で第５または第６の出力信号Ｚ１，Ｚ２の両信号が０であると判定すると、合成処理部１４２は、ステップＳＴ３７において周辺の信号Ｚのから内挿または、外挿することで信号Ｚを計算し、第３の色信号ＣＺとして出力する。
【０１０８】
このようにして得た、画素信号Ｘ、Ｙ、Ｚの第１〜第３信号ＣＸ、ＣＹ、ＣＺは、画素ユニットの画素に欠陥がない場合には、信号強度を約２倍にすることができる。
また、画素の欠陥が１つまでの場合には、信号強度の改善はないが、欠陥になった画素の代替の信号を合成することが可能になる。
【０１０９】
なお、以上の説明では各色画素に対応した閾値ＶＴＨＸ，ＶＴＨＹ，ＶＴＨＺを用いる場合を例に説明したが、これらの閾値を同じ値として用いることも可能である。
【０１１０】
また、以上の説明は第１の画素ユニットがＲ，Ｇ，Ｂ，Ｗにより形成される場合の例であるが、たとえば図１０に示すように、シアン(Ｃｙ)、マゼンタ(Ｍｇ)、黄色(Ｙ)、ホワイト(Ｗ)により形成される画素ユニットを用いることも可能である。
【０１１１】
［Ｃｙ、Ｍｇ、Ｙ、Ｗの画素ユニットを有する撮像装置の動作］
次に、重複する部分があるが、図１０のシアン(Ｃｙ)、マゼンタ(Ｍｇ)、黄色(Ｙ)、ホワイト(Ｗ)により形成される第２の画素ユニットを用いる場合の動作について図１１から図１４に関連付け説明する。
【０１１２】
図１１から図１４は、本第１の実施形態のＣｙ、Ｍｇ、Ｙ、Ｗの第２の画素ユニットを有する撮像装置の動作を説明するためのフローチャートである。
【０１１３】
＜ステップＳＴ４１＞
ステップＳＴ４１において、重み付け部１３０は、イメージセンサ部１２０によるＣｙ，Ｍｇ，ＹのＲＡＷ画素データから取り出した信号にカラーフィルタによる光の減衰率を考慮して信号に重み付け係数ｇを用いた重み付けを行う。
重み付け部１３０は、イメージセンサ部１２０によるＲＡＷデータである第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３に対して重み付けを行う。
重み付け処理を受けた第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３は信号補間合成処理部１４０の補間処理部１４１に供給される。
また、イメージセンサ部１２０による色補間用検知信号ＣＤＴ４は、重み付け部１３０を通さずに補間処理部１４１に供給される。
【０１１４】
＜ステップＳＴ４２＞
ステップＳＴ４２において、信号補間合成処理部１４０は、ホワイト信号Ｗを示す色補間用検知信号ＣＤＴ４の大きさ（レベル）が閾値Ｗ１以上（Ｗ＞Ｗ１）か閾値Ｗ２以下（Ｗ＜Ｗ２）であるか否かを判定する。
【０１１５】
＜ステップＳＴ４３＞
ステップＳＴ４２において、色補間用検知信号ＣＤＴ４の大きさ（レベル）が閾値Ｗ１以上（Ｗ＞Ｗ１）か閾値Ｗ２以下（Ｗ＜Ｗ２）判定すると、信号補間合成処理部１４は、ステップＳＴ４３において、生成した色信号をそのまま、色信号として処理する。
【０１１６】
＜ステップＳＴ４４＞
ステップＳＴ４２において、色補間用検知信号ＣＤＴ４の大きさ（レベル）が閾値Ｗ１以下でかつ閾値Ｗ２以上（Ｗ２＜Ｗ＜Ｗ１）であると判定すると、補間処理部１４１は、ステップＳＴ４５において、対象となる色Ｘ，Ｙ，Ｚを特定する。
そして、補間処理部１４１は、対象となる色Ｘを特定し、図１２の処理を行う。
補間処理部１４１は、対象となる色Ｙを特定し、図１３の処理を行う。
補間処理部１４１は、対象となる色Ｚを特定し、図１４の処理を行う。
補間処理部１４１は、たとえばＸをＣｙ、ＹをＭｇ、ＺをＹとして特定する。
【０１１７】
＜ステップＳＴ４５＞
補間処理部１４１は、対象となる色Ｘを特定し、Ｘ以外の色をＹ，Ｚとして場合、図１２のステップＳＴ４５において、Ｘ信号があらかじめ設定した閾値ＶＴＨＸ以上であるか否かを判定する。
【０１１８】
＜ステップＳＴ４６＞
ステップＳＴ４５でＸ信号があらかじめ設定した閾値ＶＴＨＸ以上であると判定すると、補間処理部１４１は、ステップＳＴ４６において重み付けされたＸ信号をそのまま第１の出力信号Ｘ１としてその値をｇｘ＊Ｘとする。
【０１１９】
＜ステップＳＴ４７＞
ステップＳＴ４５でＸ信号があらかじめ設定した閾値ＶＴＨＸ以上でないと判定すると、補間処理部１４１は、ステップＳＴ４７において第１の出力信号Ｘ１を０とする。
【０１２０】
＜ステップＳＴ４８＞
また、補間処理部１４１は、ステップＳＴ４８において、Ｘ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上であるか否かを判定する。
【０１２１】
＜ステップＳＴ４９＞
ステップＳＴ４８でＸ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上であると判定すると、補間処理部１４１は、ステップＳＴ５０において演算により第２の出力信号Ｘ２を［Ｗ−ｇｙ＊Ｙ−ｇｚ＊Ｚ］として求める。
【０１２２】
＜ステップＳＴ５０＞
ステップＳＴ４８でＸ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上でないと判定すると、補間処理部１４１は、ステップＳＴ５０において第２の出力信号Ｘ２を０とする。
【０１２３】
補間処理部１４１は、得られた第１の出力信号Ｘ１および第２の出力信号Ｘ２を合成処理部１４２に出力する。
【０１２４】
＜ステップＳＴ５１＞
ステップＳＴ５１において、合成処理部１４２は、補間処理部１４１から第１の出力信号Ｘ１および第２の出力信号Ｘ２を受けて、第１の出力信号Ｘ１および第２の出力信号Ｘ２の両信号レベルが０より大きいか否かを判定する。
【０１２５】
＜ステップＳＴ５２＞
ステップＳＴ５２で第１の出力信号Ｘ１および第２の出力信号Ｘ２が０より大きいと判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ５２において第１の出力信号Ｘ１および第２の出力信号Ｘ２を加算した合成信号Ｘ１＋Ｘ２を得、この合成信号Ｘ１＋Ｘ２を第１の色信号ＣＸとして出力する。
【０１２６】
＜ステップＳＴ５３＞
ステップＳＴ５１で第１の出力信号Ｘ１および第２の出力信号Ｘ２が０より大きくないと判定すると、合成処理部１４２は、ステップＳＴ５３において第１の出力信号Ｘ１および第２の出力信号Ｘ２が０であるか否かを判定する。
【０１２７】
＜ステップＳＴ５４＞
ステップＳＴ５３で第１または第２の出力信号Ｘ１，Ｘ２のいずれか一方のみが０であると判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ５４において第１の出力信号Ｘ１および第２の出力信号Ｘ２を加算した合成信号［２＊（Ｘ１＋Ｘ２）］を得、この合成信号を第１の色信号ＣＸとして出力する。
【０１２８】
＜ステップＳＴ５５＞
ステップＳＴ５３で第１または第２の出力信号Ｘ１，Ｘ２の両信号が０であると判定すると、合成処理部１４２は、ステップＳＴ５５において周辺の信号Ｘのから内挿または、外挿することで信号Ｘを計算し、第１の色信号ＣＸとして出力する。
【０１２９】
＜ステップＳＴ５６＞
補間処理部１４１は、対象となる色Ｙを特定し、Ｙ以外の色をＸ，Ｚとした場合、図１３のステップＳＴ５６において、Ｙ信号があらかじめ設定した閾値ＶＴＨＹ以上であるか否かを判定する。
【０１３０】
＜ステップＳＴ５７＞
ステップＳＴ５６でＹ信号があらかじめ設定した閾値ＶＴＨＹ以上であると判定すると、補間処理部１４１は、ステップＳＴ５７において重み付けされたＹ信号をそのまま第３の出力信号Ｙ１としてその値をｇｙ＊Ｙとする。
【０１３１】
＜ステップＳＴ５８＞
ステップＳＴ５６でＹ信号があらかじめ設定した閾値ＶＴＨＹ以上でないと判定すると、補間処理部１４１は、ステップＳＴ５８において第３の出力信号Ｙ１を０とする。
【０１３２】
＜ステップＳＴ５９＞
また、補間処理部１４１は、ステップ５９において、Ｙ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上であるか否かを判定する。
【０１３３】
＜ステップＳＴ６０＞
ステップＳＴ５９でＹ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上であると判定すると、補間処理部１４１は、ステップＳＴ６０において演算により第４の出力信号Ｙ２を［Ｗ−ｇｘ＊Ｘ−ｇｚ＊Ｚ］として求める。
【０１３４】
＜ステップＳＴ６１＞
ステップＳＴ５９でＹ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上でないと判定すると、補間処理部１４１は、ステップＳＴ６１において第４の出力信号Ｙ２を０とする。
【０１３５】
補間処理部１４１は、得られた第３の出力信号Ｙ１および第４の出力信号Ｙ２を合成処理部１４２に出力する。
【０１３６】
＜ステップＳＴ６２＞
ステップＳＴ６２において、合成処理部１４２は、補間処理部１４１から第３の出力信号Ｙ１および第４の出力信号Ｙ２を受けて、第３の出力信号Ｙ１および第４の出力信号Ｙ２の両信号レベルが０より大きいか否かを判定する。
【０１３７】
＜ステップＳＴ６３＞
ステップＳＴ６２で第３の出力信号Ｙ１および第４の出力信号Ｙ２が０より大きいと判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ６３において第３の出力信号Ｙ１および第４の出力信号Ｙ２を加算した合成信号Ｙ１＋Ｙ２を得、この合成信号Ｙ１＋Ｙ２を第２の色信号ＣＹとして出力する。
【０１３８】
＜ステップＳＴ６４＞
ステップＳＴ６２で第３の出力信号Ｙ１および第４の出力信号Ｙ２が０より大きくないと判定すると、合成処理部１４２は、ステップＳＴ６４において第３の出力信号Ｙ１および第４の出力信号Ｙ２が０であるか否かを判定する。
【０１３９】
＜ステップＳＴ６５＞
ステップＳＴ６４で第３または第４の出力信号Ｙ１，Ｙ２のいずれか一方のみが０であると判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ６５において第３の出力信号Ｙ１および第４の出力信号Ｙ２を加算した合成信号［２＊（Ｙ１＋Ｙ２）］を得、この合成信号を第２の色信号ＣＹとして出力する。
【０１４０】
＜ステップＳＴ６６＞
ステップＳＴ６４で第３または第４の出力信号Ｙ１，Ｙ２の両信号が０であると判定すると、合成処理部１４２は、ステップＳＴ６６において周辺の信号Ｙから内挿または、外挿することで信号Ｙを計算し、第２の色信号ＣＹとして出力する。
【０１４１】
＜ステップＳＴ６７＞
補間処理部１４１は、対象となる色Ｚを特定し、Ｚ以外の色をＸ，Ｙとして場合、図１４のステップＳＴ６７においてＺ信号があらかじめ設定した閾値ＶＴＨＺ以上であるか否かを判定する。
【０１４２】
＜ステップＳＴ６８＞
ステップＳＴ６７でＺ信号があらかじめ設定した閾値ＶＴＨＺ以上であると判定すると、補間処理部１４１は、ステップＳＴ６８において重み付けされたＺ信号をそのまま第５の出力信号Ｚ１としてその値をｇｚ＊Ｚとする。
【０１４３】
＜ステップＳＴ６９＞
ステップＳＴ６７でＺ信号があらかじめ設定した閾値ＶＴＨＺ以上でないと判定すると、補間処理部１４１は、ステップＳＴ６９において第５の出力信号Ｚ１を０とする。
【０１４４】
＜ステップＳＴ７０＞
また、補間処理部１４１は、ステップＳＴ７０において、Ｚ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上であるか否かを判定する。
【０１４５】
＜ステップＳＴ７１＞
ステップＳＴ７０でＺ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上であると判定すると、補間処理部１４１は、ステップＳＴ７１において演算により第６の出力信号Ｚ２を［Ｗ−ｇｘ＊Ｘ−ｇｙ＊Ｙ］として求める。
【０１４６】
＜ステップＳＴ７２＞
ステップＳＴ７０でＺ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上でないと判定すると、補間処理部１４１は、ステップＳＴ７２において第６の出力信号Ｚ２を０とする。
【０１４７】
補間処理部１４１は、得られた第５の出力信号Ｚ１および第６の出力信号Ｚ２を合成処理部１４２に出力する。
【０１４８】
＜ステップＳＴ７３＞
ステップＳＴ７３において、合成処理部１４２は、補間処理部１４１から第５の出力信号Ｚ１および第６の出力信号Ｚ２を受けて、第５の出力信号Ｚ１および第６の出力信号Ｚ２の両信号レベルが０より大きいか否かを判定する。
【０１４９】
＜ステップＳＴ７４＞
ステップＳＴ７３で第５の出力信号Ｚ１および第６の出力信号Ｚ２が０より大きいと判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ７４において第５の出力信号Ｚ１および第６の出力信号Ｚ２を加算した合成信号Ｚ１＋Ｚ２を得、この合成信号Ｚ１＋Ｚ２を第３の色信号ＣＺとして出力する。
【０１５０】
＜ステップＳＴ７５＞
ステップＳＴ７３で第５の出力信号Ｚ１および第６の出力信号Ｚ２が０より大きくないと判定すると、合成処理部１４２は、ステップＳＴ７６において第５の出力信号Ｚ１および第６の出力信号Ｚ２が０であるか否かを判定する。
【０１５１】
＜ステップＳＴ７６＞
ステップＳＴ７５で第５または第６の出力信号Ｚ１，Ｚ２のいずれか一方のみが０であると判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ７６において第５の出力信号Ｚ１および第６の出力信号Ｚ２を加算した合成信号［２＊（Ｚ１＋Ｚ２）］を得、この合成信号を第３の色信号ＣＺとして出力する。
【０１５２】
＜ステップＳＴ７７＞
ステップＳＴ７５で第５または第６の出力信号Ｚ１，Ｚ２の両信号が０であると判定すると、合成処理部１４２は、ステップＳＴ７７において周辺の信号Ｚから内挿または、外挿することで信号Ｚを計算し、第３の色信号ＣＺとして出力する。
【０１５３】
以上説明したように、本第１の実施形態においては、赤(Ｒ)、緑(Ｇ)、青(Ｂ)、白(Ｗ)により形成される第１の画素ユニットまたは、シアン(Ｃｙ)、マゼンタ(Ｍｇ)、黄色(Ｙ)、白(Ｗ)により形成される第２の画素ユニットを用いると次のようなことが可能になる。
【０１５４】
この場合、たとえばＸ色の画素ユニットから信号を得、白色の信号Ｗから、Ｘ色を除く、Ｙ、Ｚ色の信号を引いた信号を得て、２通りの方法で画素信号を得ることにより、１画素ユニットで得られるＸの色信号の強度は２倍となり、信号強度は２倍になる。
製造不良等により１つの画素ユニット内の１つの画素Ｘが不良で動作しない場合、画素信号を白色信号からＸ以外の色画素信号Ｙ、Ｚを引き去ることで、その画素が不良で動作しなくても画像信号を得ることができ、その画素が白点になることを防ぐことができる。
ただし、本実施形態においては、白色用画素は信号が飽和しやすいため、白色信号の大きさが予め設定した閾値を超える場合は、上記の処理を行わないことから、精度高く第１〜第３の色信号を得ることが可能となる。
【０１５５】
換言すれば、本第１の実施形態においては、単位受光素子の１／２を単色の受光部として確保でき、ベイヤ配列に比べ、単位面積あたり、２倍程度の光量が確保できるようになり、感度、ダイナミックレンジを改善することができる。
信号情報を得るのに、直接得られる色情報と、白色から生成する色情報の２通りの情報があるため、白色以外の素子がだめになっても、色情報を合成できるため、冗長を実現できる。
【０１５６】
＜２．第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
上述した第１の実施形態においては、解像度の向上を図れ、しかも色再現性に優れた画像信号処理装置および撮像装置を実現することが可能である。
本第２の実施形態においては、この第１の実施形態の解像度の向上を図れ、色再現性に優れているという特徴を持ちつつ、補間アルゴリズムが簡単で、精度の高い補間が可能な画像信号処理装置および撮像装置を実現可能となっている。
なお、画像信号処理装置および撮像装置は、その基本的な構成は、図１および図５に示した第１の実施形態の構成と同様である。したがって、その説明は省略する。
以下に説明する処理は、主として信号補間合成処理部の処理となる。
【０１５７】
本第２の実施形態に係る画像信号処理方法は、少なくとも１回以上演算を行うことで、１つの色につき、４色の画素からなる画素ユニット内の異なる２画素の位置において色の検知信号の抽出を可能とする。
信号補間合成処理部１４０は、イメージセンサ部１２０による色補間用検知信号ＣＤＴ４を用いて、第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３それぞれの補間処理を行い、各色検知信号について複数の信号を生成する。
【０１５８】
図１５は、本第２の実施形態に係る信号補間合成処理部１４０Ａの構成例を示すブロック図である。
【０１５９】
信号補間合成処理部１４０Ａは、図１５に示すように、補間処理部１４１Ａおよび信号空間補間部１４２Ａを有する。
【０１６０】
補間処理部１４１Ａは、色補間用検知信号ＣＤＴ４、第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、第３の色検知信号ＣＤＴ３を用いて、第１の色検知信号、第２の色検知信号、および第３の色検知信号それぞれの補間処理を行う。
補間処理部１４１Ａは、各色検知信号について複数のＸ色画素位置でのＸ１、色補間用画素の位置でのＸ２、Ｙ色画素位置でのＹ１、色補間用画素の位置でのＹ２、Ｚ色画素位置でのＺ１、色補間用画素の位置でのＺ２を生成する。
【０１６１】
信号空間補間部１４２Ａは、補間処理部１４１Ａから出力される各色検知信号から簡単な演算で、第１の色信号Ｘ１、Ｘ２、Ｙ色画素位置でのＸ色信号Ｘ３、Ｚ色画素位置でのＸ色信号Ｘ４を生成する。
信号空間補間部１４２Ａは、第２の色信号Ｙ１、Ｙ２、Ｘ色画素位置でのＹ色信号Ｙ３、Ｚ色画素位置でのＹ色信号Ｙ４、および第３の色信号Ｚ１、Ｚ２、Ｘ色画素位置でのＺＹ色信号Ｚ３、Ｙ色画素位置でのＺ色信号Ｚ４を生成する。
【０１６２】
このように、本第２の実施形態に係る信号補間合成処理部１４０Ａにおいては、第１の実施形態よりも多くの画素情報を使い、色の空間的な補間を行うことにより、色再現性に優れた色の空間補間を実現できる。 
【０１６３】
以下、第１の実施形態と重複する部分もあるが、第２の実施形態の画像信号処理方法を具体的に説明する。
【０１６４】
Ｒ、Ｇ、Ｂ、Ｗからなる画素ユニットまたは、Ｃｙ（シアン)、Ｍｇ（マゼンタ）、Ｙ（黄色）、Ｗからなる画素ユニットを用いると、次のようなことが可能になる。
その基本的なアルゴリズムは図１６〜図１９に示されている。
以下の説明で、一例として、Ｘ１（Ｘ）はＲまたはＣｙ、Ｘ２（Ｙ）はＧまたはＭｇ、Ｘ３はＢまたはＹとして特定することができる。
【０１６５】
この場合、Ｘ１色の画素信号の入手する手段として、Ｘ１色画素の座標におけるＸ１色の信号を得、Ｗ（白色）の信号から、Ｘ１色を除く、Ｘ２、Ｘ３の２色の信号を減算する。
同様に生成したＸ２色、Ｘ３色とＷ（白色）の信号から繰り返しＸ１色を計算することで、Ｘ１色の信号の値を白色画素ＷにおけるＺ１色の本来の色信号により正確に近づけることができる。
これにより、Ｘ１色の画素の座標におけるＸ１の信号、Ｘ２色の画素の座標におけるＸ２の信号、Ｘ３色の画素の座標におけるＸ３の信号、白色画素座標におけるＸ１、Ｘ２、Ｘ３の信号が得られる。
【０１６６】
これにより、Ｘ１色の画素の座標におけるＸ１の信号、Ｘ２色の画素の座標におけるＸ２の信号、Ｘ３色の画素の座標におけるＸ３の信号、白色画素座標におけるＸ１、Ｘ２、Ｘ３の信号が得られる。
【０１６７】
一方、製造不良等により、１つの画素ユニット内の１つの色画素Ｘ１が不良で動作しない場合、画素信号を白色信号から（Ｘ１以外の）色画素の信号Ｘ２、Ｘ３を引き去ることで、その画素が不良で動作しなくても、画像信号を得ることができる。また、その画素が白点になることを防ぐことができる。
ただし、白色用画素は信号が飽和しやすいため、白色信号の大きさが予め設定した閾値を超える場合は、上記の処理を行わないことが望ましい。
【０１６８】
このようにして、Ｘ１色の画素の座標におけるＸ１の信号、Ｘ２色の画素の座標におけるＸ２の信号、Ｘ３色の画素の座標におけるＸ３の信号、白色画素座標におけるＸ１、Ｘ２、Ｘ３の信号が得られる。
画素ユニットを構成する４画素のうち、各色画素とＷ画素の位置の２箇所における、Ｘ１、Ｘ２、Ｘ３の信号が得られている。
このため、Ｘ１信号の場合、Ｘ２画素の座標におけるＸ１信号、Ｘ３画素のＸ１信号は上下のＸ１信号の平均、または左右のＸ１信号の平均、上下左右を囲むＸ１の信号の平均のいずれかから計算することができる。
これにより画素ユニットの４つの画素のうち、２つの画素座標での各色の色信号が得られ、のこり２つの画素座標での色信号を補間すればよくなり、アルゴリズムは簡単なものになり、補間に使用する画素数が少なくなるため、偽色の発生する画素数も少なくなる。
【０１６９】
図２０は、画素データの座標補間方法を説明するための図である。
図２１は、比較例として示す座標補間方法を示す図である。
【０１７０】
図２０では、Ｗの部分はシミュレーションでＲ，Ｇ，Ｂを予測することができることから実質得られる信号は、図に示すようになる。
Ａ（Ｘ１，Ｂ）色について、Ｂ（Ｘ２，Ｇ）、Ｃ（Ｘ３，Ｒ）の位置におけるＡの信号はＢ、Ｃの上下にあるＡの値の平均から求まる。
Ｂ（Ｘ２，Ｇ）色ついて、Ａ，Ｃの位置におけるＢの信号はＡ，Ｃの上下左右にあるＢの値の平均から求まる。
Ｃ（Ｘ３，Ｒ）色ついて、Ａ，Ｂの位置におけるＣの信号はＡ，Ｂの左右にあるＣの値の平均から求まる。
【０１７１】
図２１の比較例のベイヤ配列では、たとえば補間によって、画素を増やす場合、Ｒ、Ｇ、ＢのデータからＸとＹの画素のデータを補間予測する必要があるが、補間アルゴリズムをＸの画素とＹの画素で別々のものを採用する必要がある。
Ｘの位置の画素の信号は左右の色信号を平均で予測する。
Ｙの位置の画素の信号は上下の色信号の平均で予測する。
Ｚの位置の画素の信号は斜めに位置する色信号で予測する。
Ｖの位置の画素の信号は上下左右の色信号から予測する。
【０１７２】
ここで、図１６〜図１９に示される基本的なアルゴリズムについて説明する。
図１６は、本第２の実施形態に係る基本的なアルゴリズムの第１例を示す図である。
【０１７３】
＜ステップＳＴ１０１＞
ステップＳＴ１０１において、１画素ユニット当たり２画素以上が不良であるか否かを判別する。
【０１７４】
＜ステップＳＴ１０２＞
２画素以上の不良がない場合、ステップＳＴ１０２において、Ｗ画素が不良または信号が飽和しているか否かを判別する。
【０１７５】
＜ステップＳＴ１０３＞
Ｗ画素が不良でなくまたは信号が飽和していない場合、ステップＳＴ１０３において、１画素ユニット当たり１画素不良があるか否かを判別する。
【０１７６】
＜ステップＳＴ１０４＞
１画素ユニット当たり１画素不良がある場合、ステップＳＴ１０４において、欠陥画素Ａの信号を｛Ａ＝Ｗ−Ｂ−Ｃ｝で合成する。
【０１７７】
＜ステップＳＴ１０５＞
そして、１画素ユニット当たり１画素不良がない場合、あるいは欠陥画素の信号を合成すると、ステップＳＴ１０５において、Ｒ１，Ｇ１，Ｂ１、およびＲ２，Ｇ２，Ｂ３を設定する。
ここで、Ｒ２、Ｇ２、Ｂ２は、Ｗ画素におけるＲ，Ｇ，Ｂの信号を示す。
【０１７８】
＜ステップＳＴ１０６，ＳＴ１０７＞
ステップＳＴ１０６、ＳＴ１０７において、｛Ｒ２´＝Ｗ−Ｇ２−Ｂ２｝、｛Ｇ２´＝Ｗ−Ｒ２−Ｂ２｝、｛Ｂ２´＝Ｗ−Ｒ２−Ｇ２｝を反復回数があらかじめ設定した上限に達し、その変量分があらかじめ設定した判定条件以下になるまで繰り返す。
【０１７９】
＜ステップＳＴ１０８＞
反復回数があらかじめ設定した上限に達し、その変量分があらかじめ設定した判定条件以下になると、信号Ｘ１とＸ２とからＸの信号を合成し（Ｘ＝Ｒ，Ｇ，Ｂ）、画像処理回路へ供給する。
【０１８０】
＜ステップＳＴ１０９＞
ステップＳＴ１０１において、１画素ユニット当たり２画素以上が不良である場合、周辺画素から画素データを補間し、画像処理回路に供給する。
【０１８１】
＜ステップＳＴ１１０＞
ステップＳＴ１０２において、Ｗ画素が不良または信号が飽和している場合、周辺画素から画素データを補間し、画像処理回路に供給する。
【０１８２】
次に、第２例について説明する。
図１７は、本第２の実施形態に係る基本的なアルゴリズムの第２例を示す図である。
【０１８３】
本第２例が、図１６の第１例と異なる点は、以下のとおりである。
ステップＳＴ１０７Ａにおいて、反復回数があらかじめ設定した上限に達し、その変量分があらかじめ設定した判定条件以下であ課を判別する代わりに次の判別を行う。
すなわち、ステップＳＴ１０７Ａにおいて、（Ｒ２´−Ｒ２）、（Ｇ２´−Ｇ２）、（Ｂ２´−Ｂ２）の絶対値があらかじめ設定した閾値以下に到達したか否かの判別を行う。
【０１８４】
次に、第３例について説明する。
図１８は、本第２の実施形態に係る基本的なアルゴリズムの第３例を示す図である。
【０１８５】
本第３例が、図１６の第１例と異なる点は、以下のとおりである。
ステップＳＴ１０８Ａにおいて、信号Ｘ１とＸ２とからＸの信号を合成する（Ｘ＝Ｒ，Ｇ，Ｂ）代わりに次の処理を行う。
すなわち、ステップＳＴ１０８Ａにおいて、周辺画素から画素データを補間し、画像処理回路に供給する。
【０１８６】
次に、第４例について説明する。
図１９は、本第２の実施形態に係る基本的なアルゴリズムの第４例を示す図である。
【０１８７】
本第４例が、図１７の第２例と異なる点は、以下のとおりである。
ステップＳＴ１０８Ａにおいて、信号Ｘ１とＸ２とからＸの信号を合成する（Ｘ＝Ｒ，Ｇ，Ｂ）代わりに次の処理を行う。
すなわち、ステップＳＴ１０８Ａにおいて、周辺画素から画素データを補間し、画像処理回路に供給する。
【０１８８】
次に、本第２の実施形態に係る具体的な処理例について、第１の実施形態の図６〜図１４に関連付けて説明したと処理と対応する場合について具体的に説明する。
【０１８９】
［第１の処理例］
［Ｒ、Ｇ、Ｂ、Ｗの画素ユニットを有する撮像装置の動作］
図２２から図２５は、本第２の実施形態のＲ、Ｇ、Ｂ、Ｗの画素ユニットを有する撮像装置の第１の処理例を説明するためのフローチャートである。
【０１９０】
＜ステップＳＴ２０１＞
ステップＳＴ２０１において、重み付け部１３０は、イメージセンサ部１２０によるＲ，Ｇ，ＢのＲＡＷ画素データから取り出した信号にカラーフィルタによる光の減衰率を考慮して信号に重み付け係数ｇを用いた重み付けを行う。
重み付け部１３０は、イメージセンサ部１２０によるＲＡＷデータである第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３に対して重み付けを行う。
重み付け処理を受けた第１の色検知信号ＣＤＴ１、第２の色検知信号ＣＤＴ２、および第３の色検知信号ＣＤＴ３は信号補間合成処理部１４０の補間処理部１４１に供給される。
また、イメージセンサ部１２０による色補間用検知信号ＣＤＴ４は、重み付け部１３０を通さずに補間処理部１４１に供給される。
【０１９１】
＜ステップＳＴ２０２＞
ステップＳＴ２０２において、信号補間合成処理部１４０は、ホワイト信号Ｗを示す色補間用検知信号ＣＤＴ４の大きさ（レベル）が閾値Ｗ１以上（Ｗ＞Ｗ１）か閾値Ｗ２以下（Ｗ＜Ｗ２）であるか否かを判定する。
【０１９２】
＜ステップＳＴ２０３＞
ステップＳＴ２０２において、色補間用検知信号ＣＤＴ４の大きさ（レベル）が閾値Ｗ１以上（Ｗ＞Ｗ１）か閾値Ｗ２以下（Ｗ＜Ｗ２）であると判定すると信号補間合成処理部１４０は、ステップＳＴ３において、生成した色信号をそのまま色信号として処理する。
【０１９３】
＜ステップＳＴ２０４＞
ステップＳＴ２０２において、色補間用検知信号ＣＤＴ４の大きさ（レベル）が閾値Ｗ１以下でかつ閾値Ｗ２以上（Ｗ２＜Ｗ＜Ｗ１）であると判定すると、補間処理部１４１は、ステップＳＴ４において対象となる色Ｘ，Ｙ，Ｚを特定する。
そして、補間処理部１４１は、対象となる色Ｘを特定し、図２３の処理を行う。
補間処理部１４１は、対象となる色Ｙを特定し、図２４の処理を行う。
補間処理部１４１は、対象となる色Ｚを特定し、図２５の処理を行う。
補間処理部１４１は、たとえばＸをＲ、ＹをＧ、ＺをＢとして特定する。
【０１９４】
＜ステップＳＴ２０５＞
補間処理部１４１は、対象となる色Ｘを特定し、Ｘ以外の色をＹ，Ｚとして場合、図２３のステップＳＴ２０５において、Ｘ信号があらかじめ設定した閾値ＶＴＨＸ以上であるか否かを判定する。
【０１９５】
＜ステップＳＴ２０６＞
ステップＳＴ２０５でＸ信号があらかじめ設定した閾値ＶＴＨＸ以上であると判定すると、補間処理部１４１は、ステップＳＴ６において重み付けされたＸ信号をそのまま第１の出力信号Ｘ１としてその値をｇｘ＊Ｘとする。
【０１９６】
＜ステップＳＴ２０７＞
ステップＳＴ２０５でＸ信号があらかじめ設定した閾値ＶＴＨＸ以上でないと判定すると、補間処理部１４１は、ステップＳＴ２０７において第１の出力信号Ｘ１を０とする。
【０１９７】
＜ステップＳＴ２０８＞
また、補間処理部１４１は、ステップＳＴ２０８において、Ｘ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上であるか否かを判定する。
【０１９８】
＜ステップＳＴ２０９＞
ステップＳＴ２０８でＸ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上であると判定すると、補間処理部１４１は、ステップＳＴ２０９において演算により第２の出力信号Ｘ２＝ｇｘ*Ｘ，Ｙ＝ｇｙ＊Ｙ，Ｚ２＝ｇｚ＊Ｚと置く。
【０１９９】
＜ステップＳＴ２１０＞
ステップＳＴ２０８８でＸ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上でないと判定すると、補間処理部１４１は、ステップＳＴ１０において第２の出力信号Ｘ２を０とする。
【０２００】
補間処理部１４１は、得られた第１の出力信号Ｘ１および第２の出力信号Ｘ２を合成処理部１４２に出力する。
【０２０１】
＜ステップＳＴ２１１，ＳＴ２１２＞
Ｘ以外の色Ｙ，Ｚが閾値ＶＴＨＹ，ＶＴＨＺ以上である場合、ステップＳＴ２０９の処理後、｛Ｘ２´＝Ｗ-Ｙ２-Ｚ２｝、｛Ｙ２´＝Ｗ-Ｘ２-Ｚ２｝、｛Ｚ２´＝Ｗ-Ｘ２-Ｙ２｝、Ｘ２＝Ｘ２´、Ｙ２＝Ｙ２´、Ｚ２＝Ｚ２´を複数回（Ｎ回、 N=1,2,3....)以上繰り返す。
Ｘ２´とＸ２は大きな差が無いので、数回反復することで定常状態に収束するものと考えられる。
このため、上記のように、あらかじめＮ回反復したら、反復をやめるという方式と、Ｘ２´−Ｘ２の絶対値が閾値ε（たとえばε＝１）以下になったら収束したものとみなし、反復を止めるという方式が採用可能である。
【０２０２】
＜ステップＳＴ２１３＞
ステップＳＴ２１３において、合成処理部１４２は、補間処理部１４１から第１の出力信号Ｘ１および第２の出力信号Ｘ２を受けて、第１の出力信号Ｘ１および第２の出力信号Ｘ２の両信号レベルが０より大きいか否かを判定する。
【０２０３】
＜ステップＳＴ２１４＞
ステップＳＴ２１３で第１の出力信号Ｘ１および第２の出力信号Ｘ２が０より大きいと判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ２１４において第１の出力信号Ｘ１および第２の出力信号Ｘ２を加算した合成信号Ｘ１＋Ｘ２を得、この合成信号Ｘ１＋Ｘ２を第１の色信号ＣＸとして出力する。
【０２０４】
＜ステップＳＴ２１５＞
ステップＳＴ２１３で第１の出力信号Ｘ１および第２の出力信号Ｘ２が０より大きくないと判定すると、合成処理部１４２は、ステップＳＴ２１５において第１の出力信号Ｘ１および第２の出力信号Ｘ２が０であるか否かを判定する。
【０２０５】
＜ステップＳＴ２１６＞
ステップＳＴ２１５で第１または第２の出力信号Ｘ１，Ｘ２のいずれか一方のみが０であると判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ２１６において第１の出力信号Ｘ１および第２の出力信号Ｘ２を加算した合成信号［２＊（Ｘ１＋Ｘ２）］を得、この合成信号を第１の色信号ＣＸとして出力する。
【０２０６】
＜ステップＳＴ２１７＞
ステップＳＴ２１５で第１または第２の出力信号Ｘ１，Ｘ２の両信号が０であると判定すると、合成処理部１４２は、ステップＳＴ２１７において周辺の信号Ｘのから内挿または、外挿することで信号Ｘを計算し、第１の色信号ＣＸとして出力する。
【０２０７】
＜ステップＳＴ２１８＞
補間処理部１４１は、対象となる色Ｙを特定し、Ｙ以外の色をＸ，Ｚとして場合、図２４のステップＳＴ２１８において、Ｙ信号があらかじめ設定した閾値ＶＴＨＹ以上であるか否かを判定する。
【０２０８】
＜ステップＳＴ２１９＞
ステップＳＴ２１８でＹ信号があらかじめ設定した閾値ＶＴＨＹ以上であると判定すると、補間処理部１４１は、ステップＳＴ２１９において重み付けされたＹ信号をそのまま第３の出力信号Ｙ１としてその値をｇｙ＊Ｙとする。
【０２０９】
＜ステップＳＴ２２０＞
ステップＳＴ２１８でＹ信号があらかじめ設定した閾値ＶＴＨＹ以上でないと判定すると、補間処理部１４１は、ステップＳＴ２２０において第３の出力信号Ｙ１を０とする。
【０２１０】
＜ステップＳＴ２２１＞
また、補間処理部１４１は、ステップＳＴ２２１において、Ｙ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上であるか否かを判定する。
【０２１１】
＜ステップＳＴ２２２＞
ステップＳＴ２２１でＹ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上であると判定すると、補間処理部１４１は、ステップＳＴ２２２において演算により第２の出力信号Ｘ２＝ｇｘ*Ｘ，Ｙ＝ｇｙ＊Ｙ，Ｚ２＝ｇｚ＊Ｚと置く。
【０２１２】
＜ステップＳＴ２２３＞
ステップＳＴ２２２でＹ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上でないと判定すると、補間処理部１４１は、ステップＳＴ２２３において第２の出力信号Ｘ２を０とする。
【０２１３】
補間処理部１４１は、得られた第１の出力信号Ｘ１および第２の出力信号Ｘ２を合成処理部１４２に出力する。
【０２１４】
＜ステップＳＴ２２４，ＳＴ２２５＞
Ｙ以外の色Ｘ，Ｚが閾値ＶＴＨＸ，ＶＴＨＺ以上である場合、ステップＳＴ２２２の処理後、｛Ｙ２´＝Ｗ-Ｘ２-Ｚ２｝、｛Ｚ２´＝Ｗ-Ｘ２-Ｙ２｝，｛Ｘ２´＝Ｗ-Ｙ２-Ｚ２｝、Ｙ２＝Ｙ２´、Ｚ２＝Ｚ２´、Ｘ２＝Ｘ２´を複数回（Ｎ回、 N=1,2,3....)以上繰り返す。
Ｙ２´とＹ２は大きな差が無いので、数回反復することで定常状態に収束するものと考えられる。
このため、上記のように、あらかじめＮ回反復したら、反復をやめるという方式と、Ｙ２´−Ｙ２の絶対値が閾値ε（たとえばε＝１）以下になったら収束したものとみなし、反復を止めるという方式が採用可能である。
【０２１５】
＜ステップＳＴ２２６＞
ステップＳＴ２２６において、合成処理部１４２は、補間処理部１４１から第３の出力信号Ｙ１および第４の出力信号Ｙ２を受けて、第３の出力信号Ｙ１および第４の出力信号Ｙ２の両信号レベルが０より大きいか否かを判定する。
【０２１６】
＜ステップＳＴ２２７＞
ステップＳＴ２２６で第３の出力信号Ｙ１および第４の出力信号Ｙ２が０より大きいと判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ２２７において第３の出力信号Ｙ１および第４の出力信号Ｙ２を加算した合成信号Ｙ１＋Ｙ２を得、この合成信号Ｙ１＋Ｙ２を第２の色信号ＣＹとして出力する。
【０２１７】
＜ステップＳＴ２２８＞
ステップＳＴ２２６で第３の出力信号Ｙ１および第４の出力信号Ｙ２が０より大きくないと判定すると、合成処理部１４２は、ステップＳＴ２２８において第３の出力信号Ｙ１および第４の出力信号Ｙ２が０であるか否かを判定する。
【０２１８】
＜ステップＳＴ２２９＞
ステップＳＴ２２８で第３または第４の出力信号Ｙ１，Ｙ２のいずれか一方のみが０であると判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ２２９において第３の出力信号Ｙ１および第４の出力信号Ｙ２を加算した合成信号［２＊（Ｙ１＋Ｙ２）］を得、この合成信号を第２の色信号ＣＹとして出力する。
【０２１９】
＜ステップＳＴ２３０＞
ステップＳＴ２２８で第３または第４の出力信号Ｙ１，Ｙ２の両信号が０であると判定すると、合成処理部１４２は、ステップＳＴ２３０において周辺の信号Ｙから内挿または、外挿することで信号Ｙを計算し、第２の色信号ＣＹとして出力する。
【０２２０】
＜ステップＳＴ２３１＞
補間処理部１４１は、対象となる色Ｚを特定し、Ｚ以外の色をＸ，Ｙとした場合、図２５のステップＳＴ２３１においてＺ信号があらかじめ設定した閾値ＶＴＨＺ以上であるか否かを判定する。
【０２２１】
＜ステップＳＴ２３２＞
ステップＳＴ２３１でＺ信号があらかじめ設定した閾値ＶＴＨＺ以上であると判定すると、補間処理部１４１は、ステップＳＴ２３２において重み付けされたＺ信号をそのまま第５の出力信号Ｚ１としてその値をｇｚ＊Ｚとする。
【０２２２】
＜ステップＳＴ２３３＞
ステップＳＴ２３１でＺ信号があらかじめ設定した閾値ＶＴＨＺ以上でないと判定すると、補間処理部１４１は、ステップＳＴ２３４において第５の出力信号Ｚ１を０とする。
【０２２３】
＜ステップＳＴ２３４＞
また、補間処理部１４１は、ステップＳＴ２３４において、Ｚ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上であるか否かを判定する。
【０２２４】
＜ステップＳＴ２３５＞
ステップＳＴ２３４でＺ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上であると判定すると、補間処理部１４１は、ステップＳＴ２３５において演算により第２の出力信号Ｘ２＝ｇｘ*Ｘ，Ｙ＝ｇｙ＊Ｙ，Ｚ２＝ｇｚ＊Ｚと置く。
【０２２５】
＜ステップＳＴ２３６＞
ステップＳＴ２３４でＺ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上でないと判定すると、補間処理部１４１は、ステップＳＴ２３６において第２の出力信号Ｘ２を０とする。
【０２２６】
補間処理部１４１は、得られた第１の出力信号Ｘ１および第２の出力信号Ｘ２を合成処理部１４２に出力する。
【０２２７】
＜ステップＳＴ２３７，ＳＴ２３８＞
Ｚ以外の色Ｘ，Ｙが閾値ＶＴＨＸ，ＶＴＨＹ以上である場合、ステップＳＴ２２２の処理後、｛Ｚ２´＝Ｗ-Ｘ２-Ｙ２｝，｛Ｘ２´＝Ｗ-Ｙ２-Ｚ２｝、｛Ｙ２´＝Ｗ-Ｘ２-Ｚ２｝、Ｚ２＝Ｚ２´、Ｘ２＝Ｘ２´、Ｙ２＝Ｙ２´を複数回（Ｎ回、 N=1,2,3....)以上繰り返す。
Ｚ２´とＺ２は大きな差が無いので、数回反復することで定常状態に収束するものと考えられる。
このため、上記のように、あらかじめＮ回反復したら、反復をやめるという方式と、Ｚ２´−Ｚ２の絶対値が閾値ε（たとえばε＝１）以下になったら収束したものとみなし、反復を止めるという方式が採用可能である。
【０２２８】
＜ステップＳＴ２３９＞
ステップＳＴ２３９において、合成処理部１４２は、補間処理部１４１から第５の出力信号Ｚ１および第６の出力信号Ｚ２を受けて、第５の出力信号Ｚ１および第６の出力信号Ｚ２の両信号レベルが０より大きいか否かを判定する。
【０２２９】
＜ステップＳＴ２４０＞
ステップＳＴ２３９で第５の出力信号Ｚ１および第６の出力信号Ｚ２が０より大きいと判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ２４０において第５の出力信号Ｚ１および第６の出力信号Ｚ２を加算した合成信号Ｚ１＋Ｚ２を得、この合成信号Ｚ１＋Ｚ２を第３の色信号ＣＺとして出力する。
【０２３０】
＜ステップＳＴ２４１＞
ステップＳＴ２３９で第５の出力信号Ｚ１および第６の出力信号Ｚ２が０より大きくないと判定すると、合成処理部１４２は、ステップＳＴ２４１において第５の出力信号Ｚ１および第６の出力信号Ｚ２が０であるか否かを判定する。
【０２３１】
＜ステップＳＴ２４２＞
ステップＳＴ２４１で第５または第６の出力信号Ｚ１，Ｚ２のいずれか一方のみが０であると判定すると、合成処理部１４２は、次の処理を行う。
すなわち、合成処理部１４２は、ステップＳＴ２４２において第５の出力信号Ｚ１および第６の出力信号Ｚ２を加算した合成信号［２＊（Ｚ１＋Ｚ２）］を得、この合成信号を第３の色信号ＣＺとして出力する。
【０２３２】
＜ステップＳＴ２４３＞
ステップＳＴ２４１で第５または第６の出力信号Ｚ１，Ｚ２の両信号が０であると判定すると、合成処理部１４２は、ステップＳＴ２４３において周辺の信号Ｚのから内挿または、外挿することで信号Ｚを計算し、第３の色信号ＣＺとして出力する。
【０２３３】
このようにして得た、画素Ｘ、Ｙ、Ｚの信号は、画素ユニットの画素に欠陥がない場合には、白色画素座標におけるＲ,Ｇ,Ｂ信号がより正確に予測することで、偽色の少ない状態で信号強度を約２倍にすることができる。画素の欠陥が１つまでの場合には、欠陥になった画素の代替の信号を合成することが可能になる。
【０２３４】
なお、以上の説明では各色画素に対応した閾値ＶＴＨＸ，ＶＴＨＹ，ＶＴＨＺを用いる場合を例に説明したが、これらの閾値を同じ値として用いることも可能である。
【０２３５】
また、以上の説明は第１の画素ユニットがＲ，Ｇ，Ｂ，Ｗにより形成される場合の例であるが、たとえば図１０に示すように、シアン(Ｃｙ)、マゼンタ(Ｍｇ)、黄色(Ｙ)、ホワイト(Ｗ)により形成される画素ユニットを用いることも可能である。
処理は同様に行われることからここではその説明は省略する。
この第１の処理例は、画素ユニットがＲ，Ｇ，Ｂ，Ｗおよびシアン(Ｃｙ)、マゼンタ(Ｍｇ)、黄色(Ｙ)、ホワイト(Ｗ)にかかわらず、次の場合に適用可能である。
４画素からなる撮像素子の単位画素から取り出した信号、あるいは信号を入手するために単版の撮像素子を４枚備えた撮像装置において単位画素から取り出した信号に対して適用可能である。
【０２３６】
［第２の処理例］
［Ｒ、Ｇ、Ｂ、Ｗの画素ユニットを有する撮像装置の動作］
図２６から図２９は、本第２の実施形態のＲ、Ｇ、Ｂ、Ｗの画素ユニットを有する撮像装置の第２の処理例を説明するためのフローチャートである。
【０２３７】
図２６から図２９において、図２２〜図２５の第１の処理と同様の処理は、重複する説明を避け、理解を容易にするため、同一ステップを付して表している。
図２６の処理は図２２の処理と同様である。
第２の処理が第１の処理と異なる点は以下のとおりである。
【０２３８】
図２３のステップＳＴ２１３〜ＳＴ２１７の処理に代わり、図２７では、次のステップＳＴ２５１、ＳＴ２５２の処理となっている。
【０２３９】
＜ステップＳＴ２５１＞
Ｘの画素におけるＸ色の信号はＸ１で与え、白色画素ＷにおけるＸ色の信号はＺ２で与える。
【０２４０】
＜ステップＳＴ２５２＞
Ｘ色の画素の信号を座標に関して補間処理をする場合、Ｘ色の信号を合成したい画素を囲む８個画素の中、０でないＸの信号を持つもののＸの信号の平均で、Ｘの信号を合成する。
【０２４１】
図２４のステップＳＴ２２６〜ＳＴ２３０の処理に代わり、図２８では、次のステップＳＴ２５３、ＳＴ２５４の処理となっている。
【０２４２】
＜ステップＳＴ２５３＞
Ｙの画素におけるＹ色の信号はＹ１で与え、白色画素ＷにおけるＹ色の信号はＹ２で与える。
【０２４３】
＜ステップＳＴ２５４＞
Ｙ色の画素の信号を座標に関して補間処理をする場合、Ｙ色の信号を合成したい画素を囲む８個画素の中、０でないＹの信号を持つもののＹの信号の平均で、Ｙの信号を合成する。
【０２４４】
図２５のステップＳＴ２３９〜ＳＴ２４３の処理に代わり、図２９では、次のステップＳＴ２５５、ＳＴ２５６の処理となっている。
【０２４５】
＜ステップＳＴ２５５＞
Ｚの画素におけるＺ色の信号はＺ１で与え、白色画素ＷにおけるＺ色の信号はＺ２で与える。
【０２４６】
＜ステップＳＴ２５６＞
Ｚ色の画素の信号を座標に関して補間処理をする場合、Ｚ色の信号を合成したい画素を囲む８個画素の中、０でないＺの信号を持つもののＺの信号の平均で、Ｚの信号を合成する。
【０２４７】
この第２の処理の場合、Ｘ色、Ｙ色、Ｚ色は別々のアルゴリズムになるが、Ｚ色内、Ｙ色内、Ｚ色内では単一のアルゴリズムで補間ができる。
このようにして得た、画素Ｘ、Ｙ、Ｚの信号は、画素ユニットの画素に欠陥がない場合には、２画素の情報を元に残り２画素の色信号を補間することが可能になる。
【０２４８】
この第２の処理例も、画素ユニットがＲ，Ｇ，Ｂ，Ｗおよびシアン(Ｃｙ)、マゼンタ(Ｍｇ)、黄色(Ｙ)、ホワイト(Ｗ)にかかわらず、次の場合に適用可能である。
４画素からなる撮像素子の単位画素から取り出した信号、あるいは信号を入手するために単版の撮像素子を４枚備えた撮像装置において単位画素から取り出した信号に対して適用可能である。
【０２４９】
なお、本発明の撮像装置は、１チップとして形成された撮像装置であっても、複数のチップの集合体として形成されたモジュールタイプの撮像装置であってもよい。
複数チップの集合体として形成された撮像装置である場合、撮像を行うセンサチップ、デジタル信号処理を行う信号処理チップなどに分かれて形成され、さらに、光学系を含むこともある。
【０２５０】
撮像装置は、デジタルカメラ、ビデオカメラ等として機能することが可能である。
必要に応じ、撮像装置３００は、図１の光学レンズの他、図３０に示すように、以下の機能、装置を付加することも可能である。
撮像装置３００に、記録装置３０１、信号受信装置３０２、信号送信装置３０３、焦点調整装置３０４、画像認識装置３０５、無線受信、送信機３０６,３０７、位置制御装置３０８、信号制御装置３０９のいずれかあるいは全部の機能を付加可能である。
【０２５１】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【０２５２】
１００・・・撮像装置、１１０・・・光学レンズ系、１２０・・・イメージセンサ部、１３０・・・重み付け部、１４０，１４０Ａ・・・信号補間合成処理部、１４１，１４１Ａ・・・補間処理部、１４２・・・合成処理部、１４２Ａ・・・信号空間補間部、１５０・・・信号処理部。
【図１】
2010081583.tif 000003
【図２】
2010081583.tif 000004
【図３】
2010081583.tif 000005
【図４】
2010081583.tif 000006
【図５】
2010081583.tif 000007
【図６】
2010081583.tif 000008
【図７】
2010081583.tif 000009
【図８】
2010081583.tif 000010
【図９】
2010081583.tif 000011
【図１０】
2010081583.tif 000012
【図１１】
2010081583.tif 000013
【図１２】
2010081583.tif 000014
【図１３】
2010081583.tif 000015
【図１４】
2010081583.tif 000016
【図１５】
2010081583.tif 000017
【図１６】
2010081583.tif 000018
【図１７】
2010081583.tif 000019
【図１８】
2010081583.tif 000020
【図１９】
2010081583.tif 000021
【図２０】
2010081583.tif 000022
【図２１】
2010081583.tif 000023
【図２２】
2010081583.tif 000024
【図２３】
2010081583.tif 000025
【図２４】
2010081583.tif 000026
【図２５】
2010081583.tif 000027
【図２６】
2010081583.tif 000028
【図２７】
2010081583.tif 000029
【図２８】
2010081583.tif 000030
【図２９】
2010081583.tif 000031
【図３０】
2010081583.tif 000032