(57)【特許請求の範囲】
【請求項１】
半導体基板上の行方向とこれに交差する交差方向に正方格子状に配列された多数の光電変換素子からなる第１のグループ及び第２のグループをそれぞれ備え、前記第１のグループに含まれる各光電変換素子は、前記第２のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第２のグループに含まれる各光電変換素子に前記第１のグループに含まれる１つの光電変換素子が隣接するように、該基準の位置から特定方向にずれた位置に配置された撮像素子から出力される信号に対して、
前記撮像素子の前記第１のグループから出力された第１の色信号、第２の色信号、及び第３の色信号の３種類の色信号と、前記第２のグループから出力された輝度信号とを含む撮像信号に信号処理を施してカラー画像データを生成する信号処理装置であって、
前記撮像信号に含まれる各信号を座標位置に配置し、生成すべき前記カラー画像データの１画素データに対応する前記座標位置である画素位置に、前記３種類の色信号を補間する処理を行う同時化処理手段を備え、
前記同時化処理手段による色信号を補間するための処理が、
前記画素位置に補間すべき色信号を前記画素位置の周囲にある前記補間すべき色信号と同種類の色信号及び前記輝度信号を用いて推定する輝度利用推定処理と、
前記画素位置に補間すべき色信号を前記画素位置の周囲にある前記補間すべき色信号と同種類の色信号及び前記第１の色信号を用いて推定する第１の色信号利用推定処理と、
前記画素位置に補間すべき色信号を前記画素位置の周囲にある前記補間すべき色信号と同種類の色信号を用いて推定する輝度非利用推定処理及び第１の色信号非利用推定処理と、
を含み、
前記同時化処理手段は、
前記特定方向又はこれに直交する方向に相関性のある前記撮像信号については、前記輝度利用推定処理と前記輝度非利用推定処理により前記色信号を補間し、
前記行方向又は前記交差方向に相関性のある撮像信号については、前記第１の色信号利用推定処理と前記第１の色信号非利用推定処理により前記色信号を補間する信号処理装置。
【請求項２】
請求項１記載の信号処理装置であって、
前記座標位置に配置された前記撮像信号が、前記輝度信号と前記第１の色信号とを前記特定方向に配列した第１の列と、前記輝度信号と前記第２の色信号と前記第３の色信号とを前記特定方向に配列した第２の列とを前記特定方向に直交する直交方向に交互に配列した構成であり、
前記画素位置が、前記色信号が配置された座標位置であり、
前記同時化処理手段は、前記特定方向に相関性のある色信号が存在する画素位置のうち、前記第２の色信号が存在する画素位置と前記第３の色信号が存在する画素位置とに補間すべき第１の色信号と、前記第１の色信号が存在する画素位置に補間すべき第２の色信号及び第３の色信号とについては、前記輝度利用推定処理によって補間を行うものであり、
前記輝度利用推定処理とは、
前記画素位置に補間すべき第１の色信号を、前記画素位置に存在する色信号を含む第２の列に含まれる当該画素位置近傍の前記輝度信号と、
当該第２の列の隣の前記第１の列にある当該画素位置近傍の輝度信号と、
当該第１の列の当該輝度信号の近傍にある第１の色信号とを用いて推定し、前記画素位置に補間すべき第２の色信号を、当該画素位置に存在する色信号を含む第１の列に含まれる当該画素位置近傍の前記輝度信号と、
当該第１の列の隣の前記第２の列にある当該画素位置近傍の第２の色信号と、当該第２の列の当該第２の色信号の近傍にある輝度信号とを用いて推定し、前記画素位置に補間すべき第３の色信号を、当該画素位置に存在する色信号を含む第１の列に含まれる当該画素位置近傍の前記輝度信号と、
当該第１の列の隣の前記第２の列にある当該画素位置近傍の第３の色信号と、当該第２の列の当該第３の色信号の近傍にある輝度信号とを用いて推定する処理である信号処理装置。
【請求項３】
請求項２記載の信号処理装置であって、
前記輝度利用推定処理では、前記第１の色信号を補間すべき画素位置に、当該画素位置に存在する色信号を含む第２の列に含まれる当該画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該画素位置の前記直交方向隣の画素位置である第１の隣接画素位置に、前記第１の隣接画素位置に存在する輝度信号を含む前記第１の列に含まれる当該第１の隣接画素位置近傍の前記第１の色信号を用いて第１の色信号を補間し、当該画素位置に補間した輝度信号に、前記第１の隣接画素位置に補間した第１の色信号と前記第１の隣接画素位置に存在する輝度信号との差分を加算することで、当該画素位置に補間すべき第１の色信号を推定し、
前記第２の色信号を補間すべき画素位置に、当該画素位置に存在する色信号を含む第１の列に含まれる当該画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該第１の列の隣の第２の列に含まれる当該画素位置近傍の前記第２の色信号が存在する画素位置である第２の隣接画素位置に、前記第２の隣接画素位置に存在する第２の色信号を含む前記第２の列に含まれる当該第２の隣接画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該画素位置に補間した輝度信号に、前記第２の隣接画素位置に存在する第２の色信号と前記第２の隣接画素位置に補間した輝度信号との差分を加算することで、当該画素位置に補間すべき第２の色信号を推定し、
前記第３の色信号を補間すべき画素位置に、当該画素位置に存在する色信号を含む第１の列に含まれる当該画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該第１の列の隣の第２の列に含まれる当該画素位置近傍の前記第３の色信号が存在する画素位置である第３の隣接画素位置に、前記第３の隣接画素位置に存在する第３の色信号を含む前記第２の列に含まれる当該第３の隣接画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該画素位置に補間した輝度信号に、前記第３の隣接画素位置に存在する第３の色信号と前記第３の隣接画素位置に補間した輝度信号との差分を加算することで、当該画素位置に補間すべき第３の色信号を推定する信号処理装置。
【請求項４】
請求項２又は３記載の信号処理装置であって、
前記同時化処理手段は、前記第２の色信号が存在する画素位置に補間すべき第３の色信号と、前記第３の色信号が存在する画素位置に補間すべき第２の色信号とについては、前記輝度非利用推定処理によって補間を行うものであり、
前記輝度非利用推定処理とは、前記画素位置に補間すべき色信号を、当該画素位置に存在する色信号を含む第２の列に含まれる当該色信号近傍の前記補間すべき色信号と同一種類の色信号を用いて推定する処理である信号処理装置。
【請求項５】
請求項１〜４のいずれか１項記載の信号処理装置であって、
前記画素位置に配置された前記撮像信号が、前記特定方向及び前記直交方向に交差する交差方向に見たときに、前記第１の色信号と前記第２の色信号を前記交差方向に配列した第３の列と、前記第１の色信号と前記第３の色信号を前記交差方向に配列した第４の列とを、前記輝度信号を前記交差方向に配列した第５の列を挟んで前記交差方向に直交する方向に交互に配列した構成となっており、
前記同時化処理手段は、前記交差方向に相関性のある色信号が存在する画素位置のうち、前記第２の色信号が存在する画素位置に補間すべき第３の色信号と、前記第３の色信号が存在する画素位置に補間すべき第２の色信号と、前記第３の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第３の色信号と、前記第４の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第２の色信号とについては、前記第１の色信号利用推定処理によって補間を行うものであり、
前記第１の色信号利用推定処理とは、前記第３の色信号が存在する画素位置に補間すべき第２の色信号を、当該画素位置に存在する色信号を含む第４の列に含まれる当該画素位置近傍の前記第１の色信号と、当該第４の列の隣の前記第３の列にある当該画素位置近傍の第１の色信号と、当該第３の列の当該第１の色信号の近傍にある第２の色信号とを用いて推定し、
前記第２の色信号が存在する画素位置に補間すべき第３の色信号を、当該画素位置に存在する色信号を含む第３の列に含まれる当該画素位置近傍の前記第１の色信号と、当該第３の列の隣の前記第４の列にある当該画素位置近傍の第１の色信号と、当該第４の列の当該第１の色信号の近傍にある第３の色信号とを用いて推定し、
前記第３の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第３の色信号を、当該第１の色信号と、当該第１の色信号を含む第３の列の隣の前記第４の列にある当該画素位置近傍の第３の色信号と、当該第４の列の当該第３の色信号の近傍にある第１の色信号とを用いて推定し、
前記第４の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第２の色信号を、当該第１の色信号と、当該第４の列の隣の前記第３の列にある当該画素位置近傍の第２の色信号と、当該第４の列の当該第２の色信号の近傍にある第１の色信号とを用いて推定する処理である信号処理装置。
【請求項６】
請求項５記載の信号処理装置であって、
前記同時化処理手段は、前記第２の色信号が存在する画素位置及び前記第３の色信号が存在する画素位置にそれぞれ補間すべき第１の色信号と、前記第３の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第２の色信号と、前記第４の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第３の色信号とについては、前記第１の色信号非利用推定処理によって補間を行うものであり、
前記第１の色信号非利用推定処理とは、
前記第２の色信号が存在する画素位置に補間すべき第１の色信号を、当該第２の色信号を含む前記第３の列の当該第２の色信号近傍にある第１の色信号を用いて推定し、
前記第３の色信号が存在する画素位置に補間すべき第１の色信号を、当該第３の色信号を含む前記第４の列の当該第３の色信号近傍にある第１の色信号を用いて推定し、
前記第３の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第２の色信号を、当該第３の列の当該第１の色信号近傍にある第２の色信号を用いて推定し、
前記第４の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第３の色信号を、当該第４の列の当該第１の色信号近傍にある第３の色信号を用いて推定する処理である信号処理装置。
【請求項７】
請求項１〜６のいずれか１項記載の信号処理装置であって、
前記第１の色信号が緑色信号であり、前記第２の色信号が赤色信号であり、前記第３の色信号が青色信号である信号処理装置。
【請求項８】
請求項１記載の信号処理装置であって、
前記同時化処理手段が、前記３種類の色信号を、その総数が減少するように、前記特定方向、前記特定方向に直交する直交方向、又は前記特定方向及び前記直交方向に隣接する同一色の色信号同士を加算した上で、前記撮像信号を前記座標位置に配置する信号処理装置。
【請求項９】
請求項１記載の信号処理装置であって、
前記撮像素子が、前記色信号を得るための多数の光電変換素子を含み、
前記３種類の色信号が、前記光電変換素子から読み出した電荷を、その総数が減少するように、前記特定方向、前記特定方向に直交する直交方向、又は、前記特定方向及び前記直交方向に隣接する同色成分の電荷同士を加算してから、加算後の電荷に応じた色信号を出力させる駆動により得られたものである信号処理装置。
【請求項１０】
請求項８記載の信号処理装置であって、
前記３種類の色信号が、緑色信号と赤色信号と青色信号であり、
前記同時化処理手段は、前記赤色信号と前記青色信号のみ加算を行う信号処理装置。
【請求項１１】
請求項９記載の信号処理装置であって、
前記３種類の色信号が、緑色信号と赤色信号と青色信号であり、
前記赤色信号と前記青色信号のみが、前記加算によって得られたものである信号処理装置。
【請求項１２】
請求項１〜１１のいずれか１項記載の信号処理装置と、
前記撮像素子とを備える撮像装置。
【請求項１３】
コンピュータを、請求項１〜１１のいずれか１項記載の信号処理装置の前記同時化処理手段として機能させるための同時化処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から出力された複数種類の色信号と輝度信号を含む撮像信号を処理する信号処理装置に関する。
【背景技術】
【０００２】
ベイヤー配列のカラーフィルタを有する単板式のイメージセンサでは、イメージセンサに含まれる多数の光電変換素子の各々から１つの色成分の信号しか得られないため、多数の光電変換素子の各々に対応する画素位置に、その光電変換素子からは得られない色信号を補間するいわゆる同時化処理を行う必要がある。同時化処理は、本来画素位置に存在していない色信号を周りの色信号を用いて補間する処理であるため、偽色の発生が問題となる。特許文献１には、どのような信号であっても偽色を低減することができる方法が開示されている。
【０００３】
図５は、ベイヤー配列のカラーフィルタを有する単板式のイメージセンサから得られた色信号の配列を示した図である。
図５に示す円が色信号であり、“Ｒ”が内部に記載された円が赤色信号を示し、“Ｇ”が内部に記載された円が緑色信号を示し、“Ｂ”が内部に記載された円が青色信号を示している。各色信号の上には、画素位置を表す番号（０１〜１６）を付してある。
【０００４】
図５に示したような撮像信号に対し、特許文献１に開示された方法で同時化処理を行う場合は、Ｂ，Ｇの信号が並ぶラインにおけるＧ信号のみを有する画素位置１０に補間すべきＲ信号（Ｒ１０）の算出を、被写体が縦方向に相関性のあるものとしたときに、画像の局所的な領域におけるＲ信号とＧ信号との差は等しいという前提、すなわち、Ｒ１０−Ｇ１０＝Ｒ０９−Ｇ０９の関係が成立するという前提に基づいて、Ｒ１０＝Ｇ１０＋（Ｒ０９−Ｇ０９）の演算により行う。この場合、Ｒ０９画素位置のＧ信号（Ｇ０９）は、Ｇ０９＝（Ｇ０５＋Ｇ１３）／２等のように、画素位置０９が存在するＲＧライン上におけるＧ信号に対して１次元補間演算を施すことにより算出する。
【０００５】
このように、従来は、任意の画素位置（例えば画素位置１０）に補間すべき色信号（例えばＲ１０）については、その画素位置にあるＧ信号（Ｇ１０）と、その画素位置を含むラインの隣のラインの近傍画素位置にある補間すべき色信号と同一種類の色信号（Ｒ０９）と、その同一種類の色信号の近傍のＧ信号（Ｇ０５、Ｇ１３）とを用いて推定することで、偽色を効果的に低減させている。
【０００６】
【特許文献１】特開２００１−１０１３９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に開示された方法では、Ｇ１０、Ｇ０５、及びＧ１３にノイズが多く含まれていると、これらを用いて生成したＲ１０にもノイズが多く含まれることになり、画質劣化を招いてしまう。又、被写体色によっては、Ｒ信号とＧ信号との相関性が低くなり、偽色低減効果が弱くなる場合がある。又、被写体が斜め方向に相関性を持つ場合、ＧとＲＢラインが交互に並ぶため、Ｇ信号による相関演算での偽色低減効果はない。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、どのような信号であっても偽色及びノイズを低減する色信号補間処理（同時化処理）を行うことが可能な信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の信号処理装置は、半導体基板上の行方向とこれに交差する交差方向に正方格子状に配列された多数の光電変換素子からなる第１のグループ及び第２のグループをそれぞれ備え、前記第１のグループに含まれる各光電変換素子は、前記第２のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第２のグループに含まれる各光電変換素子に前記第１のグループに含まれる１つの光電変換素子が隣接するように、該基準の位置から特定方向にずれた位置に配置された撮像素子から出力される信号に対して、
前記撮像素子の前記第１のグループから出力された第１の色信号、第２の色信号、及び第３の色信号の３種類の色信号と、前記第２のグループから出力された輝度信号とを含む撮像信号に信号処理を施してカラー画像データを生成する信号処理装置であって、
前記撮像信号に含まれる各信号を座標位置に配置し、生成すべき前記カラー画像データの１画素データに対応する前記座標位置である画素位置に、前記３種類の色信号を補間する処理を行う同時化処理手段を備え、
前記同時化処理手段による色信号を補間するための処理が、
前記画素位置に補間すべき色信号を前記画素位置の周囲にある前記補間すべき色信号と同種類の色信号及び前記輝度信号を用いて推定する輝度利用推定処理と、
前記画素位置に補間すべき色信号を前記画素位置の周囲にある前記補間すべき色信号と同種類の色信号及び前記第１の色信号を用いて推定する第１の色信号利用推定処理と、
前記画素位置に補間すべき色信号を前記画素位置の周囲にある前記補間すべき色信号と同種類の色信号を用いて推定する輝度非利用推定処理及び第１の色信号非利用推定処理と、
を含み、
前記同時化処理手段は、
前記特定方向又はこれに直交する方向に相関性のある前記撮像信号については、前記輝度利用推定処理と前記輝度非利用推定処理により前記色信号を補間し、
前記行方向又は前記交差方向に相関性のある撮像信号については、前記第１の色信号利用推定処理と前記第１の色信号非利用推定処理により前記色信号を補間する。
【００１０】
本発明の信号処理装置は、前記座標位置に配置された前記撮像信号が、前記輝度信号と前記第１の色信号とを前記特定方向に配列した第１の列と、前記輝度信号と前記第２の色信号と前記第３の色信号とを前記特定方向に配列した第２の列とを前記特定方向に直交する直交方向に交互に配列した構成であり、
前記画素位置が、前記色信号が配置された座標位置であり、
前記同時化処理手段は、前記特定方向に相関性のある色信号が存在する画素位置のうち、前記第２の色信号が存在する画素位置と前記第３の色信号が存在する画素位置とに補間すべき第１の色信号と、前記第１の色信号が存在する画素位置に補間すべき第２の色信号及び第３の色信号とについては、前記輝度利用推定処理によって補間を行うものであり、
前記輝度利用推定処理とは、
前記画素位置に補間すべき第１の色信号を、前記画素位置に存在する色信号を含む第２の列に含まれる当該画素位置近傍の前記輝度信号と、
当該第２の列の隣の前記第１の列にある当該画素位置近傍の輝度信号と、
当該第１の列の当該輝度信号の近傍にある第１の色信号とを用いて推定し、前記画素位置に補間すべき第２の色信号を、当該画素位置に存在する色信号を含む第１の列に含まれる当該画素位置近傍の前記輝度信号と、
当該第１の列の隣の前記第２の列にある当該画素位置近傍の第２の色信号と、当該第２の列の当該第２の色信号の近傍にある輝度信号とを用いて推定し、前記画素位置に補間すべき第３の色信号を、当該画素位置に存在する色信号を含む第１の列に含まれる当該画素位置近傍の前記輝度信号と、
当該第１の列の隣の前記第２の列にある当該画素位置近傍の第３の色信号と、当該第２の列の当該第３の色信号の近傍にある輝度信号とを用いて推定する処理である。
【００１１】
本発明の信号処理装置は、前記輝度利用推定処理では、前記第１の色信号を補間すべき画素位置に、当該画素位置に存在する色信号を含む第２の列に含まれる当該画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該画素位置の前記直交方向隣の画素位置である第１の隣接画素位置に、前記第１の隣接画素位置に存在する輝度信号を含む前記第１の列に含まれる当該第１の隣接画素位置近傍の前記第１の色信号を用いて第１の色信号を補間し、当該画素位置に補間した輝度信号に、前記第１の隣接画素位置に補間した第１の色信号と前記第１の隣接画素位置に存在する輝度信号との差分を加算することで、当該画素位置に補間すべき第１の色信号を推定し、前記第２の色信号を補間すべき画素位置に、当該画素位置に存在する色信号を含む第１の列に含まれる当該画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該第１の列の隣の第２の列に含まれる当該画素位置近傍の前記第２の色信号が存在する画素位置である第２の隣接画素位置に、前記第２の隣接画素位置に存在する第２の色信号を含む前記第２の列に含まれる当該第２の隣接画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該画素位置に補間した輝度信号に、前記第２の隣接画素位置に存在する第２の色信号と前記第２の隣接画素位置に補間した輝度信号との差分を加算することで、当該画素位置に補間すべき第２の色信号を推定し、前記第３の色信号を補間すべき画素位置に、当該画素位置に存在する色信号を含む第１の列に含まれる当該画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該第１の列の隣の第２の列に含まれる当該画素位置近傍の前記第３の色信号が存在する画素位置である第３の隣接画素位置に、前記第３の隣接画素位置に存在する第３の色信号を含む前記第２の列に含まれる当該第３の隣接画素位置近傍の前記輝度信号を用いて輝度信号を補間し、当該画素位置に補間した輝度信号に、前記第３の隣接画素位置に存在する第３の色信号と前記第３の隣接画素位置に補間した輝度信号との差分を加算することで、当該画素位置に補間すべき第３の色信号を推定する。
【００１２】
本発明の信号処理装置は、前記同時化処理手段は、前記第２の色信号が存在する画素位置に補間すべき第３の色信号と、前記第３の色信号が存在する画素位置に補間すべき第２の色信号とについては、前記輝度非利用推定処理によって補間を行うものであり、前記輝度非利用推定処理とは、前記画素位置に補間すべき色信号を、当該画素位置に存在する色信号を含む第２の列に含まれる当該色信号近傍の前記補間すべき色信号と同一種類の色信号を用いて推定する処理である。
【００１４】
本発明の信号処理装置は、前記画素位置に配置された前記撮像信号が、前記特定方向及び前記直交方向に交差する交差方向に見たときに、前記第１の色信号と前記第２の色信号を前記交差方向に配列した第３の列と、前記第１の色信号と前記第３の色信号を前記交差方向に配列した第４の列とを、前記輝度信号を前記交差方向に配列した第５の列を挟んで前記交差方向に直交する方向に交互に配列した構成となっており、前記同時化処理手段は、前記交差方向に相関性のある色信号が存在する画素位置のうち、前記第２の色信号が存在する画素位置に補間すべき第３の色信号と、前記第３の色信号が存在する画素位置に補間すべき第２の色信号と、前記第３の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第３の色信号と、前記第４の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第２の色信号とについては、前記第１の色信号利用推定処理によって補間を行うものであり、前記第１の色信号利用推定処理とは、前記第３の色信号が存在する画素位置に補間すべき第２の色信号を、当該画素位置に存在する色信号を含む第４の列に含まれる当該画素位置近傍の前記第１の色信号と、当該第４の列の隣の前記第３の列にある当該画素位置近傍の第１の色信号と、当該第３の列の当該第１の色信号の近傍にある第２の色信号とを用いて推定し、前記第２の色信号が存在する画素位置に補間すべき第３の色信号を、当該画素位置に存在する色信号を含む第３の列に含まれる当該画素位置近傍の前記第１の色信号と、当該第３の列の隣の前記第４の列にある当該画素位置近傍の第１の色信号と、当該第４の列の当該第１の色信号の近傍にある第３の色信号とを用いて推定し、前記第３の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第３の色信号を、当該第１の色信号と、当該第１の色信号を含む第３の列の隣の前記第４の列にある当該画素位置近傍の第３の色信号と、当該第４の列の当該第３の色信号の近傍にある第１の色信号とを用いて推定し、前記第４の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第２の色信号を、当該第１の色信号と、当該第４の列の隣の前記第３の列にある当該画素位置近傍の第２の色信号と、当該第４の列の当該第２の色信号の近傍にある第１の色信号とを用いて推定する処理である。
【００１５】
本発明の信号処理装置は、前記同時化処理手段は、前記第２の色信号が存在する画素位置及び前記第３の色信号が存在する画素位置にそれぞれ補間すべき第１の色信号と、前記第３の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第２の色信号と、前記第４の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第３の色信号とについては、前記第１の色信号非利用推定処理によって補間を行うものであり、前記第１の色信号非利用推定処理とは、前記第２の色信号が存在する画素位置に補間すべき第１の色信号を、当該第２の色信号を含む前記第３の列の当該第２の色信号近傍にある第１の色信号を用いて推定し、前記第３の色信号が存在する画素位置に補間すべき第１の色信号を、当該第３の色信号を含む前記第４の列の当該第３の色信号近傍にある第１の色信号を用いて推定し、前記第３の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第２の色信号を、当該第３の列の当該第１の色信号近傍にある第２の色信号を用いて推定し、前記第４の列に含まれる前記第１の色信号が存在する画素位置に補間すべき第３の色信号を、当該第４の列の当該第１の色信号近傍にある第３の色信号を用いて推定する処理である。
【００１６】
本発明の信号処理装置は、前記第１の色信号が緑色信号であり、前記第２の色信号が赤色信号であり、前記第３の色信号が青色信号である。
【００１８】
本発明の信号処理装置は、前記同時化処理手段が、前記３種類の色信号を、その総数が減少するように、前記特定方向、前記特定方向に直交する直交方向、又は前記特定方向及び前記直交方向に隣接する同一色の色信号同士を加算した上で、前記撮像信号を前記座標位置に配置する。
【００１９】
本発明の信号処理装置は、前記撮像素子が、前記色信号を得るための多数の光電変換素子を含み、前記３種類の色信号が、前記光電変換素子から読み出した電荷を、その総数が減少するように、前記特定方向、前記特定方向に直交する直交方向、又は、前記特定方向及び前記直交方向に隣接する同色成分の電荷同士を加算してから、加算後の電荷に応じた色信号を出力させる駆動により得られたものである。
【００２０】
本発明の信号処理装置は、前記３種類の色信号が、緑色信号と赤色信号と青色信号であり、前記同時化処理手段は、前記赤色信号と前記青色信号のみ加算を行う。
【００２１】
本発明の信号処理装置は、前記３種類の色信号が、緑色信号と赤色信号と青色信号であり、前記赤色信号と前記青色信号のみが、前記加算によって得られたものである。
【００２２】
本発明の撮像装置は、前記信号処理装置と前記撮像素子とを備える。
【００２３】
本発明の同時化処理プログラムは、コンピュータを前記同時化処理手段として機能させるためのプログラムである。
【発明の効果】
【００２４】
本発明によれば、どのような信号であっても偽色及びノイズを低減する色信号補間処理（同時化処理）を行うことが可能な信号処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施形態について図面を参照して説明する。
【００２６】
図１は、本発明の実施形態である撮像装置に搭載される撮像素子の概略平面模式図である。
図１に示す撮像素子１０は、半導体基板上の行方向Ｘとこれに直交する列方向Ｙに正方格子状に配列された多数の光電変換素子（１，２，３）からなる第１のグループと、半導体基板上の行方向Ｘと列方向Ｙに正方格子状に配列された多数の光電変換素子（４）からなる第２のグループとを備える。第１のグループを構成する光電変換素子と第２のグループを構成する光電変換素子との数は同一となっている。
【００２７】
第１のグループに含まれる各光電変換素子は、第２のグループに含まれる各光電変換素子４の位置を基準にした場合に、第２のグループに含まれる各光電変換素子４に第１のグループに含まれる１つの光電変換素子が隣接するように、該基準の位置から所定の方向（図１の例では、斜め左上４５度の方向）にずれた位置に配置されており、全ての光電変換素子がいわゆるハニカム状に配列された構成となっている。すなわち、撮像素子１０に含まれる多数の光電変換素子は、Ｙ方向に一定のピッチで配列された複数の光電変換素子からなる光電変換素子列を、Ｘ方向に一定のピッチで複数配列した配置となっており、隣接する２つの光電変換素子列は、当該光電変換素子列に含まれる光電変換素子のＹ方向の配列ピッチの約１／２、Ｙ方向に互いにずれて配置された特開平１０−１３６３９１号公報に記載されたような構成となっている。
【００２８】
光電変換素子１〜４は、それぞれ同一構造となっており、それぞれの受光面上方に形成されるフィルタによって、それぞれの検出する光の成分が異なるものとなっている。
【００２９】
光電変換素子１は、光の赤色（Ｒ）成分を透過するＲカラーフィルタが受光面上に形成されており、これにより、光のＲ成分を検出する光電変換素子として機能する。光電変換素子２は、光の緑色（Ｇ）成分を透過するＧカラーフィルタが受光面上に形成されており、これにより、光のＧ成分を検出する光電変換素子として機能する。光電変換素子３は、光の青色（Ｂ）成分を透過するＢカラーフィルタが受光面上に形成されており、これにより、光のＢ成分を検出する光電変換素子として機能する。光電変換素子４は、光の輝度成分と相関のある分光特性を持った輝度フィルタが受光面上に形成されており、これにより、光の輝度成分を検出する光電変換素子として機能する。
【００３０】
輝度フィルタは、ＮＤフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、光電変換素子４の受光面の上方に何も設けずに光が直接受光面に入射する構成も、輝度フィルタを設けたということができる。
【００３１】
第１のグループの各光電変換素子の受光面上方に形成されたカラーフィルタはベイヤー配列となっている。つまり、第１のグループの各光電変換素子は、光電変換素子１と光電変換素子２とがこの順番でＸ方向に交互に配列されたＲＧ光電変換素子行と、光電変換素子２と光電変換素子３とがこの順番でＸ方向に交互に配列されたＧＢ光電変換素子行とが、Ｙ方向に交互に配列された配置となっている。
【００３２】
以下では、光電変換素子１から得られる赤色成分の撮像信号をＲ信号、光電変換素子２から得られる緑色成分の撮像信号をＧ信号、光電変換素子３から得られる青色成分の撮像信号をＢ信号、光電変換素子４から得られる輝度成分の撮像信号をＷ信号と言う。
【００３３】
図２は、本発明の実施形態である撮像装置の概略構成を示すブロック図である。
図２に示す撮像装置は、図１に示した撮像素子１０と、撮像素子１０から出力されるアナログ信号に所定のアナログ信号処理及びデジタル変換処理を行うＡＦＥ１１と、生成すべきカラー画像データを構成する画素データの座標位置である画素位置にＲＧＢ３色の色信号を持たせる同時化処理を行う同時化処理部１２と、同時化処理によって１つの画素位置に生成されたＲ，Ｇ，Ｂの３つの色信号を輝度信号Ｙと色差信号Ｃに変換するＹＣ変換部１３と、ＹＣ信号と光電変換素子４から得られた撮像信号とを合成する合成処理部１４と、圧縮処理部１５と、記録メディア１６とを備える。
【００３４】
同時化処理部１２は、ＡＦＥ１１から出力される撮像信号を、その撮像信号が得られた光電変換素子に対応するメモリ上の座標位置に配置すると共に、メモリ上の光電変換素子１〜３の各々に対応する座標位置（これが、生成すべきカラー画像データを構成する画素データの画素位置となる）に、該各々からは得られない色信号を、該各々の周囲の光電変換素子から得られた色信号を用いて補間生成する同時化処理を行う。同時化処理部１２は、例えばＤＳＰが所定のプログラムを実行することによって実現される一機能である。以下、この同時化処理の具体的方法について説明する。
【００３５】
図３は、メモリ上に配置された撮像信号の配列を示した図である。図３において、内部に“Ｒ”を記した円は光電変換素子１から得られたＲ信号を示し、内部に“Ｇ”を記した円は光電変換素子２から得られたＧ信号を示し、内部に“Ｂ”を記した円は光電変換素子３から得られたＢ信号を示し、内部に“Ｗ”を記した円は光電変換素子４から得られたＷ信号を示している。各信号の存在する位置は、その信号の出力元の光電変換素子の位置に対応しており、この位置を画素位置と定義する。各画素位置の上にはその位置を示す番号（０１〜３２）を付してある。Ｇ信号は、特許請求の範囲の第１の色信号に対応し、Ｒ信号は、特許請求の範囲の第２の色信号に対応し、Ｂ信号は、特許請求の範囲の第３の色信号に対応する。
【００３６】
図３に示すように、メモリ上に配置された撮像信号は、Ｘ方向とＹ方向に４５度の角度で交差するＺ方向に見たときに、Ｗ信号とＧ信号とをＺ方向に交互に配列した第１の列と、Ｒ信号とＢ信号とをＷ信号を挟んでＺ方向に交互に配列した第２の列とを、Ｚ方向に直交する直交方向に交互に配列した構成となっている。又、Ｙ方向に見たときに、Ｇ信号とＲ信号をＹ方向に交互に配列した第３の列と、Ｇ信号とＢ信号をＹ方向に交互に配列した第４の列とを、Ｗ信号をＹ方向に配列した第５の列を挟んでＸ方向に交互に配列した構成となっている。Ｚ方向は、特許請求の範囲の特定方向に対応し、Ｙ方向は、特許請求の範囲の交差方向に対応する。
【００３７】
同時化処理部１２は、ＡＦＥ１１から出力された多数の撮像信号の各々がどの方向に相関性を持っているかを、例えばその撮像信号に隣接するＷ信号を利用することで判断し、Ｚ方向又はこれに直交する方向に相関性のある撮像信号については、その撮像信号が存在する画素位置に補間すべき色信号を、その画素位置の周囲にある該補間すべき色信号と同種類の色信号及びＷ信号を用いて推定する輝度利用推定処理と、その画素位置に補間すべき色信号を、その画素位置の周囲にある該補間すべき色信号と同種類の色信号を用いて推定する輝度非利用推定処理とにより、Ｒ信号、Ｇ信号、及びＢ信号の各々が存在する画素位置に、そこに存在していない色信号を補間する。
【００３８】
又、同時化処理部１２は、Ｘ方向又はＹ方向に相関性のある撮像信号については、その撮像信号が存在する画素位置に補間すべき色信号を、その画素位置の周囲にある該補間すべき色信号と同種類の色信号及びＧ信号を用いて推定するＧ利用推定処理と、その画素位置に補間すべき色信号を、その画素位置の周囲にある該補間すべき色信号と同種類の色信号を用いて推定するＧ非利用推定処理とにより、Ｒ信号、Ｇ信号、及びＢ信号の各々が存在する画素位置に、そこに存在していない色信号を補間する。
【００３９】
例えば、図３に示すＧ１０がどの方向に相関性を持っているかを判断する場合、同時化処理部１２は、Ｙ方向：（Ｗ０５＋Ｗ１３）／２−（Ｗ０６＋Ｗ１４）／２、Ｘ方向：（Ｗ０５＋Ｗ０６）／２−（Ｗ１３＋Ｗ１４）／２、Ｚ方向：（Ｗ０６−Ｗ１３）、Ｚ方向に直交する方向：（Ｗ０５−Ｗ１４）の４つの演算を行い、演算結果のうち絶対値が最小となった方向を、Ｇ１０に相関性のある方向と判断する。
【００４０】
以下の説明では、便宜上、画素位置＊＊に存在するＲ信号のことを「Ｒ＊＊」と記載し、画素位置＊＊に存在するＧ信号のことを「Ｇ＊＊」と記載し、画素位置＊＊に存在するＢ信号のことを「Ｂ＊＊」と記載し、画素位置＊＊に存在するＷ信号のことを「Ｗ＊＊」と記載する。
【００４１】
以下、例えばＺ方向に相関性のある撮像信号の存在する画素位置に色信号を補間する方法（方法１）と、例えばＹ方向に相関性のある撮像信号の存在する画素位置に色信号を補間する方法（方法２）とをそれぞれ具体的に説明する。
【００４２】
（方法１）
（ａ）Ｂ信号の存在する画素位置にＲ信号を補間する場合
この場合、同時化処理部１２は、輝度非利用推定処理によって補間すべきＲ信号を推定する。即ち、同時化処理部１２は、Ｂ信号の存在する画素位置に補間すべきＲ信号を、当該画素位置に存在するＢ信号を含む第２の列に含まれる当該画素位置近傍のＲ信号を用いて推定する。
例えば、画素位置１１にＲ信号（Ｒ１１）を補間する場合、同時化処理部１２は、Ｂ１１を含む第２の列に含まれるＢ１１近傍のＲ信号（Ｒ０４、Ｒ１８）の平均を求める以下の式（１）により、Ｒ１１を推定する。Ｒ１１＝（Ｒ０４＋Ｒ１８）／２・・・（１）
【００４３】
（ｂ）Ｒ信号の存在する画素位置にＢ信号を補間する場合
この場合、同時化処理部１２は、輝度非利用推定処理によって補間すべきＢ信号を推定する。即ち、同時化処理部１２は、Ｒ信号の存在する画素位置に補間すべきＢ信号を、当該画素位置に存在するＲ信号を含む第２の列に含まれる当該画素位置近傍のＢ信号を用いて推定する。
例えば、画素位置１８にＢ信号（Ｂ１８）を補間する場合、同時化処理部１２は、Ｒ１８を含む第２の列に含まれるＲ１８近傍のＢ信号（Ｂ１１、Ｂ２５）の平均を求める以下の式（２）により、Ｂ１８を推定する。Ｂ１８＝（Ｂ１１＋Ｂ２５）／２・・・（２）
【００４４】
（ｃ）Ｂ信号の存在する画素位置とＲ信号の存在する画素位置とにそれぞれＧ信号を補間する場合
この場合、同時化処理部１２は、輝度利用推定処理によって補間すべきＧ信号を推定する。即ち、Ｂ信号の存在する画素位置とＲ信号の存在する画素位置とにそれぞれ補間すべきＧ信号を、その画素位置に存在する色信号を含む第２の列に含まれる当該画素位置近傍のＷ信号と、当該第２の列の隣の第１の列にある当該画素位置近傍のＷ信号と、当該第１の列の当該Ｗ信号の近傍にあるＧ信号とを用いて推定する。
【００４５】
例えば、画素位置１１にＧ信号（Ｇ１１）を補間する場合、Ｚ方向に相関性のある被写体において、画像の局所的な領域におけるＷ信号とＧ信号との差は等しいという前提、すなわち、Ｇ１１−Ｗ１１＝｛（Ｇ０６−Ｗ０６）＋（Ｇ１５−Ｗ１５）｝／２の関係が成立するという前提に基づいて、Ｇ１１＝Ｗ１１＋｛（Ｇ０６−Ｗ０６）＋（Ｇ１５−Ｗ１５）｝／２・・・（３）の演算により、Ｇ１１を推定する。
【００４６】
具体的に、同時化処理部１２は、まず、画素位置１１に、画素位置１１に存在するＢ１１を含む第２の列に含まれる画素位置１１近傍の輝度信号（Ｗ０７、Ｗ１４）を用いて輝度信号（Ｗ１１）を補間し、画素位置１１のＺ方向に直交する方向の隣の画素位置である画素位置０６に、画素位置０６に存在するＷ０６を含む第１の列に含まれる画素位置０６近傍のＧ信号（Ｇ０３，Ｇ１０）を用いてＧ０６を補間し、画素位置１１のＺ方向に直交する方向の隣の画素位置である画素位置１５に、画素位置１５に存在するＷ１５を含む第１の列に含まれる画素位置１５近傍のＧ信号（Ｇ１２，Ｇ１９）を用いてＧ１５を補間する。
【００４７】
Ｗ１１については、例えばＷ０７とＷ１４の平均を演算することで求め、Ｇ０６については、例えばＧ０３とＧ１０の平均を演算することで求め、Ｇ１５については、例えばＧ１２とＧ１９の平均を演算することで求める。Ｗ１１、Ｇ０６、Ｇ１５を求めた後は、式（３）に従い、Ｗ１１＋｛（Ｇ０６−Ｗ０６）＋（Ｇ１５−Ｗ１５）｝／２の演算を行うことで、Ｇ１１を推定する。同様の方法で、Ｒ信号の存在する画素位置にもＧ信号を補間する。
【００４８】
尚、式（３）は、画素位置１１と画素位置０６及び１５との相関に基づいてＧ１１を推定するものとなっているが、画素位置１１と画素位置０６との相関又は画素位置１１と画素位置１５との相関に基づいてＧ１１を推定することも可能である。この場合、上記式（３）を次の式（４）又は（５）のように変形して用いれば良い。Ｇ１１＝Ｗ１１＋（Ｇ０６−Ｗ０６）・・・（４）、Ｇ１１＝Ｗ１１＋（Ｇ１５−Ｗ１５）・・・（５）。
【００４９】
（ｄ）Ｇ信号の存在する画素位置にＲ信号とＢ信号を補間する場合
この場合、同時化処理部１２は、輝度利用推定処理によって補間すべきＲ信号及びＢ信号を推定する。即ち、Ｇ信号の存在する画素位置に補間すべきＲ信号を、その画素位置に存在するＧ信号を含む第１の列に含まれる当該画素位置近傍のＷ信号と、当該第１の列の隣の第２の列にある当該画素位置近傍のＲ信号と、当該第２の列の当該Ｒ信号の近傍にあるＷ信号とを用いて推定する。又、Ｇ信号の存在する画素位置に補間すべきＢ信号を、その画素位置に存在するＧ信号を含む第１の列に含まれる当該画素位置近傍のＷ信号と、当該第１の列の隣の第２の列にある当該画素位置近傍のＢ信号と、当該第２の列の当該Ｂ信号の近傍にあるＷ信号とを用いて推定する。
【００５０】
例えば、画素位置１９にＲ信号（Ｒ１９）を補間する場合、Ｚ方向に相関性のある被写体において、画像の局所的な領域におけるＷ信号とＲ信号との差は等しいという前提、すなわち、Ｒ１９−Ｗ１９＝｛（Ｒ１８−Ｗ１８）＋（Ｒ２０−Ｗ２０）｝／２の関係が成立するという前提に基づいて、Ｒ１９＝Ｗ１９＋｛（Ｒ１８−Ｗ１８）＋（Ｒ２０−Ｗ２０）｝／２・・・（６）の演算により、Ｒ１９を推定する。
同様に、Ｂ１９−Ｗ１９＝｛（Ｂ１１−Ｗ１１）＋（Ｂ２７−Ｗ２７）｝／２の関係が成立するという前提に基づいて、Ｂ１９＝Ｗ１９＋｛（Ｂ１１−Ｗ１１）＋（Ｂ２７−Ｗ２７）｝／２・・・（７）の演算により、Ｂ１９を推定する。
【００５１】
具体的に、同時化処理部１２は、画素位置１９に、画素位置１９に存在するＧ１９を含む第１の列に含まれる画素位置１９近傍の輝度信号（Ｗ１５、Ｗ２２）を用いて輝度信号（Ｗ１９）を補間し、画素位置１９のＸ方向の隣の画素位置である画素位置１８に、画素位置１８に存在するＲ１８を含む第２の列に含まれる画素位置１８近傍のＷ信号（Ｗ１４，Ｗ２１）を用いてＷ１８を補間し、画素位置１９のＸ方向の隣の画素位置である画素位置２０に、画素位置２０に存在するＲ２０を含む第２の列に含まれる画素位置２０近傍のＷ信号（Ｗ１６，Ｗ２３）を用いてＷ２０を補間する。
又、同時化処理部１２は、画素位置１９のＹ方向の隣の画素位置である画素位置１１に、画素位置１１に存在するＢ１１を含む第２の列に含まれる画素位置１１近傍のＷ信号（Ｗ０７，Ｗ１４）を用いてＷ１１を補間し、画素位置１９のＹ方向の隣の画素位置である画素位置２７に、画素位置２７に存在するＢ２７を含む第２の列に含まれる画素位置２７近傍のＷ信号（Ｗ２３，Ｗ３０）を用いてＷ２７を補間する。
【００５２】
Ｗ１９については、例えばＷ１５とＷ２２の平均を演算することで求め、Ｗ１８については、例えばＷ１４とＷ２１の平均を演算することで求め、Ｗ２０については、例えばＷ１６とＷ２３の平均を演算することで求め、Ｗ１１については、例えばＷ０７とＷ１４の平均を演算することで求め、Ｗ２７については、例えばＷ２３とＷ３０の平均を演算することで求める。Ｗ１８，Ｗ１９，Ｗ２０，Ｗ１１，Ｗ２７を求めた後は、式（６）にしたがってＷ１９＋｛（Ｒ１８−Ｗ１８）＋（Ｒ２０−Ｗ２０）｝／２の演算を行うことで、Ｒ１９を推定し、式（７）にしたがってＷ１９＋｛（Ｂ１１−Ｗ１１）＋（Ｂ２７−Ｗ２７）｝／２の演算を行うことで、Ｂ１９を推定する。
【００５３】
尚、式（６）は、画素位置１９と画素位置１８及び２０との相関に基づいてＲ１９を推定するものとなっているが、画素位置１９と画素位置１８との相関又は画素位置１９と画素位置２０との相関に基づいてＲ１９を推定することも可能である。この場合、上記式（６）を次の式（８）又は（９）のように変形して用いれば良い。Ｒ１９＝Ｗ１９＋（Ｒ１８−Ｗ１８）・・・（８）、Ｒ１９＝Ｗ１９＋（Ｒ２０−Ｗ２０）・・・（９）。
【００５４】
又、式（７）は、画素位置１９と画素位置１１及び２７との相関に基づいてＢ１９を推定するものとなっているが、画素位置１９と画素位置１１との相関又は画素位置１９と画素位置２７との相関に基づいてＢ１９を推定することも可能である。この場合、上記式（７）を次の式（１０）又は（１１）のように変形して用いれば良い。Ｂ１９＝Ｗ１９＋（Ｂ１１−Ｗ１１）・・・（１０）、Ｂ１９＝Ｗ１９＋（Ｂ２７−Ｗ２７）・・・（１１）。
【００５５】
上記（ａ）〜（ｄ）の処理を行うことで、各画素位置にＲ信号、Ｇ信号、Ｂ信号が存在した状態を作ることができる。
【００５６】
（方法２）
（ａ）Ｂ信号の存在する画素位置にＧ信号を補間する場合
この場合、同時化処理部１２は、Ｇ非利用推定処理によって補間すべきＧ信号を推定する。即ち、同時化処理部１２は、Ｂ信号の存在する画素位置に補間すべきＧ信号を、当該Ｂ信号を含む第４の列の当該Ｂ信号近傍にあるＧ信号を用いて推定する。
例えば、画素位置１１にＧ信号（Ｇ１１）を補間する場合、同時化処理部１２はＧ１１を含む第４の列に含まれるＢ１１近傍のＧ信号（Ｇ０３、Ｇ１９）の平均を求める以下の式（１２）により、Ｇ１１を推定する。Ｇ１１＝（Ｇ０３＋Ｇ１９）／２・・・（１２）
【００５７】
（ｂ）Ｒ信号の存在する画素位置にＧ信号を補間する場合
この場合、同時化処理部１２は、Ｇ非利用推定処理によって補間すべきＧ信号を推定する。即ち、同時化処理部１２は、Ｒ信号の存在する画素位置に補間すべきＧ信号を、当該Ｒ信号を含む第３の列の当該Ｒ信号近傍にあるＧ信号を用いて推定する。
例えば、画素位置１８にＧ信号（Ｇ１８）を補間する場合、同時化処理部１２はＲ１８を含む第３の列に含まれるＲ１８近傍のＧ信号（Ｇ１０、Ｇ２６）の平均を求める以下の式（１３）により、Ｇ１８を推定する。Ｇ１８＝（Ｇ１０＋Ｇ２６）／２・・・（１３）
【００５８】
（ｃ）Ｂ信号の存在する画素位置にＲ信号を補間する場合
この場合、同時化処理部１２は、Ｇ利用推定処理によって補間すべきＲ信号を推定する。即ち、Ｂ信号の存在する画素位置に補間すべきＲ信号を、当該画素位置に存在する色信号を含む第４の列に含まれる当該画素位置近傍のＧ信号と、当該第４の列の隣の第３の列にある当該画素位置近傍のＧ信号と、当該第３の列の当該Ｇ信号の近傍にあるＲ信号とを用いて推定する。
【００５９】
例えば、画素位置１１にＲ信号（Ｒ１１）を補間する場合、Ｙ方向に相関性のある被写体において、画像の局所的な領域におけるＲ信号とＧ信号との差は等しいという前提、すなわち、Ｒ１１−Ｇ１１＝｛（Ｒ１０−Ｇ１０）＋（Ｒ１２−Ｇ１２）｝／２の関係が成立するという前提に基づいて、Ｒ１１＝Ｇ１１＋｛（Ｒ１０−Ｇ１０）＋（Ｒ１２−Ｇ１２）｝／２・・・（１４）の演算により、Ｒ１１を推定する。
【００６０】
具体的に、同時化処理部１２は、まず、画素位置１１に、画素位置１１に存在するＢ１１を含む第４の列に含まれる画素位置１１近傍のＧ信号（Ｇ０３、Ｇ１９）を用いてＧ信号（Ｇ１１）を補間し、画素位置１１のＸ方向隣の画素位置である画素位置１０に、画素位置１０に存在するＧ１０を含む第３の列に含まれる画素位置１０近傍のＲ信号（Ｒ０２，Ｒ１８）を用いてＲ１０を補間し、画素位置１１のＸ方向隣の画素位置である画素位置１２に、画素位置１２に存在するＧ１２を含む第３の列に含まれる画素位置１２近傍のＲ信号（Ｒ０４，Ｒ２０）を用いてＲ１２を補間する。
【００６１】
Ｇ１１については、例えばＧ０３とＧ１９の平均を演算することで求め、Ｒ１０については、例えばＲ０２とＲ１８の平均を演算することで求め、Ｒ１２については、例えばＲ０４とＲ２０の平均を演算することで求める。Ｇ１１、Ｒ１０、Ｒ１２を求めた後は、式（１４）に従ってＧ１１＋｛（Ｒ１０−Ｇ１０）＋（Ｒ１２−Ｇ１２）｝／２の演算を行うことで、Ｒ１１を推定する。
【００６２】
尚、式（１４）は、画素位置１１と画素位置１０及び１２との相関に基づいてＲ１１を推定するものとなっているが、画素位置１１と画素位置１０との相関又は画素位置１１と画素位置１２との相関に基づいてＲ１１を推定することも可能である。この場合、上記式（１４）を次の式（１５）又は（１６）のように変形して用いれば良い。Ｒ１１＝Ｇ１１＋（Ｒ１０−Ｇ１０）・・・（１５）、Ｒ１１＝Ｇ１１＋（Ｒ１２−Ｇ１２）・・・（１６）。
【００６３】
（ｄ）Ｒ信号の存在する画素位置にＢ信号を補間する場合
この場合、同時化処理部１２は、Ｇ利用推定処理によって補間すべきＢ信号を推定する。即ち、Ｒ信号の存在する画素位置に補間すべきＢ信号を、当該画素位置に存在する色信号を含む第３の列に含まれる当該画素位置近傍のＧ信号と、当該第３の列の隣の第４の列にある当該画素位置近傍のＧ信号と、当該第４の列の当該Ｇ信号の近傍にあるＢ信号とを用いて推定する。
【００６４】
例えば、画素位置１８にＢ信号（Ｂ１８）を補間する場合、Ｙ方向に相関性のある被写体において、画像の局所的な領域におけるＢ信号とＧ信号との差は等しいという前提、すなわち、Ｂ１８−Ｇ１８＝｛（Ｂ１７−Ｇ１７）＋（Ｂ１９−Ｇ１９）｝／２の関係が成立するという前提に基づいて、Ｒ１８＝Ｇ１８＋｛（Ｂ１７−Ｇ１７）＋（Ｂ１９−Ｇ１９）｝／２・・・（１７）の演算により、Ｂ１８を推定する。
【００６５】
具体的に、同時化処理部１２は、まず、画素位置１８に、画素位置１８に存在するＲ１８を含む第３の列に含まれる画素位置１８近傍のＧ信号（Ｇ１０、Ｇ２６）を用いてＧ信号（Ｇ１８）を補間し、画素位置１８のＸ方向隣の画素位置である画素位置１７に、画素位置１７に存在するＧ１７を含む第４の列に含まれる画素位置１７近傍のＢ信号（Ｂ０９，Ｂ２５）を用いてＢ１７を補間し、画素位置１８のＸ方向隣の画素位置である画素位置１９に、画素位置１９に存在するＧ１９を含む第４の列に含まれる画素位置１９近傍のＢ信号（Ｂ１１，Ｂ２７）を用いてＢ１９を補間する。
【００６６】
Ｇ１８については、例えばＧ１０とＧ２６の平均を演算することで求め、Ｂ１７については、例えばＢ０９とＢ２５の平均を演算することで求め、Ｂ１９については、例えばＢ１１とＢ２７の平均を演算することで求める。Ｇ１８、Ｂ１７、Ｂ１９を求めた後は、式（１７）に従ってＧ１８＋｛（Ｂ１７−Ｇ１７）＋（Ｂ１９−Ｇ１９）｝／２の演算を行うことで、Ｂ１８を推定する。
【００６７】
尚、式（１７）は、画素位置１８と画素位置１７及び１９との相関に基づいてＢ１８を推定するものとなっているが、画素位置１８と画素位置１７との相関又は画素位置１８と画素位置１９との相関に基づいてＢ１８を推定することも可能である。この場合、上記式（１７）を次の式（１８）又は（１９）のように変形して用いれば良い。Ｂ１８＝Ｇ１８＋（Ｂ１７−Ｇ１７）・・・（１８）、Ｂ１８＝Ｇ１８＋（Ｂ１９−Ｇ１９）・・・（１９）。
【００６８】
（ｅ）第４の列のＧ信号の存在する画素位置にＲ信号を補間する場合
この場合、同時化処理部１２は、Ｇ利用推定処理によって補間すべきＲ信号を推定する。即ち、第４の列のＧ信号の存在する画素位置に補間すべきＲ信号を、当該Ｇ信号と、当該第４の列の隣の第３の列にある当該画素位置近傍のＲ信号と、当該第４の列の当該Ｒ信号の近傍にあるＧ信号とを用いて推定する。
【００６９】
例えば、画素位置１９にＲ信号（Ｒ１９）を補間する場合、Ｙ方向に相関性のある被写体において、画像の局所的な領域におけるＲ信号とＧ信号との差は等しいという前提、すなわち、Ｒ１９−Ｇ１９＝｛（Ｒ１８−Ｇ１８）＋（Ｒ２０−Ｇ２０）｝／２の関係が成立するという前提に基づいて、Ｒ１９＝Ｇ１９＋｛（Ｒ１８−Ｇ１８）＋（Ｒ２０−Ｇ２０）｝／２・・・（２０）の演算により、Ｒ１９を推定する。
【００７０】
具体的に、同時化処理部１２は、まず、画素位置１９のＸ方向隣の画素位置である画素位置１８に、画素位置１８に存在するＲ１８を含む第３の列に含まれる画素位置１８近傍のＧ信号（Ｇ１０，Ｇ２６）を用いてＧ１８を補間し、画素位置１８のＸ方向隣の画素位置である画素位置２０に、画素位置２０に存在するＲ２０を含む第３の列に含まれる画素位置２０近傍のＧ信号（Ｇ１２，Ｇ２８）を用いてＧ２０を補間する。
【００７１】
Ｇ１８については、例えばＧ１０とＧ２６の平均を演算することで求め、Ｇ２０については、例えばＧ１２とＧ２８の平均を演算することで求める。Ｇ１８、Ｇ２０を求めた後は、式（２０）に従って、Ｇ１９＋｛（Ｒ１８−Ｇ１８）＋（Ｒ２０−Ｇ２０）｝／２の演算を行うことで、Ｒ１９を推定する。
【００７２】
尚、式（２０）は、画素位置１９と画素位置１８及び２０との相関に基づいてＲ１９を推定するものとなっているが、画素位置１９と画素位置１８との相関又は画素位置１９と画素位置２０との相関に基づいてＲ１９を推定することも可能である。この場合、上記式（２０）を次の式（２１）又は（２２）のように変形して用いれば良い。Ｒ１９＝Ｇ１９＋（Ｒ１８−Ｇ１８）・・・（２１）、Ｒ１９＝Ｇ１９＋（Ｒ２０−Ｇ２０）・・・（２２）。
【００７３】
（ｆ）第３の列のＧ信号の存在する画素位置にＢ信号を補間する場合
この場合、同時化処理部１２は、Ｇ利用推定処理によって補間すべきＢ信号を推定する。即ち、第３の列のＧ信号の存在する画素位置に補間すべきＢ信号を、当該Ｇ信号と、当該Ｇ信号を含む第３の列の隣の第４の列にある当該画素位置近傍のＢ信号と、当該第４の列の当該Ｂ信号の近傍にあるＧ信号とを用いて推定する。
【００７４】
例えば、画素位置１０にＢ信号（Ｂ１０）を補間する場合、Ｙ方向に相関性のある被写体において、画像の局所的な領域におけるＢ信号とＧ信号との差は等しいという前提、すなわち、Ｂ１０−Ｇ１０＝｛（Ｂ０９−Ｇ０９）＋（Ｂ１１−Ｇ１１）｝／２の関係が成立するという前提に基づいて、Ｂ１０＝Ｇ１０＋｛（Ｂ０９−Ｇ０９）＋（Ｂ１１−Ｇ１１）｝／２・・・（２３）の演算により、Ｂ１０を推定する。
【００７５】
具体的に、同時化処理部１２は、まず、画素位置１０のＸ方向隣の画素位置である画素位置０９に、画素位置０９に存在するＢ０９を含む第４の列に含まれる画素位置０９近傍のＧ信号（Ｇ０１，Ｇ１７）を用いてＧ０９を補間し、画素位置１０のＸ方向隣の画素位置である画素位置１１に、画素位置１１に存在するＢ１１を含む第４の列に含まれる画素位置１１近傍のＧ信号（Ｇ０３，Ｇ１９）を用いてＧ１１を補間する。
【００７６】
Ｇ０９については、例えばＧ０１とＧ１７の平均を演算することで求め、Ｇ１１については、例えばＧ０３とＧ１９の平均を演算することで求める。Ｇ０１、Ｇ１１を求めた後は、式（２３）に従って、Ｇ１０＋｛（Ｂ０９−Ｇ０９）＋（Ｂ１１−Ｇ１１）｝／２の演算を行うことで、Ｂ１０を推定する。
【００７７】
尚、式（２３）は、画素位置１０と画素位置０９及び１１との相関に基づいてＢ１０を推定するものとなっているが、画素位置１０と画素位置０９との相関又は画素位置１０と画素位置１１との相関に基づいてＢ１０を推定することも可能である。この場合、上記式（２３）を次の式（２４）又は（２５）のように変形して用いれば良い。Ｂ１０＝Ｇ１０＋（Ｂ０９−Ｇ０９）・・・（２４）、Ｂ１０＝Ｇ１０＋（Ｂ１１−Ｇ１１）・・・（２５）。
【００７８】
（ｇ）第３の列のＧ信号の存在する画素位置にＲ信号を補間する場合
この場合、同時化処理部１２は、Ｇ非利用推定処理によって補間すべきＲ信号を推定する。即ち、同時化処理部１２は、第３の列のＧ信号の存在する画素位置に補間すべきＲ信号を、当該第３の列の当該Ｇ信号近傍にあるＲ信号を用いて推定する。
例えば、画素位置１０にＲ信号（Ｒ１０）を補間する場合、同時化処理部１２はＧ１０を含む第３の列に含まれるＧ１０近傍のＲ信号（Ｒ０２、Ｒ１８）の平均を求める以下の式（２６）により、Ｒ１０を推定する。Ｒ１０＝（Ｒ０２＋Ｒ１８）／２・・・（２６）。
【００７９】
（ｈ）第４の列のＧ信号の存在する画素位置にＢ信号を補間する場合
この場合、同時化処理部１２は、Ｇ非利用推定処理によって補間すべきＢ信号を推定する。即ち、同時化処理部１２は、第４の列のＧ信号の存在する画素位置に補間すべきＢ信号を、当該第４の列の当該Ｇ信号近傍にあるＢ信号を用いて推定する。
例えば、画素位置１７にＢ信号（Ｂ１７）を補間する場合、同時化処理部１２はＧ１７を含む第４の列に含まれるＧ１７近傍のＢ信号（Ｂ０９、Ｂ２５）の平均を求める以下の式（２７）により、Ｂ１７を推定する。Ｂ１７＝（Ｂ０９＋Ｂ２５）／２・・・（２７）。
【００８０】
上記（ａ）〜（ｈ）の処理を行うことで、各画素位置にＲ信号、Ｇ信号、Ｂ信号が存在した状態を作ることができる。
【００８１】
同時化処理部１２は、被写体に応じて以上のような方法１又は方法２の処理を行うことで、光電変換素子１，２，３に対応する画素位置にＲ，Ｇ，Ｂ３色の色信号を生成する。ＹＣ変換部１３では、光電変換素子１，２，３に対応する画素位置にある信号から各画素位置に対応するＹＣ信号が生成され、合成処理部１４では、各画素位置に生成された輝度信号と、その画素位置に隣接する画素位置にあるＷ信号との合成処理が行われる。これにより、第１のグループを構成する光電変換素子と同じ数の解像度のカラー画像データが完成する。尚、合成処理は行わなくても良いが、光電変換素子４は他の光電変換素子よりも感度が高くなっているため、合成処理を行うことで、ダイナミックレンジの拡大を図ることができる。合成処理後のカラー画像データは圧縮処理部１５で圧縮され、記録メディア１６に記録される。
【００８２】
このように、Ｚ方向に相関性のある斜め被写体（例えば、Ｚ方向に延びる矢印のような画像）については、方法１によって同時化処理を行い、Ｙ方向に相関性のある縦被写体（例えば、Ｙ方向に延びる矢印のような画像）については、方法２によって同時化処理を行うことで、斜め被写体に対しても方法２によって同時化処理を行っている従来と比較して、斜め被写体を含む被写体の撮像を行ったときの偽色を減らすことができ、高画質化を実現することができる。
【００８３】
又、光電変換素子４は、入射する光の波長域が他の光電変換素子よりも広く、感度が高くなっているため、Ｗ信号のＳ／ＮはＧ信号のＳ／Ｎよりも良好となる。式（３）〜（１１）に示したような輝度利用推定処理を行う場合は、ノイズの少ないＷ信号に基づいて補間すべき信号を推定することができるため、ノイズの少ない画像の生成が可能となる。
【００８４】
又、例えば輝度フィルタとして透明フィルタ等を用いた場合、Ｗ信号は、Ｒ信号、Ｇ信号、及びＢ信号の全ての成分を含んでいるため、Ｇ信号とＲ信号との相関性やＧ信号とＢ信号との相関性に比べて、Ｗ信号とＲ信号，Ｇ信号，Ｂ信号の各々との相関性は高いものとなる。上述した方法１において、Ｒ信号の存在する画素位置とＢ信号の存在する画素位置にそれぞれ補間されるＧ信号と、Ｇ信号の存在する画素位置に補間されるＲ信号及びＢ信号とは、Ｗ信号とＧ信号との相関性もしくは、Ｗ信号とＲ信号又はＢ信号との相関性に基づいて求められたものである。このように、相関性の高い信号によって補完すべき信号を推定しているため、偽色低減効果を向上させることができる。
【００８５】
又、以上説明した同時化処理は、図１に示すような構成の撮像素子１０を搭載した撮像装置に限らず、例えば、第１のグループの光電変換素子を有する撮像素子と、第２のグループの光電変換素子を有する撮像素子とを搭載し、これらをサンプリングポイントをずらして配置してある２板式の撮像装置においても適用することができる。又、この同時化処理は、撮像素子１０から得られたＲＡＷデータをコンピュータに入力し、このコンピュータ内で所定のプログラムを実行することにより行っても良い。
【００８６】
又、本実施形態では、撮像素子１０をイメージセンサとしているが、これはラインセンサであっても良い。この場合は、Ｒ信号を出力する光電変換素子、Ｇ信号を出力する光電変換素子、Ｂ信号を出力する光電変換素子が所定方向に並ぶラインと、Ｗ信号を出力する光電変換素子が所定方向に並ぶラインとが、該所定方向に直交する方向に並べられた配置の撮像素子を用いれば良い。
【００８７】
又、以上の説明では、光電変換素子１〜３から得られた色信号を、そのまま、生成すべきカラー画像データを構成する画素データの画素位置に配置してから、同時化処理を行うものとしているが、光電変換素子１〜３から得られた色信号については、この色信号を、その総数が減少するように同一色の色信号同士を加算した上で画素位置に配置し、この状態で同時化処理を行うようにしても良い。
【００８８】
図４は、このような加算処理を行ったときのメモリ上に配置された撮像信号の配列を示した図である。図４において、内部に“Ｒ＋”を記した四角は光電変換素子１から得られたＲ信号同士を加算して得られたＲ＋信号を示し、内部に“Ｇ＋”を記した四角は光電変換素子２から得られたＧ信号同士を加算して得られたＧ＋信号を示し、内部に“Ｂ＋”を記した円は光電変換素子３から得られたＢ信号同士を加算して得られたＢ＋信号を示している。
【００８９】
例えば、図４に示すように、図３に示すＧ０１とＧ０３とＧ１７とＧ１９を加算して、これらの中心位置にある画素位置１０に、加算後のＧ＋信号を配置する。又、図３に示すＲ０２とＲ０４とＲ１８とＲ２０を加算して、これらの中心位置にある画素位置１１に、加算後のＲ＋信号を配置する。又、図３に示すＢ０９とＢ１１とＢ２５とＢ２７を加算して、これらの中心位置にある画素位置１８に、加算後のＢ＋信号を配置する。又、図３に示すＧ１０とＧ１２とＧ２６とＧ２８を加算して、これらの中心位置にある画素位置１９に、加算後のＧ＋信号を配置する。
【００９０】
このように、Ｘ方向とＹ方向に隣接する同色成分の色信号同士を加算することで、図４の画素位置０１〜０４〜２８〜２５で囲まれる範囲）にＧ＋信号が２つと、Ｒ＋信号とＢ＋信号とが生成される。以下、図４に示したような撮像信号配列における同時化処理について説明する。
【００９１】
同時化処理部１２は、メモリ上に配置した色信号の各々がどの方向に相関性を持っているかを、例えばその撮像信号に隣接するＷ信号を利用することで判断し、Ｚ方向又はこれに直交する方向に相関性のある色信号については、その色信号が存在する画素位置に補間すべき色信号を、その画素位置の周囲にある該補間すべき色信号と同種類の色信号及びＷ信号を用いて推定する輝度利用推定処理を用いて、Ｒ信号、Ｇ信号、及びＢ信号を補間する。
【００９２】
又、同時化処理部１２は、Ｘ方向又はＹ方向に相関性のある色信号については、その色信号が存在する画素位置に補間すべき色信号を、その画素位置の周囲にある該補間すべき色信号と同種類の色信号及びＧ信号を用いて推定するＧ利用推定処理を用いて、Ｒ信号、Ｇ信号、及びＢ信号を補間する。以下、図４の画素位置１０にＲ信号、Ｇ信号、Ｂ信号を補間する方法を例にして具体的に説明する。
【００９３】
まず、図４に示すＧ＋１０がどの方向に相関性を持っているかを判断する場合、同時化処理部１２は、Ｙ方向：（Ｗ０５＋Ｗ１３）／２−（Ｗ０６＋Ｗ１４）／２、Ｘ方向：（Ｗ０５＋Ｗ０６）／２−（Ｗ１３＋Ｗ１４）／２、Ｚ方向：（Ｗ０６−Ｗ１３）、Ｚ方向に直交する方向：（Ｗ０５−Ｗ１４）の４つの演算を行い、演算結果のうち絶対値が最小となった方向を、Ｇ＋１０に相関性のある方向と判断する。
【００９４】
（方法１：Ｚ方向に相関がある場合）
（ａ）画素位置１０にＲ信号を補間する場合
この場合、同時化処理部１２は輝度利用推定処理によって補間すべきＲ信号を推定する。
画素位置１０にＲ信号（Ｒ１０）を補間する場合、Ｚ方向に相関性のある被写体において、画像の局所的な領域におけるW信号とＲ信号との差は等しいという前提は、加算前のＲ信号を用いて、
Ｒ１０−Ｗ１０＝｛（Ｒ０２−Ｗ０２）＋（Ｒ０４−Ｗ０４）＋（Ｒ１８−Ｗ１８）＋（Ｒ２０−Ｗ２０）｝／４・・・（２８）
と表すことが出来る。
さらに、Ｒ＋１１＝（Ｒ０２＋Ｒ０４＋Ｒ１８＋Ｒ２０）であるため、下記式２８を変形した式２９の演算によりＲ１０を推定する。
Ｒ１０＝Ｗ１０＋｛“Ｒ＋１１”−Ｗ０２−Ｗ０４−Ｗ１８−Ｗ２０｝／４・・・（２９）
【００９５】
具体的に、同時化処理部１２は、Ｗ０２，Ｗ０４，Ｗ１８，Ｗ２０，Ｗ１０をＺ方向の近傍画素によって推定する。
例えば、Ｗ０２＝（Ｗ０５＋Ｗｂ）／２、Ｗ０４＝（Ｗ０７＋Ｗｄ）／２、Ｗ１８＝（Ｗ２１＋Ｗ１４）／２、Ｗ２０＝（Ｗ２３＋Ｗ１６）／２、Ｗ１０＝（Ｗ１３＋Ｗ０６）／２となる。
【００９６】
よって、式２９は下記式３０に変形できるため、式３０により、Ｒ１０を求めることができる。
Ｒ１０＝（Ｗ１３＋Ｗ０６）／２＋｛“Ｒ＋１１”−（Ｗ０５＋Ｗｂ）／２−（Ｗ０７＋Ｗｄ）／２−（Ｗ２１＋Ｗ１４）／２−（Ｗ２３＋Ｗ１６）／２｝／４・・・（３０）
【００９７】
（ｂ）画素位置１０にＢ信号を補間する場合
この場合、同時化処理部１２は輝度利用推定処理によって補間すべきＢ信号を推定する。
画素位置１０にＢ信号（Ｂ１０）を補間する場合、Ｚ方向に相関性のある被写体において、画像の局所的な領域におけるW信号とＢ信号との差は等しいという前提は、加算前のＢ信号を用いて、
Ｂ１０−Ｗ１０＝｛（Ｂ０９−Ｗ０９）＋（Ｂ１１−Ｗ１１）＋（Ｂ２５−Ｗ２５）＋（Ｂ２７−Ｗ２７）｝／４・・・（３１）
と表すことが出来る。
さらに、“Ｂ＋１８”＝（Ｂ０９＋Ｂ１１＋Ｂ２５＋Ｂ２７）であるため、式３１を変形した式３２の演算によりＢ１０を推定する。
Ｂ１０＝Ｗ１０＋｛“Ｂ＋１８”−Ｗ０９−Ｗ１１−Ｗ２５−Ｗ２７｝／４・・・（３２）
【００９８】
式３２は、上記（ａ）の処理と同様に、下記式３３に変形できるため、この式３３により、Ｂ１０を求めることができる。
Ｂ１０＝（Ｗ１３＋Ｗ０６）／２＋｛“Ｂ＋１８”−（Ｗｆ＋Ｗ０５）／２−（Ｗ１４＋Ｗ０７）／２−（Ｗｈ＋Ｗ２１）／２−（Ｗ３０＋Ｗ２３）／２｝／４・・・（３３）
【００９９】
（ｃ）画素位置１０にＧ信号を補間する場合
この場合、同時化処理部１２は輝度利用推定処理によって補間すべきＧ信号を推定する。
画素位置１０にＧ信号（Ｇ１０）を補間する場合、Ｚ方向に相関性のある被写体において、画像の局所的な領域におけるW信号とＧ信号との差は等しいという前提は、加算前のＧ信号を用いて、
Ｇ１０−Ｗ１０＝｛（Ｇ０１−Ｗ０１）＋（Ｇ０３−Ｗ０３）＋（Ｇ１７−Ｗ１７）＋（Ｇ１９−Ｗ１９）｝／４・・・（３４）
と表すことが出来る。
さらに、“Ｇ＋１０”＝（Ｇ０１＋Ｇ０３＋Ｇ１７＋Ｇ１９）であるため、式３４を変形した式３５の演算によりＧ１０を推定する。
Ｇ１０＝Ｗ１０＋｛“Ｇ＋１０”−Ｗ０１−Ｗ０３−Ｗ１７−Ｗ１９｝／４・・・（３５）
【０１００】
式３５は、上記（ａ）の処理と同様に、下記式３６に変形できるため、この式３６により、Ｇ１０を求めることができる。
Ｇ１０＝（Ｗ１３＋Ｗ０６）／２＋｛“Ｇ＋１０”−（Ｗｅ＋Ｗａ）／２−（Ｗ０６＋Ｗｃ）／２−（Ｗｇ＋Ｗ１３）／２−（Ｗ２２＋Ｗ１５）／２｝／４・・（３６）
【０１０１】
（方法２：Ｙ方向に相関がある場合）
（ａ）画素位置１０にＲ信号を補間する場合
この場合、同時化処理部１２はＧ利用推定処理によって補間すべきＲ信号を推定する。
例えば、画素位置１０にＲ信号（Ｒ１０）を補間する場合、Ｙ方向に相関性のある被写体において、画像の局所的な領域におけるＧ信号とＲ信号の差は等しいという前提は、加算前のＧ信号とＲ信号を用いて、
Ｒ１０−Ｇ１０＝｛（Ｒ０２−Ｇ０２）＋（Ｒ０４−Ｇ０４）＋（Ｒ１８−Ｇ１８）＋（Ｒ２０−Ｇ２０｝／４・・・（３７）
と表すことが出来る。
さらに、“Ｒ＋１１”＝（Ｒ０２＋Ｒ０４＋Ｒ１８＋Ｒ２０）であるため、式３７を変形した式３８の演算によりＲ１０を推定する。
Ｒ１０＝Ｇ１０＋｛“Ｒ＋１１”−Ｇ０２−Ｇ０４−Ｇ１８−Ｇ２０｝／４・・・（３８）
【０１０２】
具体的に、同時化処理部１２は、まず、Ｇ０２をＹ方向の近傍画素により求める。例えば、Ｇ０２＝Ｇ１０とする。同様にＧ０４＝Ｇ１２、Ｇ１８＝Ｇ２６、Ｇ２０＝Ｇ２８と求まる。次に、Ｇ１０は加算中心として“Ｇ＋１０”／４と求まる。
【０１０３】
更に、“Ｇ＋１９”＝（Ｇ１０＋Ｇ１２＋Ｇ２６＋Ｇ２８）であるため、式３８を変形した式３９の演算によりＲ１０を推定することができる。
Ｒ１０＝“Ｇ＋１０”／４＋｛“Ｒ＋１１”−“Ｇ＋１９”｝／４・・・（３９）
【０１０４】
（ｂ）画素位置１０にＢ信号を補間する場合
この場合、同時化処理部１２はＧ利用推定処理によって補間すべきＢ信号を推定する。
例えば、画素位置１０にＢ信号（Ｂ１０）を補間する場合、Ｙ方向に相関性のある被写体において、画像の局所的な領域におけるＧ信号とＢ信号の差は等しいという前提は、加算前のＧ信号とＢ信号を用いて、
Ｂ１０−Ｇ１０＝｛（Ｂ０９−Ｇ０９）＋（Ｂ１１−Ｇ１１）＋（Ｂ２５−Ｇ２５）＋（Ｂ２７−Ｇ２７）｝／４・・・（４０）
と表すことが出来る。
さらに、“Ｂ＋１８”＝（Ｂ０９＋Ｂ１１＋Ｂ２５＋Ｂ２７）であるため、式４０を変形した式４１の演算によりＢ１０を推定する。
Ｂ１０＝Ｇ１０＋｛“Ｂ＋１８”−Ｇ０９−Ｇ１１−Ｇ２５−Ｇ２７｝／４・・・（４１）
【０１０５】
式４１は、上記（ａ）の処理と同様に、下記式４２に変形できるため、この式４２により、Ｂ１０を求めることができる。
Ｂ１０＝“Ｇ＋１０”／４＋｛“Ｂ＋１８”−“Ｇ＋１０”｝／４・・・（４２）
【０１０６】
（ｃ）画素位置１０にＧ信号を補間する場合
この場合、同時化処理部１２は、“Ｇ＋１０”／４をＧ信号とする。
【０１０７】
以上のように、同色の色信号又は電荷同士を加算しても、縦横および斜め方向の相関演算を行う事で偽色低減を行う事が可能である。又、色解像は輝度解像に比べ低解像でも問題となり難いため、電荷を加算して読み出す事で画質への影響が少なく読み出しレートの低減が可能である。又、信号出力後に信号を加算することでも、演算する色画素数の削減することが出来る。又、図４に示した例では、色信号を縦横方向に加算するため、縦横方向に等解像の低解像画像を得る事が可能となる。
【０１０８】
尚、加算の方法としては、Ｘ方向に隣接する同色成分の色信号同士を加算する方法や、Ｙ方向に隣接する同色成分の色信号同士を加算する方法を採用しても良い。例えば、図３に示すＧ０１とＧ１７を加算して、画素位置０９にＧ信号を配置し、Ｂ０９とＢ２５を加算して画素位置１７にＢ信号を配置するといった処理を行うことで、図３と比較して画素データ数が半分となるカラー画像データを生成するようにしても良い。又は、図３に示すＧ０１とＧ０３を加算して、画素位置０２にＧ信号を配置し、Ｒ０２とＲ０４を加算して画素位置０３にＲ信号を配置するといった処理を行うことで、図３と比較して画素データ数が半分となるカラー画像データを生成するようにしても良い。
【０１０９】
又、Ｇ信号は加算せずに、Ｒ信号とＢ信号だけを加算するようにしても良い。この場合、輝度と相関の高いＧ信号が加算されないため、Ｗ信号とＧ信号とがダイヤモンド型の配列となり、縦横方向に高い解像を得る事が出来る。また、Ｒ信号とＢ信号を加算する事で画素数を減らし、演算や読み出しのコストを削減でき、感度の向上を図る事も可能である。
【０１１０】
Ｒ信号、Ｂ信号の補間処理は、上述した加算時の補間処理と同等となり、Ｇ信号の補間処理は、上述した非加算時の補間処理と同等となる。これにより、Ｒ信号とＢ信号は、Ｒ信号とＢ信号を加算した画素位置に補間され、Ｇ信号は加算前の全画素位置に補間される。Ｒ信号とＢ信号を加算前の全画素位置に補間する場合、全画素位置に補間されているＧ信号を用いたＧ利用推定処理を使いる。すなわち加算されたＲ信号とＢ信号の配置された画素位置にあるＧ信号を、Ｒ信号とＢ信号から減算して差分を求め、差分値同士を平均化して補間し、各画素位置のＧ信号と加算することにより求める事ができる。
【０１１１】
又、ここでは、メモリ上において色信号の加算を行うものとしたが、撮像素子１０の駆動時に、光電変換素子から読み出した電荷を加算することで、加算された色信号を撮像素子１０から出力させるようにしても良い。
【０１１２】
この場合、撮像素子１０をＣＣＤ（Charge Coupled Device）型のものとする。つまり、光電変換素子から垂直電荷転送路に電荷を読み出してこれをＹ方向に転送し、転送した電荷を水平電荷転送路においてＸ方向まで転送し、転送した電荷をその電荷量に応じた信号に変換して出力する出力部を有する構成とする。そして、撮像素子１０を駆動する駆動部が、光電変換素子から読み出した電荷を、その総数が減少するように、Ｘ方向、Ｙ方向、又は、Ｙ方向及びＸ方向に隣接する同色成分の電荷同士を垂直電荷転送路や水平電荷転送路で加算してから、加算後の電荷に応じた色信号を出力させる駆動を行うようにすれば良い。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施形態である撮像装置に搭載される撮像素子の概略平面模式図
【図２】本発明の実施形態である撮像装置の概略構成を示すブロック図
【図３】図２のＡＦＥから出力されてメモリ上に配置された撮像信号の配列を示した図
【図４】図２のＡＦＥから出力されてメモリ上に配置された撮像信号の加算後の配列を示した図
【図５】従来の同時化処理方法を説明するための図
【符号の説明】
【０１１４】
１〜３  色検出用光電変換素子
４  輝度検出用光電変換素子
１２  同時化処理部
【図１】
0005250315.tif 000002
【図２】
0005250315.tif 000003
【図３】
0005250315.tif 000004
【図４】
0005250315.tif 000005
【図５】
0005250315.tif 000006