(57)【特許請求の範囲】
【請求項１】
それぞれ異なる光の色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置であって、
前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号から、前記色検出用光電変換素子に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、
各光電変換素子に対応する画素データを構成する輝度信号を生成するために、前記第１の輝度信号と前記輝度検出用光電変換素子から得られた前記輝度検出用光電変換素子に対応する第２の輝度信号とのうち少なくとも前記第２の輝度信号を、前記色信号に基づいて補正する補正手段とを備え、
前記補正手段が、前記第２の輝度信号と前記第１の輝度信号の各々に対してフィルタ処理を行うフィルタ処理手段であり、
前記フィルタ処理手段は、処理対象となる輝度信号に対し、前記処理対象となる輝度信号に乗じる係数と前記処理対象となる輝度信号に近接する当該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記第１の輝度信号生成手段が、前記少なくとも３種類の色信号を所定の輝度生成係数で重み付け加算して前記第１の輝度信号を生成するものであり、
前記第１の輝度信号生成手段が、前記第２の輝度信号のフィルタ処理後の輝度信号と、前記所定の輝度生成係数を前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値としたときの前記第１の輝度信号との差が最小となるような輝度生成係数で、前記第１の輝度信号を生成する撮像装置。
【請求項３】
請求項１記載の撮像装置であって、
前記第１の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、
前記第１の輝度信号の生成前に、撮影感度を決定するために前記第１の輝度信号を構成する色信号のレベルを調整するレベル調整手段を備え、
前記レベル調整手段が、前記第２の輝度信号のフィルタ処理後の輝度信号と前記最適な輝度生成係数で生成された前記第１の輝度信号との差が最小となるようなゲインを用いて、前記色信号のレベルを調整する撮像装置。
【請求項４】
請求項２記載の撮像装置であって、
前記差が最小となるような輝度生成係数を被写体光源毎に記憶する記憶手段を備え、
前記第１の輝度信号生成手段が、前記記憶手段に記憶されている被写体光源に応じた前記輝度生成係数を用いて前記第１の輝度信号を生成する撮像装置。
【請求項５】
請求項３記載の撮像装置であって、
前記差が最小となるようなゲインを被写体光源毎に記憶する記憶手段を備え、
前記レベル調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記ゲインを用いて前記色信号のレベルを調整する撮像装置。
【請求項６】
請求項１記載の撮像装置であって、
前記第１の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、
前記第２の輝度信号のフィルタ処理後の輝度信号と前記第１の輝度信号生成手段で生成される前記第１の輝度信号との差が最小となるように、前記第２の輝度信号を調整する調整手段を備える撮像装置。
【請求項７】
請求項６記載の撮像装置であって、
前記調整手段が、調整対象となる前記第２の輝度信号に対応する画素位置に前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも３つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第２の輝度信号に加算して前記調整を行う撮像装置。
【請求項８】
請求項７記載の撮像装置であって、
前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、
前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第２の輝度信号のレベルを調整する撮像装置。
【請求項９】
それぞれ異なる光の色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置であって、
前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号から、前記色検出用光電変換素子に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、
各光電変換素子に対応する画素データを構成する輝度信号を生成するために、前記第１の輝度信号と前記輝度検出用光電変換素子から得られた前記輝度検出用光電変換素子に対応する第２の輝度信号とのうち少なくとも前記第２の輝度信号を、前記色信号に基づいて補正する補正手段とを備え、
前記第１の輝度信号生成手段が、前記少なくとも３種類の色信号を所定の輝度生成係数で重み付け加算して前記第１の輝度信号を生成するものであり、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、
前記補正手段は、前記第２の輝度信号と前記第１の輝度信号生成手段で生成される前記第１の輝度信号との差が最小となるように、前記第２の輝度信号を調整する調整手段である撮像装置。
【請求項１０】
請求項９記載の撮像装置であって、
前記調整手段が、調整対象となる前記第２の輝度信号に対応する画素位置に前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも３つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第２の輝度信号に加算して前記調整を行う撮像装置。
【請求項１１】
請求項１０記載の撮像装置であって、
前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、
前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第２の輝度信号のレベルを調整する撮像装置。
【請求項１２】
請求項１〜１１のいずれか１項記載の撮像装置であって、
前記撮像素子が、前記色検出用光電変換素子からなる第１のグループと前記輝度検出用光電変換素子からなる第２のグループとを備え、
前記第１のグループに含まれる各光電変換素子は、前記第２のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第２のグループに含まれる各光電変換素子に前記第１のグループに含まれる１つの光電変換素子が隣接するように、前記基準の位置から所定の方向にずれた位置に配置されている撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光のそれぞれ異なる色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、シリコン基板上に、光の輝度成分を検出する感光素子を正方格子状に配列した第１の感光素子群と、光の色相成分を検出する感光素子を正方格子状に配列した第２の感光素子群とを互いに隣接する位置にずらして配置して、いわゆるハニカム状の配列パターンを形成した撮像素子が開示されている。
【０００３】
【特許文献１】特開平１１−３５５７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された撮像素子で画像データを生成しようとすると、各感光素子に対応させて輝度信号を生成する必要がある。この場合、第１の感光素子群の感光素子に対応する輝度信号は、その感光素子から得られた信号（信号Ａとする）そのものを使うことができる。一方、第２の感光素子群の感光素子に対応する輝度信号は、その感光素子から得られた信号と、その周囲にある第２の感光素子群の感光素子から得られた信号とから生成した信号（信号Ｂとする）を使う必要がある。
【０００５】
しかし、第１の感光素子群の感光素子と第２の感光素子群の感光素子の感光素子とは、それぞれ分光特性が異なるため、被写体色や光源によって互いの相関性が崩れてしまう。この結果、信号Ａと信号Ｂにはレベル差が生じてしまい、このレベル差が輝度ノイズとなってしまう。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、輝度ノイズを低減することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、それぞれ異なる光の色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置であって、前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号から、前記色検出用光電変換素子に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、各光電変換素子に対応する画素データを構成する輝度信号を生成するために、前記第１の輝度信号と前記輝度検出用光電変換素子から得られた前記輝度検出用光電変換素子に対応する第２の輝度信号とのうち少なくとも前記第２の輝度信号を、前記色信号に基づいて補正する補正手段とを備える。
【０００８】
本発明の撮像装置は、前記補正手段が、前記第２の輝度信号と前記第１の輝度信号の各々に対してフィルタ処理を行うフィルタ処理手段であり、前記フィルタ処理手段は、処理対象となる輝度信号に対し、前記処理対象となる輝度信号に乗じる係数と前記処理対象となる輝度信号に近接する当該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う。
【０００９】
本発明の撮像装置は、前記第１の輝度信号生成手段が、前記少なくとも３種類の色信号を所定の輝度生成係数で重み付け加算して前記第１の輝度信号を生成するものであり、前記第１の輝度信号生成手段が、前記第２の輝度信号のフィルタ処理後の輝度信号と、前記所定の輝度生成係数を前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値としたときの前記第１の輝度信号との差が最小となるような輝度生成係数で、前記第１の輝度信号を生成する。
【００１０】
本発明の撮像装置は、前記第１の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、前記第１の輝度信号の生成前に、撮影感度を決定するために前記第１の輝度信号を構成する色信号のレベルを調整するレベル調整手段を備え、前記レベル調整手段が、前記第２の輝度信号のフィルタ処理後の輝度信号と前記最適な輝度生成係数で生成された前記第１の輝度信号との差が最小となるようなゲインを用いて、前記色信号のレベルを調整する。
【００１１】
本発明の撮像装置は、前記差が最小となるような輝度生成係数を被写体光源毎に記憶する記憶手段を備え、前記第１の輝度信号生成手段が、前記記憶手段に記憶されている被写体光源に応じた前記輝度生成係数を用いて前記第１の輝度信号を生成する。
【００１２】
本発明の撮像装置は、前記差が最小となるようなゲインを被写体光源毎に記憶する記憶手段を備え、前記レベル調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記ゲインを用いて前記色信号のレベルを調整する。
【００１３】
本発明の撮像装置は、前記第１の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、前記第２の輝度信号のフィルタ処理後の輝度信号と前記第１の輝度信号生成手段で生成される前記第１の輝度信号との差が最小となるように、前記第２の輝度信号を調整する調整手段を備える。
【００１４】
本発明の撮像装置は、前記調整手段が、調整対象となる前記第２の輝度信号に対応する画素位置に前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも３つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第２の輝度信号に加算して前記調整を行う。
【００１５】
本発明の撮像装置は、前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第２の輝度信号のレベルを調整する。
【００１６】
本発明の撮像装置は、前記第１の輝度信号生成手段が、前記少なくとも３種類の色信号を所定の輝度生成係数で重み付け加算して前記第１の輝度信号を生成するものであり、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、前記補正手段は、前記第２の輝度信号と前記第１の輝度信号生成手段で生成される前記第１の輝度信号との差が最小となるように、前記第２の輝度信号を調整する調整手段である。
【００１７】
本発明の撮像装置は、前記調整手段が、調整対象となる前記第２の輝度信号に対応する画素位置に前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも３つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第２の輝度信号に加算して前記調整を行う。
【００１８】
本発明の撮像装置は、前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第２の輝度信号のレベルを調整する。
【００１９】
本発明の撮像装置は、前記撮像素子が、前記色検出用光電変換素子からなる第１のグループと前記輝度検出用光電変換素子からなる第２のグループとを備え、前記第１のグループに含まれる各光電変換素子は、前記第２のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第２のグループに含まれる各光電変換素子に前記第１のグループに含まれる１つの光電変換素子が隣接するように、前記基準の位置から所定の方向にずれた位置に配置されている。
【発明の効果】
【００２０】
本発明によれば、輝度ノイズを低減することが可能な撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図面を参照して説明する。
【００２２】
（第一実施形態）
図１は、本発明の第一実施形態である撮像装置に搭載される撮像素子の概略平面模式図である。
図１に示す撮像素子１０は、半導体基板上の行方向Ｘとこれに直交する列方向Ｙに正方格子状に配列された多数の光電変換素子（１，２，３）からなる第１のグループと、半導体基板上の行方向Ｘと列方向Ｙに正方格子状に配列された多数の光電変換素子（４）からなる第２のグループとを備える。第１のグループを構成する光電変換素子と第２のグループを構成する光電変換素子との数は同一となっている。
【００２３】
第１のグループに含まれる各光電変換素子は、第２のグループに含まれる各光電変換素子４の位置を基準にした場合に、第２のグループに含まれる各光電変換素子４に第１のグループに含まれる１つの光電変換素子が隣接するように、該基準の位置から所定の方向（図１の例では、斜め左上４５度の方向）にずれた位置に配置されており、全ての光電変換素子がいわゆるハニカム状に配列された構成となっている。
【００２４】
光電変換素子１〜４は、それぞれ同一構造となっており、それぞれの受光面上方に形成されるフィルタによって、それぞれの検出する光の成分が異なるものとなっている。
【００２５】
光電変換素子１は、光の赤色（Ｒ）成分を透過するＲカラーフィルタが受光面上に形成されており、これにより、光のＲ成分を検出する光電変換素子として機能する。光電変換素子２は、光の緑色（Ｇ）成分を透過するＧカラーフィルタが受光面上に形成されており、これにより、光のＧ成分を検出する光電変換素子として機能する。光電変換素子３は、光の青色（Ｂ）成分を透過するＢカラーフィルタが受光面上に形成されており、これにより、光のＢ成分を検出する光電変換素子として機能する。光電変換素子４は、光の輝度成分と相関のある分光特性を持った輝度フィルタが受光面上に形成されており、これにより、光の輝度成分を検出する光電変換素子として機能する。
【００２６】
輝度フィルタは、ＮＤフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、光電変換素子４の受光面の上方に何も設けずに光が直接受光面に入射する構成も、輝度フィルタを設けたということができる。
【００２７】
第１のグループの各光電変換素子の受光面上方に形成されたカラーフィルタはベイヤー配列となっている。つまり、第１のグループの各光電変換素子は、光電変換素子１と光電変換素子２とがこの順番でＸ方向に交互に配列されたＲＧ光電変換素子行と、光電変換素子２と光電変換素子３とがこの順番でＸ方向に交互に配列されたＧＢ光電変換素子行とが、Ｙ方向に交互に配列された配置となっている。
【００２８】
以下では、光電変換素子１から得られる赤色成分の撮像信号をＲ信号、光電変換素子２から得られる緑色成分の撮像信号をＧ信号、光電変換素子３から得られる青色成分の撮像信号をＢ信号、光電変換素子４から得られる輝度成分の撮像信号を輝度信号Ｙｗと言う。
【００２９】
図２は、本発明の第一実施形態である撮像装置の概略構成を示すブロック図である。
図２に示す撮像装置は、図１に示した撮像素子１０と、撮像素子１０から出力されるアナログ信号に所定のアナログ信号処理及びデジタル変換処理を行うＡＦＥ１１と、１つの撮像点にＲＧＢ３色の色信号を持たせる同時化処理を行う同時化処理部１２と、輝度信号生成部１３と、色差信号生成部１４と、フィルタ処理部１５と、ハニカム配置となっている画素データを正方配置に変換するハニカム→正方変換部１６とを備える。
【００３０】
ＡＦＥ１１は、Ｒ信号、Ｇ信号、及びＢ信号の各々に一律のゲインを乗じて、各信号のレベルを調整するレベル調整処理も行う。このレベルを調整するためのゲインは、設定された撮影感度（ＩＳＯ）に応じて最適な値が予め決められており、ＡＦＥ１１は、設定されたＩＳＯ感度に応じたゲインを各信号に乗じることで、レベル調整を行う。
【００３１】
同時化処理部１２は、ＡＦＥ１１から出力される撮像信号から、メモリ上の光電変換素子１〜４の各々に対応する画素位置に、該各々からは得られない色信号を、該各々の周囲の光電変換素子から得られた色信号を用いて補間生成する同時化処理を行う。
【００３２】
例えば、光電変換素子１に対応する画素位置には、該光電変換素子１の周囲にある光電変換素子２，３から得られたＧ信号とＢ信号を用いてＧ信号及びＢ信号を補間生成し、光電変換素子２に対応する画素位置には、該光電変換素子２の周囲にある光電変換素子１，３から得られたＲ信号とＢ信号を用いてＲ信号及びＢ信号を補間生成し、光電変換素子３に対応する画素位置には、該光電変換素子３の周囲にある光電変換素子１，２から得られたＲ信号とＧ信号を用いてＲ信号及びＧ信号を補間生成し、光電変換素子４に対応する画素位置には、該光電変換素子４の周囲にある光電変換素子１，２，３から得られたＲ信号とＧ信号とＢ信号を用いてＲ信号、Ｇ信号、及びＢ信号を補間生成する。
【００３３】
輝度信号生成部１３は、第１のグループの各光電変換素子に対応する画素位置に生成されたＲ信号、Ｇ信号、及びＢ信号を、下記式（１）に示すように、所定の係数（α、β、γ）で重み付け加算して、該画素位置に対応する輝度信号Ｙｒｇｂを生成する。
輝度信号Ｙｒｇｂ＝α×Ｒ信号＋β×Ｇ信号＋γ×Ｂ信号・・・（１）
【００３４】
この係数α、β、γは、第１のグループのみから色信号を出力させて、該色信号に基づいて画像データを生成する場合に最適な値が用いられる。第１のグループのみから色信号を出力させて、該色信号に基づいて画像データを生成する場合というのは、ベイヤー配列の公知の単板式撮像素子から得られる信号に基づいて画像データを生成する場合と同じである。つまり、この最適な値とは、ベイヤー配列の公知の単板式撮像素子から得られる信号に基づいて画像データを生成する際にＲ信号、Ｇ信号、及びＢ信号から輝度信号を生成する際に使用する一般的な係数（α＝０．３、β＝０．５９、γ＝０．１１）のことである。
【００３５】
輝度信号生成部１３での輝度信号生成処理により、メモリ上には、図１に示した各光電変換素子に対応する画素位置に図３に示すようなデータが記憶された状態となる。図３に示すように、光電変換素子１，２，３の各々に対応する画素位置には輝度信号生成部１３で生成された輝度信号Ｙｒｇｂが配置され、光電変換素子４に対応する画素位置には該光電変換素子４から得られた信号そのものである輝度信号Ｙｗが配置された状態となっている。
【００３６】
フィルタ処理部１５は、図３に示した各画素位置にある輝度信号に対し、該輝度信号に乗じる係数と該輝度信号に近接する該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う。このようなフィルタ処理を行うためのフィルタ係数としては例えば図４に示したようなものを用いることができる。
【００３７】
例えば、図３の輝度信号Ｙｗをフィルタ処理対象とした場合は、図４に示すフィルタ係数により、下記式（２）のようなフィルタ演算を行って、輝度信号Ｙｗ’を生成する。この輝度信号Ｙｗ’は、光電変換素子４に対応する画素データを構成するデータの１つとなる。
Ｙｗ’＝（４×Ｙｗ＋１×Ｙｒｇｂ＋１×Ｙｒｇｂ＋１×Ｙｒｇｂ＋１×Ｙｒｇｂ）／（４＋１＋１＋１＋１）＝０．５Ｙｗ＋０．５Ｙｒｇｂ  ・・・（２）
【００３８】
同様に、図３の輝度信号Ｙｒｇｂをフィルタ処理対象とした場合は、図４に示すフィルタ係数により、下記式（３）のようなフィルタ演算を行って、輝度信号Ｙｒｇｂ’を生成する。この輝度信号Ｙｒｇｂ’は、光電変換素子１，２，３の各々に対応する画素データを構成するデータの１つとなる。
Ｙｒｇｂ’＝（４×Ｙｒｇｂ＋１×Ｙｗ＋１×Ｙｗ＋１×Ｙｗ＋１×Ｙｗ）／（４＋１＋１＋１＋１）＝０．５Ｙｒｇｂ＋０．５Ｙｗ  ・・・（３）
【００３９】
式（２）、（３）から分かるように、このようなフィルタ処理を行うことで、図１に示す各光電変換素子に対応する画素データを構成する輝度信号を、輝度信号生成部１３によって生成した輝度信号Ｙｒｇｂと光電変換素子４から得られた輝度信号Ｙｗとを１：１の割合で混合したレベルにすることができる。このことを説明したのが図５である。
【００４０】
図５に示すように、フィルタ処理を行う前の状態では、光電変換素子４に対応する輝度信号Ｙｗと光電変換素子１，２，３の各々に対応する輝度信号Ｙｒｇｂとのレベルには差が生じている。フィルタ処理後は、図中の一点鎖線で示したように、各光電変換素子に対応する輝度信号が平均化されるため、光電変換素子４に対応する画素位置と光電変換素子１〜３に対応する画素位置とで輝度レベル差がなくなる。このため、輝度ノイズを低減することができる。
【００４１】
色差信号生成部１４は、光電変換素子１〜３の各々に対応する画素位置に生成されたＲ信号、Ｇ信号、Ｂ信号から色差信号Ｃｒｇｂを生成し、光電変換素子４に対応する画素位置に生成されたＲ信号、Ｇ信号、Ｂ信号から色差信号Ｃｗを生成する。これにより、光電変換素子４に対応する画素位置には、輝度信号Ｙｗ’及び色差信号Ｃｗからなる画素データが存在し、光電変換素子１〜３の各々に対応する画素位置には、輝度信号Ｙｒｇｂ’及び色差信号Ｃｒｇｂからなる画素データが存在することになる。
【００４２】
ハニカム→正方変換部１６は、図１の各光電変換素子に対応する画素位置にある画素データから、各光電変換素子同士の間の領域に画素データを補間する処理を行って、ハニカム状の画素データからなる画像データを、正方格子状の画素データからなる画像データに変換して、解像度向上を図るものである。ここで変換された画像データは、圧縮されて記録メディアに記録されたり、ＲＧＢ信号に変換されて表示装置に表示されたりする。
【００４３】
また、ハニカム→正方変換をフィルタ処理により構成することで、輝度ノイズ低減フィルタとすることも可能である。例えばハニカム状の画素データの隙間に画素データの補間を行って正方格子状の画素データを生成する場合、信号が存在する実画素位置では図４に示すフィルタ処理を行って画素データを生成し、信号が存在していない虚画素位置では、隣接する上下左右の信号を加算平均して画素データを生成することで、実画素位置の画素データ及び虚画素位置の画素データのそれぞれを構成する輝度信号を、輝度信号Ｙｗと輝度信号Ｙｒｇｂとを１：１の割合で混合したレベルにすることが可能となる。これにより、フィルタ回路の削減によるメモリ等のコスト削減効果が期待できる。
【００４４】
以上のように、本実施形態の撮像装置によれば、色成分を検出する光電変換素子１，２，３から得られた色信号から生成する輝度信号Ｙｒｇｂと、輝度成分を検出する光電変換素子４から得られた輝度信号Ｙｗとをそのまま用いて画像データを生成するのではなく、これらを平均化した輝度信号Ｙｗ’及び輝度信号Ｙｒｇｂ’を用いて画像データを生成することができる。このため、光電変換素子１，２，３と光電変換素子４との分光特性の差に起因する輝度ノイズを低減することができる。このような信号処理を採用することで、第１のグループのみから信号を読み出して画像データを生成するときよりも解像度を増大させることができ、且つ、画質も向上させることができる。
【００４５】
尚、以上の説明では、第１のグループに含まれる多数の光電変換素子が、ＲＧＢの３つの異なる色成分を検出する光電変換素子からなるものとしたが、これらの色成分はＲＧＢの原色系に限らず、補色系の色やその他の色であっても良い。又、色成分の数についても、３つに限らず、４つ以上であっても良い。
【００４６】
（第二実施形態）
第一実施形態の撮像装置では、フィルタ処理を行うことにより、輝度レベル差を無くすことが可能である。一方で、輝度の再現性という観点では、フィルタ処理によって得られた輝度信号のレベルが、上記最適な係数で求めた輝度信号Ｙｒｇｂのレベルにできるだけ近いことが好ましい。
【００４７】
これは、輝度信号Ｙｗが撮像素子１０の全光電変換素子のうちの半分を占める光電変換素子４から得られたものであるため、輝度信号Ｙｗの周波数特性（解像感）は輝度信号Ｙｒｇｂよりも良好となるが、輝度再現性は輝度信号Ｙｒｇｂよりも落ちるからである。上記フィルタ処理を行っただけでは、図５に示すように、このフィルタ処理によって得られた輝度信号Ｙｗ’と輝度信号Ｙｒｇｂとの差Ｙｅｒｒが依然として残ってしまう。そこで、この差Ｙｅｒｒを可能な限り小さくすることで、輝度再現性を向上させることが可能となる。
【００４８】
本実施形態の撮像装置では、図２に示した撮像装置の輝度信号生成部１３が輝度信号を生成する際に用いる係数（α、β、γ）を、上記差Ｙｅｒｒが最小となるように最小二乗法等によって予め求めておき、図２に示した撮像装置の輝度信号生成部１３が、この係数を用いて輝度信号Ｙｒｇｂを生成することで、輝度再現性の向上を実現している。例えば、輝度信号生成部１３で生成する輝度信号Ｙｒｇｂのレベルを図５中の破線で示す位置まで低くしておくことで、フィルタ処理後の輝度信号Ｙｗ’を、上記最適な係数で求められた輝度信号Ｙｒｇｂのレベルとほぼ同一にすることができ、この結果、輝度再現性を向上させることができる。上記差Ｙｅｒｒが最小となるような係数（α、β、γ）は、例えば、製品出荷前に、所定の画像を撮影して得られる信号から求めておくことが可能である。
【００４９】
又は、図２に示した撮像装置において、上記係数（α、β、γ）は第一実施形態で説明したように最適な値のままとし、ＡＦＥ１１でのレベル調整時の各信号に乗じるゲインを、上記差Ｙｅｒｒが最小となるような値に変更しておくことでも、フィルタ処理後の輝度信号Ｙｗ’を、上記最適な係数で求められた輝度信号Ｙｒｇｂのレベルに近づけることができ、この結果、輝度再現性を向上させることができる。上記差Ｙｅｒｒが最小となるようなゲインは、例えば、製品出荷前に、所定の画像を撮影して得られる信号から求めておくことが可能である。
【００５０】
尚、図２には図示していないが、本実施形態の撮像装置には、輝度信号生成部１３の前段に、Ｒ信号、Ｇ信号、及びＢ信号の各々にホワイトバランスゲインを乗じてホワイトバランスを補正するホワイトバランス補正部が設けられている。このホワイトバランスゲインは、色信号毎に異なり、又、被写体光源に応じて変化するものである。このため、ホワイトバランス補正部には、被写体光源毎に、異なるホワイトバランスゲインが記憶されている。
【００５１】
差Ｙｅｒｒを最小にするために、係数（α、β、γ）を変更する場合を例にすると、ホワイトバランスゲインが変更されれば、上記差Ｙｅｒｒも当然変化することになり、上記差Ｙｅｒｒが最小となるような係数（α、β、γ）も当然変化する。このため、撮像装置内には、上記差Ｙｅｒｒが最小となるような係数（α、β、γ）を被写体光源毎に記憶しておき、輝度信号生成部１３が、設定された被写体光源に応じた係数を読み出して、輝度信号Ｙｒｇｂの生成を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。
【００５２】
又、差Ｙｅｒｒを最小にするために、ＡＦＥ１１でのゲインを変更する場合を例にすると、ホワイトバランスゲインが変更されれば、上記差Ｙｅｒｒも当然変化することになり、上記差Ｙｅｒｒが最小となるようなゲインも当然変化する。このため、撮像装置内には、上記差Ｙｅｒｒが最小となるようなゲインを被写体光源毎に記憶しておき、輝度信号生成部１３が、設定された被写体光源に応じたゲインを読み出して、輝度信号Ｙｒｇｂの生成を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。
【００５３】
（第三実施形態）
第二実施形態では、輝度信号生成部１３で生成される輝度信号Ｙｒｇｂのレベルを上記係数又はゲインを変えて調整することで、差Ｙｅｒｒを最小にすることを可能にしているが、本実施形態の撮像装置では、上記係数及びゲインは固定とし、輝度信号Ｙｗのレベルを調整することで、差Ｙｅｒｒを最小にするようにしている。
【００５４】
図６は、本発明の第三実施形態である撮像装置の概略構成を示すブロック図である。図６において図２と同様の構成には同一符号を付してある。図６に示す撮像装置は、図２に示す撮像装置にＹｗ調整部１７を追加し、フィルタ処理部１５をフィルタ処理部１５’に変更したものである。
【００５５】
フィルタ処理部１５’は、フィルタ処理部１５とほぼ同様の機能を有しており、フィルタ処理部１５の機能と異なる点は、フィルタ処理対象となる輝度信号Ｙｗが、Ｙｗ調整部１７でレベル調整後の輝度信号Ｙｗであることだけである。
【００５６】
Ｙｗ調整部１７は、上記差Ｙｅｒｒが最小となるように、ＡＦＥ１１から出力された輝度信号Ｙｗのレベルを下記式（４）による演算を行って調整するものである。
調整後の輝度信号Ｙｗ＝調整前の輝度信号Ｙｗ＋ｘＲ信号＋ｙＧ信号＋ｚＢ信号  ・・・（４）
【００５７】
式（４）において、Ｒ信号、Ｇ信号、及びＢ信号は、同時化処理部１２によって調整対象となる輝度信号Ｙｗに対応する画素位置に補間生成された信号である。又、ｘ、ｙ、ｚは重み付け係数である。
【００５８】
上記重み付け係数を、所定の画像を撮影したときに得られる信号から、レベル調整後の輝度信号Ｙｗのフィルタ処理後の輝度信号Ｙｗ’と輝度信号Ｙｒｇｂとの差が最小となるように予め求めおき、この係数を式（４）に代入して輝度信号Ｙｗの調整を行う。Ｙｒｇｂを構成するＲ，Ｇ，Ｂ信号によってＹｗを補正することで、Ｙｒｇｂを構成するＲ，Ｇ，Ｂ信号によってＹｒｇｂを補正することと同等の効果が期待できる。
【００５９】
このように、輝度信号Ｙｗのレベルを事前に調整しておくことでも、輝度再現性を向上させることができる。
【００６０】
本実施形態の撮像装置においても同様に、ホワイトバランス補正部が設けられている。つまり、ホワイトバランスゲインが変更されれば、上記差Ｙｅｒｒも当然変化することになり、上記差Ｙｅｒｒが最小となるような係数（ｘ、ｙ、ｚ）も当然変化する。このため、撮像装置内には、上記差Ｙｅｒｒが最小となるような係数（ｘ、ｙ、ｚ）を被写体光源毎に記憶しておき、Ｙｗ調整部１７が、設定された被写体光源に応じた係数を読み出して、輝度信号Ｙｗの調整を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。
【００６１】
（第四実施形態）
第一〜第三実施形態では、フィルタ処理を行うことを前提にしているが、このフィルタ処理を省略しても、輝度信号Ｙｒｇｂと輝度信号Ｙｗのレベル差を少なくして、輝度ノイズ及び輝度再現性を向上させることが可能である。この場合の構成を以下で説明する。
【００６２】
図７は、本発明の第四実施形態である撮像装置の概略構成を示すブロック図である。図７において図６と同様の構成には同一符号を付してある。図７に示す撮像装置は、図６に示す撮像装置のＹｗ調整部１７をＹｗ調整部１８に変更し、フィルタ処理部１５’を削除したものである。
【００６３】
Ｙｗ調整部１８は、ＡＦＥ１１から出力された輝度信号Ｙｗと輝度信号生成部１３から出力された該輝度信号Ｙｗに近接する輝度信号Ｙｒｇｂとの差（差Ｓとする）が最小となるように、ＡＦＥ１１から出力された輝度信号Ｙｗのレベルを下記式（５）による演算を行って調整するものである。
調整後の輝度信号Ｙｗ＝調整前の輝度信号Ｙｗ＋ｘＲ信号＋ｙＧ信号＋ｚＢ信号  ・・・（５）
【００６４】
式（５）において、Ｒ信号、Ｇ信号、及びＢ信号は、同時化処理部１２によって調整対象となる輝度信号Ｙｗに対応する画素位置に補間生成された信号である。又、ｘ、ｙ、ｚは重み付け係数である。
【００６５】
上記重み付け係数を、所定の画像を撮影したときに得られる信号から、上記差Ｓが最小となるように予め求めおき、この係数を式（５）に代入して輝度信号Ｙｗの調整を行う。
【００６６】
色差信号生成部１４は、輝度信号ＹｒｇｂとＲ信号、Ｇ信号、Ｂ信号とから色差信号Ｃｒｇｂを生成し、調整後の輝度信号ＹｗとＲ信号、Ｇ信号、Ｂ信号とから色差信号Ｃｗを生成して出力する。尚、色差信号Ｃｗについては、色差信号Ｃｒｇｂを用いた信号補間処理により生成しても良い。
【００６７】
このように、フィルタ処理を行わずに、輝度信号Ｙｗのレベルを事前に調整しておくだけでも、輝度ノイズの低減及び輝度再現性の向上を実現することができる。また、本実施形態の撮像装置によれば、フィルタ処理による解像低下を防ぐことができるという利点がある。
【００６８】
本実施形態の撮像装置においても同様に、ホワイトバランス補正部が設けられている。つまり、ホワイトバランスゲインが変更されれば、上記差Ｓも当然変化することになり、上記差Ｓが最小となるような係数（ｘ、ｙ、ｚ）も当然変化する。このため、撮像装置内には、上記差Ｓが最小となるような係数（ｘ、ｙ、ｚ）を被写体光源毎に記憶しておき、Ｙｗ調整部１８が、設定された被写体光源に応じた係数を読み出して、輝度信号Ｙｗの調整を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。
【図面の簡単な説明】
【００６９】
【図１】本発明の第一実施形態である撮像装置に搭載される撮像素子の概略平面模式図
【図２】本発明の第一実施形態である撮像装置の概略構成を示すブロック図
【図３】生成された輝度信号の位置関係を示す図
【図４】フィルタ係数の一例を示す図
【図５】フィルタ処理の効果を説明するための図
【図６】本発明の第三実施形態である撮像装置の概略構成を示すブロック図
【図７】本発明の第四実施形態である撮像装置の概略構成を示すブロック図
【符号の説明】
【００７０】
１〜３  色検出用光電変換素子
４      輝度検出用光電変換素子
１３    輝度信号生成部
１５    フィルタ処理部
【図１】
0005087474.tif 000002
【図２】
0005087474.tif 000003
【図３】
0005087474.tif 000004
【図４】
0005087474.tif 000005
【図５】
0005087474.tif 000006
【図６】
0005087474.tif 000007
【図７】
0005087474.tif 000008