(57)【要約】【課題】センサ部から出力するＲ信号、Ｇ信号、Ｂ信号のエッジ部分の色ずれや色ノイズの抑制を可能とし、さらに、エッジ部分の解像度感の向上や偽色対策を可能とする。【解決手段】光信号を電子に変換する光電変換素子の前面に光の波長を分離する波長分離手段を配置し、画素が二次元に配置されたセンサ部で光信号を少なくともＲ、Ｇ、Ｂの成分に分離して生成した色信号を処理する撮像信号処理装置において、センサ部１１１のある位置の１つの画素とその周辺の複数の画素を含む所定の画素配列内において中心画素の色信号と複数の周辺画素の色信号を加算して第１の加算信号Ｓを生成する。加算前の信号からＳ輪郭信号を生成し、これを第１の加算信号に加算して第２の加算信号Ｓａを生成する。所定の画素配列内の各画素から出力する色信号のそれぞれの平均値Ｒave、Ｇave、Ｂaveと第２の加算信号の平均値Ｓaveとの比率係数をそれぞれ算出する。この比率係数と第２の加算信号とを用いて新たなＲ、Ｇ、Ｂを生成する。【選択図】      図１
2008289090.tif 000002
【特許請求の範囲】
【請求項１】
光信号を電子に変換する光電変換素子の前面に光の波長を分離する波長分離手段を配置し、画素が二次元に配置されたセンサ部で前記光信号を少なくともＲ（赤）、Ｇ（緑）、Ｂ（青）の成分に分離して生成した少なくとも３つのＲ信号、Ｇ信号、Ｂ信号を含む色信号を処理する撮像信号処理装置であって、
前記センサ部におけるある位置の１つの中心画素とその周辺の複数の周辺画素を含む所定の画素配列内において前記中心画素の色信号と前記複数の周辺画素の色信号を所定の重み付けにしたがって加算して第１の加算信号を生成する第１の加算手段と、
前記第１の加算手段に入力する加算前の信号から所定の輪郭信号を生成する輪郭信号生成手段と、
前記輪郭信号生成手段により生成された輪郭信号を前記第１の加算信号に加算して第２の加算信号を生成する第２の加算手段と、
前記所定の画素配列内における各画素から出力する色信号のそれぞれの平均値と前記第２の加算信号の平均値との比率係数をそれぞれ算出する比率係数算出手段と、
前記比率係数算出手段により算出された比率係数と前記第２の加算信号とを用いて新たなＲ信号、Ｇ信号、Ｂ信号を生成するＲＧＢ信号生成手段と
を具備することを特徴とする撮像信号処理装置。
【請求項２】
前記第１の加算信号から中域周波数の信号を抽出し、元の第１の加算信号に加減算する振幅強調手段をさらに具備することを特徴とする請求項１記載の撮像信号処理装置。
【請求項３】
前記比率係数算出手段は、前記センサ部から出力する各色の信号の大，中，小レベルに応じた比率係数を算出する手段をさらに具備することを特徴とする請求項１または２記載の撮像信号処理装置。
【請求項４】
前記ＲＧＢ信号生成手段は、前記センサ部から出力する信号のエッジ部を検出し、前記信号の平坦領域では前記信号の中レベルに対応して前記比率係数算出部手段により算出した比率係数を用い、信号のエッジ領域では前記信号の大レベルもしくは小レベルに対応して前記比率係数算出手段により算出した比率係数を用いるように選択する手段をさらに具備することを特徴とする請求項３記載の撮像信号処理装置。
【請求項５】
前記輪郭信号生成手段は、前記加算前の信号から限界解像度周波数に対する第１の輪郭信号および前記限界解像度周波数の１／２の周波数に対する第２の輪郭信号を生成し、
前記第２の加算手段は、前記第１の輪郭信号および第２の輪郭信号を前記第１の加算信号に加算することを特徴とする請求項１乃至４のいずれか１つに記載の撮像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像信号処理装置に係り、特にＲＧＢの色比率相関によりＲＧＢ信号を生成する信号処理手段に関するものであり、例えばＣＣＤ（charge coupled device）イメージセンサやＣＭＯＳ型イメージセンサなどの固体撮像装置、イメージセンサ付き携帯電話、デジタルカメラ、ビデオカメラなどに使用される。
【背景技術】
【０００２】
イメージセンサは、近年、画素の微細化が進み、２μｍ代が実用化され、さらには、１．７５μｍ画素や１．４μｍ画素の開発が進められている。２μｍ以下の微細画素では、入射光量が大幅に減少するので、Ｓ／Ｎが劣化する。さらに、従来から、カラーカメラでは、色偽信号や色ノイズにより画質が劣化するという問題がある。色偽信号の抑制やノイズ低減に関しては様々な方式が提案されている（例えば、特許文献１，２，３，４，５）。しかし、これらの抜本的な対策は提案されていない。
【０００３】
また、例えば単板カラーカメラでは、被写体像のエッジ部分に偽色が付くＲＧＢ色ずれや、各ＲＧＢのランダムノイズによりドット状の色ノイズの発生により画質劣化が発生する。
【０００４】
この色偽信号は、２つの発生要因がある。１つは、センサの限界解像度近辺で、画素ピッチと被写体の高解像度パターンとで画素ピッチと被写体のパターンとの不整合によりビートが発生し、取り込んだ信号の周波数が低周波へ折り返すことで発生する。もう１つは、光学レンズへ入射するＲＧＢ光の波長の違いからＲＧＢ光の屈折率が異なり、周辺エリアでＲＧＢの像がずれる倍率色収差が発生する。
【０００５】
倍率色収差は、図１８に示すように、特に画素エリアの周辺で大きくなる。また、微細画素に対応させるために、図１９に示すようにレンズのＦ値を小さくし、空間周波数を高くするほど、伝達関数ＭＴＦ(Modulated Transfer Function)の低下の違いにより画面の中心でも軸上色収差が大きくなる。このため、微細画素では画質の劣化が著しい。
【特許文献１】特開平４−２３５４７２号公報
【特許文献２】特開２００２−１０１０８号公報
【特許文献３】特開２００５−３０３７３１号公報
【特許文献４】特開２００１−２４５３０７号公報
【特許文献５】特開平５−１６８０２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は前記した従来の問題点を解決すべくなされたもので、センサ部から出力するＲ信号、Ｇ信号、Ｂ信号のエッジ部分の色ずれや色ノイズの抑制を可能とし、さらに、エッジ部分の解像度感の向上やエッジ部分の偽色対策を可能とし、解像度感を改善した高画質の画像信号を出力し得る撮像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像信号処理装置は、光信号を電子に変換する光電変換素子の前面に光の波長を分離する波長分離手段を配置し、画素が二次元に配置されたセンサ部で前記光信号を少なくともＲ（赤）、Ｇ（緑）、Ｂ（青）の成分に分離して生成した少なくとも３つのＲ信号、Ｇ信号、Ｂ信号を含む色信号を処理する撮像信号処理装置において、前記センサ部におけるある位置の１つの中心画素とその周辺の複数の周辺画素を含む所定の画素配列内において前記中心画素の色信号と前記複数の周辺画素の色信号を所定の重み付けにしたがって加算して第１の加算信号を生成する第１の加算手段と、前記第１の加算手段に入力する加算前の信号から所定の輪郭信号を生成する輪郭信号生成手段と、前記輪郭信号生成手段により生成された輪郭信号を前記第１の加算信号に加算して第２の加算信号を生成する第２の加算手段と、前記所定の画素配列内における各画素から出力する色信号のそれぞれの平均値と前記第２の加算信号の平均値との比率係数をそれぞれ算出する比率係数算出手段と、前記比率係数算出手段により算出された比率係数と前記第２の加算信号とを用いて新たなＲ信号、Ｇ信号、Ｂ信号を生成するＲＧＢ信号生成手段とを具備することを特徴とする。
【発明の効果】
【０００８】
本発明の撮像信号処理装置によれば、センサ部から出力するＲ信号、Ｇ信号、Ｂ信号のエッジ部分の色ずれや色ノイズの抑制を可能とし、さらに、エッジ部分の解像度感の向上やエッジ部分の偽色対策を可能とし、解像度感を改善した高画質の画像信号を出力することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の撮像信号処理装置の実施形態として、ＣＭＯＳイメージセンサに適用した場合を例にとって説明する。説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。
【００１０】
＜第１の実施形態＞
図１は、第１の実施形態に係るＣＭＯＳイメージセンサの概略構成をレンズとともに示すブロック図である。このＣＭＯＳイメージセンサは、センサ部１１、ラインメモリ１２、色相関ＲＧＢ生成部１３、信号処理回路１４、システムタイミング発生回路（ＳＧ）１５、コマンドデコーダ１６、およびシリアルインタフェース（シリアルＩ／Ｆ）１７を備えている。１８は、集光した光信号をセンサ部１１に入力するレンズである。
【００１１】
センサ部１１には、センサ部１１１およびカラム型アナログデジタルコンバータ（ＡＤＣ）１１２が配置されている。センサ部１１１は、画素が半導体基板上に行および列の二次元的に配置されたフォトダイオードアレイを有する。各画素は、光電変換手段（例えばフォトダイオード）と色フィルタから構成され、フォトダイオードの上部にはＲ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタがそれぞれ配置される。色フィルタ配列は、ＲＧＢ原色のベイヤー配列を想定している。
【００１２】
センサ部１１は、入力した被写体の光信号をカラーフィルタでＲＧＢ成分の光信号に分離し、フォトダイオードアレイで光電変換により信号電荷を生成する。この信号電荷は、カラム型ＡＤＣ１１２でデジタル的な信号（Ｒ信号、Ｇ信号、Ｂ信号）に変換され、出力される。センサ部１１から出力した信号は、ラインメモリ１２に入力され、垂直５ライン分のメモリ１〜メモリ５に記憶される。このメモリ１〜メモリ５に記憶された信号は、色相関ＲＧＢ生成部１３へ並列に入力される。
【００１３】
色相関ＲＧＢ生成部１３は、第１の加算部１３１、比率係数算出部１３２、ＲＧＢ生成部１３３、エッジ処理部１３４、第２の加算部１３５、バンドパスフィルタ（ＢＰＦ）１３６、振幅強調部１３７、第３の加算部１３８、Ｇ補間・輪郭処理部１３０、輪郭信号抽出部１３９などを有する。
【００１４】
第１の加算部１３１は、ラインメモリ１２から並列に入力された信号（Ｒ信号、Ｇ信号、Ｂ信号）に基づいて第１の加算信号Ｓを生成する。そして、比率係数算出部１３２は、加算画素の周辺画素の色情報に基づいて、Ｒ信号、Ｇ信号、Ｂ信号の各々と第１の加算信号Ｓとの平均比率係数を算出する。ＲＧＢ生成部１３３は、平均比率係数と第１の加算信号Ｓとから、画素配列の同じ位置の信号として新たなＲｓ、Ｇｓ、Ｂｓ信号を生成する。このＲｓ、Ｇｓ、Ｂｓ信号をベイヤー配列で生成してもよい。このような処理は従来の色分離補間回路における処理の代わりとなり、エッジ部分の色ずれや色ノイズを抑圧する。
【００１５】
ＲＧＢ生成部１３３で処理されたＲｓ、Ｇｓ、Ｂｓ信号は、後段の信号処理回路１４に入力され、ホワイトバランス、輪郭強調、ガンマ（γ）補正、およびＲＧＢマトリックス回路などにより処理され、ＹＵＶ信号形式やＲＧＢ信号形式のデジタル信号ＤＯＵＴ０〜ＤＯＵＴ７として出力される。また、前述したセンサ部１１、ラインメモリ１２、色相関ＲＧＢ生成部１３および信号処理回路１４の動作は、システムタイミング発生回路（ＳＧ）１５から出力されるクロック信号に基づいて行われる。この際、各回路の処理のパラメータなどをコマンドにより制御することもできる。例えば、外部から入力されるデータＤＡＴＡがシリアルインタフェース（シリアルＩ／Ｆ）１７を介してコマンドデコーダ１６に入力され、デコードされた信号が各回路に入力されることにより、外部入力データＤＡＴＡにより処理のパラメータなどを制御することもできる。
【００１６】
ところで、第１の加算部１３１において、ラインメモリ１２から並列に入力された信号の４画素分以上（例えば３×３画素配列の９画素分）を加算して生成した第１の加算信号Ｓは、高周波成分を含んでいないので、エッジ信号がなだらかになる。そこで、第１の加算部１３１による加算処理と並行して、まず、Ｇ補間・輪郭処理部１３０において、加算前の信号に対してＧ補間処理および輪郭処理を実施する。そして、上記したようにＧ補間処理を実施した信号から高周波成分のＳ輪郭信号（高解像度信号）をＳ輪郭信号抽出部１３９で抽出し、このＳ輪郭信号を第２の加算部１３５で第１の加算信号Ｓに加算して第２の加算信号Ｓａを生成する。
【００１７】
なお、第１の加算信号Ｓの解像度感を向上するために、第１の加算信号Ｓからバンドパスフィルタ（ＢＰＦ）１３６により中間の周波数を抜き出して振幅強調部１３７で振幅強調した後に第２の加算部１３５で第１の加算信号Ｓに加算することが望ましい。
【００１８】
さらに、平均比率係数の算出に際して、信号の切り替わりのエッジでの比率係数の誤差により色再現性が劣化するおそれがある。この劣化の対策として、ラインメモリ１２から入力された信号の比率係数を大（Hi）レベル，中（Mid）レベル，小（Lo）レベルに分離して算出し、比率係数のHiレベルもしくはLoレベルをエッジ処理部１３４で選択して新たなＲ信号、Ｇ信号、Ｂ信号を生成している。この比率係数の選択は、Ｓ輪郭信号に基づいて切り換えている。
【００１９】
図２は、図１中の色相関ＲＧＢ生成部１３における基本的な処理方法の一例を示す。５×５画素配列の中心画素（Ｔ画素）を中心に３×３画素配列のフィルタ演算を実施する。この際、３×３画素配列のＴ画素の信号を４倍し、Ｔ画素に隣接する上下左右の画素の信号を２倍し、３×３画素配列のコーナー部の画素の信号を１倍とし、これらを合計した信号レベルを１／１６にする。こうして得られた信号をＴ画素の加算信号Ｓ０とする。Ｔ画素の周辺８画素も上記加算と同様に加算処理を行い、加算信号Ｓ１〜Ｓ８を生成する。その後、加算信号Ｓ０にＢＰＦ１３６からの信号とＳ輪郭信号をそれぞれ加算してＳａ信号を生成する。
【００２０】
次に、比率係数算出部１３２において、加算信号Ｓ１〜Ｓ８の平均値Ｓaveを生成し、ＲＧＢベイヤー配列からなる５×５画素配列の各信号中の同じ色の画素信号の平均値をそれぞれＲave、Ｇave、Ｂaveとして算出する。そして、被写体画像のエッジ部分の信号（エッジ信号）をエッジ処理部１３４により検出し、エッジ処理を実施する。エッジ処理部１３４では、５×５画素配列の同色の全信号の平均値を比率係数として用いるのではなく、Ｒ信号、Ｇ信号、Ｂ信号の比率係数を大、中、小レベルに分離して算出し、信号のエッジ領域では信号の大レベルもしくは小レベルに対応して算出した比率係数を用い、信号の平坦領域では中レベルに対応して算出した比率係数を用いる。
【００２１】
そして、ＲＧＢ生成部１３３により、Ｓａに対応した３つの比率係数Ｋａ（＝“Ｒave／Ｓave”“Ｇave／Ｓave”“Ｂave／Ｓave”）と加算信号Ｓａを用いて、新たな信号Ｒｓ、Ｇｓ、Ｂｓを次式より生成する。
【００２２】
Ｒｓ＝Ｓａ＊（Ｒave／Ｓave）  …  …(1)
Ｇｓ＝Ｓａ＊（Ｇave／Ｓave）  …  …(2)
Ｂｓ＝Ｓａ＊（Ｂave／Ｓave）  …  …(3)
上記した第１の実施形態によれば、各画素の信号に単独画素に起因するランダムノイズが存在しても、３×３画素配列に対して第１の加算信号Ｓを生成することにより、第１の加算信号Ｓはランダムノイズが低減されるので、Ｓ／Ｎを向上させることができる。また、各画素と同位置の画素の信号として、第１の加算信号ＳからＲｓ，Ｇｓ，Ｂｓ信号を生成することにより、Ｒｓ，Ｇｓ，Ｂｓ信号のランダムノイズ成分が同じとなる。したがって、デモザイキングによる偽色抑圧回路が不要となり、エッジに起因する偽色を抑制できる。すなわち、輝度ノイズしか発生しないので、単色の色ノイズを抑圧することができる。
【００２３】
また、１つの加算信号ＳからＲｓ，Ｇｓ，Ｂｓ信号を生成しているので、色再現性を改善するためのカラーマトリックス演算により信号を減算処理して新たにＲＧＢ信号を生成しても、各信号に含まれるランダムノイズが同位相となり、ノイズは増加しない。
【００２４】
さらに、第１の加算信号Ｓの中域周波数成分を抽出して振幅強調部１３７で振幅強調した信号を第１の加算信号Ｓに加算することにより解像度感を向上させることができる。
【００２５】
図３は、図１中の色相関ＲＧＢ生成部１３において前述したＧ信号の補間処理を行う方法の一例を示す。ここでは、Ｒ，Ｂ画素位置にそれぞれＧ信号を生成する。以下、３×３画素配列の中心位置のR3画素（補間対象）の位置に補間用のＧ信号gmを生成する例を示す。まず、R3画素に隣接する４つのＧ画素(=G1,G2,G4,G5画素)の信号の最大値(Gmax)と最小値(Gmin)を判定し、その差分の信号Gd(=Gmax-Gmin)を求める。この差分信号Gdを所定の判定レベルLevNと比較し、GdがLevNより小さいと判定した場合、Ｇ信号gmとして４つのＧ信号の平均値=(G1+G2+G4+G5)/4を用いる。上記判定レベルLevNはランダムノイズレベルを想定している。差分信号GdがLevNより大きいと判定した場合、さらに、R3画素に縦方向に隣接する２つのG1,G5画素の信号の差分信号の絶対値ABS(G1-G5)をLevNと比較し、ABS(G1-G5)がLevNより小さいと判定した場合は、G1,G5画素の信号の平均値=(G1+G5)/2で補間する。これに対して、R3画素に横方向に隣接する２つのG2,G4画素の信号の差分の絶対値ABS(G2-G4)がLevNより小さいと判定した場合は、G2信号とG4信号の平均値=(G2+G4)/2で補間する。R3画素の縦方向、横方向に相関がない場合には、R3画素の周辺のR1,R2,R4,R5画素の信号とR3画素の信号の差分信号の絶対値ABS(R1-R3)=R13,ABS(R2-R3)=R23,ABS(R4-R3)=R43,ABS(R5-R3)=R53を算出する。この４つの差分信号の絶対値(R13,R23,R43,R53)の結果から、差分信号が最小Rminである画素の位置（最小画素位置）を決定する。そして、Ｇ信号gmとして、最小画素位置と同じ方向の画素の信号を用いる。例えば、R3画素の周辺のR1,R2,R4,R5画素の中でR2画素の信号とR3画素の信号の差分が一番小さい場合には、R2画素とR3画素の中間に位置するG2画素の信号で補間する。このような処理により、高解像度のＧ信号gmを補間することができる。
【００２６】
なお、４つの差分信号の絶対値(R13,R23,R43,R53)が全てLevNより小さい場合は、４つのＧ信号の平均値=(G1+G2+G4+G5)/4で補間することによりＳ／Ｎを改善することができる。このＧ補間処理の方法は、本例以外も適用できる。
【００２７】
図４は、図１中の色相関ＲＧＢ生成部１３においてＧ輪郭信号を生成する方法の一例を示す。図３に示したように補間のために生成したＧ信号を用いて、Ｇ輪郭信号を生成する。例えば３×３画素配列の中心位置のG33画素に対しては、G33画素の信号を４倍し、g23、g32、g34、g43画素の各信号を−１倍して加算した信号G33'をＧ輪郭信号として生成する。このＧ輪郭信号G33'は、均一被写体では発生せず（零）、縦縞、横縞のパターンが発生した場合には発生する。
【００２８】
図５は、図１中の色相関ＲＧＢ生成部１３においてＧ輪郭信号を生成する方法の他の例を示す。例えば３×３画素配列の中心位置のG33画素に対しては、G33画素の信号を８倍し、G22、g23、G24、g32、g34、G42、g43、G44画素の各信号を−１倍して加算した信号G33'をＧ輪郭信号として生成する。このＧ輪郭信号G33'は、均一被写体では発生せず（零）、縦縞、横縞のパターンが発生した場合には発生する。Ｇ輪郭信号の生成方法は、さらに他の方法も適用できる。
【００２９】
図６（ａ）および（ｂ）は、図１中の色相関ＲＧＢ生成部１３において第１の加算信号Ｓの中周波数領域（中域）の信号振幅を拡大（強調）する方法の一例を示す。
【００３０】
図６（ａ）では、第１の加算信号ＳからＢＰＦ処理を用いて中域信号を抜き出す方法を示す。例えば、５×５画素エリアの中心画素の信号S33に、３×３画素エリアの各画素に対応した係数を掛け算し、加算する。そして、上記加算の前後で信号レベルが同じになるように、上記加算後に1/16にし、新たに中心画素の信号S33'とする。
【００３１】
図６（ｂ）は、５×５画素エリア中の３×３画素エリアの各画素に対して上記と同様に処理して信号を生成する方法を示す。このように生成した信号に、図３を参照して前述したと同様の輪郭抽出処理をすることによって中域の信号S33''を抽出する。この信号S33''を、図１中の振幅強調部１３７で振幅を制御して元の第１の加算信号Ｓに加減算する。これにより、中域周波数の振幅が増加し、解像度感が向上する。このように振幅強調を実施しても、本実施形態では、色バランスは平均比率算出で別に実施しているので、色再現性は変化しない。
【００３２】
図７および図８は、図１中の色相関ＲＧＢ生成部１３において被写体のエッジ領域（被写体から得た信号が急激に変化する領域）に対して実施する処理方法の一例を示す。被写体のエッジ領域では、比率係数を単純に３×３画素配列（エリア）の同色全信号の平均値から求めない。まず、Ｒ，Ｇ，Ｂ信号のそれぞれの比率係数の並べ替え（例えば小から大への並べ替え）処理を行う。そして、Hiレベル２画素もしくは３画素のＲ，Ｇ，Ｂの平均値Ｒave、Ｇave、Ｂaveをそれぞれ算出する。同様に、Midレベルの２画素もしくは３画素のＲ，Ｇ，Ｂの平均値Ｒave、Ｇave、Ｂaveを算出する。同様に、Loレベルの２画素もしくは３画素のＲ，Ｇ，Ｂの平均値Ｒave、Ｇave、Ｂaveを算出する。そして、加算信号の平均値Ｓaveは、図７に示すようにそれぞれのHi,Mid,Loレベルの各平均値を加算（Ｓave＝Ｒave+Ｇave+Ｂave）して算出する。なお、上記したエッジ領域に対する処理の対象となる画素数は、２画素、３画素に限定されない。
【００３３】
そして、上記平均値Ｒave、Ｇave、Ｂaveおよびこれらを加算した平均値Ｓaveに基づいて第２の加算信号Ｓａに対応した３つの比率係数Ｋａ（＝Ｒave／Ｓave，Ｇave／Ｓave，Ｂave／Ｓave）を算出する。そして、ＲＧＢ生成部１３３により、ＫａとＳａを用いて新たな信号Ｒｓ（＝Sa＊Rave/Save）、Gs（＝Sa＊Gave/Save），Bs（＝Sa＊Bave/Save）を生成する。この際、Ｓ輪郭信号がHi（プラス）の時には、Hiレベルの比率係数を用いて新たにRs,Gs,Bs信号を生成する。Ｓ輪郭信号がLo（マイナス）の時には、Loレベルの比率係数を用いて新たにRs,Gs,Bs信号を生成する。このようにＳ輪郭信号のHi、Loを算出してRs,Gs,Bs信号を生成処理することにより、色収差によってＲ，Ｇ，Ｂの解像度の位置がずれていてもエッジ領域の偽色信号発生を抑圧することができる。
【００３４】
図９は、図１に示したＣＭＯＳイメージセンサにおける信号処理の流れを示す。ここでは、信号処理の原理を判り易くするために、センサ部から出力されるＲ，Ｇ，Ｂ信号は同位相で出力されているように１ライン分を抜き取った信号波形を示している。この信号を水平方向に1,2,1の重み付けでフィルタ処理を行って加算することにより、Ｓ／Ｎが改善された信号Ｓを得る。しかし、この信号Ｓは、信号の切り換わりエッジ部分が緩やかになってしまうので、限界解像度の領域では変調度が零となり、信号変化が検出できない。そこで、図４もしくは図５を参照して前述したように生成されたＧ輪郭信号をＳ輪郭信号として用いている。Ｓ輪郭信号の信号レベルは、解像度感に対応して調整するようにしてもよい。
【００３５】
図９では、Ｇ信号に水平方向に-1,2,-1の重み付けでフィルタ処理を行い、Ｇ輪郭信号（Ｓ輪郭信号）を生成している。そして、このＳ輪郭信号をＳ信号に加算することで、元のＧ信号と同じ高解像度のSa信号が得られる。この際、Ｓ輪郭信号のレベルを大きくして加算することにより、輪郭強調の効果が得られる。
【００３６】
次に、エッジ領域の比率係数の選択方法の一例を説明する。Ｓ輪郭信号がプラスもしくはマイナスの時はエッジ部分であると判定できる。Ｓ輪郭信号が零の時は、エッジ部分でないと判定できる。この判定に基づいて、図８で算出した比率係数の中から、Ｓ輪郭信号がプラスの時にはHiレベルの平均値(Hi-ave)の比率係数を選択し、Ｓ輪郭信号がマイナスの時にはL0レベルの平均値(L0-ave)の比率係数を選択し、Ｓ輪郭信号が零の時にはMidレベルの平均値(Mid-ave)の比率係数を選択する。Ｓ輪郭信号が所定レベルより小さい時は、信号無し（零）と判定している。なお、Ｓ輪郭信号が所定レベルより大きい時は、輪郭信号有りと判定し、プラスもしくはマイナスの信号を有効にしている。
【００３７】
なお、上記とは別の処理方法として、低域のエッジ領域でエッジ信号を判定した時には、図２で算出した比率係数は隣接の比率係数で補間処理することもできる。
【００３８】
次に、Sa信号と３つの係数KaからRs,Gs,Bs信号を生成する。この結果、解像度情報は、ほぼ元のＧ信号が生成される。さらに、Bs,Rs信号のエッジはGs信号と位相が同じになるので色偽信号は発生しない。また、Rs,Gs,Bs信号のランダムノイズとＲ，Ｇ，Ｂ信号は相関を持っている。すなわち、ランダムノイズでＧ信号レベルが大きくなれば、Ｒ，Ｂ信号とも大きくなり、ランダムノイズでＧ信号レベルが小さくなればＲ，Ｂ信号とも小さくなる。したがって、従来発生していた色ノイズ（ドット状のランダムノイズ）を抑圧することが可能になる。
【００３９】
＜第２の実施形態＞
図１０は、第２の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図である。第２の実施形態は、低照度でのＳ/Ｎ改善を可能としており、前述した第１の実施形態と比べて、ラインメモリ１２ａ、色相関ＲＧＢ生成部１３ａの一部の構成が異なる。
【００４０】
以下、異なる部分を主として説明する。ラインメモリ１２ａは、メモリ１〜メモリ７に垂直７ライン分の信号を記憶する。色相関ＲＧＢ生成部１３ａにおいて、７ラインの信号が並列に入力され、第１の加算部１３１ａで５×５画素分のＲＧＢ信号を加算してＳ信号を生成する。一方、エッジのボケを補正するために、Ｇ補間部２３０でＧ補間処理を行い、Ｇ補間処理されたＧ信号から高周波成分となる輪郭信号として２種類の輪郭信号（限界解像度の周波数の輪郭信号Ｓ１と、限界解像度周波数の１／２の周波数の輪郭信号Ｓ２）をＳ１輪郭信号抽出部２３１およびＳ２輪郭信号抽出部２３２で抽出する。そして、Ｓ１輪郭信号およびＳ２輪郭信号第４の加算部２３９で加算し、加算した輪郭信号（Ｓ１＋Ｓ２）を第２の加算部１３５でＳ信号に加算している。
【００４１】
図１１は、図１０中の色相関ＲＧＢ生成部１３ａにおける基本的な処理方法の一例を示す。７×７画素配列の中心画素（Ｔ画素）を中心に５×５画素配列に対してフィルタ演算を実施する。この際、５×５画素配列のＴ画素の信号を８倍し、周辺画素の信号を４倍、２倍、１倍して加算する。具体的には、Ｔ画素に隣接する３×３画素配列内の上下左右およびコーナー部の８画素の信号を４倍し、５×５画素配列の外周エリアでＴ画素の上下左右およびコーナー部の８画素の信号を１倍し、その他の８画素の信号を２倍とし、これらを合計した信号レベルを１／６４にする。こうして得られた信号を５×５画素配列の加算信号Ｓ０とする。Ｔ画素の周辺８画素も上記加算と同様に加算処理を行い、加算信号Ｓ１〜Ｓ８を生成する。その後、加算信号Ｓ０にＢＰＦ１３６からのＳ信号とＳ輪郭信号（Ｓ１＋Ｓ２）をそれぞれ加算してSa信号を生成する。
【００４２】
次に、比率係数算出部１３２において、ＲＧＢベイヤー配列からなる７×７画素配列の各信号中の同じ色の画素信号の平均値をそれぞれＲave、Ｇave、Ｂaveとして算出する。そして、被写体画像のエッジ部分の信号（エッジ信号）をエッジ処理部１３４により検出し、エッジ処理を実施する。エッジ処理部１３４では、７×７画素配列の同色の全信号の平均値を比率係数として用いるのではなく、図７を参照して前述した処理と同様にＲ信号、Ｇ信号、Ｂ信号の比率係数を大，中，小レベルに分離して算出し、信号のエッジ領域では信号の大レベルもしくは小レベルに対応して算出した比率係数を用い、信号の平坦領域では中レベルに対応して算出した比率係数を用いる。そして、各平均値Rave、Gave、Baveおよびこれらを加算した平均値Saveに基づいて、第２の加算信号Saに対応した３つの比率係数Ka（=Rave/Save,Gave/Save,Bave/Save）を算出する。そして、ＲＧＢ生成部１３３により、KaとSaを用いて新たな信号Rs（＝Sa＊Rave/Save）、Gs（＝Sa＊Gave/Save），Bs（＝Sa＊Bave/Save）を生成する。この際、Ｓ輪郭信号がHi（プラス）の時には、Hiレベルの比率係数を用いて新たにRs,Gs,Bs信号を生成する。Ｓ輪郭信号がLo（マイナス）の時には、Loレベルの比率係数を用いて新たにRs,Gs,Bs信号を生成する。このようにＳ輪郭信号のHi、Loを算出してRs,Gs,Bs信号を生成処理することにより、色収差によってＲ，Ｇ，Ｂの解像度の位置がずれていてもエッジ領域の偽色信号発生を抑圧することができる。
【００４３】
図１２は、図１０中の色相関ＲＧＢ生成部１３ａにおけるＧ輪郭信号生成方法の一例を示す。まず、図３を参照して前述した処理と同様にＧ信号の補間処理を実施する。Ｓ１輪郭信号は、図４もしくは図５を参照して前述した処理と同様に生成する。次に、図３を参照して前述した処理と同様にＧ信号の補間処理信号から重み付け平均化処理した３×３画素の平均値を算出し、３×３画素の新たなＧ′信号を生成する。この３×３画素の信号に対して輪郭抽出フィルタ処理（中心画素は８倍、周辺画素は−１倍した加算）処理を行い、限界解像度周波数の１／２の周波数となるＳ２輪郭信号としてＧ３３″を生成する。この２つのＳ１輪郭信号，Ｓ２輪郭信号を第１の加算信号Ｓに加算する。
【００４４】
上記第２の実施形態によれば、前述した第１の実施形態と同様の効果が得られる。しかも、３×３画素配列より画素数が多い５×５画素配列に対して第１の加算信号Ｓを生成しているので、第１の加算信号Ｓのランダムノイズがさらに低減される。また、Ｇ信号から高周波成分となる輪郭信号として２種類の輪郭信号（限界解像度の周波数の輪郭信号Ｓ１と、前記限界解像度周波数の１／２の周波数の輪郭信号Ｓ２）を抽出して加算し、加算した輪郭信号（Ｓ１＋Ｓ２）をＳ信号に加算している。これにより、エッジのボケ（信号の高域の輪郭ボケ）を改善することができる。
【００４５】
＜第３の実施形態＞
図１３は、第３の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図である。第３の実施形態は、前述した第１の実施形態と比べて、センサ部１１ｂの一部、および色相関ＲＧＢ生成部１３ｂの一部の構成が異なる。
【００４６】
以下、異なる部分を主として説明する。センサ部１１ｂの色フィルタ配列は、２×２配列のＷＲＧＢフィルタを基本とした原色フィルタを想定しており、ＷフィルタはＲＧＢの信号を透過する色フィルタである。これにより、センサ部１１ｂは、レンズ１８で集光した光信号をＷ，Ｒ，Ｇ，Ｂ信号に分離し、二次元のフォトダイオードアレイで信号電荷に変換させ、ＡＤＣ１１２でデジタル信号に変換して出力する。
【００４７】
色相関ＲＧＢ生成部１３ｂでは、輪郭信号を抽出する処理のために、まず、Ｗ信号をＧ信号レベル相当に変換し、高解像度の擬似的なＧ補間処理を実施し、この信号からＳ輪郭信号を生成する。
【００４８】
図１４は、図１３中の色相関ＲＧＢ生成部１３ｂにおける基本的な処理方法の一例を示す。５×５画素配列の中心画素（Ｔ画素）を中心に３×３画素のフィルタ演算を実施する。この際、３×３画素配列のＴ画素の信号を４倍し、Ｔ画素に隣接する上下左右の４画素の信号を２倍し、コーナー部の４画素の信号を１倍し、これらを合計した信号レベルを１／１６にする。こうして得られた信号を３×３画素配列の加算信号（第１の加算信号）Ｓ０とする。Ｔ画素の周辺８画素も上記加算と同様に加算処理を行い、加算信号Ｄ１〜Ｓ８を生成する。その後、加算信号Ｓ０にＢＰＦ１３６からのＳ信号とＳ輪郭信号をそれぞれ加算してＳａ信号を生成する。
【００４９】
次に、３×３画素配列における同色信号のそれぞれの信号レベルに応じてHiレベル、Mid レベル、Loレベルの各平均値をRave,Gave,Baveとして算出する。さらに、各レベル毎に平均値Save=Rave+Gave+Baveを算出する。被写体のエッジ部分では、Ｓ輪郭信号に基づいて、各信号レベルHi,Mid,Loレベルの比率係数Kaを選択する。ここで、比率係数Kaは３つのRave/Save，Gave/Save，Bave/Saveがある。そして、ＲＧＢ生成部１３３により、KaとSaを用いて新たな信号Rs（＝Sa＊Rave/Save）、Gs（＝Sa＊Gave/Save），Bs（＝Sa＊Bave/Save）を生成する。この際、Ｓ輪郭信号がHiレベル（プラス）の時には、Hiレベルの比率係数を用いて新たにRs,Gs,Bs信号を生成する。Ｓ輪郭信号がLoレベル（マイナス）の時には、Loレベルの比率係数を用いて新たにRs,Gs,Bs信号を生成する。
【００５０】
図１５（ａ）〜図１５（ｃ）は、図１３中の色相関ＲＧＢ生成部１３ｂにおいてＷ信号とＧ信号を用いた擬似Ｇ信号発生処理方法の一例を示す。まず、図１５（ａ）に示すように、５×５画素配列における６つのＷ画素の信号から擬似的なＧ信号を生成する。この際、図１５（ｂ）に示すように、６つのＷ画素の信号の平均（W+W+W+W+W+W）/６をWaveとし、同様に、５×５画素配列における６つのＧ画素の信号の平均（G+G+G+G+G+G）/６をGaveとする。そして、Ｗ画素の信号レベルをＧ画素の信号レベルに合わせるための係数Kgw=Gave/Waveを算出し、この係数KgwをＷ信号に掛け算処理することで、擬似的なＧ信号を生成することができる。
【００５１】
そして、エッジ領域では、図１５（ｃ）に示すように、６つのＷ画素の信号および６つのＧ画素の信号を大小順に並べ替え、最大および二番目に大きい２つの画素の信号の平均WHave=（W5+W6）/2およびGHave=（G5+G6）/2から係数KgwH=GHave/WHaveを算出する。同様に、最小および二番目に小さい２つの画素の信号の平均WLave=（W1+W2）/2およびGLave=（G1+G2）/2から係数KgwL=GLave/WLaveを算出する。
【００５２】
そして、Ｇ信号の最大および最小の差分（G6-G1）が所定レベルより大きいと判定した場合にエッジ領域と判定する。次に、Ｇ信号の上位側の２つの信号の差分（G6-G3）と、Ｇ信号の下位側の２つの信号の差分（G4-G1）とを比較し、小さい方の係数KgwHまたはKgwLを選択する。このように選択した係数を用いてＷ画素の信号から擬似的な高解像度のＧ信号を生成することができる。また、上記処理に準じて、Ｇ信号から擬似的なＷ信号を生成することもできる。
【００５３】
図１６は、図１３中の色相関ＲＧＢ生成部１３ｂにおいてＲ，Ｂ画素位置にＧ信号を生成する補間処理方法の一例を示す。この場合、Ｇ信号を高周波成分で補間すると解像度が高くなる。そこで、Ｒ画素の位置にＧ信号を生成する場合には、Ｒ信号を用いて補間画素を選定する。同様に、Ｂ画素の位置にＧ信号を生成する場合には、Ｂ信号を用いて補間画素を選定する。図１６では、Ｒ３画素の位置にＧ信号を生成する場合の例を示しており、Ｗ画素の信号として、図１４を参照して前述したように生成した信号KW2、KW4を記載している。補間するＲ３画素の信号gmとして、Ｒ３画素の信号と周辺のR1,R2,R4,R5の各画素の信号との差分信号の絶対値をそれぞれ算出する。この４つの差分信号の絶対値の結果から、最小画素の位置を決定する。そして、Ｒ３画素の位置に生成するＧ信号ｇｍは、先の最小の画素と同じ方向の画素の信号で補間する。例えば、Ｒ２画素がＲ信号の差分が一番小さい場合には、画素信号KW2の信号を中心画素Ｒ３のＧ信号gmとして補間する。このような処理により、高解像度のＧ信号(gm)を補間することができる。４つの差分信号が全て小さい場合は、４つのＧ画素の信号の平均値で補間することにより、Ｓ／Ｎを改善することができる。また、他のＧ信号の補間処理を用いても良い。
【００５４】
図１７は、図１３中の色相関ＲＧＢ生成部１３ｂにおいてＧ輪郭信号を生成する方法の一例を説明するために示す図である。図１６を参照して前述したように補間のために生成したＧ信号を用いてＧ信号の輪郭信号Ｓ１を生成する。さらに、図５を参照して前述した処理と同様にＧ輪郭信号を生成する。例えば３×３画素配列の中心位置のG33画素に対しては、G33画素の信号を８倍し、KW22、g23、KW24、g32、g34、KW42、g43、KW44画素の各信号を−１倍して加算した信号G33'をＧ輪郭信号として生成する。このＧ輪郭信号G33'は、均一被写体では発生せず（零）、縦縞、横縞のパターンが発生した場合には発生する。このＧ輪郭信号に基づいてＳ輪郭信号を生成する。
【００５５】
上記第３の実施形態によれば、前述した第１の実施形態と同様の効果が得られる。この際、Ｗ画素を用いることにより、Ｓ信号量が増加するので、撮像感度が向上する。
【００５６】
＜その他の実施形態＞
前記各実施形態では、５×５の画素配列と７×７の画素配列を例にとって説明したが、画素数をさらに増加させることで、さらに高いＳ／Ｎ、高画質化を実施できる。
【００５７】
なお、カラーカメラのＳ／Ｎの劣化の要因の１つであるＲＧＢマトリックス回路は、ＲＧＢの色再現性を改善するために、ＲＧＢの行列演算を例えば次の演算式で実施する。
【数１】
2008289090.tif 000003
【００５８】
この処理は、１つの色に対して他の２色を減算している。すなわち、１つの色に他の２色が混色している量を減算することで、１つの色の純度を高めて色再現性を改善している。上記混色の要因には、色フィルタ自身の分光特性や、センサのフォトダイオードまでの光学的なクロストークや、センサのシリコン基板内での信号の拡散要因などがある。従来はRs,Gs,Bs信号のノイズがランダムであるので、上記の減算処理によってノイズ量が増加していた。
【００５９】
これに対して、本発明の実施形態では、Rs,Gs,Bsのランダムノイズが同一成分であるので、上記の減算処理によってランダムノイズを低減する効果がある。例えば、Ｒ信号を生成する時、ランダムノイズによってRs信号が大きくなった時、信号Gs、Bsも大きくなっている。行列演算により、Ｒ信号はRs信号からGs,Bs成分を減算するので、ランダムノイズが大きい分、大きな信号を減算する。よって、Ｒ信号はより大きな信号を減算している。上記とは逆に、ランダムノイズによってRs信号が小さく時、信号Gs、Bsも小さくなる。行列演算により、Ｒ信号はRs信号からGs,Bs成分を減算するが、ランダムノイズが小さい分、小さな信号を減算する。よって、Ｒ信号は信号の低下が小さい。この結果、Ｒ信号はランダムノイズを小さくする効果がある。同様に、Ｇ，Ｂ信号のランダムノイズも小さくなる。
【００６０】
また、本発明の撮像信号処理装置は、色フィルタ配列が異なったＣＭＯＳイメージセンサに適用した場合でも、ＲＧＢ信号を生成した後に、同様の加算信号Ｓの生成とＲＧＢの比率係数算出に基づいて新たなRs,Gs,Bsを生成することにより、前記した効果と同じ効果が得られる。
【００６１】
また、本発明の撮像信号処理装置は、ＣＭＯＳイメージセンサに限定されることなく、その他のＣＣＤ（電荷結合型）センサや積層型センサでも適用できるほか、センサとは別チップで形成される専用のＩＳＰ（イメージシグナルプロセッサ）にも適用できる。
【００６２】
また、本発明は、センサ部で例えば１０ビットＡＤＣの信号を４画素分加算してＳ信号を生成する場合に適用すると、Ｓ信号は、加算処理により実質１２ビットの高精度化が可能になり、実質の飽和信号量が４倍になる。さらに、４画素分の加算処理により、ランダムノイズは約１／２に低減する。このように飽和信号量が４倍、ノイズ低減が１／２になると、ダイナミックレンジ（飽和信号量／ランダムノイズ）を８倍に拡大することが可能になる。さらに、４×４画素配列の１６画素分の加算を行うと、飽和信号量が１６倍、ランダムノイズが１／４に低減し、ダイナミックレンジを６４倍に拡大することが可能になる。したがって、微細画素で飽和信号量が低下したとしても、実質４画素分を加算すれば、飽和信号量も４倍されるので、飽和信号量が実質的に従来の１／４でも、従来と同じＳ／Ｎが得られる。例えば、飽和信号量が10000eleの時には、ショットノイズ（飽和信号量の平方根）は100eleとなり、Ｓ／Ｎ＝４０ｄＢが得られる。飽和信号量が2500eleの時には、ショットノイズは50eleとなり、Ｓ／Ｎ＝３４ｄＢとなる。しかし、本発明を適用すれば４画素加算で、信号量が４倍の10000eleとなり、この時のノイズは２倍にしか増加しないため100eleになる。この結果、Ｓ／Ｎ＝40dBが得られる。実質飽和信号量が１／４になってもＳ／Ｎを維持することができる。
【００６３】
また、本発明の撮像信号処理装置は、レンズ１８の色収差による画質の劣化を回避できるので、レンズ１８のＦ値を小さくすることにより高感度化を実現することができる。また、レンズ１８の高さを低くすることで、カメラモジュールの高さを低くすることができる。この結果、薄型の携帯電話機に対応した小型カメラモジュールを容易に実現することができる。
【００６４】
また、上記実施形態では、ＲＧＢ形式もしくはＷＲＧＢ形式の単板カラーカメラを例にとって説明したが、プリズムを使って３原色のＲＧＢ信号を得る３板カラーカメラでも色収差が発生するので、上記各実施形態と同様の原理で高感度化、色収差対策を実施することができる。また、本発明を白黒センサに適用して輪郭補正を行った場合には、信号の増大とノイズ低減により、感度を高め、ダイナミックレンジを拡大することができる。
【００６５】
また、前述した各実施形態はそれぞれ、単独で実施できるばかりでなく、適宜組み合わせて実施することも可能である。さらに、前述した各実施形態には種々の段階の発明が含まれており、各実施形態において開示した複数の構成要件の適宜な組み合わせにより、種々の段階の発明を抽出することも可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の撮像信号処理装置の第１の実施形態に係るＣＭＯＳイメージセンサの概略構成をレンズとともに示すブロック図。
【図２】図１中の色相関ＲＧＢ生成部における基本的な処理方法の一例を示す図。
【図３】図１中の色相関ＲＧＢ生成部においてＧ信号の補間処理を行う方法の一例を示す図。
【図４】図１中の色相関ＲＧＢ生成部においてＧ輪郭信号を生成する方法の一例を示す図。
【図５】図１中の色相関ＲＧＢ生成部においてＧ輪郭信号を生成する方法の他の例を示す図。
【図６】図１中の色相関ＲＧＢ生成部において第１の加算信号Ｓの中域の信号振幅を強調する方法の一例を示す図。
【図７】図１中の色相関ＲＧＢ生成部において被写体のエッジ領域に対して実施する処理方法の一例を示す図。
【図８】図７の処理方法の一部を詳細に示す図。
【図９】図１に示したＣＭＯＳイメージセンサにおける信号処理の流れを示す図。
【図１０】本発明の第２の実施形態に係るＣＭＯＳイメージセンサの概略構成をレンズとともに示すブロック図。
【図１１】図１０中の色相関ＲＧＢ生成部における基本的な処理方法の一例を示す図。
【図１２】図１０中の色相関ＲＧＢ生成部におけるＧ輪郭信号生成方法の一例を示す図。
【図１３】本発明の第３の実施形態に係るＣＭＯＳイメージセンサの概略構成を示すブロック図。
【図１４】図１３中の色相関ＲＧＢ生成部における基本的な処理方法の一例を示す図。
【図１５】図１３中の色相関ＲＧＢ生成部においてＷ信号とＧ信号を用いた擬似Ｇ信号発生処理方法の一例を示す図。
【図１６】図１３中の色相関ＲＧＢ生成部においてＲ，Ｂ画素位置にＧ信号を生成する補間処理方法の一例を示す図。
【図１７】図１３中の色相関ＲＧＢ生成部においてＧ輪郭信号を生成する方法の一例を示す図。
【図１８】固体撮像装置のレンズによる倍率色収差が特に画素エリアの周辺で大きくなる様子を示す図。
【図１９】固体撮像装置のレンズのＦ値を小さくした場合に空間周波数が高くなるほど画面の中心でも軸上色収差が大きくなる様子を示す図。
【符号の説明】
【００６７】
１１…センサ部、１２…ラインメモリ、１３…色相関ＲＧＢ生成部、１４…信号処理回路、１５…システムタイミング発生回路、１６…コマンドデコーダ、１７…シリアルインタフェース、１８…レンズ、１１１…センサ部、１１２…カラム型アナログデジタルコンバータ、１３１…第１の加算部、１３２…比率係数算出部、１３３…ＲＧＢ生成部、１３４…エッジ処理部、１３５…第２の加算部、１３６…バンドパスフィルタ、１３７…振幅強調部、１３８…第３の加算部。
【図１】
2008289090.tif 000004
【図２】
2008289090.tif 000005
【図３】
2008289090.tif 000006
【図４】
2008289090.tif 000007
【図５】
2008289090.tif 000008
【図６】
2008289090.tif 000009
【図７】
2008289090.tif 000010
【図８】
2008289090.tif 000011
【図９】
2008289090.tif 000012
【図１０】
2008289090.tif 000013
【図１１】
2008289090.tif 000014
【図１２】
2008289090.tif 000015
【図１３】
2008289090.tif 000016
【図１４】
2008289090.tif 000017
【図１５】
2008289090.tif 000018
【図１６】
2008289090.tif 000019
【図１７】
2008289090.tif 000020
【図１８】
2008289090.tif 000021
【図１９】
2008289090.tif 000022