(57)【要約】【課題】色フィルタを備えた撮像素子の撮像画において色の変化点で生じる輝度偽信号を抑圧する。【解決手段】色信号の変化量と、輝度信号の変化量を比較した結果に応じて、適応的に、輝度信号にローパスフィルタ処理を施す。【選択図】　図１
2004032662.tif 000002
【特許請求の範囲】
【請求項１】
縦Ｍ画素×横Ｎ画素の所定の配列の繰り返しを有する色分離フィルタを備えた撮像素子と、
前記撮像素子の出力信号から色の変化点を検出する色変化検出手段と、
前記色変化検出手段の出力に応じて、前記撮像素子の出力信号に適応的にローパスフィルタ処理を施すことにより色の変化点の偽信号が抑圧された輝度信号を生成する適応ローパスフィルタ手段と、
前記適応ローパスフィルタ手段の出力を出力する輝度信号出力端子とを備えたことを特徴とする画像信号処理装置。
【請求項２】
前記適応ローパスフィルタは、前記撮像素子の出力信号から輝度の変化を検出する輝度変化検出手段を備え、前記輝度変化検出手段の出力と、前記色変化検出手段の出力を比較した結果に応じてローパスフィルタ特性を制御することを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
前記撮像素子は、水平方向の第１ラインにはマゼンタ、グリ−ンの順で色フィルタが交互配列され、第２ラインにはイエロ−、シアンの順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列を備えた撮像素子であることを特徴とする請求項１又は請求項２記載の画像信号処理装置。
【請求項４】
前記色変化検出手段は、マゼンタ、グリーンの水平方向の変化量を検出する手段を含むことを特徴とする請求項３記載の画像信号処理装置。
【請求項５】
前記色変化検出手段は、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を検出する手段を含むことを特徴とする請求項３記載の画像信号処理装置。
【請求項６】
前記色変化検出手段は、マゼンタ、グリーンの垂直方向の変動パターンが所定のパターンである場合には、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を出力し、所定のパターンでない場合は零を出力することを特徴とする請求項３記載の画像信号処理装置。
【請求項７】
前記撮像素子は、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子であることを特徴とする請求項１又は請求項２記載の画像信号処理装置。
【請求項８】
前記色変化検出手段は、斜め方向のレッドの変化量とブルーの変化量の差分値を検出する手段を含むことを特徴とする請求項７記載の画像信号処理装置。
【請求項９】
前記輝度変化検出手段は、レッドとブルーの加算値の変化量を検出する手段を含むことを特徴とする請求項７記載の画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタルスチルカメラやムービー等に用いられる画像信号処理装置に関する。さらに具体的には、水平方向の第１ラインにはマゼンタ（Ｍｇ）、グリ−ン（Ｇｒ）の順で色フィルタが交互配列され、第２ラインにはイエロ−（Ｙｅ）、シアン（Ｃｙ）の順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列又は、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子で得られる信号から輝度信号を生成する際に発生する偽信号を抑圧する画像信号処理装置に関する。
【０００２】
【従来の技術】
ディジタルスチルカメラやムービーなどにおいては、ＣＣＤ（Ｃｈａｒｇｅ　ｃｏｕｐｌｅｄｄｅｖｉｃｅ）等の撮像素子が用いられている。
【０００３】
撮像素子の表面には、カラー化のために画素毎に所定の繰り返しパターンを持つ色フィルタが装着されている。この色フィルタとしては様々なものが知られているが、広く使用されているものの１つに、図２に示すような水平方向の第１ラインにはマゼンタ、グリ−ンの順で色フィルタが交互配列され、第２ラインにはイエロ−、シアンの順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列がある。以下このフィルタ配列を色差線順次配列と呼ぶ。
【０００４】
また、色差線順次配列の他に広く使用されているものの１つに、図１０に示すような水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列がある。以下このフィルタ配列を原色ベイヤー配列と呼ぶ。
【０００５】
色差線順次配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としては、縦２×横２画素を加算する方法が一般的である（例えば特許文献１）。
【０００６】
原色ベイヤ−配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としても、縦２×横２画素の加算によっても生成できるが、その他の方法としては、縦２×横２画素領域内のグリーン信号だけを加算して輝度の高周波成分を生成する方法がある（例えば特許文献２）。
【０００７】
【特許文献１】
特開平８−０７０４６６号公報（２頁、図４）
【特許文献２】
特開平８−２３７６７２号公報（７頁、図１０、図１１、図１２、図１３）
【０００８】
【発明が解決しようとする課題】
しかし、縦２×横２画素の信号を加算することで輝度信号を生成すると、色差線順次配列の色フィルタ配列を使用している場合、水平方向に色の変化の激しい被写体を撮像した際にドット状の偽信号が発生するという課題があった。例えば、図６は色差線順次配列の色フィルタ配列の一部を示した図であり、図６のｍ列とｍ＋１列の間で被写体の色が変化しているとする。変化点の右側はＹｅ＝Ｍｇ＝１、Ｇｒ＝Ｃｙ＝０、変化点の左側はＹｅ＝Ｍｇ＝Ｇｒ＝Ｃｙ＝０であるとする。図７はこのときの各色フィルタ位置に対応した撮像素子の出力を示したものである。座標（ｍ，ｎ−１），（ｍ＋１，ｎ−１），（ｍ，ｎ），（ｍ＋１，ｎ）の縦２×横２画素の加算値は２になるが、座標（ｍ，ｎ＋１），（ｍ＋１，ｎ＋１），（ｍ，ｎ＋２），（ｍ＋１，ｎ＋２）の画素の加算値は１となり、垂直方向に輝度の変化の無い被写体であるにもかかわらず輝度信号が変化することが判る。これがドット状の偽信号となって現れ、撮像画質を著しく損なう要因となっていた。
【０００９】
同様に、原色ベイヤー配列の色フィルタを使用している場合には、斜め方向に色の変化の激しい被写体を撮像した際にドット状の偽信号が発生するという課題があった。例えば、図１１は原色ベイヤー配列の色フィルタ配列の一部を示した図であり、座標（ｍ−２，ｎ−２）と（ｍ＋３，ｎ＋３）を結ぶ対角線を境に被写体の色が変化しているとする。変化点の右上はＲ＝Ｇｒ＝０、Ｂ＝１、変化点の左下はＢ＝Ｇｒ＝０、Ｒ＝１であるとする。図１２はこのときの各色フィルタ位置に対応した撮像素子の出力を示したものである。座標（ｍ−２，ｎ−２），（ｍ−１，ｎ−２），（ｍ−２，ｎ−１），（ｍ−１，ｎ−１）の縦２×横２画素の加算値は０になるが、座標（ｍ−１，ｎ−１），（ｍ，ｎ−１），（ｍ−１，ｎ），（ｍ，ｎ）の縦２×横２画素の加算値は２となり、斜め方向に輝度の変化のない被写体であるにもかかわらず輝度信号が変化することがわかる。これがドット状の偽信号となって現れ、撮像画質を著しく損なう要因となっていた。
【００１０】
また、特許文献２に記載された様に、縦２×横２画素領域内のグリーン信号だけを使用して輝度の高周波信号を生成した場合には、前記のドット状の偽信号は発生しないが、特に斜め方向のサンプリング間隔がレッド、グリーン、ブルー全て使用した場合の２倍になってしまうため、斜め方向の解像度が損なわれるという課題があった。
【００１１】
本発明は、このような従来の課題を解決し、色の変化部における偽信号の無い輝度信号を生成する画像信号処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
この課題を解決するために、本発明（請求項１）の画像信号処理装置は、縦Ｍ画素×横Ｎ画素の所定の配列の繰り返しを有する色分離フィルタを備えた撮像素子と、前記撮像素子の出力信号から色の変化点を検出する色変化検出手段と、前記色変化検出手段の出力に応じて、前記撮像素子の出力信号に適応的にローパスフィルタ処理を施すことにより色の変化点の偽信号が抑圧された輝度信号を生成する適応ローパスフィルタ手段と、前記適応ローパスフィルタ手段の出力を出力する輝度信号出力端子とを備えたことを特徴とする。
【００１３】
また、本発明（請求項２）は請求項１記載の画像信号処理装置において、適応ローパスフィルタは、前記撮像素子の出力信号から輝度の変化を検出する輝度変化検出手段を備え、前記輝度変化検出手段の出力と、前記色変化検出手段の出力を比較した結果に応じてローパスフィルタ特性を制御することを特徴とする。
【００１４】
また、本発明（請求項３）の画像信号処理装置は請求項１又は請求項２記載の画像信号処理装置において、撮像素子は、水平方向の第１ラインにはマゼンタ、グリ−ンの順で色フィルタが交互配列され、第２ラインにはイエロ−、シアンの順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列を備えた撮像素子であることを特徴とする。
【００１５】
また、本発明（請求項４）は請求項３記載の画像信号処理装置において、色変化検出手段は、マゼンタ、グリーンの水平方向の変化量を検出する手段を含むことを特徴とする請求項３記載の画像信号処理装置。
【００１６】
また、本発明（請求項５）は請求項３記載の画像信号処理装置において、色変化検出手段は、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を検出する手段を含むことを特徴とする。
【００１７】
また、本発明（請求項６）は請求項３記載の画像信号処理装置において、色変化検出手段は、マゼンタ、グリーンの垂直方向の変動パターンが所定のパターンである場合には、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を出力し、所定のパターンでない場合は零を出力することを特徴とする。
【００１８】
また、本発明（請求項７）の画像信号処理装置は請求項１又は２記載の画像信号処理装置において、撮像素子は、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子であることを特徴とする。
【００１９】
また、本発明（請求項８）は請求項７記載の画像信号処理装置において、色変化検出手段は、斜め方向のレッドの変化量とブルーの変化量の差分値を検出する手段を含むことを特徴とする。
【００２０】
また、本発明（請求項９）は請求項７記載の画像信号処理装置において、輝度変化検出手段は、レッドとブルーの加算値の変化量を検出する手段を含むことを特徴とする。
【００２１】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態について、図を用いて説明する。
【００２２】
図１は本発明の画像信号処理装置の第１の実施の形態を示し、図１において１は撮像素子、２はＡ／Ｄ変換部、３〜７はラインメモリ、１４は輝度信号生成部、１５は色変化検出部、２１は適応ローパスフィルタ部、２２は輝度信号出力端子である。
【００２３】
また、図１において８〜１０は加算器、１１〜１３はローパスフィルタ部であり輝度信号生成部１４を構成する。また、図１において１６、１９は加算器、１７は減算器、１８は乗算器、２０はコア処理部、２３、２４は１画素遅延部であり適応ローパスフィルタ部２１を構成する。
【００２４】
以上のように構成された画像信号処理装置について、以下、その動作を述べる。
【００２５】
撮像素子１は表面に図２に示す配列の補色フィルタを備えており、フィルタの色に応じたマゼンタ、グリーン、イエロー、シアンの補色信号を水平１ラインずつ出力する。
【００２６】
撮像素子１の出力信号はＡ／Ｄ変換部２にてデジタル化され、ラインメモリ３〜７を通り遅延され、輝度信号生成部１４および色変化検出部１５に入力される。
【００２７】
ラインメモリ３〜７はそれぞれ撮像素子の水平１ライン分の信号を遅延して出力するので、色変化検出部１５には同時に６ライン、輝度信号生成部１４には同時に４ライン分の補色信号が入力される。
【００２８】
輝度信号生成部１４では、垂直方向に隣接する補色信号が加算器８〜１０で加算された後、水平方向に隣接する信号がローパスフィルタ部１１〜１３にて加算され、結果として水平２×垂直２画素の補色信号の加算値が輝度信号として同時に３ライン分出力される。
【００２９】
輝度信号生成部１４の出力は従来例で説明した色変化点の偽信号を含んでいる。輝度信号生成部１４の出力は適応ローパスフィルタ部２１に入力される。適応ローパスフィルタ部２１では、輝度信号生成部１４の出力３ラインのうち、上下のラインの信号が加算器１６で加算され、中心のラインの信号が乗算器１８で２倍され、減算器１７にて加算器１６の出力から乗算器１８の出力が減算され、１画素遅延部２４で遅延された後コア処理部２０に入力される。
【００３０】
図４は、コア処理部２０の入力信号において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示したものである。図４のフィルタは垂直方向の輝度エッジを検出するフィルタになっており、水平方向の色の変化点においては偽信号のレベルを検出するフィルタになっている。
【００３１】
図３はコア処理部２０の入出力関係を示す図である。色変化検出部の出力であるｔｈと減算器１７の出力ｉｎを比較し、ｉｎ＜−２ｔｈ，２ｔｈ＜ｉｎの場合は０，−２ｔｈ＜ｉｎ＜ｔｈの場合は−２ｔｈ−ｉｎ，−ｔｈ＜ｉｎ＜ｔｈの場合はｉｎ，ｔｈ＜ｉｎ＜２ｔｈの場合は２ｔｈ−ｉｎを出力する。コア処理部２０の出力は加算器１９において１画素遅延部２３によって遅延された乗算器１８の出力と加算され、輝度信号出力端子２２へ出力される。
【００３２】
図５は適応ローパスフィルタ部２１の出力において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示したものである。図５（ａ）は２×ｔｈ＜｜ｉｎ｜の場合、図５（ｂ）は｜ｉｎ｜＝１．５×ｔｈの場合、図５（ｃ）は｜ｉｎ｜＜ｔｈの場合のタップ係数を示している。｜ｉｎ｜に対してｔｈが大きいほど垂直方向に狭帯域のローパスフィルタ処理になっており、色の変化点での偽信号の抑圧効果が大きくなる。図５（ｃ）のフィルタを例えば図７の色の境界部であるｍ列、ｍ＋１列の信号に対して施すと、どの位置でも出力値は３となり、偽信号が完全に抑圧されることがわかる。
【００３３】
従って、色変化検出部１５は色の変化点において｜ｉｎ｜＜ｔｈとなる出力ｔｈを生成すればよい。ただし、色の変化点以外で、２×ｔｈ＜｜ｉｎ｜とならなければ誤動作することになる。
【００３４】
以下、色変化検出部１５の動作について説明する。
【００３５】
図８は図６のｍ列とｍ＋１列を境にＭｇ＝Ｍ０、Ｇｒ＝Ｇ０、Ｙｅ＝Ｙ０、Ｃｙ＝Ｃ０からＭｇ＝Ｍ３、Ｇｒ＝Ｇ３、Ｙｅ＝Ｙ３、Ｃｙ＝Ｃ３に変化している場合の撮像素子の各画素の出力値を示した図である。ただし、レンズや撮像素子のアパーチャ、水晶光学ローパスフィルタ等の影響を考慮して、中間色としてｍ列はＭｇ＝Ｍ１、Ｇｒ＝Ｇ１、Ｙｅ＝Ｙ１、Ｃｙ＝Ｃ１、ｍ＋１列はＭｇ＝Ｍ２、Ｇｒ＝Ｇ２、Ｙｅ＝Ｙ２、Ｃｙ＝Ｃ２になっているとしている。
【００３６】
ここで、例えばＭｇに関してはＭ０＜Ｍ１＜Ｍ２＜Ｍ３又はＭ０＞Ｍ１＞Ｍ２＞Ｍ３の関係が成り立つと考えられ、Ｇｒ、Ｙｅ、Ｃｙに関しても同様の関係が成り立つと考えられる。
【００３７】
このときの色の境界線におけるコア処理部の入力ｉｎは（数１）のようになる。
【００３８】
【数１】
2004032662.tif 000003
【００３９】
これは、色の境界線における偽信号がマゼンタ、グリーン信号によって発生していることを示している。
【００４０】
このとき、色変化検出部１５ではｔｈを例えば（数２）のように演算する。
【００４１】
【数２】
2004032662.tif 000004
【００４２】
ただし、Ｍａｘ（ａ，ｂ）はａとｂの大きい方を選択する関数とする。
【００４３】
Ｍ０＜Ｍ１＜Ｍ２＜Ｍ３又はＭ０＞Ｍ１＞Ｍ２＞Ｍ３であり、Ｇ０＜Ｇ１＜Ｇ２＜Ｇ３又はＧ０＞Ｇ１＞Ｇ２＞Ｇ３であるから常にｔｈ＞｜ｉｎ｜の関係が成り立つので、（数２）の演算によるｔｈを使用することで、色の変化点での偽信号は抑圧される。
【００４４】
しかし、（数２）の演算によるｔｈは、水平方向に輝度の変化があった場合にも色の変化として検出してしまうため、特に斜めに輝度の変化がある被写体において適応ローパスフィルタの誤動作が発生し、斜めの解像度が損なわれる場合が発生する。
【００４５】
この誤動作を補正するためには、例えば（数３）のようにｔｈを演算する。
【００４６】
【数３】
2004032662.tif 000005
【００４７】
（数３）において、ｂは補正の程度を調整するための係数でありｂ＞０である。
（数３）において、ｎ−１，ｎ＋１，ｎ＋３行に対する演算部分は垂直方向のイエロー、シアン信号の垂直方向変動を示している。イエロー、シアン信号は、水平方向の色の変化点において垂直方向には変動しないので、（数３）の演算によって、水平方向の色の変化点での偽信号抑圧に影響を与えることなく、斜め方向の輝度の変化がある部分の誤動作だけを補正することができる。
【００４８】
しかし、（数３）におけるイエロー、シアン信号の垂直方向の変化検出は、比較的低周波数の変化や撮像素子の画素ピッチで決まる垂直ナイキスト周波数に近いような変化は検出しにくいため、そのような周波数の斜めの輝度変化部分での誤動作を補正できない。
【００４９】
この誤動作を補正するには、垂直方向のマゼンタ、グリーン信号の変動パターンを調べて、変動パターンが色の変化点の偽信号のパターンになっていない場合に、色の変化点ではないと判断するとよい。
【００５０】
即ち、例えば（数４）によってマゼンタ、グリーン信号の変動パターンを調べる。
【００５１】
【数４】
2004032662.tif 000006
【００５２】
色の変化点での偽信号が発生している場合、（数４）の演算結果ｃはｃ＞０となるので、ｃ＜０である場合はｔｈ＝０としてしまうことで適応ローパスフィルタの誤動作を補正できる。
【００５３】
なお、（数２）、（数３）、（数４）に示した演算は、コア処理部の入力ｉｎが（数１）の場合の演算式だが、水平方向に移動した別の座標においても、相対的に同一の座標の信号に対する演算になる。
【００５４】
ただし、垂直方向に移動した別の座標の場合は、１ライン毎にマゼンタ、グリーンの行とイエロー、シアンの行が入れ替わるので、演算式を変える必要がある。
【００５５】
コア処理部の入力ｉｎ（数１）の１ライン下の（数５）の場合の、（数２）、（数３）、（数４）に対応する演算式は、それぞれ（数６）、（数７）、（数８）のようにすればよい。
【００５６】
【数５】
2004032662.tif 000007
【００５７】
【数６】
2004032662.tif 000008
【００５８】
【数７】
2004032662.tif 000009
【００５９】
【数８】
2004032662.tif 000010
【００６０】
以上のような構成と動作によって、輝度信号出力端子２２には色の変化点での偽信号が抑圧された輝度信号が得られる。また、斜めの輝度の変化がある場合でも、適応ローパスフィルタ部２１の誤動作による解像度の低下のない信号が得られる。
【００６１】
（実施の形態２）
図９は本発明における第２の実施の形態を示している。図９において、３０は撮像素子、２はＡ／Ｄ変換部、３〜７はラインメモリ、３１は輝度変化検出部、３２は色変化検出部、２２は輝度信号出力端子である。
【００６２】
また、図９において９、１９は加算器、３４は乗算器、１２はローパスフィルタ、２０はコア処理部、３５〜３９は１画素遅延部であり適応ローパスフィルタ部３３を構成する。
【００６３】
以上のように構成された画像信号処理装置について、以下、その動作を述べる。
【００６４】
撮像素子３０は表面に図１０に示す配列の原色フィルタを備えており、フィルタの色に応じたレッド、グリーン、ブルーの原色信号を水平１ラインずつ出力する。
【００６５】
撮像素子３０の出力はＡ／Ｄ変換部２でデジタル化され、ラインメモリ３〜７を通り遅延され、適応ローパスフィルタ部３３、輝度変化検出部３１、色変化検出部３２に入力される。
【００６６】
輝度変化検出部３１では、レッドとブルーの加算値の変化量を検出する。例えば、図１３（ａ），（ｂ）は輝度変化検出部の出力において、撮像素子３０の出力に対してなされているフィルタ処理のタップ係数を示したものである。図示されている縦４×横４の領域の左上の画素がグリーンの場合は（ａ）のフィルタが用いられ、レッド又はブルーの場合は（ｂ）のフィルタが用いられる。従って、図１３に示したフィルタは、レッドとブルーの加算値の斜め方向の変化を検出するフィルタになっている。
【００６７】
輝度変化検出部３１の出力はコア処理部２０に入力される。コア処理部では図３に示した処理を施される。コア処理部の出力は、加算器１９へ入力され、１画素遅延部２３の出力と加算される。
【００６８】
図１４は、図９における１画素遅延部３７の出力において、撮像素子３０の出力信号に対してなされているフィルタ処理のタップ係数を示したものである。図１５は、加算器１９の出力において、撮像素子３０の出力信号に対してなされているフィルタ処理のタップ係数を示しており、コア処理部２０の入力信号ｉｎとｔｈの関係が変化した場合の適応ローパスフィルタ部３３のフィルタタップ係数の変化を示している。即ち、図１５（ａ）は２×ｔｈ＜｜ｉｎ｜の場合のタップ係数である。図１５（ｂ），（ｃ）は｜ｉｎ｜＝１．５×ｔｈの場合のタップ係数であり、（ｄ），（ｅ）は｜ｉｎ｜≦ｔｈの場合のタップ係数である。
【００６９】
また、図１５（ｂ），（ｄ）は図示した縦４×横４の領域の左上の画素がグリーンに対応する場合のフィルタ係数であり、（ｃ），（ｅ）は図示した縦４×横４の領域の左上の画素がレッド又はブルーに対応する場合のフィルタ係数である。図１２の信号に対して、図１５の（ｄ），（ｅ）のフィルタ処理を施すと、どの位置でもフィルタ出力値は４になり、偽信号が抑圧された信号が得られることがわかる。
【００７０】
ｔｈは色変化検出部３２の出力であるので、色の変化点で、｜ｉｎ｜＜ｔｈとなるように色変化検出部３２における演算を行えば良い。図１６は色変化検出部３２において、撮像素子３０の出力信号に対して為されるフィルタ処理のタップ係数を示したものである。図示してある縦４×横８画素の左上隅の画素がグリーンの場合は、図１６（ａ）、（ｃ）のフィルタ処理が為され、それぞれのフィルタ処理結果の絶対値の最大値が色変化検出部３２から出力される。
【００７１】
図示してある縦４×横８画素の左上隅の画素がレッド又はブルーの場合は、図１６（ｂ）、（ｄ）のフィルタ処理が為され、それぞれのフィルタ処理結果の絶対値の最大値が色変化検出部３２から出力される。
【００７２】
例えば、図１１は撮像素子３０が備える色フィルタ配列の一部を示した図であり、図１１に示した座標（ｍ−２，ｎ−２）と（ｍ＋３，ｎ＋３）を結ぶ対角線を境に被写体の色が変化しているとする。変化点の右上はＲ＝Ｒ０、Ｂ＝Ｂ０、変化点の左下はＲ＝Ｒ１、Ｂ＝Ｂ１であるとする。このとき、色の変化している境界上、例えば座標（ｍ，ｎ），（ｍ，ｎ＋１），（ｍ＋１，ｎ），（ｍ＋１，ｎ＋１）を中心とする場合の色変化検出部３２の出力は（数９）のようになる。
【００７３】
【数９】
2004032662.tif 000011
【００７４】
また、そのときのコア処理部の入力ｉｎは（数１０）の様になる。
【００７５】
【数１０】
2004032662.tif 000012
【００７６】
即ち、｜ｉｎ｜≦ｔｈの関係が成立しているので、適応ローパスフィルタの出力には偽信号の抑圧された信号を得ることができる。
【００７７】
以上、右上から左下方向に色が変化している場合の色変化点についての動作を説明したが、左上から右下に色が変化している場合においても同様な動作で偽信号の抑圧が為される。
【００７８】
本方式では、レッド、グリーン、ブルーのうちレッド、ブルー成分のみに対してローパスフィルタをかけるので、色の境界以外で誤補正をした場合にもグリーン成分の高周波成分は保持されているので、誤補正による解像感の劣化を最小限に抑えることができる。
【００７９】
更に、本方式では、色変化検出部の出力と輝度変化検出部の出力を比較して適応ローパスフィルタの特性を決めているため、例えば同一の被写体を撮影している場合に光源の明るさが変化して被写体の明るさが変化した場合にも、色変化検出部の出力と輝度変化検出部の出力共に被写体の明るさに比例して変化し、被写体の明るさによらず、同一の適応ローパスフィルタ処理を行うことができる。
【００８０】
以上のような構成と動作によって、輝度信号出力端子２２には色の変化点での偽信号が抑圧された輝度信号が得られる。
【００８１】
また、色の変化の無い部分ではレッド、グリーン、ブルー全てを使用して輝度信号を生成するため斜め方向にも解像度の高い輝度信号が得られる。
【００８２】
なお、実施の形態１及び実施の形態２において、Ａ／Ｄ変換部以後の処理をハードウェアにて実現しているが、マイクロコンピューター等を用いて、Ａ／Ｄ変換部以後の処理の一部または全部をソフトウェアによって実現することも可能である。
【００８３】
【発明の効果】
上述のように、本発明の画像信号処理装置は、色の変化の激しい被写体を撮像した際に色の境界のドット状の偽信号の発生を抑えることができるので、撮像画質が損なわれることがない。また、色の変化の無い部分ではローパスフィルタ処理が為されないので、解像度の劣化を最小限に抑えることができる。
【図面の簡単な説明】
【図１】本発明にかかる画像信号処理装置の第１の実施の形態の構成を示すブロック図
【図２】第１の実施の形態における撮像素子１が備える色フィルタ配列を示す図
【図３】第１の実施の形態におけるコア処理部２０の入出力信号の関係を示す図
【図４】第１の実施の形態におけるコア処理部２０の入力信号において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示した図
【図５】第１の実施の形態におけるコア処理部２０の入力信号ｉｎとｔｈが変動した場合に適応ローパスフィルタ部２１の出力信号において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示した図
【図６】第１の実施の形態における撮像素子１が備える色フィルタ配列の一部を示す図
【図７】各色フィルタ位置に対応した撮像素子１の出力の例を示す図
【図８】各色フィルタ位置に対応した撮像素子１の出力の例を示す図
【図９】本発明にかかる画像信号処理装置の第２の実施の形態の構成を示すブロック図
【図１０】第２の実施の形態における撮像素子３０が備える色フィルタ配列を示す図
【図１１】第２の実施の形態における撮像素子３０が備える色フィルタ配列の一部を示す図
【図１２】各色フィルタ位置に対応した撮像素子３０の出力の例を示す図
【図１３】第２の実施の形態における輝度変化検出部３１におけるフィルタ処理のタップ係数を示した図
【図１４】第２の実施の形態における１画素遅延部３７の出力において、撮像素子３０の出力に対して為されているフィルタ処理のタップ係数を示した図
【図１５】第２の実施の形態における適応ローパスフィルタ部３１で施されるフィルタ処理のタップ係数を示した図
【図１６】第２の実施の形態における色変化検出部３２で施されるフィルタ処理のタップ係数を示した図
【符号の説明】
１、３０　撮像素子
２　Ａ／Ｄ変換部
３、４、５、６、７　ラインメモリ
１４　輝度信号生成部
１５、３２　色変化検出部
２０　コア処理部
２１、３３　適応ローパスフィルタ部
２２　輝度信号出力端子
３１　輝度変化検出部
【図１】
2004032662.tif 000013
【図２】
2004032662.tif 000014
【図３】
2004032662.tif 000015
【図４】
2004032662.tif 000016
【図５】
2004032662.tif 000017
【図６】
2004032662.tif 000018
【図７】
2004032662.tif 000019
【図８】
2004032662.tif 000020
【図９】
2004032662.tif 000021
【図１０】
2004032662.tif 000022
【図１１】
2004032662.tif 000023
【図１２】
2004032662.tif 000024
【図１３】
2004032662.tif 000025
【図１４】
2004032662.tif 000026
【図１５】
2004032662.tif 000027
【図１６】
2004032662.tif 000028