(57)【要約】【課題】イメージセンサに備えられて、光電変換およびアナログ／デジタル変換された画像信号に対して、ノイズ抑制を行う技術に関し、明暗の差が大きい画像の境界部分に発生したノイズについても、効果的に検出／抑制可能とすることにある。【解決手段】注目画素とその同色周囲8画素の平均値との差分絶対値が算出される（Ｓ１０１、Ｓ１０２、Ｓ１０７）。その差分絶対値が閾値未満である場合、注目画素の値が同色周囲8画素の平均値に置き換えられる（Ｓ１０８）。差分絶対値が閾値以上である場合、注目画素とその同色周囲8画素の縦／横／斜め各平均値との各差分絶対値が算出される（Ｓ１１０、Ｓ１１１）。各差分絶対値のうち最小のものに対応する平均値に注目画素の値が置き換えられる（Ｓ１１２、Ｓ１１３、Ｓ１１４）。【選択図】図１
2009194776.tif 000002
【特許請求の範囲】
【請求項１】
ノイズ除去回路であって、
複数の周辺画素の画素値により、明暗の境界となる位置を判断する境界判断手段と、
前記複数の周辺画素のうち、前記境界判断手段により判断された境界を跨がない範囲に属する画素の範囲でフィルタ処理する選択フィルタ手段と
を含むことを特徴とするノイズ除去回路。
【請求項２】
画像信号におけるノイズを抑制するための方法であって、
注目画素とその同色周囲8画素の平均値との差分絶対値を算出するステップと、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲8画素の平均値に置き換えるステップと、
前記差分絶対値が閾値以上である場合、前記注目画素とその同色周囲8画素の縦／横／斜め各平均値との各差分絶対値を算出するステップと、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換えるステップと、
を含むことを特徴とするノイズ抑制方法。
【請求項３】
画像信号におけるノイズを抑制するための回路であって、
注目画素とその同色周囲8画素の平均値との差分絶対値を算出する手段と、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲8画素の平均値に置き換える手段と、
前記差分絶対値が閾値以上である場合、前記注目画素とその同色周囲8画素の縦／横／斜め各平均値との各差分絶対値を算出する手段と、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換える手段と、
を含むことを特徴とするノイズ抑制回路。
【請求項４】
請求項３に記載のノイズ抑制回路を備えた携帯情報装置。
【請求項５】
画像信号におけるノイズを抑制するための方法であって、
注目画素とその同色周囲２４画素の平均値との差分絶対値を算出するステップと、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲２４画素の平均値に置き換えるステップと、
前記差分絶対値が閾値以上である場合、前記注目画素とその同色周囲２４画素の縦／横／斜め各平均値との各差分絶対値を算出するステップと、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換えるステップと、
を含むことを特徴とするノイズ抑制方法。
【請求項６】
画像信号におけるノイズを抑制するための回路であって、
注目画素とその同色周囲２４画素の平均値との差分絶対値を算出する手段と、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲２４画素の平均値に置き換える手段と、
前記差分絶対値が閾値以上である場合、前記注目画素とその同色周囲２４画素の縦／横／斜め各平均値との各差分絶対値を算出する手段と、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換える手段と、
を含むことを特徴とするノイズ抑制回路。
【請求項７】
請求項５に記載のノイズ抑制回路を備えた携帯情報装置。
【請求項８】
画像信号におけるノイズを抑制するための方法であって、
注目画素とその同色周囲８画素の平均値との差分絶対値を算出するステップと、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲８画素の平均値に置き換えるステップと、
前記差分絶対値が閾値以上である場合、前記注目画素を範囲端に含むそれぞれ３×３画素の８つの範囲の各平均値と前記注目画素との各差分絶対値を算出するステップと、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換えるステップと、
を含むことを特徴とするノイズ抑制方法。
【請求項９】
画像信号におけるノイズを抑制するための回路であって、
注目画素とその同色周囲８画素の平均値との差分絶対値を算出する手段と、
該差分絶対値が閾値未満である場合、前記注目画素の値を前記同色周囲８画素の平均値に置き換える手段と、
前記差分絶対値が閾値以上である場合、前記注目画素を範囲端に含むそれぞれ３×３画素の８つの範囲の各平均値と前記注目画素との各差分絶対値を算出する手段と、
該各差分絶対値のうち最小のものに対応する平均値に前記注目画素の値を置き換える手段と、
を含むことを特徴とするノイズ抑制回路。
【請求項１０】
請求項８に記載のノイズ抑制回路を備えた携帯情報装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサに備えられて、光電変換およびアナログ／デジタル変換された画像信号に対して、ノイズ抑制を行う技術に関する。
【背景技術】
【０００２】
図７は、一般的なイメージセンサシステムの全体構成図である。
外部から入射する光入力信号７１４は、例えばＣＭＯＳイメージセンサを構成する画素アレイ７０１の各画素にて受光される。
【０００３】
画素アレイ７０１には、垂直走査回路７０２から垂直走査用のフレームパルスが入力され、水平走査回路７０３から各ラインの水平走査用のパルスが入力される。
各水平走査毎に各画素において光電変換素子及び増幅が行われて得られる信号は、それぞれカラム数分だけ並列に並べて配置された構成を有するカラムＣＤＳ（相関二重サンプリング：Correlated Double Sampling）回路７０４、カラムアンプ回路７０５、及びカラムＡＤＣ（アナログ−デジタル変換）回路７０６、カラムカウンタ７０７を経由して、画像信号として取り出され、数ライン分の画像信号を蓄積するラインメモリ７０８に記憶される。
【０００４】
ロジック回路７０９は、ラインメモリ７０８に記憶された画像信号に対して、後述する種々の信号処理を実行する。
タイミング発生回路７１０は、イメージセンサシステムの各部に種々のタイミング信号を供給する。
【０００５】
基準電圧発生回路７１１は、カラムＣＤＳ回路７０４及びランプ波形発生回路７１２に対して、基準電圧を供給する。
ランプ波形発生回路７１２は、ＡＤ変換用のランプ波形を、カラムＡＤＣ回路７０６に供給する。
【０００６】
レジスタ７１３は、例えば後述する欠陥補正やベイヤノイズ抑制の閾値がユーザによって設定され、イメージセンサシステムの種々の動作を制御する。
図８は、図７のロジック回路７０９のファームウェア構成図である。
【０００７】
デジタルクランプ部８０１は、グランドレベルの同定を行う。
シェーディング補正部８０２は、レンズの歪みを補正する。
ＲＧＢゲイン調整部８０３は、ＲＧＢそれぞれの画像信号の強度バランスを調整する。
【０００８】
欠陥補正・ベイヤノイズ抑制・色補間部８０４は、画像信号中の各画素の欠陥修正、ノイズ抑制、及び３原色からの色補間再生を行う。
オートホワイトバランス部８０５は、ホワイトバランスの自動調整を行う。
【０００９】
オートゲインコントロール・フリッカキャンセル部８０６は、図７中の各アナログ回路部を制御して、自動ゲイン調整及びフリッカ抑止を行う。
カラー調整部８０７は、ＲＧＢのカラーバランスの調整を行う。
【００１０】
エッジ強調・ＲＧＢノイズ抑制部８０８は、画像信号に対して、エッジ強調処理とＲＧＢノイズの抑制処理を行う。
ガンマ補正部８０９は、画像信号に対して、ガンマ補正を行う。
出力フォーマット変換部８１０は、出力に適したフォーマットに変換してディジタル信号７１５を出力する。
【００１１】
図７のイメージセンサである画素アレイ７０１における画素配列の例を、図９に示す。このような配列をベイヤ配列という。これを同色画素配列について抜き出したのが、図１０（同色周囲８画素）及び図１１（同色周囲２４画素）である。
【００１２】
また、図１２は、図８の欠陥補正・ベイヤノイズ抑制・色補間部８０４にて実施される欠陥補正処理及びベイヤノイズ抑制処理の輝度範囲の関係を説明した図である。
ベイヤ配列（図９）での注目画素のｐ０でのノイズ抑制は、一般に欠陥補正と同段階で行われることが多い。
【００１３】
例えば図１０で考えると、注目画素ｐ０と同色周囲８画素の平均値ｐａ、
pa=(p1+p2+p3+p4+p5+p6+p7+p8)/8
が比較され、注目画素は、上記ｐ０とｐａの差分値が閾値ｔｈ＿ｗ（図１２参照）以上ならば白欠陥、差分値が閾値ｔｈ＿ｂ（図１２）以下ならば黒欠陥、差分値が閾値ｔｈ＿ｎ１（図１２）未満ならばベイヤノイズとして、それぞれ検出される。
【００１４】
なお、閾値ｔｈ＿ｗ、ｔｈ＿ｂ、ｔｈ＿ｎ１等は、ユーザによって図７のレジスタ７１３に設定される。
そして、ベイヤノイズとして検出された注目画素ｐ０は、同色周囲8画素の平均値ｐａに置き換えられる。
【特許文献１】特開２００４−４８５６２号公報
【特許文献２】特開２００２−１０２７４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
図１３を用いて、従来例技術の課題を説明する。
例えば、図１３（ａ）のような、明るさの異なる境界部分を持つ画像を理想的なものとする。
【００１６】
ここで、画像は便宜上、同色画素のみで構成されているものとする。Ｒ／Ｇ／Ｂの各画像とも同じ考え方ができる。
実際には、この画像に様々な要因でノイズがのることになるので、それを図１３（ｂ）のようなものとする。ここで、画面全体の明るさ（コード）を数値化したものを
図１３（ｃ）とする。また、図７（ｂ）で、X―X’の断面で見た場合の明るさ（コード）の波形を図１３（ｄ）とする。
【００１７】
例えば、ｔｈ＿ｎ１＝１０とすると、ノイズ抑制の状態は下記の通りとなる。
範囲A        p0 = 95
pa = (100+100+100+105+100+100+100+100) / 8 = 100.625
|p0 - pa| = 5.625 < th_n1
⇒ ノイズ抑制される  ⇒ p0 = 100.625
範囲B        p0 = 45
pa = (100+50+50+105+50+100+50+50) / 8 = 69.375
|p0 - pa| = 24.375 > th_n1
⇒ ノイズ抑制されない  ⇒ p0 = 45
範囲C        p0 = 45
pa = (50+50+50+55+50+50+50+50) / 8 = 50.625
|p0 - pa| = 5.625 < th_n1
⇒ ノイズ抑制される  ⇒ p0 = 50.625
【００１８】
つまり、画像の明るさが一様な部分についてはノイズ抑制されるが、明るさ境界部分のように、元々差分が大きいような所では、差分値が閾値ｔｈ＿ｎ１を越えてしまい、ノイズ抑制が適用されない。（図１２に示す不感帯に入ってしまう。）
従って、出力画像としては、図１３（ｅ）に示されるように、明るさ境界部分にノイズが残ったままになってしまう。
【００１９】
そこで、明るさ境界部分のノイズも除去しようと、閾値ｔｈ＿ｎ１を大きくしてしまうと、画像全体に必要以上に抑制処理を行ってしまうので、元画像のシャープさが損なわれることになってしまう。従って、従来技術では、明るさ境界部分に発生するノイズを効果的に抑制できないという問題点を有していた。
【課題を解決するための手段】
【００２０】
本発明の課題は、明暗の差が大きい画像の境界部分に発生したノイズについても、効果的に検出／抑制可能とすることにある。
本発明は、画像信号におけるノイズを抑制するための回路、方法、それを内蔵したカメラ、携帯電話、ＰＣなどの携帯情報装置を前提とする。
【００２１】
本発明の第１の態様は、以下の構成を有する。
まず、複数の周辺画素の画素値により、明暗の境界となる位置を判断する境界判断手段を有する。
【００２２】
次に、複数の周辺画素のうち、前記境界判断手段により判断された境界を跨がない範囲に属する画素の範囲でフィルタ処理する選択フィルタ手段を有する。
本発明の第２の態様は、以下の構成を有する。
まず、注目画素とその同色周囲8又は２４画素の平均値との差分絶対値が算出される（図１のＳ１０１、Ｓ１０２、Ｓ１０７）。
次に、その差分絶対値が閾値未満である場合、注目画素の値が同色周囲8又は２４画素の平均値に置き換えられる（図１のＳ１０８）。
【００２３】
一方、差分絶対値が閾値以上である場合、注目画素とその同色周囲8又は２４画素の縦／横／斜め各平均値との各差分絶対値が算出される（図１のＳ１１０、Ｓ１１１）。
そして、各差分絶対値のうち最小のものに対応する平均値に注目画素の値が置き換えられる（図１のＳ１１２、Ｓ１１３、Ｓ１１４）。
【００２４】
本発明の第２の態様は、以下の構成を有する。
まず、注目画素とその同色周囲８画素の平均値との差分絶対値が算出される（図３のＳ３０１、Ｓ１０２、Ｓ１０７）。
次に、その差分絶対値が閾値未満である場合、注目画素の値が同色周囲８画素の平均値に置き換えられる（図３のＳ１０８）。
【００２５】
一方、差分絶対値が閾値以上である場合、注目画素を範囲端に含むそれぞれ３×３画素の８つの範囲の各平均値と注目画素との各差分絶対値が算出される（図３のＳ３０２、Ｓ
３０３）。
そして、各差分絶対値のうち最小のものに対応する平均値に注目画素の値が置き換えられる（図３のＳ３０４、Ｓ１１３、Ｓ１１４）。
【発明の効果】
【００２６】
本発明の第１の態様の構成により、画像の明るさが一様な部分だけでなく、明暗の差が大きい画像の境界部分に発生したノイズについても、効果的に検出／抑制することができ、画素信号の補正効果を高めることが可能となる。
【００２７】
本発明の第２の態様の構成により、境界部分をより安定的に検出しそれに基づいてノイズを抑制することが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
本発明の各実施形態の基本構成
以下に説明する本発明の第１及び第２の各実施形態の基本構成は、前述した図７〜図１２の構成と同じである。
【００２９】
本発明の実施形態が従来技術と異なる点は、図７に示されるロジック回路７０９内の図８に示される欠陥補正・ベイヤノイズ抑制・色補間部８０４、特にベイヤノイズ抑制部の機能である。
【００３０】
本発明の第１の実施形態
まず、本発明の第１の実施形態について説明する。
図１は、本発明の第１の実施形態における、図８に示される欠陥補正・ベイヤノイズ抑制・色補間部８０４の機能のうち、欠陥補正・ベイヤノイズ抑制機能を実現する部分の動作フローチャートである。
【００３１】
この動作フローチャートは、ファームウェアロジック回路の動作として実現されてもよいし、一般的な中央演算処理装置、主記憶装置、外部記憶装置、及びバス等から構成されるコンピュータが主記憶装置や外部記憶装置に記憶された制御プログラムを実行する動作として実現されてもよい。
【００３２】
まず、従来技術の場合と同様にして、注目画素ｐ０に対する同色周囲８画素ｐ１〜ｐ８（図１０参照）の輝度値の平均値ａｖｇが、次式によって算出される（ステップＳ１０１）。
【００３３】
avg = (p1+p2+p3+p4+p5+p6+p7+p8)/8  ・・・（１）
次に、注目画素ｐ０と平均値ａｖｇとの差分が、次式によって算出される（ステップＳ１０２）。
【００３４】
sub = p0 - avg  ・・・（２）
次に、差分値ｓｕｂがユーザによってレジスタ７１３に設定されている閾値ｔｈ＿ｗ（図１２参照）と比較される（ステップＳ１０３）。
【００３５】
ｓｕｂがｔｈ＿ｗよりも大きければ、注目画素ｐ０は白欠陥画素であると判定され（図１２参照）、注目画素ｐ０が白欠陥補正関数値Ｆｗ（ｐ０）で置き換えられる（ステップＳ１０４）。
【００３６】
ｓｕｂがｔｈ＿ｗ以下であれば、次に、差分値ｓｕｂがユーザによってレジスタ７１３に設定されている閾値ｔｈ＿ｂ（図１２参照）と比較される（ステップＳ１０５）。
ｓｕｂがｔｈ＿ｂよりも小さければ、注目画素ｐ０は黒欠陥画素であると判定され（図１２参照）、注目画素ｐ０が黒欠陥補正関数値Ｆｂ（ｐ０）で置き換えられる（ステップＳ１０６）。
【００３７】
ｓｕｂがｔｈ＿ｂ以上であれば、次に、差分値ｓｕｂの絶対値｜ｓｕｂ｜がユーザによってレジスタ７１３に設定されている閾値ｔｈ＿ｎ１（図１２参照）と比較される（ステップＳ１０７）。
【００３８】
｜ｓｕｂ｜がｔｈ＿ｎ１よりも小さければ、注目画素ｐ０はベイヤノイズ画素であると判定され（図１２参照）、注目画素ｐ０がステップＳ１０１で算出された同色周囲８画素平均値ａｖｇで置き換えられる（ステップＳ１０８）。
【００３９】
ここまでは、従来技術と同じである。
以下に説明するステップＳ１０９〜Ｓ１１５の処理部分が、第１の実施形態が従来技術と異なる部分である。
【００４０】
まず、ステップＳ１０４、Ｓ１０６、又はＳ１０８の補正／抑制処理が実行されたか否かが判定される（ステップＳ１０９）．
この判定がＹＥＳであれば、現在の注目画素ｐ０に対する欠陥補正・ベイヤノイズ抑制機能の処理を終了する。
【００４１】
ステップＳ１０４、Ｓ１０６、又はＳ１０８のいずれの補正／抑制処理も実行されておらず、ステップＳ１０９の判定がＮＯである場合には、以下の処理が実行される。
まず、注目画素ｐ０に対する同色周囲８画素の縦／横／斜めそれぞれの平均値ａｖｇ１〜ａｖｇ４が、次式によって算出される（ステップＳ１１０）。
【００４２】
avg1 = (p1+p8) / 2
avg2 = (p2+p7) / 2
avg3 = (p3+p6) / 2
avg4 = (p4+p5) / 2
・・・（３）
次に、注目画素ｐ０と各平均値ａｖｇ１〜ａｖｇ４との差分の絶対値が、次式によって算出される（ステップＳ１１１）。
【００４３】
sub1 = | p0 - avg1 |
sub2 = | p0 - avg2 |
sub3 = | p0 - avg3 |
sub4 = | p0 - avg4 |
・・・（４）
続いて、その差分絶対値ｓｕｂ１〜ｓｕｂ４の中で最小となる値ｓｕｂｍと、それに対
応する平均値ａｖｇｍが検出される（ステップＳ１１２）。つまり、注目画素値ｐ０と最も相関の大きい平均値ｓｕｂｍが算出される。
【００４４】
そして、ｓｕｂｍが、ユーザによってレジスタ７１３に設定されている閾値ｔｈ＿ｎ２と比較される（ステップＳ１１３）。
ｓｕｂｍがｔｈ＿ｎ２よりも小さければ、注目画素ｐ０はベイヤノイズ画素であると判定され、注目画素ｐ０がステップＳ１１２で算出されている平均値ａｖｇｍで置き換えられる（ステップＳ１１５）。
【００４５】
一方、ｓｕｂｍがｔｈ＿ｎ２以上であれば、注目画素ｐ０は正常画素であると判定され、そのまま出力される（ステップＳ１１６）。
具体的には、前述の図１３（ｃ）において、ノイズ抑制されなかった範囲Bの注目画素ｐ０について、例えばｔｈ＿ｎ２＝７とすると、ステップＳ１１０によって次式が計算される。
【００４６】
avg1 = (p1+p8) / 2 = (50+100) / 2 = 75
avg2 = (p2+p7) / 2 = (50+50) / 2 = 50
avg3 = (p3+p6) / 2 = (100+50) / 2 = 75
avg4 = (p4+p5) / 2 = (50+105) / 2 = 77.5
更に、ステップＳ１１１によって、次式が計算される。
【００４７】
sub1 = | p0 - avg1 | = | 45 - 75 | = 30
sub2 = | p0 - avg2 | = | 45 - 50 | = 5
sub3 = | p0 - avg3 | = | 45 - 75 | = 30
sub4 = | p0 - avg4 | = | 45 - 77.5 | = 32.5
そして、ステップＳ１１２、Ｓ１１３によって、ｓｕｂｍは次のように判定され、ステップＳ１１４にて、ベイヤノイズ抑制が実行される。
【００４８】
subm = min(sub1〜sub4) = sub2 < th_n2
⇒ ノイズ抑制される  ⇒ p0 = avg2 = 50
この結果、出力画像として，図１３（ａ）のような理想的なものが出力される。
【００４９】
以上説明した本発明の第１の実施形態において、処理対象は、注目画素ｐ０と同色周囲8画素に限られるものではなく、注目画素ｐ０と同色周囲２４画素（図１１参照）に拡張されてもよい。この場合は、ステップＳ１１０で計算されるａｖｇ１〜ａｖｇ４が、それぞれ次式に置き換えられるだけで、それ以外の処理は同じである。
【００５０】
avg1 = (p1+p7+p18+p24) / 4
avg2 = (p3+p8+p17+p22) / 4
avg3 = (p5+p9+p16+p20) / 4
avg4 = (p11+p12+p13+p14) / 4
・・・（５）
図２は、上述の第１の実施形態におけるベイヤノイズ抑制部の機能構成を示す機能ブロック図である。
【００５１】
縦横斜め相関検出部２０１は、図１のステップＳ１１０〜Ｓ１１２の処理に対応する機能を実現する。
閾値判定部２０２は、図１のステップＳ１１３の処理に対応する機能を実現する。
【００５２】
メディアンフィルタ部２０３は、図１のステップＳ１１０の処理に対応する機能を実現する。
セレクタ２０４は、図１のステップＳ１１４及びＳ１１５の処理に対応する機能を実現する。
【００５３】
本発明の第２の実施形態
次に、本発明の第２の実施形態について説明する。
【００５４】
上述した第１の実施形態では、前述した（３）式及び（４）式に基づいて、２画素のみから生成される平均値ａｖｇ１〜ａｖｇ４と注目画素ｐ０との差分絶対値ｓｕｂ１〜ｓｕｂ４が生成され、最大相関を有する差分絶対値ｓｕｂｍとそれに対応する平均値ａｖｇｍが検出された。これに対して第２の実施形態では、判定の安定性を増すために、同色周囲８画素から算出される８つの平均値ａｖｇ１〜ａｖｇ８と注目画素ｐ０との差分絶対値ｓｕｂ１〜ｓｕｂ８が生成され、最大相関を有する差分絶対値ｓｕｂｍとそれに対応する平均値ａｖｇｍが検出されることが特徴である。
【００５５】
図３は、本発明の第２の実施形態における、図８に示される欠陥補正・ベイヤノイズ抑制・色補間部８０４の機能のうち、欠陥補正・ベイヤノイズ抑制機能を実現する部分の動作フローチャートである。
【００５６】
この動作フローチャートは、第１の実施形態にける図１の場合と同様に、ファームウェアロジック回路の動作として実現されてもよいし、一般的な中央演算処理装置、主記憶装置、外部記憶装置、及びバス等から構成されるコンピュータが主記憶装置や外部記憶装置に記憶された制御プログラムを実行する動作として実現されてもよい。
【００５７】
図３において、第１の実施形態における図１の動作フローチャートの場合と同じステップ番号が付された部分は、図１の場合と同じ動作を実行するものとする。
即ち、まず、注目画素ｐ０に対して、図４の４０１として示される同色周囲８画素ｐ７〜ｐ９、ｐ１２、ｐ１３、ｐ１６〜Ｐ１８の輝度値の平均値ａｖｇが、次式によって算出される（ステップＳ３０１）。
【００５８】
avg = (p7+p8+p9+p12+p13+p16+p17+p18)/8  ・・・（６）
次に、これ以降のステップＳ１０２〜Ｓ１０９までは、図１の場合と同様である。
【００５９】
そして、ステップＳ１０４、Ｓ１０６、又はＳ１０８のいずれの補正／抑制処理も実行されておらず、ステップＳ１０９の判定がＮＯである場合には、以下の処理が実行される。
【００６０】
まず、注目画素ｐ０に対して、図５に示されるように、注目画素ｐ０に対して８パターンの同色周囲８画素から、次式によって８つの平均値ａｖｇ１〜ａｖｇ８が算出される（
ステップＳ３０２）。
【００６１】
avg1 = (p13+p14+p17+p18+p19+p22+p23+p24) / 8
avg2 = (p12+p13+p16+p17+p18+p21+p22+p23) / 8
avg3 = (p11+p12+p15+p16+p17+p20+p21+p22) / 8
avg4 = (p8+p9+p10+p13+p14+p17+p18+p19) / 8
avg5 = (p6+p7+p8+p11+p12+p15+p16+p17) / 8
avg6 = (p3+p4+p5+p8+p9+p10+p13+p14) / 8
avg7 = (p2+p3+p4+p7+p8+p9+p12+p13) / 8
avg8 = (p1+p2+p3+p6+p7+p8+p11+p12) / 8
・・・（７）
次に、注目画素ｐ０と各平均値ａｖｇ１〜ａｖｇ８との差分の絶対値が、次式によって算出される（ステップＳ３０３）。
【００６２】
sub1 = | p0 - avg1 |
sub2 = | p0 - avg2 |
sub3 = | p0 - avg3 |
sub4 = | p0 - avg4 |
sub5 = | p0 - avg5 |
sub6 = | p0 - avg6 |
sub7 = | p0 - avg7 |
sub8 = | p0 - avg8 |
・・・（８）
このようにして計算された差分絶対値ｓｕｂ１〜ｓｕｂ８の中で最小となる値ｓｕｂｍと、それに対応する平均値ａｖｇｍが検出される（ステップＳ３０４）。
【００６３】
このようにして算出された最大相関差分絶対値ｓｕｂｍを使って、図１の場合と同様にして、ステップＳ１１３〜Ｓ１１５において、閾値ｔｈ＿ｎ２との比較判定及びベイヤノイズ抑制処理が実行されることにより、明るさ境界を安定的に検出することが可能となり、より安定したベイヤノイズ抑制が実現される。
【００６４】
図６は、上述の第２の実施形態におけるベイヤノイズ抑制部の機能構成を示す機能ブロック図である。
周辺相関検出部６０１は、図３のステップＳ３０２〜Ｓ３０４の処理に対応する機能を実現する。
【００６５】
閾値判定部６０２は、図３のステップＳ１１３の処理に対応する機能を実現する。
メディアンフィルタ部６０３は、図３のステップＳ３０２の処理に対応する機能を実現する。
【００６６】
セレクタ６０４は、図３のステップＳ１１４及びＳ１１５の処理に対応する機能を実現する。
本発明の第１、第２の実施形態に対する補足
また、以上説明した各実施形態は、イメージセンサシステムのロジック回路として本発明を実施した場合について説明したが、このようなイメージセンサシステムが組み込まれたデジタルカメラや携帯電話機やＰＣ等も、本発明の権利範囲である。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１の実施形態の動作フローチャートである。
【図２】本発明の第１の実施形態の機能ブロック図である。
【図３】本発明の第２の実施形態の動作フローチャートである。
【図４】本発明の第２の実施形態の動作説明図（その１）である。
【図５】本発明の第２の実施形態の動作説明図（その２）である。
【図６】本発明の第２の実施形態の機能ブロック図である。
【図７】イメージセンサシステムの全体構成図である。
【図８】ロジック回路の構成図である。
【図９】ベイヤ画素配列の説明図である。
【図１０】同色画素配列（同色周囲８画素）を示す図である。
【図１１】同色画素配列（同色周囲２４画素）を示す図である。
【図１２】欠陥補正とベイヤノイズ抑制の範囲の説明図である。
【図１３】従来技術を説明するための模式図である。
【符号の説明】
【００６８】
２０１  縦横斜め相関検出部
２０２、６０２  閾値判定部
２０３、６０３  メディアンフィルタ部
２０４、６０４  セレクタ
６０１  周辺相関検出部
７０１  画素アレイ
７０２  垂直走査回路
７０３  水平走査回路
７０４  カラムＣＤＳ
７０５  カラムアンプ
７０６  カラムＡＤＣ
７０７  カラムカウンタ
７０８  ラインメモリ
７０９  ロジック回路
７１０  タイミング発生回路
７１１  基準電圧発生回路
７１２  ランプ波形発生回路
７１３  レジスタ
７１４  光入力信号
７１５  ディジタル出力信号
【図１０】
2009194776.tif 000003
【図１１】
2009194776.tif 000004
【図１】
2009194776.tif 000005
【図２】
2009194776.tif 000006
【図３】
2009194776.tif 000007
【図４】
2009194776.tif 000008
【図５】
2009194776.tif 000009
【図６】
2009194776.tif 000010
【図７】
2009194776.tif 000011
【図８】
2009194776.tif 000012
【図９】
2009194776.tif 000013
【図１２】
2009194776.tif 000014
【図１３】
2009194776.tif 000015