(57)【特許請求の範囲】
【請求項１】
交互に色付けされたサンプルを有する信号における色サンプルを補間する方法において、
前記補間されるべき色サンプルと同一の色の隣接する色サンプルを供給するステップと、
前記補間されるべき色サンプルと同一位置からの異なって色付けされたサンプルを供給するステップと、
前記補間されるべき色サンプルを、前記同一色の隣接する色サンプルと前記同一位置からの異なって色付けされた色サンプルとに従って補間し、補間された色サンプルを供給するステップと、を有し、
前記補間するステップが、
前記補間されるべき色サンプルと同一の色の水平方向に隣接する色サンプルの水平方向平均を決定するステップと、
前記補間されるべき色サンプルと同一の色の垂直方向に隣接する色サンプルの垂直方向平均を決定するステップと、
前記水平方向平均と、前記垂直方向平均と、前記同一位置からの異なって色付けされた色サンプルとの中央値を供給するステップと、
を有することを特徴とする色サンプルを補間する方法。
【請求項２】
請求項１に記載の方法において、前記補間するステップが、前記同一位置からの異なって色付けされた色サンプルを、該異なって色付けされた色サンプルが考慮される前に白バランス調整係数により乗算するステップを有していることを特徴とする方法。
【請求項３】
請求項２に記載の方法において、前記白バランス調整係数が、カメラの色マトリクスの逆であるマトリクスにより補正されることを特徴とする方法。
【請求項４】
請求項１に記載の方法において、前記補間するステップが、前記同一位置からの異なって色付けされた色サンプルを、該異なって色付けされた色サンプルが考慮される前に利得調整係数により乗算するステップを有していることを特徴とする方法。
【請求項５】
請求項１に記載の方法において、偽色を前記補間された色サンプルに従って低減するステップを更に有していることを特徴とする方法。
【請求項６】
請求項５に記載の方法において、中央の色サンプル又は前記補間された色サンプルと、同一色の隣接する色サンプルの平均との間の絶対差分が敷居値を越える場合に偽色が検出されることを特徴とする方法。
【請求項７】
請求項５に記載の方法において、前記補間された色サンプルとは異なる色を持つ色信号において偽色が低減されることを特徴とする方法。
【請求項８】
請求項５に記載の方法において、偽色がクロミナンス信号において低減されることを特徴とする方法。
【請求項９】
請求項１に記載の方法において、前記補間された色サンプルに従って輪郭信号を発生するステップを更に有していることを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、単一色のデータ画素のみをサンプルし、記憶し及びシフトする半行遅延を使用するステップを更に有していることを特徴とする方法。
【請求項１１】
請求項１０に記載の方法において、互いに遅延された緑信号を供給する直列の４つの半行遅延と、互いに遅延された赤／青信号を供給する直列の３つの半行遅延と、３つの補間された緑信号を供給する３つの緑補間器とを使用するステップと、輪郭信号を前記３つの補間された緑信号に従って発生するステップとを更に有していることを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、
輝度信号及びクロミナンス信号を供給するステップと、
前記補間された色サンプルをハイパスフィルタして、高周波白信号を得るステップと、
前記高周波白信号を前記輝度信号に加算して、出力輝度信号を得るステップと、
を更に有していることを特徴とする方法。
【請求項１３】
交互に色付けされたサンプルを有する信号における色サンプルを補間する装置において、
前記補間されるべき色サンプルと同一の色の隣接する色サンプルを供給する手段と、
前記補間されるべき色サンプルと同一位置からの異なって色付けされたサンプルを供給する手段と、
前記補間されるべき色サンプルを前記同一色の隣接する色サンプルと前記同一位置からの異なって色付けされた色サンプルとに従って補間する手段と、を有し、
前記補間する手段が、
前記補間されるべき色サンプルと同一の色の水平方向に隣接する色サンプルの水平方向平均を決定する手段と、
前記補間されるべき色サンプルと同一の色の垂直方向に隣接する色サンプルの垂直方向平均を決定する手段と、
前記水平方向平均と、前記垂直方向平均と、前記同一位置からの異なって色付けされた色サンプルとの中央値を供給する手段と、
を有することを特徴とする色サンプルを補間する装置。
【請求項１４】
交互に色付けされた色素子を備え、交互に色付けされたサンプルを有する信号を供給する色アレイを具備するセンサと、請求項１３に記載の補間装置と、を有することを特徴とするカメラ。
【発明の詳細な説明】
本発明は、交互の色付きサンプルを有する信号における色サンプルを補間する方法及び装置と、そのような装置を有するカメラに関する。
本発明の目的は、なかでも、高い色信号解像度の供給を狙いとする補間を提供することにある。この目的のため、本発明の第１及び第２の特徴は、請求項１及び１５に記載されたような補間方法及び補間装置を各々提供する。本発明の第３の特徴は請求項１６に記載したようなカメラを提供する。そして、有利な実施例が従属請求項に記載されている。
本発明の主たる特徴による交互の色付きサンプルを有する信号における色サンプルを補間する方法においては、欠落した色サンプルは、補間されるべき色サンプルと同一色の隣接する色サンプルと、該補間されるべき色サンプルと同じ位置からの異なる色付きサンプルとに応じて補間される。
本発明のこれら及び他の特徴は以下に説明する実施例を参照して明らかとなるであろう。
図面において：
図１Ａ及び図１Ｂは、RGB及びYeGCyベイヤフィルタ（Bayer filter）を各々示し、
図２は、RGBベイヤフィルタにより得られるRGB画素のサンプル構造及びGRB色のピッチを示し、
図３Ａ及び図３Ｂは、RGBベイヤフィルタの理論的な及びもっと実際的なナイキスト領域を各々示し、
図４図は、欠落した緑の画素の位置における赤又は青の画素を示し、
図５Ａ及び図５Ｂは、パラメータSmartGainR及びSmartGainBの２つの異なる値に対する近白色領域を示し、
図６Ａ及び図６Ｂは、本発明による白バランス制御回路及びRGBプロセッサの２つの構成を示し、
図７Ａ及び図７Ｂは、中央の緑画素が存在する場合及びスマートグリーンアルゴリズムにより再構成された場合の各々における最も近い周囲の緑画素及びサンプルピッチを示し、
図８は、偽色キラーを備える色サンプル補間器の第１の実施例を示し、
図９Ａ及び図９Ｂは、偽色キラーを備える色サンプル補間器の第２及び第３の実施例を示し、
図１０は、センサと、スマート緑処理及び輪郭信号発生を用いる色サンプル補間器の第１実施例とを有するカメラの実施例を示し、
図１１は、スマートグリーン処理及び輪郭信号発生を用いる色サンプル補間器の第２実施例を示し、
図１２は、スマートグリーン処理及び輪郭信号発生を用いる色サンプル補間器の第３実施例を示し、
図１３は、スマートグリーン処理及び輪郭信号発生を用いる色サンプル補間器の第４実施例を示す。
図１ＡはRGBベイヤ（Bayer）イメージセンサの色フィルタアレイを示し、一方、図１ＢはYeGCyベイヤイメージセンサの対応するアレイを示し、ここでYeは黄色、Cyはシアンである。該YeGCyベイヤフィルタにおいては、上記RGBベイヤフィルタと比較して、赤が黄色により置換され、青がシアンにより置換されている。図１において、Ｈ及びＶは水平（列）方向及び垂直（行）方向を各々示している。当該センサは正方形の連続した画素を有していると仮定されている。このことは、解像度が当該センサのアスペクト比とは独立であり、水平方向及び垂直方向の変調伝送特性は各色に対して同一であるということを意味する。
図２は、RGB画素のサンプル構造及びGRBカラーのピッチを示している。ピッチｐは同一色を持つ隣り合う２つの画素間の距離である。その逆数は、当該センサの単一のRGB出力の場合、画素又はシステムクロック周波数を表す。即ち、fs=1/pである。各RGBカラーのサンプル周波数は、各RGBカラーの画素間の最短距離に逆比例する。即ち、赤色及び青色に対しては1/2p=fs/2なる水平及び垂直サンプル周波数となり、緑に対しては
0004380805.tif 000002
なる対角線方向サンプル周波数となる。
サンプルされた画像に関しては、各カラーの周波数スペクトルは各カラーのサンプル周波数の倍数で繰り返されることになる。該倍数的サンプル周波数は二次元アレイ内で等間隔で位置する。
図３Ａ及び図３Ｂは上記のようなアレイに対応するナイキスト領域を非常に限られた数のサンプル周波数点で示している（何故なら、この数は理論的には無限であるからである）。偽信号を防止するため、或るサンプル周波数点の周りの各スペクトルは該点に隣接するサンプル周波数点のスペクトルと重なり合ってはならない。これが成り立てば、ナイキスト定理は満たされる。即ち、光学系及び画素の積分的光感知部を介して供給される情景の入力周波数は、各カラーのサンプル周波数の半分より低くなければならない。このナイキスト領域の外側で供給される周波数は確かに偽信号発生の原因となる。このことは、各カラーの最大解像度は各カラーのサンプル周波数の半分により決まるということを意味する。従って、赤及び青の場合、水平方向及び垂直方向の最大解像度はfsRB/2=fs/4となり、対角線方向の最大解像度は
0004380805.tif 000003
となる。緑に関しては、対角線方向解像度は
0004380805.tif 000004
なる最大値を有し、水平及び垂直方向ではfs/2となる。それらの対称性の故、赤色、青色及び緑色のナイキスト領域は単一の図で描くことができる（４分の１のみを示す）。R/Bは赤／青領域を示し、Ｇは緑領域を示す。所望の領域は1/4円により示され、一方、全正方形は３ＣＣＤカメラの領域に相当する。
単一のRGBベイヤセンサのナイキスト領域を、各センサが該ベイヤセンサと同一のサンプリング周波数‘fs’を持つ３ＣＣＤカメラの正方形領域と比較することが可能である。人間の目は回転的に対称な解像度を有しているので、比較のためのもっと実際的な領域は円形形状である。この所望の領域は、各RGBカラーに対して、完全なＶＧＡ若しくはＸＧＡ、又は他の何れかのフォーマットを表すものと見なすことができる。
図３Ｂに示したように、ナイキスト周波数fs/2付近の緑色はナイキスト理論の考えを実際には完全に満たしていないように思われる。即ち、明らかに可視歪みが存在する。同様のことが赤及び青サンプルカラーにも見られる（もっとも、この場合は対角線方向である）。最もやっかいな特徴は方向の区別が不可能であるということである（元の情景は水平ライン及び垂直ラインからなり得る）。サンプルされたゾーンプレート（zoneplate）の偽信号の量を考慮して、新たな領域のもっと良好な近似が図３Ｂに示されている。新たな境界では、極僅かな偽信号発生しかみられない。古い境界の近傍では、偽信号の量は増加する。
結論は、赤及び青の信号、特に緑の信号がナイキスト理論により示されるよりも低い解像度しか提供しないということである。fs/2付近の緑の偽信号の量はそのまま許容することができるか、又はＨ及びＶ方向に１つづつ光学ローパスフィルタを適用することにより低減することができる。しかしながら、この方法はかなり高価となり、解像度の損失も生じる。赤、緑及び青の対角線方向の偽信号発生の低減はここではこれ以上議論しない。
本発明の主な特徴によれば、緑の解像度が水平及び垂直方向においてfs/2の近傍で、以下でスマートグリーン（Smart Green）処理と呼ばれるものにより改善される。図３Ｂに示される緑の解像度損失は、図３Ａの元の期待されたナイキスト領域に回復される。スマートグリーンは対角線方向には作用しない。
スマートグリーン用のアルゴリズムは、解像度損失が高い周波数の白又は近白色情景によく見られ、色付き情景では少ないという事実に基づいている。これを考慮して、赤及び青の寄与がfs/2近傍における白又は近白色の高周波部分の再構成を決定する助けとなる。赤及び青がfs/2近傍で最大の偽信号を生じるのは問題ではない。欠落した緑の画素の値を決定する場合、全ての色付き画素は黒及び白の画素として扱われる。この目的のため、２つのアルゴリズムが適用される。即ち、一方のアルゴリズムはデータをソートし、他方はデータを退色（fade）させる。
図４は、欠落した緑の画素（R/B）を囲む画素の定義を示している。このような欠落した緑の配置はRG/GBベイヤセンサのみならず、RGG/GGB及びRGGG/GGBGセンサ形式にも見られる。これらの全ては同じ欠落した画素の問題を有しているので、スマートグリーンアルゴリズムはこれらの色フィルタアレイにも適用することができる。
下記の変数が使用される：
G12  =  (G1+G2)/2
G34  =  (G3+G4)/2
SigmaG  =  (G12+G34)/2，平均グリーン値
RBc  ：  中央画素の赤及び青の値
SmartGawbR，
SmartGawbB  ：  スマートグリーン白バランス（及びマトリクス）パラメータ、デフォルト値は1.0
SmartGainR，
SmartGainB  ：  もっと対称的な近白色領域に対するRBc用の余分利得、デフォルト値は1.0
minG  ：  退色アルゴリズム用の最小分母値
fade  ：  欠落緑画素用のフェーダ値（fader value）
smartG  ：  補間結果
特にデジタル信号処理のための非常に魅力的なスマートグリーン方法は、G12、G34及びRBcのデータを大きさの順にソートすることにより得られる。ソートされた系列の真ん中の値、言い換えると中央値（median value）が、欠落緑画素の再構成用に利用される。かくして、smartG = median{G12，G34，RBc}となる。
赤及び青の中央画素用のRBc値は：
RBc = SmartGainR * SmartGawbR * Red value
RBc = SmartGainB * SmartGawbB * Blue value
である。
SmartGainXとSmartGawbXとの積はコントローラにより１つのパラメータとして、RBcを計算する乗算器に送ることができることに注意されたい。SmartGainX及びSmartGawbXを適用する必要性は後に説明する。更に、何故スマートグリーン処理が近白色に関して欠落緑画素のみを再構成することができるかが明らかとなるであろう。
ソーティングアルゴリズムと同様の結果を持つもっと複雑な方法は、退色アルゴリズムにより得られる。デフォルトの退色値が0.5に設定されると、スマートグリーン退色動作が無い場合の平均グリーン値sigmaGに等しいような欠落画素が再構成される結果となる。RBcに関しては前記と全く同様のことが成り立ち、解像度改善の方向が該RBc値の助けにより決定される。
先ず、G12>G34に関して状況が判断され、そうなら、
if G12 - sigmaG > minG，then
fade = 0.5*(1 + (RGc - sigmaG)/(G12 - sigmaG))；
if fade > 1 then fade = 1 else if fade < 0 then fade = 0
SmartG = fade*G12 + (1 - fade)*G34
else smartG = sigmaG
fade及びsmartGの計算に関しては、もしRBc>sigmaGなら、白優勢（＝垂直解像度改善）であり、もしRBc<sigmaGなら黒優勢（＝水平解像度改善）であるが、もしRBc=sigmaGならsmartG=sigmaGである。
この方向検出アルゴリズムが、Ｒ、Ｇ及びＢが略同じ値を有する近白色信号に対して満足に機能するであろうことを想像するのは難しいことではないであろう。もっと飽和した色に関しては、再構成がうまく行かなくなり始めるが、知覚の観点からは、近白色の高周波部分は高度に飽和した高周波部分よりも良く見られる。これが、当該スマートグリーンアルゴリズムを欠落緑画素の図示の配置の場合に適用することを魅力的にするものである。
フェーダ（fader）の使用は、G12、G34及びRBcの関数として、欠落緑画素に対してスライド結果（sliding result）が達成されることを保証する。このことは、周囲の緑画素からの急激な且つ明瞭に視認可能なずれはなく、再構成された画素の歪みは最小化されることを意味する。しかしながら、フェーダにも拘わらず、ソートアルゴリズムの結果は同一であることに注意すべきである。情景としての二次元的なゾーンプレートの場合は、フェーダによるスライド制御はfs/2周波数近傍の殆ど完全な障害のなさから明瞭に見ることができる。
スライド退色アルゴリズムの貢献の１つが、RBc及びG12からsigmaGを減算することにより達成され、交流値に基づくフェーダの位置を規定する。最初見たところ、これは（RBc-sigmaG）パラメータに対しては一寸変であるが、近白色の色に対してはそうではない。（RBc-sigmaG）の代わりに（RBc-sigmaRBc）を使用した平均された周囲のRBc画素でもっての実験は、欠落した緑画素の再構成に失敗した。
前述したのと同様に、G34>G12なる状況に関しては：
if G34-sigmaG > minG，then
fade = 0.5*(1+(RBc-sigmaG)/(G34-sigmaG))
if fade > 1 then fade = 1 else if fade < 0 then fade = 0
smartG = fade*G34 + (1-fade)*G12
が成り立つ。
fade及びsmartGの算出に関しては、RBc < sigmaGなら黒優勢（＝垂直解像度改善）であり、RBc > sigmaGなら白優勢（＝水平解像度改善）であるが、RBc = sigmaGならsmartG = sigmaGが成り立つ。
パラメータminGは退色値の計算のための前記分母値を制限しなければならない。例えば100 IREフルスケール振幅の1/16であるようなminGに関しては、最悪の場合の割り算動作は(1 - 1/16)/1/16、従ってRBc = 100 IREであるなら１６倍の増幅になり得る。
勿論、増幅の量を例えば約８に制限することは可能である。その場合、minGは100 IREの1/8になる。しかしながら、ＰＣによるシミュレーションによれば、1/8なるminGの値は、再構成された緑信号における歪みの量に関する限り、正に許容できるものである。
更に、この正に許容可能な歪みにより、minGはfs/2における全変調伝送に対して比例しなければならない。かくして、fs/2における例えば５０％の全変調伝送振幅の場合、正に許容可能な歪みに関してはminGは0.5*1/8、即ち100 IREの1/16でなければならない。
G12及びG34の或る値におけるR/B中央画素のRBc値の関数としての幾つかのフェーダ特性が可能である。
より単純なフェーダアルゴリズムもシミュレーションソフトウェアの助けにより試験された。前述したアルゴリズムと比較して、該アルゴリズムは再構成されたsmartG信号に多くの歪みを発生し、小さな信号振幅に対しては正確さが劣り、一層小さな近白色領域しか有さない。この一層単純なアルゴリズムに関しては、fade = 0.5*RBc/sigmaGが成り立つ。
smartGの近白色領域は、色ドメインにおける緑の再構成が満足に動作する領域であると理解される。図５Ａは、近白色領域を伴うRGB色全領域（color gamut）を示している。スライドアルゴリズムではあるが、この領域外のsmartGはかなり速くsigmaG、平均グリーン値に等しくなる。もっと対称的な領域を達成するため、SmartGainR及びSmartGainBパラメータが1.0から2.0に増加され、結果として図５Ｂの近白色領域が得られる。
効果的なsmartG近白色領域を判断するため、２Ｄゾーンプレートが適用される。RGB振幅を変化させることにより、何のレベルのsmarGが満足に作用するかについての推定を行うことができる。純白色の場合、良好なsmartG動作に対する振幅範囲は非常に大きく、少なくとも１０％から１００％まで変化させることができる。しかしながら、問題は振幅のばらつきであり、結果としてRGB色ドメイン内の領域は限られた且つ非対称なものとなる。該領域はSmartGainR/Bにより、もっと対称なものに調整することが可能である。
満足に機能するsmartGプロセッサ（即ち、白色近傍で動作する）のためには、RBc変数における赤及び青の値が各白バランス利得係数awbR及びawbBで補正されるのが好ましい。即ち、SmartGawbR = awbR及びSmartGawbB = awbBである。白バランス補正の位置に応じて、smartG処理を実施する２つのブロック図が可能である。
図６Ａにおいて、白バランス補正WBCはRGB色の再構成の前に実行される。RGB色の再構成はプロセッサPROCにおいて実行され、該プロセッサは赤色及び青色のサンプルに対しては既知の方法により、緑のサンプルに関しては本発明により、RGB出力信号Rout、Gout及びBoutを補間する。図６Ａの方法はRGB色フィルタアレイのみに使用することができ、YeGCyアレイのような補色アレイには使用することができないことに注意されたい。その場合、上記白バランス補正は、相関二重サンプリング（ＣＤＳ）及びＡ／Ｄ変換（ＡＤＣ）回路のアナログ信号経路内で実行するか（デジタル信号の一層良好な量子化性能が得られる）、又は上記ＡＤＣ後のデジタル経路内で実行することができる。この白バランス方法に関しては、SmartGawbR/Bパラメータは1.0に等しく、調整する必要はない。
図６Ｂは、プロセッサPROCによるRGB及びsmartG処理の後の白バランス補正WBCを示している。この場合、満足のゆくsmartG処理動作のためには、パラメータSmartGawbR及びSmartGawbBは白バランス赤及び青利得制御awbR及びawbBに各々等しくなければならない。
YeGCyベイヤアレイの場合も、RGBベイヤアレイに対する場合と同様に、スマートグリーン用のアルゴリズムは解像度の損失が高周波近白色情景によく見られ、色付き情景には少ない事実に基づいている。これを考慮して、RGBベイヤアレイの赤及び青の代わりに、黄色及びシアンの貢献がfs/2近傍の白色又は近白色高周波部分の方向を決定する助けとなる。
近白色に対してYeGCyベイヤアレイのRGBの貢献が等しいと仮定すると、Ye及びCyにおける電子の最大量がRGBベイヤアレイの場合の約２倍であることから、Yeは略2Gであり、これは略Cyであることになる。SmartGawbR及びSmartGawbBが共に約0.5である場合（RGBベイヤアレイの場合の1.0の代わりに）、黄色又はシアンに対するRBc値は略緑の振幅に等しくなるであろう。何故なら、RBc = SmartGawbR * Ye又はRBc = SmartGawbB * Cyanであるからである。SmartGawbR/BをawbR/Bの関数として計算することにより、全く同一のスマートグリーンアルゴリズムを上述したように適用することができる。
補色アレイの場合、白バランス（図６Ｂ）はスマートグリーン処理に先行する代わりに後続することは明らかであろう。何故なら、赤及び青信号はYe-G及びCy-Gなる減算の後にのみ利用可能であるからである。スマートグリーン処理が広い色温度範囲において満足に機能するためには、適切なSmartGawbR/B値が必要である。awbR及びawbBパラメータが既知の場合は、上記値はコントローラにより下記のように計算することができる。
SmartGawbR = 1 /（1 + 1/awbR）及び
SmartGawbB = 1 /（1 + 1/awbB）
好ましくは、パラメータSmartGawbR/Bはカメラの自動白バランスをカバーするのみならず、カメラのカラーマトリクスの効果を考慮に入れるものとする。白バランス及びマトリクスのための補正は下記のように要約することができる：
1．  RGBベイヤセンサ
1.1  白バランスがRGBプロセッサPROCの前の場合：
SmartGawbR=1.0，SmartGawbB=1.0（図６Ａ参照）
1.2  白バランスがRGBプロセッサPROCの後の場合：
SmartGawbR=awbR，SmartGawbB=awbB（図６Ｂ参照）
1.3  R白バランスがGBプロセッサPROCの前、マトリクスがRGBプロセッサPROCの後の場合：
SmartGawbR = EGiwb/ERiwb，SmartGawbB = EGiwb/EBiwb
この場合、EGiwb、ERiwb及びEBiwbは下記の行列積により導出することができる：
0004380805.tif 000005
ここで、マトリクス係数b11ないしb33は、カメラ信号処理に使用されるRGBマトリクス係数a11ないしa33の逆マトリクス係数を形成する。しかしながら、もし偽色（false color）が発生する場合は（後述する）、上記カメラマトリクス係数は以下のように調整しなければならない：
a11 = a11
a12 = a12*awbR
a13 = a13*awbR
a2x = a2x（緑マトリクス係数への適応化は無い）
a31 = a31*awbB
a32 = a32*awbB
a33 = a33
1.4  RGBプロセッサPROCの後に白バランス及びマトリクスがある場合：
SmartGawbR = EGiwb/ERiwb，SmartGawbB = EGiwb/EBiwb
この場合、EGiwb、ERiwb及びEBiwbは下記の行列積により導出することができる：
0004380805.tif 000006
2．  YeGCyベイヤセンサ
2.2  （前述したように）RGBプロセッサPROCの後に白バランスがある場合：
SmartGawbR=1 /(1 + 1/awbR)，SmartGawbB=1 /(1 + 1/awbB)
2.4  RGBプロセッサPROCの後に白バランス及びマトリクスがある場合：
SmartGawbR = EGiwb/ERiwb，SmartGawbB = EGiwb/EBiwb
ここで：
0004380805.tif 000007
であり、続いて下記の補正が適用される：
ERiwb = ERiwb + EGiwb
EBiwb = EBiwb + EGiwb
偽色キラー（false color killer）は隣接する画素を用いた検出アルゴリズムにより開始される。RGBベイヤ色アレイの場合は、単一の検出器型のみという結果となり、これは色付き偽信号（colored aliasing）の半分だけを除去することができる。この検出器は緑と、その周囲の緑の画素による対角線との存在を必要とする。偽信号の量の次の半分はスマートグリーンにより再構成された欠落緑画素の助けによりのみ除去することができる。これら２つの偽色検出器の助けにより、殆どの赤及び青の偽信号成分は除去することができる。
偽色の検出のためには、可能な最小限の検出領域が適用されるべきである。RGBベイヤアレイの場合、これは２つの異なる領域という結果になり：そのうちの１つは緑が存在する位置用となり、また１つは緑は存在しないが再構成されたスマートグリーンが利用可能な位置用となる。両状況に関して、図７Ａ及び図７Ｂは最小の検出領域と最も近い取り囲む緑画素の宣言とを示している。両検出器の間の相違は、G1ないしG4のアドレス指定と、現中央緑画素Gc又は再構成されたスマートグリーン画素の取り出しとに関するものである。簡単化のため、このスマートグリーン画素もGcと定義される。両検出器の他の相違は、周囲の画素に対するサンプルピッチにより決定される。即ち、Gcが存在する場合は
0004380805.tif 000008
であり、Gcが存在しない場合はｐである。両検出器に関しては：
SigmaG = (G1+G2+G3+G4)/4，平均グリーン値
が成り立つ。偽色検出条件は、
abs(Gc-sigmaG) > FCgain*FClevel
の場合に満たされる。FClevelの値は、レンズにより生じるfs/2付近の全変調深度（total modulation depth）、起こり得る光学的低域通過、及び当該画素の光感知窓のシンク機能（sinc function）に依存する。従って、RClevelはfs/2における各カメラ形式の全変調深度の関数として調整可能でなければならない。
理論的に、FCgain値はGcが存在する場合はサンプルピッチ
0004380805.tif 000009
に比例し、Gcがない場合はｐに比例する。シミュレーションは、もしGcが存在するなら、不所望な偽色キリング（false color killing）を防止する場合、２なるFCgain値の方が
0004380805.tif 000010
よりも良いことを示している。Gcがない場合は、FCgainは１となる。
偽色検出条件が満たされる場合は、“falsecolor”と呼ぶブールは真に設定される。この条件が満たされない場合は、このブールは偽に設定される。上記falsecolorブールは、真の場合、偽色除去動作自体のために、及び該偽色除去がフェーダにより実行される場合はフェーダ値の計算のために使用される。もし、falsecolor検出ブールが真に設定された場合は、偽色を除去するための２つの位置における２つの方法が可能である。第１の方法はハードのスイッチングカラーキラーに関するもので、第２の方法は退色型である。
第１の位置はsmartG処理がなされた場所と同じであり、他の位置は輝度信号Ｙと（ローパスフィルタされた）色差信号R-Y及びB-Yが利用可能な場所に位置する。以下の概観は偽色除去可能性FC1ないしFC4を示し、これら可能性の各々を以下に説明する。
FC1:  位置SmartGにおけるスイッチングにより除去
FC2:  位置SmartGにおける退色により除去
FC3:  位置Ｙ、R-Y、B-Yにおけるスイッチングにより除去
FC4:  位置Ｙ、R-Y、B-Yにおける退色により除去
FC1:  SmartG位置におけるスイッチングによる偽色除去
白バランス制御がスマートグリーン処理の前であり、falsecolorブールが真に設定されている場合は、除去動作に関しては赤（Red）= Gc及び青（Blue）= Gcが成り立つ。シミュレーションによれば、FClevelはfs/2における１００％変調深度での全信号範囲（100 IRE）の1/16に調整されなければならない（即ち、８ビット及び２５６のグレイレベルの場合、FClevelは１６である）。
信号対雑音比が約２６デシベルである場合、不所望なカラーキリングを防止するにはFClevelは全範囲の1/8まで増加されねばならない。上記信号対雑音比はfs/2の帯域幅にわたって加重されず、緑信号上で測定される。
白バランスがスマートグリーン処理の後に位置する場合は、赤及び青の偽色結果は、赤及び青が偽色キリングの場合に白に２度補正されるのを防止するために、awbR及びawbB、即ち白バランス赤及び青利得制御により各々除算されねばならない。その場合、そしてfalsecolorブールが真に設定されている場合、偽色除去に関しては：
Red = Gc/SmartGawbR及び
Blue= Gc/SmartGawbB
が成り立つ。
図８は、偽色キラーを備える色サンプル補間器の第１実施例を示す。センサからのRGB入力信号RGBinはプロセッサPROC’に供給され、該プロセッサは緑を得るためのスマートグリーンアルゴリズムを用いてRGB再構成を実行すると共に、偽色の存在を検出する（ブールfalsecolorを出力）。プロセッサPROC’からの赤信号Ｒ、青信号Ｂ及びブールfalsecolorは偽色キラー回路FCKに供給されて、補正された赤信号R’及び補正された青信号B’を得る。信号R’及びB’は白バランス制御回路WBCに供給され、赤出力信号Rout及び青出力信号Boutを得る。前述したように、好ましくは、色マトリクスＢ（前述したように係数b11ないしb33を備える）がRGB及びスマートグリーンプロセッサ並びに偽色検出器PROC’と、偽色キラーFCKとの間に介挿される。該色マトリクスＢの赤出力信号ｒと青出力信号ｂとは上記偽色キラーFCKに供給され、一方、該色マトリクスの緑出力信号ｇは前記プロセッサPROC’のsmartGreen出力信号と共に該図８の回路の緑出力信号Goutを形成する。上記２つの緑信号smartG及びｇがどのように処理されるべきかは、図９Ｂにより示されるであろう。
FC2:  smartG位置における退色による偽色除去
ブールfalsecolorが真である場合は、退色アルゴリズムは：
FCfade = abs(Gc-sigmaG)/FCfadelevel
R-Y = (1-FCfade)*(Red-Gc)及びB-Y = (1-FCfade)*(Blue-Gc)
Red = R-Y + Gc及びBlue = B-Y + Gc
である。
デフォルトのFClevelは1/16であり、分母FCfadelevelは100 IREの全範囲の1/4である。
雑音の関数として、FClevelは全スケール値の1/8に上昇され、一方、FCfadelevelは維持される。その場合、赤及び青の偽色結果は殆どスイッチングモードと等しくなる。
分母FCfadelevelは、FClevelで実施されるのと同様に、全MTFの変調深度に比例的に適応させることができる。
smartG及び偽色の後の白バランス制御の場合も、赤及び青の結果はSmartGawbR及びSmartGawbBにより各々除算されねばならない。図８を参照し、上記退色偽色キラーへの点線によるFCfade接続に注意されたい。
FC3:  R-Y/B-Y位置でのスイッチングによる偽色除去
FC3及びFC4に関しては、白バランス制御はR-Y/B-Y又はU/V位置における偽色除去前に実行されると仮定される。このことは、白バランスを考慮する必要は無く、除算回路は必要でないことを意味する：
Red = Gc/SmartGawbR及び
Blue= Gc/SmartGawbB
前記４つの除去可能性FC1ないしFC4の全てに関して、偽色検出はsmartG位置において下記の同一の条件下で実行されることになる：
‘if abs(Gc-sigmaG) > FCgain*FClevel，then etcetra’
FCgain及びFClevelに関して前述と同様の調整が成り立ち、同じく、赤及び青に関してGcの関数としての同様の伝送特性が成り立つ。
falsecolorブールが真の場合、下記の動作がR-Y/B-Y位置においてなされる：
R-Y = 0及びB-Y = 0，(又はU = 0及びV = 0)
FC4:  R-Y/B-Y位置での退色による偽色除去
falsecolorブールが真の場合は、以下の退色動作が行われる：
FCfade = abs(Gc-sigmaG)/FCfadelevel
U’= (1-FCfade)*U
V’= (1-FCfade)*V
FCfade = 1の場合は、色差信号は零になる。
点線FCfadeを含めて、図９Ａは該FC4方法のブロック図を示している。センサからのRGB入力信号RGBinはプロセッサPROC’に供給され、該プロセッサは緑を得るためのスマートグリーンアルゴリズムを用いてRGB再構成を実行すると共に、偽色の存在を検出する（ブールfalsecolorを出力）。プロセッサPROC’からの赤信号Ｒ及び青信号Ｂは白バランス制御回路WBCに供給されて、赤信号R”及び青信号B”を得る。マトリクス回路MXはプロセッサPROC’からの緑信号smartG並びに赤信号R”及び青信号B”を、輝度信号Ｙ及び色信号（クロミナンス信号：chrominancesignal）Ｖ及びＵに変換する。該マトリクスMXは、好ましくは、ガンマ補正動作も実行するものとする。偽色キラー回路FCKはクロミナンス信号Ｖ及びＵを上記ブールfalsecolorに応じて補正することにより補正されたクロミナンス信号V’及びU’を得、これら信号はローパスフィルタLPFによりローパスフィルタされて出力クロミナンス信号Vout及びUoutを得る。マトリクス回路MXからの輝度信号Ｙには遅延回路DLにおいて対応する遅延が施され、該遅延回路が出力輝度信号Youtを出力する。前述したように、好ましくは、色マトリクスＢ（前述したように係数b11ないしb33を備える）がRGB及びスマートグリーンプロセッサ並びに偽色検出器PROC’と、白バランス回路WBCとの間に介挿される。色マトリクスＢの赤出力信号ｒと青出力信号ｂとは上記白バランス回路WBCに供給され、一方、該色マトリクスの緑出力信号ｇは、前記プロセッサPROC’のsmartGreen出力信号と共に、前記マトリクス回路MXに緑入力として供給される。上記２つの緑信号smartG及びｇがどのように処理されるべきかは、図９Ｂにより示されるであろう。
図９Ｂは、図９Ａの実施例の他の例を示し；ここでは図９Ａと図９Ｂとの間の相違を説明する。図９Ｂは色マトリクスＢを有しておらず、遅延回路DLも存在しない。マトリクスMXの出力信号ＹもローパスフィルタLPFによりローパスフィルタされ、該フィルタはローパスフィルタされた輝度信号Ylfを出力する。プロセッサPROC’のスマートグリーン出力信号smartGはマトリクスMXのみならず高周波白処理ユニットＩ、LPF2、DL2、A1にも供給され、該ユニットは高周波白輝度信号Ywを出力する。加算器A2は上記高周波白輝度信号Ywとローパスフィルタされた輝度信号Y1fとの和をとり、これにより出力輝度信号Youtを得る。
上記高周波白処理ユニットＩ、LPF2、DL2、A1を設ける理由は以下の通りである。通常、高解像度緑信号を伴うセンサ形式（ベイヤセンサ形式等）の場合は、輝度信号は該高解像度（スマート）緑信号の５９％のみしか含まない。何故なら、輝度信号は0.59*G、0.3*R及び0.11*Bの和により得られるからである。この周波数伝達特性の振幅減少は明瞭に視認可能な鮮鋭度再現の低下を生じる。この欠点は、上記高周波白処理ユニットＩ、LPF2、DL2、A1により防止することができる。スマートグリーン信号smartGの高周波部分がローパスフィルタされた輝度信号Ylfに加算され、これにより充分な解像度を有する出力輝度信号Youtを得る。上記スマートグリーン信号smartGの高周波部分はインバータＩにより得られ、該インバータの出力はローパスフィルタLPF2によりローパスフィルタされ、これにより反転及びローパスフィルタされたスマートグリーン信号を得る。遅延回路DL2は、スマートグリーン信号smartGを、インバータＩ及びローパスフィルタLPF2の処理遅れに対応する遅れにわたりスマートグリーン信号smartGを遅延する。加算器A1はローパスフィルタLPF2と遅延回路DL2との出力信号の和をとり、高周波白輝度信号Ywを得る。加算器A1を減算器に置換した場合は、勿論、インバータＩは不要となる。
図８の実施例においては、色マトリクスＢの緑出力信号ｇ並びに白バランス制御回路WBCの出力信号Rout及びBoutは、通常のRGB-YUVマトリクス回路（図示略）に供給され、これにより輝度信号及び色信号を得る。スマートグリーン信号smartGは、図９Ｂに示したような形式の高周波白処理ユニットＩ、LPF2、DL2、A1によりハイパスフィルタされ、該ユニットの出力信号Ywは上記RGB-YUVマトリクス回路により得られた輝度信号と加算されて出力輝度信号を得る。図９Ａの実施例においては、マトリクス回路MXは通常のRGB-YUVマトリクス回路を有し、該マトリクス回路は色マトリクスＢの出力信号ｇ並びに白バランス制御回路WBCの出力信号R”及びB”を輝度信号並びにクロミナンス信号Ｖ及びＵに変換する。スマートグリーン信号smartGは、図９Ｂに示したような形式の高周波白処理ユニットＩ、LPF2、DL2、A1によりハイパスフィルタされ、該ユニットの出力信号Ywは上記RGB-YUVマトリクス回路により得られた輝度信号と加算されてマトリクスMXにより供給される輝度信号を得る。
本発明による偽色除去の評価の結果、以下の考えに到った。偽色検出器の最小FClevelに関しては、欠陥画素のように見える不所望且つ明瞭に視認可能な色キリング動作を防止するために、当該偽色除去は比較的大きなレベルを必要とする。fs/2における１００％変調深度でのシミュレーションにおいては、Gcが無い場合は100 IREの1/16の最小FClevelが必要であり、Gcが存在する場合は1/8の最小FClevelが必要である。ここで、fs/2におけるもっと低い全変調深度においては、FClevelは比例して減少させることができる。
スイッチング又は退色偽色キラーに関しては、これらスイッチング及び退色偽色除去の知覚結果を比較すると、退色型の方が僅かに有利である。差は、極く僅かな画像においてのみ認められる。
偽色キラーの最も良好に動作する位置に関しては、該偽色キラーの各位置を比較した場合、R-Y/B-Yの位置が僅かに有利である。何故なら、不所望な色キリング動作の場合、LPFが該動作を目立たないアーチファクトに消し潰すからである。R-Y/B-Y位置の他の利点は、除算回路が不要であることである（Red = Gc/SmartGawbR及びBlue = Gc/SmartGawbB）。
SmartGainR/Bの偽色キラーに対する影響に関しては、シミュレーションは、これらのパラメータは、１より大きい場合、より不所望の程度の少ない色キリング動作に関する限り偽色キラーの動作を改善し始めることを証明している。
中央の緑が存在する場合における偽色除去のみに関しては、欠落緑画素における偽色を除去することは不可能である。しかしながら、スマートグリーン無しでは、緑が存在する場合の偽色除去は偽信号の全量の５０％の低減のみしか得られない。
図１０は、図１ＡによるRGBベイヤフィルタを備えるセンサＳと、スマートグリーンを含むRGBベイヤセンサ用の並列２Ｄラプラシアン輪郭及びRGB処理部を有するカメラの簡略化された図を示す。輪郭信号は並列処理を介して得られ、図１１の実施例から分かるように、４つの余分な行遅延の必要性を防止している。図１０において、図１ＡのRGBベイヤフィルタを備えるセンサＳからのRGB入力信号RGBinは、直接に並びに第１及び第２の水平行遅延部（１Ｈ）を介してRGB（スマートグリーン）及び並列輪郭プロセッサRGBprocの入力端子に供給され、該プロセッサはRGB出力信号Ro、Go及びBo並びに輪郭信号contを出力する。
スマートグリーン信号はRGBベイヤイメージセンサの全水平及び垂直解像度を提供するので、fs/2の近傍により多くの利得を持つ輪郭フィルタを適用することが可能となる。しかしながら、その場合、該輪郭フィルタには上記センサの緑信号の代わりにスマートグリーン信号を供給する必要がある。しかしながら、その目的のためには、先ずスマートグリーン信号が利用可能でなければならず、このことは上記輪郭処理がRGB再構成の後で実行しなければならないことを意味する。
図１１の図は、一目で、本処理方法が４つの余分な行遅延を要すことを示しており、２つは輪郭フィルタ用、更に２つは赤及び青のスマートグリーン（Go）及び輪郭信号への遅延適合用である。行遅延の合計数は６となる。図１１において、RGB入力信号RGBinは、直接に並びに第１及び第２の水平行遅延部（１Ｈ）を介してRGB（スマートグリーン）プロセッサRGBproc’の入力端子に供給され、該プロセッサは赤信号Ｒ、青信号Ｂ、及び前述したスマートグリーンアルゴリズムに基づいて得られる緑信号smartGを出力する。輪郭プロセッサCONTprocは上記緑信号smartGと、該緑信号smartGの１度及び２度行遅延された信号とを入力し、輪郭信号contを出力する。上記の１度遅延された信号は緑出力信号Goを形成し、一方、RGBプロセッサRGBproc’からの信号Ｒ、Ｂは１度遅延されて上記緑信号Goに同期した赤出力信号Ro及び青出力信号Boを得る。
しかしながら、RGB画素のベイヤ構造のお陰で、行遅延の数を減少させることができる。図１２は、スマートグリーン信号を伴い、行遅延の数が図１１における６の代わりに４．５となる直列輪郭処理を示している。ここで、１Ｈ行遅延はセンサが１行に有するのと同数の画素を含みむと共に全クロック速度でシフトする一方、1H/2行遅延は上記数の半分の画素を含むと共に全クロック速度の半分でシフトすることに注意されたい。
図１２において、多重化されたRGBin信号は1H/2のRB行遅延部R/Bdelに供給され、該遅延部は何のセンサ行が読み出されたかに応じて赤又は青データ画素のみをサンプルし、記憶し及びシフトする。また、入力信号RGBinは、スマートグリーンプロセッサsmartGprocと、２つの直列な1H/2の緑遅延部Gdelとにも供給される。後者に関しては、緑のデータ画素のみがサンプルされ、記憶され及びシフトされることになる。スマートグリーンプロセッサsmartGprocへの全入力に関しては、従ってRBc信号に関しても、これらは先ず零スイッチボックスで処理され、結果として以下の全クロック速度のRBc及び緑画素データが得られることになる。即ち、
RBcに関しては：
Ｒ０Ｒ０Ｒ０
０Ｂ０Ｂ０Ｂ等
緑に関しては：
０Ｇ０Ｇ０Ｇ
Ｇ０Ｇ０Ｇ０等
赤及び青データのみに関しては、上記のような零スイッチボックスはR/BプロセッサR/Bprocの入力においても使用され、結果として、再構成された赤及び青出力信号Ro、Boが得られる。
スマートグリーンプロセッサsmartGprocからのスマートグリーン信号smartGは２行遅延輪郭プロセッサCONTprocに供給される。図１２の実施例においては、４．５なる合計数の行遅延が必要となる。
図１２の実施例においては、単一のスマートグリーンプロセッサsmartGprocが使用された。図１３は３つの並列なスマートグリーン処理ブロックを備える実施例を示し、該実施例においてはスマートグリーン信号での輪郭処理に３．５のみの行遅延しか必要とされない。スマートグリーンプロセッサsmartGproc及びR/BプロセッサR/Bprocは入力端に零スイッチボックスを有する。上側及び下側のスマートグリーンブロック用の零スイッチボックスは同一のタイミングを有する。３つの行遅延されたRBc信号が、RBc処理の前にRBc行遅延部R/Bdelから得られる。スマートグリーン処理がソーティングアルゴリズムを用いて実行される場合は、各スマートグリーンブロックはRBc*SmartawbX（Ｘは赤又は青のRBc信号用である）なる積のために自身の乗算器を必要とすることに注意すべきである。パラメータSmartGawbR及びSmartGawbBもSmartGainXパラメータを含む。SmartGawbR又はSmartGawbBは各スマートグリーンブロックで選択され、赤又は青のRBc信号の存在に依存する。
図１１ないし図１３の2Dラプラシアン輪郭処理ブロックCONTprocには、改良された偽色検出器を追加することができる。この場合、偽色を検出するために、可能な限り小さな検出領域を使用することができる。前述したように、偽色検出器には２つの異なる検出領域が必要であり、この場合、１つは緑が存在する位置（図７Ａ）に対してであり、１つは緑は存在しない（図７Ｂ）が再構成されたスマートグリーンが利用可能な位置に対してである。余分な行遅延のため、スマートグリーン信号smartGは両検出器形式の各位置において利用可能であるので、最良のもの（図７Ｂのもの）のみを使用することが可能である。
中央の緑画素Gcが再構成されたスマートグリーン画素である場合は、該画素は４つの既存の緑画素により囲まれる。しかしながら、中央の緑画素が既存の緑画素である場合は、該画素は４つの再構成されたスマートグリーン画素により囲まれる。前述したように、偽色検出器に関しては：
SigmaG = (G1+G2+G3+G4)/4，平均グリーン値
が成り立つ。偽色検出条件は、
abs(Gc-sigmaG) > FCgain*FClevel
ならば、満足される。
上記FClevelの値は、レンズに起因するfs/2付近の全変調深度、可能性のある光学的低域通過及び当該画素の光感知窓のシンク機能に依存する。従って、FClevelは各カメラ形式のfs/2における全変調深度の関数として調整可能でなければならない。
かくして、FCgainパラメータは１となる。何故なら、該検出器が再構成されたスマートグリーン画素又は既存の緑画素とは独立になったからである。該検出器は緑の存在の関数として最早大きなFCgain係数を必要としないので、当該偽色検出アルゴリズムは改善される。１であるFCgainパラメータは最早必要ではない。
偽色検出が満足されると、“falsecolor”と呼ぶブールは真に設定される。この条件が満たされない場合は、該ブールは偽となるように設定される。falsecolorブールは、真なら、偽色除去動作自体のために使用され、該偽色除去がフェーダにより実行される場合はフェーダ値を算出するためにも使用される。
本発明の主要な特徴は以下のように要約することができる。１個の単一領域イメージセンサのみを備えるデジタルスチルカラーカメラは、色画素を当該センサの利用可能な光感知領域にわたり分散させねばならない。多くの色フィルタアレイが、原色赤-緑-青及び補色黄-マゼンタ-シアンを用いて可能である。しかしながら、どのようなアレイであれ、各センサが単一色センサと同じ量の画素を有するような３センサRGBカメラと比較した場合、結果として、解像度損失及び色付き偽信号アーチファクトを伴う。
最小の解像度損失及び最小の色付き偽信号の点では、最良の色フィルタアレイの１つはRGBベイヤ色フィルタである。このフィルタの１つの行は水平のＲＧを繰り返す色画素系列を有し、次の行はＧＢの系列を有し、等々である。
スマートグリーン処理は、緑信号の水平方向及び垂直方向における解像度を改善する方法である。色再現とは別に、スマートグリーン処理の目的は３センサRGBカメラの品質を非常に近く近似することである。言い換えると、単一のRGBベイヤセンサカラーカメラでもって真のＶＧＡ、ＸＧＡ又はどのようなサイズをも提供することにある。
好ましくは、下記のような特徴が存在する。RG/GB及びYG/GCベイヤ、RGG/GGB及びRGGG,GGBG形式のような幾つかのセンサ形式用、並びに緑及びRB/BRセンサ（Ｒ及びＢのスマート再構成）を備える２センサカメラ用のソーティング、退色及び単純な退色アルゴリズムによるスマートグリーン（＝欠落画素）再構成アルゴリズム。スマートグリーン再構成アルゴリズムにおける赤及び青信号用の余分な利得を用いた近白色領域の補正。白バランスパラメータを用いた欠落画素値の補正。
本発明の他の特徴は以下のように要約することができる。赤-緑-青（RGB）又は黄-緑-シアン（YGC）ベイヤ色アレイは、ＲＢ又はＹＣ画素の制限されたナイキスト領域に起因する色付き偽信号（偽色）の影響を受ける。全偽信号の影響の半分は、中央の緑画素と他の４つの対角線に囲む緑画素とを用いて偽色検出器により除去することができる。欠落した緑の位置においては、偽色検出は不可能である。しかしながら、前述したような欠落画素の再構成を用いた場合は、同一のアルゴリズムで水平及び垂直の周囲画素を用いて上記色付き偽信号の第２の部分は除去することができる。結果は、ゾーンプレートのようなテスト情景における色付き偽信号は完全に殺されたということである。通常の情景においては、全部ではないが多くの偽信号が殺された。
好ましくは、下記の特徴が存在する。緑が存在する位置及び緑が存在しない位置における偽色の除去（各々に対する偽色レベルの適応化を含む）。スマートグリーン再構成アルゴリズムは、先ず、欠落した緑の位置において必要であることに注意されたい。スイッチング及び退色偽色キラー方法。レンズの全変調伝達関数、光学的ローパスフィルタ及びセンサの光感知窓の関数としての偽色キラーレベルの適応化。白バランスの前に実行される場合の偽色キラーの結果の適応化。偽色キラーを伴うスマートグリーンの場合の、高光学解像度用の対角線方向光学ローパスフィルタの適用。
本発明の他の特徴は以下のように要約することができる。共にRGBベイヤセンサ用のスマートグリーン信号を用いる改善された輪郭処理及び改善された偽色キラーは、次のような考えに基づくものである。RGBベイヤセンサの従来の緑処理のナイキスト領域は、水平及び垂直方向におけるサンプル周波数の半分の付近では充分な増幅をすることができなかった。スマートグリーン信号は近白色に対して充分な解像度を提供するので、通常の２次元ラプラシアン輪郭フィルタを後で利用することが可能となった。スマートグリーン信号には殆ど如何なる歪みもないので、該輪郭フィルタは水平及び垂直方向においてサンプル周波数の半分付近で増幅することが可能となる。一見したところ、この解決策は、２つの行遅延を伴う輪郭フィルタが使用される場合は４つの余分な行遅延を要するようである。本発明の特徴によれば、２次元ラプラシアン輪郭信号は、スマートグリーン及び赤／青処理において１つと半分の余分な行遅延のみにより得ることができる。更に、該特徴は全画素に対して最小のピッチで偽色検出器を使用する可能性を提供する。
好ましくは、以下のような特徴が存在する。輪郭処理用のスマートグリーン信号の使用（図１１の例参照）。図１２に示したような、スマートグリーンと輪郭処理とを組み合わせるための４．５の行遅延回路。図１３に示したような、スマートグリーンで輪郭処理を実行するための、３つのスマートグリーン処理ブロックを備える３．５の行遅延回路。同様の可能な限り最小の検出領域を使用する改善された偽色検出器。
尚、上述した実施例は本発明を限定するというよりは例示したものであり、当業者であれば添付請求の範囲の趣旨を逸脱することなく多くの変形実施例を設計することが可能であることに注意されたい。また、請求項において括弧内の参照符号は請求の範囲を限定するものとみなしてはならない。また、本発明は幾つかの別個の素子を有するハードウェアにより構成することもできるし、適切にプログラムされたコンピュータにより構成することもできる。種々の手段を列挙した装置の請求項において、これら手段の幾つかは１つの同一のハードウェア部品により実施化することができる。
また、図１３の実施例は同一の優先日を持つ同時継続の特許出願（出願人整理番号：PHN16457）の請求項によってもカバーされていることに注意されたい。
【図１Ａ】
0004380805.tif 000011
【図１Ｂ】
0004380805.tif 000012
【図２】
0004380805.tif 000013
【図３Ａ】
0004380805.tif 000014
【図３Ｂ】
0004380805.tif 000015
【図４】
0004380805.tif 000016
【図５Ａ】
0004380805.tif 000017
【図５Ｂ】
0004380805.tif 000018
【図６Ａ】
0004380805.tif 000019
【図６Ｂ】
0004380805.tif 000020
【図７Ａ】
0004380805.tif 000021
【図７Ｂ】
0004380805.tif 000022
【図８】
0004380805.tif 000023
【図９Ａ】
0004380805.tif 000024
【図９Ｂ】
0004380805.tif 000025
【図１０】
0004380805.tif 000026
【図１１】
0004380805.tif 000027
【図１２】
0004380805.tif 000028
【図１３】
0004380805.tif 000029