(57)【特許請求の範囲】
【請求項１】
緑のフィルタを画素単位で市松状に配列して色フィルタが構成された２次元イメージセンサの撮像出力の前記緑のフィルタに対応しない画素の欠落した緑の信号を前記撮像出力により補間する信号補間方法において、
緑の信号が欠落した補間対象画素を中心とする２次元の所定の補間単位領域を予め設定し、
補間対象画素の緑の信号レベルを前記補間単位領域内の緑のフィルタに対応する画素信号のレベルと前記補間単位領域内の補間対象画素と同色のフィルタに対応する画素信号のレベルに基づいて推定し、
当該推定した補間対象画素の緑の信号レベルと当該補間対象画素を中心とする水平方向，垂直方向の緑の信号のレベル変化を複数の２次元変化パターンに分類して該各パターンの前記補間対象画素の最適補間操作を予め設定し、
前記撮像出力の前記補間対象画素毎に該画素を中心とする前記補間単位領域の画素を切出し、
切出した前記補間単位領域の前記緑のフィルタの各画素の信号レベルから前記補間対象画素を中心とする水平方向，垂直方向の緑の信号レベルの変化を判別して該当する２次元変化パターンを特定し、
特定した２次元変化パターンに対応する前記最適補間操作により前記補間対象画素の緑の信号を補間して生成することを特徴とする信号補間方法。
【請求項２】
前記補間対象画素の緑の信号レベルの推定は、前記補間単位領域内の緑のフィルタに対応する画素信号の平均レベルと補間対象画素と同色のフィルタに対応する画素信号の平均レベルの比に補間対象画素の信号レベルを乗じた値とすることを特徴とする請求項１記載の信号補間方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、２次元イメージセンサの色フィルタに緑のフィルタを市松状（モザイク状）配列したフィルタを使用して撮影する際のフィルタ配列に起因する緑の信号の欠落を補間する信号補間方法に関する。
【０００２】
【従来の技術】
従来、ＣＣＤ，撮像管等の２次元イメージセンサを用いたカラーカメラ，カメラ一体型ＶＴＲ等の撮像装置は、経済性，小型化等を考慮して多くの場合、赤（以下Ｒという），緑（以下Ｇという），青（以下Ｂという）の３原色毎にセンサを設けるいわゆる３板，３管式でなく、単板，単管式或いは２板，２管式に構成される。
【０００３】
この場合、センサの受光面にはＧモザイク，ベイヤ配列等と呼ばれるＧフィルタを市松状に配列した色フィルタが設けられ、この色フィルタを介したセンサの撮像出力はＧフィルタに対応しない画素のＧ信号が欠落して輝度成分が欠落する。
【０００４】
そして、とくに撮像出力の画像の輪郭強調や鮮鋭度の改善等を図る場合は、何らかの手法で欠落したＧ信号を補間して輝度成分を生成する必要がある。
つぎに、従来のこの種Ｇ信号の補間方法につき、デジタル処理により２次元の輪郭強調を行う図１０の従来構成を参照して説明する。
【０００５】
まず、単板式の２次元イメージセンサ１は、その受光面に例えば本願発明の１実施例の図２に示す構成の色フィルタ２が設けられ、この色フィルタ２はＧフィルタ２ｇをセンサ１の各画素に対して市松状に配列し、Ｇフィルタ２ｇが設けられない残りの各画素にＲフィルタ２ｒ，Ｂフィルタ２ｂを水平方向のライン毎に交互に配列していわゆる市松状配列に形成される。
【０００６】
そして、センサ１の撮像出力のフィルタ２ｒ，２ｇ，２ｂの画素の信号，すなわちＲ信号，Ｇ信号，Ｂ信号（映像信号）は前処理回路３ｒ，３ｇ，３ｂによりＡＧＣ，クランプ等の前処理が施された後、Ａ／Ｄ変換器４ｒ，４ｇ，４ｂによりデジタル信号に変換される。
さらに、変換器４ｒ，４ｇ，４ｂの出力信号は例えば１水平走査期間（１Ｈ）遅延用の２個のラインメモリ５ｒ，５ｇ又は５ｂの縦列回路に供給され、それぞれ後段回路の処理に必要な時間遅延される。
【０００７】
そして、変換器４ｒ，４ｇ，４ｂの出力信号及びラインメモリ５ｒ，５ｇ，５ｂの遅延信号が色処理回路６に取込まれ、この処理回路６はセンサ１の画素配列や色フィルタ２の組合せに沿った信号の分離，合成及びフィルタリング処理を施し、Ｇ信号についてはつぎに説明する垂直方向又は水平方向の補間処理によりフィルタ２ｒ，２ｂの画素の欠落したＧ信号を補間する。
【０００８】
すなわち、図１１に示すようにフィルタ２ｒ又は２ｂの画素を補間対象画素Ｇx とすると、従来は、この画素Ｇx の垂直方向の両隣りの画素Ｇ0 ，Ｇ1 又は水平方向の両隣りの画素Ｇ2 ，Ｇ3 に注目し、画素Ｇ0 ，Ｇ1 又はＧ2 ，Ｇ3 の信号の単純平均等の１次元の補間操作により画素Ｇx のＧ信号が補間される。
【０００９】
さらに、色処理回路６の処理により画素毎のＲ，Ｇ，Ｂの３原色信号が再生され、この３原色信号はガンマ補正回路７により光電変換の特性補正が施された後、マトリクス回路８に供給される。
この回路８は３原色信号をマトリクス処理して輝度信号（以下Ｙ信号という）及びＲ−Ｙ，Ｂ−Ｙの色差信号を形成する。
【００１０】
また、色処理回路６から輪郭強調回路９に例えば１Ｈずつずれた補間処理後のＧ信号｛Ｇ−０｝，｛Ｇ０｝，｛Ｇ＋０｝が供給され、強調回路９は垂直アパーチャ作成回路１０により輝度相関を有する信号｛Ｇ−０｝，｛Ｇ０｝，｛Ｇ＋０｝を所望の次数で微分して垂直アパーチャ信号Ｓv を形成するとともに、水平アパーチャ作成回路１１により信号｛Ｇ０｝に適当な次数の微分フィルタを施して水平アパーチャ信号Ｓh を形成する。
【００１１】
そして、両アパーチャ信号Ｓv ，Ｓh は加算回路１２に供給されて加算され、この加算回路１２の出力信号が２次元輪郭強調用のアパーチャ信号として加算回路１３に供給され、この加算回路１３はマトリクス回路８のＹ信号にアパーチャ信号を適当な大きさで加算してＹ信号を輪郭強調する。
【００１２】
【発明が解決しようとする課題】
前記従来の信号補間方法の場合、１次元的な信号レベルの相関のみを考慮し、補間対象画素の水平方向又は垂直方向の両隣りの画素の信号の単純平均等により１次元的に補間するため、撮影の明るさのパターンによってはつぎに説明するように適正な補間が行えない問題点がある。
【００１３】
すなわち、図１１の補間対象画素Ｇx の信号をその水平方向の両隣りの画素Ｇ2 ，Ｇ3 の信号の単純平均により補間する場合、図１２の（ａ）〜（ｄ）に示す画像の明るさの位置変化の代表的な４パターンに基づき、画素Ｇ2 ，Ｇ3 の信号レベルは同図の（ｅ）〜（ｈ）に示すようになる。
【００１４】
なお、図１２の（ａ）〜（ｄ）は斜線を用いて明るさの違いを示し、（ａ）は均一な明るさのフラットパターンを示し、（ｂ）は画素Ｇ2 を含む左側部分が他の部分より暗いステップパターンを示し、（ｃ）は中央部が画素Ｇ2 ，Ｇ3 を含む左，右側部分より明るいインパルスパターンを示し、（ｄ）は画素Ｇ2 を含む左側部分，画素Ｇ0 ，Ｇ1 を含む中央部分，画素Ｇ3 を含む右側部分の順に明るくなるスロープパターンを示す。
【００１５】
また、図１２の（ｅ）〜（ｈ）は横軸を位置，縦軸を信号レベルとして（ａ）〜（ｄ）のパターンそれぞれに基づく画素Ｇ2 ，Ｇ3 のレベル及び両レベルの単純平均から求まる画素Ｇx の実補間レベル，画素Ｇx の適正レベルを示し、▲印は画素Ｇx の実補間レベル，●印は画素Ｇx の適正レベルである。
【００１６】
そして、図１２の（ｅ）〜（ｈ）から明らかなように、ステップパターン，インパルスパターンの明るさの変化が生じたときは、実補間レベルが適正レベルから大きくずれて適正な補間が行えなくなる。
【００１７】
この場合、図１２の（ｆ），（ｇ）のステップパターン，インパルスパターンの▲印の補間された画素Ｇx の信号を用いて輪郭強調を施すと、ステップパターンであれば強調後の信号に基づく再生画像に偽エッジ，モワレ等が発生し、インパルスパターンであれば強調が施されなくなって周波数特性が劣化する。
【００１８】
なお、図１２の（ｉ）〜（ｌ）は横軸を位置，縦軸をレベルにして同図の（ａ）〜（ｄ）の明るさのパターンに対する最適な補間パターンを示し、図中の△印が適正レベルに補間された画素Ｇx である。
また、補間対象画素Ｇx の信号をその垂直方向の両隣りの画素Ｇ0 ，Ｇ1 の信号の単純平均により補間する場合も、画像の明るさの位置変化に伴って前記の水平方向の場合と同様、適正な補間が行えない事態が生じる。
【００１９】
なお、両隣りの２画素の単純平均の代わりに、フィルタリング等により例えば水平方向のある範囲の画素の平均を用いて補間することも考えられるが、この場合も、１次元的な相関を考慮して補間するのみであるため、適正な補間が行えない事態が生じる。
本発明は、輪郭強調等に必要なＧ信号の欠落を補間する際に、補間精度を飛躍的に向上して適正な補間が行えるようにすることを目的とする。
【００２０】
【課題を解決するための手段】
前記の目的を達成するために、本発明の信号補間方法においては、Ｇフィルタを画素単位で市松状に配列して色フィルタが構成された２次元イメージセンサの撮像出力のＧフィルタに対応しない画素の欠落したＧ信号を撮像出力により補間する際に、
Ｇ信号が欠落した補間対象画素を中心とする２次元の所定の補間単位領域を予め設定し、
【００２１】
補間単位領域の補間対象画素を中心とする水平方向，垂直方向のＧ信号のレベル変化を複数の２次元変化パターンに分類して各パターンの補間対象画素の最適補間操作を予め設定し、
撮像出力の補間対象画素毎にこの画素を中心とする補間単位領域の画素を切出し、
【００２２】
切出した補間単位領域のＧフィルタの各画素の信号レベルから補間対象画素を中心とする水平方向，垂直方向のＧ信号レベルの変化を判別して該当する２次元変化パターンを特定し、
特定した２次元変化パターンに対応する最適補間操作により補間対象画素のＧ信号を補間して生成する。
【００２３】
【作用】
前記のように構成された本発明の信号補間方法の場合、予め２次元の補間単位領域が設定され、この領域での補間対象画素を中心とする２次元のＧ信号のレベル変化がパターン化して分類され、２次元的な信号レベルの相関を考慮して各パターンの最適補間操作が設定される。
【００２４】
そして、イメージセンサの撮像出力の実際の補間対象画素毎に、この画素を中心とする補間単位領域の画素が切出され、その領域内の実際に得られた信号から補間対象画素を中心とする水平，垂直方向のＧ信号レベルの２次元変化パターンが特定される。
【００２５】
さらに、このパターンの特定に基づき、特定されたパターンに対応する最適補間操作で補間対象画素のＧ信号が補間される。
このとき、最適補間操作がＧ信号の２次元のレベル変化を考慮して選択されるため、従来より極めて精度の高い補間が行える。
【００２６】
【実施例】
１実施例について、図１ないし図９を参照して説明する。
この実施例においては、例えば図１０のＡ／Ｄ変換器４ｇの出力信号を入力信号としてデジタル的に欠落したＧ信号を補間する。
【００２７】
この場合、イメージセンサ１は図２の色フィルタ２を備え、この色フィルタ２のＲ，Ｂのフィルタ２ｒ，２ｂの画素のときに変換器４ｇの出力信号が欠落する。
そして、図１１の画素Ｇx を中心とするその水平方向，垂直方向のＧ信号レベルの予測される変化パターンを図１２の（ａ）〜（ｄ）の明るさのパターンと同様の明るさの種々のパターンを想定して求めると、図３に示すように両方向それぞれについて、１種類のフラットパターン，２種類のスロープパターン，４種類のステップパターン，２種類のインパルスパターンが求まる。
【００２８】
なお、図３の実線で結ばれた対の○印は図１１の画素Ｇ0 ，Ｇ1 又は画素Ｇ2 ，Ｇ3 を示し、その水平方向のパターンについては縦軸，横軸が信号レベル，位置であり、垂直方向のパターンについては横軸，縦軸が信号レベル，位置である。
つぎに、この実施例においては画素Ｇx の信号と極めて相関が強いその上，下の２画素Ｇ0 ，Ｇ1 及び左，右の２画素Ｇ2 ，Ｇ3 の信号を用いて画素Ｇx の信号を補間する。
【００２９】
この補間の操作としては、つぎの各操作が考えられる。
（ｉ）上下平均
これは画素Ｇ0 ，Ｇ1 の信号レベルの平均を画素Ｇx の信号レベルとする補間操作である。
（ii）左右平均
これは画素Ｇ2 ，Ｇ3 の信号レベルの平均を画素Ｇx の信号レベルとする補間操作である。
【００３０】
（iii） 下値ホールド
これは画素Ｇ1 の信号レベルを画素Ｇx の信号レベルとする補間操作である。
（iv）上値ホールド
これは画素Ｇ0 の信号レベルを画素Ｇx の信号レベルとする補間操作である。
【００３１】
（ｖ）左値ホールド
これは画素Ｇ2 の信号レベルを画素Ｇx の信号レベルとする補間操作である。
（vi）右値ホールド
これは画素Ｇ3 の信号レベルを画素Ｇｘの信号レベルとする補間操作である。
【００３２】
そして、図３の水平方向（９種類）×垂直方向（９種類）の計８１種類の２次元変化パターンにつき、その中心の画素Ｇx の欠落した信号が適正に補間される操作を調べた結果、同図に示すようにパターンによって補間操作の種類，数は異なるが、適正な補間操作毎に各パターンをグループ化できることが判明した。
なお、図３は各パターンの最適な補間操作を矢印記号を用いて示したものである。
【００３３】
また、この図３により、従来の例えば上下平均の補間（垂直方向の単純平均補間）のみでは全体の１／３のパターンが適正に補間されるに過ぎず、一律の単純平均補間では効果が少ないことが分かる。
そして、図３の各パターンそれぞれの最適な補間操作を１つに絞ってグループ化し、例えば図４に示すパターン毎の最適補間操作を予め設定する。
【００３４】
図４において、「推」は水平方向，垂直方向が共にインパルスパターンになるときの補間操作を示し、これは両方向が共にインパルスパターンになれば、図３からも明らかなように前記（ｉ）〜（vi）のいずれの補間操作でも画素Ｇx の信号を復元できず、最適な補間が不可能なため、適当な値を予め設定することを意味する。
【００３５】
つぎに、垂直方向，水平方向のパターンを２画素Ｇ0 とＧ1 ，Ｇ2 とＧ3 の単純な信号レベルの比較から判別しようとすると、図３，図４からも明らかなように、例えばフラットパターンとインパルスパターン，スロープパターンとステップパターンの判別が行えない。
【００３６】
そこで、この実施例では図２に相当する水平方向（５画素）×垂直方向（５画素）の補正対象画素を中心とする相関の強い計２５画素の範囲を補間単位領域とし、この領域内の補間対象画素と同色のフィルタ２ｒ又は２ｂの画素の信号とＧフィルタ２ｇの画素の信号とにより、つぎに説明するようにして補間対象画素のＧ信号のレベルを推定する。
【００３７】
すなわち、図２からも明らかなように、補間単位領域内には補間対象画素と同色のフィルタ２ｒ又は２ｂの画素が９個存在し、Ｇフィルタ２ｇの画素が１２個存在する。
そして、補間単位領域内では信号の相関が強いことを考慮すると、例えば補間対象画素Ｇx をＲフィルタ２ｒの画素とした場合、つぎの数１の式から画素Ｇx のＧ信号を推定できる。
【００３８】
【数１】
ＳGX＝（ＳGaV／ＳRaV ）・ＳRX
【００３９】
但し、ＳGaV ＝ΣＳGi／１２，ＳRaV ＝ΣＳRi／９であり、ＳGiはＧフィルタ２ｇの画素の信号レベル，ＳRiはＲフィルタ２ｒの画素の信号レベルを示し、ｉは変数である。
また、ＳRXは画素Ｇx のＲフィルタ２ｒに基づく実際の信号レベルを示す。
【００４０】
そして、数１の式から求めた画素Ｇx の推定信号レベルＳGXと２画素Ｇ0 とＧ1 又はＧ2 とＧ3 の信号レベルとの関係から水平方向，垂直方向のパターンを判別する。
例えば水平方向について説明すれば、画素Ｇ2 , Ｇ3 の信号レベルには図５の（ａ），（ｂ）に示すようにパターンに応じた差があり、その差をΔとすると、スロープパターン，ステップパターンのときに差Δが大きくなるため、しきい値Ｅを設定し、同図の（ａ）のように差ΔがＥ以上になるときはスロープパターン又はステップパターンであると判別する。
【００４１】
さらに、スロープパターン又はステップパターンであると判別したときは、図６に示すように数１の式から求めた●印の画素Ｇx の推定信号レベルが画素Ｇ2 , Ｇ3 の信号レベルの平均値から±Δ／４の範囲内のレベルであれば、スロープパターンであるとし、図７に示すように画素Ｇx の推定信号レベルが前記±Δ／４の範囲外のレベルであれば、ステップパターンであるとする。
【００４２】
但し、図８に示すように画素Ｇx の推定信号レベルとΔとの差が（３／４）Δ以上に極端に大きくなるときは、インパルスパターンであるとする。
また、図５（ｂ）のように差Δがしきい値Ｅより小さくなるときは、フラットパターン又はインパルスパターンであると判別する。
【００４３】
この場合は図９に示すように第２のしきい値Ｅ’を設定し、同図の（ａ）に示すように画素Ｇx の推定信号レベルと画素Ｇ2 , Ｇ3 の信号レベルの平均値との差がしきい値Ｅ’以下であればフラットパターンであるとし、同図の（ｂ）に示すようにその差がしきい値Ｅ’より大きければインパルスパターンであるとする。
【００４４】
なお、図６〜図９においては、横軸が位置，縦軸が信号レベルである。
そして、垂直方向についてもしきい値Ｅ，Ｅ’と同様のしきい値を設定し、水平方向の場合と同様にしてパターンを判別する。
【００４５】
さらに、水平方向，垂直方向のパターンの判別結果から画素Ｇx を中心とする水平方向，垂直方向のＧ信号レベルの変化を判別して２次元変化パターンを特定し、特定したパターンに対応する図４の補間操作を行う。
そして、前記の各処理を実行して図１０と同様の輪郭強調をデジタル的に行うため、図１に示すように入力端子１４に図１０のＡ／Ｄ変換器４ｇの出力信号を供給し、１Ｈのラインメモリにより形成された４個の垂直方向遅延器１５〜１８と、画素メモリ等の４個の遅延素子１９ａ〜１９ｄの縦列回路により形成された５個の水平方向遅延器２０〜２４とにより、変換器４ｇの出力信号を２次元的に遅延し、前記補間単位領域を切出す。
【００４６】
このとき、遅延器２２の遅延素子１９ａ，１９ｂ，１９ｃの出力信号が図１１の画素Ｇ3 ，Ｇx ，Ｇ2 の信号になり、遅延器２１，２３の遅延素子１９ｂの出力信号が同図の画素Ｇ0 ，Ｇ1 の信号になる。
そして、遅延器２０〜２４の１画素ずつずれた５ビットの信号，すなわち補間単位領域の各画素の信号が平均値回路２５，２６に供給され、平均値回路２５は信号レベルＳGaV （＝ΣＳGi／１２）を演算し、平均値回路２６は信号レベルＳRav （＝ΣＳRi／９）を演算する。
【００４７】
さらに、除算器２７，乗算器２８により、平均値回路２５，２６の出力信号及び遅延器２２の遅延素子１９ｂの出力信号（画素Ｇx の信号）を用いて数１の式を演算し、画素Ｇx の推定信号レベルＳGxを演算し、このレベルＳGxの信号を水平，垂直のパターン判定回路２９，２９’に供給する。
そして、判定回路２９は遅延器２２の遅延素子１９ａ，１９ｃの出力信号（画素Ｇ3 ，Ｇ2 の信号）を減算器３０，平均値回路３１により演算し、減算器３０，絶対値回路３２により差Δの絶対値を求めて比較器３３及び１／４，３／４の定数乗算器３４，３５に供給する。
【００４８】
また、平均値回路３１，減算器３６及び絶対値回路３７により画素Ｇx の推定信号レベルと画素Ｇ2 ，Ｇ3 の信号レベルの平均との差εの絶対値を演算し、この演算結果を比較器３８，３９に供給する。
さらに、比較器３３により絶対値回路３２の差Δの絶対値の信号と端子４１のしきい値Ｅの信号とを比較し、差Δの絶対値がしきい値Ｅ以上のときに“１”になる判別信号を形成して論理ゲート４２〜４６に供給する。
【００４９】
また、比較器３８，３９により乗算器３４，３５のΔ／４，（３／４）・Δの絶対値の信号と絶対値回路３７の差εの絶対値の信号とを比較し、差εの絶対値がΔ／４の絶対値以下のとき，差εの絶対値が（３／４）・Δ以上のときそれぞれに“１”になる判別信号を形成し、比較器３８の判別信号を論理ゲート４２，４３に供給し、比較器３９の判別信号を論理ゲート４４に供給する。
【００５０】
さらに、比較器４０により絶対値回路３７の差εの絶対値の信号と端子４７のしきい値Ｅ’の信号とを比較し、差εの絶対値がしきい値Ｅ’以上のときに“１”になる判別信号を形成し、この信号を論理ゲート４５，４６に供給する。
そして、論理ゲート４２は図６のスロープパターンの判定時に出力信号が“１”になり、論理ゲート４３は図７のステップパターンの判定時に出力信号が“１”になる。
【００５１】
また、論理ゲート４４，４５の出力信号の論理和を演算する論理ゲート４８は図８，図９の（ｂ）のインパルスパターンの判定時に出力信号が“１”になり、論理ゲート４６は図９の（ａ）のフラットパターンの判定時に出力信号が“１”になる。
そして、論理ゲート４２，４３，４６，４８の出力信号が水平方向のパターン判別結果として補間回路４９に供給される。
【００５２】
また、判定回路２９’は判定回路２９と同様に構成され、遅延器２１，２３の遅延素子１９ｃの出力信号（画素Ｇ0 ，Ｇ1 の信号）と乗算器２８の信号ＳGxとに基づき、垂直方向のパターン判別結果の信号を補間回路４９に供給する。
【００５３】
そして、この補間回路４９は判別回路２９，２９’の判別結果から画素Ｇx を中心とする水平方向，垂直方向のＧ信号レベルの変化を判別して該当する２次元変化パターンを特定し、このパターンに対応する水平解像度を優先した図３の補間操作を択一的に選択し、画素Ｇ0 〜Ｇ3 の信号，推定信号ＳGxを用いた上，下或いは左，右の平均又は上，下或いは左，右のホールド等の最適補間操作により画素Ｇx の欠落したＧ信号をデジタル的に補間して生成する。
【００５４】
さらに、端子５０の切換信号によりスイッチ５１を切換え、画素Ｇx がＲ，Ｂフィルタ２ｒ，２ｂのときは補間回路４９の出力信号を選択してＧフィルタ２ｇのときは遅延器２２の遅延素子１９ｂの出力信号を選択し、撮像出力の各画素のＧ信号をｎ次の微分回路５２に供給し、この微分回路５２により図１０の加算回路１２の出力信号と同様の２次元輪郭強調用のアパーチャ信号を形成する。
【００５５】
このとき、Ｇ信号の欠落が、この信号の２次元のレベル変化を考慮して選択された補間操作により従来より極めて精度よく補間され、従来のような補間レベルの適正レベルからの大きなずれが防止されるため、微分回路５２のアパーチャ信号により強調された再生画像の偽エッジ，モワレ等が著しく抑制され、エッジの消失による周波数特性の劣化も大幅に改善され、再生画質が飛躍的に向上する。
【００５６】
そして、補間単位領域の大きさ及び水平，垂直方向のパターンの種類，数等は実施例に限定されるものではない。
【００５７】
また、単板式，単管式のイメージセンサの撮像出力だけでなく、２板式，２管式のイメージセンサの撮像出力にも適用できるのは勿論である。
そして、イメージセンサの色フィルタはＧフィルタが画素単位で市松状に配列されていればよく、例えばＧフィルタとＲフィルタとの２色フィルタであってもよいのは勿論である。
【００５８】
さらに、水平方向，垂直方向のＧ信号レベルの変化の判別手法等は実施例に限定されるものではない。
そして、輪郭強調だけでなく、鮮鋭度の改善等の種々の映像処理のＧ信号又はこの信号に基づくＹ信号の補間に適用できるのは勿論である。
【００５９】
【発明の効果】
本発明は、以上説明したように構成されているため、以下に記載する効果を奏する。
２次元イメージセンサの撮像出力の実際の補間対象画素毎に、この画素を中心とする補間単位領域の画素が切出され、その領域内の実際に得られた信号から補間対象画素を中心とする水平，垂直方向の緑の信号レベルの２次元変化パターンが特定され、特定されたパターンに基づき、２次元的な信号レベルの相関を考慮してパターン毎に予め設定された最適補間操作が択一的に選択され、選択された補間操作で欠落した緑の信号が補間される。
【００６０】
このとき、最適補間操作が緑の信号の２次元のレベル変化を考慮して選択されるため、従来より極めて精度の高い補間が行え、補間精度が従来より著しく向上する。
【図面の簡単な説明】
【図１】本発明の信号補間方法の１実施例の回路ブロック図である。
【図２】本発明の１実施例の色フィルタの説明図である。
【図３】２次元信号レベル変化と補間操作との組合せの説明図である。
【図４】図１の最適補間操作の説明図である。
【図５】（ａ），（ｂ）は図１の水平方向のレベル変化のパターン判定の第１の説明図である。
【図６】図１の水平方向のレベル変化のパターン判定の第２の説明図である。
【図７】図１の水平方向のレベル変化のパターン判定の第３の説明図である。
【図８】図１の水平方向のレベル変化のパターン判定の第４の説明図である。
【図９】図１の水平方向のレベル変化のパターン判定の第５の説明図である。
【図１０】従来例の説明用の回路ブロック図である。
【図１１】図１０のイメージセンサの画素出力の説明図である。
【図１２】（ａ）〜（ｌ）は従来例の処理の説明図である。
【符号の説明】
１  ２次元イメージセンサ
２  色フィルタ
１５〜１８，２０〜２４  遅延器
２５，２６  平均値回路
２７  除算器
２８  乗算器
２９，２９’  パターン判定回路
４９  補間回路
【図１】
0003662949.tif 000002
【図２】
0003662949.tif 000003
【図５】
0003662949.tif 000004
【図６】
0003662949.tif 000005
【図７】
0003662949.tif 000006
【図３】
0003662949.tif 000007
【図４】
0003662949.tif 000008
【図８】
0003662949.tif 000009
【図９】
0003662949.tif 000010
【図１０】
0003662949.tif 000011
【図１１】
0003662949.tif 000012
【図１２】
0003662949.tif 000013