(57)【要約】【課題】偽色信号の発生確率が低くなるような色補間処理を行う。【解決手段】Ｇの映像信号の画素値の変化量を用いて、補間対象画素との相関が高い画素が位置する方向としての相関方向を判定する。相関方向の判定ができなかった場合に、相関方向の少なくとも２以上の候補方向のそれぞれにおいて、Ｒの補間値である第１の補間値とＢの補間値である第２の補間値とを算出する。そして、各候補方向における第１の補間値と第２の補間値との大小関係に基づいて、候補方向のいずれかの方向において算出された第１の補間値と第２の補間値とを、対象画素の補間値として採用するようにした。【選択図】図３
2009296471.tif 000002
【特許請求の範囲】
【請求項１】
二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た映像信号から、所定画素位置の近隣の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、前記Ｇの映像信号の画素値の変化量を用いて、前記補間を行う対象画素との相関が高い画素が位置する方向としての相関方向を判定する相関方向判定部と、
前記相関方向判定部によって相関方向の判定ができなかった場合に、前記相関方向の少なくとも２以上の候補方向のそれぞれにおいて、前記Ｒの映像信号の画素値を補間するための第１の補間値と前記Ｂの映像信号の画素値を補間するための第２の補間値とを算出し、前記各候補方向における前記第１の補間値と前記第２の補間値との大小関係に基づいて、前記候補方向のいずれかの方向において算出された前記第１の補間値と前記第２の補間値とを、前記対象画素の補間値として採用する補間処理部とを備えた
映像信号処理装置。
【請求項２】
前記補間処理部は、前記各候補方向において前記第１の補間値と前記第２の補間値との大小関係が等しい場合には、前記第１の補間値と前記第２の補間値との差分が小さい方の候補方向で算出された前記第１の補間値と前記第２の補間値とを、前記対象画素の補間値として採用する
請求項１に記載の映像信号処理装置。
【請求項３】
前記補間処理部は、前記各候補方向において前記第１の補間値と前記第２の補間値との大小関係が異なる場合には、前記各候補方向における、前記対象画素を中心とした所定の領域における前記Ｒの映像信号の画素値と前記Ｂの映像信号の画素値との分散値を算出し、前記Ｒの映像信号の分散値と前記Ｂの映像信号の分散値との大小関係と、前記第１の補間値と前記第２の補間値の大小関係とが等しい方の候補方向における前記第１の補間値と前記第２の補間値とを、前記対象画素の補間値として採用する
請求項２に記載の映像信号処理装置。
【請求項４】
前記補間処理部は、前記各候補方向において前記第１の補間値と前記第２の補間値との大小関係が異なり、かつ前記Ｒの映像信号の画素値の分散値と前記Ｂの映像信号の画素値の分散値との差が小さい場合には、各候補方向において前記Ｇの映像信号の画素値を補間するための第３の補間値を算出し、前記第１の補間値と前記第２の補間値と前記第３の補間値とを用いて彩度を算出し、前記算出した彩度が小さい方の候補方向における補間値を、前記対象画素の補間値として採用する
請求項３記載の映像信号処理装置。
【請求項５】
前記補間処理部は、前記各候補方向において前記第１の補間値と前記第２の補間値との大小関係が異なり、かつ前記Ｒの映像信号の画素値の分散値と前記Ｂの映像信号の画素値の分散値との差が小さい場合には、前記第１の補間値と前記第２の補間値との差が小さい方の候補方向における候補値を、前記対象画素の補間値として採用する
請求項３記載の映像信号処理装置。
【請求項６】
前記補間処理部は、前記各候補方向において前記第１の補間値と前記第２の補間値との大小関係が異なり、かつ前記Ｒの映像信号の画素値の分散値と前記Ｂの映像信号の画素値の分散値との差が小さい場合には、前記対象画素の近傍に位置する画素における画素値の平均値を補間値として採用する
請求項３記載の映像信号処理装置。
【請求項７】
前記補間処理部で補間が行われた映像信号に対して、フィルタによる平滑化処理を行う偽色抑制処理部を備えた
請求項３記載の映像信号処理装置。
【請求項８】
撮像素子で光電変換されたＲ，Ｇ，Ｂの各色の映像信号が有する空間周波数の高低を判断する空間周波数高低判定部を備え、
前記空間周波数高低判定部は、前記映像信号の空間周波数が高い場合に、前記映像信号を前記相関方向判定部に出力する
請求項７記載の映像信号処理装置。
【請求項９】
前記色フィルタは、ベイヤ配列方式の色フィルタである
請求項８記載の映像信号処理装置。
【請求項１０】
前記補間処理部は、前記第１の補間値を、前記所定の領域における、前記Ｒの映像信号の画素値と前記Ｇの映像信号の画素値との差分値の平均値に、前記Ｇの映像信号の画素値を加算することにより算出し、前記第２の補間値を、前記所定の領域における、前記Ｂの映像信号の画素値と前記Ｇの映像信号の画素値との差分値の平均値に、前記Ｇの映像信号の画素値を加算することにより算出する
請求項９記載の映像信号処理装置。
【請求項１１】
前記補間処理部は、前記第１の補間値を、前記所定の領域における、前記Ｒの映像信号の画素値と前記Ｇの映像信号の画素値との差分値の加重加算値に、前記Ｇの映像信号の画素値を加算することにより算出し、前記第２の補間値を、前記所定の領域における、前記Ｂの映像信号の画素値と前記Ｇの映像信号の画素値との差分値の加重加算値に、前記Ｇの映像信号の画素値を加算することにより算出する
請求項９記載の映像信号処理装置。
【請求項１２】
前記補間処理部は、前記第１の補間値を、前記所定の領域における、前記Ｒの映像信号の画素値を前記Ｇの映像信号の画素値で除算して得た値の平均値に、前記Ｇの映像信号の画素値を加算することにより算出し、前記第２の補間値を、前記所定の領域における、前記Ｂの映像信号の画素値を前記Ｇの映像信号の画素値で除算して得た値の平均値に、前記Ｇの映像信号の画素値を加算することにより算出する
請求項９記載の映像信号処理装置。
【請求項１３】
入射光をＲ，Ｇ，Ｂの３原色に分光する色フィルタと、
二次元配置された複数の画素を有し、前記各画素に対応して設けた前記色フィルタを通して入射した光を光電変換して映像信号を生成する撮像素子と、
前記撮像素子で得た映像信号から、所定画素位置の近隣の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、前記Ｇの映像信号の画素値の変化量を用いて、前記補間を行う対象画素との相関が高い画素が位置する方向としての相関方向を判定する相関方向判定部と、
前記相関方向判定部によって相関方向の判定ができなかった場合に、前記相関方向の少なくとも２以上の候補方向のそれぞれにおいて、前記Ｒの映像信号の画素値を補間するための第１の補間値と前記Ｂの映像信号の画素値を補間するための第２の補間値とを算出し、前記各候補方向における前記第１の補間値と前記第２の補間値との大小関係に基づいて、前記候補方向のいずれかの方向において算出された前記第１の補間値と前記第２の補間値とを、前記対象画素の補間値として採用する補間処理部とを備えた
撮像装置。
【請求項１４】
二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た映像信号から、所定画素位置の近隣の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、前記Ｇの映像信号の画素値の変化量を用いて、前記補間を行う対象画素との相関が高い画素が位置する方向としての相関方向を判定するステップと、
前記相関方向の判定ができなかった場合に、前記相関方向の少なくとも２以上の候補方向のそれぞれにおいて、前記Ｒの映像信号の画素値を補間するための第１の補間値と前記Ｂの映像信号の画素値を補間するための第２の補間値とを算出し、前記各候補方向における前記第１の補間値と前記第２の補間値との大小関係に基づいて、前記候補方向のいずれかの方向において算出された前記第１の補間値と前記第２の補間値とを、前記対象画素の補間値として採用するステップとを含む
映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理装置、撮像装置及び映像信号処理方法に関し、特に、ベイヤ配列方式の色フィルタを通して得られた各映像信号に色情報を補間する技術に関する。
【背景技術】
【０００２】
単板式の撮像装置では、レンズを通して得られる被写体光をＲ（赤），Ｇ（緑），Ｂ（青）の３原色に分解するために、色フィルタが使用される。色フィルタとしては、ベイヤ配列のものがよく使用されている。ベイヤ配列とは、図６にその例を示してあるように、輝度信号の寄与する割合の高いＧの画素を市松状に配列し、残りの部分にＲとＢの画素をそれぞれ市松状に配列したものである。
【０００３】
各画素においてはＲ，Ｇ，Ｂのうち１色のデータしか得られないため、得られない他の色については、周辺の画素の出力を用いた補間演算を行うことによって得る必要がある。図６のＲ３３の位置であれば、欠落しているＧ信号とＢ信号とを補間演算により生成する。補間演算は、例えば周囲の画素の平均値を求めることにより行う。Ｒ３３の位置におけるＧ信号（Ｇ３３）を生成する場合を例に挙げると、Ｇ３３は、周囲のＧの画素の平均値、つまり（Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３）／４で求められる。
【０００４】
ところが、水平方向や垂直方向で明暗が急峻に変化する絵柄をセンスした場合で、補間対象の画素がその変化の境目にある場合には、上述した式を用いることで、補間値が本来の絵柄に基づく信号値から大きく乖離してしまう現象が生じる。例えば、図７に示したように、Ｇ３３が生成される位置の左側では黒い絵柄がセンスされ、Ｇ３３の位置を含んだ右側においては白い絵柄がセンスされた場合を考えてみる。この場合は、Ｇ３３を周囲４画素の平均値とすることで、Ｇ３３が、Ｇ３３の左隣にあるＧ３２の影響を受けた小さな値となってしまう。
【０００５】
このため、センサから出力された信号が高周波成分を含んでいる場合には、色補間を行う対象の画素と相関性が高いと考えられる画素が、補間対象画素に対してどの方向にあるかを検出してその方向を相関方向とし、相関方向にある画素の値のみを補間の計算に用いることが行われている。
【０００６】
相関方向の判定には画素の変化量が使われることが多い。特にベイヤ配列においてはＧ信号の情報量が最も多いため、Ｇ信号の水平方向や垂直方向における勾配を計算することでＧ信号の変化量を算出し、その変化量の大きさに基づいて、相関方向を判断することが行われる。
【０００７】
例えば、図７に示した色フィルタにおけるＧ３３の位置での相関方向の判定は、下記の２式で得られる値を用いて行われる。
（｜Ｇ１２−Ｇ３２｜＋｜Ｇ１４−Ｇ３４｜＋｜Ｇ３２−Ｇ５２｜＋｜Ｇ３４−Ｇ５４｜）／４＋｜Ｇ２３−Ｇ４３｜  ・・・式１
（｜Ｇ２１−Ｇ２３｜＋｜Ｇ２３−Ｇ２５｜＋｜Ｇ４１−Ｇ４３｜＋｜Ｇ４３−Ｇ４５｜）／４＋｜Ｇ３２−Ｇ３４｜  ・・・式２
【０００８】
式１は、垂直（上下）方向におけるＧ信号の変化量を算出する式であり、式２は、水平（左右）方向におけるＧ信号の変化量を算出する式である。図７に示した例においては、式２により求められる値よりも式１により求められる値の方が小さくなる。変化量が小さい方が、相関関係が高いと判断できるため、この場合は式１により求められた値を補間値の算出に用いるようにする。
【０００９】
すなわち、相関方向を正しく判別することで、偽色信号の発生確率を低くすることができるようになる。例えば特許文献１には、相関方向の判別が難しい場合には、より広い領域での画素値を用いて画素値の変化量を算出することにより、再度相関方向の判別を行う技術について記載されている。
【特許文献１】特開２００６−１７４４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、図８に示したような縞模様の絵柄を撮影した場合には、フィルタを通して得られるＧ信号は図９に示したもののようになる。図９では、中央のＧ３３の位置の画素に色補間を行う場合を想定している。また図９においては、Ｇ信号が得られない部分の画素を黒で示してあり、Ｇ信号が得られた位置の画素を、網掛けのハッチングもしくは斜線のハッチングで示してある。ハッチングの種類は、画素値の高さの違いを示すものであり、網掛けのハッチングが施された画素の画素値は、斜線のハッチングが施された画素の画素値よりも小さいことを意味している。
【００１１】
つまり、図８に示した絵柄の縞の部分に対応するＧ１２，Ｇ１４，Ｇ３２，Ｇ３４，Ｇ５２，Ｇ５４の位置の画素は、網掛けのハッチングで表現してあるように、画素値が低い値となっている。そして、図８の縞の部分以外の絵柄に対応する、Ｇ２１，Ｇ２３，Ｇ２５，Ｇ４１，Ｇ４３，Ｇ４５の位置での画素値は、斜線のハッチングで示したように少し高い値となっている。
【００１２】
そして、Ｇ３３における相関方向を判定するために、これらの画素値を下記式に代入する。下記のうち、式３は水平方向におけるＧ信号の変化量を算出する式であり、式４は垂直方向におけるＧ信号の変化量を算出する式である。
｜Ｇ３２−（Ｇ２３＋Ｇ４３）／２｜＋｜Ｇ３４−（Ｇ２３＋Ｇ４３）／２｜・・・式３
｜Ｇ２３−（Ｇ３２＋Ｇ３４）／２｜＋｜Ｇ４３−（Ｇ３２＋Ｇ３４）／２｜・・・式４
式３と式４により得られる値のうち、例えば値の小さい方の方向を相関方向として決定することができる。ところが、図９に示した各画素値をこれらの式にあてはめた場合は、式３により求まる値と式４により求まる値とが同程度となってしまう。
【００１３】
すなわち、垂直方向と水平方向のどちらの方向がより相関性の高い方向なのか（被写体が元々有する縞が、縞が縦縞なのか横縞なのか）については、判断できなくなってしまう。つまり、撮影する絵柄によっては、信号値の変化量だけで相関方向を判別することが難しい場合があることが分かる。このような場合に相関方向の判別を誤ってしまうと、補間処理後の画像において、偽色が強く出てしまうことになる。
【００１４】
このような現象が発生する理由について、次の図１０を参照して説明する。図１０は、ベイヤ配列を通して得られるＲ，Ｇ，Ｂの各信号の、空間解像度特性を示したものである。図１０（ａ）に示したように、Ｒ（又はＢ）の画素におけるピッチを２ｄとし、１／ｄをｆｓとすると、Ｇの周波数成分は、図１０（ｂ）に示すように、水平方向と垂直方向のそれぞれにおけるｆｓ／２の位置を頂点とした菱形で表現される。これに対してＲやＢの周波数成分は、水平方向と垂直方向のそれぞれにおけるｆｓ／４の位置を頂点とした四角形で表現される。
【００１５】
つまり、水平方向と垂直方向の双方においてｆｓ／４を超えるような周波数を持つＲ信号とＢ信号については、ベイヤ配列によってその変化を正確に取得することはできないことになる。このような信号においては、下記２つの仮定に基づいた補間処理を行っている。
＜仮定１＞高周波領域においては、ＲもしくはＢの信号値が極端に大きくなることはない。
＜仮定２＞高周波領域においては、色相が極端に変化することはない。
【００１６】
また、ｆｓ／２の位置を頂点とした菱形の外部の周波数が撮像素子３に入力されると、折り返しひずみが生じてしまうため、このような高周波成分は、撮像素子３に入力される前に光学的に周波数フィルタによってカットオフされるように設計されることが多い。しかし、空間周波数がｆｓ/２となる周波数領域をもつ被写体を撮影した場合、カットオフされず、上述したような判別が難しいような状況が起こりえる。ちょうど図８に示したような縞々の絵柄を撮影した場合には、Ｇ信号の周波数がｆｓ／２近辺になってしまうため、相関方向の判別を行えなくなってしまう。
【００１７】
従って、センサからの出力信号が高周波成分を含む場合には彩度を落とす処理を行うことで、偽色信号の発生を抑制することが行われている。又は、色補間処理後の画像にメディアンフィルタを作用させることで、偽色を改善する処理も行われている。「メディアンフィルタを作用させる」という処理の具体的な内容としては、注目画素の近傍に位置する各画素における彩度を算出して、算出した彩度を彩度の高い順から並べ、中央に位置する彩度を注目画素の彩度として置き換えることを行う。
【００１８】
ところが、単純に彩度の値を下げる調整を行った場合には、元の被写体がある程度色を有するものであった場合に、周波数の高さに応じて色が白っぽくなってしまうことがあった。つまり、偽色抑制のために行った処理によって、かえって画質が劣化してしまう場合があった。
【００１９】
また、色補間処理後のメディアン処理は、偽色抑制にはかなり有効な手段であるが、偽色が広範囲に発生している画像に対しては、メディアン処理を行ったとしても偽色を抑制しきれないという問題があった。
【００２０】
本発明はかかる点に鑑みてなされたものであり、偽色信号の発生を低減させる色補間処理を行うことを目的とする。
【課題を解決するための手段】
【００２１】
本発明は、二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た映像信号から、所定画素位置の近隣の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する技術に関するものである。本発明の映像信号処理装置はまず、Ｇの映像信号の画素値の変化量を用いて、補間対象画素との相関が高い画素が位置する方向としての相関方向を判定する。相関方向の判定ができなかった場合に、相関方向の少なくとも２以上の候補方向のそれぞれにおいて、Ｒの映像信号の画素値を補間するための第１の補間値とＢの映像信号の画素値を補間するための第２の補間値とを算出する。そして各候補方向における第１の補間値と第２の補間値との大小関係に基づいて、候補方向のいずれかの方向において算出された第１の補間値と第２の補間値とを、対象画素の補間値として採用するようにしたものである。
【００２２】
このようにしたことで、Ｇ信号の画素値の変化量では相関方向が検出できない場合に、Ｒの映像信号とＢの映像信号の情報を用いて相関方向が判断されるようになる。
【発明の効果】
【００２３】
本発明によると、Ｇ信号の画素値の変化量では相関方向が検出できない場合にＧ信号の画素値の変化量だけでなく、被写体が有する色が赤（Ｒ）っぽいのか青（Ｂ）っぽいのかの推定に基づいて相関方向が判断されて、その判断に基づいて補間が行われる。つまり、上述した仮定１と仮定２を満たすような候補方向が、相関方向として選択されるようになる。これにより、色相が大きく変化しない絵柄について、照明光の色温度によらず相関方向を正しく求めることができ、その結果、色補間後の画像において偽色が発生する確率を低くすることができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の一実施の形態を、図１〜図５を参照して説明する。本実施の形態では、本発明の画像信号処理装置を撮像装置に適用させている。図１のブロック図は、撮像装置のカメラブロック内の構成の例を示すものである。図１に示したカメラブロックは、レンズ１と、色フィルタ２と、撮像素子３とを有する。
【００２５】
レンズ１は、撮像素子３の撮像面に被写体の像光を結像する。撮像素子３は、ＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどで構成されており、二次元配置された複数の光電変換素子からなっている。各光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。撮像素子３の二次元配置された複数の画素上には色フィルタ２を配置してあり、色フィルタ２を通して、１画素あたり１色の信号値が得られる。
【００２６】
色フィルタ２は、ベイヤ配列のものを使用しており、フィルタ幅は例えば縦５画素×横５画素であるものとする。
【００２７】
撮像装置はさらに、撮像素子３から出力された信号をデジタルの信号に変換するアナログ・デジタル変換部４（以下、Ａ／Ｄ変換部と称する）と、Ａ／Ｄ変換部４で変換されたデジタル信号に対する補正を行う補正処理部５を備える。補正処理部５では、光学系や撮像系の特性に起因して発生した輝度ムラを補正するシェーディング補正や、撮像素子３の欠陥等に起因して発生した画素欠陥補正等の処理を行う。
【００２８】
また撮像装置は、補正処理部５によって補正された各色の信号に対して補間処理を行う色補間処理部６と、色補間処理部６から出力された信号に対してガンマ補正や輪郭強調等の処理を施す画像処理部７とを備える。
【００２９】
次に、色補間処理部６の詳細の構成について、図２を参照して説明する。図２に示した色補間処理部６は、入力される信号における空間周波数の高低を判定する空間周波数高低判定部１１と、低周波数帯の信号を処理する低周波領域用色補間処理部１２と、高周波数帯の信号を処理する高周波領域用色補間処理部１３とを有する。また、低周波領域用色補間処理部１２又は高周波領域用色補間処理部１３から出力された映像信号に、メディアンフィルタ等を用いた偽色抑制処理を施す偽色抑制処理部１４を備える。高周波領域用色補間処理部１３はさらに、相関方向判定部１３ａと補間処理部１３ｂとを備える。低周波領域用色分解処理部１２内にも同様の処理部を備えさせてあるが、従来の手法と同様の手法を用いているため、説明は省略する。
【００３０】
相関方向判定部１３ａは、色補間を行いたい対象の画素と相関性が高いと考えられる画素が存在する方向を判定するための処理を行う。具体的な処理としては、従来の例として説明したものと同様に、式１と式２を用いてＧ信号の水平方向及び垂直方向における変化量を算出し、変化量が小さい方の方向を相関性の高い方向として出力することを行う。なお、本例においては、水平方向と垂直方向の２つの方向における信号値の変化量をみる場合を例に挙げたが、方向についてはこれに限定されるものではない。例えば、上下左右の４つの方向のそれぞれにおける変化量や、斜め方向における変化量を算出するようにしてもよい。
【００３１】
補間処理部１３ｂは、相関方向判定部１３ａの判定結果に基づいて補間値を算出する。補間処理部１３ｂの処理の詳細については、次の図３のフローチャートを参照して説明する。図３において、まず相関方向判定部１３ａによる相関方向の判定が行われ（ステップＳ１）、相関方向が判定できたか否かの判断がされる（ステップＳ２）。相関方向が判定できた場合には、補間処理部１３ｂによって、相関方向に位置する画素の信号値を用いた補間計算が行われ、補間計算により得られた値が、補間対象画素の補間値として採用される（ステップＳ３）。
【００３２】
相関方向が判定できなかった場合には、相関方向の候補毎に、Ｒ，Ｇ，Ｂの３原色のそれぞれにおける補間値が算出される（ステップＳ４）。相関方向の候補（選択肢）を、垂直方向と水平方向の２つの方向とした場合には、垂直方向と水平方向の両候補方向において、Ｒの補間値とＢの補間値が算出される。
【００３３】
ここで、補間値の算出例を図４を参照して説明する。図４（ａ）は、補間対象の画素がＲの画素である場合の例を示したものであり、図４（ｂ）は、補間対象の画素がＧの画素である場合の例を示したものである。いずれのケースにおいても、水平方向に近接する画素値を用いて計算した補間値と、垂直方向に近接する画素値を用いて計算した補間値との両方を算出する。
【００３４】
まず、図４（ａ）に示した配列のＲ３３の位置における、Ｒ，Ｇ，Ｂの各補間値を算出する場合から説明する。水平方向の画素値を用いた補間値としては、Ｇの補間値である補間値ｇ３３＿ｈと、Ｂの補間値であるｂ３３＿ｈと、Ｒの補間値であるｒ３３＿ｈを求める。
【００３５】
ｇ３３＿ｈには、Ｒ３３の位置の左右に位置するＧの画素値の平均値を採用する。つまり、ｇ３３＿ｈ＝（Ｇ３２＋Ｇ３４）／２となる。次に、Ｒ信号とＢ信号の色差信号を算出し、算出された色差信号を用いて、Ｒの補間値とＢの補間値の算出を行う。色差信号としては、Ｂ−ＧのＵ３３＿ｈと、Ｒ−ＧのＶ３３＿ｈとを算出する。これらの値は、下記の式を用いて算出する。
【００３６】
Ｂ−ＧのＧ（Ｂの位置のＧ）や、Ｒ−ＧのＧ（Ｒの位置のＧ）には、水平方向に隣接するＧの平均値を内挿する。図４（ａ）に示した例では、Ｒ３３の周囲にＢが４つ、Ｒは１つあるが、Ｒの位置のＧには、すでに算出済みのｇ３３＿ｈを内挿する。４つのＢの値は下記のように求める。
Ｂ２２の位置のＧとしてのｇ２２＿ｈ′＝（Ｇ２１＋Ｇ２３）／２
Ｂ２４の位置のＧとしてのｇ２４＿ｈ′＝（Ｇ２３＋Ｇ２５）／２
Ｂ４２の位置のＧとしてのｇ４２＿ｈ′＝（Ｇ４１＋Ｇ４３）／２
Ｂ４４の位置のＧとしてのｇ４４＿ｈ′＝（Ｇ４３＋Ｇ４５）／２
【００３７】
そして、これらの値を用いて、Ｕ３３＿ｈとＶ３３＿ｈとを算出する。
Ｕ３３＿ｈ＝｛（Ｂ２２−ｇ２２＿ｈ′）＋（Ｂ２４−ｇ２４＿ｈ′）＋（Ｂ４２−ｇ４２＿ｈ′）＋（Ｂ４４−ｇ４４＿ｈ′）｝／４
Ｖ３３＿ｈ＝Ｒ３３−ｇ３３＿ｈ
【００３８】
さらに、このようにして算出したＵ３３＿ｈとＶ３３＿ｈとを用いて、Ｂの補間値であるｂ３３＿ｈと、Ｒの補間値であるｒ３３＿ｈとを算出する。
ｂ３３＿ｈ＝Ｕ３３＿ｈ＋ｇ３３＿ｈ
ｒ３３＿ｈ＝Ｖ３３＿ｈ＋ｇ３３＿ｈ
【００３９】
同様に、垂直方向の画素値を用いた補間値として、補間値ｇ３３＿ｖ，ｂ３３＿ｖ，ｒ３３＿ｖを求める。ｇ３３＿ｖは、Ｒ３３に垂直方向に隣接するＧの平均値を内挿する。
ｇ３３＿ｖ＝（Ｇ２３＋Ｇ４３）／２
次に、ｂ３３＿ｖとｒ３３＿ｖとを算出するために、Ｂ−ＧのＵ３３＿ｖとＲ−ＧのＶ３３＿ｖと算出する。Ｂ−ＧのＧは、下記式により算出される。
Ｂ２２の位置のＧとしてのｇ２２＿ｖ′＝（Ｇ１２＋Ｇ３２）／２
Ｂ２４の位置のＧとしてのｇ２４＿ｖ′＝（Ｇ１４＋Ｇ３４）／２
Ｂ４２の位置のＧとしてのｇ４２＿ｖ′＝（Ｇ３２＋Ｇ５２）／２
Ｂ４４の位置のＧとしてのｇ４４＿ｖ′＝（Ｇ３４＋Ｇ５４）／２
【００４０】
そして、これらの値を用いて、Ｕ３３＿ｖとＶ３３＿ｖとを算出する。
Ｕ３３＿ｖ＝｛（Ｂ２２−ｇ２２＿ｖ′）＋（Ｂ２４−ｇ２４＿ｖ′）＋（Ｂ４２−ｇ４２＿ｖ′）＋（Ｂ４４−ｇ４４＿ｖ′）｝／４
Ｖ３３＿ｖ＝Ｒ３３−ｇ３３＿ｖ
【００４１】
最後に、下記式を用いてｇ３３＿ｖ，ｂ３３＿ｖ，ｒ３３＿ｖを算出する。
ｂ３３＿ｖ＝Ｕ３３＿ｖ＋ｇ３３＿ｖ
ｒ３３＿ｖ＝Ｖ３３＿ｖ＋ｇ３３＿ｖ
【００４２】
次に、図４（ｂ）のＧ３３の位置に、ＲとＧを補間する場合の処理の例について説明する。この例では、補間対象の画素がＧの画素であるため、Ｇ３３の信号値がそのまま水平方向の補間値ｇ３３＿ｈとなり、垂直方向の補間値ｇ３３＿ｖとなる。
【００４３】
また、Ｕ３３＿ｈとＶ３３＿ｈ、Ｕ３３＿ｖとＶ３３＿ｖは、下記式により算出する。
【００４４】
Ｕ３３＿ｈ＝｛（Ｂ２３−ｇ２３＿ｈ′）＋（Ｂ４３−ｇ４３＿ｈ′）｝／２
Ｖ３３＿ｈ＝｛（Ｒ３２−ｇ３２＿ｈ′）＋（Ｒ３４−ｇ３４＿ｈ′）｝／２
Ｕ３３＿ｖ＝｛（Ｂ２３−ｇ２３＿ｖ′）＋（Ｂ４３−ｇ４３＿ｖ′）｝／２
Ｖ３３＿ｖ＝｛（Ｒ３２−ｇ３２＿ｖ′）＋（Ｒ３４−ｇ３４＿ｖ′）｝／２
Ｕ３３＿ｈやＶ３３＿ｈの計算に用いる
【００４５】
上記式におけるｇ２３＿ｈ′、ｇ４３＿ｈ′、ｇ３２＿ｈ′、ｇ３４＿ｈ′、ｇ２３＿ｖ′、ｇ４３＿ｖ′、ｇ３２＿ｖ′、ｇ３４＿ｖ′は、下記式を用いて算出されるものである。
ｇ２３＿ｈ′＝（Ｇ２２＋Ｇ２４）／２
ｇ４３＿ｈ′＝（Ｇ４２＋Ｇ４４）／２
ｇ３２＿ｈ′＝（Ｇ３１＋Ｇ３３）／２
ｇ３４＿ｈ′＝（Ｇ３３＋Ｇ３５）／２
ｇ２３＿ｖ′＝（Ｇ１３＋Ｇ３３）／２
ｇ４３＿ｖ′＝（Ｇ３３＋Ｇ５３）／２
ｇ３２＿ｖ′＝（Ｇ２２＋Ｇ４２）／２
ｇ３４＿ｖ′＝（Ｇ２４＋Ｇ４４）／２
【００４６】
さらに、ｂ３３＿ｈ，ｒ３３＿ｈ，ｂ３３＿ｖ，ｒ３３＿ｖを下記の式を用いて算出する。
ｂ３３＿ｈ＝Ｕ３３＿ｈ＋ｇ３３＿ｈ
ｒ３３＿ｈ＝Ｖ３３＿ｈ＋ｇ３３＿ｈ
ｂ３３＿ｖ＝Ｕ３３＿ｖ＋ｇ３３＿ｖ
ｒ３３＿ｖ＝Ｖ３３＿ｖ＋ｇ３３＿ｖ
【００４７】
なお、上述した例ではＲの映像信号の画素値とＧの映像信号の画素値の差分値の平均値を用いて色補間を行っているが、単純に平均するのではなく、差分値の加重加算値を用いて色補間を行うようにしてもよい。つまり、相関の強い方向のＲ−ＧやＢ−Ｇに重みをつけて重み付け平均するようにしても良い。この場合は、Ｕ３３＿ｈとＶ３３＿ｈ、Ｕ３３＿ｖとＶ３３＿ｖを、例えば下記計算式により算出することができる。下記式におけるａ，ｂ，ｃ，ｄは重み付け係数を示す。
【００４８】
Ｕ３３＿ｈ＝｛ａ×（Ｂ２３−ｇ２３＿ｈ′）＋ｂ×（Ｂ４３−ｇ４３＿ｈ′）｝／２
Ｖ３３＿ｈ＝｛ｃ×（Ｒ３２−ｇ３２＿ｈ′）＋ｄ×（Ｒ３４−ｇ３４＿ｈ′）｝／２
Ｕ３３＿ｖ＝｛ａ×（Ｂ２３−ｇ２３＿ｖ′）＋ｂ×（Ｂ４３−ｇ４３＿ｖ′）｝／２
Ｖ３３＿ｖ＝｛ｃ×（Ｒ３２−ｇ３２＿ｖ′）＋ｄ×（Ｒ３４−ｇ３４＿ｖ′）｝／２
【００４９】
また上述した例では色差信号を用いて補間値の算出を行っているが、色比信号を用いるようにしてもよい。この場合の計算式の例を下記に示す。以下においては、水平方向の画素値を用いた補間値の算出についてのみ説明し、垂直方向の例については説明を省略する。
【００５０】
まず、図４（ａ）に示した配列のＲ３３の位置における、Ｒ，Ｇ，Ｂの各補間値を算出する場合から説明する。Ｇの補間値であるｇ３３＿ｈと、Ｒの補間値であるｒ３３＿ｈと、Ｂの補間値であるｂ３３＿ｈは、下記式により算出できる。
ｇ３３＿ｈ＝（Ｇ３２＋Ｇ３４）／２
Ｕ３３＿ｈ＝｛（Ｂ２２／ｇ２３＿ｈ′）＋（Ｂ２４／ｇ２４＿ｈ′）＋（Ｂ４２／ｇ４２＿ｈ′）＋（Ｂ４４／ｇ４４＿ｈ′）｝／４
Ｖ３３＿ｈ＝Ｒ３３／ｇ３３＿ｈ
ｂ３３＿ｈ＝Ｕ３３＿ｈ×ｇ３３＿ｈ
ｒ３３＿ｈ＝Ｖ３３＿ｈ×ｇ３３＿ｈ
【００５１】
また、図４（ｂ）に示した配列のＧ３３の位置におけるＧ，Ｂの補間値を算出する場合には、下記式を用いてＧの補間値であるｇ３３＿ｈと、Ｒの補間値であるｒ３３＿ｈと、Ｂの補間値であるｂ３３＿ｈとを算出することができる。
【００５２】
ｇ３３＿ｈ＝Ｇ３３
Ｕ３３＿ｈ＝｛（Ｂ２３／ｇ２３＿ｈ′）＋（Ｂ４３／ｇ４３＿ｈ′）｝／２
Ｖ３３＿ｈ＝｛（Ｒ３２／ｇ３２＿ｈ′）＋（Ｒ３４／ｇ３４＿ｈ′）｝／２
ｂ３３＿ｈ＝Ｕ３３＿ｈ×ｇ３３＿ｈ
ｒ３３＿ｈ＝Ｖ３３＿ｈ×ｇ３３＿ｈ
なお、Ｇは０となる場合がありうるため、割り算を求める場合には、あらかじめ分母と分子に大きすぎないオフセット量を加算して計算を行うものとする。
【００５３】
ここで再び、図３のフローチャートに戻って説明を続ける。ステップＳ４で、上述した手法で、相関方向の候補毎にＲ，Ｇ，Ｂのそれぞれにおける補間値が算出されると、次に、算出したＲの補間値とＢの補間値との大小関係が、相関方向の候補間で同じであるか否かが判断される（ステップＳ５）。例えば図４（ａ）に示した例であれば、水平方向においてはｒ３３＿ｈとｂ３３＿ｈが比較され、垂直方向においてはｒ３３＿ｖとｂ３３＿ｖとがそれぞれ比較される。
【００５４】
Ｒの補間値とＢの補間値との大小関係は、例えばｒ３３＿ｈ−ｂ３３＿ｈの式を解くことにより判断する。この式の解の符号が、水平方向と垂直方向の両方向において同一である場合には、ステップＳ５で“ＹＥＳ”が選択される。そして、Ｒの補間値とＢの補間値との差分が小さい方の候補における補間値が、補間対象における補間値として採用される（ステップＳ６）。例えば、水平方向におけるｒ３３＿ｈ−ｂ３３＿ｈの値の方が、垂直方向におけるｒ３３＿ｈ−ｂ３３＿ｈの値より小さい場合には、水平方向におけるｒ３３＿ｈ−ｂ３３＿ｈの値が、補間対象画素における補間値として採用される。
【００５５】
ステップＳ５で、Ｒの補間値とＢの補間値との大小関係が、候補間で異なっていると判断された場合には、次に、注目画素を中心とした局所領域におけるＲとＢとの分散値が算出される（ステップＳ７）。ここでいう注目画素とは、補間対象画素を差し、局所領域とは、図４等に示したフィルタの範囲を指す。
【００５６】
分散値の算出には、例えば下記の式を使用する。下記式において、Ｖａｒは分散を求める関数であり、Ｖａｒ（Ｒ）はＲの分散値、Ｖａｒ（Ｂ）はＢの分散値である。
【数１】
2009296471.tif 000003
【数２】
2009296471.tif 000004
上記式におけるｘｉ、ｘｂは、図４（ａ）に示したフィルタを対象に分散値を求める場合であれば、
ｘｉ＝Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３，Ｒ３５，Ｒ５１，Ｒ５３，Ｒ５５のいずれか
ｘｂ＝（Ｒ１１＋Ｒ１３＋Ｒ３１＋Ｒ３３＋Ｒ３５＋Ｒ５１＋Ｒ５３＋Ｒ５５）／９となる。
また、ｙｉ、ｙｂは、
ｙｉ＝Ｂ２２，Ｂ２４，Ｂ４２，Ｂ４４のいずれか
ｙｂ＝（Ｂ２２＋Ｂ２４＋Ｂ４２＋Ｂ４４）／４
となる。
【００５７】
なお、分散値は、上述したような偏差平方和ではなく、平均絶対偏差等を用いるようにしてもよい。この場合の分散値ＭＤは、下記式により算出することができる。
【数３】
2009296471.tif 000005
【００５８】
このようにしてＲとＢの分散値が算出された後は、ステップＳ８で、Ｒの分散値とＢの分散値との差が大きいか否かの判断がされる。つまり、Ｖａｒ（Ｒ）−Ｖａｒ（Ｂ）の値が小さいか否かが判断される。分散値の差が小さい場合には、例えば補間対象画素の近傍の上下左右４画素の平均値を内挿するような、リニア補間が行われる（ステップＳ１０）。なお、本例ではリニア補間を行う場合を例に挙げたが、他の処理を行うようにしてもよい。例えば、各候補方向において求めたＲ，Ｇ，Ｂの各補間値を用いて、
【数４】
2009296471.tif 000006
又は
｜ｃｒ｜＋｜ｃｂ｜などの式によって彩度を求め、彩度の値が最も小さくなる候補を選ぶようにしてもよい。又は、Ｒの補間値とＢの補間値との差が最も小さい候補方向における補間値を選択するようにしてもよい。
【００５９】
Ｒの分散値とＢの分散値との差が大きいと判断された場合は、分散値から推定されるＲとＢとの大小関係と、大小関係が一致する方の候補における補間値が、補間対象画素における補間値として採用される（ステップＳ９）。つまり、例えばＶａｒ（Ｒ）−Ｖａｒ（Ｂ）の符号がマイナスであった場合には、ｒ３３＿ｈ−ｂ３３＿ｈ（水平方向）又はｒ３３＿ｖ−ｂ３３＿ｖ（垂直方向）のうちの、符号がマイナスである方の値が、補間値として採用されるようになる。
【００６０】
上述した実施の形態によると、画素値の変化量では相関方向の判別が難しい場合に、色の情報も加味した判別が行われる。つまり、補間対象画素の近傍のＲとＢの画素の情報を用いて相関方向を判断し、より相関が高いと思われる方向の画素値を用いて算出した補間値を、採用するようにしている。
【００６１】
従来例の説明の中で引用した＜仮定１＞によれば、「高周波領域においては、ＲもしくはＢの信号値が極端に大きくなることはない」ことになる。画素値の変化量では相関方向の判別が難しい領域とは、従って、この仮定が適用される。この仮定によれば、相関方向の各候補において、Ｒの補間値とＢの補間値との大小関係が一致する場合に、Ｒの補間値とＢの補間値との差が小さい方向において算出された補間値を採用すれば、本来の絵柄により近づくようになる。つまり、偽色の発生を抑制することができるようになる。
【００６２】
また、本実施の形態では、相関方向の各候補において、Ｒの補間値とＢの補間値との大小関係が一致しない場合には、各候補方向でＲの信号値の分散値とＢの信号値の分散値を求め、どちらの分散値の方が大きいかを判断している。つまり、どちらの色の方がより大きくばらついているかを判断している。
【００６３】
従来例の説明の中で引用した＜仮定２＞によれば、「高周波領域においては、色相が極端に変化することはない」ことになる。言い換えれば、高周波領域においては、相関方向の各候補間で、ＲとＢとの大小関係が変化したり、ＲとＢとのバランス（Ｒ／Ｂ）が極端に変化することはないことになる。
【００６４】
例えば、柵などのような物体の形状や、物体の凹凸具合、もしくは照明光の当り方や物体と照明の位置関係などにより、得られる絵柄の周波数が高くなる場合がある。そのような場合においては、明部と暗部では色温度で表されるような照明光の色が大きくばらつくことになる。ゆえに、局所領域で色相が大きく変化しないことを仮定することで、例えば上述したような自然画像においてよくあるような状況を正しく推定することができる。このような場合にセンサで得られる信号値の例を、図５に示してある。
【００６５】
図５に示したグラフにおいて、横軸はセンサにおける水平方向であり、縦軸は信号値である。このグラフにおいて、Ｒの信号値Ｒｓは実線で示され、Ｂの信号値Ｂｓは破線で示されている。図５においては、Ｒの信号値の方がＢの信号値より大きくばらついていることが示されている。つまり、このような絵柄においては、Ｒの信号値とＢの信号値のうち、より大きくばらついている方が、元々の絵柄に含まれる照明光の色成分に対して優位性があると考えられる。
【００６６】
従って、相関方向の各候補のうち、分散値の計算により求められたＲとＢとの大小関係と一致する大小関係を有する方の候補を、相関が強い方向であるとみなすことで、相関方向の誤判断発生の確率を低減することができる。つまり、被写体が元々有する色に対応した適用的な偽色抑制処理を実現することができるようになる。もちろん、高周波領域において色相が大きく変化するような絵柄もあるが、そのような絵柄は自然界において少なく、そのような絵柄が空間的に連続的に表れることはほとんどないと考えられる。
【００６７】
また上述した実施の形態によれば、偽色信号が発生する確率自体が低減されるため、偽色が発生した場合にも、その範囲を狭いものとすることができる。従って、メディアンフィルタによる偽色抑制処理の効果を、より高めることができるようになる。
【００６８】
なお、上述した実施の形態では、フィルタの幅を５×５としているが、これより大きいサイズであれば他のサイズのものを適用するようにしてもよい。
【００６９】
また、上述した実施の形態では、偽色抑制処理にメディアンフィルタを用いた例を挙げたが、平滑化を行うフィルタであれば他のフィルタを適用するようにしてもよい。
【００７０】
また、上述した実施の形態では、本発明を撮像装置に適用した例を挙げたが、撮像素子を備えず、撮像装置から出力された映像信号の処理を行う装置等に適用してもよい。
【図面の簡単な説明】
【００７１】
【図１】本発明の一実施の形態による撮像装置のカメラブロックの内部構成例を示すブロック図である。
【図２】本発明の一実施の形態による色補間処理部の内部構成例を示すブロック図である。
【図３】本発明の一実施の形態による色補間処理部の処理の例を示すフローチャートである。
【図４】本発明の一実施の形態による補間対象画素を中心とした局所的領域の例を示す説明図であり、（ａ）は補間対象画素がＲの画素である場合の例を示し、（ｂ）は補間対象画素がＧの画素である場合の例を示す。
【図５】本発明の一実施の形態によるＲの信号値とＢの信号値の水平方向における変化の例を示すグラフである。
【図６】従来の例による色フィルタの配列の例を示す説明図である。
【図７】従来の例による映像信号の水平方向における周波数が高い場合の画素値の分布の例を示す説明図である。
【図８】従来の例による画素値が水平方向で連続的に高低する場合の画素値の分布の例を示す説明図である。
【図９】従来の例によるＧのフィルタを通して得られた画素値を模式的に示した説明図である。
【図１０】従来の例によるＲ，Ｇ，Ｂ各色の空間解像度を示す説明図であり、（ａ）はＲの画素値におけるピッチの幅を示し、（ｂ）は、Ｒ，Ｇ，Ｂ各色の周波数成分を示す。
【符号の説明】
【００７２】
１…レンズ、２…色フィルタ、３…撮像素子、４…Ａ／Ｄ変換部、５…補正処理部、６…色補間処理部、７…画像処理部、１１…空間周波数高低判定部、１２…低周波領域用色補間処理部、１３…高周波領域用色補間処理部、１３ａ…相関方向判定部、１３ｂ…補間処理部、１４…偽色抑制処理部
【図１】
2009296471.tif 000007
【図２】
2009296471.tif 000008
【図３】
2009296471.tif 000009
【図４】
2009296471.tif 000010
【図５】
2009296471.tif 000011
【図６】
2009296471.tif 000012
【図１０】
2009296471.tif 000013
【図７】
2009296471.tif 000014
【図８】
2009296471.tif 000015
【図９】
2009296471.tif 000016