(57)【要約】【課題】単板式のイメージセンサ出力から色相信号を補間で得る場合の偽色が発生する問題を解決する。【解決手段】撮像素子で得た映像信号から、所定画素位置に第１の原色の信号を生成し、所定画素位置に第２の原色信号補間値を生成し、前記所定画素位置の色相信号を生成させる場合に適用される。その処理構成としては、色相信号生成処理に使った複数位置の第２の原色信号により作成した第２の原色信号補間値と、色相信号を生成したい位置に存在する第２の原色信号若しくは第２原色信号の補間値との差の絶対値から類似度を判定する。そして、判定された類似度に基づいて、色相信号の信頼度を判定する。さらに、判定されたそれぞれの位置の信頼度に基づいて、複数位置の色相信号の加算比率を決めて、任意の位置の色相信号を得る補間処理を行う。【選択図】図５
2010041251.tif 000002
【特許請求の範囲】
【請求項１】
二次元配置された複数の画素上に、緑色と赤色と青色の原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た映像信号から、所定画素位置に第１の原色の信号を生成し、所定画素位置に第２の原色信号補間値を生成し、前記所定画素位置の色相信号を生成させる色相信号生成部と、
前記類似度判定部で判定された類似度に基づいて、色相信号の信頼度を判定する信頼度判定部と、
前記信頼度判定部で判定されたそれぞれの位置の信頼度に基づいて、複数位置の色相信号の加算比率を決めて、任意の位置の色相信号を得る補間処理部とを備えた
映像信号処理装置。
【請求項２】
前記補間処理部は、前記信頼度判定部で判定された信頼度を係数として、複数位置の色相信号に各位置の信頼度の係数を乗算し、その乗算信号を加算して、任意の位置の色相信号を得る
請求項１記載の映像信号処理装置。
【請求項３】
前記信頼度判定部は、前記類似度判定部で判定された差の絶対値が小さいほど、信頼度が高いとし、差の絶対値が大きいほど、信頼度が低いとする
請求項１記載の映像信号処理装置。
【請求項４】
信頼度を利用した前記補間処理部とは別の線形補間処理部を備え、
前記線形補間処理部で、前記色相信号生成部で生成された複数の色相信号の線形補間で、任意の位置の色相信号を得、
前記類似度判定部で判定された近傍の色相信号についての類似度の差が閾値以下であるとき、前記線形補間処理部で得た色相信号を採用し、
前記閾値を超えるとき、信頼度を利用した前記補間処理部で得た色相信号を採用する
請求項１〜３のいずれか１項記載の映像信号処理装置。
【請求項５】
二次元配置された複数の画素上に、緑色と赤色と青色の原色のカラーフィルタを所定配列で交互に配置した撮像素子を有する撮像部と、
前記撮像部で得た映像信号から、所定画素位置に第１の原色の信号を生成し、所定画素位置に第２の原色信号補間値を生成し、前記所定画素位置の色相信号を生成させる色相信号生成部と、
前記色相信号生成に使った複数位置の第２の原色信号により作成した第２の原色信号補間値と、色相信号を生成したい位置に存在する第２の原色信号若しくは第２原色信号の補間値との差の絶対値から類似度を判定する類似度判定部と、
前記類似度判定部で判定された類似度に基づいて、色相信号の信頼度を判定する信頼度判定部と、
前記信頼度判定部で判定されたそれぞれの位置の信頼度に基づいて、複数位置の色相信号の加算比率を決めて、任意の位置の色相信号を得る補間処理部とを備えた
撮像装置。
【請求項６】
二次元配置された複数の画素上に、緑色と赤色と青色の原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た映像信号から、所定画素位置に第１の原色の信号を生成し、所定画素位置に第２の原色信号補間値を生成し、前記所定画素位置の色相信号を生成させる色相信号生成処理と、
前記色相信号生成に使った複数位置の第２の原色信号により作成した第２の原色信号補間値と、色相信号を生成したい位置に存在する第２の原色信号若しくは第２原色信号の補間値との差の絶対値から類似度を判定する類似度判定処理と、
前記類似度判定処理で判定された類似度に基づいて、色相信号の信頼度を判定する信頼度判定処理と、
前記信頼度判定処理で判定されたそれぞれの位置の信頼度に基づいて、複数位置の色相信号の加算比率を決めて、任意の位置の色相信号を得る補間処理とを行う
映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラなどの撮像装置が備える単板式の撮像素子で得られた原色信号から色相信号を生成させる場合に適用される映像信号処理装置及び映像信号処理方法、並びにその映像信号処理を行う撮像装置に関する。
単板式の撮像素子を使用して映像信号を得る場合には、撮像素子上のカラーフィルタの配列に基づいて得た色信号を使用して、不足する画素位置の色信号を補間処理で生成させる必要があり、その補間処理時に適用される技術に関する。
【背景技術】
【０００２】
ビデオカメラなどの撮像装置が備える撮像素子としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなど各種方式のものがある。これらのイメージセンサを１個（１枚）使用した、いわゆる単板式の撮像装置は、例えば図９に示す構成とされる。
【０００３】
図９において、撮像装置２００は、撮像レンズ２０１と、撮像素子２０２と、アナログ／デジタル変換器（Ａ／Ｄ変換器）２０３と、補正系回路２０４と、色分離回路２０５と、ビデオ信号処理回路２０６とを有している。
【０００４】
撮像レンズ２０１は、撮像素子２０２の撮像面に被写体の像光を結像する。撮像素子２０２は、ＣＤＤイメージセンサ、ＣＭＯＳイメージセンサなどで構成されており、二次元配置された複数の光電変換素子からなっている。各光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。撮像素子２０２の二次元配置された複数の画素上にカラーフィルタ２０２ａが配置され、１画素あたり１色の信号値を得る。
【０００５】
ここでのカラーフィルタ２０２ａは、例えば特殊ベイヤー配列の撮像素子として機能する赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の配列としてある。
即ち、図１０（ａ）に示すように、カラーフィルタ２０２ａは、例えば、緑色と赤色を交互に配列した第１のラインと、緑色と青色を交互に配列した第２のラインを、緑色が市松状（市松模様状）となるように垂直方向に交互に配列してなるものである。このような配列において、緑色（Ｇ）の信号については、そのままの位置の信号を取出し、赤色（Ｒ）の信号については、水平方向に隣接した２画素の赤色のデータを加算平均して出力させる構成としてある。同様に、青色（Ｂ）の信号についても、水平方向に隣接した２画素の青色のデータを加算平均して出力させる構成としてある。
従って、撮像素子２０２の出力状態から見た特殊ベイヤー配列での画素配列は、図１０（ｂ）に示すように、各水平ラインで緑データについては、１画素ごとになり、１水平ラインごとに配置位置がシフトする。
赤データについては、２画素の加算平均により、緑データと同じ位置に得られる。青データについても、２画素の加算平均により、緑データと同じ位置に得られる。この赤データと青データは、４画素に１回出力されることになる。
この図１０に示すように、赤データと青データを２画素の加算平均としたことで、赤データと青データのＳＮ比を改善して感度を向上させることができる。
【０００６】
図９の説明に戻ると、Ａ／Ｄ変換器２０３は、撮像素子２０２の各画素の出力信号をアナロダ信号からデジタル信号に変換して、赤、緑、青の色データＲ，Ｇ，Ｂを出力する。補正系回路２０４は、Ａ／Ｄ変換器２０３から出力される色データＲ，Ｇ，Ｂに対して、シェーディング補正等の光学系補正、および欠陥補正等のイメージャ補正を行う。
【０００７】
色分離回路２０５は、補正系回路２０４から出力されるそれぞれ空間的に位相がずれた赤、緑、青の色データＲ，Ｇ，Ｂから、補間処理により、撮像素子２０２の各画素位置に対応した赤、緑、青の色データＲ，Ｇ，Ｂを得る。ビデオ信号処理回路２０６は、色分離回路２０５で得られた赤、緑、青の色データＲ，Ｇ，Ｂに対してカンマ補正、高城強調等を行った後、輝度信号Ｙ、赤色差信号Ｃｒ（Ｒ−Ｙ）および青色差信号Ｃｂ（Ｂ−Ｙ）を生成して出力する。
【０００８】
図９に示す撮像装置２００の動作を説明する。被写体の像光は撮像レンズ２０１を通じて撮像素子２０２の撮像面に入射され、当該撮像面に被写体の光学像が結像される。撮像素子２０２では、撮像面に被写体の光学像が結像された状態で撮像処理が行われて、被写体の像光に対応した値を持った、各画素の出力信号（赤色信号、緑色信号または青色信号）が得られる。撮像素子２０２から出力される各画素の出力信号は、Ａ／Ｄ変換器２０３でアナロダ信号からデジタル信号に変換された後、補正系回路２０４に供給される。
【０００９】
補正系回路２０４では、Ａ／Ｄ変換器２０３から出力される色データＲ，Ｇ，Ｂに対して、シェーディンダ補正等の光学系補正、および欠陥補正等のイメージヤ補正が行われる。この補正系回路２０４で補正された後の色データＲ，Ｇ，Ｂは、色分離回路２０５に供給される。この色分離回路２０５では、ベイヤー型配列状の赤、緑、青の色データＲ，Ｇ，Ｂから緑色差信号を作り、その緑色差信号を用いて赤データＲ及び青データＢの補間を行いフルカラー画像の赤、緑、青の色データＲ，Ｇ，Ｂを得る。
【００１０】
この色分離回路２０５で得られた空間的に同位相の赤、緑、青の色データＲ，Ｇ，Ｂはビデオ信号処理回路２０６に供給される。このビデオ信号処理回路２０６では、色分離回路２０５で得られた赤、緑、青の色データＲ，Ｇ，Ｂに対して、カンマ補正、高城強調等が行われ、さらに、補正後の赤、緑、青の色データＲ，Ｇ，Ｂに基づいて、輝度信号Ｙ、色差信号Ｃｒ及びＣｂが生成されて出力される。ここまでは、撮像装置としての全体的な処理動作を説明したものである。
【００１１】
次に、図１０に示した特殊ベイヤー型配列のカラーフィルタ配列の撮像素子の出力を処理する場合に必要な、色分離回路２０５での処理状態について説明する。
上述したように、色分離回路２０５では、特殊ベイヤー配列状の赤、緑、青の色データＲ，Ｇ，Ｂから、緑色差信号を作り、その緑色差信号を用いて赤データＲ，青データＢの補間を行い、各画素が同位相のフルカラー画像の色データＲ，Ｇ，Ｂを得るものである。なお、以下の説明は、色分離回路での処理時に必要な２種類の緑色差信号を、緑色差信号Ｕ及びＶと称する。緑色差信号Ｕは、青信号と緑信号との差分で示される信号（即ちＢ−Ｇ信号）であり、緑色差信号Ｖは、赤信号と緑信号との差分で示される信号（即ちＲ−Ｇ信号）である。
【００１２】
緑色差信号Ｕ及びＶを得る処理としては、従来、例えば距離に応じた線形補間処理により、各画素位置の色差信号を得ることが行われる。図１１は、この線形補間の様子を示した図である。
図１１（ａ）は、イメージセンサのある水平ラインの画素配列（ＧとＲの画素が配列されたライン）の一部を示し、先に説明したように、出力される赤の画素データＲについては、隣接した赤データ同士を加算平均したデータ（Ｒ１，Ｒ２，Ｒ３・・）である。
図１１（ｂ）は、イメージセンサからの緑データを補間して推定した、緑色のフィルタがない画素位置での補間緑データ（Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５，Ｇ６・・・）を示す。
図１１（ｃ）は、このようにして得た赤データと補間緑データとから得られる色相（色差）信号を示したものである。
即ち、赤色の出力位置Ｒ１の緑色差信号Ｖは、その位置の赤信号Ｒ１と、Ｒ１の両隣の補間緑信号Ｇ１及びＧ２を使用して、Ｒ１−（Ｇ１＋Ｇ２）／２の演算で得られる。同様に、赤色の出力位置Ｒ２の緑色差信号Ｖは、その位置の赤信号Ｒ２と、Ｒ２の両隣の補間緑信号Ｇ３及びＧ４を使用して、Ｒ２−（Ｇ３＋Ｇ４）／２の演算で得られる。
【００１３】
このようにして得られた色相信号のレベルが、例えば図１１（ｄ）の実線の矢印で示す信号レベルであるとする。この緑色差信号Ｖは、赤色の出力画素Ｒ１，Ｒ２，Ｒ３の位置に得られるものであり、その他の画素位置では、補間により求める処理が行われる。
この補間で求める処理としては、図１１（ｄ）に示すように実際の演算で求まった色差信号レベルを破線で示すように結んだ線で示されるレベルとなるように、それぞれの画素位置で破線の矢印のレベルとする、いわゆる線形補間を行う処理である。
【００１４】
特許文献１、特許文献２および特許文献３には、撮像面上に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）がベイヤー型などに配列されたカラーフィルタが配置された撮像素子から出力されるそれぞれ空間的に位相がずれた赤、緑、青の色データから、撮像素子の各画素位置に対応した空間的に同位相の赤、緑、青の色データを得る技術が記載されている。
【特許文献１】特間２００５−２１７４７８号公報
【特許文献２】特間２００６−１７４４８５号公報
【特許文献３】特間２００２−０２７４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上述した図１１に示した線形補間により色相信号を生成させた場合には、映像の絵柄によっては適切でない色相信号が生成されてしまうことがある。このことを、図１２を参照して説明する。
まず、図１２（ａ）に示すように、イメージセンサ上の画素配列があり、その画素上の色とび境界線と示す２つのラインの何れかの箇所で、輝度レベルが大きく変動しているとする。図１２（ａ）において、Ｒ，Ｇ，Ｂは画素の色であり、Ｒ１１などの番号は画素番号を示す。
このような輝度変化がある状態で、その輝度レベルが変化する境界位置にある画素Ｒ３３の色相信号を得るためには、図１２（ｂ）に示すように、その周囲の画素の信号が必要となる。
【００１６】
図１２（ｃ）は、画素Ｒ３３がある水平ラインでの、画素Ｒ３３の近傍での赤色信号Ｒと、緑色信号Ｇの変化状態を示したものである。
赤色信号Ｒ３１とＲ３３については、図１２（ｃ）に示すように、加算平均された両レベルの平均の信号が出力される。一方、緑色信号Ｇ３２，Ｇ３４については、それらの画素から直接緑色信号が得られ、図１２（ｃ）に丸印で示す本来の信号レベルが検出される。
ここで、画素Ｇ３２と画素Ｒ３３との間で、大きなレベル変動があるとすると、このレベル変動がある箇所での推定値に大きな誤差が生じてしまう。
【００１７】
従って、図１３に示すように、レベル変動により赤色信号Ｒ３１と赤色信号Ｒ３３の加算に大きな誤差がある赤出力値と、推定誤差が大きい緑補間信号とを使って、色相信号（色差信号）を求めることで、本来の色相信号とは異なったレベルの信号になってしまう。
【００１８】
このように各位置で推定される色相信号に大きな誤差があると、実際の画像を表示させた際に、輝度が大きく変動する輪郭部で、実際の色とは異なる色となる、いわゆる偽色が発生する。偽色としては、例えば黒の背景中に白い物体がある状態の画像を想定すると、その白い物体と背景との境界部は、白から黒に変化するはずであるが、白と黒以外の色が境界部に見えてしまう現象である。
【００１９】
本発明はこれらの点に鑑みてなされたものであり、偽色が発生する問題を解決することを目的とする。
【課題を解決するための手段】
【００２０】
本発明は、二次元配置された複数の画素上に、緑色と赤色と青色の原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た映像信号から、所定画素位置に第１の原色の信号を生成し、所定画素位置に第２の原色信号補間値を生成し、前記所定画素位置の色相信号を生成させる場合に適用される。
その処理構成としては、色相信号生成処理に使った複数位置の第２の原色信号により作成した第２の原色信号補間値と、色相信号を生成したい位置に存在する第２の原色信号若しくは第２原色信号の補間値との差の絶対値から類似度を判定する。そして、判定された類似度に基づいて、色相信号の信頼度を判定する。さらに、判定されたそれぞれの位置の信頼度に基づいて、複数位置の色相信号の加算比率を決めて、任意の位置の色相信号を得る補間処理を行う。
【００２１】
このようにしてそれぞれの位置の信頼度を基にして、補間する場合の加算比率を決めたことで、例えば信号レベルが比較的急に変動するような場合には、信頼度が低くなり、その信頼度の低い信号については加算比率を低くする対処が行える。一方、信頼度が高い信号については、加算比率を高くすればよい。
【発明の効果】
【００２２】
本発明によると、算出された信頼度に基づいて、色相信号を得るための複数の信号の加算比率を制御することができ、急激な色変動がある場合の偽色の発生を効果的に抑制することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の第１の実施の形態を、図１〜図６を参照して説明する。
図１は、本実施の形態による撮像装置１００の全体構成例を示す図である。
図１に従って説明すると、撮像装置１００は、撮像レンズ１０１と、撮像素子１０２と、アナログ／デジタル変換器（Ａ／Ｄ変換器）１０３と、補正系回路１０４と、色分離回路１０５と、ビデオ信号処理回路１０６とを有している。
【００２４】
撮像レンズ１０１は、撮像素子１０２の撮像面に被写体の像光を結像する。撮像素子１０２は、ＣＤＤイメージセンサ、ＣＭＯＳイメージセンサなどで構成されており、二次元配置された複数の光電変換素子からなっている。各光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。撮像素子１０２の二次元配置された複数の画素上にカラーフィルタ１０２ａが配置され、１画素あたり１色の信号値を得る。
【００２５】
このカラーフィルタ１０２ａは、例えば図３に示すように、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）が特殊ベイヤー型に配置されたカラーフィルタである。
ここでの特殊ベイヤー型配列は、既に図１０を用いて説明したように、赤画素がある水平ラインでは、赤画素の出力位置が、加算平均により緑画素と同じ位置であり、青画素がある水平ラインでは、青画素の出力位置が、加算平均により緑画素と同じ位置である。
【００２６】
Ａ／Ｄ変換器１０３は、撮像素子１０２の各画素の出力信号をアナロダ信号からデジタル信号に変換して、赤、緑、青の色データＲ，Ｇ，Ｂを出力する。補正系回路１０４は、Ａ／Ｄ変換器２０３から出力される色データＲ，Ｇ，Ｂに対して、シェーディング補正等の光学系補正、および欠陥補正等のイメージャ補正を行う。
【００２７】
色分離回路１０５は、補正系回路１０４から出力されるそれぞれ空間的に位相がずれた赤、緑、青の色データＲ，Ｇ，Ｂから、色相信号を得て、その色相信号を使った補間で、空間的に同位相の赤、緑、青の色データＲ，Ｇ，Ｂを得る。本実施の形態では、得られる色相信号は、青信号と緑信号との差分で示される緑色差信号Ｕ及び赤信号と緑信号との差分で示される緑色差信号Ｖである。この緑色差信号Ｕ及びＶを得る処理が、色分離回路１０５内の変換部１１１で行われる。そして、その変換部１１１で作成された緑色差信号Ｕ及びＶと、前段の回路１０４から供給される色データＲ，Ｇ，Ｂとを使って、補間部１１２で、空間的に同位相の赤、緑、青の色データＲ，Ｇ，Ｂを得る処理が行われる。この補間部１１２で空間的に同位相の赤、緑、青の色データＲ，Ｇ，Ｂを得る処理を行う際には、本例では信頼度生成部１１３で生成された色差信号の信頼度データを利用して加算比率を変動させた補間処理が行われる。信頼度生成部１１３を使った処理構成の詳細については後述する。
【００２８】
色分離回路１０５で得られた空間的に同位相の赤、緑、青の色データＲ，Ｇ，Ｂはビデオ信号処理回路１０６に供給される。このビデオ信号処理回路１０６では、色分離回路１０５で得られた赤、緑、青の色データＲ，Ｇ，Ｂに対して、カンマ補正、高城強調等が行われ、さらに、補正後の赤、緑、青の色データＲ，Ｇ，Ｂに基づいて、輝度信号Ｙ、色差信号Ｃｒ及びＣｂが生成されて出力される。ビデオ信号処理回路１０６は、供給されるデータに対してカンマ補正、高城強調等のビデオ信号処理を行った後、出力する。出力された映像信号は、図示しない表示部や記録部などに供給して、表示や記録などの処理が行われる。
【００２９】
図２は、図１の色分離回路１０５のより詳細な構成例を示した図である。
入力端子１０に得られる信号を、ＲＧＢ分離部１１に供給して、赤、緑、青の色データＲ，Ｇ，Ｂに分離する。そして、そのＲＧＢ分離部１１で分離されたそれぞれ色データＲ，Ｇ，Ｂは、色相信号生成部１２に供給する。
色相信号生成部１２では、イメージセンサの赤画素が存在する位置の、赤信号と緑信号との差分で示される緑色差信号Ｖを算出すると共に、青画素が存在する位置の、青信号と緑信号との差分で示される緑色差信号Ｕを算出し、それぞれの色差信号を出力する。
出力された各緑色差信号Ｕ及びＶは、補正部１３に供給して、それぞれの画素位置以外の位置での色信号を、補間により生成させ、空間的に同位相の赤、緑、青の色データＲ，Ｇ，Ｂを得る。得られた色データＲ，Ｇ，Ｂを、出力端子２０から後段の回路に出力する。
【００３０】
そして、色相信号生成部１２で生成された色差信号を、類似度生成部１４に供給して、隣接する色差信号どうしを比較して類似度データを生成させる。生成された類似度データは、信頼度判定部１５に供給して、各位置の色差信号の信頼度係数を判定する。その判定された各画素位置の信頼度係数を、補正部１３に供給して、補間により色差信号を生成させる際の処理に利用する。ここでは、信頼度係数のαブレンドと称される処理で、補間により色差信号を生成させる。
【００３１】
図４のフローチャートは、この図２の構成での処理状態の具体的な例を示した図である。
この図４の例は、赤信号と緑信号との差分で示される緑色差信号Ｖを生成させる処理例を示したものである。
まず、赤色データＲと、隣接した両隣の補間緑色データＧとを使用して、その赤色の画素位置での緑色差信号Ｖを生成させる（ステップＳ１１）。補間緑色データＧは、緑色フィルタが存在しない画素位置の緑色データＧを、隣接位置の緑色データの補間から求めたもので、図１１（ｂ）で説明した補間緑データＧ１，Ｇ２，・・・に相当する。
次に、緑色差信号Ｖの生成に使った２つの緑色データＧの平均値と、実際の緑色画素の緑色データＧとの差の絶対値から、類似度を判定する（ステップＳ１２）。ここでは、差の絶対値が小さいほど類似度が高いとし、差の絶対値が大きいほど類似度が低いとする。
【００３２】
そして、判定した画素位置での類似度と、隣接した画素位置での類似度とを比較して、類似度係数を算出する。ここでは、２つの類似度を比較して、いずれの画素位置の信頼度が高いかのデータであり、２つの類似度の比率から信頼度を算出する（ステップＳ１３）。信頼度は、信頼度係数αとして算出する。
このようにして算出されたそれぞれの画素位置での信頼度係数αを使用して、それぞれの画素位置での色差信号の加算比率を決めて、いわゆるαブレンドで、色相信号生成部１２の出力から抜けている画素位置の色差信号を算出する（ステップＳ１４）。
【００３３】
図５は、具体的な色差信号の生成処理例を示した図である。
図５（ａ）は、イメージセンサのある水平ラインの画素配列（ＧとＲの画素が配列されたライン）の一部を示し、特殊ベイヤー配列のため、出力される赤の画素データＲについては、隣接した赤データ同士を加算平均したデータ（Ｒ１，Ｒ２，Ｒ３・・）である。
図５（ｂ）は、イメージセンサからの緑データを補間して推定した、緑色のフィルタがない画素位置での補間緑データ（Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５，Ｇ６・・・）を示す。
図５（ｃ）は、このようにして得た赤データと補間緑データとから得られる色相（色差）信号を示したものである。
例えば赤色の出力位置Ｒ１の緑色差信号Ｖ１は、その位置の赤信号Ｒ１と、Ｒ１の両隣の補間緑信号Ｇ１及びＧ２を使用して、Ｒ１−（Ｇ１＋Ｇ２）／２の演算で得られる。赤色の出力位置Ｒ２の緑色差信号Ｖ２は、その位置の赤信号Ｒ２と、Ｒ２の両隣の補間緑信号Ｇ３及びＧ４を使用して、Ｒ２−（Ｇ３＋Ｇ４）／２の演算で得られる。赤色の出力位置Ｒ３の色差信号Ｖ３は、その位置の赤信号Ｒ３と、Ｒ３の両隣の補間緑信号Ｇ５及びＧ６を使用して、Ｒ３−（Ｇ５＋Ｇ６）／２の演算で得られる。
【００３４】
ここで、画素位置Ｒ１の緑色差信号Ｖ１と、画素位置Ｒ２の緑色差信号Ｖ２とに注目して、それぞれの類似度を算出すると、図５（ｄ）に示す状態となる。
緑色差信号Ｖ１の類似度ｈ１は、ｈ１＝｜Ｇ１―（Ｇ１＋Ｇ２）／２｜となる。この緑色差信号Ｖ１の類似度ｈ１の算出には、画素位置Ｒ１に隣接した画素位置Ｇ１，Ｇ２の信号レベルが使用される。
同様に、緑色差信号Ｖ２の類似度ｈ２は、ｈ２＝｜Ｇ３―（Ｇ３＋Ｇ４）／２｜となる。この緑色差信号Ｖ２の類似度ｈ２の算出には、画素位置Ｒ２に隣接した画素位置Ｇ３，Ｇ４の信号レベルが使用される。
【００３５】
信頼度係数αについては、図５（ｅ）に示す状態となる。
即ち、緑色差信号Ｖ１の信頼度係数α１は、α１＝ｈ２／（ｈ１＋ｈ２）となる。色差信号Ｖ２の信頼度係数α２は、α２＝１−α１＝ｈ１／（ｈ１＋ｈ２）となる。
【００３６】
このようにして、信頼度係数が求まると、緑色差信号Ｖ１と緑色差信号Ｖ２の間の画素位置（Ｒ１とＲ２の間の位置）での、緑色差信号が算出される。
例えば、図５（ｆ）に示すように、緑色画素Ｇ３の位置の色差信号Ｃ３として、
Ｃ３＝α１・Ｖ１＋（１−α１）・Ｖ２として算出される。
【００３７】
なお、信頼度係数αは、このような演算で逐次算出する他に、２つの類似度ｈ１，ｈ２と類似度αとの対応テーブルを用意して、そのテーブルの参照で、複数段階の信頼度係数αの中から選定される構成としてもよい。
また、ここに示した信頼度係数αを利用したαブレンドによる補間処理は、一例を示したものであり、信頼度を利用して補間する処理であれば、その他の補間処理でもよい。
【００３８】
このようにして色差信号を算出することで、色信号に大きな変動がある画素位置での色差信号に誤差が少なくなり、偽色の発生を軽減することができる。
即ち、例えば図６（ａ）に示すように、ある水平ラインで赤色信号Ｒと緑色信号Ｇとが変化しているとする。この例では、特定位置を境にして信号レベルが急激に上昇しているとする。
このときの赤画素の位置に検出される緑色差信号Ｖｘ、Ｖｙ，Ｖｚは、図６（ｂ）に示す状態であるとする。この図６（ｂ）から判るように、レベル変化点を境にして、色差信号レベルも大きく変動している。
このようなときに、図５に示した類似度及び信頼度の算出が行われることで、レベル変化後の信号の信頼度が低くなり、αブレンドで補間された色差信号を算出する際に、信頼度の高い信号を高い比率で加算し、信頼度の低い信号を低い比率で加算するようになる。従って、本来の信号レベルに近い色差信号が得られるようになり、変化点近傍での偽色の発生を効果的に防止できる。特に、図３に示したような赤画素と青画素が間引かれた特殊ベイヤー配列の撮像素子の出力を処理する場合に、大きな効果が得られる。ここでは特殊ベイヤー配列に適用した例について説明したが、特殊ベイヤー配列でないベイヤー配列の撮像素子に適用した場合にも、偽色発生の効果がある。
【００３９】
次に、本発明の第２の実施の形態を、図７及び図８を参照して説明する。この図７及び図８において、第１の実施の形態で説明した図１〜図６に対応する部分には同一符号を付す。
撮像装置１００の全体構成について示した図７について説明すると、本実施の形態においては、色分離回路１０５′を、第１の実施の形態の図１例から変更したものである。
【００４０】
本実施の形態においては、色分離回路１０５′として、第１の実施の形態で説明した、信頼度係数αを利用した補間部１１２の他に、線形補間を行う補間部１１４を設ける。そして、信頼度生成部１１３での信頼度生成状態に応じて、２つの補間部１１２，１１４の出力を切換スイッチ１１５で切り換えて、ビデオ信号処理回路１０６に供給する構成としてある。補間部１１４での線形補間処理としては、例えば既に図９で説明したように、その画素位置からの距離に応じた比率で複数の画素信号を加算するものである。
【００４１】
図８のフローチャートは、この色分離回路１０５′での処理状態を示した図である。
図８のフローチャートにおいて、図４のフローチャートと同一の処理については、同一のステップ番号を付与してある。
まず、赤色データＲと、隣接した両隣の補間緑色データＧとを使用して、その赤色の画素位置での緑色差信号Ｖを生成させる（ステップＳ１１）。補間緑色データＧは、緑色フィルタが存在しない画素位置の緑色データＧを、隣接位置の緑色データの補間から求めたもので、図１１（ｂ）で説明した補間緑データＧ１，Ｇ２，・・・に相当する。
次に、緑色差信号Ｖの生成に使った２つの緑色データＧの平均値と、実際の緑色画素の緑色データＧとの差の絶対値から、類似度を判定する（ステップＳ１２）。
【００４２】
次に、判定した類似度と隣接位置の類似度とを比較する（ステップＳ１５）。この比較で、２つの類似度の差が、予め設定された閾値以下か否か判断する（ステップＳ１６）。ここで、２つの類似度の差が閾値以下である場合には、切換スイッチ１１５を、線形補間を行う補間部１１４の出力側とし、線形補間による色差信号を採用して、その色差信号を出力させる（ステップＳ１７）。
【００４３】
一方、２つの類似度の差が閾値を越えている場合には、切換スイッチ１１５を、補間部１１２の出力側とする。このようにすることで、ステップＳ１３での判類似度係数の算出と、ステップＳ１４でのαブレンドの色差信号の算出を行って、色差信号を得る。
【００４４】
この第２の実施の形態の場合には、類似度の差が大きい場合に、αブレンドを利用した補間処理が行われ、類似度の差が少ない場合には、従来の線形補間処理が行われることになる。
αブレンドを利用した補間処理は、偽色防止には効果が高いが、例えば高周波が連続している絵柄のような場合には、画質が悪くなる可能性があり得る。このため、図７の構成のように、線形補間と組み合わせて、類似度に差が生じるときにαブレンドを利用した補間処理を行うことで、偽色が発生する可能性が高い状況以外では、線形補間が行われて、より画質を改善することが可能となる。
【００４５】
なお、図８の処理で示した類似度の差による切り換える例は、一例であり、その他の判断で、２つの補間処理を切り換える構成としてもよい。
【００４６】
また、上述した各実施の形態で説明した画素の配列などは一例を示したものであり、各実施の形態で説明したものに限定されない。本発明の色相信号（色差信号）生成処理は、様々な画素配列のものに適用可能である。
また、実施の形態の中で、図５などを参照して説明した処理では、赤信号と緑信号との差分で示される緑色差信号Ｖを使った処理について説明したが、青信号と緑信号との差分で示される緑色差信号Ｕを使って、同様の処理を行ってもよい。
【図面の簡単な説明】
【００４７】
【図１】本発明の第１の実施の形態による撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施の形態による色分離構成例を示すブロック図である。
【図３】イメージセンサの画素配列の例（特殊ベイヤー配列の例）を示す説明図である。
【図４】本発明の第１の実施の形態による色分離処理例を示すフローチャートである。
【図５】本発明の第１の実施の形態による色分離処理状態の例を示す説明図である。
【図６】本発明の第１の実施の形態による赤信号Ｒと緑信号Ｇの変化例とその変化に対応した色相信号のレベルの例を示す説明図である。
【図７】本発明の第２の実施の形態による撮像装置の構成例を示すブロック図である。
【図８】本発明の第２の実施の形態による色分離処理例を示すフローチャートである。
【図９】従来の撮像装置の構成例を示すブロック図である。
【図１０】イメージセンサの画素配列の例（特殊ベイヤー配列の例）を示す説明図である。
【図１１】線形補間による色相信号の形成例を示す説明図である。
【図１２】色信号の推定誤差が発生する状態の例を示す説明図である。
【図１３】偽色信号の発生例を示す説明図である。
【符号の説明】
【００４８】
１０…入力端子、１１…ＲＧＢ分離部、１２…色相信号生成部、１３…補正部、１４…類似度生成部、１５…信頼度判定部、２０…出力端子、１００…撮像装置、１０１…撮像レンズ、１０２…撮像素子、１０３…アナログ／デジタル変換器、１０４…補正系回路、１０５，１０５′…色分離回路、１０６…ビデオ信号処理回路、１１１…変換部、１１２…補間部、１１３…信頼度生成部、１１４…補間部、１１５…切換スイッチ
【図１】
2010041251.tif 000003
【図２】
2010041251.tif 000004
【図３】
2010041251.tif 000005
【図４】
2010041251.tif 000006
【図５】
2010041251.tif 000007
【図６】
2010041251.tif 000008
【図７】
2010041251.tif 000009
【図８】
2010041251.tif 000010
【図９】
2010041251.tif 000011
【図１０】
2010041251.tif 000012
【図１１】
2010041251.tif 000013
【図１２】
2010041251.tif 000014
【図１３】
2010041251.tif 000015