(57)【要約】【課題】偽色検出及び偽色補正を高精度に行う。【解決手段】  デジタルカメラシステムに設けられる偽色検出回路２１は、ＣＣＤから得られた信号レベルを検出し、そのレベルが所定値以上の画素に基づき生成されるピクセル位置を特定する高レベル検出回路３１と、水平方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置をＣＣＤから出力された信号に基づき特定する水平方向レベル差検出回路３２と、垂直方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置をＣＣＤから出力された信号から特定する垂直方向レベル差検出回路３３とを備えている。さらに偽色補間回路は、偽色として特定されたピクセルの水平方向及び垂直方向に隣接するピクセル位置の画像信号の値に基づき補間を行う。【選択図】図３
2005064863.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子から出力された信号の偽色部分を検出し、その偽色部分を補正した画像信号を生成する偽色検出補正装置において、
上記固体撮像素子の各画素から得られた信号のレベルを検出し、レベルが所定値以上の画素に基づき生成される出力画像のピクセル位置を特定するレベル検出手段と、
水平方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置を、上記固体撮像素子の各画素から出力された信号から特定する水平方向輝度レベル差検出手段と、
垂直方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置を、上記固体撮像素子の各画素から出力された信号から特定する垂直方向輝度レベル差検出手段と、
上記レベル検出手段、水平方向輝度レベル差検出手段又は垂直方向輝度レベル差検出手段のいずれかにより特定されたピクセル位置における画像信号の値を、特定されたピクセル位置の水平方向及び垂直方向に隣接するピクセル位置の画像信号の値に基づき生成した値と置き換える補間手段と
を備える偽色検出補正装置。
【請求項２】
固体撮像素子から出力された信号の偽色部分を検出し、その偽色部分を補正した画像信号を生成する偽色検出補正方法において、
上記固体撮像素子の各画素から得られた信号のレベルを検出し、レベルが所定値以上の画素に基づき生成される出力画像のピクセル位置を特定し、
水平方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置を、上記固体撮像素子の各画素から出力された信号から特定し、
垂直方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置を、上記固体撮像素子の各画素から出力された信号から特定し、
特定された全てのピクセル位置における画像信号の値を、特定されたピクセル位置の水平方向及び垂直方向に隣接するピクセル位置の画像信号の値に基づき生成した値と置き換えること
を行う偽色検出補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ等の固体撮像素子を用いたカメラ等で撮影された画像に生じてしまう偽色を補正するための偽色検出補正装置及び方法に関するものである。
【背景技術】
【０００２】
デジタルカメラの特有の現象として、強い光源や影になる部分に本来とは異なる色が発生してしまう「偽色」という現象がある。デジタルカメラでは、通常、ＣＣＤから出力された画像信号を検出して偽色が発生しているピクセル位置を特定し、特定したピクセル位置の信号値に対してなんらかの調整を行うことで、偽色を抑えた出力画像の生成を行っている。
【０００３】
一般的には、信号レベルが所定の閾値以上である画素、及び、垂直方向に隣接する画素との輝度レベルの差が所定の閾値以上である画素に偽色が生じているとみなし、その画素位置の信号に対して調整を施している。また、偽色が生じている画素に対する調整は、例えば、単純にゲインを落とすことにより行われている。
【０００４】
単純にゲインを落とすことにより偽色部分の調整を行う従来の偽色補正回路を、図１１に示す。
【０００５】
図１１に示す従来の偽色補正回路１００は、例えばホワイトバランス処理後のＣＲ色差信号に対してレベル調整を行うレベル調整回路１０１が設けられている。
【０００６】
レベル調整回路１０１は、偽色が発生しているとみなされない画素に対してはレベル調整をせずそのままの信号レベルを出力し、偽色が発生しているとみなされる画素に対しては信号レベルを減衰させることによりレベル調整を行う。また、レベル調整回路１０１では、偽色の発生の仕方に応じて減衰量が調整されている。例えば、信号レベルが所定の閾値以上である画素であることにより偽色であると判断されている場合には信号レベルを１/４に減衰させ、垂直方向に隣接する画素との輝度レベルの差が所定の閾値以上である画素であることにより偽色であると判断されている場合には信号レベルを１/２に減衰させ、その両者により偽色であると判断されている場合に信号レベルを０にする。
【０００７】
レベル調整回路１０１のレベル調整量の切り換えは、エンコーダ１０２により行われる。エンコーダ１０２には、信号レベルが所定の閾値以上である画素位置でハイとなる第１の偽色マスク信号と、垂直方向に隣接する画素との輝度レベルの差が所定の閾値以上である画素でハイとなる第２の偽色マスク信号とが入力される。エンコーダ１０２は、第１の偽色マスク信号及び第２の偽色マスク信号に基づき制御信号を生成して、レベル調整回路１０１の減衰量の切り換え制御を行う。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、従来は、その画素のレベルと、その画素と垂直方向に隣接する画素との輝度レベル差との２つの情報に基づき、偽色が生じている画素位置を特定していたが、その精度は高くなかった。また、偽色部分の画素に対する調整も、単にゲインレベルの調整のみであり、精度がよくなかった。
【０００９】
本発明が解決しようとする課題は、このような偽色検出及び偽色補正がこのように低い精度で行われていた点である。
【課題を解決するための手段】
【００１０】
本発明に係る偽色検出補正装置は、固体撮像素子から出力された信号の偽色部分を検出し、その偽色部分を補正した画像信号を生成する偽色検出補正装置であって、上記固体撮像素子の各画素から得られた信号のレベルを検出し、レベルが所定値以上の画素に基づき生成される出力画像のピクセル位置を特定するレベル検出手段と、水平方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置を、上記固体撮像素子の各画素から出力された信号から特定する水平方向輝度レベル差検出手段と、垂直方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置を、上記固体撮像素子の各画素から出力された信号から特定する垂直方向輝度レベル差検出手段と、上記レベル検出手段、水平方向輝度レベル差検出手段又は垂直方向輝度レベル差検出手段のいずれかにより特定されたピクセル位置における画像信号の値を、特定されたピクセル位置の水平方向及び垂直方向に隣接するピクセル位置の画像信号の値に基づき生成した値と置き換える補間手段とを備えることを特徴とする。
【００１１】
上記偽色検出補正装置では、信号レベル、水平方向信号輝度レベル差及び垂直方向信号輝度レベル差の３つのパラメータを用いてその画素に偽色が生じているかどうかを特定し、さらに、偽色が生じている画素に対しては水平方向及び垂直方向の周囲の画素から補間をして信号値を生成する。
【００１２】
本発明に係る偽色検出補正は、固体撮像素子から出力された信号の偽色部分を検出し、その偽色部分を補正した画像信号を生成する偽色検出補正方法であって、上記固体撮像素子の各画素から得られた信号のレベルを検出し、レベルが所定値以上の画素に基づき生成される出力画像のピクセル位置を特定し、水平方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置を、上記固体撮像素子の各画素から出力された信号から特定し、垂直方向に隣接するピクセルとの間での輝度レベル差が所定値以上であるピクセル位置を、上記固体撮像素子の各画素から出力された信号から特定し、特定された全てのピクセル位置における画像信号の値を、特定されたピクセル位置の水平方向及び垂直方向に隣接するピクセル位置の画像信号の値に基づき生成した値と置き換えることを特徴とする。
【００１３】
上記偽色検出補正方法では、信号レベル、水平方向信号輝度レベル差及び垂直方向信号輝度レベル差の３つのパラメータを用いてその画素に偽色が生じているかどうかを特定し、さらに、偽色が生じている画素に対しては水平方向及び垂直方向の周囲の画素から補間をして信号値を生成する。
【発明の効果】
【００１４】
本発明に係る偽色検出補正装置及び方法では、信号レベル、水平方向信号輝度レベル差及び垂直方向信号輝度レベル差の３つのパラメータを用いてその画素に偽色が生じているかどうかを特定し、さらに、偽色が生じている画素に対しては水平方向及び垂直方向の周囲の画素から補間をして信号値を生成する。このことにより、本発明では、高精度に偽色の生じている画素位置を特定するとともに、その補正を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の発明を実施するための最良の形態として、本発明を適用した電子式のデジタルカメラシステム（以下、デジタルカメラシステムという。）について図面を用いて詳細に説明する。デジタルカメラシステムは、被写体を撮像し、撮像した被写体画像をデジタルデータとして出力又は記録するシステムである。図１は、本発明が適用されたデジタルカメラシステムの構成を示すブロック図である。
【００１６】
デジタルカメラシステム１０は、図１に示すように、レンズやフォーカス，ズーム機構等から構成される光学系ユニット１１と、撮像光から撮像信号を生成するＣＣＤ（Charge Coupled Device）撮像素子１２と、ＣＣＤ撮像素子１２から出力された画像信号に対して相関二重サンプリングを行う相関二重サンプリング（ＣＤＳ）回路１３と、画像信号のレベル調整を行うゲインコントロールアンプ（ＧＣＡ）回路１４と、アナログ信号をデジタル信号に変換するアナログデジタル変換（ＡＤＣ）回路１５とを備えている。
【００１７】
また、デジタルカメラシステム１０は、ＡＤＣ回路１５から出力された画像信号から１Ｈディレイ及び２Ｈディレイ画像信号を生成するディレイライン生成回路１６と、画像信号の輝度色差分離（ＹＣ分離）を行うＹＣ分離回路１７と、輝度，色差信号から原色信号を生成するＲＧＢ原色分離回路１８と、ホワイトバランス調整を行うホワイトバランス（ＷＢ）回路１９と、ガンマ補正等のゲイン調整を行うゲイン調整回路２０とを備えている。
【００１８】
また、デジタルカメラシステム１０は、偽色が生じているピクセル位置を検出する偽色検出回路２１と、タイミング調整回路２２と、原色信号から色差信号を生成するリニアマトリクス回路２３と、フレームレートを変換するサンプリングフレーム変換（ＳＦＣ）回路２４と、例えばＮＴＳＣ方式の画像信号へのエンコードをするエンコーダ（ＥＮＣ）２５と、出力回路２６とを備えている。
【００１９】
光学系ユニット１１は、被写体からの反射光をＣＣＤ撮像素子１２に結像させる。ＣＣＤ撮像素子１２は、例えば、図２に示すような、補色市松（Ｙｅ，Ｇｙ，Ｍｇ，Ｇ）色差線順次方式の信号処理を行うデバイスである。ＣＣＤ撮像素子１２は、各種のタイミング信号に基づき信号電荷の読み出し及び転送を行うとともに信号電荷を電圧信号に変換することによって、１画素単位、１水平ライン単位、及び、１フィールド画面単位毎に構成された画像信号を生成する。ＣＣＤ撮像素子１２により生成された画像信号は、ＣＤＳ回路１３により相関２重サンプリングが行われ、続いてＧＣＡ回路１４によりゲイン調整が行われ、続いてＡＤＣ回路１５によりデジタル化される。
【００２０】
ＡＤＣ回路１５によりデジタル化された画像信号は、ディレイライン生成回路１６に供給される。ディレイライン生成回路１６は、後段のＹＣ分離処理を行うために、画像信号を１水平ライン分遅延させた１Ｈディレイ画像信号、２水平ライン分遅延させた２Ｈディレイ画像信号を生成する。なお、２Ｈディレイ画像信号は、２水平ライン分遅延された画像信号と現ラインの画像信号（遅延していない画像信号）との間でレベルの平均化がされ、１Ｈディレイ画像信号との位相が合わされた信号である。１Ｈディレイ画像信号及び２Ｈディレイ画像信号は、ＹＣ分離回路１７及び偽色検出回路２１に供給される。
【００２１】
ＹＣ分離回路１７は、ディレイライン生成回路１６から出力された１Ｈディレイ画像信号及び２Ｈディレイ画像信号に基づき、輝度信号（Ｙ信号）及び色差信号（Ｃ信号）を生成する。ＹＣ分離回路１７により生成された輝度信号及び色差信号は、ＲＧＢ原色分離回路１８により原色信号（Ｒ信号、Ｇ信号及びＢ信号）に分離され、続いてホワイトバランス回路１９によりホワイトバランス調整がされ、続いてゲイン調整回路２０によりガンマ補正等のゲイン調整がされる。ゲイン調整がされた後の原色信号（Ｒ信号、Ｇ信号及びＢ信号）は、リニアマトリクス回路２３に供給される。
【００２２】
偽色検出回路２１は、ディレイライン生成回路１６から出力された１Ｈディレイ画像信号及び２Ｈディレイ画像信号に基づき、偽色が生じているピクセルの位置を検出する。なお、ピクセルとは、ＣＣＤ撮像素子１２の補色市松を構成する各画素（Ｙｅ，Ｇｙ，Ｍｇ，Ｇ）ではなく、これらの画素から生成された出力画像上の画素である。偽色検出回路２１により検出されたピクセルの位置情報は、タイミング調整回路２２により、ＹＣ分離回路１７、ＲＧＢ原色分離回路１８、ホワイトバランス回路１９及びゲイン調整回路２０による遅延時間分の遅延がされたのち、リニアマトリクス回路２３に供給される。タイミング調整回路２２では、遅延処理を行うことによって、ゲイン調整回路２０から出力される画像信号と、偽色検出回路２１から出力されたピクセル位置情報との時間の同期を合わせる処理を行っている。
【００２３】
リニアマトリクス回路２３は、原色信号から色差信号（Ｒ-Ｙ，Ｂ-Ｙ）を生成して出力する。それと同時に、リニアマトリクス回路２３は、偽色検出回路２１により偽色が生じていると判断されたピクセルの位置を示すピクセル位置情報に基づき、その偽色が生じているピクセル位置の信号値に対して補正処理を行う。
【００２４】
リニアマトリクス回路２３から出力された色差信号（Ｒ-Ｙ，Ｂ-Ｙ）は、ＳＦＣ回路２４によりサンプリングレートが変換され、続いてＥＮＣ回路２５により例えばＮＴＳＣやＰＡＬ等の所定の画像フォーマットに変換される。
【００２５】
そして、ＥＮＣ回路２５により所定のフォーマットに変換された画像信号は、出力回路２６により外部に出力される。
【００２６】
（偽色検出回路）
つぎに、偽色検出回路２１について説明をする。図３に偽色検出回路２１のブロック構成図を示す。
【００２７】
偽色検出回路２１は、図３に示すように、ＣＣＤ撮像素子１２から出力された出力信号のレベルを検出し、レベルが所定値以上である画素に基づき生成される出力画像のピクセル位置を特定する高レベル検出回路３１と、水平方向に隣接するピクセルとの間でＣＣＤ撮像素子１２の出力信号から得られる輝度成分のレベル差が所定値以上であるピクセル位置を特定する水平方向レベル差検出回路３２と、垂直方向に隣接するピクセルとの間でＣＣＤ撮像素子１２の出力信号から得られる輝度成分のレベル差が所定値以上であるピクセル位置を特定する垂直方向レベル差検出回路３３とを備えている。各回路３１〜３３には、ディレイライン生成回路１６から出力された１Ｈディレイ画像信号及び２Ｈディレイ画像信号が入力される。高レベル検出回路３１は、ＣＣＤ撮像素子１２の出力信号のレベルが所定値以上であるピクセル位置を特定した信号（第１の偽色位置特定信号）を出力し、水平方向レベル差検出回路３２は、水平方向に隣接するピクセルとの間でＣＣＤ撮像素子１２の出力信号から得られる輝度成分のレベル差が所定値以上であるピクセル位置を特定した信号（第２の偽色位置特定信号）を出力し、垂直方向レベル差検出回路３３は、垂直方向に隣接するピクセルとの間でＣＣＤ撮像素子１２の出力信号から得られる輝度成分のレベル差が所定値以上であるピクセル位置を特定した信号（第３の偽色位置特定信号）を出力する。このような３つの手段により偽色位置を特定することにより、高精度に偽色が生じた位置を特定することが可能となる。
【００２８】
以下、各検出回路３１〜３３についてさらに詳細に説明する。
【００２９】
（高レベル検出回路）
高レベル検出回路３１は、ＣＣＤ撮像素子１２の各画素（補色市松の色配置がされた各画素：Ｙｅ，Ｇｙ，Ｍｇ，Ｇ）から出力された信号の信号レベルと、所定の閾値とを比較して、所定の閾値よりも高い信号レベルの画素を検出する。そして、高レベル検出回路３１は、その高レベルの画素の位置に基づき偽色が生じてしまうピクセル位置を検出し、そのピクセル位置を特定する信号（第１の偽色位置特定信号）を生成する回路である。なお、ここで画素位置は、ＣＣＤ撮像素子１２の光感知素子の配置に対応した位置である。一方、ピクセル位置はリニアマトリクス回路２３から出力される出力画像に対応した画素位置である。
【００３０】
高レベル検出回路３１の具体的な回路例を図４に示し、また、この高レベル検出回路３１の各処理工程上における信号を図５に示し、これらの図を参照して高レベル検出回路３１について説明をする。
【００３１】
高レベル検出回路３１は、１Ｈディレイ画像信号と閾値ＴＨ１とが入力される第１のコンパレータ４１と、２Ｈディレイ画像信号と閾値ＴＨ１とが入力される第２のコンパレータ４２とを備えている。
【００３２】
１Ｈディレイ画像信号及び２Ｈディレイ画像信号は、ＣＣＤ撮像素子１２の一つ一つの画素から読み出されたそのままの成分の信号である。つまり、１Ｈディレイ画像信号及び２Ｈディレイ画像信号は、例えば色差信号や原色信号を生成するために各画素間での演算処理が行われていない状態（もっとも、ＣＣＤ撮像素子１２内で行われる垂直方向の２画素の加算は行われていてもよい。）の信号である。
【００３３】
１Ｈディレイ画像信号には、図５（Ａ），（Ｃ）に示すように、ＯＤＤラインの転送時には、（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），…といった順でＣＣＤ撮像素子１２の各画素（垂直方向の連続した２画素）から読み出された信号レベルが含まれ、ＥＶＥＮラインの転送時には、（Ｇ＋Ｃｙ），（Ｍｇ＋Ｙｅ），（Ｇ＋Ｃｙ），（Ｍｇ＋Ｙｅ），…といった順でＣＣＤ撮像素子１２の各画素（垂直方向の連続した２画素）から読み出された信号レベルが含まれる。１Ｈディレイ画像信号は、水平方向に隣合う信号を加算することにより輝度成分を生成することができ、水平方向に隣合う信号を減算することによりＣｒ成分を生成することができる。
【００３４】
２Ｈディレイ画像信号には、図５（Ａ），（Ｄ）に示すように、ＯＤＤラインの転送時には、（Ｙｅ＋Ｇ），（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），（Ｃｙ＋Ｍｇ），…といった順でＣＣＤ撮像素子１２の各画素（垂直方向の連続した２画素）から読み出された信号レベルが含まれ、ＥＶＥＮラインの転送時には、（Ｇ＋Ｙｅ），（Ｍｇ＋Ｃｙ），（Ｇ＋Ｙｅ），（Ｍｇ＋Ｃｙ），…といった順でＣＣＤ撮像素子１２の各画素（垂直方向の連続した２画素）から読み出された信号レベルが含まれる。ただし、２Ｈディレイ画像信号は、１Ｈディレイ画像信号との垂直方向の位相を合わせるために、現ラインとの間で信号レベルが平均化されている。２Ｈディレイ画像信号は、水平方向に隣合う信号を加算することにより輝度成分を生成することができ、水平方向に隣合う信号を減算することによりＣｂ成分を生成することができる。
【００３５】
なお、１Ｈディレイ画像信号及び２Ｈディレイ画像信号は、図５（Ｂ）に示すような、マスタークロックＭＫに同期している。また、図５（Ａ）、（Ｃ）及び（Ｄ）において、ハッチング部分はレベルが閾値より高い部分を示している。
【００３６】
第１のコンパレータ４１は、図５（Ｅ）に示すように、１Ｈディレイ画像信号と閾値ＴＨ１とを比較し、１Ｈディレイ画像信号が閾値ＴＨ１よりも大きい場合にハイとなる第１の信号（ＣＯＭＰ１）を出力する。第２のコンパレータ４２は、図５（Ｆ）に示すように、２Ｈディレイ画像信号と閾値ＴＨ１とを比較し、２Ｈディレイ画像信号が閾値ＴＨ１よりも大きい場合にハイとなる第２の比較信号（ＣＯＭＰ２）を出力する。閾値ＴＨ１は、例えば外部のコントローラ等により値が変更できるようにされていてもよい。
【００３７】
高レベル検出回路３１は、第１の比較信号（ＣＯＭＰ１）と第２の比較信号（ＣＯＭＰ２）との論理和演算を行うＯＲ回路４３と、ＯＲ回路４３から出力された信号を１マスタークロック分遅延せる遅延回路４４と、ＯＲ回路４３から出力された信号と遅延回路４４から出力された信号との論理積演算を行うＡＮＤ回路４５と、水平方向引き伸ばし回路４６とを備えている。
【００３８】
ＯＲ回路４３は、第１の比較信号（ＣＯＭＰ１）と第２の比較信号（ＣＯＭＰ２）との論理和演算を行って、いずれか一方がハイであればハイとなるような信号を出力する。遅延回路４４及びＡＮＤ回路４５は、２マスタークロック分連続してハイとなった場合にのみ出力信号をハイとするローパスフィルタ回路を構成している。遅延回路４４及びＡＮＤ回路４５は、図５（Ｇ）に示すように、ＯＲ回路４３から出力された信号に対して高周波ノイズを除去し、高周波ノイズが除去された比較信号（ＣＯＭＰ）を出力する。ＡＮＤ回路４５から出力された比較信号（ＣＯＭＰ）は、水平方向引き伸ばし回路４６に入力される。水平方向引き伸ばし回路４６、比較信号（ＣＯＭＰ）のハイ部分を、水平方向に４クロック分引き伸ばしを行う。このように水平方向の引き伸ばしを行うのは、ＣＣＤ撮像素子１２の任意の画素が原因で偽色が生じる場合、その画素が影響する出力画像のピクセル範囲が水平方向４クロック分であるからである。
【００３９】
この水平方向引き伸ばし回路４６から出力される信号は、タイミング同期用の遅延素子４７により１クロック分遅延されて外部に出力される。この遅延素子４７から出力された信号が、図５（Ｈ）に示すように、高レベル検出回路３１により偽色が発生すると特定されたピクセル位置を示す信号（第１の偽色位置特定信号）となる。
【００４０】
以上のように生成された第１の偽色位置特定信号は、高レベル検出回路３１からタイミング調整回路２２に供給され、タイミング調整回路２２により遅延処理がされた後に、リニアマトリクス回路２３に供給される。
【００４１】
（水平方向レベル差検出回路）
水平方向レベル差検出回路３２は、ＣＣＤ撮像素子１２の各画素（補色市松の色配置がされた各画素：Ｙｅ，Ｇｙ，Ｍｇ，Ｇ）から出力された信号に基づき、水平方向に隣接する出力画像上のピクセル位置の輝度レベルの差が所定の閾値より大きいか否かを検出し、その輝度レベルの差が所定の閾値よりも大きいピクセル位置を特定する信号（第２の偽色位置特定信号）を生成する回路である。
【００４２】
水平方向レベル差検出回路３２の具体的な回路例を図６に示し、また、この水平方向レベル差検出回路３２内の各部で生成される信号値を図７に示し、これらの図を参照して水平方向レベル差検出回路３２について説明をする。
【００４３】
水平方向レベル差検出回路３２は、１Ｈディレイ画像信号（図７（Ａ））及び２Ｈディレイ画像信号（図７（Ｂ））が入力される第１の加算器５１と、第１の加算器５１から出力された信号を１クロック分遅延させる第１の遅延回路５２と、第１の遅延回路５２から出力された信号を１クロック分遅延させる第２の遅延回路５３と、第１の遅延回路５２から出力された信号と第２の遅延回路５３から出力された信号とを加算する第２の加算器５４と、第２の加算器５４から出力された信号を１クロック分遅延させる第３の遅延回路５５とを備えている。
【００４４】
第１の加算器５１は、１Ｈディレイ画像信号と２Ｈディレイ画像信号とを加算した加算信号を出力する。第１の遅延回路５２は、第１の加算回路５１から出力された信号を１クロック分遅延させた信号Ｘ１（図７（Ｃ））を出力する。第２の遅延回路５３は、第１の遅延回路５２から出力された信号Ｘ１を１クロック分遅延させた信号Ｘ２（図７（Ｄ））を出力する。第２の加算器５４は、第１の遅延回路５２から出力された信号Ｘ１と第２の遅延回路５３から出力された信号Ｘ２とを加算する。第３の遅延回路５５は、第２の加算回路５４から出力された信号を１クロック分遅延させた信号Ｘ３（図７（Ｅ））を出力する。
【００４５】
このような処理が行われることにより、第３の遅延回路５５からは、出力画像のピクセル位置に対応した輝度成分が、１ピクセル毎に出力されることとなる。すなわち、補色市松の色配置がされたＣＣＤの場合、横２画素×縦４画素で一つのピクセルが構成され、それらの画素から得られる信号レベルを全て加算すると、そのピクセルの輝度成分に対応した値となる。そのため、第３の遅延回路５５からは、１Ｈディレイ画像信号と２Ｈディレイ画像信号を垂直方向に加算し、その加算信号を水平方向に隣接する画素で加算して生成された信号（横２画素×縦４画素の全ての信号を加算した信号）である、出力画像上のピクセル位置毎の輝度成分が出力されることとなる。
【００４６】
また、水平方向レベル差検出回路３２は、第３の遅延回路５５から出力された信号を２クロック分遅延させる第４の遅延回路５６と、第３の遅延回路５５から出力された信号から第４の遅延回路５６から出力された信号を減算する減算器５７と、減算器５７から出力された信号を１クロック分遅延させる第５の遅延回路５８とを備えている。
【００４７】
第４の遅延回路５６は、第３の遅延回路５５から出力された信号Ｘ３を２クロック分遅延させた信号Ｘ４（図７（Ｆ））を出力する。減算器５７は、第３の遅延回路５５から出力された信号Ｘ３から第４の遅延回路５６から出力された信号Ｘ４を減算した信号Ｘ５（図７（Ｇ））を出力する。
【００４８】
なお、図７（Ｇ）のＹ部分の値は、図７（Ａ）の判別対象画素Ｘに対する結果を示している。
【００４９】
このような処理が行われることにより、第５の遅延回路５８からは、出力画像上における水平方向のピクセル間の輝度レベルの差が出力されることとなる。すなわち、上述のように補色市松の色配置がされたＣＣＤの場合、横２画素×縦４画素で一つのピクセルが構成される。このため、水平方向に２クロック分遅延した信号同士の差分を得ることにより、ピクセル単位での輝度の水平方向の差分値が出力されることとなる。
【００５０】
また、水平方向レベル差検出回路３２は、第５の遅延回路５８から出力される信号と閾値ＴＨ２とを比較し、第５の遅延回路５８から出力される信号が閾値ＴＨ２よりも大きい場合にハイとなる信号を出力するコンパレータ５９と、コンパレータ５９から出力された信号を１クロック分遅延させる第６の遅延回路６０とを備えている。
【００５１】
コンパレータ５９は、第５の遅延回路５８から出力される信号Ｘ５（すなわち、水平方向のピクセル間の輝度レベル差）と閾値ＴＨ２とを比較する。コンパレータ５９は、比較の結果、第５の遅延回路５８から出力される信号Ｘ５が閾値ＴＨ２よりも大きい場合にハイとなる信号（図７（Ｈ））を生成して出力する。第６の遅延回路６０は、コンパレータ５９から出力された信号を１クロック分遅延させた信号（図７（Ｉ））を生成する。第６の遅延回路６０から出力される信号が、水平方向レベル差検出回路３２の出力信号（第２の偽色位置特定信号）となる。閾値ＴＨ２は、例えば外部のコントローラ等により値が変更できるようにされていてもよい。
【００５２】
以上のように生成された第２の偽色位置特定信号は、水平方向レベル差検出回路３２からタイミング調整回路２２に供給され、タイミング調整回路２２により遅延処理がされた後に、リニアマトリクス回路２３に供給される。
【００５３】
（垂直方向レベル差検出回路）
垂直方向レベル差検出回路３３は、ＣＣＤ撮像素子１２の各画素（補色市松の色配置がされた各画素：Ｙｅ，Ｇｙ，Ｍｇ，Ｇ）から出力された信号に基づき、垂直方向に隣接する出力画像上のピクセル位置の輝度レベルの差が所定の閾値より大きいか否かを検出し、その輝度レベルの差が所定の閾値よりも大きいピクセル位置を特定する信号（第３の偽色位置特定信号）を生成する回路である。
【００５４】
垂直方向レベル差検出回路３３の具体的な回路例を図８に示し、また、この垂直方向レベル差検出回路３３の各部の信号値を図９に示し、これらの図を参照して垂直方向レベル差検出回路３３について説明をする。
【００５５】
垂直方向レベル差検出回路３３は、１Ｈディレイ画像信号（図９（Ａ））及び２Ｈディレイ画像信号（図９（Ｂ））が入力される減算器６１を備えている。減算器６１は、１Ｈディレイ画像信号から２Ｈディレイ画像信号を減算した信号Ｘ１１（図９（Ｃ））を出力する。すなわち、減算器６１は、ＣＣＤ撮像素子１２から出力された画像信号の垂直方向に対するライン間のレベル差を示す信号を生成する。
【００５６】
また、垂直方向レベル差検出回路３３は、上記ライン間のレベル差を示す信号Ｘ１１に、水平方向に対して（１，１，１，１）のタップ係数のローパスフィルタリングを行うフィルタ回路６２を備えている。
【００５７】
具体的に、フィルタ回路６２は、ライン間のレベル差を示す信号を１クロック分遅延させる第１の遅延回路６３と、第１の遅延回路６３の出力信号を１クロック分遅延させる第２の遅延回路６４と、第１の遅延回路６３の出力信号と第２の遅延回路６４の出力信号とを加算する第１の加算回路６５とを備えている。第１の加算回路６５の出力信号Ｘ１２は、図９（Ｄ）に示すようになる。さらに、フィルタ回路６２は、第１の加算回路６５の出力信号を１クロック分遅延させる第３の遅延回路６６と、第３の遅延回路６６の出力信号を２クロック分遅延させる第４の遅延回路６７と、第３の遅延回路６６の出力信号と第４の遅延回路６７の出力信号とを加算する第２の加算回路６８とを備えている。第２の加算回路６８の出力信号Ｘ１３は、図９（Ｅ）に示すようになる。さらに、フィルタ回路６２は、第２の加算回路６８の出力信号を１クロック分遅延させる第５の遅延回路６９と、第５の遅延回路６９の出力信号のレベルを１／２にするゲイン回路７０と、ゲイン回路７０の出力信号を１クロック分遅延させる第６の遅延回路７１とを備えている。第６の遅延回路７１の出力信号Ｘ１４は、図９（Ｆ）に示すようになる。
【００５８】
ＣＣＤ撮像素子１２から出力された画像信号の垂直方向に対するライン間のレベル差を示す信号Ｘ１１に対して、以上のような（１，１，１，１）のタップ係数のローパスフィルタリングを行うことによって、上記レベル差を示す信号が水平方向に平均化がされる。補色市松の色配置がされたＣＣＤの場合その出力信号を隣接する画素間で加算することにより輝度成分が生成される。従って、上記フィルタ回路６２から出力された信号Ｘ１４（上記レベル差を示す信号が水平方向に平均化がされた信号Ｘ１４）は、垂直方向の輝度レベルの差を示す信号となる。
【００５９】
また、垂直方向レベル差検出回路３３は、フィルタ回路６２から出力される信号Ｘ１４と閾値ＴＨ２とを比較し、フィルタ回路６２から出力される信号が閾値ＴＨ２よりも大きい場合にハイとなる信号Ｘ１５（図９（Ｇ））を出力するコンパレータ７２を備えている。なお、閾値ＴＨ２は、例えば外部のコントローラ等により値が変更できるようにされていてもよい。
【００６０】
また、垂直方向レベル差検出回路３３は、遅延素子７３を備えている。遅延素子７３は、タイミング同期用の遅延素子４７により１クロック分遅延されて外部に出力される。この遅延素子４７から出力された信号が、図９（Ｈ）に示すように、垂直方向レベル差検出回路３３により偽色が発生すると特定されたピクセル位置を示す信号（第３の偽色位置特定信号）となる。
【００６１】
以上のように生成された第３の偽色位置特定信号は、垂直方向レベル差検出回路３３からタイミング調整回路２２に供給され、タイミング調整回路２２により遅延処理がされた後に、リニアマトリクス回路２３に供給される。
【００６２】
（偽色補間回路）
つぎに、リニアマトリクス回路２３内に設けられた偽色補間回路８０について説明する。図１０に、偽色補間回路８０の構成図を示す。
【００６３】
偽色補間回路８０には、リニアマトリクス処理により生成された色差信号、並びに、偽色検出回路２１により生成された第１〜第３の偽色位置特定信号が入力される。
【００６４】
偽色補間回路８０は、偽色切り換え信号生成回路８１と、補間信号生成回路８２と、切り換え回路８３とを備えている。
【００６５】
偽色切り換え信号生成回路８１には、第１〜第３の偽色位置特定信号が入力される。偽色切り換え信号生成回路８１は、これら第１〜第３の偽色位置特定信号のいずれかがハイとなっていれば、ハイとなる偽色切り換え信号を発生する。具体的には、偽色切り換え信号生成回路８１は、第１の偽色位置特定信号を１マスタークロック分遅延させる第１の遅延回路８４と、第２の偽色位置特定信号を１マスタークロック分遅延させる第２の遅延回路８５と、第３の偽色位置特定信号を１マスタークロック分遅延させる第３の遅延回路８６と、第１、第２及び第３の遅延回路８４，８５，８６の出力信号の論理和を演算するＯＲ回路８７とを備えており、ＯＲ回路８７から偽色切り換え信号が出力される。
【００６６】
すなわち、偽色切り換え信号生成回路８１から発生される偽色切り換え信号は、高レベル検出回路３１、水平方向レベル差検出回路３２又は垂直方向レベル差検出回路３３のいずれかにより偽色であるとみなされたピクセル位置で、ハイとなり、それ以外ではローとなる。
【００６７】
補間信号生成回路８２は、入力された色差信号に対して遅延処理のみが施された信号と、所定のピクセルに偽色が生じていると判断されている場合にそのピクセルの値として出力するための信号（補間信号）とを出力する。切り換え回路８３は、上記偽色切り換え信号がローのときには色差信号を選択して出力し、ハイのときには補間信号を選択して出力する。すなわち、切り換え回路８３は、偽色とみなされているピクセル位置では、補間信号生成回路８２から出力された補間信号を選択して出力し、偽色ではないピクセル位置では、補間信号生成回路８２から出力される通常の色差信号を選択して出力する。
【００６８】
ここで、偽色補間回路８２は、偽色とみなされたピクセル位置における画素値を、その偽色としてみなされたピクセルの水平方向及び垂直方向に隣接するピクセル位置の画素値から補間して生成している。すなわち、偽色としてみなされたピクセルの上位置のピクセル（１水平ライン分のピクセル）の画素値と、偽色としてみなされたピクセルの左位置のピクセル（１ピクセル前のピクセル）の画素値と、偽色としてみなされたピクセルの右位置のピクセル（１ピクセル後ろのピクセル）の画素値と、偽色としてみなされたピクセルの下位置のピクセル（１水平ライン後のピクセル）の画素値とを加算し、その加算値に１/４を乗算することにより、補間値を生成している。
【００６９】
具体的には、補間信号生成回路８２は、図１０に示すように、入力された色差信号を１水平ライン分遅延させる１Ｈディレイメモリ９０と、１Ｈディレイメモリ９０の出力信号を２マスタークロック分遅延させる第１の遅延回路９１とを有している。第１の遅延回路９１から出力される信号が、通常時に出力される色差信号である。
【００７０】
補間信号生成回路８２は、入力された色差信号を２マスタークロック分遅延させる第２の遅延回路９２と、第１の遅延回路９１の出力信号を２マスタークロック分遅延させる第３の遅延回路９３と、１Ｈディレイメモリ９０の出力信号を２水平ライン分遅延させる２Ｈディレイメモリ９４と、２Ｈディレイメモリ９４の出力信号を２マスタークロック分遅延させる第４の遅延回路９５とを備えている。さらに、補間信号生成回路８２は、第２の遅延回路９２から出力される信号（偽色ピクセルの上位置のピクセルを示す信号）、１Ｈディレイメモリ９０の出力信号（偽色ピクセルの左位置のピクセルを示す信号）、第３の遅延回路９３の出力信号（偽色ピクセルの左位置のピクセルを示す信号）、及び、第４の遅延回路９５の出力信号（偽色ピクセルの右位置のピクセルを示す信号）との４信号を加算する加算器９６と、加算器９６の出力信号に１/４を乗算する乗算器９７とを有している。この乗算器９７の出力信号が、通常に出力される色差信号に対して置き換えがされる補間信号である。
【００７１】
補間信号生成回路８２は、以上の通常時に出力される上記色差信号を第５の遅延回路９８により１マスタークロック分遅延させて外部に出力するとともに、上記補間信号を第６の遅延回路９９により１マスタークロック分遅延させて外部に出力する。
【００７２】
以上のようにリニアマトリクス回路２３内に設けられた偽色補間回路８０では、偽色と判断されたピクセル位置の信号を、そのピクセルの周囲の信号から補間して生成し、その信号と置き換えをする。このことにより、高精度に偽色部分の補正を行うことができる。
【図面の簡単な説明】
【００７３】
【図１】本発明が適用されたデジタルカメラシステムの構成を示すブロック図である。
【図２】補色市松色差線順次方式のＣＣＤを説明するための図である。
【図３】偽色検出回路のブロック構成図である。
【図４】高レベル検出回路の回路図である。
【図５】高レベル検出回路の各処理工程上における信号波形を示す図である。
【図６】水平方向レベル差検出回路の回路図である。
【図７】水平方向レベル差検出回路の各処理工程上における信号波形を示す図である。
【図８】垂直方向レベル差検出回路の回路図である。
【図９】垂直方向レベル差検出回路の各処理工程上における信号波形を示す図である。
【図１０】リニアマトリクス回路内に設けられた偽色補間回路の回路図である。
【図１１】従来の偽色補正回路のブロック図である。
【符号の説明】
【００７４】
１０  デジタルカメラシステム、２１  偽色検出回路、３１  高レベル検出回路、３２  水平方向レベル差検出回路、３３  垂直方向レベル差検出回路、８０  偽色補間回路
【図１】
2005064863.tif 000003
【図２】
2005064863.tif 000004
【図３】
2005064863.tif 000005
【図４】
2005064863.tif 000006
【図５】
2005064863.tif 000007
【図６】
2005064863.tif 000008
【図７】
2005064863.tif 000009
【図８】
2005064863.tif 000010
【図９】
2005064863.tif 000011
【図１０】
2005064863.tif 000012
【図１１】
2005064863.tif 000013