(57)【要約】入力画像に含まれる色変化を有効に除去し、出力画像信号の画質を向上する画像処理回路、画像処理方法、及びカメラ装置であって、撮像素子によって撮像した画像信号をデジタル信号処理回路１０４に入力して、ＲＧＢ色信号と輝度信号に分離する。そして、この分離した各色信号の積分値を各フィールド毎に監視し、Ｂの積分値が判定閾値よりも小さくなり、再び大きくなり始めたところでカラーローリング現象が起きていると判定する。そして、カラーローリング現象ありと判定した場合には、カラーローリング抑圧モードに遷移し、オートホワイトバランス（ＡＷＢ）処理の高速化やＢ及びＹｅ方向の色信号のゲイン抑圧（サプレス）制御を行う。また、カラーローリング現象なしと判定した場合には、通常モードのオートホワイトバランス（ＡＷＢ）処理を行う。
2003105488.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号から原色信号を抽出する信号処理手段と、
前記信号処理手段によっ抽出された各原色信号毎の積分データに基づいて前記画像信号に含まれる色変化を検出する色変化検出手段と
を有する画像処理回路。
【請求項２】
前記色変化検出手段は、周期的な色変化を検出する
請求項１記載の画像処理回路。
【請求項３】
前記色変化検出手段は、前記色信号のＲ信号及びＧ信号に対するＢ信号の変化によって前記周期的な色変化を検出する
請求項２記載の画像処理回路。
【請求項４】
前記色変化検出手段は、前記色信号のうちＢ信号のレベルが所定の値より小さくなり、再び大きくなり始めた時点で、前記周期的な色変化を検出する
請求項２記載の画像処理回路。
【請求項５】
前記色変化検出手段は、画像信号の各フィールド毎に各色信号の積分データの変化を監視して前記周期的な色変化を検出する
請求項２記載の画像処理回路。
【請求項６】
前記色変化検出手段によって周期的な色変化が検出された場合に、前記信号処理手段におけるオートホワイトバランス制御を自動的に色変化抑圧モードに遷移させる
請求項２記載の画像処理回路。
【請求項７】
前記色変化抑圧モードでは、オートホワイトバランス制御を高速動作させる
請求項６記載の画像処理回路。
【請求項８】
前記色変化抑圧モードでは、オートホワイトバランス制御を高速動作させるとともに、前記周期的な色変化が生じる方向の色成分の信号ゲインを抑圧する
請求項６記載の画像処理回路。
【請求項９】
画像信号に信号処理を施す画像処理方法であって、
前記画像信号から原色信号を抽出する第１のステップと、
抽出した原色信号に基づいて各色信号毎の積分データを算出する第２のステップと、
各色信号の積分データの変化に基づいて画像信号に含まれる色変化を検出する第３のステップと
を有する画像処理方法。
【請求項１０】
前記第３のステップにおいては、周期的な色変化を検出する
請求項９記載の画像処理方法。
【請求項１１】
前記第３のステップにおいては、前記色信号のＲ信号及びＧ信号に対するＢ信号の変化によって前記周期的な色変化を検出する
請求項１０記載の画像処理方法。
【請求項１２】
前記第３のステップにおいては、前記色信号のうちＢ信号のレベルが所定の値より小さくなり、再び大きくなり始めた時点で、前記周期的な色変化を検出する
請求項１０記載の画像処理方法。
【請求項１３】
前記第３のステップにおいては、前記画像信号の各フィールド毎に各色信号の積分データの変化を監視して前記周期的な色変化を検出する
請求項１０記載の画像処理方法。
【請求項１４】
前記第３のステップにおいて、前記周期的な色変化が検出された場合に、前記画素信号のオートホワイトバランス制御を自動的に色変化抑圧モードに遷移させる
請求項１０記載の画像処理方法。
【請求項１５】
前記色変化抑圧モードでは、オートホワイトバランス制御を高速動作させる
請求項１４記載の画像処理方法。
【請求項１６】
前記色変化抑圧モードでは、オートホワイトバランス制御を高速動作させるとともに、前記周期的な色変化が生じる方向の色成分の信号ゲインを抑圧する
請求項１４記載の画像処理方法。
【請求項１７】
被写体を撮像して画像信号を出力する撮像手段と、
前記撮像手段より出力された画像信号から原色信号を抽出する信号処理手段と、
前記信号処理手段により抽出された原色信号に基づいて各色信号毎の積分データを算出する色信号検出手段と、
前記色信号検出手段により算出された各色信号の積分データの変化に基づいて前記画像信号に含まれる色変化を検出する色変化検出手段と
を有するカメラ装置。
【請求項１８】
前記色変化検出手段は、周期的な色変化を検出する
請求項１７記載のカメラ装置。
【請求項１９】
前記色変化検出手段は、前記色信号のＲ信号及びＧ信号に対するＢ信号の変化によって前記周期的な色変化を検出する
請求項１８記載のカメラ装置。
【請求項２０】
前記色変化検出手段は、前記色信号のうちＢ信号のレベルが所定の値より小さくなり、再び大きくなり始めた時点で、前記周期的な色変化を検出する
請求項１８記載のカメラ装置。
【請求項２１】
前記色変化検出手段は、画像信号の各フィールド毎に各色信号の積分データの変化を監視して前記周期的な色変化を検出する
請求項１８記載のカメラ装置。
【請求項２２】
前記色変化検出手段によって周期的な色変化が検出された場合に、前記信号処理手段におけるオートホワイトバランス制御を自動的に色変化抑圧モードに遷移させる
請求項１８記載のカメラ装置。
【請求項２３】
前記色変化抑圧モードでは、オートホワイトバランス制御を高速動作させる
請求項２２記載のカメラ装置。
【請求項２４】
前記色変化抑圧モードでは、オートホワイトバランス制御を高速動作させるとともに、前記周期的な色変化が生じる方向の色成分の信号ゲインを抑圧する
請求項２２記載のカメラ装置。
【発明の詳細な説明】
技術分野
本発明は、入力画像に含まれる色変化を抑圧して高品位の出力画像を得ることができる画像処理回路、画像処理方法、及びカメラ装置に関する。
背景技術
従来より、カメラ装置で被写体の撮影を行う場合、その撮影場所の照明等の関係で、周期的な色変化が撮像画像に含まれる、いわゆるカラーローリングあるいは色フリッカと呼ばれる現象が生じる。
例えば、一般的なＮＴＳＣ規格（１フィールド５９．９４［Ｈｚ］）に準拠したカメラ装置において、６０［Ｈｚ］の電源における蛍光灯下で被写体を撮影すると、長周期の色変化（カラーローリング）が生じる。
上述のようなカラーローリングは、その発生周期が一定ではないため、正確な検出が難しく、対策が容易でないという問題がある。
例えば、特開平１１−２８５０１０号公報に開示されるものでは、蛍光灯下であることを外付けセンサで検出しているが、これは外付けセンサを設けるためにコスト増加を招くという欠点がある。
また、カラーローリング抑圧方法として、オートホワイトバランスの調整動作速度を速くするという方法を用いているが、これだけでは抑えきれないという課題がある。
すなわち、オートホワイトバランスの訓整速度を２秒から４秒程度の時間で調整完了するように速くしても、カラーローリングの色変化スピードがそれをはるかに上回るため、有効に対応しきれない。
図１は、ベクトルスコープによるカラーローリング現象を示す説明図である。図１において、横軸が色差信号Ｂ−Ｙの振幅（ゲイン）を示し、縦軸が色差信号Ｒ−Ｙの振幅を示している。
図１に示すように、カラーローリングは、主に黄色光の方向に急激な色変化を起こすが、それをホワイトバランスで高速に白色に合わせようとすると、変化した幅の中心を白色にするため、完全に色を抑圧することができない。また、逆方向の色も生じてしまうという問題がある。
すなわち、カラーローリングが発生したときに、ホワイトバランスを合わせると、その色成分だけを抑制することができるわけではなく、色成分全体の平均で収束する。
具体的には、図２（Ａ）に示すようなカラーローリングが発生した場合に、ホワイトバランスを合わせると、理想的には図２（Ｂ）に示すように完全に色を抑制することができるはずが、実際には、図２（Ｃ）に示すように、色成分全体の平均で収束する。
発明の開示
本発明の目的は、入力画像に含まれる色変化を有効に除去でき、出力画像信号の画質を向上することが可能な画像処理回路、画像処理方法、及びカメラ装置を提供することにある。
前記目的を達成するため、本発明の第１の観点の画像処理回路は、入力された画像信号から原色信号を抽出する信号処理手段と、前記信号処理手段によっ抽出された各原色信号毎の積分データに基づいて前記画像信号に含まれる色変化を検出する色変化検出手段とを有する。
本発明の第２の観点は、画像信号に信号処理を施す画像処理方法であって、前記画像信号から原色信号を抽出する第１のステップと、抽出した原色信号に基づいて各色信号毎の積分データを算出する第２のステップと、各色信号の積分データの変化に基づいて画像信号に含まれる色変化を検出する第３のステップとを有する。
本発明の第３の観点は、被写体を撮像して画像信号を出力する撮像手段と、前記撮像手段より出力された画像信号から原色信号を抽出する信号処理手段と、前記信号処理手段により抽出された原色信号に基づいて各色信号毎の積分データを算出する色信号検出手段と、前記色信号検出手段により算出された各色信号の積分データの変化に基づいて前記画像信号に含まれる色変化を検出する色変化検出手段とを有する。
本発明によれば、画像信号からＲ（赤）、Ｇ（緑）、Ｂ（青）の原色信号が抽出され、抽出されたＲＧＢの原色信号に基づいて各色信号毎の積分データが算出される。
そして、算出された各色信号の積分データの変化に基づいて画像信号に含まれる、たとえば周期的な色変化が検出される。
発明を実施するための最良の形態
以下、本発明による画像処理回路、画像処理方法、及びカメラ装置の実施の形態について、添付図面に関連付けて説明する。
図２は、本発明の実施の形態例によるカメラ装置の構成例を示すブロック図である。
本例のカメラ装置は、レンズ１０１と、ＣＣＤ撮像素子１０２と、相関二重サンプリング／自動ゲイン制御（以下、ＣＤＳ／ＡＧＣと記す））回路１０３と、デジタル信号処理回路１０４と、タイミングジェネレータ（ＴＧ）１０５とを有する。
ＣＣＤ撮像素子１０２は、レンズ１０１を通して結像した光信号を電気信号に変換し、画像信号として出力する。
ＣＤＳ／ＡＧＣ回路１０３は、ＣＣＤ撮像素子１０２から出力された画像信号に対してＣＤＳ（相関二重サンプリング）による画素ノイズ除去と、ＡＧＣによるゲイン調整を行い、その信号をデジタル信号処理回路１０４に出力する。
デジタル信号処理回路１０４は、ＤＳＰ（デジタルシグナルプロセッサ）より構成されており、ＣＤＳ／ＡＧＣ回路１０３から入力された画像信号に各種の処理を行う。
また、タイミングジェネレータ（ＴＧ）１０５は、本例のカメラ装置の各部が動作するための各種タイミング信号を出力する。
次に、本例のカメラ装置の特徴となるデジタル信号処理回路１０４の構成について説明する。
図３に示すように、デジタル信号処理回路１０４は、アナログ／デジタル（Ａ／Ｄ）変換部２０１と、色信号処理部（ＣＳＰ）２０３、輝度信号処理部（ＹＳＰ）２０４を含む信号処理部２０２と、デジタル／アナログ（Ｄ／Ａ）変換部２０５と、オプティカルディテクタ（ＯＰＤ）部２０６と、マイクロコンピュータからなる演算処理部（ＣＰＵ）２０７とを有する。
Ａ／Ｄ変換部２０１は、ＣＤＳ／ＡＧＣ回路１０３から入力されたアナログ画像信号をデジタル画像信号に変換し、このデジタル化された画像信号を信号処理部２０２に出力する。
信号処理部（信号処理手段）２０２は、図３では省略しているが、入力画像信号をＲ（赤）、Ｇ（緑）、Ｂ（青）の色信号（Ｃ）と輝度信号（Ｙ）とに分離する色分離部が設けられており、その分離した色信号と輝度信号を色信号処理部（色信号検出手段）２０３と輝度信号処理部２０４に入力し、それぞれの信号処理を行ってＤ／Ａ変換部２０５に出力する。
Ｄ／Ａ変換部２０５では、この信号処理されたデジタル画像信号をアナログ画像信号に戻し、後段の画像出力回路（図示せず）に出力する。
オプティカルディテクタ部（色変化検出手段）２０６は、色信号処理部２０３におけるホワイトバランス処理のために、信号処理部２０２から取得した画像信号の積分を行う。
演算処理部２０７は、オプティカルディテクタ２０６によって出力された積分値に基づいてホワイトバランス処理を行う。
ホワイトバランス処理は、色信号処理回路２０３からオプティカルディテクタ２０６によって積分した色信号に基づいて演算処理部２０７内のソフトウェアで行う。
ここで、カラーローリング（あるいは色フリッカ）の検出には、オプティカルディテクタ２０６にて積分された色（Ｒ、Ｇ、Ｂ）信号を用いる。
通常、ＯＰＤデータは極端なデータ変化が繰り返して生じることはない。このときは、オートホワイトバランス処理の動作もゆっくり行えば問題ない。
また、単発的に極端なデータ変化が生じた場合には、被写体の色温度条件が大きく変化したのではなく、被写体そのものが別のものに変化することがほとんどであるので、このときにはオートホワイトバランス処理を動作させなくてもよいことになる。
一方、カラーローリング時には、図４に示すように、ＲとＧの積分値に対して、Ｂの積分値が極端に小さくなり、この変化が繰り返される。さらに、この変化の周期はランダムである。
そこで、各フィールド毎（ＮＴＳＣの場合は１／６０［ｓ］、ＰＡＬの場合は１／５０［ｓ］）の積分値を監視し、Ｂの積分値が判定閾値よりも小さくなり、再び大きくなり始めたところでカラーローリングが起きていると判定する。
そして、カラーローリングを検出したと判定した場合に、下記の２つの対策を行う。
（１）オートホワイトバランス処理の収束スピードを速くする。
（２）Ｂ（青）及びＹｅ（黄）方向の色信号のゲインを抑圧する。
ここで、オートホワイトバランス処理の収束スピードは、通常時に数秒かけているものを１フィールドから２フィールドで収束するようにする。すなわち、各処理のウェイトなどを一切省き、ＯＰＤデータを元にゲインを算出してホワイトバランスアンプに反映させるまでの時間を短縮させる。このことにより、急激な色変化に対して十分な追従性を持たせるようにする。
ホワイトバランス処理においては、通常、ウェイト処理を行う。このウェイトは、何フィールドに１回処理をするか、不感帯（ある程度の幅を持ち、この領域に入ったらホワイトバランスが合ったと判定する）に入ってから次の変化に対応させるめにカウントする時間を指す。
本実施形態においては、可能な限り高速にオートホワイトバランス（ＡＷＢ）の調整動作を行うために、オートホワイトバランス処理内にあるウェイト処理等を一切省くように構成している。
また、Ｂ方向及びＹｅ方向の色信号のゲインを抑圧するには、図１に示すようなＲ−Ｙ軸とＢ−Ｙ軸の２軸から構成される座標において、第２象限と第４象限にある色を独立にコントロールする。
本実施形態においては、第１〜第４のすべての象限にある色合いを同時にコントロールするのではなく、第１〜第４の各象限ごとに独立して色合いを調整するように構成している。ここでいう、「第２象限と第４象限にある色を独立にコントロールする」というのは、他の象限の色合いを変えずに色調整を行ってカラーローリングの色を抑制することを意味している。
これにより、カラーローリングの色のみを抑え、その他の色は残して自然に見えるようにする。
図５は、以上のような本例によるカラーローリングの抑制処理手順を示すフローチャートである。
まず、ステップＳＴ１、ＳＴ２においては、各色信号の積分値（ＯＰＤデータ）を各フィールド毎に監視し、Ｂの積分値が判定閾値よりも小さくなり、再び大きくなり始めたところでカラーローリング現象が起きていると判定する。
そして、ステップＳＴ２でカラーローリング現象ありと判定した場合には、カラーローリング抑圧モードに遷移し、上述したオートホワイトバランス（ＡＷＢ）処理の高速化（ステップＳＴ３）やＢ及びＹｅ方向の色信号のゲイン抑圧（サプレス）制御（ステップＳＴ４）を行う。
また、カラーローリング現象なしと判定した場合には、通常モードのオートホワイトバランス（ＡＷＢ）処理を行う（ステップＳＴ５）。
なお、オートホワイトバランス処理を行うための構成としては、例えば特開平１１−２４３５５７号公報に開示されるものを用いることが可能である。
以上のような本例の処理により、次のような効果を得ることが可能である。
（１）例えば蛍光灯下での撮影時において、周期的な色変化が抑えられ、カメラの画質を向上することができる。
（２）出力画像を人の肉眼による見た目と合致させることができる。したがって、監視カメラなどで人が視認で色を判断するときに間違いがないようにすることが可能である。
（３）画像の色変化が抑えられることを利用することにより、ＭＰＥＧなどの画像圧縮がより効率良く行なえる。すなわち圧縮率を高めることができる。
なお、以上は本発明をカメラ装置に適用した例を説明したが、本発明は画像処理回路単体や画像処理方法単体としても構成することが可能である。
また、撮像手段としては固体撮像素子以外の手段を用いたカメラ装置であってもよく、また、撮像手段以外の手段によって入力した画像信号を処理するような構成に適用することも可能である。
また、カメラ装置は、撮像機能を有するカメラ、携帯電話、パーソナルコンピュータ（ＰＣ）等ぼ電子機器、または、それらの電子機器に組み込まれる撮像用の電子機器モジュールを含む。
産業上の利用可能性
以上説明したように本発明の画像処理回路、画像処理方法、及びカメラ装置によれば、外付けセンサ等を用いることなく、信号処理で用いる画像信号を利用してカラーローリングや色フリッカといった周期的な色変化現象を適正に検出して例えばオートホワイトバランス制御に有効に反映させることができ、入力画像に含まれる色変化を有効に除去し、出力画像信号の画質を向上することが可能であることから、撮像機能を有するカメラ、携帯電話、パーソナルコンピュータ（ＰＣ）等ぼ電子機器、または、それらの電子機器に組み込まれる撮像用の電子機器モジュール等のカメラ装置を含むカメラシステムに適用可能である。
【図面の簡単な説明】
図１は、ベクトルスコープによるカラーローリング現象を示す説明図である。
図２（Ａ）〜（Ｃ）は、カラーローリング現象は発生した場合に、ホワイトバランスの調整動作を高速に行う場合の課題を説明するための図である。
図３は、本発明の実施の形態によるカメラ装置の構成例を示すブロック図である。
図４は、カラーローリング時の各色信号の変化を示す説明図である。
図５は、図３に示すカメラ装置におけるカラーローリングの抑制処理手順を示すフローチャートである。
符号の説明
１０１……レンズ
１０２……ＣＣＤ撮像素子
１０３……相関二重サンプリング／自動ゲイン制御（ＣＤＳ／ＡＧＣ）回路
１０４……デジタル信号処理回路
１０５……タイミングジェネレータ（ＴＧ）
２０１……アナログ／デジタル（Ａ／Ｄ）変換部
２０２……信号処理部
２０３……色信号処理部（ＣＳＰ）
２０４……輝度信号処理部（ＹＳＰ）
２０５……デジタル／アナログ（Ｄ／Ａ）変換部
２０６……オプティカルディテクタ（ＯＰＤ）部
２０７……演算処理部（ＣＰＵ）
【図１】
2003105488.tif 000003
2003105488.tif 000004
【図３】
2003105488.tif 000005
【図４】
2003105488.tif 000006
【図５】
2003105488.tif 000007
【国際調査報告】
2003105488.tif 000008
2003105488.tif 000009
2003105488.tif 000010
2003105488.tif 000011