(57)【要約】【課題】  カラーローリングの発生状況に応じて、適正にカラーローリングによる色変化を補正することができるようにする。【解決手段】  撮像画像中のＲＧＢ成分の各積分値に基づいて、発生中のカラーローリングの範囲を検出する。そして、このように検出されたカラーローリングの範囲の情報に基づいて、カラーローリング抑制のためのＡＷＢ制御範囲を設定する。  このようにすることで、実際のカラーローリングの発生状況を反映したＡＷＢ制御範囲の設定が可能となる。そして、この制御範囲に基づいたＡＷＢ制御が実行されることで、実施のカラーローリングの発生状況に応じた、適正なカラーローリング抑制のためのＡＷＢ制御を行うことができる。【選択図】  図７
2005130004.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により得られた電気信号に基づくＲ信号、Ｇ信号、Ｂ信号についての各積分値を算出する積分値算出手段と、
上記積分値算出手段により算出される各積分値の情報を所定時間長にわたってサンプリングすると共に、サンプリングされた積分値の情報に基づき、カラーローリングの範囲を検出するカラーローリング範囲検出手段と、
上記カラーローリング範囲検出手段により検出された上記カラーローリングの範囲の情報に基づいて、オートホワイトバランスの引き込み制御のための制御範囲を設定する設定手段と、
上記設定手段により設定された上記制御範囲の情報に基づいて、カラーローリング抑制のためのオートホワイトバランスの引き込み制御を実行する制御手段と、
を備えることを特徴とする映像信号処理装置。
【請求項２】
上記設定手段は、
上記カラーローリング範囲検出手段により検出された上記カラーローリングの範囲の最大値、及び最小値の情報に基づいて、上記制御範囲を設定する、
ことを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
さらに、上記撮像素子への露光時間を検出することが可能な露光時間検出手段を備えると共に、
上記設定手段は、
上記露光時間検出手段により検出された、上記カラーローリング範囲検出手段によるサンプリング時の露光時間と、現在の露光時間とを比較した結果に基づいて、上記制御範囲を調整するように構成されている、
ことを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
撮像素子により得られた電気信号に基づくＲ信号、Ｇ信号、Ｂ信号についての各積分値を算出する積分値算出手順と、
上記積分値算出手順により算出した各積分値の情報を所定時間長にわたってサンプリングすると共に、サンプリングされた積分値の情報に基づき、カラーローリングの範囲を検出するカラーローリング範囲検出手順と、
上記カラーローリング範囲検出手順により検出した上記カラーローリングの範囲の情報に基づいて、オートホワイトバランスの引き込み制御のための制御範囲を設定する設定手順と、
上記設定手順により設定した上記制御範囲の情報に基づいて、カラーローリング抑制のためのオートホワイトバランスの引き込み制御を実行する制御手順と、
を実行することを特徴とする映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばビデオカメラ等の撮像装置に備えられる映像信号処理装置とその方法に関するものである。
【背景技術】
【０００２】
例えば、ビデオカメラ等の撮像装置においては、蛍光灯のように一定の発光周期を有するようにされた光源により照射される被写体を撮像した場合に、撮像画像に周期的な色の変化が生じることがわかっている。いわゆる、カラーローリング（色フリッカ）と呼ばれる現象である。
【０００３】
このようなカラーローリングの発生原理を、次の図２を用いて説明する。
図２において、図２（ａ）には商用交流電源周期を示している。ここでは、商用交流電源周期が６０Ｈｚとされる場合が例示されている。
また、図２（ｂ）には、蛍光灯により照射される光に含まれる、Ｒ（赤），Ｇ（緑），Ｂ（青）成分の時間ｔの変化に伴う変化を示している。図２（ａ）に示す商用交流電源周期に基づいた場合、蛍光灯の発光周期は図示するように１２０Ｈｚとなる。
図２（ｃ）には垂直同期信号の周期を示している。例えばＮＴＳＣ方式による撮像動作の場合は５９．９４Ｈｚとなる。
【０００４】
一般的に撮像装置は、垂直同期信号の周期に応じて撮像素子への露光を行って、フィールドごとの撮像画像を得るようにされている。
つまり、この場合の撮像装置の露光タイミングは、図中に露光時間Ｔ１、Ｔ２、Ｔ３、Ｔ４と示したような、図２（ｃ）に示される垂直同期信号の周期に応じたものとなる。
そして、このように撮像装置における露光動作が垂直同期信号の周期に応じたものとされることにより、この場合の露光タイミング（５９．９４Ｈｚ）は、蛍光灯の２回分の発光タイミング（６０Ｈｚ）に対して、「１／５９．９４−１／６０」ｓｅｃずつ徐々にずれていくことになる。
【０００５】
露光タイミングと蛍光灯の発光タイミングとに徐々にずれが生じてくることによっては、各露光時間Ｔ１〜Ｔ４において得られる蛍光灯のＲＧＢ成分の割合に変化が生じてくることになる。
例えば、図中時点ｔ１における垂直同期信号に対応した露光時間Ｔ１では、蛍光灯のＲＧＢ成分のうちＲ成分の比率が多いことがわかる。
これに対し、以降の露光時間Ｔ２、露光時間Ｔ３となるにつれて、図のように蛍光灯の発光タイミングと露光タイミングとに徐々にずれが生じ、露光時間中に得られるＲ成分の割合は減少していくことになる。そして、時点ｔ４における垂直同期信号に対応する露光時間Ｔ４に至ると、比較的Ｂ成分が多く含まれた撮像画像が得られることがわかる。
このようにして、蛍光灯のように周期的な発光を行う光源の下で撮像した撮像画像には、時間経過と共に、周期的な色の変化が生じることになる。
【０００６】
カラーローリングを抑制する手法の１つとしては、オートホワイトバランス制御（ＡＷＢ制御）を利用したものが知られている。
このようなＡＷＢ制御を利用したカラーローリングの抑制の手法について、次の図３、図４を用いて説明する。
図３は、撮像画像中のＲ、Ｇ、Ｂの各成分の分布を示す図として、Ｒ信号／Ｇ信号、Ｂ信号／Ｇ信号の値を座標平面上にプロットした図である。
先の図２に示したようにしてカラーローリングが生じている場合、Ｒ／Ｇ値、Ｂ／Ｇ値を座標平面上にプロットすると、図示するように楕円形による軌跡を描くようになる。そして、このようなカラーローリングによる軌跡（カラーローリングによる色変化の範囲）を想定して、予めこれを包含するような範囲とした、図のようなＡＷＢ制御枠を設定しておく。
そして、実際の撮像時においては、このように予想されるカラーローリング範囲に対応させて予め設定した上記ＡＷＢ制御枠に基づき、撮像画像中のＲ／Ｇ値、Ｂ／Ｇ値が、このＡＷＢ制御枠の範囲内にある場合は、ＡＷＢ制御を実行するようにする。つまり、Ｒ信号、Ｇ信号、Ｂ信号の割合が等しくなるように制御を行う。
【０００７】
このようにして、Ｒ／Ｇ値、Ｂ／Ｇ値が、予め設定されたＡＷＢ制御枠の範囲内にある場合は、ＡＷＢ制御が実行されることで、カラーローリングによる色変化のみを補正するＡＷＢ制御が図られているものである。
【０００８】
なお、カラーローリングの抑制を図る他の従来技術としては、例えば以下の特許文献を挙げることができる。
【特許文献１】特開平８−３０７８８３号公報
【特許文献２】特開平１１−２８５０１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、このようなＡＷＢ制御枠を設けたのみのカラーローリングの抑制動作では、被写体を照射する蛍光灯の種類が異なった場合に、カラーローリングを抑制できなくなる場合がある。
これは、蛍光灯の種類により、カラーローリングによる生じる色変化の発生状況が異なる場合があることによる。
【００１０】
例えば図５には、ある蛍光灯Ａが用いられた場合のカラーローリングの範囲を示しているが、このように蛍光灯Ａの場合では、カラーローリングの範囲がそのＢ／Ｇ軸方向において大きくなる場合もある。
また、図６に示す蛍光灯Ｂの場合のように、先の図３の場合のカラーローリングの軌跡よりも、そのＲ／Ｇ軸方向の範囲が大きくなるものもある。
そして、このような図５、図６に示される蛍光灯Ａ、Ｂ下において、先の図３に示したものと同範囲による制御枠に基づいてＡＷＢ制御を行ったとすると、枠外となった部分については、カラーローリングによる色変化であるにも関わらず、ＡＷＢ制御が行われなくなってしまうことになる。つまり、この部分の色変化についてはＡＷＢ制御による補正が行われず、カラーローリングの抑制が図られなくなってしまうものである。
【００１１】
このようにして従来のカラーローリング抑制のためのＡＷＢ制御では、例えば上記のように蛍光灯の種類が異なるなど、撮像状況によってカラーローリングの発生状況が変化した場合に、適切なカラーローリングの抑制ができなくなってしまうという問題点があった。
【課題を解決するための手段】
【００１２】
そこで、本発明では以上のような問題点に鑑み、映像信号処理装置として以下のように構成することとした。
すなわち、先ず、撮像素子により得られた電気信号に基づくＲ信号、Ｇ信号、Ｂ信号についての各積分値を算出する積分値算出手段と、上記積分値算出手段により算出される各積分値の情報を所定時間長にわたってサンプリングすると共に、サンプリングされた積分値の情報に基づき、カラーローリングの範囲を検出するカラーローリング範囲検出手段とを備える。
そして、上記カラーローリング範囲検出手段により検出された上記カラーローリングの範囲の情報に基づいて、オートホワイトバランスの引き込み制御のための制御範囲を設定する設定手段を備える。
その上で、上記設定手段により設定された上記制御範囲の情報に基づいて、カラーローリング抑制のためのオートホワイトバランスの引き込み制御を実行する制御手段を備えるようにした。
【００１３】
また、本発明では、映像信号処理手段として以下のようにすることとした。
つまり、撮像素子により得られた電気信号に基づくＲ信号、Ｇ信号、Ｂ信号についての各積分値を算出する積分値算出手順と、上記積分値算出手順により算出した各積分値の情報を所定時間長にわたってサンプリングすると共に、サンプリングされた積分値の情報に基づき、カラーローリングの範囲を検出するカラーローリング範囲検出手順とを実行する。
そして、上記カラーローリング範囲検出手順により検出した上記カラーローリングの範囲の情報に基づいて、オートホワイトバランスの引き込み制御のための制御範囲を設定する設定手順を実行し、さらに、上記設定手順により設定した上記制御範囲の情報に基づいて、カラーローリング抑制のためのオートホワイトバランスの引き込み制御を実行する制御手順を実行するものとした。
【００１４】
上記構成によれば、先ずは撮像画像中のＲＧＢ成分の各積分値に基づいて、このとき発生するカラーローリングの範囲が検出される。そして、このように検出されたカラーローリングの範囲の情報に基づいて、カラーローリング抑制のためのＡＷＢ制御範囲が設定される。
つまり、このとき設定される制御範囲としては、実際のカラーローリングの発生状況を反映したものとすることができるものである。
【発明の効果】
【００１５】
このことから、上記本発明によれば、実際のカラーローリングの発生状況を反映した制御範囲に基づいて、カラーローリング抑制のためのＡＷＢ制御を行うことが可能となる。
そして、このように実際のカラーローリングの発生状況が反映された制御範囲に基づいた、カラーローリング抑制のためのＡＷＢ制御を行うことが可能となれば、例えば蛍光灯の種類が異なる等、撮像状況によってカラーローリングの発生状況が変化した場合にも、適切なカラーローリング抑制のための制御を行うことができる。
また、この際、さらに撮像素子への露光時間の情報に基づいてＡＷＢ制御範囲の調整を行うようにすれば、露光時間の差によりカラーローリングの範囲が異なる場合にも、適切なカラーローリング抑制のための制御を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、発明を実施するための最良の形態のうちの１つの形態（以下、実施の形態とする）について説明していく。
図１は、実施の形態の映像信号処理装置の構成例を示すブロック図である。本例の映像信号処理装置は、例えばビデオカメラ等の撮像装置に対して内蔵され、撮像映像信号についての映像信号処理として、特にホワイトバランス調整を行うものとされている。
先ず、図示するように本例の映像信号処理装置は、原色分離回路２、ホワイトバランスアンプ（ＷＢアンプ）３、オプティカルディテクタ５、コントローラ６を備えている。
入力端子１には、固体撮像素子として、例えばＣＣＤ（Charge Coupled Device）撮像素子や所謂ＣＭＯＳ（Complementary Metal-Oxid Semiconductor）型撮像素子等によって得られた電気信号が信号処理され、デジタル信号として供給される。そして、このデジタル信号が原色分離回路２に入力される。
【００１７】
原色分離回路２では、入力されたデジタル信号がＲ（赤）、Ｇ（緑）、Ｂ（青）の原色信号に分離される。
分離された各信号（Ｒ信号、Ｇ信号、Ｂ信号）は、ホワイトバランスアンプ３に入力される。ホワイトバランスアンプ３には、Ｒ信号、Ｇ信号、Ｂ信号にそれぞれ対応して可変ゲインアンプ３Ｒ、３Ｇ、３Ｂが設けられている。各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂは、それぞれコントローラ６によって制御されるゲインにおいて、それぞれＲ信号、Ｇ信号、Ｂ信号の増幅（又は減衰）を行い、出力する。
そして、ホワイトバランスアンプ３から出力されたＲ信号、Ｇ信号、Ｂ信号は、映像信号に合成するために利用すべく、端子４Ｒ、４Ｇ、４Ｂから図示されない次段の回路系に供給される。
【００１８】
また、上記した原色分離回路２によって出力されたＲ信号、Ｇ信号、Ｂ信号は、ホワイトバランス調整に利用すべく、オプティカルディテクタ５に対しても入力される。
オプティカルディテクタ５は、Ｒ信号、Ｇ信号、Ｂ信号をそれぞれフィールドごと（又はフィールドごと）に積分する積分回路を有する。すなわちオプティカルディテクタ５は、Ｒ信号、Ｇ信号、Ｂ信号の例えばフィールド単位の積分値データＲｉ、Ｇｉ、Ｂｉをコントローラ６に対して供給する。
【００１９】
コントローラ６は、例えばマイクロコンピュータ或いはＤＳＰ（Digital Signal Processor）等により形成され、ソフトウェアにより所定の演算を行う。具体的には、この場合はオプティカルディテクタ５から供給される積分値データＲｉ、Ｇｉ、Ｂｉを元に、Ｒ／Ｇ、Ｂ／Ｇのデータを得る演算機能と、これらＲ／Ｇ、Ｂ／Ｇの各データに基づいてＲ信号、Ｇ信号、Ｂ信号についての各ゲインを設定するゲイン設定の演算機能を備えている。
これら機能（ソフトウェア演算）によって得られた各ゲインの設定値は、ホワイトバランスアンプ３における各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂに供給されて、Ｒ信号、Ｇ信号、Ｂ信号の各ゲインを制御することになる。
【００２０】
そしてこの場合、コントローラ６は、上記のような演算機能を利用した制御として、Ｒ信号、Ｇ信号、Ｂ信号についてのホワイトバランスをとる、いわゆるオートホワイトバランス制御（以下ＡＷＢ制御とする）が可能とされる。
なお、ここで言う、ホワイトバランスをとる（調整する）とは、基本的にはＲ信号、Ｇ信号、Ｂ信号の比率が等しくなるようにホワイトバランスアンプ３の各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂのゲイン（Ｒゲイン、Ｇゲイン、Ｂゲイン）を調整することを言う。
そしてホワイトバランスを調整するにあたっては、
Ｒ信号×Ｒゲイン＝Ｇ信号×Ｇゲイン＝Ｂ信号×Ｂゲイン
つまり、
（Ｒ信号×Ｒゲイン）−（Ｇ信号×Ｇゲイン）＝（Ｂ信号×Ｂゲイン）−（Ｇ信号×Ｇゲイン）＝０
が成り立つように、ホワイトバランスアンプ３を制御するものとされる。
【００２１】
ところで、上記構成のような映像信号処理装置を備える撮像装置において、例えば蛍光灯のように、一定の発光周期を有するようにされた光源により照射される被写体を撮像した際には、先の図２において説明したように、撮像画像に周期的な色の変化が生じることがわかっている（カラーローリング、或いは色フリッカと呼ばれる）。
そして、このようなカラーローリングが発生している下では、光源の発光周期と、撮像装置側の垂直同期信号の周期（露光動作の周期）との最小公倍数で求められる所定の周期で、撮像画像の色の変化が繰り返されるものとなる。
【００２２】
このようなカラーローリングを抑制する手法の１つとしては、ＡＷＢ制御を利用したものが知られている。
このようなＡＷＢ制御を利用したカラーローリングの抑制の手法について、次の図３、図４を用いて説明する。
図３は、先の図１にて説明したように、コントローラ６がＡＷＢ制御のために演算するＲ／Ｇデータ、Ｂ／Ｇデータの値を、座標平面上にプロットした図である。
先の図２に示したようにしてカラーローリングが生じている場合、Ｒ／Ｇデータ、Ｂ／Ｇデータの値を座標平面上にプロットすると、図示するように楕円形による軌跡を描くようになる。
このようなカラーローリングによる軌跡に対して、図のようなＡＷＢ制御枠として示されるような、Ｒ／Ｇ値についての最大値側・最小値側の２つの閾値、及びＢ／Ｇ値についての最大値側・最小値側の２つの閾値の計４つの閾値を設定しておく。
そして、このようなＡＷＢ制御枠は、図示するようなカラーローリングによる軌跡（カラーローリングにより生じるＲ／Ｇ値、Ｂ／Ｇ値の変化軌跡）の範囲を包含するようにして設定する。つまりこの場合、ＡＷＢ制御枠としての各閾値は、カラーローリング成分の最大値・最小値に対して、所定値をオフセットするようにして設定しておくものである。
なお、従来において、このようなＡＷＢ制御枠としての各閾値は、予め想定されるカラーローリングの範囲に対応させた、固定のデフォルト値を設定するようにされていたものである。
【００２３】
そして、このように設定されたＡＷＢ制御枠に基づき、コントローラ６により演算されたＲ／Ｇ値、Ｂ／Ｇ値が、このＡＷＢ制御枠としての閾値の範囲内にある場合は、ＡＷＢ制御を実行するようにする。つまり、Ｒ／Ｇ値、Ｂ／Ｇ値が、制御枠としての各閾値の範囲内にある場合にのみ、Ｒ信号、Ｇ信号、Ｂ信号の割合が等しくなるように各可変ゲインアンプ３Ｒ、３Ｇ、３Ｂのゲイン設定を行うものである。
このようなＡＷＢ制御が行われれば、図３示したカラーローリングによる楕円形の軌跡は、次の図４に示すようにしてＲＧＢ成分の割合が等しくなる所要の引き込み点に収束されるようになる。すなわち、これによって、カラーローリングによる色変化を吸収して、正しい色再現を図ることができるようになるものである。
【００２４】
そして、この際のＡＷＢ制御では、上記のようにしてＲ／Ｇ値、Ｂ／Ｇ値が、カラーローリング抑制のために予め設定されたＡＷＢ制御枠（閾値）の範囲内にある場合に応じてのみ実行されるので、カラーローリングによる色変化のみの吸収を図ることができるようになる。
例えばこの際、上記のようなＡＷＢ制御枠が設けられなければ、例えば赤色に偏った被写体が撮像された場合などでは、この赤色を白色とするようなＡＷＢ制御が実行されてしまうことになるが、このような制御枠を設けたＡＷＢ制御としたことで、カラーローリングに伴う色変化のみの吸収を図ることができるものである。
【００２５】
但し、このようなＡＷＢ制御枠を設けたのみのカラーローリングの抑制動作では、被写体を照射する蛍光灯の種類が異なった場合に、そのカラーローリングを抑制できなくなる場合がある。
これは、蛍光灯の種類により、カラーローリングによる生じるＲ／Ｇ値、Ｂ／Ｇ値の遷移軌跡が異なる場合があることによる。
例えば図５には、ある蛍光灯Ａが用いられた場合のカラーローリングの軌跡を、先の図３の場合と同様にＲ／Ｇ値、Ｂ／Ｇの値により示しているが、図示するようにこのような蛍光灯Ａでは、そのカラーローリングの軌跡が、先の図３の場合のカラーローリングの軌跡よりもそのＢ／Ｇ軸方向において大きくなっている。
また、図６に示す蛍光灯Ｂの場合のように、先の図３の場合のカラーローリングの軌跡よりも、そのＲ／Ｇ軸方向の範囲が大きくなるものもある。
そして、このような図５、図６に示される蛍光灯Ａ、蛍光灯Ｂを用いた場合において、先の図３に示したものと同範囲による制御枠に基づいてＡＷＢ制御を行ったとすると、枠外となった部分については、カラーローリングによる色変化であるにも関わらずＡＷＢ制御が行われなくなってしまうことになる。つまり、この部分の色変化についてはＡＷＢ制御による補正が行われず、カラーローリングの抑制が図られなくなってしまうものである。
【００２６】
そこで、本実施の形態としてはこのような事態の防止を図るべく、例えばＡＷＢ制御枠の範囲を、実際に生じているカラーローリングの範囲に対応させて設定するようにする。
そして、これを実現するために、本例の映像信号処理装置では以下のような動作を行う。
【００２７】
本例の映像信号処理装置の動作としては、上記のように実際のカラーローリング範囲に対応させたＡＷＢ制御枠を設定するにあたって、先ずは実際に生じているカラーローリングの範囲を検出するための動作を行う。
図７は、このようなカラーローリング範囲の検出動作について説明するための図であり、この図においても、先の図３と同様にコントローラ６がＡＷＢ制御のために演算するＲ／Ｇデータ、Ｂ／Ｇデータの値を、座標平面上にプロットした際の様子を示している。
先ず、このように実際に生じるカラーローリングの範囲を検出するにあたっては、コントローラ６が、オプティカルディテクタ５より供給されるＲ信号、Ｇ信号、Ｂ信号についてのフィールドごとの積分値Ｒｉ、Ｇｉ、Ｂｉについて、所定の時間長にわたってサンプリングを行う。そして、このときコントローラ６は、このようにオプティカルディテクタ５から供給される積分値Ｒｉ、Ｇｉ、Ｂｉに基づき、フィールドごとのＲ／Ｇデータ、Ｂ／Ｇデータを得るようにされる。
その上で、このように得られたフィールドごとのＲ／Ｇデータ、Ｂ／Ｇデータの値を、図７中の破線で示すようにして座標平面上にプロットしていく。
【００２８】
ここで、このようなＡＷＢ制御枠の調整のためのサンプリング時において、本例では、基本的に白色による被写体を撮像するものとするが、この際、例えば他の色の偏った被写体が撮像画像中に映り込む等、撮像状況の変化によっては、Ｒ／Ｇ値、Ｂ／Ｇ値として、図示するように或る部分では極端に大きな値が得られたり小さな値が得られたりする場合がある。
しかしこの場合、カラーローリングが生じている以上、このような複数のプロット点にはある周期性を持った軌跡が得られる可能性が高い。
そして、このような周期性を持った軌跡を検出することで、実際に生じているカラーローリングの範囲と予測される、Ｒ／Ｇ値、Ｒ／Ｇ値の遷移軌跡を導き出すことができるようになる。つまり、このとき実際に生じているカラーローリング成分のみを認識することができるものである。
【００２９】
なおこの際、プロットによるより多くの点が得られれば、上記のようなＲ／Ｇデータ、Ｂ／Ｇデータの値が極端に大きい、或いは小さくなっている部分（つまりカラーローリングに伴う色変化でない部分）以外には、このとき生じている実際のカラーローリングによる軌跡を反映する部分に、より多くの点が集中するものと考えられる。つまり、Ｒ／Ｇ値、Ｒ／Ｇ値について、より多くのサンプリング点を得るようにすれば、その分実際のカラーローリングをより反映したサンプリング結果が得られるようになり、これによって実際のカラーローリングの範囲により近いＲ／Ｇ値、Ｂ／Ｇ値の遷移軌跡を導き出すことができるようになる。
【００３０】
上記のようにして、カラーローリングにより生じるＲ／Ｇ値、Ｂ／Ｇ値の遷移軌跡を導き出すと、次の図８に示すようにして、この軌跡におけるＲ／Ｇ値、Ｂ／Ｇ値それぞれの最大値・最小値に基づいて、ＡＷＢ制御枠を設定する。
つまり、このようなＡＷＢ制御枠としては、上記のように図７にて得られた軌跡によるＢ／Ｇ値側の最小値に対して、所定値をオフセットした値をＢ／Ｇ値側における最小値側の閾値として設定する。また、Ｂ／Ｇ値側における最大値側の閾値としては、上記軌跡によるＢ／Ｇ値側の最大値を所定の値によりオフセットした値に設定する。
そして同様に、Ｒ／Ｇ値側における最小値側の閾値としては、上記軌跡によるＲ／Ｇ値側の最小値に対し、所定値をオフセットした値に設定する。さらに、Ｒ／Ｇ値側における最大値側の閾値としては、上記軌跡によるＲ／Ｇ値側の最大値を所定値によりオフセットした値に設定する。
【００３１】
このようにして、実際のカラーローリングを反映したカラーローリングの軌跡に基づいた、ＡＷＢ制御枠が設定されることによっては、この際のカラーローリングによって発生する色変化のみを補正する、適切なＡＷＢ制御を行うようにすることが可能となる。
すなわち、例えば蛍光灯の種類が異なった場合など、撮像状況に変化が生じた場合においても、その際のカラーローリングの発生状況に応じた適切なカラーローリング抑制のためのＡＷＢ制御を図ることができるものである。
【００３２】
このようにして本例では、撮像画像をサンプリングした結果に基づいて、実際のカラーローリングの発生状況に応じたＡＷＢ制御枠を設定している。そして、このような実際のカラーローリングの発生状況に応じた制御枠に基づいたＡＷＢ制御を実行することで、この際のカラーローリングによる色変化のみを補正する、適切なＡＷＢ制御を行おうとするものである。
但しこの際、このような本例のＡＷＢ制御を、例えば露光時間の調整が可能とされた撮像装置において実行しようとする場合は、露光時間の長短に応じて、上記のようにして導き出したＲ／Ｇ値、Ｂ／Ｇ値の変化軌跡が異なってしまうことを考慮しなければならない。
【００３３】
ここで、一般的に蛍光灯下での撮像時には、その際の露光時間の長さによってカラーローリングによる色変化が異なってくることが知られている。
このように露光時間の長さに応じて、カラーローリングの発生状況が変化する原理を、次の図９〜図１２を用いて説明する。
先ず、図９、図１０では、先の図２に示した場合よりも、短い露光時間により露光が行われた場合のカラーローリングの発生状況について説明する。
図９の波形図において、先にも説明したように撮像装置における露光動作は、垂直同期信号周期に応じた、図のようなタイミングにより行われる。
そして、このようなタイミングにより行われる露光動作として、その露光時間が短くされた場合は、図示する蛍光灯光の波形中における、Ｒ信号、Ｂ信号、Ｇ信号の各信号の積分値の差が比較的大きくなるような部分で、露光が行われることになる。
そして、このようにＲ信号、Ｂ信号、Ｇ信号の各信号の積分値の差が比較的大きくなるような部分で露光が行われることにより、これらの積分値に基づいて算出されるＲ／Ｇデータ、Ｇ／Ｂデータの値としては、露光ごとにその値が大きく変化していくこととなる。
【００３４】
図１０は、図９に示した場合のＲ／Ｇデータ、Ｇ／Ｂデータの値の遷移を、座標平面上にプロットした結果により示している。この場合、図示する座標平面上におけるＡＷＢ制御枠が、先の図３の場合と同等の閾値によるものであったとすると、図９に示した各露光時間Ｔ１〜Ｔ４にてそれぞれ得られたＲ／Ｇデータ、Ｇ／Ｂデータの値は、露光時間Ｔ１→Ｔ４への時間経過に伴って、例えば図のような範囲で遷移するものとなる。
つまり、この場合におけるＲ／Ｇ値、Ｂ／Ｇ値の遷移軌跡は、図示するようにＡＷＢ制御枠を超えた範囲によるものとなり、この場合は先の図３の場合よりも広範なカラーローリングが発生することがわかる。
従って、図９に示したように露光時間が短いとされる場合は、カラーローリングの範囲がより大きなものとなる。
【００３５】
また、図１１には、先の図２に示した場合よりも長い露光時間により露光が行われた場合の波形図を示すが、この場合は、図示する蛍光灯光の波形に対し、図中Ｔ１〜Ｔ４として示すような長い期間にわたって露光が行われることで、Ｒ信号、Ｂ信号、Ｇ信号の各信号の積分値の差は、その分小さくなるようにされる。
つまり、このような長い露光時間によっては、図示するように蛍光灯光の波形中における上下の変化を含むことが可能となるので、このとき得られるＲＧＢ成分の各積分値としては、先の図９の場合よりも平均化されるようになるものである、そして、このようにＲ信号、Ｂ信号、Ｇ信号の各信号の積分値の差が小さくなることで、次の図１２に示すようにして、この場合の露光時間Ｔ１〜Ｔ４にて得られるＲ／Ｇデータ、Ｇ／Ｂデータの値の遷移範囲は、先の図３及び図１０の場合よりも小さくなる。
このようなことから、露光時間が長いとされる場合は、その分カラーローリングの範囲が小さくなるように変化することがわかる。
【００３６】
このように、露光時間の長短によってカラーローリングの範囲が異なるということは、例えばサンプリング時と実際の制御時とで露光時間が異なった場合に、サンプリング時と実際の制御時とでカラーローリングの範囲が異なるようになる。
そして、このようにサンプリング時と実際の制御時とでカラーローリングの範囲が異なれば、サンプリング時のカラーローリングの範囲に対応して設定したＡＷＢ制御枠が、実際の制御時に生じるカラーローリングの範囲に対応しないものとなって、適正なＡＷＢ制御が行われなくなってしまう可能性がある。
【００３７】
そこで本実施の形態では、このようにサンプリング時と実際の制御時とで露光時間が異なる場合を想定し、実際の制御時においては、設定した制御枠を露光時間の情報に基づいてリアルタイムに調整するものとする。
つまり、実際のＡＷＢ制御を行うにあたっては、設定したＡＷＢ制御枠の範囲を、サンプリング時の露光時間と現在の露光時間との比較に基づいてリアルタイムに可変するようにするものである。
そしてこれにより、例えばサンプリング時の露光時間とは異なる露光時間により撮像が行われて、設定された制御枠と現在発生しているカラーローリングの範囲とが対応しなくなる虞がある場合にも、ＡＷＢ制御枠の範囲を現在発生しているカラーローリングの範囲に対応させるようにして、適正なカラーローリング抑制のためのＡＷＢ制御を図るようにするものである。
【００３８】
これまでに説明してきた本実施の形態としての動作を実現するために、図１に示したコントローラ６が実行すべき処理動作について、次の図１３、図１４のフローチャートを用いて説明する。
先ず図１３のフローチャートには、先の図７、図８にて説明したような、ＡＷＢ制御枠の設定時の動作に対応する処理を示す。
なお、図１３において、このようなサンプリング動作時には、先にも説明したように基本的には白色の被写体を撮像するものとして想定している。
先ず、図示するステップＳ１０１においては、露光時間を固定するための処理を実行する。つまり、例えば電源がオンとされた、或いはサンプリング開始のための操作入力が行われるなど、サンプリングを開始すべき状態となることに応じて、露光時間を予め設定された所定の値で固定するための処理を実行するものである。
なお、ここでは、上記のようにサンプリング時の露光時間は固定とするようにしたが、必ずしも固定とする必要はないものである。例えば、露光時間を固定しないとした場合は、フィールドごとの露光時間の情報を順次保持しておくようにし、その後、例えば平均の露光時間を算出する等、サンプリング時のおよその露光時間を割り出して、その値をサンプリング時の露光時間の情報として保持するなどすればよい。
【００３９】
そして、ステップＳ１０２の処理によっては、このように設定（固定）した露光時間の値を保持する。つまり、このステップＳ１０２の処理が実行されることで、サンプリング時の露光時間の情報が保持されるものである。
【００４０】
続くステップＳ１０３においては、タイムカウントを開始する。
そして、ステップＳ１０４においは、Ｒ／Ｇデータ、Ｂ／Ｇデータの演算結果により得られる値をプロットする。
つまり、先に説明したようにして、オプティカルディテクタ５より供給される積分値Ｒｉ、Ｇｉ、Ｂｉの値からＲ／Ｇデータ、Ｂ／Ｇデータを算出し、これらの値を座標平面上にプロットするものである。
【００４１】
ステップＳ１０５においては、所定時間が経過したか否かについての判別処理を行う。
ステップＳ１０５において、上記ステップＳ１０２にて開始したタイムカウントの値が、予め設定された所定値を超えていないとして否定結果が得られた場合は、上記したステップＳ１０４に処理を進めて、再びＲ／Ｇデータ、Ｂ／Ｇデータについてのプロットを行う。
このようなステップＳ１０５→Ｓ１０４の処理により、フィールドごとのＲ／Ｇデータ、Ｂ／Ｇデータについてのプロットが行われていく。つまり、このステップＳ１０５にて設定される上記所定値によって、サンプリングを行う回数（つまり座標平面上に得られる点の数）が設定されるものとなる。
【００４２】
ここで、先にも述べたようにこのような座標平面上の点としては、より多く得られた方が実際のカラーローリングの発生状況を反映する結果を得ることができるものである。従って、上記ステップＳ１０５にて設定される所定値としては、より大きな値が設定された方が、より実際のカラーローリングの発生状況を反映した結果を得ることができるものである。
本例においては、このようなステップＳ１０５にて設定される所定値として、カラーローリングにより発生する色変化の、例えば２周期分以上にわたるサンプリング時間が得られる値に設定するものとしている。
なお、このようなサンプリング時間の設定は、サンプリングしたフィールド数をカウントした結果に基づいても行うことができる。
【００４３】
一方、上記ステップＳ１０５において、先のステップＳ１０２にて開始したタイムカウントの値が、予め設定された所定値を超えたとして肯定結果が得られた場合は、ステップＳ１０６に処理を進めて、プロット結果からカラーローリング成分を検出するための処理を実行する。
つまり、先の図７に示したようにして座標平面上に得られる複数の点から、カラーローリングの成分としての、Ｒ／Ｇ値、Ｂ／Ｇ値の変化軌跡を割り出すようにするものである。
この際、カラーローリングによるＲ／Ｇ値、Ｂ／Ｇ値の変化軌跡は、例えば座標平面上における点がより密集する部分から予測して割り出すようにすればよい。
【００４４】
続くステップＳ１０７においては、上記のようにして検出されたカラーローリング成分（カラーローリングの範囲）の最大値・最小値の情報から、ＡＷＢ制御枠を設定する。
このステップＳ１０７の処理としては、先ずはステップＳ１０６の処理によって検出したカラーローリングの範囲、つまりＲ／Ｇ値、Ｂ／Ｇ値の変化軌跡の情報から、この軌跡におけるＲ／Ｇ値、Ｂ／Ｇ値それぞれの最大値・最小値を認識する。
そして、これらＲ／Ｇ値、Ｂ／Ｇ値それぞれの最大値・最小値の情報から、先の図８にて示したようにしてＡＷＢ制御枠としての各閾値を設定する。
つまり、図８にて示したようにして、カラーローリングによる軌跡のＢ／Ｇ値側の最小値に対して所定値をオフセットした値を、この場合のＡＷＢ制御枠のＢ／Ｇ値側における最小値側の閾値として設定する。また、Ｂ／Ｇ値側における最大値側の閾値としては、上記軌跡のＢ／Ｇ値側の最大値を所定の値によりオフセットした値に設定する。
さらに、Ｒ／Ｇ値側における最小値側の閾値としても、上記軌跡のＲ／Ｇ値側の最小値に対し所定値をオフセットした値に設定する。また、Ｒ／Ｇ値側における最大値側の閾値も、Ｒ／Ｇ値側の最大値を所定値によりオフセットした値に設定する。
なお、この場合の上記各オフセット値としては、サンプリング後の実際の撮像時において、被写体がサンプリング時から多少変化した場合にも、その変化分を収めることのできるような制御枠とすることのできる、許容範囲を設定するものである。
従って、この場合の上記各オフセット値としては、このような被写体の多少の変化時にも、その変化分を収めることができる制御枠を定めることが可能な、所要の値が設定されるべきものである。
【００４５】
続くステップＳ１０８においては、露光時間の固定を解除する処理を行う。このステップＳ１０８において、先のステップＳ１０１において設定した露光時間の固定を解除すると、処理動作を終了する。
【００４６】
続いて、図１４には、上記のような処理動作によって設定された制御枠の情報に基づく、本例のＡＷＢ制御時の処理動作について説明する。
先ず、コントローラ６は、図示するステップＳ２０１の処理によって、サンプリング時の露光時間の情報を読み出すようにされる。つまり、先の図１３にて示したステップＳ１０２の処理によって保持されたサンプリング時の露光時間の情報を読み出す。
【００４７】
続くステップＳ２０２においては、現在の露光時間の情報を取得する。
このような現在の露光時間の情報は、例えば撮像装置において実行される自動露光制御により設定される露光時間の情報を参照すればよい。
【００４８】
ステップＳ２０３においては、上記ステップＳ２０２にて得られた現在の露光時間の情報と、先のステップＳ２０１にて読み出されたサンプリング時の露光時間の情報とを比較する。
そして、ステップＳ２０４においては、このようなステップＳ２０３の処理による露光時間の比較結果に基づき、先の図１３の処理により設定されたＡＷＢ制御枠を調整する処理を実行する。
ここで、例えばサンプリング時の露光時間の方が、現在の露光時間よりも短くなっている場合は、上述もしたように露光時間が短いとされた場合はカラーローリングの範囲が広範となる傾向にあるので（図９、図１０参照）、このとき設定される制御枠は、発生中のカラーローリングの範囲に対して過大となっている可能性がある。
また、逆に露光時間が長いとされた場合は、カラーローリングの範囲は小さくなる傾向にあることから（図１１、図１２参照）、例えばサンプリング時の露光時間の方が長い場合は、設定された制御枠の範囲が、発生中のカラーローリングの範囲に対して過小なものとなる可能性がある。
このことからステップＳ２０４の処理においては、上記比較の結果、サンプリング時の露光時間の方が、現在の露光時間よりも短いとされた場合には、制御枠の範囲を拡大するようにして各閾値を設定する。また、比較の結果、サンプリング時の露光時間の方が、現在の露光時間よりも長いとされた場合には、制御枠の範囲を縮小するようにして各閾値を設定するようにされる。
なお、この場合の制御枠の拡大、縮小の割合は、例えば現在の露光時間とサンプリング時の露光時間との差の値に基づいたものとされればよい。
【００４９】
ステップＳ２０５においては、ステップＳ２０４にて調整されたＡＷＢ制御枠に基づいて、ＡＷＢ制御を実行する。
つまり、カラーローリング抑制のためのＡＷＢ制御として、撮像画像から得られたＲ／Ｇ値、Ｂ／Ｇ値が、調整された上記制御枠としての各閾値を超えない場合は、Ｒ、Ｇ、Ｂの各成分の比率が等しくなるようにＲゲイン、Ｇゲイン、Ｂゲインの設定を行う。また、Ｒ／Ｇ値、Ｂ／Ｇ値が各閾値を超える場合は、このようなゲイン設定は行わないようにするものである。
【００５０】
ステップＳ２０５においてカラーローリング抑制のためのＡＷＢ制御処理を実行すると、上記したステップＳ２０２に処理を進めて、再び現在の露光時間の情報を取得する処理を実行する。つまり、このように再びステップＳ２０２の処理が実行されることにより、次のフィールドの撮像時における露光時間が取得される。
そして以降は、ステップＳ２０３以下の処理が繰り返されることによって、フィールドごとに上記した制御枠の調整、及び調整された制御枠に基づくＡＷＢ制御が実行される。
この結果、本例の映像信号処理装置では、フィールド単位で以てリアルタイムに制御枠の調整が行われて、この調整された制御枠に基づいたＡＷＢ制御が実行されるものとなる。
なお、図示は省略したが、この図１４に示した処理動作は、例えば撮像動作の終了が認識されたことに応じるなどして終了されればよい。
【００５１】
以上のようにして本例の映像信号処理装置では、撮像画像中に含まれる色成分について、実際にサンプリングを行った結果に基づいてカラーローリング抑制のためのＡＷＢ制御枠の範囲を設定するようにしたから、実際のカラーローリングの発生状況をより反映したＡＷＢ制御枠を設定することができる。
そして、これによって、例えば用いられる蛍光灯の種類の違い等により、カラーローリングの発生状況が異なるようにされた場合にも、実際のカラーローリングの発生状況に応じた適切なカラーローリング抑制のためのＡＷＢ制御を行うことができる。
【００５２】
また、先にも述べたように、例えば撮像装置として露光時間の調整が可能とされる場合は、サンプリング時と実際の制御時とで、露光時間の差が生じ、設定したＡＷＢ制御枠の範囲が実際に生じているカラーローリングの範囲に対応しなくなる虞があったが、本例の映像信号処理装置では、サンプリング時と制御時との露光時間の差の情報に基づいて、制御枠の範囲を調整するものとしたことから、制御枠の範囲を、実際に生じているカラーローリングの範囲に対応させて設定することができる。
つまり、露光時間の差からカラーローリングの範囲が異なるようにされる場合にも、これに対応した制御枠の範囲を設定することで、適切なカラーローリング抑制のためのＡＷＢ制御を行うことができるものである。
【００５３】
このようにして、本例の映像信号処理装置によっては、適切なカラーローリング抑制のためのＡＷＢ制御が可能とされるので、撮像画像の画質向上を図ることができる。
また、このような適切なカラーローリング抑制のためのＡＷＢ制御を実現するにあたっては、例えば特別なハードウェアや回路の追加は必要ないので、本例による動作を実現するための追加コストを抑えることができるというメリットもある。
【００５４】
また、本例では、カラーローリングの範囲を検出するにあたり、カラーローリングによる色変化の複数周期分の時間長にわたってサンプリングを行って、座標平面上に比較的多くのサンプリング点を得るようにしたことから、より実際のカラーローリングの範囲を認識し易いものとすることができる。
そして、これによっては、サンプリング時に例えば白色以外の他の色の被写体が写り込んでしまったような場合においても、比較的実際のカラーローリングを反映した制御枠の設定を行うことができる。つまり、より適正なカラーローリング抑制のためのＡＷＢ制御を行うことができるようになる。
【００５５】
なお、本例では、先の図７に示したようにして、座標平面上に得られたカラーローリングの複数周期分のサンプリング点から推測して、実際のカラーローリングの範囲を検出するものとしたが、例えば、サンプリング時に完全に白色のみの被写体を撮像できる状況にあるのであれば、このような複数周期分のサンプリング点からカラーローリングの範囲を推測する処理は不要とされてもよい。
つまり、このように完全に白色のみの被写体が撮像されれば、サンプリング時にはカラーローリングの成分のみが得られ、座標平面上の軌跡をそのままカラーローリングの範囲とすることができるからである。
そして、この場合は、上記のようにように座標平面上の軌跡をそのままカラーローリングの範囲とすることができることで、モニタリング中にリアルタイムに制御枠を設定していくこともできる。
【００５６】
また、本例では、撮像装置として露光時間の調整が可能とされる場合を例に挙げたが、露光時間の調整が不可とされる場合は、当然のことながら図１４に示したような露光時間に合わせた制御枠の調整動作は不要とすることができる。
【図面の簡単な説明】
【００５７】
【図１】本発明における実施の形態としての映像信号処理装置の構成を例示するブロック図である。
【図２】カラーローリング（色フリッカ）の発生原理について説明するための図である。
【図３】カラーローリング抑制のためのＡＷＢ制御について説明するための図である。
【図４】同じく、カラーローリング抑制のためのＡＷＢ制御について説明するための図である。
【図５】蛍光灯の種類によってカラーローリングの発生状況が異なることについて説明するための図である。
【図６】同じく、蛍光灯の種類によってカラーローリングの発生状況が異なることについて説明するための図である。
【図７】実施の形態の映像信号処理装置が行う動作として、主にカラーローリングの範囲の検出のためのサンプリング動作について説明するための図である。
【図８】実施の形態の映像信号処理装置が行う動作として、主にＡＷＢ制御枠の設定時の動作について説明するための図である。
【図９】露光時間長によってカラーローリングの範囲が異なることを説明するための図である。
【図１０】同じく、露光時間長によってカラーローリングの範囲が異なることを説明するための図である。
【図１１】同じく、露光時間長によってカラーローリングの範囲が異なることを説明するための図である。
【図１２】同じく、露光時間長によってカラーローリングの範囲が異なることを説明するための図である。
【図１３】実施の形態の映像信号処理装置が行う処理動作として、ＡＷＢ制御枠の設定時に対応して行われる処理動作について示すフローチャートである。
【図１４】実施の形態の映像信号処理装置が行う処理動作として、図１３の処理動作によって設定されたＡＷＢ制御枠に基づく実際の制御時に対応して行われる処理動作について示すフローチャートである。
【符号の説明】
【００５８】
１  入力端子、２  原色分離回路、３  ホワイトバランス（ＷＢ）アンプ、３Ｒ、３Ｇ、３Ｂ  可変ゲインアンプ、４Ｒ、４Ｇ、４Ｂ  端子、５  オプティカルディテクタ、６  コントローラ
【図１】
2005130004.tif 000003
【図２】
2005130004.tif 000004
【図３】
2005130004.tif 000005
【図４】
2005130004.tif 000006
【図５】
2005130004.tif 000007
【図６】
2005130004.tif 000008
【図７】
2005130004.tif 000009
【図８】
2005130004.tif 000010
【図９】
2005130004.tif 000011
【図１０】
2005130004.tif 000012
【図１１】
2005130004.tif 000013
【図１２】
2005130004.tif 000014
【図１３】
2005130004.tif 000015
【図１４】
2005130004.tif 000016