(57)【要約】【課題】ホワイトバランス調整に要する時間の短縮を可能とするオートホワイトバランスシステムを提供すること。【解決手段】ホワイトバランス調整の調整ゲインを算出する調整ゲイン算出部１７と、調整ゲインの算出のために抽出された抽出画素について原色信号平均値を算出する原色信号平均値算出部１４と、原色信号平均値算出部１４で算出された原色信号平均値と、調整ゲイン算出部１７で算出された調整ゲインと、を乗算する調整ゲイン乗算部１５と、調整ゲインが乗算された原色信号平均値からの変換により色差信号平均値を算出する色差信号平均値算出部１６と、を有し、調整ゲイン算出部１７は、色差信号平均値算出部１６で算出された色差信号平均値に基づいて調整ゲインを算出する。【選択図】図３
2011023943.tif 000002
【特許請求の範囲】
【請求項１】
ホワイトバランス調整の調整ゲインを算出する調整ゲイン算出部と、
前記調整ゲインの算出のために抽出された抽出画素について、原色信号値の平均値である原色信号平均値を算出する原色信号平均値算出部と、
前記原色信号平均値算出部で算出された前記原色信号平均値と、前記調整ゲイン算出部で算出された前記調整ゲインと、を乗算する調整ゲイン乗算部と、
前記調整ゲインが乗算された前記原色信号平均値からの変換により、色差信号値の平均値である色差信号平均値を算出する色差信号平均値算出部と、を有し、
前記調整ゲイン算出部は、前記色差信号平均値算出部で算出された前記色差信号平均値に基づいて前記調整ゲインを算出することを特徴とするオートホワイトバランスシステム。
【請求項２】
入力された映像信号に基づいて色差信号及び輝度信号を生成する色差輝度信号生成部と、
前記色差輝度信号生成部で生成された前記色差信号及び前記輝度信号から、色差信号値の平均値である色差信号平均値と、輝度信号値の平均値である輝度信号平均値と、を算出する色差輝度信号平均値算出部と、を有し、
前記原色信号平均値算出部は、前記色差輝度信号平均値算出部で算出された前記色差信号平均値及び前記輝度信号平均値からの変換により、前記原色信号平均値を算出することを特徴とする請求項１に記載のオートホワイトバランスシステム。
【請求項３】
映像のブランキング期間内において、前記調整ゲインの算出を複数回繰り返すことを特徴とする請求項１又は２に記載のオートホワイトバランスシステム。
【請求項４】
算出された前記調整ゲインが所定の範囲内に収束した際に前記調整ゲインの算出を停止させることを特徴とする請求項３に記載のオートホワイトバランスシステム。
【請求項５】
前記ブランキング期間が終了するまで前記調整ゲインの算出を繰り返すことを特徴とする請求項３に記載のオートホワイトバランスシステム。
【請求項６】
前記抽出画素について、前記色差信号値の積算による色差信号積算値と、前記輝度信号値の積算による輝度信号積算値と、を算出する色差輝度信号積算部をさらに有し、
前記色差輝度信号生成部及び前記色差輝度信号積算部では、１クロック単位で処理が行われ、
前記色差輝度信号平均値算出部及び前記原色信号平均値算出部では、１フレーム単位で処理が行われることを特徴とする請求項２に記載のオートホワイトバランスシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オートホワイトバランスシステムに関する。
【背景技術】
【０００２】
従来、映像信号に対して光源の持つ色温度に応じたホワイトバランス調整を行う撮像装置が普及している。オートホワイトバランス（Ａｕｔｏｍａｔｉｃ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ  ｃｏｎｔｒｏｌ。以下、適宜「ＡＷＢ」という）システムは、自動的にホワイトバランスを調整するシステムである（例えば、特許文献１参照）。一般に、ＡＷＢシステムは、撮影された画像の１フレーム分のデータから、ホワイトバランス調整に適した画素を抽出し、その色差信号値を積算した結果から調整ゲインを算出する。算出された調整ゲインは、次のフレームの画像に反映される。調整ゲインの算出と、算出された調整ゲインの反映とを、色差信号の平均値がゼロとなるまで繰り返すことにより、ホワイトバランスを収束させる。この場合、ホワイトバランスが収束するまでには、通常数フレーム以上を要することとなる。特に、ホワイトバランスの収束点から遠い色相や彩度を持つ画像が対象となる場合には、収束までに要する時間がさらに増大することとなる。ホワイトバランスを収束させるまでの早さを稼ぐために調整ゲインの変化幅を大きくすると、収束点を通り過ぎるような制御が繰り返される、いわゆるハンチング現象が発生する場合がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−３０４０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ホワイトバランス調整に要する時間の短縮を可能とするオートホワイトバランスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願発明の一態様によれば、ホワイトバランス調整の調整ゲインを算出する調整ゲイン算出部と、前記調整ゲインの算出のために抽出された抽出画素について、原色信号値の平均値である原色信号平均値を算出する原色信号平均値算出部と、前記原色信号平均値算出部で算出された前記原色信号平均値と、前記調整ゲイン算出部で算出された前記調整ゲインと、を乗算する調整ゲイン乗算部と、前記調整ゲインが乗算された前記原色信号平均値からの変換により、色差信号値の平均値である色差信号平均値を算出する色差信号平均値算出部と、を有し、前記調整ゲイン算出部は、前記色差信号平均値算出部で算出された前記色差信号平均値に基づいて前記調整ゲインを算出することを特徴とするオートホワイトバランスシステムが提供される。
【発明の効果】
【０００６】
本発明によれば、ホワイトバランス調整に要する時間を短縮できるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の構成を示すブロック図。
【図２】画像処理装置による処理の手順を説明するフローチャート。
【図３】実施の形態に係るＡＷＢシステムの構成を示すブロック図。
【図４】比較例に係るＡＷＢシステムの構成を示すブロック図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本発明の実施の形態に係るオートホワイトバランスシステムを詳細に説明する。
【０００９】
（実施の形態）
図１は、本発明の実施の形態に係るＡＷＢシステムを備える撮像装置の構成を示すブロック図である。撮像装置は、撮像レンズ１、ＩＲカットフィルタ２、イメージセンサ部３、画像処理装置４及び記録部５を備える。
【００１０】
撮像レンズ１は、被写体からの光を取り込むための光学系を構成する。ＩＲカットフィルタ２は、撮像レンズ１により取り込まれた光から赤外光を除去する。イメージセンサ部３は、撮像レンズ１により取り込まれた光を信号電荷に変換することにより、被写体像を撮像する。イメージセンサ部３は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の画素値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、撮像条件に応じたゲインにて順次増幅させる。さらに、イメージセンサ部３は、得られた画像信号をアナログ方式からデジタル方式へ変換させる。画像処理装置４は、イメージセンサ部３から入力されたデジタル画像信号に対して、種々の処理を施す。画像処理装置４は、後述するＡＷＢシステムを備える。記録部５は、画像処理装置４から入力された画像データをメモリや記録媒体に記録する。
【００１１】
図２は、画像処理装置４による処理の手順を説明するフローチャートである。ステップＳ１では、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去する（ノイズリダクション）。ノイズリダクションは、低照度での撮影の場合や受光素子の感度が低い場合に有用であって、解像度復元処理の前後で行われることが望ましい。ステップＳ２では、撮像レンズ１に起因する中央部と周辺部との光量差による輝度ムラを補正する（シェーディング補正）。ステップＳ３では、解像度復元手段により、解像度復元処理を施す。
【００１２】
ステップＳ４では、イメージセンサ部３の撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、輪郭強調処理を施す。ステップＳ５では、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイキング）を施す。デモザイキングでは、被写体像の撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。ステップＳ６では、ＡＷＢシステムにより、ホワイトバランス調整がなされる。ステップＳ７では、色再現性を得るためのリニアカラーマトリクス処理を施す。ステップＳ８では、ガンマ補正により、ディスプレイ等に表示される画像の彩度や明るさを補正する。なお、本実施の形態で説明する処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。
【００１３】
図３は、本実施の形態に係るＡＷＢシステム１０の構成を示すブロック図である。色差輝度信号生成部１１は、ＡＷＢシステム１０へ入力された映像信号に基づいて、色差信号及び輝度信号を生成する。色差輝度信号生成部１１は、ホワイトバランス調整前の段階における映像信号から、色差信号及び輝度信号を生成する。
【００１４】
色差輝度信号積算部１２は、ホワイトバランス調整の調整ゲインの算出のために抽出された抽出画素について、色差信号値の積算による色差信号積算値と、輝度信号値の積算による輝度信号積算値とをそれぞれ算出する。抽出画素は、例えば、ホワイトバランス調整の基準として適する所定範囲内の色差信号値と、所定範囲内の輝度信号値とを有するか否かを画素ごとに判定することにより抽出される。
【００１５】
色差輝度信号平均値算出部１３は、抽出画素について、色差信号値の平均値である色差信号平均値と、輝度信号値の平均値である輝度信号平均値とを算出する。色差信号平均値は、色差信号積算値を抽出画素数で除算することで算出される。輝度信号平均値は、輝度信号積算値を抽出画素数で除算することで算出される。
【００１６】
原色信号平均値算出部１４は、抽出画素について、原色信号値の平均値である原色信号平均値を算出する。原色信号平均値は、色差輝度信号平均値算出部１３で算出された色差信号平均値及び輝度信号平均値からの変換により、Ｒ、Ｇ、Ｂについて算出される。
【００１７】
調整ゲイン乗算部１５は、原色信号平均値算出部１４で算出された原色信号平均値と、調整ゲイン算出部１７で算出された調整ゲインと、を乗算する。調整ゲイン乗算部１５は、原色信号平均値に調整ゲインを乗じることによって、原色信号平均値のホワイトバランスを調整する。なお、調整ゲイン乗算部１５は、ＡＷＢシステム１０へ映像信号が入力されて初回の演算においては、調整ゲインとして、１倍或いは任意の初期値を原色信号平均値へ乗じる。
【００１８】
色差信号平均値算出部１６は、調整ゲインが乗算された原色信号平均値からの変換により、色差信号値の平均値である色差信号平均値を算出する。色差信号平均値算出部１６は、ホワイトバランス調整後における色差信号平均値を生成する。調整ゲイン算出部１７は、色差信号平均値算出部１６で算出された色差信号平均値に基づいて調整ゲインを算出する。Ｖラッチ部１８は、調整ゲイン算出部１７で算出された調整ゲインを保持し、出力する。ＡＷＢシステム１０は、例えば、ソフトウェア構成により実現される。
【００１９】
ここで、本実施の形態に係るＡＷＢシステム１０の動作について説明する前に、従来のＡＷＢシステムの構成及び動作について説明する。図４は、比較例に係る従来のＡＷＢシステム２０の構成を示すブロック図である。調整ゲイン乗算部２１は、ＡＷＢシステム２０へ入力された映像信号に、調整ゲイン算出部２５で算出されＶラッチ部２６でＶラッチされた調整ゲインを乗ずることによって、映像信号のホワイトバランスを調整する。色差信号生成部２２は、調整ゲインが乗算された映像信号からの変換により、色差信号を生成する。
【００２０】
色差信号積算部２３は、抽出画素について色差信号積算値を算出する。色差信号平均値算出部２４は、抽出画素について色差信号平均値を算出する。調整ゲイン算出部２５は、色差信号平均値算出部２４で算出された色差信号平均値に基づいて調整ゲインを算出する。Ｖラッチ部２６は、調整ゲイン算出部２５で算出された調整ゲインを１フレームに１回出力する。ＡＷＢシステム２０の場合、調整ゲインが乗算された色差信号から色差信号平均値を算出することから、ホワイトバランス調整における調整ゲインのフィードバックは１フレームに１回となる。このため、ホワイトバランスが収束するまでには通常数フレーム以上を要し、ホワイトバランス調整に時間がかかることとなる。
【００２１】
図３に戻って、本実施の形態に係るＡＷＢシステム１０は、調整ゲインが乗算される前に生成された色差信号及び輝度信号から原色信号平均値を算出し、調整ゲインが乗算された原色信号平均値から色差信号平均値を算出する。例えば、１クロックに映像信号が１画素ごと送られてくる。その画素ごとの映像信号に対して色差輝度信号を色差輝度信号生成部１１で生成し、色差輝度信号積算部１２で積算を行う。ここで、色差輝度信号平均値の算出から原色信号平均値の算出（色差輝度信号生成部１１から原色信号平均値算出部１４までの動作）が１フレームに１回となるのに対して、調整ゲインの算出及びフィードバック（調整ゲイン乗算部１５から調整ゲイン算出部１７までの動作）を複数回、例えば１クロックごとに繰り返す。ＡＷＢシステム１０は、調整ゲインの算出及びフィードバックを、映像のブランキング期間内において複数回繰り返す。
【００２２】
調整ゲインの算出及びフィードバックは、調整ゲイン算出部１７で算出された調整ゲインが所定の範囲内に収束するまで繰り返され、ブランキング期間内にて調整ゲインが所定の範囲内に収束した際に停止される。ＡＷＢシステム１０は、調整ゲイン乗算部１５、色差信号平均値算出部１６、及び調整ゲイン算出部１７を高速に動作させることで、ブランキング期間内にて調整ゲインを十分収束させることが可能となる。Ｖラッチ部１８は、収束させた調整ゲインを保持し、例えば１フレームに１回出力する。ＡＷＢシステム１０から出力された調整ゲインは、次のフレームの映像信号のホワイトバランス調整に反映される。これにより、ホワイトバランス調整後の映像を瞬時に得ることができる。
【００２３】
このようにして、ＡＷＢシステム１０は、ブランキング期間内の高速演算により調整ゲインを収束可能とすることにより、ホワイトバランス調整に要する時間を短縮できるという効果を奏する。なお、ＡＷＢシステム１０は、算出された調整ゲインが所定の範囲内に収束した際に調整ゲインの算出を停止させる場合に限られない。ＡＷＢシステム１０は、例えば、算出された調整ゲインが所定の範囲内に収束したか否かに関わらず、ブランキング期間の開始から終了まで調整ゲインの算出を繰り返すこととしても良い。算出された調整ゲインが所定の範囲内に収束した後も調整ゲインの算出を繰り返すことにより、完全に収束された調整ゲインにより高精度なホワイトバランス調整が可能となる。ブランキング期間内において調整ゲインの算出を停止させる場合は、ブランキング期間中調整ゲインの算出を継続させる場合に比べて、電力消費の低減を図れる。また、ＡＷＢシステム１０は、１フレームにおいて調整ゲインを収束させるものに限られず、２フレーム以上において調整ゲインを段階的に収束させるものとしても良い。
【符号の説明】
【００２４】
１０  ＡＷＢシステム、１１  色差輝度信号生成部、１３  色差輝度信号平均値算出部、１４  原色信号平均値算出部、１５  調整ゲイン乗算部、１６  色差信号平均値算出部、１７  調整ゲイン算出部。
【図１】
2011023943.tif 000003
【図２】
2011023943.tif 000004
【図３】
2011023943.tif 000005
【図４】
2011023943.tif 000006