(57)【要約】【課題】映像信号に対するホワイトバランス調整の誤補正を低減できる。【解決手段】本発明の例に関わる信号処理装置は、映像信号のホワイトバランス調整を行うオートホワイトシステムにおいて、ホワイトバランス対象エリア設定信号を出力するホワイトバランス対象エリア設定ゲート部９と、ホワイトバランス調整前のＹＵＶ信号とホワイトバランス対象エリア設定信号に基づき、ホワイトバランス調整後のＹＵＶ信号がホワイトバランス調整が必要か否かの判定する色判定処理部５と、色判定処理部５の判定結果に基づき、ホワイトバランス調整ゲインを算出するホワイトバランス調整ゲイン算出処理部６とを具備し、色判定処理部５は、色温度の設定範囲がそれぞれ異なる複数の色判定ゲート信号に基づいて、ホワイトバランス調整前のＹＵＶ信号の色判定を行い、色判定結果を出力することを備える。【選択図】図１
2009017301.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を出力するイメージセンサと、
前記映像信号に第１のホワイトバランス調整ゲインを乗算し、ホワイトバランス調整後の映像信号を算出する第１の乗算器と、
前記ホワイトバランス調整後の映像信号の色分離を行う色分離同時化処理部と、
前記色分離された映像信号からホワイトバランス調整後のＹＵＶ信号を生成するＹＵＶマトリクス処理部と、
前記第１のホワイトバランス調整ゲインの逆数変換値を出力する逆数算出処理部と、
前記ホワイトバランス調整後のＹＵＶ信号と前記逆数変換値との乗算を行い、ホワイトバランス調整前のＹＵＶ信号を算出する第２の乗算器と、
前記イメージセンサ内の複数のホワイトバランス対象エリア毎に割り付けられたホワイトバランス対象エリア設定信号を出力するホワイトバランス対象エリア設定ゲート部と、
前記ホワイトバランス調整前のＹＵＶ信号と前記ホワイトバランス対象エリア設定信号に基づき、前記ホワイトバランス調整後のＹＵＶ信号が、ホワイトバランス調整が必要か否か判定する色判定処理部と、
前記色判定処理部の判定結果に基づき、前記ホワイトバランス調整後のＹＵＶ信号に対応する第２のホワイトバランス調整ゲインを算出するホワイトバランス調整ゲイン算出処理部とを具備し、
前記色判定処理部は、色温度の設定範囲がそれぞれ異なる複数の色判定ゲート信号に基づいて、前記ホワイトバランス調整前のＹＵＶ信号の色判定を行うことを特徴とする信号処理装置。
【請求項２】
前記複数のホワイトバランス対象エリアは、前記映像信号に応じて、それぞれ異なるようにイメージセンサ内に設定され、
前記複数のホワイトバランス対象エリアと前記複数の色判定ゲート信号は、それぞれ対応していることを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記色判定処理部は、
前記複数の色判定ゲート信号がそれぞれ入力され、前記入力された色判定ゲート信号と前記ホワイトバランス調整前のＹＵＶ信号との色判定結果をそれぞれ出力する複数の色判定ゲート信号処理部と、
前記ホワイトバランス対象エリア設定信号を選択信号として、前記複数の色判定ゲート信号処理部から出力される複数の色判定結果の中から、１つの色判定結果を選択するセレクタとを有することを特徴とする請求項１又は２に記載の信号処理装置。
【請求項４】
前記複数の色判定ゲート信号処理部のうち、少なくとも１つの色判定ゲート信号処理部は、色判定ゲート信号が入力されず、所定のホワイトバランス対象エリアを、色判定の対象から除外することを特徴とする請求項１乃至３のいずれか１項に記載の信号処理装置。
【請求項５】
前記色判定処理部は、
制御部と演算部とを有し、
前記制御部は、前記演算部に対して、前記ホワイトバランス調整前のＹＵＶ信号とホワイトバランス対象エリア設定信号を入力するステップと、
前記ホワイトバランス対象エリア設定信号に対応する色判定ゲート信号で、前記ホワイトバランス調整前のＹＵＶ信号の色判定を行うステップと、
前記色判定の結果に基づき、色判定結果信号を、前記ホワイトバランス調整ゲイン算出処理部に出力するステップとを実行させることを特徴とする請求項１又は２に記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置に係り、特に、オートホワイトバランスシステムに関する。
【背景技術】
【０００２】
近年、イメージセンサの需要が高まっている。
【０００３】
イメージセンサによって撮影された映像は、ＣＣＤ或いはＣＭＯＳイメージセンサの素子の特性に合わせた色調となるが、これを人間の目の特性に合わせた色調にするため、システム内で様々な映像補正処理がなされている。
【０００４】
その中で、ホワイトバランス調整は、太陽を光源とする白色を基準として、例えば、白熱電球、蛍光灯などを光源にしたときの白色に対して、赤色及び青色などの調整により、白色の調整を行うものである。そして、このホワイトバランス調整は、一般に、オートホワイトバランスシステム（以下、ＡＷＢシステム）で行われる。
【０００５】
光源の色温度に応じて行われるＡＷＢシステムにおいては、あらかじめ設定されたホワイトバランス調整の対象とする色温度の範囲内に、映像信号の色温度が含まれるか否かによって、ホワイトバランス調整が行われる。この設定された色温度の範囲を示す信号のことを、色判定ゲート信号と呼ぶ。
【０００６】
この色判定ゲート信号によって、映像信号の色温度が、設定範囲内の場合にはホワイトバランス調整を行い、設定範囲外の場合には、ホワイトバランス調整を行わないというような、色温度による判定結果を反映させたホワイトバランス調整が可能となる（例えば、特許文献１参照）。
【０００７】
携帯電話などに用いられるイメージセンサにおいては、画面の有効エリアが小さいため、例えば、被写体としての人の顔が、画面の大半を占める場合がある。
【０００８】
その際、顔の色など淡い黄色や赤みがかった白のような淡色の色温度が、色判定ゲート信号内に含まれる可能性がある。
【０００９】
その結果、ホワイトバランス調整の必要のない被写体が、ホワイトバランス調整の対象となり、淡色の被写体が、実際の色とは異なった白い色調となってしまう。
【特許文献１】特開２００２−３１５０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の例は、映像信号に対するホワイトバランス調整の誤補正を低減できる技術を提案する。
【課題を解決するための手段】
【００１１】
本発明の例に関わる信号処理装置は、映像信号を出力するイメージセンサと、前記映像信号に第１のホワイトバランス調整ゲインを乗算し、ホワイトバランス調整後の映像信号を算出する第１の乗算器と、前記ホワイトバランス調整後の映像信号の色分離を行う色分離同時化処理部と、前記色分離された映像信号からホワイトバランス調整後のＹＵＶ信号を生成するＹＵＶマトリクス処理部と、前記第１のホワイトバランス調整ゲインの逆数変換値を出力する逆数算出処理部と、前記ホワイトバランス調整後のＹＵＶ信号と前記逆数変換値との乗算を行い、ホワイトバランス調整前のＹＵＶ信号を算出する第２の乗算器と、前記イメージセンサ内の複数のホワイトバランス対象エリア毎に割り付けられたホワイトバランス対象エリア設定信号を出力するホワイトバランス対象エリア設定ゲート部と、前記ホワイトバランス調整前のＹＵＶ信号と前記ホワイトバランス対象エリア設定信号に基づき、前記ホワイトバランス調整後のＹＵＶ信号が、ホワイトバランス調整が必要か否か判定する色判定処理部と、前記色判定処理部の判定結果に基づき、前記ホワイトバランス調整後のＹＵＶ信号に対応する第２のホワイトバランス調整ゲインを算出するホワイトバランス調整ゲイン算出処理部とを具備し、前記色判定処理部は、色温度の設定範囲がそれぞれ異なる複数の色判定ゲート信号に基づいて、前記ホワイトバランス調整前のＹＵＶ信号の色判定を行うことを備える。
【発明の効果】
【００１２】
本発明の例によれば、映像信号に対するホワイトバランス調整の誤補正を低減できる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら、本発明の例を実施するためのいくつかの形態について詳細に説明する。
【００１４】
１．  概要  
本発明の実施形態は、イメージセンサの自動ホワイトバランス（ＡＷＢ）システムに関する。
【００１５】
本発明の実施形態のＡＷＢシステムにおいて、ホワイトバランス調整のための色判定を、設定範囲がそれぞれ異なる複数の色判定ゲート信号を用いて行うことを特徴とする。
【００１６】
そして、この複数の色判定ゲート信号は、ホワイトバランス調整の対象とする被写体及び撮影条件に応じて設定されるイメージセンサ内の複数のエリアとそれぞれ対応している。それによって、被写体及び撮影条件毎に色判定ゲート信号を選択できる。
【００１７】
それゆえ、例えば、有効エリアが小さいイメージセンサにおいて、人の顔のように、淡色の部分が画面の特定のエリア内に入ることの多い被写体に対し、それに適した色判定ゲート信号でホワイトバランス調整が必要か否かを判定できる。
【００１８】
したがって、本発明の実施形態によれば、淡色の被写体に対するホワイトバランス調整の誤補正を低減できる。
【００１９】
２．  実施形態  
（１）  第１の実施形態  
（ａ）  全体構成  
図１は、本発明の第１の実施形態のＡＷＢシステムの構成を示すブロック図である。
【００２０】
イメージセンサ１は、映像信号を出力する。このイメージセンサ１は、例えば、単板式エリアイメージセンサであり、複数の画素から構成されている。映像信号は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から構成される。このイメージセンサ１は、例えば、ＣＣＤ或いはＣＭＯＳセンサからなる。そして、それらセンサの各々の素子、つまり、１画素は、例えば、ベイヤー方式などの配列パターンを有するカラーフィルタにより、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうち、いずれか１つの色だけに反応するようにそれぞれ設定されている。尚、イメージセンサ１は、３板式イメージセンサでもよい。３板式イメージセンサの場合、映像信号（入射光）が、ミラーやプリズム等によって、赤、緑、青にそれぞれ色分離されて、それらの色信号が、３つのイメージセンサにそれぞれ入力する。
【００２１】
ＡＷＢゲイン乗算器（第１の乗算器）２は、映像信号とホワイトバランス調整ゲインとの乗算を行い、撮影された映像に対して、ホワイトバランスの調整を行う。よって、ＡＷＢゲイン乗算器２は、ホワイトバランス調整ゲインが乗算された映像信号、つまり、ホワイトバランス調整が施された映像信号を生成する。
【００２２】
色分離同時化処理部３には、ホワイトバランス調整が施された映像信号が入力され、入力された映像信号は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各成分に分離される。また、色分離同時化処理部３内には、ラインメモリ３Ａが設けられる。このラインメモリ３Ａは、数ライン分、つまり、イメージセンサの水平方向の有効画素数の数倍分の信号データを蓄積する。尚、３板式エリアイメージセンサが用いられた場合には、イメージセンサ１内ですでに色分離がなされているため、色分離同時化処理部３においては、映像信号を各色成分に分離する処理は行われない。
【００２３】
ＹＵＶマトリクス処理部４は、色分離された各信号成分に基づき、ＹＵＶ信号を生成する。このＹＵＶ信号は、ホワイトバランス調整ゲインが乗算され、ホワイトバランス調整がなされた映像信号から生成されるので、ホワイトバランス調整後のＹＵＶ信号（以下、ＷＢ調整後ＹＵＶ信号）となる。尚、ＹＵＶ信号は、映像の輝度を表すＹ信号（輝度信号）、青色成分と輝度信号（Ｙ信号）の差であるＵ信号、赤色成分と輝度信号（Ｙ）の差であるＶ信号からなる。
【００２４】
ＹＵＶマトリクス処理部４により生成されたＷＢ調整後ＹＵＶ信号は、ホワイトバランス調整ゲイン算出処理部６、乗算器８及び次段の映像信号処理部（図示せず）に出力される。
【００２５】
乗算器８は、ＹＵＶマトリクス処理部４から出力されたＷＢ調整後ＹＵＶ信号と逆数算出処理部７から出力された逆数変換値を乗算し、ホワイトバランス調整前のＹＵＶ信号（以下、ＷＢ調整前ＹＵＶ信号）を生成する。ここで、逆数算出処理部７から出力された逆数変換値は、ＡＷＢゲイン乗算器２が乗算したホワイトバランス調整ゲインの逆数変換値である。このとき逆数算出処理部７によりなされる逆数変換は、ホワイトバランス調整ゲインをＧとする時、逆数変換値＝１／Ｇとなる処理である。  
つまり、逆数算出処理部７と乗算器８により、ＷＢ調整後ＹＵＶ信号に含まれるホワイトバランス調整ゲインＧは、その逆数変換値１／Ｇを乗算することにより除かれ、ＷＢ調整前ＹＵＶ信号を生成できる。  
よって、図１に示す構成のＡＷＢシステムにおいて、ＷＢ調整前ＹＵＶ信号の生成に、色判定専用のための回路規模の大きいラインメモリ３Ａを含む色分離同時化処理部３を別途設けずともよく、ＡＷＢシステムの回路規模が増大するのを抑制できる。  
また、乗算器８の演算結果により生成されたＷＢ調整前ＹＵＶ信号は、色判定処理部５に出力される。それによって、ＷＢ調整前ＹＵＶ信号に基づいて、色判定処理部５による色判定を行うことができるため、適正な色判定及びホワイトバランス調整を行うことができる。
【００２６】
ホワイトバランス対象エリア設定ゲート部（以下、ＷＢ対象エリア設定ゲート部）９は、外部装置（図示せず）によって設定されたホワイトバランス対象エリア設定信号（以下、ＷＢ対象エリア設定信号）を、色判定処理部５に出力する。後述するように、イメージセンサ１内には、被写体及び撮影条件に応じて、ホワイトバランス調整を行う対象となる複数のエリアが設定されており、ＷＢ対象エリア設定信号は、それらのエリアにそれぞれ対応して割り付けられている。
【００２７】
色判定処理部５は、ＷＢ対象エリア設定信号が示すイメージセンサの領域において、撮影された映像、つまり、ＡＷＢシステム内に入力された映像信号が、ホワイトバランスの調整が必要か否かを、ＷＢ調整前ＹＵＶ信号に基づいて判定する。そして、その判定結果（色判定信号）をホワイトバランス調整ゲイン算出処理部６に出力する。  
ホワイトバランス調整ゲイン算出処理部（以下、ＷＢ調整ゲイン算出処理部）６は、色判定結果信号に基づいて、ＹＵＶマトリクス処理部４からのＷＢ調整後ＹＵＶ信号から、ホワイトバランス調整ゲインを算出する。それによって、ＷＢ調整ゲイン算出処理部６は、色判定された映像信号（画素）のホワイトバランス調整ゲインを算出する。
【００２８】
ＷＢ調整ゲイン算出処理部６の内部には、例えば、ＵＶ信号積算部及びＲＢゲイン算出部が設けられる。ＵＶ信号積算部は、色判定処理部５がホワイトバランスの調整が必要と判定し、色判定結果信号を出力した場合、ＹＵＶ信号のうち、色相・彩度の変化を表すＵＶ信号の積算を行う。また、ＲＢゲイン算出部は、ＵＶ信号積算部５Ａの演算結果に基づき、Ｒゲイン（赤色成分ゲイン）及びＢゲイン（青色成分ゲイン）の算出を行う。ＷＢ調整ゲイン算出部６は、このＲゲイン及びＢゲインの算出結果に基づいたホワイトバランス調整ゲインを算出し、出力する。  
尚、上記のＷＢ調整ゲイン算出処理部６において、ＵＶ信号積算部の代わりに、ＲＢゲイン積算部を設けても良い。この場合、ＲＢゲイン算出部が、ＷＢ調整後ＹＵＶ信号に基づき、Ｒゲイン及びＢゲインを算出し、ＲＢゲイン積算部がＲゲイン及びＢゲインの積算を行い、その結果からホワイトバランス調整ゲインの算出を行ってもよい。  
また、色判定処理部５が、ホワイトバランス調整が不要と判定した場合には、ＷＢ調整ゲイン算出処理部６は、ホワイトバランス調整ゲインの算出を行わない。
【００２９】
そして、ＷＢ調整ゲイン算出処理部６により算出されたホワイトバランス調整ゲインは、ＡＷＢゲイン乗算器２にフィードバックされるのと同時に、逆数算出処理部７に出力される。
【００３０】
上述のように、映像信号に対してホワイトバランス調整を行うか否かは、色判定処理部５が出力する色判定結果信号に基づいて、実行される。それゆえ、特に、淡色に対するホワイトバランス調整の誤補正を低減するためには、色判定処理部５による色判定の誤判定を低減できる構成のＡＷＢシステムであることが望ましい。
【００３１】
本実施形態においては、ホワイトバランス調整の判定を行うために設定される色判定ゲート信号が、それぞれ異なる被写体及び撮影条件に対応するように、異なる色温度の設定範囲で複数個設定されることを特徴とする。
【００３２】
それによって、被写体及び撮影条件に応じて、複数の色判定ゲート信号中から１つの色判定ゲート信号を選択して色判定でき、色判定の誤判定を低減できる。  
したがって、淡色の被写体に対するホワイトバランス調整の誤補正を低減できる。
【００３３】
以下、複数の色判定ゲート信号を用いて、映像信号の色判定を行うことができる色判定処理部５について、説明する。
【００３４】
（ｂ）  色判定処理部の構成  
図２を用いて、本発明の第１の実施形態の色判定処理部について説明する。
【００３５】
図２に示す本実施形態の色判定処理部５内に、ＷＢ調整前ＹＵＶ信号が、ホワイトバランス調整前ＹＵＶ信号入力端子５１（以下、ＷＢ調整前ＹＵＶ信号入力端子）を経由して、入力される。そして、入力されたＷＢ調整前ＹＵＶ信号は、色判定処理部５内に設けられた複数の色判定ゲート信号処理部５３Ａ〜５３Ｄによって、色温度の設定範囲の異なる複数の色判定ゲート信号で色判定される。
【００３６】
色判定ゲート信号処理部５３Ａ〜５３Ｄは、それぞれ、１つの色判定設定レジスタ５４Ａ〜５４Ｄと１つの色判定部５５Ａ〜５５Ｄから構成されている。
【００３７】
色判定ゲート信号設定レジスタ５４Ａ〜５４Ｄには、例えば、外部装置（図示せず）から出力された複数の色判定ゲート信号が、それぞれ格納される。
【００３８】
ここで、図３乃至図５を用いて、本実施形態の色判定ゲート信号について、説明する。
【００３９】
図３は、本実施形態において、基本となる色判定ゲート信号を示している。
【００４０】
図３に示すように、色判定ゲート信号は、例えば、色差信号、即ち、ＵＶ座標系で設定される。このＵＶ座標系において、座標の中央部付近が白の範囲となる。Ｕ軸は、Ｕ信号（Ｂ−Ｙ成分）の強弱を示し、これは黄系〜青系の色温度の変化に対応する。図３に示す例では、判定の対象となる映像信号のＷＢ調整前ＹＵＶ信号のＵＶ成分が、例えば、Ｕ１≦Ｕ≦Ｕ２の範囲内にあるか否かが判定される。
【００４１】
また、Ｖ軸は、Ｖ信号（Ｒ−Ｙ成分）の強弱を示し、これは、シアン系〜赤系の色温度の変化に対応する。本実施形態のおいては、判定の対象となる映像信号のＷＢ調整前ＹＵＶ信号のＵＶ成分が、例えば、Ｖ１≦Ｖ≦Ｖ２の範囲内にあるか否かが判定される。
【００４２】
さらに、ＵＶ座標系では、オレンジ系〜シアン系の信号（Ｉ信号）及び緑系〜マゼンタ系の信号（Ｑ信号）の色成分も含む。本実施形態においては、それらの色成分も色判定に反映させるために、それらの色温度の設定範囲も設けている。その設定範囲は、直線Ｌ１，Ｌ２によって設定される。
【００４３】
即ち、図３の太線によって囲まれた領域２０が、色判定ゲート信号となり、この領域２０内に映像信号が含まれるか否かで、ホワイトバランス調整のための色判定が行われる。  
本実施形態においては、図３に示す色判定ゲート信号を基に、被写体及び撮影条件に応じて、それぞれ設定の異なる色判定ゲート信号が設定される。
【００４４】
図４は、本実施形態における色判定ゲート信号の一例を示している。  
本実施形態において、例えば、映像信号が、人間の顔のように赤みがかった白色を示す信号を含む場合、そのＷＢ調整前ＹＵＢ信号が色判定ゲート信号内に含まれて、ホワイトバランス調整の対象と判定されてしまい、ホワイトバランス調整によって、元の映像信号の色調を損なうような誤補正がなされないように、色判定ゲート信号が設定される。  
そのため、例えば、図４に示すように、色判定ゲート信号内に、赤みがかった白色を示す色温度の範囲（領域２１）が含まれないように、色温度の設定範囲を狭くした色判定ゲート信号２０Ａが設定される。
【００４５】
これによって、赤みがかった白色を示すＷＢ調整前ＹＵＶ信号が、図４に示す色判定ゲート信号によって色判定された場合、そのＷＢ調整前ＹＵＶ信号が、色判定ゲート信号２１Ａ内に含まれないようにすることができる。  
それゆえ、図４に示す色判定ゲート信号によれば、赤みがかった白色を示すＷＢ調整前ＹＵＶ信号は、ホワイトバランス調整が不要と判定され、映像信号の赤みがかった白色のような淡色は、元の色調を保つことができる。
【００４６】
また、図５に示すように、基本となる色判定ゲート信号２０に対して、所定の色温度範囲の領域２２〜２４のうちいずれかが含まれないように、図４と異なる色温度範囲の複数の色判定ゲート信号が、それぞれ設定される。
【００４７】
そして、図４及び図５に示す複数の色判定ゲート信号は、色判定ゲート信号設定レジスタ５４Ａ〜５４Ｄから、色判定ゲート信号処理部５３Ａ〜５３Ｄ内の色判定部５５Ａ〜５５Ｄにそれぞれ出力される。
【００４８】
そして、色判定部５５Ａ〜５５Ｄは、図４及び図５に示した例のように設定された複数の色判定ゲート信号に基づいて、入力されたＷＢ調整前ＹＵＶ信号のＵＶ成分が色判定ゲート信号内に含まれるか否か、それぞれ判定する。色判定部５５Ａ〜５５Ｄのそれぞれは、１画素ずつ、ＷＢ調整前ＹＵＶ信号のＵＶ成分の色判定を行い、その色判定結果をセレクタ５６に出力する。  
そして、セレクタ５６は、選択信号に基づいて、セレクタ５６に入力された複数の色判定結果の中から、被写体及び撮影条件に応じた１つの色判定結果を選択する。  
本実施形態において、その選択信号は、ホワイトバランス対象エリア設定ゲート部（以下、ＷＢ対象エリア設定ゲート部）９から出力されるＷＢ対象エリア設定信号である。
【００４９】
このＷＢ対象エリア設定信号は、被写体及び撮影条件に応じて、イメージセンサ１内に設定されるホワイトバランス調整の対象となる複数のエリアを示している。そして、このＷＢ対象エリア設定信号は、上述した色判定ゲート信号とそれぞれ対応している。
【００５０】
図６を用いて、ＷＢ対象エリア設定信号について、より具体的に説明する。  
図６に示すように、イメージセンサ１は、例えば、イメージセンサ１が搭載される筐体などのフレームに覆われて、実質的にセンサとして機能しない画面無効エリア１０と、映像信号（入射光）が入力し、センサとして機能する画面有効エリア１１とから構成される。
【００５１】
画面有効エリア１１は、例えば、３×５＝１５個の分割エリアａ０〜ａ１５に分割されている。尚、携帯電話などに用いられるイメージセンサ１は、画面有効エリア１１のサイズは、画面無効エリア１０のサイズよりも小さくなる。そのため、人の顔などの被写体は、特定の分割エリア内に入ることが多い。  
それゆえ、例えば、人の顔、空、白壁又は雪原など、被写体及び撮影条件に応じたホワイトバランス調整を行うために、各分割エリアを組み合わせて、複数のＷＢ対象エリアが構成される。ＷＢ対象エリアＡ〜Ｄが、ホワイトバランス調整の対象として、ＡＷＢシステムに認識される。
【００５２】
例えば、ＷＢ対象エリアＡは、画面有効エリアのうち、画面有効エリア１１中央部の３個の分割エリアａ６，ａ７，ａ８によって構成される。また、ＷＢ対象エリアＢは、画面有効エリア１１内に十字状に配列している５個の分割エリアａ２，ａ６，ａ７，ａ８，ａ１２によって構成され、ＷＢ対象エリアＣは、正方形状に配列している３×３＝９個の分割エリアａ１，ａ２，ａ３，ａ６，ａ７，ａ８，ａ１１，ａ１２，ａ１３によって構成される。そして、ＷＢ対象エリアＤは、７個の分割エリアａ２，ａ５，ａ６，ａ７，ａ８，ａ９，ａ１２によって構成される。
【００５３】
そして、例えば、ＷＢ対象エリアＡが図４に示す色判定ゲート信号２１と対応するように、設定され、同様に、ＷＢ対象エリアＢ〜Ｄと色温度の設定範囲の異なる複数の色判定ゲート信号がそれぞれ対応するように、設定される。
【００５４】
これらのＷＢ対象エリアＡ〜Ｄの設定情報は、ＷＢ対象エリア設定ゲート部９内に設けられたＷＢ対象エリア設定レジスタ９２に格納される。そして、被写体及び撮影条件に応じたＷＢ対象エリアが、外部装置（図示せず）によって選択される。その選択されたＷＢ対象エリアに対応するＷＢ対象エリア設定信号（例えば、２ビット）が、選択信号として、ＷＢ対象エリア設定信号発生部９２からセレクタ５６に出力される。
【００５５】
その選択信号としてのＷＢ対象エリア設定信号に基づいて、色判定ゲート信号処理部５３Ａ〜５３Ｄからそれぞれ出力された判定結果のうちいずれか１つの判定結果が、選択される。選択された色判定結果は、色判定処理部５内に設けられたＡＮＤゲート５７に出力される。
【００５６】
また、色判定処理部５内には、画面有効エリア設定レジスタ５２が設けられている。このレジスタ５２内に、画面無効エリア１０又は画面有効エリア１１のいずれかを示す画面有効エリア設定信号（例えば、１ビット）が格納される。  
この画面有効エリア設定信号は、ＡＮＤゲート５７に出力される。つまり、ＡＮＤゲート５７によって、色判定ゲート信号処理部５３Ａ〜５３Ｄで判定された画素が、画面有効エリア１１内に含まれる画素か否かが、判定される。
【００５７】
ＡＮＤゲート５７の出力である色判定結果信号が、色判定結果出力端子５８を経由して、ＷＢ調整ゲイン算出処理部６に出力される。
【００５８】
そして、色判定結果信号がホワイトバランス調整を行う判定結果を示す場合には、ＷＢ調整ゲイン算出処理部６によって、ホワイトバランス調整ゲインが算出される。  
また、色判定結果信号がホワイトバランス調整を行わない判定結果を示す場合、或いは、色判定された画素が画面無効エリア１０内にある場合には、ホワイトバランス調整ゲインの算出は行われない。
【００５９】
なお、本実施形態においては、ＡＮＤゲート５７を経由して出力される信号のことを、色判定結果信号としたが、ＡＮＤゲート５７を設けずに、セレクタ５６によって選択された信号を、色判定結果出力端子５８に直接出力し、それを色判定結果信号としても良い。
【００６０】
以上のように、本発明の第１の実施形態のＡＷＢシステムにおいて、色判定処理部５は、映像信号がホワイトバランス調整対象の色温度の範囲内にあるかどうかを判定するための色判定ゲート信号処理部を複数個有する。複数の色判定ゲート信号処理部にそれぞれ入力される複数の色判定ゲート信号は、異なる色温度の範囲が割り付けられている。
【００６１】
また、イメージセンサ１は、被写体及び撮影条件に応じて複数のＷＢ対象エリアが設定されており、複数の色判定ゲート信号と複数のＷＢ対象エリアとは、被写体及び撮影条件にそれぞれ対応している。
【００６２】
それゆえ、本発明の第１の実施形態によれば、イメージセンサ内の複数のＷＢ対象エリアとそれぞれ対応する複数の色判定ゲート信号によって、映像信号の色判定を行うことで、画面有効エリアが小さいイメージセンサのように、淡色がイメージセンサ内の特定部分を占めることが多い被写体及び撮影条件に対して、適した色判定を行うことができる。  
したがって、映像信号に対するホワイトバランス調整の誤補正を低減できる。
【００６３】
（Ｂ）  動作  
以下に、本発明の第１の実施形態のＡＷＢシステムの動作について説明を行う。
【００６４】
はじめに、イメージセンサ１より出力された映像信号は、ＡＷＢゲイン乗算器２によりホワイトバランス調整ゲイン（第１のホワイトバランス調整ゲイン）が乗算される。その後、ＷＢ調整ゲインが乗算された映像信号は、色分離同時化処理部３へ出力される。
【００６５】
その映像信号は、色分離同時化処理部３に入力され、色分離・同時化された後、ＹＵＶマトリクス処理部４によりＹＵＶ信号に変換される。この時のＹＵＶ信号は、ＡＷＢゲイン乗算器２によって、ＷＢ調整ゲインが乗算された映像信号から得られるため、ＷＢ調整後ＹＵＶ信号となる。
【００６６】
このＷＢ調整後ＹＵＶ信号は、ＷＢ調整ゲイン算出処理部６、乗算器８及び次段の映像信号処理部（図示せず）に出力される。
【００６７】
また、ホワイトバランス調整ゲインが、逆数変換処理部７に入力される。そして、そのホワイトバランス調整ゲインは、逆数変換処理部６によって、逆数算出処理が実行され、ホワイトバランス調整ゲインに応じた逆数変換値が、乗算器８に出力される。
【００６８】
その逆数変換値と、ＹＵＶマトリクス処理部４より出力されたＷＢ調整後ＹＵＶ信号が、乗算器８により乗算される。ＷＢ調整後ＹＵＶ信号は、ホワイトバランス調整ゲインが乗算されたＹＵＶ信号であるので、ホワイトバランス調整ゲインの逆数である逆数変換値をさらに乗算することで、ＷＢ調整後ＹＵＶ信号に含まれるホワイトバランス調整ゲインは除かれ、ホワイトバランス調整前のＹＵＶ信号が生成される。
【００６９】
尚、図１に示すＡＷＢシステムによれば、ホワイトバランス調整ゲインからその逆数変換値が求められ、それとホワイトバランス調整後のＹＵＶ信号を乗算することで、ＷＢ調整前ＹＵＶ信号が再現されている。そのため、色判定処理部５専用の回路規模の大きなラインメモリを設けずとも、色判定処理部５は、ＷＢ調整前ＹＵＶ信号に基づいて、対象画素が、ホワイトバランス調整が必要か否かの判定をすることができる。
【００７０】
生成されたＷＢ調整前ＹＵＶ信号は、色判定処理部５へ出力され、そのＹＵＶ信号に基づき、ホワイトバランスの調整を行うか否かの色判定が行われる。  
色判定処理部５に入力したＷＢ調整前ＹＵＶ信号は、図５に示すＷＢ調整前ＹＵＶ信号入力端子５１を経由して、色判定処理部５内に設けられた複数の色判定ゲート信号処理部５３Ａ〜５３Ｄに、それぞれ入力される。
【００７１】
そして、ＷＢ調整前ＹＵＶ信号は、色判定ゲート信号設定レジスタ５４Ａ〜５４Ｄに格納されたそれぞれ異なる色判定ゲート信号内に含まれるか否か、色判定部５５Ａ〜５５Ｄによって、それぞれ判定される。  
色判定部５５Ａ〜５５Ｄ内では、１画素のＷＢ調整前ＹＵＶ信号のＵＶ成分が、ＵＶ座標系で示される色判定ゲート信号内に含まれるか否かが、色判定される。そして、色判定ゲート信号に含まれた画素のＵＶ値が順次積算され、その積算値が、あらかじめ設定された基準値と比較されて、ホワイトバランス調整を行うか否か、判定される。
【００７２】
色判定部５５Ａ〜５５Ｄによって求められた色判定結果のそれぞれは、セレクタ５６に出力される。セレクタ５６には、ＷＢ対象エリア設定ゲート部９から出力されたＷＢ対象エリア設定信号が入力される。
【００７３】
そして、被写体及び撮影条件に応じて設定されたＷＢ対象エリア設定信号を選択信号として、複数の色判定結果の中から１つの色判定結果が、セレクタ５６によって、選択され、ＡＮＤゲート５７に出力される。
【００７４】
また、画面有効エリア設定レジスタ５２から画面有効エリア設定信号が、ＡＮＤゲート５７に出力される。
【００７５】
ＡＮＤゲート５７は、２つの入力に基づいて、色判定結果信号を出力する。ここで、色判定の対象画素が画面有効エリア内の画素の場合には、色判定結果を反映した信号が出力される。即ち、ホワイトバランス調整を行う判定結果となった場合には、ホワイトバランス調整を行う信号（例えば、“１”信号）が出力され、ホワイトバランス調整を行わない判定結果となった場合には、ホワイトバランス調整を行わない信号（例えば、“０”信号）が出力される。  
また、色判定の対象画素が画面有効エリア内の画素ではない場合には、色判定結果に関わらず、ホワイトバランス調整を行わない信号（例えば、“０”信号）が出力される。
【００７６】
そして、色判定結果信号としてのＡＮＤゲート５７からの出力が、色判定結果出力端子５８を経由して、ＷＢ調整ゲイン算出処理部６に出力される。
【００７７】
それから、色判定結果信号に基づいて、ＷＢ調整ゲイン算出処理部６内に入力されたＷＢ調整後ＹＵＶ信号は、演算処理が施され、ホワイトバランス調整ゲイン（第２のホワイトバランス調整ゲイン）が算出される。
【００７８】
そして、この算出されたホワイトバランス調整ゲインは、逆数演算処理部７に出力され、それとともに、ＡＷＢゲイン乗算器２にフィードバックされる。
【００７９】
それによって、イメージセンサ１からＡＷＢシステム内に入力された映像信号は、ホワイトバランス調整される。
【００８０】
以上のように、本発明の第１の実施形態によれば、イメージセンサ内の複数のＷＢ対象エリアとそれぞれ対応する複数の色判定ゲート信号によって、映像信号の色判定を行うことで、画面有効エリアが小さいイメージセンサのように、淡色がイメージセンサ内の特定部分を占めることが多い被写体に対して、適した色判定を行うことができる。  
したがって、映像信号に対するホワイトバランス調整の誤補正を抑制できる。
【００８１】
（２）  第２の実施形態  
図７を用いて、本発明の第２の実施形態について、説明する。尚、第１の実施形態と同一部材に関しては、同一符号を付し、詳細な説明は省略する。
【００８２】
第１の実施形態においては、色温度の設定範囲の異なる複数の色判定ゲート信号内に、ホワイトバランスの対象となる画素のＷＢ調整前ＹＵＶ信号が含まれるか否かを判定し、被写体及び撮影条件に適したホワイトバランス調整を行うＡＷＢシステムについて、説明した。
【００８３】
しかし、それに限定されず、ＡＷＢシステムが色判定の誤判定を生じやすい所定の被写体及び撮影条件の映像信号を、色判定の対象から除外することで、色判定の誤判定を低減させてもよい。
【００８４】
例えば、図７に示すように、色判定処理部５内の複数の色判定ゲート信号処理部５４Ａ〜５４Ｃ，５９のうち、１つの色判定ゲート信号処理部５９内に、色判定ゲート信号が入力される色判定ゲート信号設定レジスタを設けない。
【００８５】
それによって、所定のＷＢ対象エリアを、色判定ゲート信号による色判定の対象から除外することができる。尚、この色判定の対象から除外されたエリアに対しては、ホワイトバランス調整を行うか否かのいずれか一方が選択されるように、あらかじめ設定しておけばよい。
【００８６】
よって、所定のＷＢ対象エリア内の映像信号は、色判定の対象とはならず、誤った色判定がなされることはない。
【００８７】
それゆえ、所定の被写体及び撮影条件下において、淡色がイメージセンサ内の特定部分を占めることが多い被写体に対して、適切な色補正をすることができる。
【００８８】
尚、本実施形態においては、１つのＷＢ対象エリアを色判定の対象から除外した例について述べたが、それに限定されず、２つ以上のＷＢ対象エリアを色判定の対象から除外しても良い。
【００８９】
以上のように、本発明の第２の実施形態によれば、イメージセンサ内の複数のＷＢ対象エリアとそれぞれ対応する複数の色判定ゲート信号によって、映像信号の色判定を行うとともに、所定のＷＢ対象エリアを色判定の対象から除外することで、画面有効エリアが小さいイメージセンサのように、淡色がイメージセンサ内の特定部分を占めることが多い被写体に対して、適した色判定を行うことができる。  
したがって、映像信号に対するホワイトバランス調整の誤補正を低減できる。
【００９０】
（３）  第３の実施形態  
第１及び第２の実施形態においては、ハードウェアによって、複数の色判定ゲート信号による色判定を行い、設定されたＷＢ対象エリアに対応した色判定結果を出力するＡＷＢシステムについて説明した。
【００９１】
しかし、それに限定されず、ソフトウェアによって、複数の色判定ゲート信号を設定し、色判定を行っても良い。
【００９２】
図８は、本発明の第３の実施形態の色判定処理部５の内部構成を示している。
【００９３】
図８に示すように、色判定処理部５内には、演算部５Ａと制御部５Ｂが設けられる。
【００９４】
演算部５Ａには、ＷＢ調整前ＹＵＶ信号とＷＢ対象エリア設定信号が入力される。
【００９５】
制御部５Ｂは、ＷＢ対象エリアに対応する複数の色判定ゲート信号の設定データと、色判定ゲート信号によるＷＢ調整前ＹＵＶ信号の色判定結果を算出するソフトウェアを有している。
【００９６】
この制御部５Ｂは、演算部５Ａに、図９に示す色判定処理を実行させる。
【００９７】
はじめに、ＷＢ調整前ＹＵＶ信号とＷＢ対象エリア設定信号が、色判定処理部５内に入力し、演算部５Ａがそれらを取り込む（ＳＴ１）。
【００９８】
次に、制御部５Ｂは、複数の色判定ゲート信号の中から、入力されたＷＢ対象エリア設定信号に対応する１つの色判定ゲート信号を選択し、演算部５Ａに出力する。そして、制御部５Ｂは、選択された色判定ゲート信号内に、入力されたＷＢ調整前ＹＵＶ信号のＵＶ成分が含まれるか否かの色判定を、演算部５Ａに実行させる（ＳＴ２）。
【００９９】
そして、演算部５Ａによる色判定結果が、演算部５Ａから図１に示すＷＢ調整ゲイン算出処理部６へ出力され、ソフトウェアによる演算処理が終了する（ＳＴ３）。
【０１００】
以上の各ステップにより、ソフトウェアを用いて、複数の設定の異なる色判定ゲート信号の中から、被写体及び撮影条件に対応した色判定ゲート信号を選択し、映像信号の色判定を行うことができる。
【０１０１】
本発明の第３の実施形態においては、ソフトウェアによって、異なる複数の色判定ゲート信号を設定し、被写体及び撮影条件に応じた１つの色判定ゲート信号を選択して、その色判定ゲート信号内に映像信号が含まれるか否かが判定される。
【０１０２】
それゆえ、イメージセンサ内の複数のＷＢ対象エリアとそれぞれ対応する複数の色判定ゲート信号によって、画面有効エリアが小さいイメージセンサのように、淡色がイメージセンサ内の特定部分を占めることが多い被写体に対して、適した色判定を行うことができる。  
したがって、本発明の第３の実施形態のように、ソフトウェアを用いた色判定処理部によっても、映像信号に対するホワイトバランス調整の誤補正を低減できる。
【０１０３】
尚、本発明の例は、上述の第１乃至第３の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で、各構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を構成できる。例えば、上述の実施形態に開示される全構成要素から幾つかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１０４】
【図１】信号処理装置の全体構成を示すブロック図。
【図２】第１の実施形態の色判定処理部の内部構成を示すブロック図。
【図３】色判定ゲート信号の基本例を示す図。
【図４】第１の実施形態の色判定ゲート信号の一例を示す図。
【図５】第１の実施形態の色判定ゲート信号の一例を示す図。
【図６】ホワイトバランス対象エリアの構成例を示す図。
【図７】第２の実施形態の色判定処理部の内部構成を示す図。
【図８】第３の実施形態の色判定処理部の内部構成を示す図。
【図９】第３の実施形態の色判定処理部の動作を示すフローチャート。
【符号の説明】
【０１０５】
１：イメージセンサ、２：ＡＷＢゲイン乗算器、３：色分離同時化処理部、４：ＹＵＶマトリクス処理部、５：色判定処理部、６：ホワイトバランス調整ゲイン算出処理部、７：逆数変換処理部、８：第２の乗算器、９：ホワイトバランス対象エリア設定ゲート部、１０：画面無効エリア、１１：画面有効エリア、２０，２０Ａ：色判定ゲート信号、Ａ〜Ｄ：ホワイトバランス対象エリア、５１：ホワイトバランス調整前ＹＵＶ信号入力端子、５２：画面有効エリア設定レジスタ、５３Ａ〜５３Ｄ，５９：色判定ゲート信号処理部、５４Ａ〜５４Ｄ：色判定ゲート信号設定レジスタ、５５Ａ〜５５Ｄ：色判定部、５６：セレクタ、５７：ＡＮＤゲート、５８：色判定結果出力端子、５Ａ：演算部、５Ｂ：制御部、９１：ホワイトバランス対象エリア設定レジスタ、９２：ホワイトバランス対象エリア設定信号発生部。
【図１】
2009017301.tif 000003
【図２】
2009017301.tif 000004
【図３】
2009017301.tif 000005
【図４】
2009017301.tif 000006
【図５】
2009017301.tif 000007
【図６】
2009017301.tif 000008
【図７】
2009017301.tif 000009
【図８】
2009017301.tif 000010
【図９】
2009017301.tif 000011