(57)【特許請求の範囲】
【請求項１】
撮像手段が被写体を撮像して出力した画像信号から分離された複数の色信号の内のいずれか一つである基準色信号の強度と、他の色信号である相対色信号に適当な利得値を乗じて生成した利得付相対色信号の強度とを接近させるよう上記利得値を決定する自動ホワイトバランス調整装置であって、
任意の１フレームにおける上記基準色信号の強度と、該任意の１フレームにおける上記利得付相対色信号の強度と、該任意の１フレームにおいて、該利得付相対色信号に乗じた現フレーム相対色利得値とから、上記任意の１フレームの次フレームにおいて上記相対色信号に乗ずる次フレーム相対色利得値を決定するための利得値決定パラメータを算出する演算手段と、
上記利得値決定パラメータと上記次フレーム相対色利得値を所定の規則により対応付けると共に、上記次フレーム相対色利得値の逆数は、上記任意の１フレームにおける上記利得付相対色信号の強度を、該任意の１フレームにおける上記基準色信号の強度と上記現フレーム相対利得値とで除した値であり、かつ、上記次フレーム相対色利得値の逆数は、上記利得値決定パラメータを所定定数の指数部に持つ利得値決定パラメータに関する指数関数であるように形成された利得値算出テーブルと、
上記演算手段が算出した利得値決定パラメータに基づき上記利得値算出テーブルを参照して、上記次フレーム相対色利得値を決定する利得値決定手段とを備えたことを特徴とする自動ホワイトバランス調整装置。
【請求項２】
撮像手段が被写体を撮像して出力した画像信号から分離された複数の色信号の内の、いずれか一つである基準色信号に所定の規則で定められた基準色信号用利得値を乗じて生成した利得付基準色信号の強度と、他の色信号である相対色信号に適当な相対色信号用利得値を乗じて生成した利得付相対色信号の強度とを接近させるよう上記相対色信号用利得値を決定する自動ホワイトバランス調整装置であって、
任意の１フレームにおける上記利得付基準色信号の強度と、該任意の１フレームにおける上記利得付相対色信号の強度と、該任意の１フレームにおける上記基準色信号用利得値と、該任意の１フレームにおける上記相対色信号用利得値である現フレーム相対色利得値とから、上記任意の１フレームの次フレームにおいて上記相対色信号に乗ずる次フレーム相対色利得値を決定するための利得値決定パラメータを算出する演算手段と、
上記利得値決定パラメータと上記次フレーム相対色利得値を所定の規則により対応付けると共に、上記次フレーム相対色利得値の逆数は、上記任意の１フレームにおける上記利得付相対色信号の強度を、該任意の１フレームにおける上記基準色信号の強度と上記現フレーム相対利得値とで除した値であり、かつ、上記次フレーム相対色利得値の逆数は、上記利得値決定パラメータを所定定数の指数部に持つ利得値決定パラメータに関する指数関数であるように形成された利得値算出テーブルと、
上記基準色信号利得値に対応した補正値テーブルと、
上記演算手段が算出した利得値決定パラメータに基づき上記利得値算出テーブルを参照し、さらに上記基準色信号用利得値に基づき上記補正値テーブルを参照して、上記次フレーム相対色利得値を決定する利得値決定手段とを備えたことを特徴とする自動ホワイトバランス調整装置。
【請求項３】
上記演算手段が算出した利得値決定パラメータを記憶するパラメータ記憶手段を更に有し、
上記演算手段が利得値決定パラメータを算出する際に使用する上記現フレーム相対色利得値は、上記パラメータ記憶手段から読み出した上記任意の１フレームの一つ前のフレームで、上記演算手段が算出した利得値決定パラメータと、上記利得値算出テーブルを参照して決定することを特徴とする請求項１または請求項２記載の自動ホワイトバランス調整装置。
【請求項４】
利得値制限手段を更に有し、
該利得値制限手段は上記利得値決定手段が決定した二つの色信号に対する次フレーム相対色利得値の和が所定の範囲内にあるかどうかを判定し、所定の範囲内にない場合は該二つの次フレーム相対色利得値の和が上記所定の範囲内になるように該二つの次フレーム相対色利得値の少なくとも一方を変化させることを特徴とする請求項１または請求項２記載の自動ホワイトバランス調整装置。
【請求項５】
時定数設定手段を更に有し、
該時定数設定手段は所定の時定数を設定し、該時定数を使用して上記任意の１フレームにおけるいずれか一つの色の現フレーム相対色利得値と上記利得値決定手段が決定した上記いずれか一つの色の次フレーム相対色利得値との間の値である時定数付利得値を決定し、該時定数付利得値を上記いずれか一つの色の次フレーム相対色利得値とすることを特徴とする請求項１または請求項２記載の自動ホワイトバランス調整装置。
【請求項６】
撮像手段が被写体を撮像して出力した画像信号から分離された複数の色信号の内のいずれか一つである基準色信号の強度と、他の色信号である相対色信号に適当な利得値を乗じて生成した利得付相対色信号の強度とを接近させるよう上記利得値を決定する自動ホワイトバランス調整方法であって、下記ステップを含むことを特徴とする自動ホワイトバランス調整方法。
（１）任意の１フレームにおける上記基準色信号の強度と、該任意の１フレームにおける上記利得付相対色信号の強度と、該任意の１フレームにおいて、該利得付相対色信号に乗じた現フレーム相対色利得値とから、上記任意の１フレームの次フレームにおいて上記相対色信号に乗ずる次フレーム相対色利得値を決定するための利得値決定パラメータを算出する演算ステップ；
（２）上記演算ステップにおいて算出した利得値決定パラメータに基づき、該利得値決定パラメータと上記次フレーム相対色利得値を所定の規則により対応付けると共に、上記次フレーム相対色利得値の逆数は、上記任意の１フレームにおける上記利得付相対色信号の強度を、該任意の１フレームにおける上記基準色信号の強度と上記現フレーム相対利得値とで除した値であり、かつ、上記次フレーム相対色利得値の逆数は、上記利得値決定パラメータを所定定数の指数部に持つ利得値決定パラメータに関する指数関数であるように形成された利得値算出テーブルを参照して、上記次フレーム相対色利得値を決定する利得値決定ステップ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、デジタルカラー撮像機器等で使用される自動ホワイトバランス調整装置に関し、特にその安定化と高速化に関するものである。
【０００２】
【従来の技術】
自動ホワイトバランス（以下ＡＷＢ：Ａｕｔｏｍａｔｉｃ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）とはＣＣＤ等の撮像素子を用いてデジタルカラー画像を撮影する場合に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色画素の出力値の１フレームにおけるの積分値を均衡させ無彩色の物体がそのまま無彩色に撮影されるよう調整する手法である。
ＡＷＢは色毎の利得制御装置において利得を適正に操作することで行われるが、利得の計算はフレーム毎に色信号間の信号レベルを比較し、その差が小さくなる方向に利得を変化させていくことによって行う。
【０００３】
例えば、図１５は特開昭５６−８０９８８５６−８０９８８に開示された従来の自動ホワイトバランス調整装置（ＡＷＢ調整装置）を含む画像信号処理系のブロック図であり、同図において、レンズ１００１から入射した光画像は撮像素子１００２によって電気信号に変換されて色分離回路１００３に入力される。色分離回路１００３はこの入力された電気信号から画像Ｒ、Ｇ、Ｂの三色の色信号を分離する。色分離回路１００３のＲ出力およびＢ出力は、赤用利得制御回路１００４と青用利得制御回路１００５を介して色変換回路１００６に供給され、Ｇ出力は直接色変換回路１００６に供給される。色変換回路１００６は輝度信号ＹおよびＲ−Ｙ、Ｂ−Ｙの色信号を生成し、エンコーダ１００７に供給する。
【０００４】
また、色変換回路１００６から出力されるＲ−Ｙ色信号は赤用の積分回路１００８において１フレームの画面全体に渡って積分され赤用の比較回路１０１０に導かれる。また、Ｂ−Ｙ色信号は青用の積分回路１００９において１フレームの画面全体に渡って積分され青用の比較回路１０１１に導かれる。各比較回路１０１０、１０１１においては、各積分回路１００８、１００９から供給されるそれぞれの積分値が基準電圧発生回路１０１５からの基準値と比較され、積分値の方が大きい場合はＨｉ、積分値の方が小さい場合はＬｏの信号が出力される。この比較回路１０１０、１０１１の出力はマイクロコンピュータ１０１２により構成され、クロックに同期して動作する可逆係数算出手段に入力される。
この可逆係数算出手段による可逆計数の結果、ＲｃｈとＢｃｈの２種類の可逆計算値（以下ＲｃｈＵＤＣ及びＢｃｈＵＤＣと称す）が得られ、これらはデジタル−アナログ交換器（Ｄ／Ａ変換器）１０１３又は１０１４を介して赤用の利得制御回路１００４または青用の利得制御回路１００５に入力される。このように可逆計算値ＲｃｈＵＤＣ及びＢｃｈＵＤＣを赤用の利得制御回路１００４及び青用の利得制御回路１００５に入力することにより、各色の利得制御が実行される。
ここで、両比較回路１０１０，１０１１の極性、可逆計数手段の増減の方向、両利得制御回路１００４、１００５の制御特性が、無彩色を撮像した場合にＲ−Ｙ色信号、Ｂ−Ｙ色信号がそれぞれ零となるように負帰還ループを構成すると、被写体を照射する光源が変化しても、自動的にホワイトバランスが調整される。
図１５に示した構成の内、レンズ系１００１、撮像素子１００２、色分離回路１００３色変換回路１００６、エンコーダ１００７以外の部分によりホワイトバランス調整装置が構成されている。
【０００５】
次に、以上のＡＷＢ調整装置の動作について、図１６のフローチャートを用いて説明する。
撮像が開始されて図１５の各回路が始動すると、図１６に示すように、ステップＳ１００１で、可逆計算値（ＲｃｈＵＤＣ）の初期値と可逆計算値（ＢｃｈＵＤＣ）の初期値とがマイクロコンピュータ１０１２において設定される。その値はデジタル−アナログ変換器（１０１３、１０１４）を介して利得制御回路１００４と利得制御回路１００５とに出力される（Ｓ１００２）。
次に、赤用の比較回路（赤用比較回路）１０１０の出力を判定し（ステップＳ１００３）、赤用比較回路１０１０の出力がＨｉ、すなわち赤用積分回路１００８の出力が基準値より大きい場合はＲｃｈＵＤＣの値が１だけ減ぜられ（Ｓ１００４）、赤用比較回路１０１０の出力が基準値より小さい場合はＲｃｈＵＤＣの値が１だけ加算される（Ｓ１００５）。
同様に、青用の比較回路（青用比較回路）１０１１の出力を判定し（Ｓ１００６）、Ｈｉの場合はＢｃｈＵＤＣが１だけ減ぜられ（Ｓ１００７）、Ｌｏの場合はＢｃｈＵＤＣが１だけ加算される（Ｓ１００８）。これらの出力は、クロック同期化され（Ｓ１００９）、その後に赤用の利得制御回路１００４、青用の利得制御回路１００５に出力され、ホワイトバランス調整が行われる。
【０００６】
【発明が解決しようとする課題】
従来のＡＷＢ調整装置は以上のような構成であったため、各色の信号レベルの差が大きい場合に、処理の収束までに時間がかかるという問題点があった。
【０００７】
また、常に１ステップの利得値の変化を繰り返しているため、処理の収束状態においても利得値の振動が継続してしまう、あるいは各比較回路１０１０、１０１１への入力のノイズ等の影響で調整が振動的に変化し不安定になってしまうという問題もあった。
【０００８】
この発明は上記のような問題点を解決するためになされたもので、デジタルスチルカメラなどの撮像機器において、従来の処理と比較して演算量の増加や回路規模の増加を引き起こすことなしに、高速収束可能かつ安定した自動ホワイトバランス処理装置を実現することを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る自動ホワイトバランス調整装置は、撮像手段が被写体を撮像して出力した画像信号から分離された複数の色信号の内のいずれか一つである基準色信号の強度と、他の色信号である相対色信号に適当な利得値を乗じて生成した利得付相対色信号の強度とを接近させるよう上記利得値を決定する自動ホワイトバランス調整装置であって、任意の１フレームにおける上記基準色信号の強度と、該任意の１フレームにおける上記利得付相対色信号の強度と、該任意の１フレームにおいて、該利得付相対色信号に乗じた現フレーム相対色利得値とから、上記任意の１フレームの次フレームにおいて上記相対色信号に乗ずる次フレーム相対色利得値を決定するための利得値決定パラメータを算出する演算手段と、上記利得値決定パラメータと上記次フレーム相対色利得値を所定の規則により対応付けると共に、上記次フレーム相対色利得値の逆数は、上記任意の１フレームにおける上記利得付相対色信号の強度を、該任意の１フレームにおける上記基準色信号の強度と上記現フレーム相対利得値とで除した値であり、かつ、上記次フレーム相対色利得値の逆数は、上記利得値決定パラメータを所定定数の指数部に持つ利得値決定パラメータに関する指数関数であるように形成された利得値算出テーブルと、上記演算手段が算出した利得値決定パラメータに基づき上記利得値算出テーブルを参照して、上記次フレーム相対色利得値を決定する利得値決定手段とを備えたものである。
【００１３】
またこの発明に係る自動ホワイトバランス調整装置は、撮像手段が被写体を撮像して出力した画像信号から分離された複数の色信号の内の、いずれか一つである基準色信号に所定の規則で定められた基準色信号用利得値を乗じて生成した利得付基準色信号の強度と、他の色信号である相対色信号に適当な相対色信号用利得値を乗じて生成した利得付相対色信号の強度とを接近させるよう上記相対色信号用利得値を決定する自動ホワイトバランス調整装置であって、任意の１フレームにおける上記利得付基準色信号の強度と、該任意の１フレームにおける上記利得付相対色信号の強度と、該任意の１フレームにおける上記基準色信号用利得値と、該任意の１フレームにおける上記相対色信号用利得値である現フレーム相対色利得値とから、上記任意の１フレームの次フレームにおいて上記相対色信号に乗ずる次フレーム相対色利得値を決定するための利得値決定パラメータを算出する演算手段と、上記利得値決定パラメータと上記次フレーム相対色利得値を所定の規則により対応付けると共に、上記次フレーム相対色利得値の逆数は、上記任意の１フレームにおける上記利得付相対色信号の強度を、該任意の１フレームにおける上記基準色信号の強度と上記現フレーム相対利得値とで除した値であり、かつ、上記次フレーム相対色利得値の逆数は、上記利得値決定パラメータを所定定数の指数部に持つ利得値決定パラメータに関する指数関数であるように形成された利得値算出テーブルと、上記基準色信号利得値に対応した補正値テーブルと、上記演算手段が算出した利得値決定パラメータに基づき上記利得値算出テーブルを参照し、さらに上記基準色信号用利得値に基づき上記補正値テーブルを参照して、上記次フレーム相対色利得値を決定する利得値決定手段を備えたものである。
【００１５】
またこの発明に係る自動ホワイトバランス調整装置は、上記演算手段が算出した利得値決定パラメータを記憶するパラメータ記憶手段を更に有し、上記演算手段が利得値決定パラメータを算出する際に使用する上記現フレーム相対色利得値は、上記パラメータ記憶手段から読み出した上記任意の１フレームの一つ前のフレームで、上記演算手段が算出した利得値決定パラメータと、上記利得値算出テーブルを参照して決定するようにしたものである。
【００１６】
またこの発明に係る自動ホワイトバランス調整装置は、利得値制限手段を更に有し、該利得値制限手段は上記利得値決定手段が決定した二つの色信号に対する次フレーム相対色利得値の和が所定の範囲内にあるかどうかを判定し、所定の範囲内にない場合は該二つの次フレーム相対色利得値の和が上記所定の範囲内になるように該二つの次フレーム相対色利得値の少なくとも一方を変化させるようにしたものである。
【００１７】
またこの発明に係る自動ホワイトバランス調整装置は、時定数設定手段を更に有し、該時定数設定手段は所定の時定数を設定し、該時定数を使用して上記任意の１フレームにおけるいずれか一つの色の現フレーム相対色利得値と上記利得値決定手段が決定した上記いずれか一つの色の次フレーム相対色利得値との間の値である時定数付利得値を決定し、該時定数付利得値を上記いずれか一つの色の次フレーム相対色利得値とするようにしたものである。
【００１９】
この発明に係る自動ホワイトバランス調整方法は、撮像手段が被写体を撮像して出力した画像信号から分離された複数の色信号の内のいずれか一つである基準色信号の強度と、他の色信号である相対色信号に適当な利得値を乗じて生成した利得付相対色信号の強度とを接近させるよう上記利得値を決定する自動ホワイトバランス調整方法であって、下記ステップを含むものである。
（１）任意の１フレームにおける上記基準色信号の強度と、該任意の１フレームにおける上記利得付相対色信号の強度と、該任意の１フレームにおいて、該利得付相対色信号に乗じた現フレーム相対色利得値とから、上記任意の１フレームの次フレームにおいて上記相対色信号に乗ずる次フレーム相対色利得値を決定するための利得値決定パラメータを算出する演算ステップ；
（２）上記演算ステップにおいて算出した利得値決定パラメータに基づき、該利得値決定パラメータと上記次フレーム相対色利得値を所定の規則により対応付けると共に、上記次フレーム相対色利得値の逆数は、上記任意の１フレームにおける上記利得付相対色信号の強度を、該任意の１フレームにおける上記基準色信号の強度と上記現フレーム相対利得値とで除した値であり、かつ、上記次フレーム相対色利得値の逆数は、上記利得値決定パラメータを所定定数の指数部に持つ利得値決定パラメータに関する指数関数であるように形成された利得値算出テーブルを参照して、上記次フレーム相対色利得値を決定する利得値決定ステップ。
【００２０】
図１において、レンズ系１から入射した被写体の撮像画像は、撮像素子２によって電気信号である画像信号に変換され、この画像信号が色分離回路３に入力される。色分離回路３は画像信号をＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の色信号に分離する。これらの色信号のうちＧ信号は直接色変換回路６に入力され、Ｒ信号とＢ信号はそれぞれ利得制御回路４及び５を介して色変換回路６に入力される。色変換回路６は輝度信号Ｙと、Ｒ−Ｙ、Ｂ−Ｙの信号を生成し、エンコーダ回路７に供給する。
【００２１】
また、色分離回路３から出力された各色の色信号は、Ｒ信号、Ｂ信号はそれぞれ利得制御回路４及び５を介して、またＧ信号は直接、積分回路８、９及び１０に入力され、１フレームの画面全体に対して積分される。上記積分回路８、９、１０から出力される色信号の積分値はＡ／Ｄ変換器１１、１２、１３によってデジタル値に変換され、デジタル化されたＲ、Ｇ、Ｂ各色信号（デジタル化Ｒ信号、デジタル化Ｇ信号、デジタル化Ｂ信号）としてマイクロコンピュータ１４に入力される。この説明においてはデジタル化されたＲ、Ｇ、Ｂ各色信号のレベル（強度）をそれぞれΣｒ、Σｇ、Σｂと表す。マイクロコンピュータ１４ではこれらデジタル化されたＲ、Ｇ、Ｂ各色信号を入力とした演算処理を行い、ＲとＢの利得係数を算出し、出力する。これらの利得係数はＤ／Ａ変換器１５及び１６を介して利得制御回路４及び５に入力され、利得制御回路４及び５により利得値Ｋｒ、Ｋｂに変換され、色分離回路３からのＲ、Ｂの出力信号に乗ぜられる。
【００２２】
このようにマイクロコンピュータ１４の演算結果を用いて利得制御回路４及び５を制御することにより、各色の利得制御が実行される。
以上の処理はフレーム毎に行われ、任意の１フレームにおける画像信号を利用して次のフレームにおけるＲおよびＢの色信号に付与する利得係数を算出する処理が繰り返し行われる。
【００２３】
図１の構成においては、利得制御回路４〜５、積分回路８〜１０、Ａ／Ｄ変換器１１〜１３、マイクロコンピュータ１４、Ｄ／Ａ変換器１５〜１６によって、この発明における自動ホワイトバランス調整装置が構成されている。
また、Ｒ信号とＢ信号は色分離回路３から出力されて利得制御回路４、５に入るまでが相対色信号であり、利得制御回路４、５によって利得値を乗ぜられて出力されたＲ信号、Ｂ信号がそれぞれ利得付相対色信号である。
【００２４】
次に、マイクロコンピュータ１４によって行われる演算処理について説明するが、ここではＧの色信号を基準色信号として利得値を付与せず、Ｒの色信号を相対色信号として適当な利得値を付与することにより両者の信号レベルを接近させる例について説明する。
【００２５】
最初にこの実施の形態において使用する計算手法について説明する。
まず、デジタル化Ｒ信号とデジタル化Ｇ信号について、照度比Ｌｒｇを下記のように定義する。
Ｌｒｇ＝（Σｒ／Ｋｒ（ｎ））／Σｇ          ・・・（式１）
ここで前述のように、Σｒ、Σｇはそれぞれデジタル化Ｒ信号とデジタル化Ｇ信号のレベルであり、Ｋｒ（ｎ）はこのフレームにおいて利得制御器４によりＲ信号に乗ぜられている利得値である。
この照度比はデジタル化Ｒ信号とデジタル化Ｇ信号のレベル比からＲ信号の利得値Ｋｒ（ｎ）の影響を除去したものであり、次フレームにおいてはこのＬｒｇの逆数を利得制御回路４においてＲ信号に付与する利得値Ｋｒ（ｎ＋１）とすることにより、色変換回路６に入力されるＲ信号とＧ信号の強度が接近する方向に変化する。
すなわち、次フレームにおいて相対色信号に乗ずる利得値は、このフレームにおける基準色信号の強度をこのフレームにおける相対色信号の強度で除した値と等しい。
【００２６】
次に利得値の算出に使用する利得値算出テーブルの生成について説明する。
この実施の形態においては、利得値算出テーブルのインデックスであるテーブル番号Ｔｒｇと、照度比Ｌｒｇの関係を式２のように定義する。
【数１】
0003571274.tif 000002
上述の通り、この照度比Ｌｒｇの逆数が次フレームでの利得制御回路４の利得値Ｋｒであり、これらから利得値算出テーブルは図２のようになる。この利得値算出テーブルはテーブル番号Ｔｒｇを０から２５５までとした場合、Ｌｒｇの値は１０−１／２≒０．３１６２  から  １０１２７ ／ ２５６≒３．１３４の範囲で、各項目間の比が１０  １ ／ ２５６≒１．００９の等比数列となる。またこの利得値算出テーブルから求めた利得係数Ｋｒを１０を底とする対数に変換した後、計算の便宜のため２５６倍した値を図２の利得値算出テーブルに記述しておく。
【００２７】
また式１より
Ｌｏｇ（Ｌｒｇ）＝Ｌｏｇ（Σｒ）−Ｌｏｇ（Ｋｒ（ｎ））−Ｌｏｇ（Σｇ）    ・・・（式３）
式２より、
Ｌｏｇ（Ｌｒｇ）  ＝  （Ｔｒｇ−１２８）  ／  ２５６                ・・・（式４）
式３、式４より
Ｔｒｇ  ＝  ２５６Ｌｏｇ（Σｒ）−２５６Ｌｏｇ（Ｋｒ（ｎ））−２５６Ｌｏｇ（Σｇ）  ＋  １２８  ・・・（式５）
という関係が得られる。
つまり、任意の１フレームにおけるΣｒ、ΣｇとＲ信号に乗ぜられた利得値Ｋｒ（ｎ）とから式５によりテーブル番号Ｔｒｇを算出すれば、次フレームにおいてＲ信号に乗ずる利得値Ｋｒ（ｎ＋１）を、利得値算出テーブルの上記テーブル番号Ｔｒｇに対応するＫｒとして算出することができる。
この時任意の１フレームにおけるＫｒ（ｎ）は、その１フレーム前において算出されたテーブル番号に対応付けて同じ利得値算出テーブルから求めているので、１フレーム前のテーブル番号を保持しておけば容易に算出することが可能である。マイクロコンピュータ１４はこの１フレーム前のテーブル番号を保持するために、ＲＡＭにより構成される図示しないテーブル番号保持手段を有する。
また式６において２５６Ｌｏｇ（Σｒ）、２５６Ｌｏｇ（Σｇ）という対数値が用いられるが、Σｒ、Σｇはデジタル値であるので、図３のような信号強度対数化テーブルを設けることにより、容易にこれらの値を求めることができる。
【００２８】
以上説明した、図２の利得値算出テーブルと、図３の信号強度対数化テーブルはマイクロコンピュータ１４が内蔵する不揮発性のメモリに保存される。
またマイクロコンピュータ１４は以上により算出したアナログ値である利得値に対応したデジタル値である利得係数を出力し、この利得係数はＤ／Ａ変換器１５でＤ／Ａ変換された後、利得制御回路４に入力され、利得値として色分離回路３の出力信号に乗ぜられる。
【００２９】
以上はＲ信号とＧ信号の関係を例に挙げ説明したが、Ｂ信号とＧ信号の関係に関しても同じ方法で利得値を調整する。Ｇ信号を基準として、Ｒ信号とＢ信号に対する利得係数を調整することでＲ、Ｇ、Ｂ３つの信号のレベルが等しくなるよう調整できるので適切なホワイトバランス処理を実現することができる。
【００３０】
上記テーブル番号Ｔｒｇがこの発明における利得決値定パラメータであり、上記テーブル番号保持手段がこの発明におけるパラメータ記憶手段である。テーブル番号保持手段はこの実施の形態においては、Ｒ用テーブル番号保持手段、Ｂ用テーブル番号保持手段の２個が用いられる。
またこの発明における演算手段と利得値決定手段は上記マイクロコンピュータ１４がその機能を果たす。
また上記利得値Ｋｒ（ｎ）がこの発明における現フレーム相対色信号利得値、利得値Ｋｒ（ｎ＋１）がこの発明における次フレーム相対色信号利得値、Σｒがこの発明における利得付相対色信号の強度、Σｇがこの発明における基準色信号の強度である。
【００３１】
次に図４のフローチャートを用いて、マイクロコンピュータ１４の動作について説明する。
まずマイクロコンピュータ１４が始動するとステップＳ１においてＲ信号及びＢ信号に対する利得値の初期設定が行われる。この実施の形態においてはテーブル番号Ｔｎを例えば１２８に設定し、図２の利得値算出テーブルを参照してＲ信号及びＢ信号に対する利得値Ｋｒ、Ｋｂを求める。
次にＲ、Ｇ及びＢの各色信号レベル（デジタル化Ｒ信号、デジタル化Ｇ信号、デジタル化Ｂ信号）を読み出し（Ｓ２）、図３に示した信号レベル対数化テーブルを利用して各信号レベルを対数値に変換する（Ｓ３）。
次に上述した式６によって次フレームのテーブル番号Ｔｒｇを計算する。同様にＴｂｇも計算する（Ｓ４）。この時、現フレームの利得値Ｋｒ及びＫｂの対数値はそれぞれＲ用、Ｇ用テーブル番号保持手段が保持している現フレームのテーブル番号を読み出し、利得値算出テーブルを参照することにより求める。
【００３２】
次いで、テーブル番号Ｔｒｇ、Ｔｂｇが０から２５５の有効範囲内に収まるよう調整を行う（Ｓ５）。この時、テーブル番号が整数になるように、テーブル番号の整数部のみを採用する。このように調整したテーブル番号を用いて、図２の利得値参照テーブルを参照して次フレームの利得値を求め（Ｓ６）、得られた利得値に対応する利得係数を出力する（Ｓ７）。
ステップＳ２からステップＳ７までの一連の処理がフレーム毎に繰り返し行われることにより常に適切なホワイトバランスの状態を保つことができる。
【００３３】
上記ステップＳ４がこの発明における演算ステップ、ステップＳ６がこの発明における利得値決定ステップである。
【００３４】
上述のように本実施の形態では、各色信号レベルの比率に基づいてＲ、Ｂ信号の利得値を調整するため、従来の信号レベルの大きさの比較により１ステップずつ利得値を変化させていく方法と比べて、迅速にホワイトバランス処理を収束させることが可能である。
【００３５】
また、従来の信号レベルの大きさを比較する方法では、信号レベルがほぼ等しくなった時点においても利得値の変化を停止できないため、常に利得値はフレーム毎に細かく振動し続けることになるが、本発明においては、信号レベルの比率が一定範囲以内であればテーブル番号は変化しない。すなわち安定したホワイトバランス処理を行うことができる。
【００３６】
また、信号レベル同士の比を求めるためには本来除算回路が必要となるため、演算回路の規模が大きくなり計算に時間がかかるという課題が発生するが、本発明では以上のようにＲ、Ｂ信号における利得制御回路に入力する利得値を、前フレームの利得値とＲ、Ｇ、Ｂ３つの信号レベルから、テーブル参照と加減算のみによって算出することができるため、計算量の増大や、必要回路規模の増大を引き起こすことなく高速かつ安定した処理を実現できる。
【００３７】
なお上記の実施の形態においては、色分離回路３から出力された各色信号の内、Ｒ信号とＢ信号はそれぞれ利得制御回路４、５を介して積分回路１０、８に入力されているが、Ｒ信号、Ｂ信号とも利得制御回路４、５を介さずに直接積分回路１０、８に入力してもよい。この場合は上記式１、３、５の説明におけるＫｒ（ｎ）を１とした場合と等価であり、式１はＬｒｇ＝Σｒ／Σｇとなり、また式３、式５においてはＬｏｇ（Ｋｒ（ｎ）＝０であるので考慮する必要がなく、演算が簡略になるという効果がある。また、図２の利得値算出テーブルのＲ、Ｂ利得値の欄が不要になるため、利得値算出テーブルに要するメモリの量が小さくて済むという効果がある。
【００３８】
実施の形態２．
実施の形態２を図３、５、６、７を用いて説明する。
実施の形態１ではＧ信号については利得制御回路を持たず、色分離回路からそのまま色変換回路へと入力されるが、利得制御回路の利得値設定可能範囲が狭い場合にはＧ信号の利得を変化させることでＲまたはＢ信号とＧ信号の利得比を確保する必要がある。また、撮像素子の感度が足りずホワイトバランス用の利得制御回路を自動露光のための全信号に対する利得制御回路の補助として使用するような場合にもＧ信号の利得を変化させる必要性がある。
この実施の形態２においてはＧ信号に対しても利得値が乗ぜられている場合の例を示す。
【００３９】
図について説明すると、図３はすでに実施の形態１において説明した信号レベル対数化テーブルの図、図５はこの実施の形態における画像信号処理系のブロック図、図６はこの実施の形態において用いる利得値算出テーブルの図、図７はこの実施の形態において用いる補正係数テーブルの図である。
【００４０】
図５において、実施の形態１で説明した図１と同一部分には同一の符号を付して説明を省略する。
この構成において、色分離回路３の出力のＧ信号は利得制御回路５１を介して色変換回路６に入力されるとともに、利得制御回路５１を介して積分回路９に入力され、１フレームの画面全体に対して積分される。積分回路９の出力はＡ／Ｄ変換器１２によってＡ／Ｄ変換された後、マイクロコンピュータ５２に入力される。マイクロコンピュータ５２では、デジタル化されたＲ、Ｇ、Ｂ各色信号を入力とした演算処理を行ない、Ｒ、Ｇ、Ｂそれぞれの利得係数を算出し、出力する。これらの利得係数はＤ／Ａ変換器１５、５３、１６を介して利得制御回路４、５１、５にそれぞれ入力される。利得制御回路４、５１、５に入力された利得係数は利得値Ｋｒ、Ｋｇ、Ｋｂに変換され、色分離回路３のＲ、Ｇ、Ｂの出力信号に乗ぜられ、色変換回路６に入力される３つの信号が均衡する方向に変化する。
【００４１】
ホワイトバランス処理は３つの色信号の信号レベルを均衡させることが目的であるため、全ての利得係数を同時に変化させる必要はなく、少なくとも一つの利得係数はホワイトバランス処理と独立した別の基準に沿って決定されることになる。基準となる利得値としてはＧ信号に対する利得値が決められる場合や、３つの利得値のうちで最大の利得係数が決められる場合等が考えられるが、所定の基準利得値決定法により決定される。
この実施の形態においては、基準となる色信号（基準色信号）をＡ信号と表す。そして、任意の１フレーム（現フレームと呼ぶ）におけるこのＡ信号に乗ぜられる利得値（基準色信号用利得値）をＫａ（ｎ）、デジタル化されたＡ信号のレベルをΣａとする。
また基準色信号（Ａ信号）以外の一つの相対色信号をＳ信号とし、現フレームにおけるこのＳ信号に乗ぜられる利得値（現フレーム相対色利得値）をＫｓ（ｎ）、デジタル化されたＳ信号のレベルをΣｓとする。
Ａ信号、Ｓ信号は共にＲ信号、Ｇ信号、Ｂ信号のいずれかである。またΣａがこの発明における利得付基準色信号の強度、Σｓがこの発明における利得付相対色信号の強度である。
【００４２】
次にこの実施の形態において各信号の利得値の算出に使用する利得値算出テーブルの生成について説明する。
まず現フレームの次のフレーム（次フレーム）における相対色信号Ｓ信号の利得値（次フレーム相対色利得値）Ｋｓ（ｎ＋１）と基準色信号Ａ信号の利得値Ｋａ（ｎ＋１）の比Ｌｓａを
Ｌｓａ＝Ｋｓ（ｎ＋１）／Ｋａ（ｎ＋１）                （式６）
とする。そして、Ｌｓａを現フレームにおけるＡ信号のレベルに対する現フレームにおけるＳ信号のレベルの比の逆数とすると、現フレームにおける利得値の影響を除去して、
0003571274.tif 000003
となる。
さらに次フレームにおけるＳ信号の利得値Ｋｓ（ｎ＋１）を、このＬｓａと次フレームにおける基準色信号の利得値Ｋａ（ｎ＋１）の積として求めると、
0003571274.tif 000004
式８を対数化すると
Ｌｏｇ（Ｋｓ（ｎ＋１））
＝  −Ｌｏｇ（Σｓ）＋Ｌｏｇ（Σａ）＋Ｌｏｇ（Ｋｓ（ｎ））−Ｌｏｇ（Ｋａ（ｎ））＋Ｌｏｇ（Ｋａ（ｎ＋１）  （式９）
さらに（式９）の両辺を−２５６倍して１２８を加算すると、
0003571274.tif 000005
【００４３】
一方、上記のＫｓ（ｎ＋１）と利得値算出テーブルのインデックスであるテーブル番号Ｔｎ（利得値決定パラメータ）との関係を式１１のように定義する。
【数２】
0003571274.tif 000006
この利得値算出テーブルを図６に示す。図６のテーブルには、このテーブル番号Ｔｎに対応する利得値Ｋｓ（ｎ＋１）とその対数値を２５６倍した値を記載しておく。
上記の式１１を変形すると、
Ｔｎ＝１２８−２５６（Ｌｏｇ（Ｋｓ（ｎ＋１））            （式１２）
式１０、式１２より、
0003571274.tif 000007
式１３の右辺におけるΣｓ、Σａ、Ｋｓ（ｎ）、Ｋａ（ｎ）は現フレームにおける値であるので、２５６Ｌｏｇ（Σｓ）、２５６Ｌｏｇ（Σａ）は実施の形態１で説明した図３のテーブルから、２５６Ｌｏｇ（Ｋｓ（ｎ））、２５６Ｌｏｇ（Ｋａ（ｎ））は図６のテーブルから算出が可能である。Ｋｓ（ｎ）、Ｋａ（ｎ）は現フレームの１フレーム前において算出されたテーブル番号に対応付けて同じ利得値算出テーブルから求めているので、１フレーム前のテーブル番号を保持しておけば容易に算出することが可能である。マイクロコンピュータ１４はこの１フレーム前のテーブル番号を保持するために、ＲＡＭにより構成される図示しないテーブル番号保持手段を有し、１フレーム前の２個のテーブル番号を保持する。
さらにＫａ（ｎ＋１）は次フレームにおける基準色信号の利得値であり、前記の通り所定の基準利得値決定法により決定される。そして、２５６Ｌｏｇ（Ｋａ（ｎ＋１））を決定するために、図７のような基準値補正テーブルを用いる。図７においては、想定される基準信号の利得値Ｘに対する２５６ＬｏｇＸの値を算出しておく。
【００４４】
このようにして算出したテーブル番号Ｔｎから図６を参照することにより、基準色信号以外の信号の利得値を図６中の対応する利得値Ｋｘとして求めることができる。
すなわちこの方式では、基準色信号以外の信号の利得値を図３、図６、図７の３つのテーブルを用いて、加減算のみによって算出することが可能である。
【００４５】
上述のように任意の信号の利得値を基準とし、それに残る信号の利得値を追従させてホワイトバランス処理を行う場合においても計算量の増大や、必要回路規模の増大を引き起こすことなく、テーブル参照と加減算のみによる自動ホワイトバランス処理が可能である。
【００４６】
これにより、利得制御回路の係数設定可能範囲が狭い場合や自動露光のための全信号に対する利得制御回路の補助として使用するような場合においてもＧ信号利得値の変化を考慮に入れた自動ホワイトバランス処理を行うことができる。
【００４７】
なお上記の実施の形態においては、色分離回路３から出力されたＲ、Ｇ、Ｂの各色信号のはそれぞれ利得制御回路４、５１、５を介して積分回路１０、９、８に入力されているが、各色信号とも利得制御回路を介さずに直接積分回路に入力してもよい。この場合は上記式７、８、９、１０、１３の説明におけるＫｓ（ｎ）、Ｋａ（ｎ）をそれぞれ１とした場合と等価であり、式７はＬｒｇ＝Σａ／Σｓ、式８はＫｓ（ｎ＋１）＝Σａ／Σｓ×Ｋａ（ｎ＋１）となり、また式９、式１０、式１３においてはＬｏｇ（Ｋｓ（ｎ））＝Ｌｏｇ（Ｋａ（ｎ）＝０であるので考慮する必要がなく、演算が簡略になるという効果がある。また、図２の利得値算出テーブルのＲ、Ｂ利得値の欄が不要になるため、利得値算出テーブルに要するメモリの量が小さくて済むという効果がある。
【００４８】
実施の形態３．
上述の実施の形態１及び２は、例えばデジタルスチルカメラによる撮影時にシャッターを押してから画像を取り込むまでの１フレームから２フレームの間にＡＷＢ調整を行う場合に適している。しかしながらビューファインダーに連続的に表示される画像に対して処理を行う場合には瞬間的なノイズや急激な場面転換に対して過剰な反応を示し、画面のちらつき、ハンチングの原因となることが考えられる。
そこで本実施の形態では計算によって求められた参照テーブル値を次フレームの値としてそのまま採用するのではなく、時定数を用いてテーブル値が急激に変化するのを防ぐ例を説明する。
【００４９】
この実施の形態における自動ホワイトバランス調整装置を含む画像信号処理系のブロック図は実施の形態１で説明した図１と同様である。
また、この実施の形態においては、実施の形態１と同様に図２の利得値参照テーブル、図３の信号レベル対数化テーブルを用いて、次フレームの利得係数を決定する。
この発明における自動ホワイトバランス調整装置は、実施の形態１と同様に図１における、利得制御回路４〜５、積分回路８〜１０、Ａ／Ｄ変換器１１〜１３、マイクロコンピュータ１４、Ｄ／Ａ変換器１５〜１６によって構成される。
またこの発明における時定数設定手段はマイクロコンピュータ１４がその機能を果たす。
【００５０】
図８はこの実施の形態におけるマイクロコンピュータ１４の動作のフローチャートである。
このフローチャートにおいて、実施の形態１のフローチャートである図４と同一動作のステップについては図４と同一のステップ番号を付してその説明を省略する。ただし、この実施の形態におけるステップＳ１においては、Ｋｒ、Ｋｂの初期値の設定のほかに、時定数ｔの設定を行なう。
【００５１】
図８のＳ５１においては、次フレームのテーブル番号を算出するが、この実施の形態において、テーブル番号の算出式は以下のものとする。
Ｔ（ｎ＋１）＝｛  ｔ  Ｔ（ｎ）  ＋  Ｔｏ（ｎ＋１）｝  ／  （ｔ＋１）                    （式１４）
ただし上述の式において
Ｔ（ｎ＋１）  ：（ｎ＋１）番目のフレームの参照テーブル番号
Ｔ（ｎ）    ：ｎ番目のフレームの参照テーブル番号
Ｔｏ（ｎ＋１）  ：ｎ番目のフレーム撮影結果から算出される（ｎ＋１）番目の
フレームの参照テーブル番号
ｔ：時定数
である。
図９は本実施の形態におけるテーブル番号の収束の様子を示したものである。変化のない画像を撮り続けた場合に、テーブル番号が目標値に向けてどのように変化するかを示している。この方式では時定数ｔの値を変化させることで安定性を重視するか、高速な応答を重視するか、処理の性質を調整することができる。
【００５２】
上記のテーブル番号Ｔ（ｎ＋１）、Ｔ（ｎ）、Ｔｏ（ｎ＋１）に対応する利得値が、それぞれこの発明における時定数付利得値、現フレーム相対色利得値、次フレーム相対色利得値である。
【００５３】
上述のように時定数によって参照テーブル値の急激な変化を防ぐことにより、撮像した画像を連続的に表示するような場合でも、瞬間的なノイズに対する画面のちらつきを抑えることが可能である。
【００５４】
また、時定数の変更により自動ホワイトバランス処理の安定性及び収束速度を柔軟に変更することができる。時定数は求める処理の性質に合わせてあらかじめ決定しておくこともできるし、あるいは例えば撮影画像のノイズが多い時のみ安定性重視に切り替えるなど、外部から指定することにより状況の変化に応じて動的に処理の性質を変更することも可能である。
【００５５】
またテーブル番号の算出式は上記式１４に限らず、テーブル番号が急激に変化することを防止できれば、他の算出式であってもよい。
【００５６】
実施の形態４．
実施の形態４を図１、図２、図３、図１０、図１１を用いて説明する。
上記実施の形態１、２においては、利得値の範囲は利得値算出テーブルに記載された値であれば特に制限を設けない例を説明した。
この実施の形態では、利得値の取りうる値に制限範囲を設け、撮影画像に過度な自動ホワイトバランス処理が施されることを防止する例を示す。
【００５７】
通常、自然画などの被写体を撮影する場合、各色信号の積分値には極端な差は発生しないと考えられる。しかし、例えば赤色の被写体が画面全体を覆っている場合など、撮影面の色分布が崩れている場合にはホワイトバランス処理本来の無彩色に対する信号レベル調整を行うことができない。このような撮影条件下で利得値の制限なしに自動ホワイトバランス処理を行うと、見た目と撮影画像の色が極端に異なる不自然な画像が撮影される。
そこで前述の実施の形態１の計算法によって求められる信号の利得値に制限範囲を設け、過度の自動ホワイトバランス処理を防止する。
【００５８】
この実施の形態における画像信号処理系のブロック図は実施の形態１で説明した図１と同様である。
またこの実施の形態においては、実施の形態１と同様に図２の利得値参照テーブル、図３の信号レベル対数化テーブルを用いて、次フレームの利得値を決定する。
【００５９】
またこの実施の形態において、マイクロコンピュータ１４の動作は、図１０のフローチャートに従う。
図１０において、実施の形態１のフローチャートである図４と同一動作のステップについては図４と同一のステップ番号を付して、その説明を省略する。ただし、この実施の形態におけるステップＳ１においては、Ｋｒ、Ｋｂの初期値の設定のほかに、図１１に示すようなＲ信号とＢ信号の利得値に対する制限範囲を設定する。
またステップＳ６１においては、ステップ６１において求めたＲ信号とＢ信号の利得値Ｋｒ、Ｋｂが制限範囲にあるかどうかを判定する。
【００６０】
図１１において、あるフレームの制限範囲内にあるＲ信号及びＢ信号の利得値の組み合わせ（ｐ１）から、次フレームの利得係数が制限範囲外の組み合わせ（ｐ２）として算出された場合には、マイクロコンピュータ１４はこれを検出し、算出された値に最も近く制限範囲内の点（ｐ３）に利得値を再設定する。この判定処理をフレーム毎に行うことにより常に利得値の組み合わせが制限範囲内から外れないような自動ホワイトバランス処理を行う。
制限範囲の具体的な判定法としては、この実施の形態では制限範囲を水平、垂直、あるいは傾き４５°の直線によって構成しているため、ＲおよびＢの利得値参照テーブルのテーブル番号自体、もしくはＲ、Ｂそれぞれのテーブル番号同士の和について、あらかじめ指定した値の範囲と比較することによって判定する。
また、利得値の組み合せが制限領域から外れた場合には、Ｒ、Ｂそれぞれのテーブル番号に対して同じ値を加減することによって制限範囲を構成する直線に対して垂直方向に値を変化させることができるので、これを利用して図９における（ｐ２）から（ｐ３）への値の変更も容易に行うことができる。
【００６１】
上述のように利得制御回路に入力する利得係数の組み合わせに対して制限領域を設けることにより、撮影面の色分布が無彩色から外れている場合にも画像に不自然なホワイトバランス処理が適用されるのを防ぐことが可能である。
【００６２】
上記の説明では、制限範囲は図１１のようにＲ信号とＢ信号の利得値から決定する例を説明したが、利得値は図２の利得値算出テーブルのテーブル番号と対応しているため、図１１の縦軸、横軸としてＲ信号およびＢ信号に関するテーブル番号を用いてもよい。
【００６３】
また、実施の形態２のように、Ｇ信号の利得値が１．０に固定されていない場合には、加減算によりＧ信号の利得値を１．０とした場合のＲ及びＢ信号の利得係数を算出し、判定に用いる。
【００６４】
実施の形態５．
実施の形態５を図４、図１２を用いて説明する。
これまでの実施の形態では、利得の計算に必要なパラメータはハードウェアである積分回路やＡ／Ｄ変換器により求め、利得値算出の演算はマイクロコンピュータで行う例について述べた。
この実施の形態ではこれまでの実施の形態で述べたものと同様の利得算出式を用い、マイクロコンピュータで行っていた利得算出に関する演算処理をハードウェア化した演算回路で行う例を示す。
【００６５】
図１２はこの実施の形態における画像信号処理系のブロック図である。図１２において、実施の形態１で説明した図１と同一部分には同一の符号を付して説明を省略する。
この構成において、Ａ／Ｄ変換器１１、１２、１３の出力であるデジタル化されたＲ、Ｇ、Ｂ各色信号は信号レベル対数化用のルックアップテーブルＬＵＴａ７１に入力される。ＬＵＴａ７１の出力は演算回路７２に入力され、演算回路は加減算を行なった結果を利得係数参照用のルックアップテーブルＬＵＴｂ７２に出力する。
図１２の構成においては、利得制御回路４〜５、積分回路８〜１０、Ａ／Ｄ変換器１１〜１３、ＬＵＴａ７１、ＬＵＴｂ７２、Ｄ／Ａ変換器１５〜１６によって、この発明における自動ホワイトバランス調整装置が構成されている。
【００６６】
図１２におけるＬＵＴａ７１は実施の形態１で説明した図３の信号レベル対数化テーブルをルックアップテーブル（ＬＵＴ）としたものであり、ＬＵＴｂ７３は図２の利得値算出テーブルをルックアップテーブル（ＬＵＴ）としたものである。ＬＵＴはＲＯＭなどの記憶装置にあらかじめ計算してあるテーブル値を記憶しておき、必要に応じて読み出せるようにする。ＬＵＴａ７１には積分回路８、９及び１０から出力され、デジタル変換された各色信号の信号レベルΣｒ、Σｇ、Σｂが入力される。ＬＵＴａ７１によって信号レベルは対数値に変換され、演算回路７２に入力される。演算回路７２ではＬＵＴａ７１からの入力に基づいて実施の形態１における式５に相当する処理を加減算によって行う。演算結果はＬＵＴｂ７３に入力され、ＬＵＴｂ７３において参照テーブル番号から利得係数を参照し、デジタル−アナログ変換器１５、１６に入力される。
その他の構成は実施の形態１と同様である。
【００６７】
またこの実施の形態における動作は実施の形態１で説明した図４のフローチャートに従う。
ただしこの実施の形態においては、ステップＳ１の初期設定は、図示していない制御回路により実行される。
ついでステップＳ２の各色信号レベルの読み出しおよびステップＳ３の信号レベルの対数値算出がＬＵＴａ７１により実行され、ステップＳ４のテーブル番号の計算およびステップＳ５のテーブル番号の調整が演算回路７２により実行される。
さらにステップＳ６における利得値算出テーブルを参照しての次フレームの利得値算出およびステップＳ７における利得係数の出力がＬＵＴｂ７３により実行される。
【００６８】
以上のようにこの実施の形態においては、自動ホワイトバランス処理に伴う演算処理を全てハードウェア化し、必要な参照テーブルをＬＵＴとして用意することにより処理を高速化することが可能である。すなわち乗除算の必要な演算部分をテーブル参照と加減算の組み合わせに置き換えているため、ハードウェア化の際にも小さな回路規模で高速に処理を行うことが可能である。
また、ＬＵＴの値を変更することによってハードウェア自体の設計に変化を加えることなく利得制御回路の仕様変更に合わせたパラメータ系列の変更や自動ホワイトバランス処理が追従可能な利得係数の範囲を変更することができる。
【００６９】
実施の形態６．
これまでの実施の形態では、色分離回路の出力はアナログ値であり、この色分離回路出力を１フレームの画面全体について積分した後、Ａ／Ｄ変換器でデジタル信号に変換する例を示した。
この実施の形態においては、色分離回路の出力がデジタル信号である場合の自動ホワイトバランス処理について説明する。
【００７０】
図１３はこの実施の形態における画像信号処理系のブロック図である。
図において１はレンズ、２は撮像素子、６は色変換回路、７はエンコーダであり、図１を用いて実施の形態１で説明した同一符号の部分と同一機能を有する。
１０３は色分離回路、１０４及び１０５は利得制御回路、１０８、１０９及び１１０はマイクロコンピュータ１１４内部の積分値計算部を示している。
図において色分離回路１０３から出力される信号はデジタル信号であり、そのままマイクロコンピュータ１１４に入力される。マイクロコンピュータ内で色毎の積分計算と信号レベルの算出を行い、実施の形態１と同様の方法で利得計数を求める。マイクロコンピュータ１１４の出力値はデジタルで表された利得係数として直接利得制御回路１０４及び１０５に入力される。
その他の動作は実施の形態１と同様である。
利得制御回路１０４、１０５とマイクロコンピュータ１１４がこの発明における自動ホワイトバランス調整装置を構成する。
【００７１】
上述のように内部の処理を全てデジタル信号によって行う場合でも同様の自動ホワイトバランス処理を実現することが可能である。
【００７２】
また、利得制御回路１０４、１０５に出力される値はマイクロコンピュータ１１４内での演算処理において利得係数参照テーブルを参照することによって得られる値なので、利得制御回路の仕様変更などにより出力値を変更する必要が生じても、参照テーブル値の変更により容易に対応できる。
【００７３】
実施の形態７．
実施の形態７を図１４を用いて説明する。
これまでの実施の形態では撮像素子に原色系フィルタ使用のものを用い、色分離回路によってＲ、Ｇ、Ｂの３つの色信号が得られる場合について示したが、補色系のフィルタを使用した撮像素子を用いる場合においても、一旦信号をＲＧＢ信号に変換した後、輝度及び色差信号に変換することにより自動ホワイトバランス処理を行うことができる。
【００７４】
図１４はこの実施の形態における画像信号処理系のブロック図である。
図において、実施の形態１で説明した図１と同一部分には同一の符号を付して、その説明を省略する。
この構成において、撮像素子２の出力は色分離回路２０３に入力され、補色系の色信号に分解される。この補色系の色信号は色変換回路Ａ２０４によって一旦ＲＧＢ信号に変換される。以後の動作は実施の形態１と同様であり、Ｒ信号とＢ信号については利得制御回路５及び６を通して色変換回路７に入力され、Ｇ信号は直接色変換回路７に入力される。色変換回路７では信号を輝度信号及び色差信号に変換しエンコーダ８に送る。
補色系フィルタを使用する場合には色分離回路から出力される信号がＲＧＢ信号にならないが、色変換処理を２段階に分け、一旦ＲＧＢ信号に変換した時点で利得制御回路によるホワイトバランス処理を行うことが可能である。
【００７５】
上述のように撮像素子が補色系のフィルタを使用している場合でも同様の方法で自動ホワイトバランス処理を行うことができる。
【００７６】
【発明の効果】
以上のように、この発明に係る自動ホワイトバランス調整装置は、撮像手段が被写体を撮像して出力した画像信号から分離された複数の色信号の内のいずれか一つである基準色信号の強度と、他の色信号である相対色信号に適当な利得値を乗じて生成した利得付相対色信号の強度とを接近させるよう上記利得値を決定する自動ホワイトバランス調整装置であって、任意の１フレームにおける上記基準色信号の強度と、該任意の１フレームにおける上記利得付相対色信号の強度と、該任意の１フレームにおいて、該利得付相対色信号に乗じた現フレーム相対色利得値とから、上記任意の１フレームの次フレームにおいて上記相対色信号に乗ずる次フレーム相対色利得値を決定するための利得値決定パラメータを算出する演算手段と、上記利得値決定パラメータと上記次フレーム相対色利得値を所定の規則により対応付けると共に、上記次フレーム相対色利得値の逆数は、上記任意の１フレームにおける上記利得付相対色信号の強度を、該任意の１フレームにおける上記基準色信号の強度と上記現フレーム相対利得値とで除した値であり、かつ、上記次フレーム相対色利得値の逆数は、上記利得値決定パラメータを所定定数の指数部に持つ利得値決定パラメータに関する指数関数であるように形成された利得値算出テーブルと、上記演算手段が算出した利得値決定パラメータに基づき上記利得値算出テーブルを参照して、上記次フレーム相対色利得値を決定する利得値決定手段とを備えたので、基準色信号と相対色信号の強度の関係に基づいて相対色信号に乗ずる利得値を決定することになり、各色信号の強度差を小さくすることが可能であり、ホワイトバランス処理の効果が高くなるという効果がある。また、演算量が少なくなり、ホワイトバランス処理が高速化できるという効果がある。また、現フレーム相対色利得値の誤差を吸収することが可能であり、精度の高いホワイトバランス処理を行うことが可能であるという効果がある。また、上記任意の１フレームにおける上記利得付相対色信号の強度と上記任意の１フレームにおける上記基準色信号の強度と、上記現フレーム相対利得値をそれぞれ対数化することにより、加減算のみで利得決定パラメータを決定することができ、演算量が減少するという効果がある。
【００８０】
またこの発明に係る自動ホワイトバランス調整装置は、撮像手段が被写体を撮像して出力した画像信号から分離された複数の色信号の内の、いずれか一つである基準色信号に所定の規則で定められた基準色信号用利得値を乗じて生成した利得付基準色信号の強度と、他の色信号である相対色信号に適当な相対色信号用利得値を乗じて生成した利得付相対色信号の強度とを接近させるよう上記相対色信号用利得値を決定する自動ホワイトバランス調整装置であって、任意の１フレームにおける上記利得付基準色信号の強度と、該任意の１フレームにおける上記利得付相対色信号の強度と、該任意の１フレームにおける上記基準色信号用利得値と、該任意の１フレームにおける上記相対色信号用利得値である現フレーム相対色利得値とから、上記任意の１フレームの次フレームにおいて上記相対色信号に乗ずる次フレーム相対色利得値を決定するための利得値決定パラメータを算出する演算手段と、上記利得値決定パラメータと上記次フレーム相対色利得値を所定の規則により対応付けると共に、上記次フレーム相対色利得値の逆数は、上記任意の１フレームにおける上記利得付相対色信号の強度を、該任意の１フレームにおける上記基準色信号の強度と上記現フレーム相対利得値とで除した値であり、かつ、上記次フレーム相対色利得値の逆数は、上記利得値決定パラメータを所定定数の指数部に持つ利得値決定パラメータに関する指数関数であるように形成された利得値算出テーブルと、上記基準色信号利得値に対応した補正値テーブルと、上記演算手段が算出した利得値決定パラメータに基づき上記利得値算出テーブルを参照し、さらに上記基準色信号用利得値に基づき上記補正値テーブルを参照して、上記次フレーム相対色利得値を決定する利得値決定手段を備えているので、演算量が少なくなり、ホワイトバランス処理が高速化できるという効果がある。また、上記任意の１フレームにおける基準色信号用利得値や現フレーム相対色利得値の誤差を吸収することが可能であり、精度の高いホワイトバランス処理を行うことが可能であるという効果がある。
【００８２】
またこの発明に係る自動ホワイトバランス調整装置は、上記演算手段が算出した利得値決定パラメータを記憶するパラメータ記憶手段を更に有し、上記演算手段が利得値決定パラメータを算出する際に使用する上記現フレーム相対色利得値は、上記パラメータ記憶手段から読み出した上記任意の１フレームの一つ前のフレームで、上記演算手段が算出した利得値決定パラメータと、上記利得値算出テーブルを参照して決定するので、前フレームでの演算結果を利用して高速に演算を行うことができるという効果がある。
【００８３】
またこの発明に係る自動ホワイトバランス調整装置は、利得値制限手段を更に有し、該利得値制限手段は上記利得値決定手段が決定した二つの色信号に対する次フレーム相対色利得値の和が所定の範囲内にあるかどうかを判定し、所定の範囲内にない場合は該二つの次フレーム相対色利得値の和が上記所定の範囲内になるように該二つの次フレーム相対色利得値の少なくとも一方を変化させるので、撮像面の色分布が無彩色から外れている場合にも画像に不自然なホワイトバランス処理が適用されるのを防ぐことができるという効果がある。
【００８４】
またこの発明に係る自動ホワイトバランス調整装置は、時定数設定手段を更に有し、該時定数設定手段は所定の時定数を設定し、該時定数を使用して上記任意の１フレームにおけるいずれか一つの色の現フレーム相対色利得値と上記利得値決定手段が決定した上記いずれか一つの色の次フレーム相対色利得値との間の値である時定数付利得値を決定し、該時定数付利得値を上記いずれか一つの色の次フレーム相対色利得値とするので、撮像した画像を連続的に表示するような場合でも、瞬間的なノイズに対する画面のちらつきを押さえることができるという効果がある。
【００８６】
この発明に係る自動ホワイトバランス調整方法は、撮像手段が被写体を撮像して出力した画像信号から分離された複数の色信号の内のいずれか一つである基準色信号の強度と、他の色信号である相対色信号に適当な利得値を乗じて生成した利得付相対色信号の強度とを接近させるよう上記利得値を決定する自動ホワイトバランス調整方法であって、下記ステップを含むので、基準色信号と相対色信号の強度の関係に基づいて相対色信号に乗ずる利得値を決定することになり、各色信号の強度差を小さくすることが可能であり、ホワイトバランス処理の効果が高くなるという効果がある。また、演算量が少なくなり、ホワイトバランス処理が高速化できるという効果がある。
（１）任意の１フレームにおける上記基準色信号の強度と、該任意の１フレームにおける上記利得付相対色信号の強度と、該任意の１フレームにおいて、該利得付相対色信号に乗じた現フレーム相対色利得値とから、上記任意の１フレームの次フレームにおいて上記相対色信号に乗ずる次フレーム相対色利得値を決定するための利得値決定パラメータを算出する演算ステップ；
（２）上記演算ステップにおいて算出した利得値決定パラメータに基づき、該利得値決定パラメータと上記次フレーム相対色利得値を所定の規則により対応付けると共に、上記次フレーム相対色利得値の逆数は、上記任意の１フレームにおける上記利得付相対色信号の強度を、該任意の１フレームにおける上記基準色信号の強度と上記現フレーム相対利得値とで除した値であり、かつ、上記次フレーム相対色利得値の逆数は、上記利得値決定パラメータを所定定数の指数部に持つ利得値決定パラメータに関する指数関数であるように形成された利得値算出テーブルを参照して、上記次フレーム相対色利得値を決定する利得値決定ステップ。
【図面の簡単な説明】
【図１】この発明の実施の形態１、３、４における画像信号処理系のブロック図。
【図２】この発明の実施の形態１、３、４における利得値算出テーブルの図。
【図３】この発明の実施の形態１、２、３、４における信号レベル対数化テーブルの図。
【図４】この発明の実施の形態１、５におけるマイクロコンピュータの動作を示すフローチャート。
【図５】この発明の実施の形態２における画像信号処理系のブロック図。
【図６】この発明の実施の形態２における利得値算出テーブルの図。
【図７】この発明の実施の形態２における補正係数テーブルの図。
【図８】この発明の実施の形態３におけるマイクロコンピュータの動作を示すフローチャート。
【図９】この発明の実施の形態３におけるテーブル番号の収束の様子を示す図。
【図１０】この発明の実施の形態４におけるマイクロコンピュータの動作を示すフローチャート。
【図１１】この発明の実施の形態４における利得値の制限範囲を示す図。
【図１２】この発明の実施の形態５における画像信号処理系のブロック図。
【図１３】この発明の実施の形態６における画像信号処理系のブロック図。
【図１４】この発明の実施の形態７における画像信号処理系のブロック図。
【図１５】従来の画像信号処理系のブロック図。
【図１６】従来の自動ホワイトバランス調整装置の動作を示すフローチャート。
【符号の説明】
１  レンズ系、  ２  撮像素子、  ３  色分離回路、  ４  利得制御回路、  ５  利得制御回路、  ６  色変換回路、  ７  エンコーダ回路、  ８  積分回路、  ９  積分回路、  １０  積分回路、  １１  Ａ／Ｄ変換器、  １２  Ａ／Ｄ変換器、  １３  Ａ／Ｄ変換器、  １４  マイクロコンピュータ、  １５  Ｄ／Ａ変換器、  １６  Ｄ／Ａ変換器、  ５１  利得制御回路、  ５２  マイクロコンピュータ、  ５３  Ｄ／Ａ変換器、  ７１  ＬＵＴａ、  ７２  演算回路、  ７３  ＬＵＴｂ、  １０３  色分離回路、  １０４  利得制御回路、  １０５  利得制御回路、  １０８〜１１０  積分値計算部、  １１４  マイクロコンピュータ、  ２０３  色分離回路、  ２０４  色変換回路Ａ、  １００１  レンズ、  １００２  撮像素子、  １００３  色分離回路、１００４  利得制御回路、  １００５  利得制御回路、１００６  色変換回路、  １００７  エンコーダ、  １００８  積分回路、  １００９  積分回路、  １０１０  比較回路、  １０１１  比較回路、  １０１２  マイクロコンピュータ、  １０１３  Ｄ／Ａ変換器、  １０１４  Ｄ／Ａ変換器。
【図１】
0003571274.tif 000008
【図２】
0003571274.tif 000009
【図３】
0003571274.tif 000010
【図４】
0003571274.tif 000011
【図５】
0003571274.tif 000012
【図６】
0003571274.tif 000013
【図７】
0003571274.tif 000014
【図８】
0003571274.tif 000015
【図９】
0003571274.tif 000016
【図１０】
0003571274.tif 000017
【図１１】
0003571274.tif 000018
【図１２】
0003571274.tif 000019
【図１３】
0003571274.tif 000020
【図１４】
0003571274.tif 000021
【図１５】
0003571274.tif 000022
【図１６】
0003571274.tif 000023