(57)【要約】【課題】回路を複雑化又は回路コストを増加させることなく、簡易な処理で色バランスの微変動を防止して、精度の高いホワイトバランス処理を行うことを可能とする。【解決手段】複数種類の変換特性により入射光を電気信号に変換する複数の画素を有し、画素ごとに異なる波長特性のフィルタを備えた撮像素子３と、撮像素子３の出力信号のホワイトバランス処理を行うＡＷＢ処理部１６とを備え、ＡＷＢ処理部１６は、ゲイン制御抑制量を記憶するゲイン制御抑制量記憶部２５と、撮像素子３から出力された基準波長信号と他の波長信号との差を求め、その差にゲイン制御抑制量を乗算して各波長信号の目標出力値を算出する目標出力算出部２６と、目標出力値に基づき各波長信号のゲイン制御値を算出するゲイン制御値算出部２７と、ゲイン制御値を用いて波長信号ごとにデジタルゲイン演算を行うデジタルゲイン演算部２７とを設ける。【選択図】図１
2007312109.tif 000002
【特許請求の範囲】
【請求項１】
複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有し、前記複数の画素ごとに異なる波長特性のフィルタを備えた撮像素子と、
前記撮像素子の出力信号のホワイトバランス処理を行うＡＷＢ処理部とを備え、
前記ＡＷＢ処理部は、
ゲイン制御抑制量を記憶するゲイン制御抑制量記憶部と、
前記撮像素子の出力信号に基づき基準波長信号と他の波長信号との差を求め、その差に前記ゲイン制御抑制量を乗算して各波長信号の目標出力値を算出する目標出力算出部と、
前記目標出力値に基づき各波長信号のゲイン制御値を算出するゲイン制御値算出部と、
前記ゲイン制御値を用いて波長信号ごとにデジタルゲイン演算を行うデジタルゲイン演算部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記ゲイン制御抑制量は５０％〜９５％であることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記目標出力算出部はビットシフトによりゲイン制御抑制量を乗算するのと同様の処理を行って前記目標出力値を導出することを特徴とする請求項１又は請求項２記載の撮像装置。
【請求項４】
前記ゲイン制御値算出部は基準波長信号の平均値を他の波長信号の前記目標出力値で除算することにより波長信号ごとにゲイン制御値を算出することを特徴とする請求項１〜請求項３いずれか一項に記載の撮像装置。
【請求項５】
前記ゲイン制御値算出部は前記目標出力値の入力により前記ゲイン制御値を導出するルックアップテーブルを備えることを特徴とする請求項１〜請求項３いずれか一項に記載の撮像装置。
【請求項６】
前記ＡＷＢ処理部は前記撮像素子の出力信号を波長信号ごとに積算するデータサンプル部を備えることを特徴とする請求項１〜請求項５いずれか一項に記載の撮像装置。
【請求項７】
前記ＡＷＢ処理部は前記データサンプル部から出力された各波長信号の積算値に基づいて各波長信号の平均値を導出する平均値導出部を備え、前記目標出力算出部は前記各波長信号の平均値を用いて各波長信号の差を算出することを特徴とする請求項６記載の撮像装置。
【請求項８】
前記ＡＷＢ処理部よりも前段に前記撮像素子の出力信号を一つの変換特性により統一的に変換された状態に変換する特性変換部を備えることを特徴とする請求項１〜請求項７いずれか一項に記載の撮像装置。
【請求項９】
前記ＡＷＢ処理部よりも前段に前記特性変換部の出力信号のうち少なくとも一つの階調領域を圧縮する圧縮部を備えることを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記ＡＷＢ処理部は前記圧縮部により圧縮された出力信号の階調領域を伸長する伸長部を備えることを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記複数の画素は入射光を電気信号に線形変換する線形変換特性と入射光を電気信号に対数変換する対数変換特性とを入射光量に応じて切り換え可能に構成されていることを特徴とする請求項１〜請求項１０いずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置に関する。
【背景技術】
【０００２】
従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また、近年では、複数種類の光電変換特性を有する撮像素子が提案されている。例えば、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサが提案されている。
【０００３】
これらの撮像素子を備える撮像装置では、カラー画像の撮影時に、光源の分光分布や色フィルタの透過率の相違に起因して、各色信号の光電変換特性が異なるものとなることから、各色信号の光電変換特性を一致させるためのホワイトバランス処理が施される。
【０００４】
例えば、特許文献１には、リニアログ変換型センサと、色フィルタの種類毎の色信号に対してホワイトバランス処理を行うホワイトバランス回路とを備え、ホワイトバランス回路により線形変換信号と対数変換信号との各々にホワイトバランス処理を施す撮像装置が記載されている。
【０００５】
一方、複数種類の光電変換特性を有する撮像素子の出力信号は、複数の特性を有することから、そのまま画像処理を施すと、信号処理の演算が複雑になるという問題がある。そこで、線形領域及び対数領域を含む出力信号のうち対数領域の出力信号を線形化するなどして、出力信号全体を単一の線形変換された状態にする処理が行われている。また、出力信号について画像処理を容易化するため、データ圧縮処理が行われると共に、圧縮されたデータの伸長処理が行われている。
【特許文献１】特開２００５−１６００２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、リニアログ変換型センサを備えた撮像装置において、線形変換信号と対数変換信号との各々にホワイトバランス処理を施したとしても、出力信号全体を単一の状態にするための変換処理や、データ圧縮処理、データ伸長処理などを行うと、演算量子化誤差が生じ、ホワイトバランス処理を精度よく行うことができない場合があった。すなわち、ホワイトバランス処理におけるゲイン値に誤差が生じ、この値を用いてデジタルゲイン演算を行うと、色バランスがくずれ、目標とするホワイトバランスに近づくと色バランスの微変動が起こるという問題があった。
【０００７】
本発明の課題は、回路を複雑化又は回路コストを増加させることなく、簡易な処理で色バランスの微変動を防止して、精度の高いホワイトバランス処理を行うことを可能とする撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため請求項１記載の発明は、撮像装置であって、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有し、前記複数の画素ごとに異なる波長特性のフィルタを備えた撮像素子と、前記撮像素子の出力信号のホワイトバランス処理を行うＡＷＢ処理部とを備え、前記ＡＷＢ処理部は、ゲイン制御抑制量を記憶するゲイン制御抑制量記憶部と、前記撮像素子の出力信号に基づき基準波長信号と他の波長信号との差を求め、その差に前記ゲイン制御抑制量を乗算して各波長信号の目標出力値を算出する目標出力算出部と、前記目標出力値に基づき各波長信号のゲイン制御値を算出するゲイン制御値算出部と、前記ゲイン制御値を用いて波長信号ごとにデジタルゲイン演算を行うデジタルゲイン演算部と、を備えることを特徴とする。
【０００９】
請求項１記載の撮像装置によれば、ゲイン制御抑制量を用いてゲイン制御値の変動を抑制することにより、ゲイン制御抑制量を用いない場合と比較して、各波長信号の色バランスを緩やかに推移させて目標とするホワイトバランスに近づけることが可能となる。すなわち、ホワイトバランス処理を繰り返すと、演算量子化誤差に起因するゲイン値の誤差により、各波長信号の色バランスがくずれ、目標とするホワイトバランス付近で色バランスの微変動が起こるが、ゲイン制御抑制量を用いてゲイン制御値の変動を抑制することにより、色バランスの微変動を防止して精度の高いホワイトバランス処理を行うことが可能となる。
【００１０】
請求項２記載の発明は、請求項１記載の撮像装置であって、前記ゲイン制御抑制量は５０％〜９５％であることを特徴とする。
【００１１】
請求項２記載の撮像装置によれば、ゲイン制御抑制量はビットシフトで実現することが比較的容易な値とされていることから、ビットシフトを利用してゲイン制御抑制量を乗算するのと同様の処理を行うことが容易となる。
【００１２】
請求項３記載の発明は、請求項１又は請求項２記載の撮像装置であって、前記目標出力算出部はビットシフトによりゲイン制御抑制量を乗算するのと同様の処理を行って前記目標出力値を導出することを特徴とする。
【００１３】
請求項３記載の撮像装置によれば、ビットシフトにより、演算を行うことなく容易に目標出力値を導出することが可能となる。
【００１４】
請求項４記載の発明は、請求項１〜請求項３いずれか一項に記載の撮像装置であって、前記ゲイン制御値算出部は基準波長信号の平均値を他の波長信号の前記目標出力値で除算することにより波長信号ごとにゲイン制御値を算出することを特徴とする。
【００１５】
請求項４記載の撮像装置によれば、ホワイトバランス処理のためのゲイン制御値を算出することが可能となる。
【００１６】
請求項５記載の発明は、請求項１〜請求項３いずれか一項に記載の撮像装置であって、前記ゲイン制御値算出部は前記目標出力値の入力により前記ゲイン制御値を導出するルックアップテーブルを備えることを特徴とする。
【００１７】
請求項５記載の撮像装置によれば、ルックアップテーブルにより簡易かつ正確にゲイン制御値を導出することが可能となる。
【００１８】
請求項６記載の発明は、請求項１〜請求項５いずれか一項に記載の撮像装置であって、前記ＡＷＢ処理部は前記撮像素子の出力信号を波長信号ごとに積算するデータサンプル部を備えることを特徴とする。
【００１９】
請求項６記載の撮像装置によれば、ゲイン制御値を算出するための各波長信号のデータサンプルを得ることが可能となる。
【００２０】
請求項７記載の発明は、請求項６記載の撮像装置であって、前記ＡＷＢ処理部は前記データサンプル部から出力された各波長信号の積算値に基づいて各波長信号の平均値を導出する平均値導出部を備え、前記目標出力算出部は前記各波長信号の平均値を用いて各波長信号の差を算出することを特徴とする。
【００２１】
請求項７記載の撮像装置によれば、ゲイン制御値を算出するための各波長信号の差を算出することが可能となる。
【００２２】
請求項８記載の発明は、請求項１〜請求項７いずれか一項に記載の撮像装置であって、前記ＡＷＢ処理部よりも前段に前記撮像素子の出力信号を一つの変換特性により統一的に変換された状態に変換する特性変換部を備えることを特徴とする。
【００２３】
請求項８記載の撮像装置によれば、撮像素子の出力信号を一つの変換特性に変換する際は線形化誤差などの特性変換誤差が生じ得るが、上記と同様に、ゲイン制御値の変動の抑制により、特性変換誤差に起因する色バランスの微変動を防止して精度の高いホワイトバランス処理を行うことが可能となる。
【００２４】
請求項９記載の発明は、請求項８記載の撮像装置であって、前記ＡＷＢ処理部よりも前段に前記特性変換部の出力信号のうち少なくとも一つの階調領域を圧縮する圧縮部を備えることを特徴とする。
【００２５】
請求項９記載の撮像装置によれば、出力信号の所定の階調領域を圧縮する際は圧縮化誤差が生じ得るが、上記と同様に、ゲイン制御値の変動の抑制により、圧縮化誤差に起因する色バランスの微変動を防止して精度の高いホワイトバランス処理を行うことが可能となる。
【００２６】
請求項１０記載の発明は、請求項９記載の撮像装置であって、前記ＡＷＢ処理部は前記圧縮部により圧縮された出力信号の階調領域を伸長する伸長部を備えることを特徴とする。
【００２７】
請求項１０記載の撮像装置によれば、ＡＷＢ処理部は圧縮された出力信号の階調領域を伸長する伸長部を備えることから、伸長部により伸長された出力信号を用いてホワイトバランス処理を行うことが可能となる。
【００２８】
請求項１１記載の発明は、請求項１〜請求項１０いずれか一項に記載の撮像装置であって、前記複数の画素は入射光を電気信号に線形変換する線形変換特性と入射光を電気信号に対数変換する対数変換特性とを入射光量に応じて切り換え可能に構成されていることを特徴とする。
【００２９】
請求項１１記載の撮像装置によれば、撮像素子としてリニアログ変換型センサを備えた撮像装置において上記と同様の作用を得ることが可能となる。
【発明の効果】
【００３０】
請求項１記載の発明によれば、回路を複雑化又は回路コストを増加させることなく、色バランスの微変動を防止して精度の高いホワイトバランス処理を行うことにより、自然な出力画像を得ることが可能となる。
【００３１】
請求項２記載の発明によれば、ビットシフトを利用してゲイン制御抑制量を乗算するのと同様の処理を行うことが容易となる。
【００３２】
請求項３記載の発明によれば、演算を行うことなく容易に目標出力値を導出することが可能となる。
【００３３】
請求項４記載の発明によれば、ホワイトバランス処理のためのゲイン制御値を算出することが可能となる。
【００３４】
請求項５記載の発明によれば、簡易かつ正確にゲイン制御値を導出することが可能となる。
【００３５】
請求項６記載の発明によれば、ゲイン制御値を算出するための各波長信号のデータサンプルを得ることが可能となる。
【００３６】
請求項７記載の発明によれば、ゲイン制御値を算出するための各波長信号の差を算出することが可能となる。
【００３７】
請求項８記載の発明によれば、特性変換誤差に起因する色バランスの微変動を防止して精度の高いホワイトバランス処理を行うことが可能となる。
【００３８】
請求項９記載の発明によれば、圧縮化誤差に起因する色バランスの微変動を防止して精度の高いホワイトバランス処理を行うことが可能となる。
【００３９】
請求項１０記載の発明によれば、伸長された出力信号を用いてホワイトバランス処理を行うことが可能となる。
【００４０】
請求項１１記載の発明によれば、撮像素子としてリニアログ変換型センサを備えた撮像装置において上記と同様の効果を得ることが可能となる。
【発明を実施するための最良の形態】
【００４１】
以下、図面を用いて本発明の実施形態について説明する。
【００４２】
図１に、本実施形態に係る撮像装置１の機能的構成を示す。
【００４３】
図１に示すように、撮像装置１は、撮像調整手段２を介して入射光を受光する撮像素子３を備えている。撮像調整手段２には、例えばレンズ群４、シャッタ５及び絞り６が備えられている。
【００４４】
レンズ群４は、例えばフォーカシングレンズやズームレンズなど、従来から公知のレンズによって構成されている。シャッタ５は、公知のシャッタ機構を用いることができる。絞り６は、複数枚の板により構成され、これらの板を用いて撮像素子の感光部にあたる光の量を調整するようになっている。
【００４５】
撮像素子３は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）が用いられ、レンズ群４を透過して結像された被写体光を光電変換するようになっている。撮像素子３は、行列配置（マトリクス配置）された複数の画素を有している。
【００４６】
ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が連続的に変化するようになっている。本実施形態の撮像素子３は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサとして構成されている。
【００４７】
図２（a）に示すように、本実施形態の撮像素子３において、各画素は、所定入射光量ｔｈ未満の入射光量に対しては線形変換動作を、所定入射光量ｔｈ以上の入射光量に対しては対数変換動作を行うようになっている。
【００４８】
また、撮像素子３には画素ごとに異なる波長特性のフィルタが備えられている。本実施形態では、画素の表面に図示しないＲＧＢカラーフィルタが配設され、画素ごとに赤色、緑色又は青色のいずれかの一色のフィルタが備えられている。また、画素の表面にＹＭＣＫカラーフィルタを配設することとしてもよい。
【００４９】
以上の撮像素子３には、図１に示すように、アンプ７及びＡＤコンバータ８を介して、黒基準補正部９、信号処理部１０及び画像処理部１１がこの順に接続されている。また、信号処理部１０にはシステム制御部１２が接続されている。
【００５０】
アンプ７は、従来から公知のものが用いられるようになっており、撮像素子３により光電変換された信号を増幅するようになっている。
【００５１】
ＡＤコンバータ８は、アンプ７において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。図２（ａ）に示すように、本実施形態のＡＤコンバータ８から出力されるデジタル信号は１２ビットとなっている。なお、ＡＤコンバータ８から出力されるデジタル信号の大きさを１２ビットとすることは一例であり、これに限定されるものではない。
【００５２】
黒基準補正部９は、撮像素子３に設けられた光学的に遮光された光学的黒画素（オプティカルブラック画素）領域から得られる黒基準の基準値に基づき、画像信号における黒基準の基準値を補正、すなわちデジタル信号の最低レベルを補正するようになっている。
【００５３】
信号処理部１０は、撮像素子３の各画素からの電気信号に対して信号処理を行うものであり、線形変換部１３、圧縮部１４及びＡＥ処理部１５を備えて構成されている。このうち圧縮部１４には画像処理部１１が接続され、ＡＥ処理部１５にはシステム制御部１２が接続されている。
【００５４】
線形変換部１３は、図２（a）に矢印Ｚで示すように、撮像素子３から出力される電気信号のうち、対数変換によって生成された電気信号を入射光が線形変換された状態に変換するものである。なお、線形変換部１３はルックアップテーブルを用いて変換を行うこととしてもよいし、指数変換するなどの演算によって変換を行うこととしてもよい。また、本実施形態においては、線形変換部１３で処理された電気信号は全２４ビットとなっている。
【００５５】
圧縮部１４は、図２（a）に矢印Ｗで示すように、線形変換部１３から出力される電気信号のうち、少なくとも一つの階調領域を圧縮して、画像処理部１１に出力するようになっている。本実施形態の圧縮部１４は、電気信号をビットシフトにより１／２8倍するようになっている。また、いかなる領域の成分を圧縮について制限は無く、本実施形態ではＡＤコンバータ８のビット幅以上の高域成分を圧縮するようになっている。
【００５６】
ＡＥ処理部１５は、ＡＥ（自動露出）のために必要な評価値を検出してシステム制御部１２に出力するようになっている。
【００５７】
画像処理部１１は、圧縮部１４で圧縮された電気信号に対して画像処理を行うものであり、ＡＷＢ（Auto White Balance）処理部１６、色補間部１７、色補正部１８、階調変換部１９及び色空間変換部２０を備えている。これらＡＷＢ処理部１６、色補間部１７、色補正部１８、階調変換部１９及び色空間変換部２０は、信号処理部１０に対してこの順に接続されている。
【００５８】
ＡＷＢ処理部１６は、画像データに対してホワイトバランス処理を行うものであり、図３に示すように伸長部２１、デジタルゲイン演算部２２、ＲＧＢデータサンプル部２３、ＲＧＢ平均値算出部２４、ゲイン制御抑制量記憶部２５、目標出力算出部２６、ゲイン制御値算出部２７及び圧縮部２８を備えて構成されている。
【００５９】
伸長部２１は、図４及び図５の矢印（ａ）に示すように、圧縮部１４によって圧縮された高域成分を伸長して圧縮前の状態に戻し、デジタルゲイン演算部２２に出力するようになっている。なお、図４はゲイン制御値を１．３（ゲイン制御値＞１）とした例であり、図５はゲイン制御値を０．７（ゲイン制御値＜１）とした例である。
【００６０】
デジタルゲイン演算部２２は、図４及び図５の矢印（ｂ）に示すように、伸長部２１により伸長された出力信号に対し、ゲイン初期値又はゲイン制御値算出部２７が算出したゲイン制御値により、波長信号ごとにデジタルゲイン演算を行うようになっている。デジタルゲイン演算とは、Ｒ，Ｂ信号の各々に対してゲイン初期値又はゲイン制御値を乗算する演算処理をいう。なお、Ｇ信号は基準信号としてデジタルゲイン演算を行わないようになっている。
【００６１】
ＲＧＢデータサンプル部２３は、ゲイン初期値によりデジタルゲイン演算された電気信号について、フレームごとに各波長（Ｒ，Ｇ，Ｂ）のデータを積算し、Ｒ信号、Ｇ信号及びＢ信号の各々の総和を求めるようになっている。すなわち、Ｒ，Ｇ，Ｂ信号の各々の総和をＲＳ，ＧＳ，ＢＳとし、Ｒ，Ｇ，Ｂの画素数をそれぞれｎｒ，ｎｇ，ｎｂとすると、各フレームについてＲＳ＝ΣＲｎｒ、ＧＳ＝ΣＧｎｇ、ＢＳ＝ΣＢｎｂを算出するようになっている。
【００６２】
ＲＧＢ平均値算出部２４は、Ｒ，Ｇ，Ｂ信号の各々の総和をＲ，Ｇ，Ｂの画素数ｎｒ，ｎｇ，ｎｂでそれぞれ除算することにより、Ｒ，Ｇ，Ｂ信号の各々の平均値を求めるようになっている。すなわち、Ｒ，Ｇ，Ｂ信号の各々の平均値をＲａ，Ｇａ，Ｂａとすると、Ｒａ＝ＲＳ／ｎｒ、Ｇａ＝ＧＳ／ｎｇ、Ｂａ＝ＢＳ／ｎｂを算出するようになっている。例えば、Ｒ，Ｇ，Ｂ信号の各々の総和がそれぞれＲＳ＝１００００、ＧＳ＝４００００、ＢＳ＝４００００、Ｒ，Ｇ，Ｂの画素数がそれぞれｎｒ＝１００、ｎｇ＝２００、ｎｂ＝１００であったとすると、Ｒ，Ｇ，Ｂ信号の平均値はＲａ＝１００、Ｇａ＝２００、Ｂａ＝４００となる。
【００６３】
ゲイン制御抑制量記憶部２５は、半導体メモリなどからなる記憶用のメモリを備えており、ゲイン制御抑制量を記憶するようになっている。ゲイン制御抑制量とは、Ｇ信号の平均値に対してＲ信号又はＢ信号の平均値をデジタルゲインする割合を与える係数である。本実施形態では５０％〜９５％の範囲でゲイン制御抑制量を設定することが可能となっている。すなわち、ゲイン制御抑制量はビットシフトで実現することが比較的容易な値とされている。
【００６４】
目標出力算出部２６は、Ｇ信号の平均値を基準として、Ｇ信号の平均値とＲ信号又はＢ信号の平均値との差にゲイン制御抑制量を乗算した値に、Ｒ信号又はＢ信号の平均値を加算することにより、Ｒ，Ｂ信号の各々の目標出力値（ＲO，ＢO）を求めるようになっている。すなわち、ゲイン制御抑制量をｋとすると、ＲO＝（Ｇａ−Ｒａ）×ｋ＋Ｒａ、ＢO＝（Ｇａ−Ｂａ）×ｋ＋Ｂａを算出するようになっている。上記の例では、ゲイン制御抑制量がｋ＝５０％と設定されていた場合、ＲO＝（２００−１００）×０．５＋１００＝１５０、ＢO＝（２００−４００）×０．５＋４００＝３００となる。なお、Ｇ信号は基準信号として目標出力値の算出は行わない。
【００６５】
なお、目標出力算出部２６は、ビットシフトによってゲイン制御抑制量を乗算するのと同様の処理を行うことにより、基準波長信号と他の波長信号との差から目標出力値を導出する構成としてもよい。
【００６６】
ゲイン制御値算出部２７は、Ｇ信号の平均値をＲ，Ｂ信号の各々の目標出力値で除算することにより、Ｒ，Ｂ信号の各々のゲイン制御値（Ｒｇ，Ｂｇ）を算出するようになっている。すなわち、Ｒｇ＝Ｇａ／ＲO、Ｂｇ＝Ｇａ／ＢOを算出するようになっている。上記の例では、Ｒｇ＝２００／１５０≒１．３、Ｂｇ＝２００／３００≒０．７となる。
【００６７】
なお、ゲイン制御値算出部２７は、Ｒ，Ｂ信号の各々の目標出力値とＲ，Ｂ信号の各々のゲイン制御値（Ｒｇ，Ｂｇ）とを対応付けたルックアップテーブルを備え、目標出力値の入力によりゲイン制御値を導出する構成としてもよい。
【００６８】
こうしてゲイン制御値算出部２７が算出したゲイン制御値（Ｒｇ，Ｂｇ）をデジタルゲイン演算部２２に出力すると、デジタルゲイン演算部２２は算出されたゲイン制御値（Ｒｇ，Ｂｇ）を用いてデジタルゲイン演算を行う。すなわち、Ｒ＝Ｒ×Ｒｇ、Ｇ＝Ｇ、Ｂ＝Ｂ×Ｂｇという演算処理がなされる。
【００６９】
このように、ゲイン制御抑制量によりゲイン制御値（Ｒｇ，Ｂｇ）の変動を抑制しながらホワイトバランス処理を繰り返すと、ゲイン制御抑制量を乗算することなくホワイトバランス処理を繰り返す場合と比較して、Ｒ，Ｇ，Ｂの色バランスは緩やかに推移して目標とするホワイトバランスに近づく。
【００７０】
例えば、図６は、ゲイン制御抑制量を用いずにホワイトバランス処理を行った場合の信号出力値の推移を示すグラフである。図６に示すように、ゲイン制御抑制量を用いない場合は、演算量子化誤差に起因するゲイン値の誤差により、Ｒ，Ｇ，Ｂの色バランスがくずれ、目標とするホワイトバランスに近づくと色バランスの微変動が起こる。
【００７１】
特に、本実施形態では撮像素子３としてリニアログ変換型センサを使用することから、量子化誤差のみならず、線形変換部１３又は圧縮部１４においてルックアップテーブルやビットシフトを使用した場合の線形化誤差又は圧縮化誤差が色バランスの微変動の要因となる。
【００７２】
一方、図７は、ゲイン制御抑制量を用いてホワイトバランス処理を行った場合の信号出力値の推移を示すグラフである。上述のように、ゲイン制御抑制量を乗算してゲイン制御値（Ｒｇ，Ｂｇ）の変動を抑制することにより、Ｒ，Ｇ，Ｂの色バランスは緩やかに推移して目標とするホワイトバランスに近づく。
【００７３】
なお、動画を撮影する場合は、上記の制御を動画に対して繰返し行うことにより、輝度ばらつきのない撮影画像を得ることが可能である。
【００７４】
圧縮部２８は、図４及び図５の矢印（ｃ）に示すように、デジタルゲイン演算部２２から出力される電気信号のうち、所定の信号値域に対応する所定域成分を圧縮して、色補間部１７に出力するようになっている。
【００７５】
次に、色補間部１７は、同色の前記フィルタが設けられた複数の近接画素からの電気信号に基づき、これら近接画素間に位置する画素について、この色の電気信号を補間演算するようになっている。
【００７６】
色補正部１８は画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素毎に補正するものである。
【００７７】
階調変換部１９は画像データの階調変換を行うものである。
【００７８】
色空間変換部２０はＲＧＢ信号をＹＣｂＣｒ信号に変換するものである。
【００７９】
次に、システム制御部１２は、撮像装置１の各部を制御するものであり、図１に示すように、上述のアンプ７、ＡＤコンバータ８、黒基準補正部９、信号処理部１０及び画像処理部１１が電気的に接続されている。
【００８０】
また、システム制御部１２には、露光処理制御部２９を介して撮像調整手段２及び撮像素子３が接続されている。
【００８１】
露光処理制御部２９は、ズーム制御機構、フォーカス制御機構、シャッタ制御機構及び絞り制御機構などにより構成され、ズーム位置検出信号やフォーカス位置検出信号及びＡＥ処理部１５の出力信号などのフィードバックを受けながらシステム制御部１２からの制御信号により撮像調整手段２を制御するようになっている。
【００８２】
また、システム制御部１２には、撮像装置１の操作を行うための操作部３０、撮影した画像データを記憶させるためのメモリカード３１を接続させるためのメモリカードＩ／Ｆ３２及び撮影した画像データを表示するＬＣＤ（Liquid Crystal Display）３３を接続するためのＬＣＤＩ／Ｆ３４が接続されている。
【００８３】
次に、本実施形態の作用について説明する。以下の説明においては、撮像素子３の画素への入射光量が前記所定入射光量ｔｈよりも大きく、撮像素子３が対数変換動作で動作することとして説明する。
【００８４】
また、以下は静止画を撮影する際のプレビュー撮影を行う場合について説明するが、動画を撮影する場合は以下の制御を各フレームに対して繰返し行うことにより、静止画の場合と同様の作用効果を得ることができる。
【００８５】
まず、ユーザは操作部３０の操作により、５０％〜９５％の範囲でゲイン制御抑制量を設定する。その後、操作部３０を操作して被写体の撮影を行う。
【００８６】
撮影が開始されると、撮像素子３は所定の入射光量ｔｈ未満の入射光量に対して線形変換動作による光電変換を行い、所定の入射光量ｔｈ以上の入射光量に対して対数変換動作による光電変換を行う。続いて、撮像素子３からの出力信号をアンプ７が増幅し、アンプ７からの出力信号をＡＤコンバータ８がデジタル変換すると、黒基準補正部９が電気信号の最低レベルの設定を行い、信号処理部１０に出力する。
【００８７】
次に、信号処理部１０の線形変換部１３は対数変換によって生成された電気信号を線形変換された状態に変換し、圧縮部１４は所定の信号値域に対応する所定域成分を圧縮してＡＥ処理部１５及び画像処理部１１に出力する。
【００８８】
続いて、ＡＥ処理部１５はＡＥ（自動露出）のために必要な評価値を検出してシステム制御部１２に出力する。
【００８９】
一方、画像処理部１１のＡＷＢ処理部１６は、画像データに対してホワイトバランス処理を行う。すなわち、まず伸長部２１は、図４及び図５の矢印（ａ）に示すように、圧縮部１４によって圧縮された前記高域成分を伸長して圧縮前の状態に戻し、デジタルゲイン演算部２２に出力する。
【００９０】
次に、デジタルゲイン演算部２２は、ゲイン初期値により波長信号ごとにデジタルゲイン演算し、演算結果をＲＧＢデータサンプル部２３に出力する。
【００９１】
続いて、ＲＧＢデータサンプル部２３は、フレームごとに各波長（Ｒ，Ｇ，Ｂ）のデータを積算し、Ｒ信号、Ｇ信号及びＢ信号の各々の総和を求める。すなわち、各フレームについてＲＳ＝ΣＲｎｒ、ＧＳ＝ΣＧｎｇ、ＢＳ＝ΣＢｎｂを算出する。
【００９２】
続いて、ＲＧＢ平均値算出部２４は、Ｒ，Ｇ，Ｂ信号の各々の総和をＲ，Ｇ，Ｂの画素数ｎｒ，ｎｇ，ｎｂでそれぞれ除算することにより、Ｒ，Ｇ，Ｂ信号の各々の平均値を求める。すなわち、Ｒａ＝ＲＳ／ｎｒ、Ｇａ＝ＧＳ／ｎｇ、Ｂａ＝ＢＳ／ｎｂを算出する。
【００９３】
続いて、目標出力算出部２６は、Ｇ信号の平均値を基準として、Ｇ信号の平均値とＲ信号又はＢ信号の平均値との差にゲイン制御抑制量ｋを乗算した値にＲ信号又はＢ信号の平均値を加算することにより、Ｒ，Ｂ信号の各々の目標出力値（ＲO，ＢO）を求める。すなわち、ＲO＝（Ｇａ−Ｒａ）×ｋ＋Ｒａ、ＢO＝（Ｇａ−Ｂａ）×ｋ＋Ｂａを算出する。なお、ビットシフトによりゲイン制御抑制量を乗算するのと同様の処理を行ってもよい。
【００９４】
続いて、ゲイン制御値算出部２７は、Ｇ信号の平均値をＲ，Ｂ信号の各々の目標出力値で除算することにより、Ｒ，Ｂ信号の各々のゲイン制御値（Ｒｇ，Ｂｇ）を算出する。すなわち、Ｒｇ＝Ｇａ／ＲO、Ｂｇ＝Ｇａ／ＢOを算出する。
【００９５】
こうしてゲイン制御値算出部２７が算出したゲイン制御値（Ｒｇ，Ｂｇ）を次のフレームでデジタルゲイン演算部２２に出力すると、デジタルゲイン演算部２２は、図４及び図５の矢印（ｂ）に示すように、算出されたゲイン制御値（Ｒｇ，Ｂｇ）を用いて波長信号ごとにデジタルゲイン演算を行う。すなわち、Ｒ＝Ｒ×Ｒｇ、Ｇ＝Ｇ、Ｂ＝Ｂ×Ｂｇを演算して、演算結果を圧縮部２８に出力する。
【００９６】
続いて、圧縮部２８は、図４及び図５の矢印（ｃ）に示すように、デジタルゲイン演算部２２から出力される電気信号のうち、所定の信号値域に対応する所定域成分を圧縮して、色補間部１７に出力する。ＡＷＢ処理部１６が以上の処理を撮像素子３の出力信号に繰り返すことにより、色バランスの微変動を防止して良好なホワイトバランス処理を行うことができる。
【００９７】
次に、色補間部１７、色補正部１８、階調変換部１９及び色空間変換部２０がそれぞれ画像処理を行った後、画像データを出力する。
【００９８】
以上のように本実施形態の撮像装置１によれば、ゲイン制御抑制量を用いてゲイン制御値の変動を抑制することにより、ゲイン制御抑制量を用いない場合と比較して、各波長信号の色バランスを緩やかに推移させて目標とするホワイトバランスに近づけることが可能となる。すなわち、ホワイトバランス処理を繰り返すと、演算量子化誤差に起因するゲイン値の誤差により、各波長信号の色バランスがくずれ、目標とするホワイトバランス付近で色バランスの微変動が起こるが、ゲイン制御抑制量を用いてゲイン制御値の変動を抑制することにより、色バランスの微変動を防止して精度の高いホワイトバランス処理を行うことが可能となる。
【００９９】
また、ゲイン制御抑制量はビットシフトで実現することが比較的容易な値とされていることから、ビットシフトを利用してゲイン制御抑制量を乗算するのと同様の処理を行うことが容易となる。
【０１００】
また、ビットシフトにより、演算を行うことなく容易に目標出力値を導出することが可能となる。
【０１０１】
また、ホワイトバランス処理のためのゲイン制御値を算出することが可能となる。
【０１０２】
また、ルックアップテーブルにより簡易かつ正確にゲイン制御値を導出することが可能となる。
【０１０３】
また、ゲイン制御値を算出するための各波長信号のデータサンプルを得ることが可能となる。
【０１０４】
また、ゲイン制御値を算出するための各波長信号の差を算出することが可能となる。
【０１０５】
また、撮像素子３の出力信号を一つの変換特性に変換する際は線形化誤差などの特性変換誤差が生じ得るが、上記と同様に、ゲイン制御値の変動の抑制により、特性変換誤差に起因する色バランスの微変動を防止して精度の高いホワイトバランス処理を行うことが可能となる。
【０１０６】
また、出力信号の所定の階調領域を圧縮する際は圧縮化誤差が生じ得るが、上記と同様に、ゲイン制御値の変動の抑制により、圧縮化誤差に起因する色バランスの微変動を防止して精度の高いホワイトバランス処理を行うことが可能となる。
【０１０７】
また、ＡＷＢ処理部１６は圧縮された出力信号の階調領域を伸長する伸長部２１を備えることから、伸長部２１により伸長された出力信号を用いてホワイトバランス処理を行うことが可能となる。
【０１０８】
また、撮像素子３としてリニアログ変換型センサを備えた撮像装置１において上記と同様の作用を得ることが可能となる。
【０１０９】
なお、本実施形態では、ＡＤコンバータ８、線形変換部１３及び圧縮部１４がこの順に配設されたものとして説明したが、他の順序としてもよい。例えば、圧縮部１４、線形変換部１３及びＡＤコンバータ８がこの順に配設された場合は、上述の圧縮工程、線形化工程及びＡＤ変換工程がこの順に行われることとなる。
【０１１０】
また、信号処理部１０の圧縮部１４によって圧縮される所定域成分をＡＤコンバータ８のビット幅以上の成分、すなわち上位１２ビットの高域成分として説明したが、図２（ｂ）に示すように、前記所定入射光量ｔｈに対応する信号値以上の高域成分としてもよい。また、この所定域成分を、所定の低域成分や中域成分としてもよい。
【０１１１】
以上詳細に説明したように、本発明の撮像装置によれば、回路を複雑化又は回路コストを増加させることなく、簡易な処理で色バランスの微変動を防止して、精度の高いホワイトバランス処理を行うことが可能となる。
【図面の簡単な説明】
【０１１２】
【図１】本実施形態に係る撮像装置の全体構成を示すブロック図である。
【図２】本実施形態に係る撮像素子の出力信号を示すグラフである。
【図３】本実施形態に係るＡＷＢ処理部の構成を示すブロック図である。
【図４】本実施形態に係るＡＷＢ処理部の伸長及び圧縮処理の一例を示すグラフである。
【図５】本実施形態に係るＡＷＢ処理部の伸長及び圧縮処理の他の例を示すグラフである。
【図６】ゲイン制御抑制量を用いない場合の出力信号の変移を示すグラフである。
【図７】ゲイン制御抑制量を用いた場合の出力信号の変移を示すグラフである。
【符号の説明】
【０１１３】
１  撮像装置
２  撮像調整手段
３  撮像素子
４  レンズ群
５  シャッタ
６  絞り
７  アンプ
８  コンバータ
９  黒基準補正部
１０  信号処理部
１１  画像処理部
１２  システム制御部
１３  線形変換部
１４  圧縮部
１５  ＡＥ処理部
１６  ＡＷＢ処理部
１７  色補間部
１８  色補正部
１９  階調変換部
２０  色空間変換部
２１  伸長部
２２  デジタルゲイン演算部
２３  データサンプル部
２４  平均値算出部
２５  ゲイン制御抑制量記憶部
２６  目標出力算出部
２７  ゲイン制御値算出部
２８  圧縮部
２９  露光処理制御部
３０  操作部
３１  メモリカード
３２  メモリカードＩ／Ｆ
３３  ＬＣＤ
３４  ＬＣＤＩ／Ｆ
【図１】
2007312109.tif 000003
【図２】
2007312109.tif 000004
【図３】
2007312109.tif 000005
【図４】
2007312109.tif 000006
【図５】
2007312109.tif 000007
【図６】
2007312109.tif 000008
【図７】
2007312109.tif 000009