(57)【要約】【課題】感度の異なる複数の画素を備えた固体撮像素子を使用する撮像装置において、ホワイトバランス制御を適切に実施可能とし、色再現性に優れた撮影画像を得る。【解決手段】１つの画素に高感度用の主画素と低感度用の副画素とを有してなる撮像素子を用いた撮像装置において、カスタムホワイトバランス制御を行う場合、撮像素子の主画素と副画素それぞれについてＲ、Ｇ、Ｂの各色信号を積算し（Ｓ１２）、得られた積算値を基に主画素と副画素それぞれに対応するホワイトバランス調整用ゲイン値を算出し（Ｓ１４，Ｓ１６）、メモリに書き込み保持する（Ｓ１７）。カスタムホワイトバランス制御による撮影を行う場合は、メモリに保持されたホワイトバランス調整用ゲイン値を用いて、主画素と副画素別々にホワイトバランス調整を行った後、両画像信号を合成して１枚の画像を得る。【選択図】  図３
2004221740.tif 000002
【特許請求の範囲】
【請求項１】
感度の異なる複数の画素を有してなる撮像素子を備えた撮像装置であって、
被写体を撮影して得られた前記撮像素子からの画像信号に基づき、前記複数の画素のそれぞれにおいてホワイトバランス調整用の制御値を算出するホワイトバランス制御値算出手段と、
前記制御値を用いて、前記撮像素子の複数の画素によって得られたそれぞれの画像信号についてホワイトバランス調整を行うホワイトバランス調整手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記撮像素子は、前記複数の画素として、高感度の主画素と低感度の副画素とを有して構成されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ホワイトバランス制御値算出手段は、前記主画素に対応するホワイトバランス調整用の第１制御値と前記副画素に対応するホワイトバランス調整用の第２制御値とを算出するものであり、
前記第１制御値及び前記第２制御値を記憶する記憶手段を備えたことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記ホワイトバランス調整手段は、前記記憶手段に記憶された前記第１制御値及び前記第２制御値を用いて、前記主画素による画像信号のホワイトバランス調整と前記副画素による画像信号のホワイトバランス調整とを行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
感度の異なる複数の画素を有してなる撮像素子を備えた撮像装置のホワイトバランス制御方法であって、
被写体を撮影して得られた前記撮像素子からの画像信号に基づき、前記複数の画素のそれぞれにおいてホワイトバランス調整用の制御値を算出するステップと、
前記制御値を用いて、前記撮像素子の複数の画素によって得られたそれぞれの画像信号についてホワイトバランス調整を行うステップと、
を有することを特徴とするホワイトバランス制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、特に、感度の異なる複数の画素を備えた撮像素子を使用する撮像装置のホワイトバランス制御に関する。
【０００２】
【従来の技術】
デジタルスチルカメラ等の撮像装置では、被写体に忠実な色再現を可能にするホワイトバランス制御が行われる。一般的なホワイトバランス制御は、取り込んだ画像におけるＲ、Ｇ、Ｂ３色の色情報のうち、Ｇの色成分を基準として各色が等しいレベルとなるようにＲ、Ｂの色成分のゲインを調整している。
【０００３】
撮像装置に搭載するホワイトバランス制御の機能としては、装置が所定の制御手順に従って撮影シーン判別等を行って自動的にホワイトバランス調整を行うオートホワイトバランスの他に、使用者が意図的に特定のホワイトバランス調整を行うためのいわゆるカスタムホワイトバランスがある。カスタムホワイトバランスは、白い紙などの被写体を撮影しながら例えばボタンを押すなどの特定の操作を行うことで、その被写体画像のＲＧＢ３色のレベルが等しくなるようにゲインを制御してホワイトバランスをとるものである。このカスタムホワイトバランスによれば、特定の光源下などの撮影条件に応じて適切なホワイトバランス制御が可能となる。
【０００４】
ホワイトバランス制御の従来例としては、取り込んだ画像のＲＧＢ３色の色情報の各平均値を算出するとともに、この算出した各平均値が等しくなるようにＧの色情報に対するＲ、Ｂの各色情報のゲインを算出し、さらに算出した各色情報のゲインと先行して算出されている各色情報のゲインとを比較して、この比較結果がほぼ同一である場合に前記算出した各平均値及び各色情報のゲインに基づき取り込んだ画像のホワイトバランスを変更することによって、画像の不適切な色変化を防止するようにしたものがある（例えば、特許文献１参照）。
【０００５】
また、所定の操作手段を操作することによりストロボを発光させ、このストロボ発光する第１のタイミング以降の第２のタイミングにおいて被写体の撮像信号を得て、得られた撮像信号に基づいてホワイトバランス調整を行うことにより、ストロボ撮影時でも現実の光源の色温度に対応したホワイトバランスの設定を可能にしたものがある（例えば、特許文献２参照）。
【０００６】
図４は、上述したカスタムホワイトバランス制御を行う際のゲイン設定処理の一例を示すフローチャートである。まず、ボタン操作等によりカスタムホワイトバランス設定の開始を指示し、撮影シーケンスを実行して撮像信号の取り込みを行う（ステップＳ３１）。次いで、得られた撮像信号におけるＲＧＢ３色の各色成分について積算値を算出し（ステップＳ３２）、積算値が規定の信号レベルの範囲内にあるかどうかの判定を行う（ステップＳ３３）。ここで、積算値が所定のレベル範囲内にあれば、ＲＧＢ３色の各色成分の信号レベルが等しくなるようにホワイトバランス調整用のゲイン値を計算して（ステップＳ３４）、算出した各色のゲイン値をカスタムホワイトバランス用のゲイン値としてメモリに書き込む（ステップＳ３５）。また、前記積算値が所定のレベルの範囲外にある場合は、ホワイトバランスを「晴れポジション」に設定し（ステップＳ３６）、エラー表示を行う（ステップＳ３７）。
【０００７】
このように設定したカスタムホワイトバランスによる撮影を行う場合は、撮影シーケンスにより得られた撮像信号に対して、メモリに保持してあるカスタムホワイトバランス用のゲイン値によってホワイトバランス調整を行う。
【０００８】
【特許文献１】
特開平９−２９４２７３号公報（第３−４頁、図２）
【特許文献２】
特開平５−１１１０４５号公報（第３−５頁、図１）
【０００９】
【発明が解決しようとする課題】
例えば、デジタルスチルカメラ等の撮像装置において、固体撮像素子に高感度画素と低感度画素の両方を搭載し、高感度画素で撮像した高感度画像と低感度画素で撮像した低感度画像とを合成処理して１枚の画像データとして出力することにより、広ダイナミックレンジ化を図るようにした場合を考える。このような撮像装置では、高感度画素と低感度画素とで分光感度特性が異なる場合があり、同じ撮影条件で撮像したにも拘わらず、高感度画素と低感度画素との間でＲ、Ｇ、Ｂの各色成分の出力信号レベル比が異なることがある。このため、上記カスタムホワイトバランス制御を実行する際に、高感度画素の出力と低感度画素の出力とを合成した場合の画像信号の色バランスが崩れた状態になってしまうおそれがある。
【００１０】
本発明は、上記課題を解決するためになされたもので、その目的は、感度の異なる複数の画素を備えた撮像素子を使用する撮像装置において、ホワイトバランス制御を適切に実施でき、色再現性に優れた撮影画像を得ることが可能な撮像装置及びそのホワイトバランス制御方法を提供することにある。
【００１１】
【課題を解決するための手段】
本発明に係る撮像装置は、感度の異なる複数の画素を有してなる撮像素子を備えた撮像装置であって、被写体を撮影して得られた前記撮像素子からの画像信号に基づき、前記複数の画素のそれぞれにおいてホワイトバランス調整用の制御値を算出するホワイトバランス制御値算出手段と、前記制御値を用いて、前記撮像素子の複数の画素によって得られたそれぞれの画像信号についてホワイトバランス調整を行うホワイトバランス調整手段と、を備えたことを特徴とする。
【００１２】
上記構成において、感度の異なる複数の画素それぞれにおいて別々に制御値を算出し、ホワイトバランス調整を行うことによって、色バランスに優れた撮影画像を得ることが可能となる。
【００１３】
また、本発明の一態様として、前記撮像素子は、前記複数の画素として、高感度の主画素と低感度の副画素とを有して構成されるものとする。
【００１４】
上記構成では、高感度の主画素と低感度の副画素とを有する撮像素子によって広ダイナミックレンジを図る場合に、ホワイトバランス制御を最適化して色再現性を良くすることができるため、ダイナミックレンジが広くかつ色再現性に優れた撮影画像を得ることが可能となる。
【００１５】
また、本発明の一態様として、前記ホワイトバランス制御値算出手段は、前記主画素に対応するホワイトバランス調整用の第１制御値と前記副画素に対応するホワイトバランス調整用の第２制御値とを算出するものであり、前記第１制御値及び前記第２制御値を記憶する記憶手段を備えたものとする。
【００１６】
上記構成では、被写体を撮影した画像より制御値を設定するいわゆるカスタムホワイトバランスを行う場合に、主画素と副画素でそれぞれ制御値を算出して記憶することによって、主画素と副画素においてそれぞれ適切なホワイトバランス調整が可能となる。
【００１７】
また、本発明の一態様として、前記ホワイトバランス調整手段は、前記記憶手段に記憶された前記第１制御値及び前記第２制御値を用いて、前記主画素による画像信号のホワイトバランス調整と前記副画素による画像信号のホワイトバランス調整とを行うものとする。
【００１８】
上記構成では、主画素用の第１制御値と副画素用の第２制御値を用いて主画素と副画素でそれぞれ別々にホワイトバランス調整を行うことにより、適切なホワイトバランス制御が可能となり、色再現性に優れた撮影画像が得られる。
【００１９】
本発明に係るホワイトバランス制御方法は、感度の異なる複数の画素を有してなる撮像素子を備えた撮像装置のホワイトバランス制御方法であって、被写体を撮影して得られた前記撮像素子からの画像信号に基づき、前記複数の画素のそれぞれにおいてホワイトバランス調整用の制御値を算出するステップと、前記制御値を用いて、前記撮像素子の複数の画素によって得られたそれぞれの画像信号についてホワイトバランス調整を行うステップと、を有することを特徴とする。
【００２０】
上記手順において、感度の異なる複数の画素それぞれにおいて別々にホワイトバランス調整を行うことによって、色再現性に優れた撮影画像を得ることが可能となる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１は本発明の実施形態に係る撮像装置の構成を示すブロック図である。本実施形態では、撮像装置の一例としてデジタルスチルカメラの構成例を示す。なお、デジタルスチルカメラに限らず、デジタルビデオカメラ等の他の種類の撮像装置にも本発明を適用可能である。
【００２２】
本実施形態の撮像装置は、ＣＣＤ固体撮像素子等からなる撮像素子１、相関二重サンプリング処理等を行うＣＤＳ回路２、信号増幅を行うアナログ増幅器３、デジタル信号に変換するＡＤ変換器４、各種デジタル画像信号処理を行うデジタル信号処理部５、各部の動作制御や演算処理等を行う中央演算処理装置（ＣＰＵ）６、各種設定値の記憶や画像データの一時記憶等を行うメモリ７、撮像装置の操作入力を行うボタン等を有してなる操作部８、画像データの記録を行う外部メモリ９等を備えて構成されている。
【００２３】
デジタル信号処理部５は、入力画像信号のオフセット補正処理を行うオフセット補正部２１、入力画像信号のＲＧＢの各色信号毎の積算処理を行う積算部２２、画像信号のホワイトバランス調整を行うホワイトバランス調整部（ＷＢ調整部）２３、感度の異なる複数の画素より得られた画像信号の合成を行う合成処理部２４、ＲＧＢの各色信号から輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂの生成を行うＹＣ処理部２５、画像信号をＪＰＥＧ等の所定の圧縮符号化方式に従って圧縮する圧縮処理部２６、圧縮された画像データの外部メモリ９への記録処理を行う記録処理部２７等を有して構成される。
【００２４】
図２は本実施形態で使用する撮像素子１の画素配置構成を示す模式図である。本実施形態では、撮像素子１として各画素の配置を水平及び垂直方向に１／２ピッチずらしたいわゆるハニカム配列のＣＣＤ固体撮像素子を用いるものとする。撮像素子１の画素３０は、例えば特開平１０−１３６３９１号公報に記載されている画素配置をとり、隣り合う行及び列の各画素に対して水平方向及び垂直方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００２５】
そして、各画素３０は、図示する例では、受光面積の４／５程度を占める広い面積の高感度画素（以下、主画素という）３１と、１／５程度を占める狭い面積の低感度画素（以下、副画素という）３２とを有する１つの画素が複数の受光領域に分割された構成となっている。これらの感度の異なる主画素３１と副画素３２とのそれぞれから光電変換されて出力される信号電荷は、互いに区別して上記図示しない垂直転送路に読み出されて転送され、図示しない水平転送路、出力アンプを経て撮像素子１からの撮像信号として出力される。
【００２６】
このように感度の異なる複数の画素からの出力を合成処理して１枚の画像にすることによって、撮像した画像のダイナミックレンジを広げることができる。例えば、光量が少ない（輝度が低い、被写体画像が暗い）場合は主画素の出力が支配的になるように、また、光量が多い（輝度が高い、被写体画像が明るい）場合は副画素の出力が支配的になるように合成処理を行うことによって、画像の暗い部分が黒つぶれしたり明るい部分が白飛びしないような良好が画像が得られる広ダイナミックレンジの撮像装置を実現できる。本実施形態では、１回の撮影で高感度画像（主画素３１で得られた画像）と低感度画像（副画素２で得られた画像）とを同時に取得し、各画像信号を順次読み出して合成処理するようになっている。
【００２７】
なお、撮像素子１の画素３０をどのような割合、位置で分割するかは設計的に決められるものであり、図２は単なる例示に過ぎない。また、撮像素子１は図２に示したハニカム配列のＣＣＤ固体撮像素子に限らず、正方格子配列（ベイヤー方式）のＣＣＤ固体撮像素子であってもよいし、ハニカム配列や正方格子配列のＣＭＯＳセンサによる固体撮像素子を用いることもできる。
【００２８】
次に、上記のように構成された撮像装置における撮影及び画像処理動作について説明する。図示しない撮影レンズを介して撮像素子１の受光面に結像された被写体像は、各画素３０の主画素３１と副画素３２で入射光量に応じたレベルの信号電荷に変換される。各画素３０に蓄積された信号電荷は、図示しない垂直転送路及び水平転送路により転送されて順次読み出され、撮像信号として出力される。撮像素子１の出力信号は、ＣＤＳ回路２において相関二重サンプリング処理及び色分離処理が行われ、主画素３１と副画素３２のそれぞれの画像についてＲ、Ｇ、Ｂの各色信号が得られる。
【００２９】
各画素毎のＲ、Ｇ、Ｂ各色信号は、アナログ増幅回路３で所定レベルに増幅された後、ＡＤ変換器４でデジタル信号に変換される。このデジタル化された主画素３１及び副画素３２それぞれのＲ、Ｇ、Ｂ各色信号は、デジタル信号処理部５に入力されて画像信号処理が施される。
【００３０】
デジタル信号処理部５では、まずオフセット補正部２１においてＲ、Ｇ、Ｂ各色信号の黒基準レベルを合わせるオフセット補正処理がなされる。次いで、ホワイトバランス調整部（ホワイトバランス調整手段）２３において、後述するカスタムホワイトバランスの設定処理によって得られた、主画素３１と副画素３２のそれぞれのホワイトバランス調整用ゲイン値をメモリ（記憶手段）７から読み出し、オフセット補正部２１から出力される主画素３１及び副画素３２のそれぞれの色信号にゲイン値を乗算することでＲ、Ｇ、Ｂ各色成分の色バランスが調整される。
【００３１】
そして、合成処理部２４において、主画素３１及び副画素３２それぞれで色バランスが調整されたＲ、Ｇ、Ｂ各色信号が合成される。このように主画素３１の画像信号と副画素３２の画像信号とを合成することにより、ダイナミックレンジが拡大された撮像素子１の各画素３０によるＲ、Ｇ、Ｂ各色信号が得られる。さらに、ＹＣ処理部２５において、各画素３０に対応するＲ、Ｇ、Ｂ各色信号に対して所定の演算が行われ、輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂからなる画像信号が生成される。そして、圧縮処理部２６で画像信号がＪＰＥＧ等の所定の圧縮符号化方式に従って圧縮処理され、圧縮された画像データが記録処理部２７によってフラッシュメモリ等からなるメモリカード等の外部メモリ９に記録される。
【００３２】
なお、デジタル信号処理部５は、図示しないが、ガンマ補正、ノイズ除去、輪郭補正、色調補正などの公知の画像処理も行うようになっている。
【００３３】
一方、積算部２２は、後述するカスタムホワイトバランスの設定処理において、ホワイトバランス調整用の制御値としてゲイン値を算出する際に、主画素３１及び副画素３２それぞれにおいてＲ、Ｇ、Ｂ各色信号の積算値を算出するものである。このとき、ＣＰＵ６は、積算部２２で算出された積算値を基にホワイトバランス調整のためのゲイン値を算出するホワイトバランス制御値算出手段の機能を有する。また、ＣＰＵ６は、操作部８からの入力に基づいて、撮像装置の各部を統括制御すると共に、本実施形態では説明しないオートフォーカス、自動露光制御等を行う制御手段としての機能を有する。
【００３４】
次に、本実施形態のカスタムホワイトバランス制御についてより詳細に説明する。図３は本発明の実施形態におけるカスタムホワイトバランス制御を行う際のゲイン設定処理を示すフローチャートである。
【００３５】
カスタムホワイトバランス制御を行う場合は、撮像装置に対する特定の操作、例えば操作部８のプッシュボタンを押すことによってカスタムホワイトバランス設定を開始し、予め白の基準となる被写体を撮影して取り込んだ画像データにおける各色信号レベルに基づいてホワイトバランス調整用のゲイン値を算出する。
【００３６】
まず、操作部８の操作によりカスタムホワイトバランス設定の開始を指示し、撮影シーケンスを実行して被写体を撮影して撮像信号の取り込みを行う（ステップＳ１１）。このとき、撮像素子１の画素３０の主画素３１及び副画素３２でそれぞれ得られた画像信号は、ＣＤＳ回路２で相関二重サンプリングと色分離処理が行われ、主画素３１及び副画素３２それぞれの画像についてＲ、Ｇ、Ｂの各色信号が生成される。そして、主画素３１と副画素３２のＲＧＢ各色信号はアナログ増幅回路３で増幅され、ＡＤ変換器４でデジタル信号に変換された後、デジタル信号処理部５の積算部２２に入力される。
【００３７】
次いで、積算部２２において、主画素３１と副画素３２のそれぞれについてＲＧＢの各色成分について積算値を算出する（ステップＳ１２）。このとき、例えば撮影画像全体を分割した複数のエリア（８×８の６４エリア）における中央２×２の合計４エリアについて、Ｒ、Ｇ、Ｂ各色成分についての１画素単位の積算値を、主画素３１と副画素３２のそれぞれに対応して計算する。算出された主画素３１に対応する各積算値Ｒｉｎｔ１、Ｇｉｎｔ１、Ｂｉｎｔ１と副画素３２に対応する各積算値Ｒｉｎｔ２、Ｇｉｎｔ２、Ｂｉｎｔ２は、ＣＰＵ６に送られて処理される。
【００３８】
ＣＰＵ６は、まず主画素３１における各積算値Ｒｉｎｔ１、Ｇｉｎｔ１、Ｂｉｎｔ１を所定の上限値及び下限値と比較し、積算値が規定の信号レベルの範囲内にあるかどうかの判定を行う（ステップＳ１３）。各色成分の積算値が規定の信号レベルにない場合は、ホワイトバランス調整の際に影響が出る可能性があるので、上限値または下限値を超えたか否かを判定し、越えた場合にはカスタムホワイトバランスの設定を中止する。
【００３９】
ステップＳ１３で、積算値が所定のレベル範囲内にある場合（ＯＫの場合）は、主画素３１におけるホワイトバランス調整用ゲイン値（第１制御値）を算出する（ステップＳ１４）。このとき、主画素３１に対応するＧ信号用のホワイトバランス調整用ゲイン値Ｇｇａｉｎ１を基準にして、Ｒ信号用のホワイトバランス調整用ゲイン値Ｒｇａｉｎ１と、Ｂ信号用のホワイトバランス調整用ゲイン値Ｂｇａｉｎ１を、次式（１），（２）に従って算出する。なお、基準となるＧ信号用のホワイトバランス調整用ゲイン値Ｇｇａｉｎ１は、積算値Ｇｉｎｔ１より適宜求めるものとする。例えばＧｇａｉｎ１＝１．０とする。
【００４０】
Ｒｇａｉｎ１＝Ｇｇａｉｎ１×Ｇｉｎｔ１／Ｒｉｎｔ１    …（１）
Ｂｇａｉｎ１＝Ｇｇａｉｎ１×Ｇｉｎｔ１／Ｂｉｎｔ１    …（２）
【００４１】
続いて、副画素３２における積算値Ｒｉｎｔ２、Ｇｉｎｔ２、Ｂｉｎｔ２について、主画素３１の場合と同様に、各積算値を所定の上限値及び下限値と比較して積算値が規定の信号レベルの範囲内にあるかどうかの判定を行う（ステップＳ１５）。ここで、積算値が所定のレベル範囲内にある場合（ＯＫの場合）は、副画素３２におけるホワイトバランス調整用ゲイン値（第２制御値）を算出する（ステップＳ１６）。このとき、副画素３２に対応するＧ信号用のホワイトバランス調整用ゲイン値Ｇｇａｉｎ２を基準にして、Ｒ信号用のホワイトバランス調整用ゲイン値Ｒｇａｉｎ２と、Ｂ信号用のホワイトバランス調整用ゲイン値Ｂｇａｉｎ２を、次式（３），（４）に従って算出する。なお、基準となるＧ信号用のホワイトバランス調整用ゲイン値Ｇｇａｉｎ２は、積算値Ｇｉｎｔ２より適宜求めるものとする。例えばＧｇａｉｎ２＝１．０とする。
【００４２】
Ｒｇａｉｎ２＝Ｇｇａｉｎ２×Ｇｉｎｔ２／Ｒｉｎｔ２    …（３）
Ｂｇａｉｎ２＝Ｇｇａｉｎ２×Ｇｉｎｔ２／Ｂｉｎｔ２    …（４）
【００４３】
そして、算出した主画素３１及び副画素３２のそれぞれに対応するＲ信号用のホワイトバランス調整用ゲイン値Ｒｇａｉｎ１，Ｒｇａｉｎ２、Ｇ信号用のホワイトバランス調整用ゲイン値Ｇｇａｉｎ１，Ｇｇａｉｎ２、Ｂ信号用のホワイトバランス調整用ゲインＢｇａｉｎ１，Ｂｇａｉｎ２を、カスタムホワイトバランス制御におけるホワイトバランス調整値（ＲＧＢ各色のゲイン値）としてメモリ７に書き込んで保持する（ステップＳ１７）。
【００４４】
一方、ステップＳ１３またはステップＳ１５において、積算値が所定のレベル範囲を超えている場合（ＮＧの場合）は、ホワイトバランスを「晴れポジション」に設定し（ステップＳ１８）、エラー表示を行う（ステップＳ１９）。エラー表示としては、積算値が上限値よりも大きい（画像が明るい）場合は「オーバー（ＯＶＥＲ）」、下限値よりも小さい（画像が暗い）場合は「アンダー（ＵＮＤＥＲ）」などの表示を図示しない液晶ディスプレイ等の表示部に表示する。
【００４５】
このように設定したゲイン値によってカスタムホワイトバランス制御を行って撮影する場合は、撮像素子１の撮影シーケンスにより得られた画像信号に対して、メモリ７に保持してあるカスタムホワイトバランス調整用のゲイン値を用いて、デジタル信号処理部５のホワイトバランス調整部２３において主画素３１と副画素３２それぞれについてホワイトバランス調整を行う。
【００４６】
主画素と副画素とを有してなる撮像素子を備えた撮像装置では、同じ撮影条件で撮像した場合でも両画素の出力レベルが異なるため、主画素と副画素とで分光感度特性が異なることがある。例えば、主画素のみでカスタムホワイトバランスのゲイン値を算出して設定するようにすると、主画素と副画素とで分光感度特性が異なる場合はＲ、Ｇ、Ｂ各色信号の出力レベル比が異なるため、ホワイトバランス調整を行う際に副画素による画像信号は色バランスが正確に再現されず、色バランスが崩れた状態になってしまう。特に、副画素から出力される信号が支配的となる画像の高輝度側で色バランスが崩れた状態となる。
【００４７】
これに対し、本実施形態では、カスタムホワイトバランス制御を行う場合に、被写体を撮影してホワイトバランス調整用のゲイン値を求める際に撮像素子１の主画素３１と副画素３２にそれぞれ対応して別々にゲイン値を算出し、メモリに記憶する。そして、撮影して画像データを取得する際には、主画素３１と副画素３２それぞれで設定された適切なゲイン値を用いて、主画素３１と副画素３２について別々にホワイトバランス調整を行い、その後に主画素３１と副画素３２の画像信号を合成して画像データを得るようにしている。
【００４８】
これにより、感度の異なる２つの画素を設けて広ダイナミックレンジを実現した撮像素子を用いた撮像装置において、ホワイトバランス制御を最適化して色再現性を良くすることができる。したがって、本実施形態によれば、ダイナミックレンジが広く、かつ色再現性に優れた撮影画像を得ることができる。
【００４９】
なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の態様で実施し得るものである。
【００５０】
【発明の効果】
以上説明したように本発明によれば、感度の異なる複数の画素を備えた撮像素子を使用する撮像装置において、ホワイトバランス制御を適切に実施でき、色再現性に優れた撮影画像を得ることが可能である。
【図面の簡単な説明】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本実施形態で使用する撮像素子の画素配置構成を示す模式図である。
【図３】本発明の実施形態におけるカスタムホワイトバランス制御を行う際のゲイン設定処理を示すフローチャートである。
【図４】従来技術によるカスタムホワイトバランス制御を行う際のゲイン設定処理の一例を示すフローチャートである。
【符号の説明】
１  撮像素子
５  デジタル信号処理部
６  ＣＰＵ
７  メモリ
８  操作部
９  外部メモリ
２２  積算部
２３  ホワイトバランス調整部
３０  画素
３１  主画素
３２  副画素
【図１】
2004221740.tif 000003
【図２】
2004221740.tif 000004
【図３】
2004221740.tif 000005
【図４】
2004221740.tif 000006