(57)【要約】【課題】感度の異なる複数の画素を備えた固体撮像素子を使用する撮像装置において、ホワイトバランス制御を適切に実施可能とし、色再現性に優れた撮影画像を得る。【解決手段】１つの画素に高感度用の主画素と低感度用の副画素とを有してなる撮像素子を用いた撮像装置において、撮影シーンや光源毎に設定されたマニュアルホワイトバランス制御を行う場合、主画素用と副画素用のそれぞれのホワイトバランス調整用ゲイン値を保持しておき、撮影して取得した画像信号に対して、これらのゲイン値を用いて主画素に関するホワイトバランス調整（Ｓ１２）と副画素に関するホワイトバランス調整（Ｓ１３）とを別々に行う。そして、ホワイトバランス調整後の主画素の画像信号と副画素の画像信号との合成処理（Ｓ１４）等を行い、処理後の画像データを外部メモリ等に記録する。【選択図】  図３
2004221739.tif 000002
【特許請求の範囲】
【請求項１】
感度の異なる複数の画素を有してなる撮像素子を備えた撮像装置であって、
前記複数の画素のそれぞれに対応して設定されたホワイトバランス調整用の制御値を保持する記憶手段と、
前記制御値を用いて、前記撮像素子の複数の画素によって得られたそれぞれの画像信号についてホワイトバランス調整を行うホワイトバランス調整手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記撮像素子は、前記複数の画素として、高感度の主画素と低感度の副画素とを有して構成されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記憶手段は、前記主画素に対応するホワイトバランス調整用の第１制御値と前記副画素に対応するホワイトバランス調整用の第２制御値とを記憶するものであり、
前記ホワイトバランス調整手段は、前記記憶手段に記憶された前記第１制御値及び前記第２制御値を用いて、前記主画素による画像信号のホワイトバランス調整と前記副画素による画像信号のホワイトバランス調整とを行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記記憶手段は、前記主画素に対応するホワイトバランス調整用の制御値を記憶するものであり、
前記ホワイトバランス調整手段は、前記記憶手段に記憶された前記制御値を用いて前記主画素による画像信号のホワイトバランス調整を行うとともに、前記制御値と前記主画素及び前記副画素間の画像信号の色ずれ比とを用いて前記副画素による画像信号のホワイトバランス調整を行うことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記ホワイトバランス調整手段は、前記主画素による画像信号に対して、前記主画素に対応して設定されたホワイトバランス調整用の制御値を適用してホワイトバランス調整を行うことを特徴とする請求項２〜４のいずれかに記載の撮像装置。
【請求項６】
前記ホワイトバランス調整手段は、前記副画素による画像信号に対して、前記副画素に対応して設定されたホワイトバランス調整用の制御値を適用してホワイトバランス調整を行うことを特徴とする請求項２又は３に記載の撮像装置。
【請求項７】
前記記憶手段は、複数の撮影条件にそれぞれ対応するホワイトバランスポジション毎に設定された制御値を保持することを特徴とする請求項１、３又は４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、特に、感度の異なる複数の画素を備えた撮像素子を使用する撮像装置のホワイトバランス制御に関する。
【０００２】
【従来の技術】
デジタルスチルカメラ等の撮像装置では、被写体に忠実な色再現を可能にするホワイトバランス制御が行われる。一般的なホワイトバランス制御は、取り込んだ画像におけるＲ、Ｇ、Ｂ３色の色情報のうち、Ｇの色成分を基準として各色が等しいレベルとなるようにＲ、Ｂの色成分のゲインを調整している。
【０００３】
撮像装置に搭載するホワイトバランス制御の機能としては、装置が所定の制御手順に従って撮影シーン判別等を行って自動的にホワイトバランス調整を行うオートホワイトバランスの他に、使用者が撮影シーンや光源などに応じて手動でホワイトバランスポジションを選択してホワイトバランス調整を行うマニュアルホワイトバランスがある。
【０００４】
オートホワイトバランス制御の従来例としては、撮影した画像信号の色情報などから撮影シーンや撮影時の光源を判別し、予め定められたホワイトバランス調整用のゲインを用いてホワイトバランス調整を行うものがある（例えば、特許文献１または２参照）。また、マニュアルホワイトバランス制御の従来例としては、撮影者に「晴れ」、「曇り」、「電球」、「蛍光灯」などの撮影シーンや光源ごとに設定されたホワイトバランスポジションを選択させ、選択されたホワイトバランスポジションに対応するゲインを用いてホワイトバランス調整を行うものがある（例えば、特許文献２または３参照）。
【０００５】
【特許文献１】
特開平６−１６５１８９号公報（第３−４頁、図１）
【特許文献２】
特開２０００−２９９８７６号公報（第５−７頁、図１）
【特許文献３】
特開平１１−１８７４１２号公報（第３−５頁、図１）
【０００６】
【発明が解決しようとする課題】
例えば、デジタルスチルカメラ等の撮像装置において、固体撮像素子に高感度画素と低感度画素の両方を搭載し、高感度画素で撮像した高感度画像と低感度画素で撮像した低感度画像とを合成処理して１枚の画像データとして出力することにより、広ダイナミックレンジ化を図るようにした場合を考える。このような撮像装置では、高感度画素と低感度画素とで分光感度特性が異なる場合があり、同じ撮影条件で撮像したにも拘わらず、高感度画素と低感度画素との間でＲ、Ｇ、Ｂの各色成分の出力信号レベル比が異なることがある。このため、上記マニュアルホワイトバランス制御やオートホワイトバランス制御を実行する際に、高感度画素の出力と低感度画素の出力とを合成した場合の画像信号の色バランスが崩れた状態になってしまうおそれがある。
【０００７】
本発明は、上記課題を解決するためになされたもので、その目的は、感度の異なる複数の画素を備えた撮像素子を使用する撮像装置において、ホワイトバランス制御を適切に実施でき、色再現性に優れた撮影画像を得ることが可能な撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明に係る撮像装置は、感度の異なる複数の画素を有してなる撮像素子を備えた撮像装置であって、前記複数の画素のそれぞれに対応して設定されたホワイトバランス調整用の制御値を保持する記憶手段と、前記制御値を用いて、前記撮像素子の複数の画素によって得られたそれぞれの画像信号についてホワイトバランス調整を行うホワイトバランス調整手段と、を備えたことを特徴とする。
【０００９】
上記構成において、感度の異なる複数の画素それぞれにおいて別々に制御値を用いてホワイトバランス調整を行うことによって、色バランスに優れた撮影画像を得ることが可能となる。
【００１０】
また、本発明の一態様として、前記撮像素子は、前記複数の画素として、高感度の主画素と低感度の副画素とを有して構成されるものとする。
【００１１】
上記構成では、高感度の主画素と低感度の副画素とを有する撮像素子によって広ダイナミックレンジを図る場合に、ホワイトバランス制御を最適化して色再現性を良くすることができるため、ダイナミックレンジが広くかつ色再現性に優れた撮影画像を得ることが可能となる。
【００１２】
また、本発明の一態様として、前記記憶手段は、前記主画素に対応するホワイトバランス調整用の第１制御値と前記副画素に対応するホワイトバランス調整用の第２制御値とを記憶するものであり、前記ホワイトバランス調整手段は、前記記憶手段に記憶された前記第１制御値及び前記第２制御値を用いて、前記主画素による画像信号のホワイトバランス調整と前記副画素による画像信号のホワイトバランス調整とを行うものとする。
【００１３】
上記構成では、例えば予め設定された制御値を用いるいわゆるマニュアルホワイトバランスを行う場合に、主画素に対応する第１制御値と副画素に対応する第２制御値とを用いることによって、主画素と副画素においてそれぞれ適切なホワイトバランス調整が可能となる。
【００１４】
また、本発明の一態様として、前記記憶手段は、前記主画素に対応するホワイトバランス調整用の制御値を記憶するものであり、前記ホワイトバランス調整手段は、前記記憶手段に記憶された前記制御値を用いて前記主画素による画像信号のホワイトバランス調整を行うとともに、前記制御値と前記主画素及び前記副画素間の画像信号の色ずれ比とを用いて前記副画素による画像信号のホワイトバランス調整を行うものとする。
【００１５】
上記構成では、例えば予め設定された制御値を用いるいわゆるマニュアルホワイトバランスを行う場合に、主画素に対応する制御値と主画素に対する副画素の色ずれ比とを用いることによって、主画素と副画素においてそれぞれ適切なホワイトバランス調整が可能となる。
【００１６】
また、本発明の一態様として、前記ホワイトバランス調整手段は、前記主画素による画像信号に対して、前記主画素に対応して設定されたホワイトバランス調整用の制御値を適用してホワイトバランス調整を行うものとする。
【００１７】
上記構成では、例えば主画素のみから読み出された画像信号については主画素に対応して設定された制御値を適用することで、適切なホワイトバランス調整ができ、色再現性に優れた撮影画像を得ることが可能となる。
【００１８】
また、本発明の一態様として、前記ホワイトバランス調整手段は、前記副画素による画像信号に対して、前記副画素に対応して設定されたホワイトバランス調整用の制御値を適用してホワイトバランス調整を行うものとする。
【００１９】
上記構成では、例えば副画素のみから読み出された画像信号については副画素に対応して設定された制御値を適用することで、適切なホワイトバランス調整ができ、色再現性に優れた撮影画像を得ることが可能となる。
【００２０】
また、本発明の一態様として、前記記憶手段は、複数の撮影条件にそれぞれ対応するホワイトバランスポジション毎に設定された制御値を保持するものとする。
【００２１】
上記構成では、例えば撮影シーンや光源などの撮影条件に対応したホワイトバランスポジション毎に予め設定された制御値を用いるいわゆるマニュアルホワイトバランスを行う場合に、ホワイトバランスポジション毎に対応する制御値によって主画素と副画素でそれぞれ適切なホワイトバランス調整が可能となる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１は本発明の実施形態に係る撮像装置の構成を示すブロック図である。本実施形態では、撮像装置の一例としてデジタルスチルカメラの構成例を示す。なお、デジタルスチルカメラに限らず、デジタルビデオカメラ等の他の種類の撮像装置にも本発明を適用可能である。
【００２３】
本実施形態の撮像装置は、ＣＣＤ固体撮像素子等からなる撮像素子１、相関二重サンプリング処理等を行うＣＤＳ回路２、信号増幅を行うアナログ増幅器３、デジタル信号に変換するＡＤ変換器４、各種デジタル画像信号処理を行うデジタル信号処理部５、各部の動作制御や演算処理等を行う中央演算処理装置（ＣＰＵ）６、各種設定値の記憶や画像データの一時記憶等を行うメモリ７、撮像装置の操作入力を行うボタン等を有してなる操作部８、画像データの記録を行う外部メモリ９等を備えて構成されている。
【００２４】
デジタル信号処理部５は、入力画像信号のオフセット補正処理を行うオフセット補正部２１、入力画像信号のＲＧＢの各色信号毎の積算処理を行う積算部２２、画像信号のホワイトバランス調整を行うホワイトバランス調整部（ＷＢ調整部）２３、感度の異なる複数の画素より得られた画像信号の合成を行う合成処理部２４、ＲＧＢの各色信号から輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂの生成を行うＹＣ処理部２５、画像信号をＪＰＥＧ等の所定の圧縮符号化方式に従って圧縮する圧縮処理部２６、圧縮された画像データの外部メモリ９への記録処理を行う記録処理部２７等を有して構成される。
【００２５】
図２は本実施形態で使用する撮像素子１の画素配置構成を示す模式図である。本実施形態では、撮像素子１として各画素の配置を水平及び垂直方向に１／２ピッチずらしたいわゆるハニカム配列のＣＣＤ固体撮像素子を用いるものとする。撮像素子１の画素３０は、例えば特開平１０−１３６３９１号公報に記載されている画素配置をとり、隣り合う行及び列の各画素に対して水平方向及び垂直方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００２６】
そして、各画素３０は、図示する例では、受光面積の４／５程度を占める広い面積の高感度画素（以下、主画素という）３１と、１／５程度を占める狭い面積の低感度画素（以下、副画素という）３２とを有する１つの画素が複数の受光領域に分割された構成となっている。これらの感度の異なる主画素３１と副画素３２とのそれぞれから光電変換されて出力される信号電荷は、互いに区別して上記図示しない垂直転送路に読み出されて転送され、図示しない水平転送路、出力アンプを経て撮像素子１からの撮像信号として出力される。
【００２７】
このように感度の異なる複数の画素からの出力を合成処理して１枚の画像にすることによって、撮像した画像のダイナミックレンジを広げることができる。例えば、光量が少ない（輝度が低い、被写体画像が暗い）場合は主画素の出力が支配的になるように、また、光量が多い（輝度が高い、被写体画像が明るい）場合は副画素の出力が支配的になるように合成処理を行うことによって、画像の暗い部分が黒つぶれしたり明るい部分が白飛びしないような良好が画像が得られる広ダイナミックレンジの撮像装置を実現できる。本実施形態では、１回の撮影で高感度画像（主画素３１で得られた画像）と低感度画像（副画素２で得られた画像）とを同時に取得し、各画像信号を順次読み出して合成処理するようになっている。
【００２８】
なお、撮像素子１の画素３０をどのような割合、位置で分割するかは設計的に決められるものであり、図２は単なる例示に過ぎない。また、撮像素子１は図２に示したハニカム配列のＣＣＤ固体撮像素子に限らず、正方格子配列（ベイヤー方式）のＣＣＤ固体撮像素子であってもよいし、ハニカム配列や正方格子配列のＣＭＯＳセンサによる固体撮像素子を用いることもできる。
【００２９】
次に、上記のように構成された撮像装置における撮影及び画像処理動作について説明する。図示しない撮影レンズを介して撮像素子１の受光面に結像された被写体像は、各画素３０の主画素３１と副画素３２で入射光量に応じたレベルの信号電荷に変換される。各画素３０に蓄積された信号電荷は、図示しない垂直転送路及び水平転送路により転送されて順次読み出され、撮像信号として出力される。撮像素子１の出力信号は、ＣＤＳ回路２において相関二重サンプリング処理及び色分離処理が行われ、主画素３１と副画素３２のそれぞれの画像についてＲ、Ｇ、Ｂの各色信号が得られる。
【００３０】
各画素毎のＲ、Ｇ、Ｂ各色信号は、アナログ増幅回路３で所定レベルに増幅された後、ＡＤ変換器４でデジタル信号に変換される。このデジタル化された主画素３１及び副画素３２それぞれのＲ、Ｇ、Ｂ各色信号は、デジタル信号処理部５に入力されて画像信号処理が施される。
【００３１】
デジタル信号処理部５では、まずオフセット補正部２１においてＲ、Ｇ、Ｂ各色信号の黒基準レベルを合わせるオフセット補正処理がなされる。次いで、ホワイトバランス調整部（ホワイトバランス調整手段）２３において、詳しくは後述するが、予め設定された主画素３１と副画素３２のそれぞれのホワイトバランス調整用の制御値であるゲイン値をメモリ（記憶手段）７から読み出し、オフセット補正部２１から出力される主画素３１及び副画素３２のそれぞれの色信号にゲイン値を乗算することでＲ、Ｇ、Ｂ各色成分の色バランスが調整される。
【００３２】
そして、合成処理部２４において、主画素３１及び副画素３２それぞれで色バランスが調整されたＲ、Ｇ、Ｂ各色信号が合成される。このように主画素３１の画像信号と副画素３２の画像信号とを合成することにより、ダイナミックレンジが拡大された撮像素子１の各画素３０によるＲ、Ｇ、Ｂ各色信号が得られる。さらに、ＹＣ処理部２５において、各画素３０に対応するＲ、Ｇ、Ｂ各色信号に対して所定の演算が行われ、輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂからなる画像信号が生成される。そして、圧縮処理部２６で画像信号がＪＰＥＧ等の所定の圧縮符号化方式に従って圧縮処理され、圧縮された画像データが記録処理部２７によってフラッシュメモリ等からなるメモリカード等の外部メモリ９に記録される。
【００３３】
なお、デジタル信号処理部５は、図示しないが、ガンマ補正、ノイズ除去、輪郭補正、色調補正などの公知の画像処理も行うようになっている。
【００３４】
一方、積算部２２は、オートホワイトバランス制御実行時などにおいて、主画素３１及び副画素３２それぞれにおいてＲ、Ｇ、Ｂ各色信号の積算値を算出するものである。このとき、ＣＰＵ６は、積算部２２で算出された積算値を基に撮影シーンや撮影時の光源を判別する。また、ＣＰＵ６は、操作部８からの入力に基づいて、撮像装置の各部を統括制御すると共に、本実施形態では説明しないオートフォーカス、自動露光制御等を行う制御手段としての機能を有する。
【００３５】
次に、第１実施形態によるホワイトバランス制御についてより詳細に説明する。図３は本発明の第１実施形態におけるマニュアルホワイトバランス制御を行う場合の処理を示すフローチャートである。
【００３６】
まず、操作部８の操作等に基づき、撮影シーケンスを実行して被写体を撮影して撮像信号の取り込みを行う（ステップＳ１１）。このとき、撮像素子１の画素３０の主画素３１及び副画素３２でそれぞれ得られた画像信号は、ＣＤＳ回路２で相関二重サンプリングと色分離処理が行われ、主画素３１及び副画素３２それぞれの画像についてＲ、Ｇ、Ｂの各色信号が生成される。そして、主画素３１と副画素３２のＲＧＢ各色信号はアナログ増幅回路３で増幅され、ＡＤ変換器４でデジタル信号に変換された後、デジタル信号処理部５に入力される。
【００３７】
デジタル信号処理部５では、オフセット補正部２１でＲ、Ｇ、Ｂ各色信号のオフセット処理を行った後、ホワイトバランス調整部２３において、選択されたホワイトバランスポジションに対応してホワイトバランス調整を行う。本実施形態では、主画素３１による画像信号に対するホワイトバランス調整（ステップＳ１２）と副画素３２による画像信号に対するホワイトバランス調整（ステップＳ１３）とをホワイトバランスポジションに対応して別々に行う。
【００３８】
本実施形態では、例えば表１に示すように、「晴れ」、「曇り」、「日陰」、「電球」、「蛍光灯」などの撮影シーンや光源の種類に応じてホワイトバランスポジションが定められ、各ホワイトバランスポジションに対応する主画素３１と副画素３２のそれぞれにおいてホワイトバランス調整用ゲイン値が設定されている。表１の例では、主画素用ゲインＲｇａｉｎ１，Ｇｇａｉｎ１，Ｂｇａｉｎ１（第１制御値）と副画素用ゲインＲｇａｉｎ２，Ｇｇａｉｎ２，Ｂｇａｉｎ２（第２制御値）とがそれぞれ設定され、ホワイトバランス制御テーブルとして各ゲイン値がメモリ７に格納されている。これらのゲイン値は、例えば製造時に基準光源を用いた測定などによって撮像装置の個体毎に調整されて設定される。
【００３９】
【表１】
2004221739.tif 000003
【００４０】
ホワイトバランス調整部２３では、選択されたホワイトバランスポジションに対応するそれぞれのＲ、Ｇ、Ｂ各色信号のホワイトバランス調整用ゲイン値をメモリ７から読み出して、ホワイトバランス調整を行う。このとき、次式（１）〜（６）に従って演算を行うことにより、主画素３１と副画素３２それぞれについてホワイトバランスが調整された各色信号Ｒａｄｊ１，Ｇａｄｊ１，Ｂａｄｊ１、Ｒａｄｊ２，Ｇａｄｊ２，Ｂａｄｊ２が得られる。
【００４１】
Ｒａｄｊ１＝Ｒ１×Ｒｇａｉｎ１        …（１）
Ｇａｄｊ１＝Ｇ１×Ｇｇａｉｎ１        …（２）
Ｂａｄｊ１＝Ｂ１×Ｂｇａｉｎ１        …（３）
Ｒａｄｊ２＝Ｒ２×Ｒｇａｉｎ２        …（４）
Ｇａｄｊ２＝Ｇ２×Ｇｇａｉｎ２        …（５）
Ｂａｄｊ２＝Ｂ２×Ｂｇａｉｎ２        …（６）
ここで、Ｒ１，Ｇ１，Ｂ１、Ｒ２，Ｇ２，Ｂ２は、主画素３１及び副画素３２からそれぞれ得られたホワイトバランス調整前の各色信号である。
【００４２】
上記ホワイトバランスポジションの選択は、マニュアルホワイトバランス制御を行う際には、撮影者が撮影シーンや光源等を考慮して、操作部８を手動操作して設定することにより行われる。
【００４３】
このようなホワイトバランス調整によって、主画素３１と副画素３２のそれぞれの画像信号におけるＲ、Ｇ、Ｂ各色成分の色バランスを適切に調整することが可能となる。なお、主画素３１だけを読み出したりして主画素３１による画像信号のみから画像データを形成する場合は、ホワイトバランス調整時には主画素用のゲイン値を適用する。また、副画素３２だけを読み出したりして副画素３２による画像信号のみから画像データを形成する場合は、ホワイトバランス調整時には副画素用のゲイン値を適用する。
【００４４】
次に、合成処理部２４において、主画素３１及び副画素３２それぞれで色バランスが調整されたＲ、Ｇ、Ｂ各色信号を合成し（ステップＳ１４）、次いで、ＹＣ処理部２５において、各画素３０に対応するＲ、Ｇ、Ｂ各色信号に対して所定の演算を行って輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂからなる画像信号を生成する（ステップＳ１５）。そして、圧縮処理部２６で画像信号をＪＰＥＧ等の所定の圧縮符号化方式に従って圧縮処理し（ステップＳ１６）、圧縮された画像データを記録処理部２７によって外部メモリ９に記録する（ステップＳ１７）。
【００４５】
主画素と副画素とを有してなる撮像素子を備えた撮像装置では、同じ撮影条件で撮像した場合でも両画素の出力レベルが異なるため、主画素と副画素とで分光感度特性が異なることがある。例えば、このような場合に一つのホワイトバランス調整用のゲイン値を用いてホワイトバランス制御を行うと、色バランスが崩れた状態になることがある。
【００４６】
仮に、主画素で得られた画像信号に対して最適化されたゲインを用いて副画素で得られた画像信号のホワイトバランス調整を行うと、副画素で撮像される画像は色バランスが正確に再現されなくなる。特に、副画素から出力される信号が支配的となる画像の高輝度側で色付きの状態になってしまう。逆に、副画素で得られた画像信号に対して最適化されたゲインを用いて主画素で得られた画像信号のホワイトバランス調整を行うと、主画素から出力される信号が支配的となる低輝度側で色付きの状態となる。いずれにしても、色バランスの悪い画像になってしまう。
【００４７】
これに対し、本実施形態では、主画素３１と副画素３２にそれぞれ対応して最適に設定されたゲイン値を持ち、ホワイトバランス制御を行う場合にこれらのゲイン値を用いて主画素３１と副画素３２それぞれで別々にホワイトバランス調整を行うようにする。その後、主画素３１と副画素３２の画像信号を合成して画像データを得るようにしている。
【００４８】
これにより、感度の異なる２つの画素を設けて広ダイナミックレンジを実現した撮像素子を用いた撮像装置において、ホワイトバランス制御を最適化して色再現性を良くすることができる。したがって、本実施形態によれば、ダイナミックレンジが広く、かつ色再現性に優れた撮影画像を得ることができる。
【００４９】
図４は本発明の第２実施形態におけるマニュアルホワイトバランス制御を行う場合の処理を示すフローチャートである。上記第１実施形態では、ホワイトバランス調整を行う際に必要となるゲイン値を、主画素用と副画素用で別々に持つようにした構成を説明したが、第２実施形態では、主画素用のホワイトバランス調整用ゲイン値のみを持つようにした例を示す。
【００５０】
この場合、例えば表２に示すように、「晴れ」、「曇り」、「日陰」、「電球」、「蛍光灯」などの撮影シーンや光源の種類に応じたホワイトバランスポジションに対応して、主画素用ゲインＲｇａｉｎ１，Ｇｇａｉｎ１，Ｂｇａｉｎ１のみを撮像装置の個体毎に設定し、各ゲイン値をホワイトバランス制御テーブルとしてメモリ７に格納する。また、主画素３１に対する副画素３２の色ずれ比のデータを保持しておく。副画素３２については、主画素用ゲインに色ずれ比を乗算することによってホワイトバランス調整を行う。これにより、副画素用ゲインに相当するゲイン値で色バランスが調整される。なお、色ずれ比は、例えば蛍光灯など太陽光のときと色ずれ比が異なるような場合は、ホワイトバランスポジション毎に適宜調整するようにしても良い。
【００５１】
【表２】
2004221739.tif 000004
【００５２】
図４のフローチャートにおいて、副画素３２のホワイトバランス調整を行うステップＳ３３のみが第１実施形態と異なる。他のステップＳ３１〜Ｓ３２、Ｓ３４〜Ｓ３７は、図３に示した第１実施形態のステップ１１〜Ｓ１２、Ｓ１４〜Ｓ１７と同様であり、ここでは説明を省略する。
【００５３】
ステップＳ３３では、ホワイトバランス調整部２３は、ホワイトバランス調整用ゲイン値として選択されたホワイトバランスポジションに対応する主画素用ゲインＲｇａｉｎ１，Ｇｇａｉｎ１，Ｂｇａｉｎ１をメモリ７から読み出し、この主画素用ゲインと色ずれ比とを用いて、副画素３２に関するホワイトバランス調整を行う。このとき、次式（７）〜（９）に従って演算を行うことにより、副画素３２についてホワイトバランスが調整された各色信号Ｒａｄｊ２，Ｇａｄｊ２，Ｂａｄｊ２が得られる。
【００５４】
Ｒａｄｊ２＝Ｒ２×Ｒｇａｉｎ１×Ｒｄ    …（７）
Ｇａｄｊ２＝Ｇ２×Ｇｇａｉｎ１×Ｇｄ    …（８）
Ｂａｄｊ２＝Ｂ２×Ｂｇａｉｎ１×Ｂｄ    …（９）
ここで、Ｒ２，Ｇ２，Ｂ２は副画素３２から得られたホワイトバランス調整前の各色信号、Ｒｄ，Ｇｄ，Ｂｄは主画素３１に対する副画素３２の各色の色ずれ比で、例えばＧｄ＝１．０、Ｒｄ＝１．２、Ｂｄ＝０．８とする。
【００５５】
この第２実施形態では、主画素３１に対応して最適に設定されたゲイン値を持ち、ホワイトバランス制御を行う場合にこのゲイン値と主画素３１に対する副画素３２の色ずれ比とを用いて主画素３１と副画素３２それぞれで別々にホワイトバランス調整を行うようにしている。これにより、第１実施形態と同様に、感度の異なる２つの画素を設けて広ダイナミックレンジを実現した撮像素子を用いた撮像装置において、ホワイトバランス制御を最適化して色再現性を高めることができる。
【００５６】
なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の態様で実施し得るものである。上記の実施形態では、マニュアルホワイトバランス制御について説明したが、撮影時の光源や撮影シーンを装置が自動的に判断して最適なホワイトバランス調整を行うオートホワイトバランス制御を行う場合についても、同様に適用可能である。オートホワイトバランス制御においては、例えば、撮像素子から読み出されたＲ、Ｇ、Ｂ各色信号の積算値からＲ／Ｇ、Ｂ／Ｇの比を求め、これらの比の値と自動露光制御における被写体輝度（撮影ＥＶ値）の情報とに基づいてホワイトバランスポジションの自動判別を行う。そして、この自動判別に基づき選択されたホワイトバランスポジションに対応する主画素用と副画素用のゲイン値を用いて、主画素と副画素それぞれでホワイトバランス調整を行うようにすればよい。
【００５７】
【発明の効果】
以上説明したように本発明によれば、感度の異なる複数の画素を備えた固体撮像素子を使用する撮像装置において、ホワイトバランス制御を適切に実施でき、色再現性に優れた撮影画像を得ることが可能である。
【図面の簡単な説明】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本実施形態で使用する撮像素子の画素配置構成を示す模式図である。
【図３】本発明の第１実施形態におけるマニュアルホワイトバランス制御を行う場合の処理を示すフローチャートである。
【図４】本発明の第２実施形態におけるマニュアルホワイトバランス制御を行う場合の処理を示すフローチャートである。
【符号の説明】
１  撮像素子
５  デジタル信号処理部
６  ＣＰＵ
７  メモリ
８  操作部
９  外部メモリ
２２  積算部
２３  ホワイトバランス調整部
３０  画素
３１  主画素
３２  副画素
【図１】
2004221739.tif 000005
【図２】
2004221739.tif 000006
【図３】
2004221739.tif 000007
【図４】
2004221739.tif 000008