(57)【特許請求の範囲】
【請求項１】
多重露出方式に従い、カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいて複数の１フレーム分Ｒ，Ｇ，Ｂ色信号から成る画像を重ね合わせ、合成画像を生成する画像処理部と、
画像の重ね合わせ前に、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号以外の他の色信号の出力レベルを抑制する色補正処理部とを備え、
前記色補正処理部が、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号で構成される撮影画像の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、前記色適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い前記基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、前記撮影画像の他の色信号の出力レベルを抑制することを特徴とする撮影装置。
【請求項２】
前記色補正処理部が、他の色信号に対し、ゲイン比に応じて定められる基準値以上の部分を除くことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記色補正処理部が、１フレーム分Ｒ，Ｇ，Ｂ色信号の中から、Ｒ，Ｇ，Ｂいずれの色信号も飽和していない色適正画像エリアを抽出することを特徴とする請求項１乃至２のいずれかに記載の撮影装置。
【請求項４】
前記色補正処理部が、１番目、２番目の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、ゲイン比を別々に求めることを特徴とする請求項１乃至３のいずれかに記載の撮影装置。
【請求項５】
前記画像処理部が、画像の重ね合わせ後、重ね合わせ前に設定されたホワイトバランスゲイン値でＷＢ調整することを特徴とする請求項１乃至４のいずれかに記載の撮影装置。
【請求項６】
前記画像処理部が、ＲＡＷデータによって合成画像を生成することを特徴とする請求項１乃至５のいずれかに記載の撮影装置。
【請求項７】
カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいた１フレーム分Ｒ，Ｇ，Ｂ色信号から成る画像に対し、シェーディング補正を行う画像処理部と、
シェーディング補正前に、前記１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号以外の他の色信号の出力レベルを抑制する色補正処理部とを備え、
前記色補正処理部が、前記１フレーム分Ｒ，Ｇ，Ｂ色信号の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、前記色適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い前記基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、他の色信号の出力レベルを抑制することを特徴とする撮影装置。
【請求項８】
カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいた１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号に対する他の色信号の出力レベルを設定する設定部と、
前記１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、定められた出力レベルに応じて他の色信号の出力レベルを抑制する色調整処理部とを備え、
前記設定部が、前記１フレーム分Ｒ，Ｇ，Ｂ色信号で構成される撮影画像の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、前記色適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い前記基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、前記撮影画像の他の色信号の上限出力レベルを定め、
前記色調整処理部が、前記上限出力レベルに従い、前記撮影画像の他の色信号の出力レベルを抑制することを特徴とする画像処理装置。
【請求項９】
多重露出方式に従い、カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいて複数の１フレーム分Ｒ，Ｇ，Ｂ色信号から成る画像を重ね合わせ、合成画像を生成し、
画像の重ね合わせ前に、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号以外の他の色信号の出力レベルを抑制する撮影方法であって、
所定の１フレーム分Ｒ，Ｇ，Ｂ色信号で構成される撮影画像の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、前記色適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い前記基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、前記撮影画像の他の色信号の出力レベルを抑制することを特徴とする撮影方法。
【請求項１０】
カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいた１フレーム分Ｒ，Ｇ，Ｂ色信号から成る画像に対し、シェーディング補正を実行し、
シェーディング補正前に、前記１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号以外の他の色信号の出力レベルを抑制する撮影方法であって、
前記１フレーム分Ｒ，Ｇ，Ｂ色信号の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、前記色適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い前記基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、他の色信号の出力レベルを抑制することを特徴とする撮影方法。
【請求項１１】
カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいた１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号に対する他の色信号の出力レベルを設定する設定し、
前記１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、定められた出力レベルに応じて他の色信号の出力レベルを抑制する画像処理方法であって、
前記１フレーム分Ｒ，Ｇ，Ｂ色信号で構成される撮影画像の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、前記色適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い前記基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、前記撮影画像の他の色信号の上限出力レベルを定め、
前記上限出力レベルに従い、前記撮影画像の他の色信号の出力レベルを抑制する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラなどの撮影装置における画像処理に関し、特に、色飽和が生じている画像の色補正処理に関する。
【背景技術】
【０００２】
デジタルカメラなどでは、Ｒ，Ｇ，Ｂカラーフィルタアレイを備えた撮像素子が設けられており、撮像素子の分光感度特性によって色飽和が生じる場合がある。例えば、赤色、緑色など特定色の被写体を強い光で撮影する場合、その色の画素信号が飽和し、ホワイトバランス調整など画像処理を行うと、本来の色とは異なる色が色飽和部分の領域に生じ、着色してしまう。
【０００３】
着色を防ぐため、撮像素子のダイナミックレンジを拡張して色情報を得る方法が知られている（特許文献１参照）。そこでは、飽和していない色信号から飽和した色信号の実際の出力値を推定する。これによって、ホワイトバランス調整後も着色がなく、色飽和部分におけるＲ，Ｇ，Ｂのカラーバランスが崩れない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５０９１７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影画像の一部領域において全ての色の画素信号が飽和する場合、他の色の画素信号から飽和画素信号の出力値を推定することができない。このとき、多重露出など、撮影画像の輝度レベル全体を下げるような画像処理を行うと、色情報が補間されないため、色飽和部分に着色が生じてしまう。
【０００６】
したがって、被写体像の明るさを抑える画像処理を行っても、着色が生じないように色補正処理する必要がある。
【課題を解決するための手段】
【０００７】
本発明の撮影装置は、多重露出方式に従い、カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいて複数の１フレーム分Ｒ，Ｇ，Ｂ色信号から成る画像を重ね合わせ、合成画像を生成する画像処理部と、画像の重ね合わせ前に、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号以外の他の色信号の出力レベルを抑制する色補正処理部とを備える。
【０００８】
本発明では、色補正処理部が、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、他の色信号の出力レベル、すなわち値を抑制する。
【０００９】
色補正処理部は、他の色信号に対し、ゲイン比に応じて定められる基準値以上の部分を除くことが可能である。例えば、基準値に基づいてクリップ処理を実行することができる。また、色補正処理部は、１フレーム分Ｒ，Ｇ，Ｂ色信号の中から、Ｒ，Ｇ，Ｂいずれの色信号も飽和していない色適正画像エリアを抽出することができる。また、画像処理部は、画像の重ね合わせ後、重ね合わせ前に設定されたホワイトバランスゲイン値でＷＢ調整することができる。２枚の撮影画像を重ね合わせる場合、色補正処理部は、１番目、２番目の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、ゲイン比を別々に求めることができる。
【００１０】
本発明の他の態様における撮影装置は、カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいて複数の１フレーム分Ｒ，Ｇ，Ｂ色信号から成る画像に対し、シェーディング補正を行う画像処理部と、シェーディング補正前に、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号以外の他の色信号の出力レベルを抑制する色補正処理部とを備え、色補正処理部が、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、他の色信号の出力レベルを抑制する。
【００１１】
本発明の他の態様における画像処理装置は、カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいた複数の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号に対する他の色信号の出力レベルを設定する設定部と、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、定められた出力レベルに応じて他の色信号の出力レベルを抑制する色調整処理部とを備え、設定部が、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、他の色信号の上限出力レベルを定める。
【００１２】
本発明の他の態様における撮影方法は、多重露出方式に従い、カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいて複数の１フレーム分Ｒ，Ｇ，Ｂ色信号から成る画像を重ね合わせ、合成画像を生成し、画像の重ね合わせ前に、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号以外の他の色信号の出力レベルを抑制する撮影方法であって、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、他の色信号の出力レベルを抑制する。
【００１３】
本発明の他の態様における撮影方法は、カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいて複数の１フレーム分Ｒ，Ｇ，Ｂ色信号から成る画像に対し、シェーディング補正を実行し、シェーディング補正前に、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号以外の他の色信号の出力レベルを抑制する撮影方法であって、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、他の色信号の出力レベルを抑制する。
【００１４】
本発明の他の態様における画像処理方法は、カラーフィルタアレイを有するイメージセンサから読み出される画素信号に基づいた複数の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、基準色信号に対する他の色信号の出力レベルを設定する設定部と、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号に対し、定められた出力レベルに応じて他の色信号の出力レベルを抑制する画像処理方法であって、所定の１フレーム分Ｒ，Ｇ，Ｂ色信号の中で色飽和が生じていない色適正画像エリアのＲ，Ｇ，Ｂ色信号に対し、ホワイトバランスゲイン値をそれぞれ設定し、適正画像エリアのＲ，Ｇ，Ｂ色信号の中で最も出力レベルの高い基準色信号と他の色信号とのゲイン比以上の値に応じた基準値に基づいて、他の色信号の上限出力レベルを定める。
【発明の効果】
【００１５】
本発明によれば、カメラなどの撮影装置あるいは画像処理装置において、色飽和が生じてもその部分で着色が生じない撮影画像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態であるデジタルカメラのブロック図である。
【図２】多重露出撮影過程におけるＲ，Ｇ，Ｂ色信号の出力比を示した図である。
【図３】重ね合わせ対象の撮影画像を示した図である。
【図４】コントローラによって実行される色補正処理を含む多重露出撮影のフローチャートである。
【図５】第２の実施形態における色補正処理を含むシェーディング補正処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下では、図面を参照して本実施形態であるデジタルカメラについて説明する。
【００１８】
図１は、第１の実施形態であるデジタルカメラのブロック図である。
【００１９】
デジタルカメラ１０は、ここではコンパクト型カメラとして構成されており、レリーズボタン、十字ボタン、モードダイヤル（いずれも図示せず）などに対する操作に従い、撮影動作、記録画像の再生、ユーザによるモード設定などが行われる。ユーザは、モードダイヤルを操作することにより、多重露出モード、画像編集（加工）用のシェーディング設定モードなどを選択することができる。カメラ背面には、ＬＣＤモニタ６０が設けられている。
【００２０】
ＣＰＵを含むコントローラ３０は、露出制御部３２、画像信号処理回路４０などに制御信号を出力し、レリーズスイッチ３７によって検出されるレリーズ操作、モードダイヤルスイッチ４２によって検出されるモードダイヤル操作、十字ボタンスイッチ４４によって検出される十字ボタン操作に基づき、露出制御、撮影／記録動作などカメラ全体の動作制御を行う。カメラ動作制御のプログラムは、図示しないＲＯＭなどのメモリに記憶されている。
【００２１】
電源ＯＮ状態となって撮影モードが設定されると、被写体からの光が撮影光学系１２を通り、被写体像がイメージセンサ１４に形成される。イメージセンサ１４は、ＣＣＤ、ＣＭＯＳなどによって構成されており、カラーフィルタアレイ１４Ａがイメージセンサ１４の受光面上に対向配置されている。カラーフィルタアレイ１４Ａでは、Ｒ，Ｇ，Ｂのカラーエレメントを市松状に配列、あるいはベイヤー配列させている。
【００２２】
撮影モードでは、スルー画像をＬＣＤモニタ６０に表示するため、画素信号が所定のフレームレートでイメージセンサ１４から読み出される。読み出されたＲ，Ｇ，Ｂの画素信号は、ＡＦＥ回路１６を経由して画像信号処理回路４０に送られる。Ｒ，Ｇ，Ｂのカラーエレメントによって構成されるカラーフィルタアレイ１４Ａに従い、イメージセンサ１４の各画素から、Ｒ，Ｇ，Ｂいずれかの色信号が読み出される。
【００２３】
ＤＳＰ、ＦＰＧＡなどプログラマブルな回路で構成される画像信号処理回路４０では、色補間処理により各画素に対しＲ，Ｇ，Ｂ色信号が生成されるとともに、ゲイン処理、色変換処理、ホワイトバランス調整などが、Ｒ，Ｇ，Ｂ色信号に対して施される。これにより、Ｒ，Ｇ，Ｂカラー画像信号が生成される。ＬＣＤドライバ（図示せず）がカラー画像信号に基づいてＬＣＤモニタ６０を駆動し、これによってリアルタイムの動画像がスルー画像としてＬＣＤモニタ６０に表示される。
【００２４】
レリーズボタンが半押しされると、イメージセンサ１４から読み出される画素信号に基づいて、コントラスト式ＡＦ処理が実行される。ＡＦドライバ３４によって、撮影光学系１２内のフォーカシングレンズが駆動される。コントラスト式ＡＦ処理による合焦動作とともに、イメージセンサ１４から読み出される画素信号に基づいて被写体像の明るさが検出され、露出値が演算される。
【００２５】
レリーズボタン（図示せず）が全押しされると、露出制御部３２は、図示しないシャッタ、絞り等を駆動することによって露出制御する。これにより、１フレーム分の画素信号がイメージセンサ１４から読み出される。画像信号処理回路４０は、読み出された１フレーム分の画素信号に基づいて静止画像データを生成し、圧縮／非圧縮した状態で画像データをメモリカード４６に記録する。画像記録処理においては、ＲＡＷデータで静止画像データを記録することが可能である。再生モードが設定されると、メモリカード４６に記憶された画像がＬＣＤモニタ６０に表示される。
【００２６】
モードダイヤルによって多重露出モードが設定されると、多重露出による撮影動作が行われる。ユーザは、あらかじめ定められた露出回数（ここでは２回）に応じて、異なる被写体を撮影したり、あるいは動体を撮影したりする。画像信号処理回路４０では、２つの画像データに対し重ね合わせ処理を施すことにより、１枚の撮影画像を生成する。ここでは加算平均方式が適用されており、画像の重ね合わせでは重み付け係数を用いて輝度レベルを平均化している。
【００２７】
そして、重ね合わせによって得られた合成画像に対し、ホワイトバランス調整処理が施される。すなわち、白色被写体に対してＲ：Ｇ：Ｂの出力比が１：１：１となるようにカラーバランスが調整される。一方、画像信号処理回路４０では、２枚の画像の重ね合わせ処理前に、最終的に生成される合成画像に着色が生じないようにするため、１番目、２番目の１フレーム分Ｒ，Ｇ，Ｂ色信号に対して色補正処理が施される。ここでは、ＲＡＷデータによって合成画像が生成、記録される。
【００２８】
図２は、多重露出撮影過程におけるＲ，Ｇ，Ｂ色信号の出力比を示した図である。図３は、重ね合わせ対象の撮影画像を示した図である。図２、３を用いて、多重露出時における着色防止の色補正処理について説明する。
【００２９】
図２では、１回目、２回目の撮影時のＲ，Ｇ，Ｂ色信号の出力レベルをグラフ表示するとともに、２回目の撮影時のＲ，Ｇ，Ｂ色信号の出力レベルを各処理ごとに示している。ここでは、１回目の撮影による画像は比較的輝度が低く、２回目の撮影による画像は比較的輝度が高いものとする。
【００３０】
図３には、２回目撮影時の画像ＩＭを示している。画像ＩＭは、人物を室内撮影した画像であり、窓Ｗと室内照明灯Ｌが人物とともに写し出されている。室内を映し出している画像エリア（色適正画像エリア）Ａ１は、室内照明灯Ｌの光によって適正露出に基づいた画像となっており、Ｒ，Ｇ，Ｂ色信号はいずれも飽和していない（図２参照）。
【００３１】
一方、室内と室外の照明の違いおよび室外の強い自然光の影響により、窓Ｗを通して写し出される外景の画像は、真っ白となり、窓Ｗが表示される画像エリアＡ２では、Ｒ，Ｇ，Ｂの色信号すべてが飽和している（図２参照）。
【００３２】
このような画像ＩＭを２枚目の画像とし、低輝度である１枚目の画像と重ねた場合、露出量については加算平均をとるため、重ね合わせによって得られる合成画像の明るさは、２枚目の画像の明るさよりも低下する。
【００３３】
合成された画像全体に対してホワイトバランス調整を行う場合、色飽和していない画像エリアでホワイトバランスゲイン値が画像全体のＲ，Ｇ，Ｂ色信号に対して設定される。そのため、色飽和しているエリアでは、ホワイトバランスゲイン値を乗じても、Ｒ：Ｇ：Ｂの出力レベル比が１：１：１とならない。その結果、２枚目の撮影画像で色飽和していたエリアは着色してしまう。
【００３４】
そこで本実施形態では、画像を重ね合わせる前に画像全体のＲ、Ｇ、Ｂのカラーバランスを調整し、飽和しやすい色信号を基準にして他の色信号の出力レベルを抑制する。
【００３５】
図２を用いて具体的に説明すると、例えば、色飽和していない画像エリアＡ１において、Ｒ，Ｇ，Ｂの中でＧの色信号の出力レベルが最も大きい。そこで、この画像エリアＡ１のホワイトバランスゲイン値を考えると、Ｇのホワイトバランスゲイン値ｇｇが基準値（＝１）となって、ホワイトバランスゲイン値ｇｒ：ｇｇ、ｇｂ（ここでは、１．７：１：２．５）を設定することができる。
【００３６】
ここで、画像の重ね合わせ後のホワイトバランス調整処理によって画像エリアＡ１の色飽和（白色）状態が維持される、すなわち着色しない条件を考えると、色飽和のない画像エリアＡ１で最も出力レベルの高いＧの色信号の飽和レベルを基準としたとき、飽和したＲ，Ｂの色信号レベルを抑制して低い出力レベルに制限すれば、合成画像に対するホワイトバランス調整後、Ｒ，Ｇ，Ｂの色信号が１：１：１となるように上限に達することができ、合成画像においても白色状態が維持される。
【００３７】
飽和していない画像エリアＡ１でのホワイトバランスゲイン値ｇｒ：ｇｇ、ｇｂが、合成画像生成後のホワイトバランス調整時のカラーバランスを決定する因子となることから、Ｒ，Ｂの色信号に対してホワイトバランスゲイン値の比（ここでは、ｇｒ、ｇｂに対するｇｇの比をゲイン比という）ｇｇ／ｇｒ、ｇｇ／ｇｂを乗じたＲ，Ｂの色信号レベルを最低限確保すれば、ホワイトバランス調整後にはＲ，Ｇ，Ｂの色信号すべてが飽和レベルに達する。その結果、Ｒ，Ｇ，Ｂの色信号はホワイトバランス調整後も着色を防ぐことができる。
【００３８】
したがって、２回目の撮影時の１フレーム分のＲ，Ｇ，Ｂ色信号全体に対し、Ｇ色信号とＲ，Ｂ色信号とのゲイン比ｇｇ／ｇｒ（＝１／１．７）、ｇｇ／ｇｂ（＝１／２．５）に従い、Ｇ色信号に対するＲ，Ｂ色信号の出力レベル（割合）を基準値（閾値）として定め、基準値以上の値をもつＲ，Ｂ色信号の出力レベルを基準値に補正する、すなわち、基準値以上の部分を除くようにクリップ処理を施せば、２枚目の撮影画像における画像エリアＡ２の白色状態は、合成画像のホワイトバランス調整後も維持され、着色しない。これは、ゲイン比よりも大きい値（＜１）を基準値として設定しても、同様の効果が得られる。
【００３９】
一方、画像エリアＡ１を含めて色飽和が生じていない画像エリア、あるいは図示しない一部の色信号のみが飽和している画像エリアについて、同様なＲ，Ｂの色信号に対するクリップ処理を施しても、合成画像生成後のホワイトバランス調整処理よって、カラーバランスは適正に維持される。
【００４０】
図２、３では、１回目の撮影による画像が低輝度レベル、２回目の撮影による画像が高輝度レベルであることを前提としたが、その逆の場合もある。また、１回目における撮影においても、一部画像エリアに色飽和が生じる場合もある。そこで本実施形態では、１回目、２回目の撮影時の画像いずれにおいても、色補正処理を実施する。
【００４１】
また、ここではＧの色信号が最も感度があり、出力レベルが相対的に高く飽和しやすいとみなし、Ｇの色信号を基準として色補正係数を設定したが、Ｒの色信号，あるいはＢの色信号の出力レベルが相対的に高い場合、その色信号を基準として色補正係数を定めればよい。具体的には、色飽和の生じていない画像エリアについて、ホワイトバランスゲイン値を求めたとき、最小値（＝１）のホワイトバランスゲイン値をもつ色信号を基準とすればよい。
【００４２】
図４は、コントローラ３０によって実行される色補正処理を含む多重露出撮影のフローチャートである。
【００４３】
ステップＳ１０１では、撮影画像の中でＲ，Ｇ，Ｂすべて色飽和していない画像領域を抽出し、そのエリアでのＲ，Ｇ，Ｂの暫定的なホワイトバランスゲイン値を算出する。エリアサイズの選定、抽出方法は様々な方法が適用可能であり、例えば、Ｒ，Ｇ，Ｂそれぞれに閾値を設け、一定のエリア内にあるＲ，Ｇ，Ｂ画素すべてが有効な範囲にある場合にのみ、ホワイトバランスゲインを計算する要素として抽出する。また、ホワイトバランスゲイン値の算出方法としては、例えばＲ：Ｇ：Ｂの積算値の比からホワイトバランスゲイン値を求めることができる。
【００４４】
ホワイトバランスゲイン値が求められると、出力レベルの最も高い色信号（例えばＧ）と他の色信号（例えば、Ｒ，Ｂ）とのゲイン値の比であるゲイン比に基づき、ゲイン比に応じた基準値を、他の色信号の上限値として定める（Ｓ１０２）。そして、他の色信号の出力レベルが基準値を超えないように、基準値に基づいたクリップ処理を実行する（Ｓ１０３）。
【００４５】
１枚目の撮影画像、２枚目の画像それぞれに対して色補正処理を施した後、２つの画像を加算平均によって重ね合わせる（Ｓ１０５）。そして、重ね合わせによって得られた合成画像は、ホワイトバランス調整処理される（Ｓ１０６）。なお、画像信号処理回路４０には、１枚目の撮影画像、２枚目の撮影画像を一時的に格納する画像メモリが設けられている。
【００４６】
このように本実施形態によれば、多重露出機能を備えたデジタルカメラにおいて、１フレーム分の撮影画像の中でＲ，Ｇ，Ｂの色信号すべてが飽和していない画像領域を対象にしてホワイトバランスゲイン値を求める。そして、出力レベルが最も高い（ホワイトバランスゲイン値が最も小さい）色信号と他の色信号とのゲイン比に応じた基準値に基づいてクリップ処理を施す。色補正処理後、画像の重ね合わせ処理を実施し、合成画像に対してホワイトバランス調整処理を施す。
【００４７】
このような色補正処理により、ＲＡＷデータで記録する場合においても、着色なく合成画像を生成することができる。また、ホワイトバランス調整前の合成画像をメモリへ記録することにより、色情報の欠損がないＲＡＷデータで画像編集などを行うことができる。
【００４８】
三枚以上の撮影画像を重ね合わせる場合、合成画像に対して新たに撮影した画像を重みづけ係数を用いて重ね合わせればよい。この倍、１枚目、２枚目の撮影画像に対して色補正処理を施した後は、最新の撮影画像に対してのみ色補正処理を施せばよい。
【００４９】
次に、図５を用いて、第２の実施形態について説明する。第２の実施形態では、画像処理としてシェーディング補正するときに色補正処理を行う。
【００５０】
シェーディング補正では、撮影画像周辺部などに影をつけるように、グラデーション処理をかける。このとき、Ｒ，Ｇ，Ｂ色信号の輝度レベルが部分的に下がるため、グラデーション対象の画像領域に色飽和部分が生じていると、シェーディング補正、そしてホワイトバランス調整後に着色が生じてしまう。そこで、シェーディング補正を行う前に、色補正処理を実施する。
【００５１】
図５は、色補正処理を含むシェーディング補正処理のフローチャートである。
【００５２】
ステップＳ２０１〜Ｓ２０３の実行は、図４のステップＳ１０１〜Ｓ１０３の実行に対応する。すなわち、色飽和のない画像領域を抽出し、Ｒ，Ｇ，Ｂの暫定的なホワイトバランスゲイン値を決定し、ホワイトバランスゲイン値から求められるゲイン比に応じた基準値に基づいて、クリップ処理を施す。そして、従来知られているシェーディング補正処理を実施した後、ホワイトバランス調整処理が行われる（Ｓ２０４、Ｓ２０５）。
【００５３】
第１、第２の実施形態以外の画像処理に対して色補正処理を行ってもよい（例えば、インターバル撮影など）。特に、撮影画像の輝度レベルを下げるような露出制御、画像処理を行う場合、色補正処理が有効である。また、カメラなどの撮影装置以外の撮影機能のない画像処理装置などにおいて、色補正処理を行ってもよい。
【符号の説明】
【００５４】
１０  デジタルカメラ
１４  イメージセンサ
３０  コントローラ（色補正処理部、設定部、色調整処理部）
４０  画像信号処理回路（色補正処理部、画像処理部）
【図１】
0006536000.tif 000002
【図２】
0006536000.tif 000003
【図３】
0006536000.tif 000004
【図４】
0006536000.tif 000005
【図５】
0006536000.tif 000006