(57)【要約】【課題】画像の内容を考慮してフラッシュ光混合比率の数値有効範囲を限定して、最適な最終ＷＢ係数値を算出。【解決手段】本発明に係る撮像装置は、フラッシュ発光画像およびフラッシュ非発光画像に基づいて、フラッシュ光混合比率を算出するフラッシュ光混合比率算出部１４５ａと、主被写体の領域のフラッシュ光混合比率を選択する主被写体光混合比率選択部１４５ｂと、ホワイトバランスの調整に用いられる予備ホワイトバランス係数を決定する予備ホワイトバランス係数決定部と、主被写体の光混合比率および予備ホワイトバランス係数に基づいて、フラッシュ光混合比率の有効範囲の上限値および下限値をそれぞれ算出する混合比率有効範囲算出部１４５ｃと、算出された有効範囲内となるように、フラッシュ光混合比率を再設定するフラッシュ光混合比率再設定部と、再設定されたフラッシュ光混合比率に基づいて、最終ホワイトバランス係数を算出する最終ホワイトバランス係数算出部１４５ｃと、を有する。【選択図】図２
2014127869.tif 000002
【特許請求の範囲】
【請求項１】
フラッシュ光を用いて撮像されるフラッシュ発光画像、および、フラッシュ光を用いずに外光により撮像されるフラッシュ非発光画像を取得する取得部と、
前記取得部により取得された前記フラッシュ発光画像および前記フラッシュ非発光画像に基づいて、フラッシュ光が前記フラッシュ発光画像の画素値に寄与する程度を示すフラッシュ光混合比率を算出するフラッシュ光混合比率算出部と、
前記フラッシュ発光画像および前記フラッシュ非発光画像の対応する一部の領域についての前記フラッシュ光混合比率を、局所フラッシュ光混合比率として選択する局所フラッシュ光混合比率選択部と、
ホワイトバランスの調整のために、前記フラッシュ光および外光用の予備ホワイトバランス係数を決定する予備ホワイトバランス係数決定部と、
選択された前記局所フラッシュ光混合比率および決定された前記予備ホワイトバランス係数に基づいて、前記フラッシュ光混合比率の有効範囲の上限値および下限値をそれぞれ算出する混合比率有効範囲算出部と、
算出された前記有効範囲内となるように、前記フラッシュ光混合比率算出部により算出された前記フラッシュ光混合比率を再設定するフラッシュ光混合比率再設定部と、
再設定された前記フラッシュ光混合比率に基づいて、前記フラッシュ発光画像に適用する最終ホワイトバランス係数を算出する最終ホワイトバランス係数算出部と、
を有する撮像装置。
【請求項２】
前記混合比率有効範囲算出部は、前記局所フラッシュ光混合比率を前記上限値として設定する請求項１に記載の撮像装置。
【請求項３】
前記混合比率有効範囲算出部は、前記フラッシュ光用の予備ホワイトバランス係数を、前記外光用の予備ホワイトバランス係数により除算して得られた暫定値に基づいて、前記フラッシュ光混合比率の下限値を算出する請求項１または２に記載の撮像装置。
【請求項４】
フラッシュ光を用いて撮像されるフラッシュ発光画像、および、フラッシュ光を用いずに外光により撮像されるフラッシュ非発光画像を取得するステップ（ａ）と、
取得された前記フラッシュ発光画像および前記フラッシュ非発光画像に基づいて、フラッシュ光が前記フラッシュ発光画像の画素値に寄与する程度を示すフラッシュ光混合比率を算出するステップ（ｂ）と、
前記フラッシュ発光画像および前記フラッシュ非発光画像の対応する一部の領域についての前記フラッシュ光混合比率を、局所フラッシュ光混合比率として選択するステップ（ｃ）と、
ホワイトバランスの調整のために、前記フラッシュ光および外光用の予備ホワイトバランス係数を決定するステップ（ｄ）と、
選択された前記局所フラッシュ光混合比率および決定された前記予備ホワイトバランス係数に基づいて、前記フラッシュ光混合比率の有効範囲の上限値および下限値をそれぞれ算出するステップ（ｅ）と、
算出された前記有効範囲内となるように、算出された前記フラッシュ光混合比率を再設定するステップ（ｆ）と、
再設定された前記フラッシュ光混合比率に基づいて、前記フラッシュ発光画像に適用する最終ホワイトバランス係数を算出するステップ（ｇ）と、
を含む撮像方法。
【請求項５】
前記ステップ（ｃ）において選択された前記局所フラッシュ光混合比率は、前記ステップ（ｅ）において算出される前記フラッシュ光混合比率の上限値として設定される、請求項４に記載の撮像方法。
【請求項６】
前記フラッシュ光用の予備ホワイトバランス係数を、前記外光用の予備ホワイトバランス係数により除算して暫定値を得るステップ（ｈ）と、
前記暫定値に基づいて、前記フラッシュ光混合比率の下限値を算出するステップ（ｉ）と、
をさらに含む、請求項４または５に記載の撮像方法。
【請求項７】
フラッシュ光を用いて撮像されるフラッシュ発光画像、および、フラッシュ光を用いずに外光により撮像されるフラッシュ非発光画像を取得する手順（ａ）と、
取得された前記フラッシュ発光画像および前記フラッシュ非発光画像に基づいて、フラッシュ光が前記フラッシュ発光画像の画素値に寄与する程度を示すフラッシュ光混合比率を算出する手順（ｂ）と、
前記フラッシュ発光画像および前記フラッシュ非発光画像の対応する一部の領域についての前記フラッシュ光混合比率を、局所フラッシュ光混合比率として選択する手順（ｃ）と、
ホワイトバランスの調整のために、前記フラッシュ光および外光用の予備ホワイトバランス係数を決定する手順（ｄ）と、
選択された前記局所フラッシュ光混合比率および決定された前記予備ホワイトバランス係数に基づいて、前記フラッシュ光混合比率の有効範囲の上限値および下限値をそれぞれ算出する手順（ｅ）と、
算出された前記有効範囲内となるように、算出された前記フラッシュ光混合比率を再設定する手順（ｆ）と、
再設定された前記フラッシュ光混合比率に基づいて、前記フラッシュ発光画像に適用する最終ホワイトバランス係数を算出する手順（ｇ）と、
を含む手順をコンピューターに実行させるための撮像プログラム。
【請求項８】
前記手順（ｃ）において選択された前記局所フラッシュ光混合比率は、前記手順（ｅ）において算出される前記フラッシュ光混合比率の上限値として設定される、請求項７に記載の撮像プログラム。
【請求項９】
前記フラッシュ光用の予備ホワイトバランス係数を、前記外光用の予備ホワイトバランス係数により除算して暫定値を得る手順（ｈ）と、
前記暫定値に基づいて、前記フラッシュ光混合比率の下限値を算出する手順（ｉ）と、
をさらに含む、請求項７または８に記載の撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【０００２】
従来、環境光（外光）やカメラ等のフラッシュ光を含む様々な光源のもとで撮像して得られた画像において、白色を自然に表現するためにホワイトバランスを調整することが知られている。ホワイトバランスを調整することによって、様々な光源に影響される被写体の色温度の差異を調整し、画像毎に光源に合わせて自然で適切な色合いを実現している。これを、自動ホワイトバランス（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ：ＡＷＢ）機能という。
【０００３】
これに関連した技術として、ＡＷＢ機能により算出したホワイトバランス係数値（以下、予備ＷＢ係数値という）を基に、フラッシュ光が画素値に寄与する程度を示すフラッシュ光混合比率を勘案して、最終的なＷＢ係数値（以下、最終ＷＢ係数値という）を求める技術がある（たとえば、特許文献１）。この技術では、まず、被写体にフラッシュ光を照射せずに撮像された画像（以下、フラッシュ非発光画像という）に対して、ＡＷＢ機能により、フラッシュ光を使用しない場合の、外光のみに関する外光用予備ＷＢ係数値が取得される。また、外光を含まない、フラッシュ光のみに関するフラッシュ光用予備ＷＢ係数値には、装置仕様や実測値等に基づく値が用いられる。
【０００４】
次に、フラッシュ光混合比率が算出される。フラッシュ光混合比率は、フラッシュ非発光画像、および、被写体にフラッシュ光を照射して撮像された画像（以下、フラッシュ発光画像という）の対応する画素を比較することで算出できる。手振れや外光の変化等が発生すると、フラッシュ発光画像とフラッシュ非発光画像との対応画素にズレが生じて、誤ったフラッシュ混合比率が算出される場合がある。
【０００５】
ここで、上記特許文献１の技術は、画素毎のフラッシュ光混合比率にＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）を適用する。画素毎にＬＰＦを適用するので、手振れや外光の変化等に起因してフラッシュ光混合比率の値が異常となる画素がある場合でも、周辺画素のフラッシュ光混合比率との対比において、フラッシュ光混合比率の変化がなだらかとなるように調整される。すなわち、画像全体にわたって、フラッシュ光混合比率の急峻な変化が抑制される。
【０００６】
最後に、変化がなだらかとなるように調整されたフラッシュ光混合比率を用いて、最終ＷＢ係数値が算出される。こうすることで、フラッシュ光の寄与度に対応した適切な最終ＷＢ係数値が得られ、画素間の最終ＷＢ係数値の画像内における変化を滑らかにする。この最終ＷＢ係数値をホワイトバランス調整に用いれば、画素間で急に変化するフラッシュ光混合比率が用いられることによる色ずれを低減できる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−６０５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載の技術のように、フラッシュ光混合比率にＬＰＦを適用してフラッシュ光混合比率の急峻な変化をなだらかとなるように抑制するだけでは不十分な場合がある。なぜなら、フラッシュ光混合比率の変化がなだらかでも、フラッシュ光混合比率の値の上下限が設定されていない。したがって、手振れ等によって対応する画素の位置がずれて誤ったフラッシュ光混合比率が算出されることで、異常に高いまたは低いフラッシュ光混合比率が算出されてしまう場合がある。これでは、異常な値のフラッシュ光混合比率に基づいて算出する最終ＷＢ係数値も適切ではなくなってしまい、この最終ＷＢ係数値を用いてホワイトバランス調整したとしても、結局、色ずれが発生する。
【０００９】
本願発明は、上記課題に鑑みてなされたものであり、画像の内容を考慮してフラッシュ光混合比率の数値有効範囲を限定して、最適な最終ＷＢ係数値を算出できる撮像装置、撮像方法および撮像プログラムを提供する。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本発明による撮像装置は、フラッシュ光を用いて撮像されるフラッシュ発光画像、および、フラッシュ光を用いずに外光により撮像されるフラッシュ非発光画像を取得する取得部と、前記取得部により取得された前記フラッシュ発光画像および前記フラッシュ非発光画像に基づいて、フラッシュ光が前記フラッシュ発光画像の画素値に寄与する程度を示すフラッシュ光混合比率を算出するフラッシュ光混合比率算出部と、前記フラッシュ発光画像および前記フラッシュ非発光画像の対応する一部の領域についての前記フラッシュ光混合比率を、局所フラッシュ光混合比率として選択する局所フラッシュ光混合比率選択部と、ホワイトバランスの調整のために、前記フラッシュ光および外光用の予備ホワイトバランス係数を決定する予備ホワイトバランス係数決定部と、選択された前記局所フラッシュ光混合比率および決定された前記予備ホワイトバランス係数に基づいて、前記フラッシュ光混合比率の有効範囲の上限値および下限値をそれぞれ算出する混合比率有効範囲算出部と、算出された前記有効範囲内となるように、前記フラッシュ光混合比率算出部により算出された前記フラッシュ光混合比率を再設定するフラッシュ光混合比率再設定部と、再設定された前記フラッシュ光混合比率に基づいて、前記フラッシュ発光画像に適用する最終ホワイトバランス係数を算出する最終ホワイトバランス係数算出部と、を有することを特徴とする。
【００１１】
また、上記目的を達成するための本発明による撮像方法は、フラッシュ光を用いて撮像されるフラッシュ発光画像、および、フラッシュ光を用いずに外光により撮像されるフラッシュ非発光画像を取得するステップ（ａ）と、取得された前記フラッシュ発光画像および前記フラッシュ非発光画像に基づいて、フラッシュ光が前記フラッシュ発光画像の画素値に寄与する程度を示すフラッシュ光混合比率を算出するステップ（ｂ）と、前記フラッシュ発光画像および前記フラッシュ非発光画像の対応する一部の領域についての前記フラッシュ光混合比率を、局所フラッシュ光混合比率として選択するステップ（ｃ）と、ホワイトバランスの調整のために、前記フラッシュ光および外光用の予備ホワイトバランス係数を決定するステップ（ｄ）と、選択された前記局所フラッシュ光混合比率および決定された前記予備ホワイトバランス係数に基づいて、前記フラッシュ光混合比率の有効範囲の上限値および下限値をそれぞれ算出するステップ（ｅ）と、算出された前記有効範囲内となるように、算出された前記フラッシュ光混合比率を再設定するステップ（ｆ）と、再設定された前記フラッシュ光混合比率に基づいて、前記フラッシュ発光画像に適用する最終ホワイトバランス係数を算出するステップ（ｇ）と、を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画像の内容を考慮してフラッシュ光混合比率の数値有効範囲を限定して、最適な最終ＷＢ係数値を算出できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本実施形態に係るＷＢ補正処理部の構成を示すブロック図である。
【図３】本実施形態に係るＷＢ補正処理部の処理の手順を示すフローチャートである。
【図４】本実施形態に係るＷＢ補正処理部によるフラッシュ光混合比率の上限値および下限値を取得するための処理の手順を示すフローチャートである。
【図５】本実施形態に係るＷＢ補正処理部により最終的なＷＢ係数値を算出するための処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を添付した図面を参照して説明する。
【００１５】
図１は、本発明の一実施形態に係る撮像装置の構成を示すブロック図である。図１に示すように、デジタルスチルカメラ等を含む本実施形態に係る撮像装置１は、主に、レンズ２、絞り４、シャッター６、ＣＣＤ／ＣＭＯＳ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｓｅ／Ｃｏｍｐｒｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）８、信号処理回路１０、前処理回路１２、後処理回路１４、変換回路１６、データ圧縮回路１８、メモリカードインターフェース２０、メモリカード２２、ＡＷＢ処理部２３、ＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）処理部２６、露光制御回路２８およびフラッシュ発光部３０を含む。これらの構成について、以下詳細に説明する。
【００１６】
レンズ２は、被写体からの光を受光する。絞り４は、レンズ２を介して入光した光を制限する。シャッター６は、撮像露光時間に合わせて絞り４を介して入光した光を取り込む。
【００１７】
ＣＣＤ／ＣＭＯＳ８は、光信号を電気的な信号に変換する撮像板である。すなわち、取得部としてのＣＣＤ／ＣＭＯＳ８は、レンズ２、絞り４およびシャッター６を介して入光した被写体からの光を受光し、受光した光を光電変換する。ＣＣＤ／ＣＭＯＳ８は、光電変換して得られた撮像画像データとしての電気的信号を、信号処理回路１０に送信する。
【００１８】
なお、本実施形態においては、被写体とは、ＣＣＤ／ＣＭＯＳ８により光電変換して生成された撮像画像内の主被写体および背景を含む全ての物体を指し、主被写体とは、被写体のうち、中心的な撮像対象として、ユーザが意図した人や物等を指す。
【００１９】
また、本実施形態では、一度の撮像動作で、２つの撮像画像の画像データが取得されるものとする。このうち、一方の撮像画像はフラッシュ３０を用いて撮像されるフラッシュ発光画像であり、他方の撮像画像はフラッシュ３０を用いずに撮像されるフラッシュ非発光画像である。これらの画像は、極短時間だけ開けて、ほぼ同時に撮像される。
【００２０】
信号処理回路１０は、色分別回路１０１およびＡ／Ｄ（Ａｎａｌｏｇ／Ｄｅｇｉｔａｌ）変換部１０２を有し、画素毎の電気的信号を赤色（Ｒ）、青色（Ｂ）および緑色（Ｇ）に分離したり、Ａ／Ｄ変換を実行したりする。
【００２１】
前処理回路１２は、黒レベル補正部１２１、欠陥画素補正部１２２、シェーディング補正部１２３、ＡＥ評価算出部１２４およびＡＷＢ評価算出部１２５を含む。
【００２２】
黒レベル補正部１２１は、画像内の最も暗い部分（黒レベル）が一定となるように補正することで、正確な色や輝度を表現する。
【００２３】
欠陥画素補正部１２２は、ＣＣＤ／ＣＭＯＳ８の欠陥等により画素値が正常ではない画素に対して、周辺画素の画素値に基づいて画素値を補正する。
【００２４】
シェーディング補正部１２３は、撮像画像が全体的に一様な明度を有するように補正して、輝度ムラを解消する。
【００２５】
ＡＥ評価算出部１２４は、撮像画像内の所定領域における輝度値を積算することで、明るさを表すＡＥ評価値を算出する。算出したＡＥ評価値はＡＥ処理部２６に出力される。
【００２６】
ＡＥ処理部２６は、ＡＥ評価算出部１２４により算出されたＡＥ評価値に基づいて、シャッター速度、絞りやＩＳＯ感度等のパラメータを決定し、これらのパラメータを露光制御回路２８に送信する。露光制御回路２８は、受信したパラメータに基づいて、絞り４、シャッター６、ＣＣＤ／ＣＭＯＳ８およびフラッシュ３０をそれぞれ制御する。
【００２７】
ＡＷＢ評価算出部１２５は、Ｒ、ＧおよびＢに関する各信号を積分してＡＷＢ評価値を算出し、算出したＡＷＢ評価値をＡＷＢ処理部２３に送信する。特に、ＡＷＢ評価算出部１２５は、フラッシュ非発光画像についてのＡＷＢ評価値を算出する。
【００２８】
ＡＷＢ処理部２３は、予備ホワイトバランス係数決定部として、撮像画像に対してＡＷＢ処理を施すための予備ＷＢ係数値を決定する。具体的には、ＡＷＢ処理部２３は、フラッシュ非発光画像に対して、上述のＡＷＢ評価算出部１２５により算出されたＡＷＢ評価値に基づいて予備ＷＢ係数値を算出し、算出して得た値を外光用ＷＢ係数値として決定する。一方、ＡＷＢ処理部２３は、撮像装置１の仕様に基づく規定値またはフラッシュ光についての実測値を、フラッシュ光用予備ＷＢ係数値として決定する。これらの規定値または実測値は、予めＡＷＢ処理部２３により保持、記憶されている。外光用予備ＷＢ係数値およびフラッシュ光用予備ＷＢ係数値として決定された値は、最終的なＷＢ係数値を算出するために後述するＷＢ補正処理部１４５に送信される。
【００２９】
前処理回路１２によって処理された撮像画像データは、適宜画像メモリ１３に格納される。また、画像メモリ１３は、たとえば撮像画像のノイズ低減処理のために統計的に分析される局所画像パターン群等を格納する。
【００３０】
後処理回路１４は、前処理回路１２から送信された撮像画像データを受信し、または、画像メモリ１３に格納された撮像画像データを読み込んで、前処理済みの撮像画像の画像データに後処理を実行する。図１に示したように、後処理回路１４は、デモザイキング処理部１４１、エッジ強調処理部１４２、色補正処理部１４３、ガンマ補正処理部１４４、ＷＢ補正処理部１４５およびノイズ低減処理部１４６を含む。
【００３１】
デモザイキング処理部１４１は、各画素における画像データから、周辺画素と比較して不足しているＲ、ＧまたはＢの色を推定し、周辺画素における色から不足分を推定して補う。
【００３２】
エッジ強調処理部１４２は、撮像画像データ内の輪郭を検出し、輪郭における色変化の勾配を急峻にすることで、よりシャープな画像を形成する。
【００３３】
色補正処理部１４３は、撮像画像内の各画素の色を補正する。
【００３４】
ガンマ補正処理部１４４は、ユーザ確認用に撮像シーンを映し出す小型ディスプレイ（不図示）や外部接続されたディスプレイ等においてより忠実な輝度で表示させるために、撮像画像データの画素値を補正する。
【００３５】
ＷＢ補正処理部１４５は、上述したＡＷＢ処理部２３から送信された予備ＷＢ係数値を、より適切な値に補正する。詳細は図２〜図５を参照して後述する。
【００３６】
ノイズ低減処理部１４６は、上述したＣＣＤ／ＣＭＯＳ８の発熱等に起因した、撮像画像内における画像データ内のノイズを低減する。
【００３７】
変換回路１６は、後処理回路１４により後処理された撮像画像データを受信し、ＲＧＢ色空間からＹＣｂＣｒ色空間に画像データを変換する。
【００３８】
変換回路１６によって変換された画像データは、データ圧縮部回路１８によって圧縮され、メモリカードインターフェース２０を介してメモリカード２２に格納される。
【００３９】
なお、撮像装置１の上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｇ  Ｕｎｉｔ）がフラッシュメモリ等の記憶部に格納されたプログラムを実行することによって各機能を発揮する。
【００４０】
次に、ＷＢ補正処理部１４５の機能構成をさらに説明する。
【００４１】
図２は、本実施形態に係るＷＢ補正処理部の構成を示すブロック図である。
【００４２】
図２に示すように、ＷＢ補正処理部１４５は、フラッシュ光混合比率算出部１４５ａ、主被写体混合比率選択部１４５ｂ、混合比率有効範囲算出部１４５ｃ、ＷＢ係数算出部１４５ｄおよびＷＢ調整部１４５ｅを含む。
【００４３】
フラッシュ光混合比率算出部１４５ａは、前処理回路１２により前処理された撮像画像データを取得する。上述したように、フラッシュ発光画像とフラッシュ非発光画像とは一度に撮像され、両画像に関する画像データが、画像データＡおよび画像データＢとしてフラッシュ光混合比率算出部１４５ａにより取得される。フラッシュ光混合比率算出部１４５ａは、画像データＡと画像データＢとを比較して、フラッシュ光がフラッシュ発光画像の画素値に寄与する程度を示すフラッシュ光混合比率を算出する。具体的には、画像データＡおよび画像データＢを対応する領域に区分し、領域毎に画素値の平均を算出し、画像データＡの平均値と画像データＢの平均値との割合に基づいて、フラッシュ光混合比率を算出する。領域毎のフラッシュ光混合比率の算出について、詳細は、数式１を参照しつつ後述する。
【００４４】
主被写体混合比率選択部１４５ｂは、撮像画像内の主被写体におけるフラッシュ光混合比率を設定する。主被写体混合比率選択部１４５ｂは、局所フラッシュ光混合比率選択部として、主被写体を表す領域に関する情報を取得し、主被写体の領域におけるフラッシュ光混合比率を主被写体混合比率として選択する。なお、主被写体の領域は、たとえば、タッチパネル等の入力部（不図示）においてユーザが指定した領域、追尾するようにユーザ設定された被写体の領域、自動フォーカス機能によりフォーカスされた領域である。
【００４５】
本実施形態では、主被写体の領域をユーザ選択により特定するので、主被写体領域のフラッシュ光混合比率を算出できる。具体的には、画像データＡおよび画像データＢの対応する主被写体領域内の画素値の平均から、主被写体のフラッシュ光混合比率を算出して、算出値を主被写体混合比率とする。領域毎のフラッシュ光混合比率の算出について、詳細は、数式１を参照しつつ後述する。
【００４６】
混合比率有効範囲算出部１４５ｃは、フラッシュ光混合比率の数値有効範囲（上限値および下限値）を算出する。具体的には、混合比率有効範囲算出部１４５ｃは、ＡＷＢ処理部２３から取得された外光用予備ＷＢ係数値およびフラッシュ光用予備ＷＢ係数値、並びに主被写体混合比率選択部１４５ｂにより選択された主被写体混合比率に基づいて、フラッシュ光混合比率の上限値および下限値を算出する。上限値および下限値の算出方法の詳細は後述する。なお、本実施形態において、外光とは、照明機器の光や太陽光等、撮像時の環境下におけるフラッシュ光以外の光である。
【００４７】
ＷＢ係数算出部１４５ｄは、ＡＷＢ処理部２３から、フラッシュ非発光画像のための外光用予備ＷＢ係数値と、フラッシュ光のＷＢ係数値であるフラッシュ光用予備ＷＢ係数値とを取得する。さらに、ＷＢ係数算出部１４５ｄは、フラッシュ光混合比率再設定部および最終ホワイトバランス係数算出部として、上述のフラッシュ光混合比率算出部１４５ａからフラッシュ光混合比率を取得し、混合比率有効範囲算出部１４５ｃからフラッシュ光混合比率の上限値および下限値を取得する。ＷＢ係数算出部１４５ｄは、取得したこれらの値に基づいて、フラッシュ発光画像において最適にホワイトバランスを調整するために、最終的なＷＢ係数値（最終ＷＢ係数値）を算出する。詳細は、図３〜５を参照しつつ後述する。
【００４８】
ＷＢ調整部１４５ｅは、ＷＢ係数算出部１４５ｄから取得された最終ＷＢ係数値を、フラッシュ発光画像の各画素の画素値に乗算することにより、フラッシュ発光画像のホワイトバランスを調整する。
【００４９】
次に、図３〜図５を参照して、本実施形態に係るＷＢ補正処理部１４５の動作態様について詳細に説明する。図３は本実施形態に係るＷＢ補正処理部の処理の手順を示すフローチャート、図４は本実施形態に係るＷＢ補正処理部によるフラッシュ光混合比率の上限値および下限値を取得するための処理の手順を示すフローチャート、図５は本実施形態に係るＷＢ補正処理部により最終的なＷＢ係数値を算出するための処理の手順を示すフローチャートである。なお、図３〜図５に示された処理は、フラッシュ３０を用いた撮像毎に実行されうる。最終的なＷＢ係数値は、以下、単に最終ＷＢ係数値と称する。
【００５０】
図３に示すように、まず、フラッシュ光混合比率算出部１４５ａは、画像データを取得する（ステップＳ１）。このステップでは、フラッシュ光混合比率算出部１４５ａは、フラッシュ３０を用いて撮像したフラッシュ発光画像の画像データ（画像データＡ）と、フラッシュ３０を用いずに撮像したフラッシュ非発光画像の画像データ（画像データＢ）を取得する。
【００５１】
続いて、ＷＢ係数算出部１４５ｄは、外光用予備ＷＢ係数値を取得する（ステップＳ２）。このステップで取得されるＷＢ係数値は、フラッシュ非発光画像に対してＡＷＢ機能により算出され、外光用の予備ＷＢ係数値として決定された値である。フラッシュ非発光画像に対する予備ＷＢ係数値の算出は周知の方法に基づき、説明を省略する。
【００５２】
続いて、ＷＢ係数算出部１４５ｄは、フラッシュ光用予備ＷＢ係数値を取得する（ステップＳ３）。このステップで取得されるＷＢ係数値は、上述したように、ＡＷＢ処理部２３によりフラッシュ光用の予備ＷＢ係数値として決定された値である。
【００５３】
続いて、フラッシュ光混合比率算出部１４５ａは、フラッシュ光混合比率を算出する（ステップＳ４）。このステップでは、フラッシュ光混合比率算出部１４５ａは、ステップＳ１で取得されたフラッシュ発光画像およびフラッシュ非発光画像に基づいて、フラッシュ光混合比率を算出する。具体的には、フラッシュ光混合比率算出部１４５ａは、フラッシュ発光画像およびフラッシュ非発光画像をそれぞれ均等な領域に同様に分割し、領域毎にフラッシュ光混合比率を算出する。たとえば、フラッシュ光混合比率算出部１４５ａは、フラッシュ発光画像およびフラッシュ非発光画像を、２×２の領域に４分割する。そして、フラッシュ光混合比率算出部１４５ａは、フラッシュ発光画像およびフラッシュ非発光画像の対応する領域毎に、緑色の画素における画素値の平均値を算出する。フラッシュ発光画像の画像データＡから算出した緑色の平均画素値ＧＡ、およびフラッシュ非発光画像の画像データＢから算出した緑色の平均画素値ＧＢから、下記数式１を用いてフラッシュ光混合比率（Ｒａｔｉｏ）を算出する。
【００５４】
【数１】
2014127869.tif 000003
【００５５】
領域毎に算出されたフラッシュ光混合比率（Ｒａｔｉｏ）は、主被写体混合比率選択部１４５ｂに出力される。また、当該フラッシュ光混合比率（Ｒａｔｉｏ）は、後のステップＳ７において、領域毎の最終的なフラッシュ光混合比率に再設定される。
【００５６】
続いて、主被写体混合比率選択部１４５ｂは、撮像画像内の主被写体におけるフラッシュ光混合比率を、主被写体混合比率として設定する（ステップＳ５）。具体的には、上述したように選択された主被写体領域に含まれる画素の画素値（またはその平均値）と上記数式１とを用いることによって、主被写体混合比率を算出する。算出された主被写体混合比率は、次ステップＳ６において、フラッシュ発光画像に対するフラッシュ光混合比率の有効範囲算出のために、混合比率有効範囲算出部１４５ｃに出力される。
【００５７】
続いて、混合比率有効範囲算出部１４５ｃは、フラッシュ光混合比率有効範囲を算出する（ステップＳ６）。このステップでは、混合比率有効範囲算出部１４５ｃは、フラッシュ発光画像に対する、フラッシュ光混合比率の数値有効範囲（上限値および下限値）を算出する。当該フラッシュ光混合比率の上限値および下限値は、ステップＳ２およびＳ３でそれぞれ取得された外光用予備ＷＢ係数値およびフラッシュ光用予備ＷＢ係数値、並びにステップＳ５で設定された主被写体混合比率に基づいて算出される。フラッシュ光混合比率の有効範囲の設定の詳細については、図４を参照しつつ、後述する。
【００５８】
続いて、混合比率有効範囲算出部１４５ｃは、フラッシュ光混合比率をクリッピングする（ステップＳ７）。このステップでは、混合比率有効範囲算出部１４５ｃは、フラッシュ光混合比率算出部１４５ａによって算出された２×２の領域毎のフラッシュ光混合比率を、ステップＳ６で求めたフラッシュ光混合比率の上限値および下限値間の有効範囲内の値となるようにクリッピングする。すなわち、各領域のフラッシュ光混合比率について、フラッシュ光混合比率が、上限値および下限値の間となるように再設定される。たとえば、フラッシュ混合比率が、上限値より大きい場合は上限値に設定され、下限値より小さい場合は下限値に設定される。フラッシュ光混合比率が有効範囲内である場合は、値はそのままで変更されない。こうして求められた有効範囲内の最終的なフラッシュ光混合比率の値は、最終ＷＢ係数値の算出のために、ＷＢ係数算出部１４５ｄに出力される。
【００５９】
続いて、ＷＢ係数算出部１４５ｄは、最終ＷＢ係数値を算出する（ステップＳ８）。このステップでは、ステップＳ２およびＳ３で取得した予備ＷＢ係数値、およびステップＳ７で再設定されたフラッシュ光混合比率に基づいて、ＷＢ係数算出部１４５ｄは、領域毎に最終ＷＢ係数値を算出する。最終ＷＢ係数値の算出の詳細については、図５を参照しつつ、後述する。
【００６０】
続いて、ＷＢ調整部１４５ｅは、フラッシュ発光画像についてホワイトバランスを調整する（ステップＳ９）。このステップでは、ＷＢ調整部１４５ｅは、前ステップＳ８で算出された領域毎の最終ＷＢ係数値を、フラッシュ発光画像の対応する領域における各画素の画素値に乗算することにより、フラッシュ発光画像のホワイトバランスを調整する。ホワイトバランス調整済みのフラッシュ発光画像は、ＷＢ調整部１４５ｅから出力される。その後、ＷＢ補正処理部１４５による処理は終了する。
【００６１】
以下、図４および図５を参照して、本実施形態に係るフラッシュ光混合比率の上限値および下限値の取得方法（ステップＳ６）、並びに最終ＷＢ係数値の算出方法（ステップＳ８）について詳細に説明する。
【００６２】
まず、図４を参照して、フラッシュ光混合比率の上限値および下限値の取得方法を説明する。
【００６３】
図４に示すように、まず、混合比率有効範囲算出部１４５ｃは、フラッシュ光混合比率の上限値を設定する（ステップＳ１１）。このステップでは、混合比率有効範囲算出部１４５ｃは、上記ステップＳ５で設定された主被写体混合比率をフラッシュ光混合比率の上限値（ＵＵ）として設定する。
【００６４】
続いて、混合比率有効範囲算出部１４５ｃは、フラッシュ光混合比率の下限値（ＬＬ）を算出する。そのために、まず、混合比率有効範囲算出部１４５ｃは、暫定値ｒ、ｇおよびｂを算出する（ステップＳ１２）。暫定値ｒ、ｇ、ｂとは、ＲＧＢ各色について、ステップＳ２で取得された外光用予備ＷＢ係数値（ＷＢＥ）に対する、ステップＳ３で取得されたフラッシュ光用予備ＷＢ係数値（ＷＢＦ）の割合である。暫定値は、下記数式２によって算出される。
【００６５】
【数２】
2014127869.tif 000004
【００６６】
ここで、ＷＢＲＦ、ＷＢＧＦおよびＷＢＢＦはＲＧＢ各色のフラッシュ光用予備ＷＢ係数値であり、ＷＢＲＥ、ＷＢＧＥおよびＷＢＢＥは各色の外光用予備ＷＢ係数値である。
【００６７】
続いて、混合比率有効範囲算出部１４５ｃは、主被写体に対するＷＢ係数値を算出する（ステップＳ１３）。このステップでは、主被写体に対する適切なＷＢ係数値を得るために、主被写体のフラッシュ光混合比率（すなわち、フラッシュ光混合比率の上限値（ＵＵ））に対応するＷＢ係数値を算出する。具体的には、フラッシュ光混合比率の上限値（ＵＵ）に対応する赤および青色のＷＢ係数値（ＷＢＲＵＵおよびＷＢＢＵＵ）を、下記数式３によって算出する。
【００６８】
【数３】
2014127869.tif 000005
【００６９】
なお、本実施形態のように緑色を基準に赤および青色によりホワイトバランスを調整する場合には、フラッシュ発光画像およびフラッシュ非発光画像に対する緑色のＷＢ係数値は、ＷＢＧＦ＝ＷＢＧＥとなるように補正されうる。
【００７０】
続いて、混合比率有効範囲算出部１４５ｃは、ＷＢ係数値の最大値および最小値を算出する（ステップＳ１４）。このステップでは、上記数式２を用いて算出された暫定値ｒ，ｇおよびｂの大小関係に基づいて、外光用予備ＷＢ係数値、フラッシュ光用予備ＷＢ係数値、および、フラッシュ光混合比率の上限値（ＵＵ）に対応するＷＢ係数値それぞれについて、最大値および最小値を決定する。すなわち、外光用予備ＷＢ係数値ＷＢＲＥ、ＷＢＢＥ、ＷＢＧＥのうち最大値ＭＡＸＥおよび最小値ＭＩＮＥ、フラッシュ光用予備ＷＢ係数値ＷＢＲＦ、ＷＢＢＦ、ＷＢＧＦのうち最大値ＭＡＸＦおよび最小値ＭＩＮＦ、上記数式２で算出したＷＢＲＵＵ、ＷＢＢＵＵ、ＷＢＧＵＵのうち最大値ＭＡＸＵＵおよび最小値ＭＩＮＵＵを、下記数式４から決定する。
【００７１】
【数４】
2014127869.tif 000006
【００７２】
続いて、混合比率有効範囲算出部１４５ｃは、彩度差の閾値を設定する（ステップＳ１５）。このステップでは、フラッシュ光混合比率の上記上限値（ＵＵ）に対する下限値（ＬＬ）を設定するために、混合比率有効範囲算出部１４５ｃは、彩度差（Ｓ）の閾値（ＳＬｉｍ）を設定する。ここで、後述するように彩度差（Ｓ）は、主被写体フラッシュ光混合比率の上下限値に対応するＷＢ係数値のバラツキを表す値である。後述するように、この彩度差（Ｓ）に閾値（ＳＬｉｍ）を設定することによって、当該ＷＢ係数値のバラツキを制限できる。彩度差の閾値（ＳＬｉｍ）は、たとえば、“０．３５”等の値で予め設定されて記憶部等に格納され、混合比率有効範囲算出部１４５ｃにより読み出されうる。当該閾値は、当然その都度ユーザにより設定される値でもよい。
【００７３】
ここで、彩度差（Ｓ）とは、フラッシュ光混合比率の下限値（ＬＬ）に対応するＷＢ係数値（ＷＢＬＬ）に対する、主被写体フラッシュ光混合比率の上限値（ＵＵ）に対応するＷＢ係数値（ＷＢＵＵ）の割合に基づく値である。換言すると、彩度差（Ｓ）は、主被写体フラッシュ光混合比率の上下限値に対応するＷＢ係数値のバラツキを表す。その詳細な定義は、下記数式５および６に示す通りである。
【００７４】
【数５】
2014127869.tif 000007
【００７５】
ここで、ｒ，ｇ，ｂは、
【００７６】
【数６】
2014127869.tif 000008
【００７７】
により表される値であり、ＭＡＸ（ｒ，ｇ，ｂ）はｒ，ｇ，ｂのうちの最大値、ＭＩＮ（ｒ，ｇ，ｂ）はｒ，ｇ，ｂのうちの最小値である。
【００７８】
なお、この段階では、フラッシュ光混合比率の下限値（ＬＬ）に対応するＷＢ係数値（ＷＢＬＬ）は未知数であり、したがって彩度差（Ｓ）も未知であるが、以下に述べるように、彩度差（Ｓ）の閾値（ＳＬｉｍ）を用いることで、下限値（ＬＬ）を算出する。
【００７９】
続いて、混合比率有効範囲算出部１４５ｃは、フラッシュ光混合比率の下限値を算出する（ステップＳ１６）。このステップでは、上記数式４で求めた、フラッシュ光用ＷＢ係数値、外光用ＷＢ係数値、主被写体のＷＢ係数値のうちの最大値（ＭＡＸ）および最小値（ＭＩＮ）、並びに彩度差の閾値（ＳＬｉｍ）を用いて、下記数式７によりフラッシュ混合比率の下限値（ＬＬ）を算出する。
【００８０】
【数７】
2014127869.tif 000009
【００８１】
このように、本実施形態では、フラッシュ光混合比率の上限値（ＵＵ）（すなわち主被写体フラッシュ光混合比率）に対応するＷＢ係数値をまず算出する。そして、当該ＷＢ係数値を含む予備ＷＢ係数値と、フラッシュ光混合比率のバラツキを制限するように作用する彩度差閾値とを用いて、フラッシュ光混合比率の下限値（ＬＬ）を算出する。すなわち、フラッシュ光混合比率の有効範囲が求められる。主被写体のフラッシュ光混合比率に基づいてフラッシュ光混合比率の有効範囲を求めるので、主被写体を基準としたフラッシュ光混合比率を再設定できる。
【００８２】
その後、上述のステップＳ７に処理が進む。
【００８３】
次に、上記ステップＳ８の最終ＷＢ係数値を算出する処理の手順について説明する。
【００８４】
図５に示したように、まず、ＷＢ係数算出部１４５ｄは、カラーバランス値を算出する（ステップＳ２１）。このステップでは、ＷＢ係数算出部１４５ｄは、外光およびフラッシュ光について、ステップＳ２および３でそれぞれ決定された予備ＷＢ係数値を逆数にする。こうすることで、フラッシュ光の光源色の予備カラーバランス値（ＣＢＦ）と外光の予備カラーバランス値（ＣＢＥ）とを、ＲＧＢ各色について算出する。
【００８５】
続いて、ＷＢ係数算出部１４５ｄは、各色の混合カラーバランス値を算出する（ステップＳ２２）。このステップでは、ＷＢ係数算出部１４５ｄは、ステップＳ７で取得された最終的なフラッシュ光混合比率（Ｒａｔｉｏ’）、並びに、ステップＳ２１で算出した予備カラーバランス値（ＣＢＦ）および（ＣＢＥ）に基づいて、混合カラーバランス値（ＣＢＭｉｘ）を算出する。具体的には、ＷＢ係数算出部１４５ｄは、下記数式８により、外光およびフラッシュ光のカラーバランスを勘案した、混合カラーバランス値（ＣＢＭｉｘ）をＲＧＢ各色について算出する。
【００８６】
【数８】
2014127869.tif 000010
【００８７】
ここで、ｉおよびｊは撮像画像内の領域を特定するための自然数の変数である。
【００８８】
続いて、ＷＢ係数算出部１４５ｄは、最終ＷＢ係数を算出する（ステップＳ２３）。このステップでは、ＷＢ係数算出部１４５ｄは、ステップＳ２２で算出した各色の混合カラーバランス値（ＣＢＭｉｘ）を逆数にすることにより、各領域における最終ＷＢ係数値を算出する。具体的には、最終ＷＢ係数値（ＷＢＭｉｘ）は、下記数式９によって算出される。
【００８９】
【数９】
2014127869.tif 000011
【００９０】
続いて、ＷＢ係数算出部１４５ｄは、最終ＷＢ係数値を正規化する（ステップＳ２４）。このステップでは、ステップＳ２３で算出した全ての領域および色に関するＷＢ係数値の最小値が１．０となるように、ＷＢ係数値を正規化する。正規化されたＷＢ係数値は、ＷＢ係数補正部１４５ｅに出力される。
【００９１】
その後、上記のステップＳ９に処理が進む。
【００９２】
以上のように、本実施形態によれば、フラッシュ光混合比率の数値有効範囲を、主被写体の領域（画像全体のうち一部の領域）により算出した局所フラッシュ光混合比率を考慮して設定する。したがって、手振れや外光の変化等により、実際とは乖離したフラッシュ光混合比率が得られる場合でも、少なくとも数値有効範囲内にクリッピングでき、フラッシュ光混合比率が適切な値となる。このようなフラッシュ光混合比率を用いることで、最終ＷＢ係数値も適切になり、色ずれを効果的に軽減できる。特に、主被写体領域を考慮したフラッシュ光混合比率の上限値と下限値が設定されるので、主被写体に対するフラッシュ光混合比率を損なうことなく主被写体を基準とした最終ＷＢ係数値を算出でき、主被写体において最適なホワイトバランス調整を保障できる。結果として、ユーザにとって満足できる画像が得られる。このように、上記実施形態によれば、主被写体に対するホワイトバランス調整を最適化すると同時に、画像全体にわたって好適なホワイトバランス調整が可能となる。
【００９３】
以上本発明を適用した実施形態を説明したが、そのほか、本願の特許請求の範囲に記載した技術思想の範囲内でさまざまな変形形態が可能であることは言うまでもない。
【００９４】
たとえば、フラッシュ光混合比率は、２×２に分割された領域毎に算出されると述べたがこれに限定されない。分割領域は任意の領域でもよく、または領域毎にではなくＣＦＡ（Ｃｏｌｏｒ  Ｆｉｌｔｅｒ  Ａｒｒａｙ）単位でもよい。
【００９５】
また、ステップＳ１２において、フラッシュ光混合比率の下限値（ＬＬ）を算出したが、フラッシュ光混合比率の上限値（ＵＵ）に対応するＷＢ係数（ＷＢＵＵ）を算出したように、当該下限値（ＬＬ）に対応したＷＢ係数値（ＷＢＬＬ）を算出してもよい。具体的は、算出された下限値（ＬＬ）を、数式３の右辺において、ＵＵの代りにＬＬを代入することによって、下限値に対応したＷＢ係数値（ＷＢＬＬ）を追加的に算出できる。これにより、数式５および数式６を用いて、確認等のために彩度差（Ｓ）を算出してもよい。
【００９６】
また、ＲＧＢ各色の予備ＷＢ係数値または最終ＷＢ係数値は、いかようにも設定できる。たとえば、フラッシュ発光画像およびフラッシュ非発光画像において、緑色のＷＢ係数値ＷＢＧを１．０に固定して、ＲおよびＢを変更してホワイトバランスを調整してもよい。
【００９７】
上記本実施形態にかかる撮像装置における各種処理を行う手段および方法は、専用のハードウエア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、メモリスティックおよびＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、撮像システムの一機能としてその装置のソフトウエアに組み込まれてもよい。
【符号の説明】
【００９８】
１        撮像装置、
２        レンズ、
４        絞り、
６        シャッター、
８        ＣＣＤ／ＣＭＯＳ（取得部）、
１０      信号処理回路、
１０１    色分別回路、
１０２    Ａ／Ｄ変換部、
１２      前処理回路、
１２１    黒レベル補正部、
１２２    欠陥画素補正部、
１２３    シェーディング補正部、
１２４    ＡＥ評価算出部、
１２５    ＡＷＢ評価算出部、
１３      画像メモリ、
１４      後処理回路、
１４１    デモザイキング処理部、
１４２    エッジ強調処理部、
１４３    色補正処理部、
１４４    ガンマ補正処理部、
１４５    ＷＢ補正処理部、
１４５ａ  フラッシュ光混合比率算出部、
１４５ｂ  主被写体混合比率選択部（局所フラッシュ光混合比率選択部）、
１４５ｃ  混合比率有効範囲算出部、
１４５ｄ  ＷＢ係数算出部（フラッシュ光混合比率再設定部、最終ホワイトバランス係数算出部）、
１４５ｅ  ホワイトバランス調整部、
１４６    ノイズ低減処理部、
１６      変換回路、
１８      データ圧縮部回路、
２０      メモリカードインターフェース、
２２      メモリカード、
２３      ＡＷＢ処理部（予備ホワイトバランス係数決定部）、
２６      ＡＥ処理部、
２８      露光制御回路、
３０      フラッシュ。
【図１】
2014127869.tif 000012
【図２】
2014127869.tif 000013
【図３】
2014127869.tif 000014
【図４】
2014127869.tif 000015
【図５】
2014127869.tif 000016