(57)【要約】【課題】ホワイトバランス調整におけるカラーフェリアを安定して低減することが可能なホワイトバランス調整装置を提供することを目的とする。【解決手段】ホワイトバランス調整装置であって、被写体を撮影して得られる画像を複数の分割領域に分割する分割部と、分割領域ごとに被写体の色情報を生成する色情報生成部と、分割領域ごとに被写体の被写体輝度を算出する被写体輝度算出部と、分割領域ごとの色情報および被写体輝度に基づいて、分割領域ごとに、推定される光源、信頼度および補正量の少なくとも一つを含む光源推定情報を取得する光源推定部と、分割領域ごとの光源推定情報に基づいて、ホワイトバランス係数を算出するホワイトバランス係数算出部と、ホワイトバランス係数を用いて、被写体を撮影して得られる画像のホワイトバランス調整を行うホワイトバランス調整部と、を備える構成とした。【選択図】図２
2015192179.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して得られる画像を複数の分割領域に分割する分割部と、
前記分割領域ごとに被写体の色情報を生成する色情報生成部と、
前記分割領域ごとに被写体の被写体輝度を算出する被写体輝度算出部と、
前記分割領域ごとの色情報および被写体輝度に基づいて、前記分割領域ごとに、推定される光源、信頼度および補正量の少なくとも一つを含む光源推定情報を取得する光源推定部と、
前記分割領域ごとの光源推定情報に基づいて、ホワイトバランス係数を算出するホワイトバランス係数算出部と、
前記ホワイトバランス係数を用いて、前記被写体を撮影して得られる画像のホワイトバランス調整を行うホワイトバランス調整部と、を備えることを特徴とするホワイトバランス調整装置。
【請求項２】
前記被写体輝度算出部は、前記分割領域ごとの輝度信号および前記被写体撮影時の露出情報を用いて、前記被写体輝度を算出する、請求項１に記載のホワイトバランス調整装置。
【請求項３】
前記分割領域ごとの色情報および輝度信号は、所定のホワイトバランス係数の乗算または所定の線形マトリクス演算を行って生成される、請求項２に記載のホワイトバランス調整装置。
【請求項４】
前記光源推定部は、複数の光源にそれぞれ対応する複数の白検出枠を含む白検出枠群を用いて前記光源推定情報を取得する、請求項１から３のいずれか一項に記載のホワイトバランス調整装置。
【請求項５】
前記複数の光源にそれぞれ対応する複数の白検出枠には、信頼度および補正量の少なくともいずれか一つが設定される、請求項４に記載のホワイトバランス調整装置。
【請求項６】
前記光源推定部は、
前記白検出枠群を複数備え、
前記分割領域ごとの被写体輝度に応じて、前記複数の白検出枠群のいずれかを選択し、
前記選択した白検出枠群を用いて、前記光源推定情報を取得する、請求項４または５に記載のホワイトバランス調整装置。
【請求項７】
前記複数の白検出枠群は、前記複数の白検出枠の配置、該白検出枠に設定される信頼度および補正量の少なくとも一つが異なる、請求項６に記載のホワイトバランス調整装置。
【請求項８】
前記白検出枠群は、さらに、所定の光源下における物体色の検出枠を含む、請求項４から７のいずれか一項に記載のホワイトバランス調整装置。
【請求項９】
撮影光学系を通過した光束に基づいて前記被写体を撮影する撮影部と、
請求項１から８のいずれか一項に記載のホワイトバランス調整装置と、
を備えることを特徴とする、撮影装置。
【請求項１０】
被写体を撮影して得られる画像のホワイトバランスを調整するためのホワイトバランス調整方法であって、
被写体を撮影して得られる画像を複数の分割領域に分割するステップと、
前記分割領域ごとに被写体の色情報を生成するステップと、
前記分割領域ごとに被写体の被写体輝度を算出するステップと、
前記分割領域ごとの色情報および被写体輝度に基づいて、前記分割領域ごとに、推定される光源、信頼度、または補正量の少なくとも一つを含む光源推定情報を取得するステップと、
前記取得された光源推定情報に基づいて、ホワイトバランス係数を算出するステップと、
前記ホワイトバランス係数を用いて、前記被写体を撮影して得られる画像のホワイトバランス調整を行うステップと、を含むことを特徴とする、ホワイトバランス調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトバランス調整装置、該ホワイトバランス調整装置を備える撮影装置、およびこれらの装置におけるホワイトバランス調整方法に関する。
【背景技術】
【０００２】
一般的な電子カメラには、無彩色の被写体を光源色に依らず無彩色に表現する為のホワイトバランス調整機能（オートホワイトバランス）が搭載されている。ホワイトバランス調整機能としては、カメラから得られた画像の色情報から無彩色に該当すると推測される情報を抽出し、積算あるいは加重平均した結果を基にして光源の推定を行う手法がよく知られている。この手法の場合、各光源下において無彩色の被写体がどのような範囲の出力信号として得られるのかという情報（以下、「白検出枠」と称する）を保持しておき、画像の色情報が白検出枠に一致するか否かに基づいて、無彩色に該当するか否かを判別する。
【０００３】
しかしながら、上記手法においては、物体色と無彩色とを正確に判別できない場合がある。具体的な例を示す。蛍光灯は黒体放射軌跡から外れた緑色に寄った光源であることが多い。したがって、蛍光灯の光源色に対してホワイトバランス調整を行う為には、その光源に該当するように緑色領域に白検出枠を設定して、その白検出枠に一致する色情報を無彩色の被写体として抽出する必要がある。しかしながら、太陽光源下における薄緑色や日陰における緑色なども蛍光灯と同じ色情報を持っているため、蛍光灯の白検出枠に一致する。このような場合、蛍光灯光源下における無彩色以外の物体色についても、無彩色として扱ってホワイトバランス調整が行われてしまう。その結果、全体として青色や紫色がかった調子となり色再現として好ましくない結果（いわゆるカラーフェリア）になるといった問題があった。
【０００４】
このような問題を解決するため、特許文献１および特許文献２では、緑領域の色情報が無彩色なのか物体色なのかを判定した上で、ホワイトバランス調整を行う手法が提案されている。特許文献１に記載されるホワイトバランス調整装置では、評価の対象である画素が緑色の色情報を有する場合、平均輝度信号Ｙを所定の閾値と比較する。そして、平均輝度信号Ｙが所定の閾値を下回る場合は無彩色であると判定し、そうでない場合は物体色であると判定してホワイトバランス調整への影響を除く構成となっている。また、特許文献２に記載される画像処理装置では、露出に関する情報から求められる被写体照度Ｂｖと緑信号の彩度に基づいて光源を推定し、太陽光源下の物体色なのか、蛍光灯光源下の無彩色なのかを判定する構成となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０８−０７９７８６号公報
【特許文献１】特開２００８−０７２５７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載される構成では、無彩色か物体色かの判定に、撮像信号から得られる平均輝度信号Ｙ（すなわち相対的な輝度）を用いるため、露出条件や構図変化の影響を受けやすい。極端に言えば、画面全体にカラーフェリアが発生しやすい被写体を入れて撮影した場合において物体色を光源色と判定しまうこともあれば、同じ構図であっても露出をオーバーあるいはアンダーに撮影すると輝度判定の閾値が変化することで物体色と無彩色の判定が反転する可能性がある。また、特許文献２に記載される構成では、露出に関する情報から求められる被写体輝度Ｂｖを用いているものの、この場合の被写体輝度Ｂｖは、画面全体の評価値であるため、構図や周囲の被写体に対する依存性が強く、判定の安定性が低いと考えられる。また、色情報として彩度のみを使用しているため、光源を推定する際の精度が低くなる可能性もある。そのため、特許文献１および特許文献２に記載される構成を用いた場合にも、依然としてカラーフェリアが発生する恐れがある。
【０００７】
さらに、カラーフェリアの問題は、蛍光灯以外の他光源の白検出枠に対しても発生する。例えば、白熱灯光源下における無彩色と太陽光源下における人肌（物体色）、日陰における無彩色と青空（物体色）などである。これらに対しても、無彩色なのか物体色なのかを適切に判定した上で、ホワイトバランスの調整を行うことが望まれる。
【０００８】
本発明は上記の事情に鑑みてなされたものであり、ホワイトバランス調整におけるカラーフェリアを安定して低減することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の実施形態に係るホワイトバランス調整装置は、被写体を撮影して得られる画像を複数の分割領域に分割する分割部と、分割領域ごとに被写体の色情報を生成する色情報生成部と、分割領域ごとに被写体の被写体輝度を算出する被写体輝度算出部と、分割領域ごとの色情報および被写体輝度に基づいて、分割領域ごとに、推定される光源、信頼度および補正量の少なくとも一つを含む光源推定情報を取得する光源推定部と、分割領域ごとの光源推定情報に基づいて、ホワイトバランス係数を算出するホワイトバランス係数算出部と、ホワイトバランス係数を用いて、被写体を撮影して得られる画像のホワイトバランス調整を行うホワイトバランス調整部と、を備えることを特徴とする。
【００１０】
このように構成することにより、構図や周囲の被写体に影響を受けることなく、適切なホワイトバランス係数を算出することが可能となる。これにより、カラーフェリアの少ないホワイトバランス調整処理を行うことができる。
【００１１】
また、上記被写体輝度算出部は、分割領域ごとの画像の輝度信号および被写体撮影時の露出情報を用いて、被写体輝度を算出しても良い。また、上記分割領域ごとの色情報および画像の輝度信号は、所定のホワイトバランス係数の乗算および所定の線形マトリクス演算を行って生成されても良い。これにより、正確な色情報および輝度値を求めることが可能となる。
【００１２】
また、上記光源推定部は、複数の光源にそれぞれ対応する複数の白検出枠を含む白検出枠群を用いて光源推定情報を取得しても良い。さらに、複数の光源にそれぞれ対応する複数の白検出枠には、信頼度および補正量の少なくともいずれか一つが設定されても良い。
【００１３】
また、上記光源推定部は、白検出枠群を複数備え、分割領域ごとの被写体輝度に応じて、複数の白検出枠群のいずれかを選択し、選択した白検出枠群を用いて、光源推定情報を取得しても良い。さらに、複数の白検出枠群は、複数の白検出枠の配置、該白検出枠に設定される信頼度および補正量の少なくとも一つが異なっても良い。これにより、実際の被写体の状況に近い光源の推定を行うことが可能となるとともに、光源推定が難しい場合の影響を低減することもできる。
【００１４】
また、上記白検出枠群は、さらに、所定の光源下における物体色の検出枠を含んでも良い。
【００１５】
また、本発明の実施形態に係る撮影装置は、撮影光学系を通過した光束に基づいて被写体を撮影する撮影部と、上記いずれかのホワイトバランス調整装置と、を備えることを特徴とする。
【００１６】
さらに、本発明の実施形態に係るホワイトバランス調整方法は、被写体を撮影して得られる画像のホワイトバランスを調整するため方法であって、被写体を撮影して得られる画像を複数の分割領域に分割するステップと、分割領域ごとに被写体の色情報を生成するステップと、分割領域ごとに被写体の被写体輝度を算出するステップと、分割領域ごとの色情報および被写体輝度に基づいて、分割領域ごとに、推定される光源、信頼度、または補正量の少なくとも一つを含む光源推定情報を取得するステップと、取得された光源推定情報に基づいて、ホワイトバランス係数を算出するステップと、ホワイトバランス係数を用いて、被写体を撮影して得られる画像のホワイトバランス調整を行うステップと、を含むことを特徴とする。
【発明の効果】
【００１７】
本実施形態のホワイトバランス調整装置、撮影装置およびホワイトバランス調整方法によれば、より正確に被写体の状況を判別して適切なホワイトバランス係数を算出することで、ホワイトバランス調整におけるカラーフェリアを低減することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の実施形態に係る撮影装置の概略構成を示すブロック図である。
【図２】図２は、本発明の実施形態に係る撮影装置の画像処理部における機能ブロック図である。
【図３】図３は、本発明の実施形態に係るホワイトバランス調整処理を示すフローチャートである。
【図４】図４は、本発明の実施形態に係るホワイトバランス調整処理で用いられる中輝度用の白検出枠群の例を示す図である。
【図５】図５は、本発明の実施形態に係るホワイトバランス調整処理で用いられる高輝度用の白検出枠群の例を示す図である。
【図６】図６は、本発明の実施形態に係るホワイトバランス調整処理で用いられる低輝度用の白検出枠群の例を示す図である。
【図７】図７は、本発明の実施形態に係るホワイトバランス調整処理で求められる光源推定情報の例を示す表である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態の撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。尚、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。
【００２０】
［撮影装置１の構成］
図１は、本実施形態の撮影装置１の概略構成を示すブロック図である。図１に示されるように、撮影装置１は、撮影レンズ１１、絞り１２、シャッタ１３、撮像素子１４、ＡＧＣ（Automatic Gain Controller）１５、信号処理部２０、操作部３０、ＬＣＤ（Liquid Crystal Display）４０、ＲＯＭ（Read Only Memory）５０およびメモリカード６０を備えている。また、信号処理部２０は、ＣＰＵ２１、画像処理部２２、撮像素子駆動部２３、絞り・シャッタ駆動部２４、ＬＣＤ制御部２５、メディアインターフェース（以下、「メディアＩ/Ｆ」という）２６を備えている。
【００２１】
操作部３０には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが押されると、図示省略されたバッテリから撮影装置１の各部に電源ラインを通じて電源供給が行われる。ＣＰＵ２１は、電源供給後、ＲＯＭ５０にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。
【００２２】
レリーズスイッチが操作されると、ＣＰＵ２１は、撮影装置１に内蔵されたＴＴＬ（Through The Lens）露出計（不図示）で測定された測光値に基づき適正露出が得られるように、絞り・シャッタ駆動部２４を介して絞り１２及びシャッタ１３を駆動制御する。より詳細には、絞り１２およびシャッタ１３の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ速度優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。また、ＣＰＵ２１はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。尚、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。
【００２３】
被写体からの光束は、撮影レンズ１１、絞り１２、シャッタ１３を通過して撮像素子１４により受光される。撮像素子１４は、例えばベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサであり、撮像素子駆動部２３から供給される垂直同期信号および水平同期信号に基づいて駆動する。撮像素子１４は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各色に応じた撮像信号に変換し、ＡＧＣ１５に出力する。尚、撮像素子１４は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の他のイメージャであってもよい。ＡＧＣ１５は、撮像素子１４から得られた撮像信号を所定レベルに増幅（または減衰）し、画像処理部２２に出力する。尚、別の実施例においては、絞り１２または撮像素子１４が、シャッタ１３またはＡＧＣ１５の機能を内蔵しても良い。
【００２４】
画像処理部２２は、撮像素子１４より入力される電気信号（撮影データ）に対して、マトリクス演算、Ｙ／Ｃ分離、ホワイトバランス調整等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。また、画像処理部２２は、メディアＩ／Ｆ２６を介して、カードスロットに着脱可能に差し込まれるメモリカード６０と通信可能である。画像処理部２２は、生成された圧縮画像信号（撮影画像データ）をメモリカード６０（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。
【００２５】
さらに、画像処理部２２は、生成された画像信号をフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理部２２は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御部２５に出力する。ＬＣＤ制御回路２５は、画像処理部２２より入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮影画像がＬＣＤ４０の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画を、ＬＣＤ４０の表示画面を通じて視認することができる。
【００２６】
画像処理部２２は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データを、メモリカード６０または内蔵メモリより読み出して所定のフォーマットの画像信号に変換し、ＬＣＤ制御部２５に出力する。ＬＣＤ制御部２５が画像処理部２２より入力される画像信号を基に液晶を変調制御することで、被写体の撮影画像がＬＣＤ４０の表示画面に表示される。
【００２７】
［ホワイトバランス調整処理］
続いて、本実施形態の画像処理部２２におけるホワイトバランス調整処理について図２から図７を参照して説明する。図２は、画像処理部２２のホワイトバランス調整処理に関する機能ブロックを示す図であり、図３は、ホワイトバランス調整処理の流れを示すフローチャートである。尚、以下の説明では「ホワイトバランス」を「ＷＢ」と表記する。
【００２８】
図２に示されるように、画像処理部２２は、画像分割部２０１、信号検波部２０２、輝度信号生成部２０３、被写体輝度算出部２０４、色信号生成部２０５、光源推定部２０６、ＷＢ係数算出部２０７およびＷＢ調整部２０８を備える。これらの機能部は、ＣＰＵ２１で実行されるソフトウェアとして構成され、各機能部によってＷＢ調整処理が実行される。尚、これらの機能部の少なくとも一部をハードウェアで構成しても良い。
【００２９】
図３に示されるように、本実施形態のＷＢ調整処理では、まず、露出情報として、Ａｖ（Aperture Value）、Ｔｖ（Time Value）およびＳｖ（Sensitivity Value）を取得する（Ｓ１）。取得した情報は、被写体輝度算出部２０４に入力される。続いて、画像分割部２０１にて、撮像素子１４の全有効画素に対応する画像をＮ個の分割領域に等分割する（Ｓ２）。一例として、Ｎ＝２５６とし、画面を水平１６分割×垂直１６分割する。
【００３０】
続いて、ｎに０を入力する（Ｓ３）。ｎは、処理対象の分割領域を表す変数である。そして、ｎがＮ（分割領域の総数）より小さいか否かを判断する（Ｓ４）。そして、ｎがＮより小さい場合（Ｓ４：ＹＥＳ）、信号検波部２０２において、分割領域[ｎ]における撮像信号のＲＧＢ値を積算して、Ｒ[ｎ]、Ｇ[ｎ]、Ｂ[ｎ]を取得する（Ｓ５）。この場合のＲ[ｎ]、Ｇ[ｎ]、Ｂ[ｎ]は、分割領域[ｎ]に含まれる画素全てのＲ成分、Ｇ成分、Ｂ成分それぞれについて加算平均して算出する。尚、Ｒ[ｎ]、Ｇ[ｎ]、Ｂ[ｎ]の算出方法は、平均値に限定されるものではなく、その他の公知の算出方法によるものであっても良い。また、画素欠陥のような画素は算出に含まなくても良い。
【００３１】
続いて、輝度信号生成部２０３および色信号生成部２０５において、分割領域[ｎ]におけるＲ[ｎ]、Ｇ[ｎ]、Ｂ[ｎ]を、輝度信号Ｙ[ｎ]および色信号Ｃｘ[ｎ]、Ｃｙ[ｎ]にそれぞれ変換する（Ｓ６）。輝度信号Ｙ[ｎ]の算出方法は問わないが、単純にＧ [ｎ]の評価値をそのまま代用しても良いし、下記式に従って求めても良い。
Ｙ[ｎ] ＝０．２９９×Ｒ[ｎ]＋０．５８７×Ｇ[ｎ]＋０．１１４×Ｂ[ｎ]
【００３２】
また、色信号Ｃｘ[ｎ]、Ｃｙ[ｎ]は、例えば、下記式のように単純に色信号の比率で求められる。以下の説明では、Ｃｘは色温度方向を軸とし、Ｃｙは色偏差方向を軸とする。
Ｃｘ[ｎ]= Ｒ[ｎ]／Ｇ[ｎ]，  但しＧ[ｎ]≠０
Ｃｙ[ｎ]= Ｂ[ｎ]／Ｇ[ｎ]，  但しＧ[ｎ]≠０
【００３３】
続いて、被写体輝度算出部２０４において、分割領域[ｎ]における被写体輝度Ｂｖ[ｎ]を算出する（Ｓ７）。本実施形態では、Ｓ１にて取得したＡｖ、ＴｖおよびＳｖ、ならびにＳ６で取得した輝度信号Ｙ[ｎ]を用いて、被写体輝度Ｂｖ[ｎ]を算出する。まず、適正露出の条件で撮影された被写体輝度Ｂｖ’は、下記式から求めることができる。
Ｅｖ＝Ａｖ＋Ｔｖ                                                
Ｌｖ＝Ｂｖ＋Ｓｖ                                                
Ｂｖ’＝Ｌｖ―Ｓｖ＝（Ａｖ＋Ｔｖ）−Ｓｖ  
【００３４】
Ａｖ、ＴｖおよびＳｖは既知の値であるので、Ｂｖ’も既知の値である。また、適正露出の定義として、一般的に８ビット系でＹ＝１１８を適正露出（標準出力感度）として定めている。これに従い、８ビット系でＹ＝１１８となるときの輝度値ＹをＹｂとすると、適正露出からの差分Ｘｖは下記の式のように求めることができる。
Ｘｖ＝ｌｏｇ２（Ｙ／Ｙｂ)＝ｌｏｇ２（Ｙ）−ｌｏｇ２（Ｙｂ）,  但しＹ≠０
すなわち、分割領域[ｎ]における差分Ｘｖ[ｎ]は下記の式で求めることができる。
Ｘｖ[ｎ]＝ｌｏｇ２（Ｙ[ｎ]）−ｌｏｇ２（Ｙｂ[ｎ]）,  但しＹ［ｎ］≠０
【００３５】
そのため、任意の輝度信号Ｙ[ｎ]をもつ分割領域[ｎ]における被写体輝度Ｂｖ[ｎ]は、下記の式のように求めることができる。
Ｂｖ[ｎ]＝Ｂｖ’＋Ｘｖ[ｎ] 
【００３６】
続いて、光源推定部２０６において、被写体輝度Ｂｖ[ｎ]および色信号Ｃｘ[ｎ]、Ｃｙ[ｎ]に基づいて、分割領域[ｎ]における光源推定情報Ｌ[ｎ]を取得する。光源推定情報Ｌ[ｎ]は、後述するＷＢ係数の算出の際に用いられる情報であり、推定される光源の種類およびその信頼度を含む。
【００３７】
光源推定情報Ｌ[ｎ]の取得は、複数の光源にそれぞれ対応する複数の白検出枠を含む白検出枠群を用いて行われる。本実施形態では、複数種類の白検出枠群を有し、被写体輝度Ｂｖ[ｎ]に応じて、その中のいずれかが選択される。具体的には、本実施形態では、図４に示す中輝度用白検出枠の配置を表す白検出枠群Ｇ１、図５に示す高輝度用白検出枠の配置を表す白検出枠群Ｇ２、および図６に示す低輝度用白検出枠の配置を表す白検出枠群Ｇ３を有する。そして、被写体輝度Ｂｖ[ｎ]が所定の低閾値より小さい場合は（Ｓ８：ＹＥＳ）、低輝度用の白検出枠群Ｇ３を選択する（Ｓ９）。一方、被写体輝度Ｂｖ[ｎ]が所定の低閾値以上で（Ｓ８：ＮＯ）、かつ所定の高閾値よりも大きい場合は（Ｓ１０：ＹＥＳ）、高輝度用の白検出枠群Ｇ２を選択する（Ｓ１１）。また、被写体輝度Ｂｖ[ｎ]が所定の低閾値以上で（Ｓ８：ＮＯ）、かつ所定の高閾値以下の場合は（Ｓ１０：ＮＯ）、中輝度用の白検出枠群Ｇ１を選択する（Ｓ１２）。この場合の所定の低閾値および高閾値は、統計的に求められた値を参考に設定される。
【００３８】
続いて、選択された白検出枠群を用いて、分割領域[ｎ]における光源推定情報Ｌ[ｎ]を取得する（Ｓ１３）。光源推定情報Ｌ[ｎ]の取得について、図４から図６を参照して説明する。尚、以下の説明において、「色信号Ｃｘ[ｎ]、Ｃｙ[ｎ]」を「評価値」という。
【００３９】
図４から図６において、図中の実線の矩形は、白検出枠を示しており、該当する光源下での無彩色が分布する領域である。破線の矩形は、無彩色ではないが、光源推定に有用で特徴のある物体色が分布する領域を示す検出枠である。尚、物体色の検出枠は、それぞれ所定の光源と紐付けられている。また、矩形の濃度は、該当する光源の信頼度を視覚的に分かりやすいように定めたものである。本実施形態の例では、矩形の濃度が薄い順から、信頼度を低、中、高と定めている。さらに、図中の曲線ＢＲは、黒体放射軌跡である。図４から図６に示すように、本実施形態では、白検出枠群によって、設定される検出枠およびそれらに設定される信頼度が異なる。
【００４０】
説明の便宜上、まず、図４を参照して、被写体輝度Ｂｖ[ｎ]が中輝度の場合に選択される白検出枠群Ｇ１について説明する。図４の白検出枠群Ｇ１において、枠４０１は太陽光源、枠４０２は曇天、枠４０３は日陰、枠４０６は白熱灯、枠４０５は太陽光源と白熱灯の間となる温白色系の光源、枠４０７は主に蛍光灯の白検出枠である。また、枠４０４は青空、枠４０８は緑色の物体色（例えば植物など）が分布する検出枠である。更に、枠４０４および枠４０８は太陽光源と紐付けられている。
【００４１】
被写体輝度Ｂｖ[ｎ]が中輝度の場合、太陽光源や蛍光灯である確率が統計的に高いため、枠４０１および枠４０７の評価値の信頼度が高く設定される。一方で、青空であるか別の物体色であるかの判別は難しい為、青空を示す枠４０４の信頼度は低く設定される。
【００４２】
続いて、図５を参照して、被写体輝度Ｂｖ[ｎ]が高輝度であった場合に選択される白検出枠群Ｇ２について説明する。図５の白検出枠群Ｇ２において、枠５０１は太陽光源、枠５０２は曇天、枠５０３は日陰、枠５０６は白熱灯、枠５０５は太陽光源と白熱灯の間となる温白色系の光源の白検出枠である。また、枠５０４は青空、枠５０７は緑色の物体色（例えば植物など）の検出枠である。更に、枠５０４および枠５０７は太陽光源と紐付けられている。
【００４３】
図４の白検出枠群Ｇ１と比較した場合、特徴的な点として、１点目は、白検出枠群Ｇ２には、蛍光灯の白検出枠が存在しない点である。ある程度被写体輝度Ｂｖ[ｎ]が高い被写体となると、緑味のある評価値であっても蛍光灯に照明された無彩色である確率は統計的に低くなる。そのため、Ｂｖ[ｎ]が高輝度の場合は、その評価値は蛍光灯ではないと判断することができる。
【００４４】
２点目は、緑色の物体色の枠５０７の信頼度が高く設定される点である。１点目で述べたように、蛍光灯の信頼度が相対的に下がることで、緑味のある評価値に対して無彩色なのか物体色なのかの判別をより容易に行うことが可能となる。すなわち、Ｂｖ[ｎ]が高輝度の場合は、光源に照明された物体色である可能性が高いと判断される。
【００４５】
３点目は、青空の枠５０７の信頼度が高く設定される点である。上記２点目と同様であるが、Ｂｖ[ｎ]が高輝度で青味がある評価値は、何かの光源色に照らされた青色の物体色や、青色の光源色である可能性は低く、青空である可能性が高いと判断できる。
【００４６】
また、その他の光源についても、図４の白検出枠群Ｇ１とは異なる信頼度を統計に基づいて設定することができる。図５の例では、低色温度側の光源の信頼度を図４に比べて低く設定している。
【００４７】
続いて図６を参照して、被写体輝度Ｂｖ[ｎ]が低輝度であった場合に選択される白検出枠群Ｇ３について説明する。図６の白検出枠群Ｇ３において、枠６０１は太陽光源、枠６０２は曇天、枠６０３は日陰、枠６０４は青色ＬＥＤ照明、枠６０６は白熱灯、枠６０５は太陽光源と白熱灯の間となる温白色系の光源、枠６０７は蛍光灯、枠６０９は水銀灯の白検出枠である。また、枠６０８は緑色の物体色（例えば植物など）の検出枠である。更に、枠６０８は太陽光源と紐付けられている。
【００４８】
図４の白検出枠群Ｇ１と比較した場合、特徴的な点として、１点目は、白検出枠群Ｇ１には存在しなかった水銀灯の白検出枠６０９が存在する点である。水銀灯は主に夜間の街灯、体育館やスタジアムで使用されることが多く、統計的に水銀灯に照明された無彩色の被写体はＢｖが低い。そのため、被写体輝度Ｂｖ[ｎ]が低輝度の場合は、水銀灯の白検出枠を追加している。
【００４９】
２点目は、白検出枠群Ｇ３においては、青空の検出枠６０４の位置に、青色ＬＥＤ照明を想定した白検出枠を設定している点である。水銀灯と同じく、最近は夜間の街灯などに青系のＬＥＤ照明が用いられることがある。一方で、被写体輝度Ｂｖ[ｎ]が低輝度の場合は、青空である可能性は低い。そのため、青空の検出枠６０４を青色ＬＥＤ照明の白検出枠として設定している。
【００５０】
３点目は、蛍光灯の白検出枠６０７の信頼度がそれなりに高く設定される為、相対的に緑色の物体色の枠６０８の信頼度が低くなる点である。そして４点目は、被写体輝度Ｂｖが比較的低い場合は、屋内環境である確率や夜景である確率が高くなる為、室内照明として使用される白熱灯の枠６０６や街灯として使用される温白色系の光源（例えばナトリウムランプ）の枠６０５の信頼度を上げている。
【００５１】
続いて、図７を参照して、図４から図６に示される具体的な評価値ＡおよびＢにおける光源推定情報Ｌについて説明する。まず、評価値Ａについて、被写体輝度Ｂｖが中輝度または低輝度の場合、評価値Ａは、枠４０７または枠６０７に一致する。これにより、光源は蛍光灯であると推定され、信頼度は高いとの光源推定情報Ｌが取得される。一方、被写体輝度Ｂｖが高輝度の場合、評価値Ａは、枠５０７と一致する。これにより、緑色の物体色であり、光源は枠５０７に紐づけられる太陽光源であると推定され、信頼度は高いとの光源推定情報Ｌが取得される。
【００５２】
続いて、評価値Ｂについて、被写体輝度Ｂｖが中輝度の場合、評価値Ｂは、枠４０４と一致する。これにより、評価値Ｂは青空であり、光源は太陽光源と推定されるが、信頼度は低いとの光源推定情報Ｌが取得される。また、被写体輝度Ｂｖが高輝度の場合、評価値Ｂは、枠５０４に一致する。これにより、評価値Ｂは青空であり、光源は太陽光源と推定されるとともに、信頼度は高いとの光源推定情報Ｌが取得される。さらに、被写体輝度Ｂｖが低い場合、評価値Ｂは、枠６０４に一致する。そして、これにより、光源は青色ＬＥＤ照明であると推定され、信頼度は中であるとの光源推定情報Ｌが取得される。このように、本実施形態では、同じ評価値であっても、被写体輝度Ｂｖによって取得される光源推定情報が異なる。
【００５３】
上記のように取得された光源推定情報Ｌ[ｎ]は、ＷＢ係数算出部２０７に出力される。そして、ｎに１を加算し（Ｓ１４）、Ｓ４の処理に戻る。その後、全ての分割領域に対して、Ｓ４からＳ１４の処理を繰り返し、分割領域ごとの光源推定情報Ｌを取得する。
【００５４】
そして、ｎがＮを超えた場合（Ｓ４：ＹＥＳ）、ＷＢ係数算出部２０７において、全ての分割領域における光源推定情報Ｌ[０：Ｎ]から、ＷＢ係数を算出する（Ｓ１５）。ここでは、光源推定情報Ｌに基づいて、光源に応じた白領域の抽出および、信頼度に基づいた評価値の重み付けを行って、画面全体に対するＷＢ係数（すなわちＲ、Ｇ、Ｂのゲイン）を演算する。例えば、評価値Ａについて、被写体輝度Ｂｖが中輝度の場合は、蛍光灯の下の無彩色と判断し、評価値を２倍した上でＷＢ係数の演算を行う。また、評価値Ｂの被写体輝度Ｂｖが中輝度の場合は、太陽光源下の物体色と判断し、評価値を０．５倍した上でＷＢ係数の演算を行う。このように、信頼度を設定することで、無彩色か物体色かの判別が明確でない評価値のＷＢ演算に与える影響を小さくすることができる。尚、Ｂｖが中輝度の評価値Ｂの場合など、物体色と無彩色の判別および光源の推定が難しい場合には、信頼度による重みを０として、ＷＢ演算から除く構成としても良い。
【００５５】
ＷＢ係数算出部によって算出されたＷＢ係数は、ＷＢ調整部２０８に出力される。そして、ＷＢ調整部２０８は、ＷＢ係数を画面全体のＲ、Ｇ、Ｂデータにそれぞれ乗算してＷＢ制御を行い（Ｓ１６）、ＷＢ調整処理を終了する。ＷＢ調整処理が行われた撮像信号は、その後、エッジ強調処理等のその他の画像処理が行われ、画像処理部２２から出力される。
【００５６】
このように、本実施形態では、分割された領域ごとに、被写体輝度Ｂｖおよび評価値を算出し、これらに基づいて分割された領域ごとの光源推定情報Ｌを取得するため、露出設定や構図の影響の少ないＷＢ係数を算出することができる。また、被写体輝度Ｂｖに応じた複数の白検出枠群を備えているため、光源の推定、信頼度および物体色または無彩色の判断をより詳細に設定することができる。これにより、撮影された被写体の実際の状況に近い、精度の高い判定が可能となり、ＷＢ調整によるカラーフェリアの低減、およびＷＢ調整処理の安定性の向上を図ることができる。
【００５７】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等または自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【００５８】
例えば、上記実施形態では、複数の白検出枠群Ｇ１からＧ３において、光源および信頼度の両方がそれぞれ異なる構成としたが、これに限定されるものではなく、光源または信頼度のいずれか一方のみが異なる構成としても良い。また、光源および信頼度に加えて（または替えて）、複数の白検出枠群Ｇ１からＧ３において異なる補正量を設定する構成としても良い。詳しくは、例えば、太陽光源の場合、無彩色を完全に白くするようにＷＢ調整の補正量は１００％とされる。しかしながら、低色温度の光源については、完全に白く補正するのではなく、人間の目の見た目に合うように光源色を残すことが好まれるため、補正量は５０％とされる。そこで、図４から図６の例において、低輝度用の白検出枠群Ｇ３の枠６０６は、白熱灯の可能性が高いため、補正量を５０％として設定し、高輝度の白検出枠群Ｇ２の枠４０６においては、白熱等ではなく、夕日の可能性があるとして、補正量を２５％と設定しても良い。この場合、光源推定情報Ｌとして、さらに補正量を含み、ＷＢ係数算出部２０７において、評価値に対して信頼度の重みづけを行うとともに、補正量を加味したＷＢ係数の演算が行われる。
【００５９】
また、白検出枠群における白検出枠の配置および信頼度は、上記実施形態に限定されるものではなく、任意に設定可能である。例えば、上記実施形態の白検出枠群では、蛍光灯の白検出枠を一つしか設けない構成としたが、蛍光灯は種類が多い為、更に細分化しても良い。例えば、方式が三波長型か普通型か、光源色が昼光色か、昼白色か、白色か、温白色か電球色かにより変えても良い。また、上記実施形態における白検出枠群では、各検出枠は互いに明確に境界を有しているが、重なり合っていても良い。さらに、上記実施形態では、信頼度を高、中、低の三段階としたが、さらに細分化した信頼度を設定しても良い。また、上記実施形態では、被写体輝度Ｂｖに応じて３種類の白検出枠群を有する構成としたが、４種類以上の白検出枠群を有する構成としても良い。
【００６０】
また、輝度信号Ｙ[ｎ]および色信号Ｃｘ[ｎ]、Ｃｙ[ｎ]を下記の式によって求めても良い。このように、所定のＷＢ係数を乗算したり線形マトリクス演算にてカラーバランスを整えたりすることで、より好適な評価値を算出することができる。下記の式において、ＧａｉｎＲ、ＧａｉｎＧ、ＧａｉｎＢが所定のＷＢ係数であり、Ｃ００からＣ２２が線形マトリクス係数である。
【数１】
2015192179.tif 000003
【００６１】
また、上記実施形態では、ＷＢ係数算出部２０７において、画面全体に対するＷＢ係数を算出する構成としているが、分割領域ごとにＷＢ係数を算出して分割領域ごとにＷＢ調整を行っても良い。
【００６２】
さらに、上記実施形態では、ＷＢ調整処理をおこなう撮影装置を例に説明したが、これに限定されるものではなく、上記実施形態のＷＢ調整処理を、独立したホワイトバランス調整装置において実行する構成としても良い。
【符号の説明】
【００６３】
１    撮影装置
１１    撮影レンズ
１２    絞り
１３    シャッタ
１４    撮像素子
１５    ＡＧＣ
２０    信号処理部
２２    画像処理部
３０    操作部
４０    ＬＣＤ
５０    ＲＯＭ
６０    メモリカード
【図１】
2015192179.tif 000004
【図２】
2015192179.tif 000005
【図３】
2015192179.tif 000006
【図４】
2015192179.tif 000007
【図５】
2015192179.tif 000008
【図６】
2015192179.tif 000009
【図７】
2015192179.tif 000010