(57)【要約】      （修正有）【課題】処理負荷を大きくすることなく、人物の肌の色の個人差を考慮したホワイトバランス調整を行うのに好適なホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム及び撮影装置を提供する。【解決手段】通常ホワイトバランス係数算出処理Ｓ１０１では、撮像信号に基づき被写体像から無彩色と推定される領域が抽出され、無彩色の被写体像を使用して通常ホワイトバランス係数が算出される。肌色ホワイトバランス係数算出処理Ｓ１０２では、被写体像から肌色の領域が抽出され、この肌色の被写体像を使用してホワイトバランス係数が算出される。ホワイトバランス係数合成処理Ｓ１０３では、通常ホワイトバランス係数と肌色ホワイトバランス係数が合成され、合成ホワイトバランス係数が算出される。ホワイバランス調整処理Ｓ１０４では、合成ホワイトバランス係数を使用して、撮像信号のホワイトバランスが調整される。【選択図】図２
2017147535.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光束に基づいて生成された撮像信号を記憶する撮像信号記憶部と、
前記撮像信号に基づく被写体像中の肌領域を検出する肌検出部と、
前記被写体像のうち前記肌領域の色評価値から、独立成分を抽出する独立成分抽出部と、
前記独立成分の分布を特徴づける統計量を算出する統計量算出部と、
前記統計量に基づいて前記肌領域の特徴量を算出する特徴量算出部と、
前記特徴量を用いて、前記撮像信号のホワイトバランス調整に用いる第１の係数を算出する第１の係数算出部と、
を備える、
ホワイトバランス調整装置。
【請求項２】
前記特徴量算出部は、
前記特徴量に対する基準値を設定し、該基準値と該特徴量との差分を検出し、
前記統計量の信頼度に応じて前記特徴量及び前記基準値の算出方法を変更し、
前記第１の係数算出部は、
前記特徴量算出部によって検出された前記差分に基づいて前記第１の係数を算出する、
請求項１に記載のホワイトバランス調整装置。
【請求項３】
前記統計量は、複数の前記独立成分の分布の分散、複数の該独立成分の分布の歪度、複数の前記独立成分の加重平均のうち、少なくともいずれか一つを含む、
請求項１又は請求項２に記載のホワイトバランス調整装置。
【請求項４】
前記統計量算出部は、
複数の前記独立成分の値の代表値を算出し、
複数の前記独立成分から、値が前記代表値から所定値以上離れている独立成分を除外して前記統計量を算出する、
請求項１から請求項３の何れか一項に記載のホワイトバランス調整装置。
【請求項５】
前記独立成分は、メラニン色素成分とヘモグロビン色素成分を含む、
請求項１から請求項４の何れか一項に記載のホワイトバランス調整装置。
【請求項６】
前記撮像信号の色評価値に基づいて、所定のアルゴリズムにより前記撮像信号のホワイトバランス調整に用いる第２の係数を算出する第２の係数算出部と、
前記第１の係数と第２の係数に基づいて、前記撮像信号のホワイトバランス調整に用いる第３の係数を算出する係数合成部と、
を更に備える、
請求項１から請求項５の何れか一項に記載のホワイトバランス調整装置。
【請求項７】
前記撮像信号に基づく被写体像中の無彩色近傍の領域を抽出する無彩色検出部を更に備え、
前記第２の係数算出部は、前記無彩色近傍の領域の色評価値に基づいて前記第２の係数を算出する、
請求項６に記載のホワイトバランス調整装置。
【請求項８】
被写体からの光束に基づいて生成された撮像信号を記憶する撮像信号記憶ステップと、
前記撮像信号に基づく被写体像中の肌領域を検出する肌検出ステップと、
前記被写体像のうち前記肌領域の色評価値から、独立成分を抽出する独立成分抽出ステップと、
前記独立成分の分布を特徴づける統計量を算出する統計量算出ステップと、
前記統計量に基づいて前記肌領域の特徴量を算出する特徴量算出ステップと、
前記特徴量を用いて、前記撮像信号のホワイトバランス調整に用いる第１の係数を算出する第１の係数算出ステップと、
を含む、
ホワイトバランス調整方法。
【請求項９】
被写体からの光束に基づいて生成された撮像信号を記憶する撮像信号記憶ステップと、
前記撮像信号に基づく被写体像中の肌領域を検出する肌検出ステップと、
前記被写体像のうち前記肌領域の色評価値から、独立成分を抽出する独立成分抽出ステップと、
前記独立成分の分布を特徴づける統計量を算出する統計量算出ステップと、
前記統計量に基づいて前記肌領域の特徴量を算出する特徴量算出ステップと、
前記特徴量を用いて、前記撮像信号のホワイトバランス調整に用いる第１の係数を算出する第１の係数算出ステップと、
を含む方法をコンピュータに実行させるためのホワイトバランス調整プログラム。
【請求項１０】
被写体からの光束に基づく撮像信号を生成する撮像部と、
前記撮像信号に基づく被写体像中の肌領域を検出する肌検出部と、
前記被写体像のうち前記肌領域の色評価値から、独立成分を抽出する独立成分抽出部と、
前記独立成分の分布を特徴づける統計量を算出する統計量算出部と、
前記統計量に基づいて前記肌領域の特徴量を算出する特徴量算出部と、
前記特徴量を用いて、前記撮像信号のホワイトバランス調整に用いる第１の係数を算出する第１の係数算出部と、
を備える、
撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像のホワイトバランスを調整するホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム及びホワイトバランス調整機能を有する撮影装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮影装置や携帯端末に搭載された撮像装置には、カラー撮像時に安定した色再現を得るためのホワイトバランス調整機能が組み込まれている。ホワイトバランス調整機能では、無彩色の被写体を撮影している状態でＲ（Red）、Ｇ（Green）、Ｂ（Blue）の画素信号値が揃うように調整される。
【０００３】
ホワイトバランス調整処理では、被写体を照明する光源が推定し、この推定結果に基づいて画素信号値が調整される。しかし、例えば、人物が被写体である場合に光源を正しく推定できないと、人物の顔の肌色に色かぶりが生じ、違和感のある撮影画像が得られる場合があった。そこで、例えば特許文献１や特許文献２に、撮影画像のうち、人物の顔などの肌色の領域を使用し、色味を補正する撮影装置が開示されている。
【０００４】
特許文献１の撮影装置には、被写体像から人物の顔を検出し、検出した顔の肌色が基準とする肌色となるようにホワイトバランス調整処理を行う構成が開示されている。
【０００５】
特許文献２の撮影装置には、被写体を照明する光源を推定してホワイトバランス調整処理を行う構成が開示されている。特許文献２の撮影装置では、被写体像から人物の顔が検出され、人物の肌に対応する領域の画素信号から、メラニンの色素成分、ヘモグロビンの色素成分、陰影成分が抽出され、これらの成分を用いて光源が推定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０４１６２２号公報
【特許文献２】特開２０１５−１４４４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載のホワイトバランス調整処理では、人物の実際の肌色に依らず、検出した肌色が基準とする肌色となるように画素信号値が補正される。そのため、撮影画像において、人物の実際の肌色を好適に再現することができない場合がある。
【０００８】
特許文献２では、画素信号からメラニンの色素成分、ヘモグロビンの色素成分、陰影成分を抽出される。メラニンの色素成分とヘモグロビンの色素成分が最も小さい画素信号は、光源情報を強く反映しているとして、ホワイトバランス調整処理に使用される。しかし、被写体像のうち、ホワイトバランス調整処理に使用する領域に人物の肌以外のものが含まれている場合や、顔検出処理に誤差が生じた場合に、色素成分が最も小さい被写体像が、人物の肌以外の被写体像となる場合が発生し得る。この場合、人物の肌以外の被写体像を使用してホワイトバランス調整処理が行われるため、正しく光源を推定できない場合がある。
【０００９】
また、特許文献２には、色素成分が最も小さい画素信号の代わりに、複数の画素信号うち、色素成分が低いものから所定の割合の画素信号のみを使用してホワイトバランス調整処理を行う処理が開示されている。しかし、この処理では、色素成分に基づいて、複数の画素信号に対して処理負荷の大きなソーティング（並び替え）を行う必要がある。
【００１０】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、処理負荷を大きくすることなく、人物の肌の色の個人差を考慮したホワイトバランス調整を行うのに好適なホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム及び撮影装置を提供することである。
【課題を解決するための手段】
【００１１】
本実施形態の一実施形態によれば、ホワイトバランス調整装置は、被写体からの光束に基づいて生成された撮像信号を記憶する撮像信号記憶部と、撮像信号に基づく被写体像中の肌領域を検出する肌検出部と、被写体像のうち肌領域の色評価値から、独立成分を抽出する独立成分抽出部と、独立成分の分布を特徴づける統計量を算出する統計量算出部と、統計量に基づいて肌領域の特徴量を算出する特徴量算出部と、特徴量を用いて、撮像信号のホワイトバランス調整に用いる第１の係数を算出する第１の係数算出部と、を備える。
【００１２】
本実施形態によれば、肌領域の色評価値の独立成分の統計量を用いてホワイトバランス係数を算出している。統計量は、複数の独立成分の分布を特徴づけるものであり、一部の独立成分によって受ける影響は小さい。そのため、統計量を用いてホワイトバランス係数を算出することにより、肌領域内の一部に人物の肌以外の被写体像が含まれている場合においても、その一部の肌以外の被写体像がホワイトバランス係数に与える影響を抑えることができる。また、独立成分の統計量の算出には複数の独立成分のソーティングは必要ないため、本実施形態により、処理負荷を抑えつつ、撮影画像における人物の肌の色を好適に再現することができる。
【００１３】
また、本実施形態の一実施形態によれば、特徴量算出部は、例えば、特徴量に対する基準値を設定し、基準値と特徴量との差分を検出し、統計量の信頼度に応じて特徴量及び基準値の算出方法を変更する。この場合、第１の係数算出部は、特徴量算出部によって検出された差分に基づいて第１の係数を算出する。
【００１４】
また、本実施形態の一実施形態によれば、統計量は、例えば、複数の独立成分の分布の分散、複数の独立成分の分布の歪度、複数の独立成分の加重平均のうち、少なくともいずれか一つを含む。
【００１５】
また、本実施形態の一実施形態によれば、統計量算出部は、例えば、複数の独立成分の値の代表値を算出し、複数の独立成分から、値が代表値から所定値以上離れている独立成分を除外して統計量を算出する。
【００１６】
また、本実施形態の一実施形態によれば、独立成分は、例えば、メラニン色素成分とヘモグロビン色素成分を含む。
【００１７】
また、本実施形態の一実施形態によれば、ホワイトバランス調整機構は、例えば、撮像信号の色評価値に基づいて、所定のアルゴリズムにより撮像信号のホワイトバランス調整に用いる第２の係数を算出する第２の係数算出部と、第１の係数と第２の係数に基づいて、撮像信号のホワイトバランス調整に用いる第３の係数を算出する係数合成部と、を更に備える。
【００１８】
また、本実施形態の一実施形態によれば、ホワイトバランス調整機構は、例えば、撮像信号に基づく被写体像中の無彩色近傍の領域を抽出する無彩色検出部を更に備える。この場合、第２の係数算出部は、無彩色近傍の領域の色評価値に基づいて第２の係数を算出する。
【００１９】
本実施形態の一実施形態によれば、ホワイトバランス調整方法は、被写体からの光束に基づいて生成された撮像信号を記憶する撮像信号記憶ステップと、撮像信号に基づく被写体像中の肌領域を検出する肌検出ステップと、被写体像のうち肌領域の色評価値から、独立成分を抽出する独立成分抽出ステップと、独立成分の分布を特徴づける統計量を算出する統計量算出ステップと、統計量に基づいて肌領域の特徴量を算出する特徴量算出ステップと、特徴量を用いて、撮像信号のホワイトバランス調整に用いる第１の係数を算出する第１の係数算出ステップと、を含む。
【００２０】
本実施形態の一実施形態によれば、ホワイトバランス調整プログラムは、被写体からの光束に基づいて生成された撮像信号を記憶する撮像信号ステップと、撮像信号に基づく被写体像中の肌領域を検出する肌検出ステップと、被写体像のうち肌領域の色評価値から、独立成分を抽出する独立成分抽出ステップと、独立成分の分布を特徴づける統計量を算出する統計量算出ステップと、統計量に基づいて肌領域の特徴量を算出する特徴量算出ステップと、特徴量を用いて、撮像信号のホワイトバランス調整に用いる第１の係数を算出する第１の係数算出ステップと、を含む方法をコンピュータに実行させるためのプログラムである。
【００２１】
本実施形態の一実施形態によれば、撮影装置は、被写体からの光束に基づいて生成された撮像信号を生成する撮像部と、撮像信号に基づく被写体像中の肌領域を検出する肌検出部と、被写体像のうち肌領域の色評価値から、独立成分を抽出する独立成分抽出部と、独立成分の分布を特徴づける統計量を算出する統計量算出部と、統計量に基づいて肌領域の特徴量を算出する特徴量算出部と、特徴量を用いて、撮像信号のホワイトバランス調整に用いる第１の係数を算出する第１の係数算出部と、を備える。
【発明の効果】
【００２２】
本実施形態によれば、処理負荷を大きくすることなく、人物の肌の色の個人差を考慮したホワイトバランス調整を行うのに好適なホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム及び撮影装置が提供される。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の実施形態における撮影装置の構成を示すブロック図である。
【図２】図２は、本発明の実施形態におけるホワイトバランス調整処理にかかるフローチャートである。
【図３】図３は、本発明の実施形態における通常ホワイトバランス調整処理にかかるフローチャートである。
【図４】図４は、本発明の実施形態におけるＣｘＣｙＢｖ色空間及び光源判定領域を示す図である。
【図５】図５は、本発明の実施形態における肌色ホワイトバランス調整処理にかかるフローチャートである。
【図６】図６は、本発明の実施形態における人物の顔を含む被写体像の一例である。
【図７】図７は、本発明の実施形態におけるＣｘＣｙＢｖ色空間及び肌色判定領域を示す図である。
【図８】図８は、本発明の実施形態におけるメラニン色素成分とヘモグロビン色素成分を軸とする平面を示す図である。
【図９】図９は、本発明の実施形態におけるメラニン色素成分とヘモグロビン色素成分を軸とする平面を示す図及び各成分の発生頻度を示すグラフである。
【図１０】図１０は、本発明の実施形態におけるメラニン色素成分とヘモグロビン色素成分を軸とする平面を示す図及び各成分の発生頻度を示すグラフである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、本発明の実施形態は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、ホワイトバランス調整機能を有する別の形態の装置に置き換えてもよい。
【００２５】
［撮影装置１の構成］
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、システムコントローラ１００、操作部１０２、駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、撮像素子１１２、撮像素子駆動回路１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４及びＲＯＭ（Read Only Memory）１２６を備えている。
【００２６】
操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが押されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。システムコントローラ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。
【００２７】
レリーズスイッチが操作されると、システムコントローラ１００は、撮影装置１に内蔵されたＴＴＬ（Through The Lens）露出計（不図示）で測定された測光値に基づき適正露出が得られるように、駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。より詳細には、絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ速度優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。また、システムコントローラ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。
【００２８】
被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して撮像素子１１２により受光される。撮像素子１１２は、例えばベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサであり、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各色に応じた撮像信号に変換し撮像素子駆動回路１１４に出力する。なお、撮像素子１１２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の他のイメージャであってもよい。
【００２９】
撮像素子駆動回路１１４は、撮像素子１１２から入力される撮像信号に対してクランプ、デモザイク等の所定の信号処理を施して、画像処理エンジン１１６に出力する。画像処理エンジン１１６は、撮像素子駆動回路１１４から入力される撮像信号に対してホワイトバランス調整、Ｙ／Ｃ分離等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。バッファメモリ１１８は、画像処理エンジン１１６による処理の実行時、処理データの一時的な保存場所として用いられる。
【００３０】
カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、生成された圧縮画像信号（撮影画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。
【００３１】
また、画像処理エンジン１１６は、生成された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６から入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画を、ＬＣＤ１２４の表示画面を通じて視認することができる。
【００３２】
画像処理エンジン１１６は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データをメモリカード２００又は内蔵メモリから読み出して所定のフォーマットの画像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６から入力される画像信号を基に液晶を変調制御することで、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。
【００３３】
［ホワイトバランス調整処理］
次に、画像処理エンジン１１６による、撮像素子駆動回路１１４から入力される信号に対して施される信号処理について説明する。図２は、画像処理エンジン１１６によるホワイトバランス調整処理に係るフローチャートを示す。図２に示されるように、ホワイトバランス調整処理では、通常ホワイトバランス係数算出処理Ｓ１０１、肌色ホワイトバランス係数算出処理Ｓ１０２、ホワイトバランス係数合成処理Ｓ１０３、ホワイトバランス調整処理Ｓ１０４が実行される。
【００３４】
通常ホワイトバランス係数算出処理Ｓ１０１では、撮像素子１１２から出力され、撮像素子駆動回路１１４で信号処理が施された撮像信号ＲＰ、ＧＰ、ＢＰに基づいて被写体像から無彩色と推定される領域が抽出される。次いで、抽出した無彩色の被写体像を使用して周知のホワイトバランス係数（通常ホワイトバランス係数）の算出処理が行われる。肌色ホワイトバランス係数算出処理Ｓ１０２では、被写体像から肌色の領域が抽出され、この肌色の被写体像を使用してホワイトバランス係数（肌色ホワイトバランス係数）の算出処理が行われる。ホワイトバランス係数合成処理Ｓ１０３では、通常ホワイトバランス係数と肌色ホワイトバランス係数が合成され、合成ホワイトバランス係数が算出される。ホワイバランス調整処理Ｓ１０４では、合成ホワイトバランス係数を使用して、撮像信号ＲＰ、ＧＰ、ＢＰのホワイトバランスが調整される。
【００３５】
［図３（通常ホワイトバランス係数算出処理）］
図３は、通常ホワイトバランス係数算出処理Ｓ１０１のフローチャートを示す。
【００３６】
［図３のＳ２０１（画像分割処理）］
本処理ステップＳ２０１では、撮像素子駆動回路１１４から入力された撮像信号に基づいて、被写体像がｍ個（ｍは正の整数）の分割領域に区分けされる。各分割領域は、Ｒ、Ｇ、Ｂの色情報（色評価値）を含んでいる。各分割領域の色情報に基づいて、それぞれＲ、Ｇ、Ｂに対応する色信号Ｒ[i]、Ｇ[i]、Ｂ[i]（i=1〜m）が算出される。色信号は、例えば、分割領域内の各画素の色情報を表す信号値の平均値である。
【００３７】
［図３のＳ２０２（輝度信号生成処理）］
本処理ステップＳ２０２では、各分割領域の色信号に基づいて、各分割領域の輝度を表す輝度信号Ｙ[i]が算出される。ｉ番目の分割領域の輝度信号Ｙ[i]は、例えば、ＩＴＵ−Ｒ  ＢＴ．６０１規格の輝度信号であり、以下の数式１によって算出される。
【数１】
2017147535.tif 000003
なお、輝度信号Ｙ[i]の算出において、各色信号Ｒ[i]、Ｇ[i]、Ｂ[i]にかけられる定数は数式１に示される値に限定されない。この定数は、ＬＣＤ１２４の仕様やビデオ信号の規格に応じて適宜変更可能である。
【００３８】
［図３のＳ２０３（被写体輝度算出部）］
本処理ステップＳ２０３では、輝度信号Ｙ[i]と、撮影装置１の露出値及び撮像素子１１２の感度に基づいて、被写体輝度が算出される。被写体が適正な露出値で撮像された場合の被写体輝度をＢｖ、撮像素子１１２の感度をＳｖ、撮影装置１の露出値をＥｖと置くと、これらの関係は以下の数式２で表される。
【数２】
2017147535.tif 000004
なお、Ｂｖ、Ｓｖ、Ｅｖは何れもＡＰＥＸ（Additive System of Photographic Exposure）値である。また、露出値Ｅｖは、絞り１０８の絞り値Ａｖと、シャッタ１１０のシャッタスピードＴｖの和で表されるため、数式２は次の数式３のように変形できる。
【数３】
2017147535.tif 000005
【００３９】
Ａｖ、Ｔｖ、Ｓｖは、駆動回路１０４及び撮像素子駆動回路１１４から得られる既知の値であるため、被写体輝度Ｂｖは数式３により算出可能である。しかし、一般的に被写体はさまざまな明るさで撮影されており、数式１で算出された輝度信号Ｙ[i]の値に応じて、被写体輝度Ｂｖを補正する必要がある。例えば、適正露出の定義として、一般社団法人カメラ映像機器工業会により２００４年７月に制定された『CIPA DC-004-2004 デジタルカメラの感度規定』が知られている。この感度規定では、８ビット系で輝度信号Ｙ＝１１８を適正露出（標準出力感度）として定めている。これに従い、８ビット系でＹ＝１１８となるときの輝度信号Ｙ[i]をＹｂと置くと、各分割領域の輝度信号の適正値からの差分Ｘｖ[i]は、次の数式４で表される。
【数４】
2017147535.tif 000006
この輝度信号の差分Ｘｖ[i]を考慮すると、輝度信号Ｙ[i]によって補正された各分割領域の被写体輝度Ｂｖ[i]は、次の数式５のように表される。
【数５】
2017147535.tif 000007
なお、被写体輝度Ｂｖの算出方法は、上記方法に限定されない。例えば、被写体輝度Ｂｖの算出方法は、規格、撮影装置１の仕様、被写体の種類に応じて変更してもよい。また、被写体輝度Ｂｖの算出精度を向上するために、被写体像の周辺部に発生する撮像レンズ１０６によるビネッティング（ケラレ）が補正された上で被写体輝度Ｂｖが算出されてもよい。
【００４０】
［図３のＳ２０４（色信号生成処理）］
本処理ステップＳ２０４では、各分割領域の色信号及び輝度信号に基づいて、各分割領域の色温度を表す色信号Ｃｘ[i]、色偏差を表す色信号Ｃｙ[i]が算出される。Ｃｘ[i]、Ｃｙ[i]は、例えば、次の数式６によって算出される。
【数６】
2017147535.tif 000008
ここで、係数ｔx１、ｔx２、ｔｙ１、ｔｙ２は定数であり、後述する光源推定処理Ｓ２０５において使用される色空間に応じて適宜設定される。また、各色信号Ｃｘ[i]、Ｃｙ[i]は、色信号Ｒ[i]、Ｇ[i]、Ｂ[i]に所定の係数をかけて足し合わせることによって算出されてもよい。
【００４１】
［図３のＳ２０５（光源推定処理）］
本処理ステップＳ２０５では、被写体輝度Ｂｖ[i]と、色信号Ｃｘ[i]、Ｃｙ[i]に基づいて、被写体を照明する照明光の色が推定される。詳しくは、本処理ステップＳ２０５では、各分割領域が、互いに直交するＣｘ軸、Ｃｙ軸、Ｂｖ軸で定義される色空間内の座標（Ｃｘ[i],Ｃｙ[i],Ｂｖ[i]）にプロットされる。次いで、プロットされた各分割領域が、色空間内に定義された複数の光源判定領域の何れに含まれているかが判定される。
【００４２】
図４は、色空間をＢｖ軸方向に沿って見たときのＣｘ-Ｃｙ平面を示している。横軸は色温度を表すＣｘ軸であり、縦軸は色偏差を表すＣｙ軸である。色空間は、Ｃｘ軸の負方向から正方向に向かうにつれて赤色から青色に変化し、Ｃｙ軸の負方向から正方向に向かうにつれてグリーンからマゼンタに変化する。図４において、破線で示される曲線は、黒体放射軌跡である。色空間内には複数の光源判定領域３０１〜３０７が３次元的に定義されている。各光源判定領域は、無彩色の被写体を照明する照明光の色に対応している。分割領域が、各光源判定領域の何れかの領域内にプロットされている場合、当該分割領域の被写体像は対応する色の照明光によって照明された無彩色の被写体像であると見做される。そのため、これらの複数の光源判定領域３０１〜３０７によって、被写体像のうち、無彩色の領域を抽出すると共に、照明光の光源を推定することができる。
【００４３】
各光源判定領域３０１〜３０７のうち、領域３０１は白熱灯の色又は電球色、領域３０２は温白色、領域３０３は太陽光の色又は白色、領域３０４は曇天時の色又は昼白色、領域３０５は日陰の色又は昼光色を示している。領域３０６は、比較的赤味を帯びた（色温度の低い）蛍光灯の色を示し、領域３０７は、比較的青味を帯びた（色温度の高い）蛍光灯の色を示す。
【００４４】
本処理ステップＳ２０５では、各分割領域が光源判定領域３０１〜３０７のうち、何れの領域にプロットされているかが判定される。次いで、プロットされた各分割領域の分布に基づいて、照明光の光源が推定される。
【００４５】
［図３のＳ２０６（係数決定処理）］
本処理ステップＳ２０６では、推定された光源に基づいて、通常ホワイトバランス係数ＧＲｗ、ＧＧｗ、ＧＢｗが決定される。これらの通常ホワイトバランス係数は、後述するホワイトバランス調整処理Ｓ１０４で使用される係数である。通常ホワイトバランス係数の決定方法は周知であるため、ここでの詳細な説明は省略する。仮に、ホワイトバランス調整処理Ｓ１０４が、通常ホワイトバランス係数のみを用いて行われる場合、各画素の撮像信号をＲＰ、ＧＰ、ＢＰ、ホワイトバランス調整後の撮像信号をＲＰ´、ＧＰ´、ＢＰ´と置くと、調整後の撮像信号ＲＰ´、ＧＰ´、ＢＰ´は次の数式７で表される。
【数７】
2017147535.tif 000009
【００４６】
本処理ステップＳ２０６で通常ホワイトバランス係数ＧＲｗ、ＧＧｗ、ＧＢｗが決定されると、通常ホワイトバランス係数算出処理Ｓ１０１が終了し、次の肌色ホワイトバランス係数算出処理Ｓ１０２が実行される。
【００４７】
［図５（肌色ホワイトバランス係数算出処理）］
図５は、肌色ホワイトバランス係数算出処理Ｓ１０２のフローチャートを示す。
【００４８】
［図５のＳ３０１（顔検出処理）］
本処理ステップＳ３０１では、撮像素子駆動回路１１４から入力された撮像信号に基づいて、被写体像内の顔検出処理が行われる。顔検出処理のアルゴリズムは周知であるため、ここでの詳細な説明は省略する。また、顔検出処理が施される撮像信号は、撮影画像データとして保存される本露光の撮像信号でもよく、本露光の直前に生成された撮像信号でもよい。
【００４９】
通常、撮影装置１は、本露光を行う前に、露出や構図を決定するために被写体を繰り返し撮像し続けている。例えば、デジタル一眼レフカメラでは、ファインダー撮影ではファインダー内に設置された専用のセンサにより被写体を撮像しており、ライブビュー撮影では本露光と同じ撮像素子により被写体を撮像している。この被写体の撮像処理は、本露光が実行される直前まで行われるため、本露光が行われる時刻とその直前の撮像処理が行われる時刻との時間差が十分に小さい場合、この時間差の間の被写体の移動や変化は小さい。従って、本露光の直前に生成された撮像信号を用いて顔検出処理を行うことにより、本露光時と実質的に同じ顔検出結果を得ることができる。また、この場合、本露光後の顔検出処理が不要となるため、本露光にかかる処理負荷や処理時間を抑えることができる。
【００５０】
［図５のＳ３０２（領域対応付け処理）］
本処理ステップＳ３０２では、顔検出処理により被写体像内の顔が検出された領域（顔領域）を、画像分割処理Ｓ２０１によって区分けされた分割領域へ対応付ける。詳しくは、本処理ステップＳ３０２では、顔領域を含む分割領域に対し、顔領域が含まれていることを示すデータ（ラベル）が追加される。
【００５１】
図６は、人物の顔を含む被写体像の一例を示す。被写体像６００は、画像分割処理Ｓ２０１によって複数の（ｍ個の）分割領域に区分けされている。この被写体像６００に対し顔検出処理Ｓ３０１及び領域対応付け処理Ｓ３０２が施されると、例えば、図６の実線の太線で囲われた領域６１０が顔領域であると判定される。この場合、領域６１０に含まれる分割領域にラベルが追加される。
【００５２】
［図５のＳ３０３（肌色判定処理）］
本処理ステップＳ３０３では、領域対応付け処理Ｓ３０２によってラベルが追加された各分割領域が、肌色か否かが判定される。詳しくは、本処理ステップＳ３０３では、ラベルが追加された各分割領域の被写体輝度Ｂｖ[i]及び色信号Ｃｘ[i]、Ｃｙ[i]が、色空間内に定義された複数の肌色判定領域の何れに含まれているかが判定される。
【００５３】
図７は、色空間をＢｖ軸方向に沿って見たときのＣｘ-Ｃｙ平面を示している。横軸は色温度を表すＣｘ軸であり、縦軸は色偏差を表すＣｙ軸である。色空間内には複数の肌色判定領域４０１〜４０４が３次元的に定義されている。各肌色判定領域は、肌色の被写体を照明する照明光の色毎に定義されている。
【００５４】
各肌色判定領域４０１〜４０４のうち、領域４０１は白熱灯、電球色、温白色の何れかの色の光源によって照明された肌色に対応している。領域４０２は太陽光又は白色光源によって照明された肌色に対応している。領域４０３は曇天時の肌色、被写体が日陰にある場合の肌色、昼白色又は昼光色の光源で照明された肌色の何れかに対応している。領域４０４は、蛍光灯等の演色性の悪い光源の光によって照明された肌色に対応している。
【００５５】
ラベルが追加された分割領域が、各肌色領域の何れかの領域内にプロットされている場合、当該分割領域の被写体像は対応する光源によって照明された肌色の被写体像であると見做される。一方、ラベルが追加された分割領域が何れの肌色判定領域にも含まれていない場合、当該分割領域のラベルは削除される。この処理により、顔検出処理Ｓ３０１の誤検出によって顔領域と判定された分割領域のラベルが削除される。
【００５６】
例えば、図６に示す被写体像において、分割領域６１０Ａは、人物の頬の被写体像である。この分割領域６１０Ａは、例えば、図７に示す色空間において、肌色判定領域４０２内にプロットされる。また、分割領域６１０Ｂは、領域対応付け処理Ｓ３０２によってラベルが追加されているが、人物の顔が含まれていない。この分割領域６１０Ｂ内の色が肌色以外の色であった場合、この分割領域６１０Ｂは、例えば、図７において、肌色判定領域が外にプロットされる。この場合、肌色判定処理Ｓ３０３により、分割領域６１０Ｂのラベルは削除される。
【００５７】
［図５のＳ３０４（肌色探索処理）］
本処理ステップＳ３０４では、ラベルが追加されている分割領域の周辺の分割領域から、肌色の被写体像に対応する分割領域が探索される。例えば、ラベルが追加され、顔領域が含まれていると判定された分割領域の周辺には、首、肩、腕等の人物の肌を含む被写体像が存在する可能性がある。本処理ステップＳ３０４では、ラベルが追加されている分割領域を囲んでいる、ラベルが追加されていない各分割領域の被写体輝度Ｂｖ[i]及び色信号Ｃｘ[i]、Ｃｙ[i]が、色空間内に定義された複数の肌色判定領域４０１〜４０４の何れかに含まれているか否かを判定する。肌色判定領域４０１〜４０４の何れかに含まれていると判定された分割領域には、ラベルが追加される。これにより、ラベルが追加された分割領域の数が増加し、肌色ホワイトバランス係数の算出精度を向上することができる。
【００５８】
肌色探索処理Ｓ３０４では、例えば、図６に示す被写体像において、破線の太線で囲われた領域６２０内の分割領域が、肌色判定領域４０１〜４０４に含まれているかの判定が行われる。この領域６２０内の分割領域のうち、例えば、分割領域６２０Ａは、人物の腕の被写体像であり、複数の肌色判定領域４０１〜４０４の何れかに含まれる。そのため、分割領域６２０Ａにはラベルが追加される。
【００５９】
［図５のＳ３０５（独立成分抽出処理）］
本処理ステップＳ３０５では、ラベルが追加された分割領域の色信号Ｒ[i]、Ｇ[i]、Ｂ[i]に対し、独立成分の抽出処理が施される。
【００６０】
人間の皮膚の層構造は、表皮側から、メラニンを主な色素として含有する表皮層と、ヘモグロビンを主な色素として含有する真皮層と、皮下組織とにモデル化できる。また、人間の肌の色は、主にメラニンとヘモグロビンの色素成分に依存していることが分かっている。これらの色素の濃度によって肌色の見え方は異なるが、人間のメラニンとヘモグロビンの色素自体の特性は一般的には個人差は無く、かつ夫々の色素成分は独立に扱うことができる。各分割領域のメラニンに対応する独立成分をＭ[i]、ヘモグロビンに対応する独立成分をＨ[i]と置くと、各独立成分は、次の数式８により計算される。
【数８】
2017147535.tif 000010
ここで、係数Ｋ（Ｋ００〜Ｋ１２）は定数であり、撮影装置１毎に予め設定されて撮影装置１内の記憶領域に記憶されている。
【００６１】
［図５のＳ３０６（異常値除去処理）］
本処理ステップＳ３０６では、ラベルが追加されている分割領域のうち、肌色ではないと判断される分割領域のラベルが除去される。詳しくは、独立成分Ｍ[i]、Ｈ[i]のそれぞれに対して上限値及び下限値が設定される。独立成分の値が上限値を越えている分割領域又は下限値を下回っている分割領域は肌色の被写体像を含んでいないと判定され、ラベルが除去される。
【００６２】
図８は、ラベルが追加されている分割領域をメラニン色素成分とヘモグロビン色素成分を軸とする平面（Ｍ−Ｈ平面）にプロットしたものである。図８の横軸はメラニンに対応する独立成分Ｍ[i]の大きさを示し、縦軸はヘモグロビンに対応する独立成分Ｈ[i]の大きさを示す。ラベルが追加されている分割領域は、何れも肌色と判定された被写体に対応するため、図８では、各分割領域の独立成分は、その平均値(avgＭ、avgＨ)付近に集中してプロットされている。しかし、各分割領域は複数の画素を含む領域であるため、各分割領域には、例えば、図６に示される目が含まれる分割領域６１０Ｃ、唇が含まれる分割領域６１０Ｄなど、肌色以外の被写体像が含まれている場合がある。このように、肌色以外の被写体を含む分割領域は、図８に示すように、独立成分の平均値から離れた領域にプロットされる。
【００６３】
異常値除去処理Ｓ３０６では、各独立成分Ｍ[i]、Ｈ[i]に対し、閾値thＭ、thＨが設定される。閾値thＭは、独立成分Ｍ[i]の平均値avgＭからの差分を表す。また、閾値thＨは、独立成分Ｈ[i]の平均値avgＨからの差分を表す。独立成分Ｍ[i]又はＨ[i]の少なくとも一方が、独立成分の平均値から閾値よりも離れている分割領域は異常（肌色ではない）と判定され、ラベルが除去される。これにより、目、唇、髪等、肌色以外の被写体を含む分割領域が肌色ホワイトバランス係数の決定に使用されることが防止される。
【００６４】
なお、異常値除去処理Ｓ３０６では、独立成分の平均値(avgＭ、avgＨ)を基準値として、独立成分がこの基準値から離れた所定値以上離れている分割領域が異常と判定されるが、本実施形態はこれに限定されない。例えば、基準値は、複数の分割領域の独立成分を代表する値であればよく、独立成分の最頻値や中央値であってもよい。
【００６５】
［図５のＳ３０７（係数決定処理）］
本処理ステップＳ３０７では、肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆが決定される。詳しくは、本処理ステップＳ３０７では、まず、ラベルが追加された分割領域の独立成分Ｍ[i]、Ｈ[i]の分布を特徴づける統計量が算出される。次いで、当該統計量に基づいて肌色の特徴量が算出され、この特徴量を用いて肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆが決定される。この肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆを使用してホワイトバランス調整処理を行うことにより、人物の肌色に個人差がある場合においても、撮影画像を適正に調整することができる。
【００６６】
上述のように、人物の肌の色は、メラニンとヘモグロビンの色素成分に依存している。そのため、２つの独立成分Ｍ[i]、Ｈ[i]の値が小さいほど、その被写体像の色に対する色素成分の影響は小さい。また、独立成分Ｍ[i]、Ｈ[i]の値が小さい被写体像は、相対的に被写体を照明する光の影響を大きく受ける。従って、ホワイトバランス調整処理に使用する係数を決定する際に、肌色と判定された分割領域のうち、独立成分の値Ｍ[i]、Ｈ[i]が小さい分割領域の寄与を大きくすることにより、人物の肌色に個人差がある場合においても、光源の色に合わせた適正なホワイトバランス調整を行うことができる。
【００６７】
図９は、異常値除去処理Ｓ３０６後にラベルが追加されている分割領域をＭ−Ｈ平面にプロットしたものである。図９の横軸はメラニンに対応する独立成分Ｍ[i]の大きさを示し、縦軸はヘモグロビンに対応する独立成分Ｈ[i]の大きさを示す。また、図９には、独立成分Ｍ[i]の発生頻度を示すグラフ９Ａと、独立成分Ｈ[i]の発生頻度を示すグラフ９Ｂが示されている。グラフ９Ａの横軸は独立成分Ｍ[i]の値ｍ[j]を示し、縦軸は各値ｍ[j]の発生頻度frq_mを示す。ここで、ｊは正の整数である。グラフ９Ａにおいて、独立成分Ｍ[i]の値ｍ[j]は所定の間隔を空けて丸め込まれており、Ｐ個の値を取り得る。グラフ９Ｂの横軸は独立成分Ｈ[i]の値ｈ[k]を示し、縦軸は各値ｈ[k]の発生頻度frq_hを示す。ここで、ｋは正の整数である。グラフ９Ｂにおいて、独立成分Ｈ[i]の値ｈ[k]は所定の間隔を空けて丸め込まれており、Ｑ個の値を取り得る。グラフ９Ａ、９Ｂに示すように、各独立成分は、平均値付近がピークとなる分布を有している。
【００６８】
係数決定処理Ｓ３０７では、各独立成分Ｍ[i]、Ｈ[i]の分布を特徴づける統計量に基づいて、独立成分毎に肌色の特徴量biasＭ、biasＨが算出される。特徴量biasＭ、biasＨは、基準となる特徴量biasＭ0、biasＨ0からのずれを表す量であり、独立成分の値の低い分割領域の寄与が大きくなるように決定される。特徴量biasＭ、biasＨは、例えば、次の数式９によって算出される。
【数９】
2017147535.tif 000011
ここで、avgＭは、ラベルが追加された複数の分割領域の独立成分Ｍ[i]の平均値である。devＭは、ラベルが追加された複数の分割領域の独立成分Ｍ[i]の分散である。skwＭは、ラベルが追加された複数の分割領域の独立成分Ｍ[i]の歪度である。avgＨは、ラベルが追加された複数の分割領域の独立成分Ｈ[i]の平均値である。devＨは、ラベルが追加された複数の分割領域の独立成分Ｈ[i]の分散である。skwＨは、ラベルが追加された複数の分割領域の独立成分Ｈ[i]の歪度である。ａ１〜ａ３、及び、ｂ１〜ｂ３は係数であり、予め設定された上で、撮影装置１内の記憶領域に記憶されている。
【００６９】
数式９に示すように、特徴量は、独立成分の値の平均値、及び、独立成分の分布の拡がりを示す分散を含んでいる。そのため、ラベルが追加された全ての分割領域を特徴量biasＭ、biasＨの計算に反映させることができる。また、例えば、人物の肌ではないにも拘わらず、肌の色に近い被写体像が存在する場合、異常値除去部３６ではこの被写体像を含む分割領域のラベルを除去できない可能性がある。しかし、分散devＭ、devＨを使用して特徴量biasＭ、biasＨを算出することにより、特徴量biasＭ、biasＨへの比較的数（頻度）の少ない人物の肌以外の被写体像の影響を抑えることができる。
【００７０】
また、数式９に示すように、特徴量biasＭ、biasＨはそれぞれ、分布の非対称性を示す歪度skwＭ、skwＨを含んでいる。歪度skwＭ、skwＨは、分布のピークが独立成分の値の小さい方にシフトし、値の大きい方へ裾が伸びている場合に正の値を取る。反対に、歪度skwＭ、skwＨは、分布のピークが独立成分の値の大きい方にシフトし、値の小さい方へ裾が伸びている場合に負の値を取る。そのため、歪度skwＭ、skwＨが正の値を取っている場合、独立成分は比較的小さい値に集中しており、光源の色に対して高い相関を有する。従って、係数ａ１〜ａ３、ｂ１〜ｂ３を適切に設定することにより、特徴量biasＭ、biasＨに対する、独立成分の値が平均値よりも小さい分割領域の寄与を大きくすることができる。これにより、光源の色に対する相関が高く、人の肌の色の個人差の影響を抑えた特徴量biasＭ、biasＨを算出することができる。
【００７１】
なお、特徴量biasＭ、biasＨの算出方法は数式９に限定されない。例えば、特徴量biasＭ、biasＨは、独立成分の加重平均によって算出されてもよい。この場合、特徴量biasＭ、biasＨは、次の数式１０によって算出される。
【数１０】
2017147535.tif 000012
ここで、wgt_m[j]、wgt_h[k]はそれぞれ、frq_m[j]、frq_h[k]に掛けられる係数であり、予め設定された上で撮影装置１内の記憶領域に記憶されている。
【００７２】
数式１０では、特徴量biasＭ、biasＨは、独立成分の発生頻度を、独立成分Ｍ[j]、Ｈ[k]の値に応じて重み付けを行って足し合わせることにより算出される。そのため、特徴量biasＭ、biasＨの計算にラベルが追加された全ての分割領域を反映させることができる。また、値の小さい独立成分に対する係数wgt_m[j]、wgt_h[k]を大きくすることにより、光源の色との相関の高く、人の肌の色の個人差の影響を抑えた特徴量biasＭ、biasＨを算出することができる。
【００７３】
図９には、数式９又は数式１０によって算出された特徴量が座標（biasＭ, biasＨ）にプロットされている。また、図９には、基準となる特徴量が座標（biasＭ0, biasＨ0）にプロットされている。基準となる特徴量biasＭ0, biasＨ0は、基準光源によって照明された肌色の被写体の独立成分であり、予め決定された上で撮影装置１の記憶領域に記憶されている。なお、基準となる特徴量biasＭ0、biasＨ0は、固定ではなく、変更可能であってもよい。例えば、基準となる特徴量biasＭ0, biasＨ0は、ラベルが追加された分割領域が、図７に示す複数の肌色判定領域４０１〜４０４のうち、何れに多く含まれているかに応じて変更されてもよい。
【００７４】
係数決定処理Ｓ３０７では、特徴量biasＭ、biasＨが算出されると、これに基づいて肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆが算出される。詳しくは、係数決定部３７は、まず、次の数式１１により、独立成分の特徴量の差分（biasＭ-biasＭ0、biasＨ-biasＨ0）をＲＧＢ空間に変換する。
【数１１】
2017147535.tif 000013
これにより、撮影された被写体像と基準となる肌色の被写体像との差分を表す色信号rstＲ、rstＧ、rstＢが求められる。次に、数式１２により、肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆが計算される。
【数１２】
2017147535.tif 000014
【００７５】
係数決定処理Ｓ３０７によって肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆが決定されると、肌色ホワイトバランス係数算出処理Ｓ１０２が終了し、次のホワイトバランス係数合成処理Ｓ１０３が実行される。
【００７６】
［図２のＳ１０３（ホワイトバランス係数合成処理）］
本処理ステップＳ１０３では、通常ホワイトバランス係数算出処理Ｓ１０１で算出された通常ホワイトバランス係数ＧＲｗ、ＧＧｗ、ＧＢｗ、及び、肌色ホワイトバランス係数算出処理Ｓ１０２で算出された肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆに基づいて、本露光に使用する合成ホワイトバランス係数ＧＲ、ＧＧ、ＧＢが算出される。合成ホワイトバランス係数ＧＲ、ＧＧ、ＧＢは、次の数式１３によって算出される。
【数１３】
2017147535.tif 000015
数式１３は、通常ホワイトバランス係数ＧＲｗ、ＧＧｗ、ＧＢｗを、肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆによって補正するものである。肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆによる補正の度合い（重み）は、定数αによって決まる。定数αは、固定値であってもよく、通常ホワイトバランス係数ＧＲｗ、ＧＧｗ、ＧＢｗ、及び、肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆの信頼度に応じて変更可能であってもよい。
【００７７】
例えば、光源推定処理Ｓ２０５において、分割領域が図４の特定の白色領域に集中して分布している場合、光源の推定精度が高いと考えられる。この場合、通常ホワイトバランス係数ＧＲｗ、ＧＧｗ、ＧＢｗの信頼度が高く、肌色ホワイトバランス係数による過度な補正は不要と見做されて、定数αが小さな値に設定される。
【００７８】
また、被写体像全体に対し、人物の顔が占める割合が小さい場合、肌色であることを示すラベルが追加された分割領域の数が少なくなり、独立成分の分散が大きくなる。この場合は、肌色ホワイトバランス係数の信頼度が低いと見做されて、定数αが小さな値に設定される。
【００７９】
更に、光源推定処理Ｓ２０５において、分割領域が図４における複数の白色領域にまたがって分布しており、白色領域間でプロット数に大きな差がない場合は、光源の推定精度が低いと考えられる。この場合、通常ホワイトバランス係数ＧＲｗ、ＧＧｗ、ＧＢｗの信頼度は低く、肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆによる補正が必要と見做されて、定数αが大きな値に設定される。
【００８０】
また、合成ホワイトバランス係数の算出方法は、数式１３に限定されない。例えば、合成ホワイトバランス係数は、白色ホワイトバランス係数と肌色ホワイトバランス係数を所定の割合で足し合わせたものであってもよい。
【００８１】
［図２のＳ１０４（ホワイトバランス調整処理）］
本処理ステップＳ１０４では、次の数式１４により、撮像信号ＲＰ、ＧＰ、ＢＰに対するホワイトバランス調整処理が行われる。
【数１４】
2017147535.tif 000016
ホワイトバランス調整処理Ｓ１０４によって調整された撮像信号ＲＰ´、ＧＰ´、ＢＰ´は、所定の画像処理が施され、ＬＣＤ１２４へのスルー画の表示や、撮影データの生成に使用される。
【００８２】
このように、本実施形態によれば、被写体像の顔領域の色情報（色評価値）に基づく撮像信号ＲＰ、ＧＰ、ＢＰから独立成分が抽出される。独立成分は、人間の肌の色に寄与するメラニンの色素成分Ｍ[i]とヘモグロビンの色素成分Ｈ[i]を含む。これらの独立成分Ｍ[i]、Ｈ[i]の分布を特徴づける統計量（独立成分の分散、歪度、加重平均等）に基づいて顔領域の特徴量biasＭ、biasＨが算出され、この特徴量biasＭ、biasＨに基づいて肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆが決定される。肌色ホワイトバランス係数ＧＲｆ、ＧＧｆ、ＧＢｆを使用して撮像信号に対するホワイトバランス調整処理を行うことにより、撮影画像における人物の肌色を好適に再現することができる。
【００８３】
また、本実施形態によれば、例えば、肌色ホワイトバランス係数の算出に使用する被写体像の領域の一部に、人物の肌以外の被写体像が含まれている場合においても、独立成分の統計量を使用して特徴量biasＭ、biasＨを算出することによって人物の肌以外の被写体像が肌色ホワイトバランス係数に与える影響を抑え、適正なホワイトバランス調整を行うことができる。また、本実施形態によれば、独立成分Ｍ[i]、Ｈ[i]を、その値の大きさに応じてソーティング（並び替え）を行う必要がないため、画像処理エンジン１１６の処理負荷を抑えつつ、適正なホワイトバランス調整を行うことができる。
【００８４】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【００８５】
例えば、図５に示す係数決定処理Ｓ３０７において、特徴量biasＭ、biasＨの算出式は数式１０に限定されない。特徴量biasＭ、biasＨの算出方法は、ラベルが追加された分割領域の数に応じて変更されてもよい。
【００８６】
図１０は、ラベルが追加された分割領域の数が少ない場合の、各分割領域の独立成分をプロットしたものである。図１０の横軸はメラニンに対応する独立成分Ｍ[i]の大きさを示し、縦軸はヘモグロビンに対応する独立成分Ｈ[i]の大きさを示す。また、図１０には、独立成分Ｍ[i]の発生頻度を示すグラフ１０Ａと、独立成分Ｈ[i]の発生頻度を示すグラフ１０Ｂが示されている。グラフ１０Ａの横軸は独立成分Ｍ[i]の値ｍ[j]を示し、縦軸はその発生頻度frq_mを示す。グラフ１０Ｂの横軸は独立成分Ｈ[i]の値ｈ[k]を示し、縦軸はその発生頻度frq_hを示す。
【００８７】
図１０のグラフ１０Ａ、１０に示すように、分割領域が少ない場合の独立成分の分布は、図９のグラフ９Ａ、９Ｂと比較して狭く、その発生頻度が少ない。また、グラフ１０Ａに示すように、独立成分の分布内において、一度も発生しない値ｍ[l]が発生する場合がある。この場合、独立成分の分散（divＭ、divＨ）や歪度（skwＭ、skwＨ）の信頼度が低く、適正な特徴量biasＭ、biasＨが得られない可能性がある。
【００８８】
そのため、ラベルが追加された分割領域の数が少ない場合は、例えば、特徴量biasＭ、biasＨをそれぞれ、独立成分の値の平均値avgＭ、avgＨとすることにより、適正な値から大きく外れないようにしてもよい。この場合、基準となる特徴量biasＭ0、biasＨ0の値も、特徴量biasＭ、biasＨの算出方法に応じて変更する。
【００８９】
特徴量biasＭ、biasＨを平均値avgＭ、avgＨとすると、特徴量への値の小さい独立成分の寄与が小さくなり、光源の色と特徴量の相関が低くなる。しかし、信頼度の低い分散や歪度によって特徴量が適正な値から大きく外れてしまうことを防止することができる。なお、特徴量biasＭ、biasＨは、独立成分の値の中央値や最頻値としてもよい。
【符号の説明】
【００９０】
１  撮影装置
１００  システムコントローラ
１０２  操作部
１０４  駆動回路
１０６  撮影レンズ
１０８  絞り
１１０  シャッタ
１１２  撮像素子
１１４  撮像素子駆動回路
１１６  画像処理エンジン
１１８  バッファメモリ
１２０  カード用インタフェース
１２２  ＬＣＤ制御回路
１２４  ＬＣＤ
１２６  ＲＯＭ
２００  メモリカード
【図１】
2017147535.tif 000017
【図２】
2017147535.tif 000018
【図３】
2017147535.tif 000019
【図４】
2017147535.tif 000020
【図５】
2017147535.tif 000021
【図６】
2017147535.tif 000022
【図７】
2017147535.tif 000023
【図８】
2017147535.tif 000024
【図９】
2017147535.tif 000025
【図１０】
2017147535.tif 000026