(57)【要約】【課題】複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアなどの個別のエリアにおいて光源の色温度の推定の間違いを減らし、画像全体において違和感の無い色再現を実現可能なマルチエリアホワイトバランス制御装置の提供。【解決手段】入力画像を複数のエリアに分割するエリア分割手段１１、分割されたエリア毎に光源の色温度を推定する第１の推定手段１２、推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段１３、エリア分割手段によって分割されたエリア毎に光源の色温度を、色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第２の推定手段１４、推定された各エリアの光源の色温度に基づき、入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段１５を有する。【選択図】図２
2015146480.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数のエリアに分割するエリア分割手段と、
前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第１のエリア光源色温度推定手段と、
前記第１のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段と、
前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第２のエリア光源色温度推定手段と、
前記第２のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段と
を有することを特徴とするマルチエリアホワイトバランス制御装置。
【請求項２】
前記色温度推定対象光源抽出手段が、前記第１のエリア光源色温度推定手段によって推定された光源の色温度を種類毎にカウントし、カウントした上位数種類の光源の色温度に絞り込むことを特徴とする請求項１に記載のマルチエリアホワイトバランス制御装置。
【請求項３】
前記第２のエリア光源色温度推定手段は、前記エリア分割手段によって分割されたそれぞれのエリアのうち、前記第１のエリア光源色温度推定手段によって推定された光源の色温度が、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれにも該当しないエリアのみを対象として、光源の色温度を推定することを特徴とする請求項１に記載のマルチエリアホワイトバランス制御装置。
【請求項４】
前記エリア分割手段は、入力画像を複数の第１のエリアに分割する第１のエリア分割手段と、該入力画像を複数の第２のエリアに分割する第２のエリア分割手段を有し、
前記第１のエリア光源色温度推定手段は、前記第１のエリア分割手段によって分割された第１のエリア毎に光源の色温度を推定し、
前記第２のエリア光源色温度推定手段は、前記第２のエリア分割手段によって分割された第２のエリア毎に光源の色温度を前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定することを特徴とする請求項１〜３のいずれかに記載のマルチエリアホワイトバランス制御装置。
【請求項５】
前記第１のエリアのサイズが、前記第２のエリアのサイズと異なることを特徴とする請求項４に記載のマルチエリアホワイトバランス制御装置。
【請求項６】
請求項１〜５のいずれかに記載のマルチエリアホワイトバランス制御装置と、
前記マルチエリアホワイトバランス制御装置に備わる前記ホワイトバランス補正ゲインマップ生成手段によって生成された、各エリアのホワイトバランス補正ゲインに基づき、該マルチエリアホワイトバランス制御装置の前記エリア分割手段が分割対象とした前記入力画像全体のホワイトバランス処理を行うホワイトバランス処理手段と
を備えることを特徴とするマルチエリアホワイトバランス画像処理装置。
【請求項７】
請求項６に記載のマルチエリアホワイトバランス画像処理装置を備えた撮像装置。
【請求項８】
入力画像を複数のエリアに分割し、
分割したエリア毎に光源の色温度を推定し、
推定した、光源の色温度のうち一部の種類の光源の色温度に絞り込み、
分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直し、
推定し直した各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴とするマルチエリアホワイトバランス制御方法。
【請求項９】
マルチエリアホワイトバランス制御装置に備わるコンピュータであって、
前記コンピュータを、
入力画像を複数のエリアに分割するエリア分割手段、
前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第１のエリア光源色温度推定手段、
前記第１のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段、
前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第２のエリア光源色温度推定手段、
前記第２のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させるためのマルチエリアホワイトバランス制御プログラムを記録したコンピュータ。
【請求項１０】
マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、
前記コンピュータを、
入力画像を複数のエリアに分割するエリア分割手段、
前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第１のエリア光源色温度推定手段、
前記第１のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段、
前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第２のエリア光源色温度推定手段、
前記第２のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させるためのマルチエリアホワイトバランス制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光源で照明されたシーンを撮影した画像におけるマルチエリアホワイトバランス画像処理において、複数のエリアに分割された画像に対して、画像内の光源の種類を絞り込んだうえ、エリア毎の色温度推定を行い、その結果に基づき、画像全体のホワイトバランス補正ゲインマップを生成し、それを用いて入力画像に対してホワイトバランス補正を行うことで、画像全体における違和感の無い色再現を実現するためのマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置に関する。
【背景技術】
【０００２】
撮影光源は、日中の屋外であれば太陽の高度・大気の状態などに依存してその色温度が変化する。
また、同じシーンの中でも日向と日陰で色温度が異なる。
更に屋内では蛍光灯や白熱灯など様々な人工照明があり、それぞれの光源の色温度が異なる。
また、昼間の室外でフラッシュ撮影した場合、フラッシュ照明と外光の混合光が撮影光源となる。
また、夜の室外でフラッシュ撮影した場合、フラッシュ照明光と背景の人工照明光とは混合しないが、同じシーンの中の異なるエリアでは、光源の色温度が異なる。
また、室内でフラッシュ撮影した場合、フラッシュ照明光と人工照明光が混じりあった光が、撮影光源となる。
【０００３】
上記のような様々な撮影光源の下では、人間の眼は色順応する。つまり、人間の眼は、光源が太陽光、人工照明光、それらのミックス光の如何を問わず、注目エリアの白い被写体を白く感じる。この人間の眼の特性に合わせて入力装置であるカメラも、ＲＧＢのゲインを調整して、いわゆるホワイトバランスを取るように構成されている。
【０００４】
しかし、カメラにとっては、撮影前まで撮影光源が未知であるため、一般的には撮影照明の種類（光源の色温度）を撮影した画像から推定したり、もしくはユーザーが指定することによって、その照明種類に合わせて撮影した画像全体のホワイトバランスを補正する。
【０００５】
被写体のシーンが複数の光源によって照明された場合、画像全体のホワイトバランス処理を高精度に行うためには、取得した画像の領域に応じて光源の色温度を検出し、領域ごとに異なるホワイトバランス処理を行う必要がある。
【０００６】
従来、複数の光源で照明されたシーンを撮影した画像のホワイトバランス処理を行う方法としては、例えば、特許文献１に、その一例が開示されている。
特許文献１に記載の方法では、入力されたカラー画像を、複数の小画面に分割し、該分割された各小画面毎に、前記カラー画像を撮影した際の撮影光源の色温度を推定し、各小画面毎の推定色温度のヒストグラムを作成し、前記各小画面をグループ分けし、該グループ毎に、再度撮影光源の色温度を推定し、該グループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出し、該グループ内の各小画面に対し、前記各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２７１６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、従来、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランス補正技術では、ホワイトバランスの補正に先立ち、入力された画像を複数のエリアに分割し、該分割されたエリアごとに、例えば、一般的に行われている光源色温度推定方法を用いて、ミックス光源画像を撮影した際の撮影光源の色温度を推定している。
しかし、複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアでは、光源の色温度を間違った色温度に推定してしまい易い。
例えば、図１に示すように、画面の左下半分が日向、右上半分が日陰のようなシーンの入力画像を６×６のエリアに分割して、それぞれのエリアの光源の色温度を推定する場合、左上から右下の対角線上に近い、日陰と日向がミックスしているようなエリアや、左下の全体がほぼ芝生となるようなエリアでは、光源の色温度の推定が間違いやすい。
全面が芝生のエリアに対して、一般的に行われている光源色温度推定方法で光源の色温度を推定した場合、光源の色温度が蛍光灯などの人工照明と間違って推定され易い。このように間違って推定された光源の色温度に基づいて、対応するホワイトバランス補正ゲインを用いてホワイトバランスを補正すると、当該エリアの色と隣接エリアの色のバランスが大きく崩れてしまい、画像全体が非常に不自然な色合いとなる可能性がある。
【０００９】
しかるに、特許文献１に記載されている方法は、小画面毎に光源の色温度を推定した後、推定した光源の色温度が近い小画面を複数のグループに仕分けし、仕分けしたグループ毎に再度光源の色温度の推定を行うので、同じグループに属するエリアが異なる色温度と推定されることがなくなり、エリア間で色温度の変化が少なくなり、その再度推定した光源の色温度を用いたホワイトバランス補正で画像全体が非常に不自然な色合いとなることを防ぐことができる。しかし、小画面の光源の色温度の推定が間違っていて、推定した光源の色温度が本来の光源の色温度と大きく異なる場合、その小画面がそもそも本来属するべきグループに仕分けされない。このため、特許文献１に記載されている方法では、小画面の光源の色温度の推定が間違っているエリアでは、間違って推定した光源の色温度に対応するホワイトバランス補正ゲインを用いてホワイトバランスを補正する結果、当該エリアの色のバランスが大きく崩れて、局所的に非常に不自然な色合いとなるといった課題に対処できない。
【００１０】
本発明は、以上の従来技術における問題を鑑みてなされたものであり、撮影画像全体を複数のエリアに分割して、それぞれのエリアの光源の色温度を推定する場合、複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアなどの個別のエリアにおいて光源の色温度の推定の間違いを減らし、画像全体において違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明によるマルチエリアホワイトバランス制御装置は、入力画像を複数のエリアに分割するエリア分割手段と、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第１のエリア光源色温度推定手段と、前記第１のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段と、前記エリア分割手段によって分割されたエリア毎に光源の色温度を前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第２のエリア光源色温度推定手段と、前記第２のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段とを有することを特徴としている。
【００１２】
また、本発明によるマルチエリアホワイトバランス制御方法は、入力画像を複数のエリアに分割し、分割したエリア毎に光源の色温度を推定し、推定した、光源の色温度のうち一部の種類の光源の色温度に絞り込み、分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直し、推定し直した各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴としている。
【００１３】
また、本発明によるマルチエリアホワイトバランス制御プログラムを記録したコンピュータは、マルチエリアホワイトバランス制御装置に備わるコンピュータであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第１のエリア光源色温度推定手段、前記第１のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第２のエリア光源色温度推定手段、前記第２のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させるためのマルチエリアホワイトバランス制御プログラムを記録している。
【００１４】
また、本発明によるマルチエリアホワイトバランス制御プログラムは、マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第１のエリア光源色温度推定手段、前記第１のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第２のエリア光源色温度推定手段、前記第２のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させることを特徴としている。
【発明の効果】
【００１５】
本発明によれば、撮影画像全体を複数のエリアに分割して、それぞれのエリアの色温度を推定する場合、複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアなどの個別のエリアにおいて光源の色温度の推定の間違いを減らし、画像全体において違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置が得られる。
【図面の簡単な説明】
【００１６】
【図１】入力画像を複数のエリアに分割した一例を示す説明図である。
【図２】本発明の第１実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。
【図３】図２のマルチエリアホワイトバランス制御装置における入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。
【図４】（Ｒ／Ｇ，Ｂ／Ｇ）色度図における被写体の色分布から光源の色温度を推定する際における、画像データにおける全ての画素を色度図上にプロットし、色度図上での予め設定した各種の光源の色温度エリア判定基準に従い、プロットした点についての光源の色温度の判定を行うための、色度図及びエリア判定基準の一例を示すグラフである。
【図５】図２のマルチエリアホワイトバランス制御装置において、入力画像がエリア分割され第１のエリア光源色温度推定手段により、エリア毎に推定された光源の色温度の一例を示す説明図である。
【図６】図２のマルチエリアホワイトバランス制御装置において、第２のエリア光源色温度推定手段により、エリア毎に推定された光源の色温度の一例を示す説明図である。
【図７】本発明の第２実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。
【図８】図７のマルチエリアホワイトバランス制御装置における入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。
【図９】図７のマルチエリアホワイトバランス制御装置において、第１のエリア分割手段が入力画像を複数の第１のエリアに分割した一例を示す説明図である。
【図１０】図７のマルチエリアホワイトバランス制御装置において、第１のエリア光源色温度推定手段により、図９に示す第１のエリア毎に推定された光源の色温度の一例を示す説明図である。
【図１１】図７のマルチエリアホワイトバランス制御装置において、第２のエリア分割手段が入力画像を複数の第２のエリアに分割した一例を示す説明図である。
【図１２】図７のマルチエリアホワイトバランス制御装置において、第２のエリア光源色温度推定手段により、図１１に示す第２のエリア毎に推定された光源の色温度の一例を示す説明図である。
【図１３】第２実施形態のマルチエリアホワイトバランス制御装置の変形例にかかる入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。
【図１４】第２実施形態のマルチエリアホワイトバランス制御装置の変形例にかかるマルチエリアホワイトバランス制御装置において、第１のエリア光源色温度推定手段により、第１のエリア毎に推定された光源の色温度の一例を示す説明図である。
【図１５】第２実施形態のマルチエリアホワイトバランス制御装置の変形例にかかるマルチエリアホワイトバランス制御装置において、第１のエリア光源色温度推定手段により第１のエリア毎に推定された光源の色温度が図１４に示すように場合に、第１のエリア全体の光源の色温度を推定し直した状態を示す説明図である。
【発明を実施するための形態】
【００１７】
実施例の説明に先立ち、本発明の作用効果について説明する。
本発明は、入力画像を複数のエリアに分割し、分割したエリア毎に光源の色温度を推定し、推定した、光源の色温度のうち一部の種類の光源の色温度に絞り込み、分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直し、推定し直した各エリアの光源の色温度に基づき、入力画像全体のホワイトバランス補正ゲインマップを生成するようにしている。
【００１８】
本発明のように、推定した、光源の色温度のうち一部の種類の光源の色温度に絞り込み、分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直せば、当初推定した当該エリアの色温度が間違っていても、当該エリアの推定した光源の色温度をより適正な色温度に推定し直すことができる。その結果、各エリアの適正な色温度に推定し直された光源の色温度に基づいて、入力画像全体のホワイトバランス補正ゲインマップを生成でき、生成したホワイトバランス補正マップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。
【００１９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に係る本発明を限定するものではない。
【００２０】
第１実施形態
図２は本発明の第１実施形態にかかるマルチエリアＡＷＢ（オートホワイトバランス）制御装置を備えたデジタルカメラのブロック図である。図２中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点差線で囲んだ部分がマルチエリアホワイトバランス画像処理装置に対応する構成である。図３は図２のマルチエリアホワイトバランス制御装置における入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。
【００２１】
本実施形態のマルチエリアホワイトバランス制御装置１は、図２に示すように、エリア分割手段としての画像エリア分割部１１と、第１のエリア光源色温度推定手段としての第１のエリア色温度推定部１２と、色温度推定対象光源抽出手段としての色温度推定対象光源抽出部１３と、第２のエリア光源色温度推定手段第２のエリア色温度推定部１４と、ホワイトバランス補正ゲインマップ生成手段としてのＷＢ（ホワイトバランス）ゲインマップ生成部１５を有している。図２中、１０はマルチエリアホワイトバランス画像処理装置、１６はＷＢ（ホワイトバランス）ゲインマップ生成部１５が生成したホワイトバランス補正ゲインマップを記憶するゲインマップ記憶部、１７はホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部、２１はレンズ、２２はイメージセンサ、２３はイメージセンサ２２が撮像した画像を記憶する画像記憶部である。なお、本実施形態のマルチエリアホワイトバランス画像処理装置１０を備えたデジタルカメラは、図示しない制御部を備えている。制御部は、撮影指示に基づきイメージセンサ２２が撮影した画像を画像記憶部２３に記憶する機能や、画像記憶部２３に記憶されている画像を入力する機能を、夫々別個に備えている。図２の例では、図示しない制御部の撮影指示により、レンズ２１を経てイメージセンサ２２に結像された画像が撮像されデジタル信号として画像記憶部２３に記憶されている。
【００２２】
画像エリア分割部１１は、入力画像を予め決められたサイズの複数のブロックに分割する。
【００２３】
第１のエリア色温度推定部１２は、画像エリア分割部１１により分割されたブロック毎に光源の色温度を推定する。なお、光源の色温度の推定方法の詳細については後述する。
【００２４】
色温度推定対象光源抽出部１３は、第１のエリア色温度推定部１２によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込みを行う。詳しくは、色温度推定対象光源抽出部１３は、第１のエリア色温度推定部１２によって推定された全ブロックの光源の色温度を種類毎にカウントし、入力画像全体に含まれる主要な光源の色温度の種類として、カウント数が所定の閾値（例えば、カウント数が全ブロック数の１５％）を上回る一部の種類（ここでは上位２種類）の光源の色温度を抽出する。なお、ここでは便宜上、色温度推定対象光源抽出部１３が抽出する光源の色温度の種類を上位２種類としたが、色温度推定対象光源抽出部１３が抽出する光源の色温度の種類は、カウント数が所定の閾値を上回る光源の色温度が２種類以上存在する場合には、２種類を上回る種類の光源の色温度を抽出するようにしてもよい。また、色温度推定対象光源抽出部１３は、光源の色温度の種類毎のカウントに関し、第１のエリア色温度推定部１２によって光源の色温度が推定不能なブロックについてはカウントの対象外とするように構成されている。
第２のエリア色温度推定部１４は、画像エリア分割部１１によって分割されたブロック毎に、色温度推定対象光源抽出部１３が絞り込んだ上位２種類の光源の色温度のいずれかに、光源の色温度を推定する。
なお、主要な光源の色温度の抽出方法及び光源の色温度の推定方法の詳細については後述する。
【００２５】
ＷＢゲインマップ生成部１５は、第２のエリア色温度推定部１４によって推定された各ブロックの光源の色温度に基づき、入力画像全体のホワイトバランス補正ゲインマップを生成する。
【００２６】
ＷＢゲイン補正部１７は、ＷＢゲインマップ生成部１５によって生成されたホワイトバランス補正ゲインマップに基づき、入力画像全体のホワイトバランスを補正する。
【００２７】
このように構成された本実施形態のマルチエリアホワイトバランス制御装置を用いた入力画像のホワイトバランスを補正するまでの処理の流れを図３から図６を用いて説明する。
【００２８】
まず、図示しないデジタルカメラの制御部が、イメージセンサ２２での出力を経て画像記憶部２３に記憶されている画像データを入力する（ステップＳ１）。
次いで、画像エリア分割部１１が、入力された画像データを予め決められたサイズの複数のブロックに分割する（ステップＳ２）。なお、便宜上、以下の説明では画像データは６×６のブロックに分割するものとする。
【００２９】
次いで、第１のエリア色温度推定部１２が、画像エリア分割部１１により分割された各ブロックの画像に対して、例えば、次のような方法で、ブロック毎の光源の色温度の推定を行う（ステップＳ３）。
【００３０】
例えば、イメージセンサの有効画素が４８００×３６００画素であるものとする。入力されるベイヤーパターンのＲＡＷ画像は、画像エリア分割部１１により６×６のブロックに分割され、各ブロックのサイズは８００×６００画素となっている。
【００３１】
光源の色温度の推定に先立ち、この８００×６００画素のブロックに対して、更に、例えば、２０×２０の画素範囲を１つのサンプリングポイントとし、２０×２０の画素範囲内にあるＲ、Ｇ、Ｂそれぞれの画素値の平均値を求めることで、ダウンサンプリングした４０×３０画素のサンプリングポイントを有するＲ、Ｇ、Ｂそれぞれの画素データを得る。
【００３２】
この４０×３０画素のサンプリングポイントに対して、色度値（Ｒ／Ｇ，Ｂ／Ｇ）を求め、各サンプリングポイントの色度値を、例えば、図４に示す色度図上にプロットする。そして、例えば、図４に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、全てのサンプリングポイントの色度値をプロットした点について光源の色温度のエリア判定を行い、各光源の色温度エリアに属するプロットした点の個数を集計する。集計した各光源の色温度エリアに属するプロットした点の個数の大小の順位から、例えば、次の表１に示すような条件に従い、当該ブロックの光源の色温度を推定する。
【００３３】
【表１】
2015146480.tif 000003
【００３４】
第１のエリア色温度推定部１２は、３６個のブロック全てに対して、上記方法を用いて光源の色温度の推定を行う。これにより、画像全体に対して、例えば、図５に示すような光源の色温度の推定結果が得られる。
【００３５】
エリア色温度推定部１２による全てのブロックに対する光源の色温度の推定処理が終了後、色温度推定対象光源抽出部１３が、第１のエリア色温度推定部１２によって推定された上記３６個のブロックの光源の色温度を種類別にカウントする。図５の例では、色温度推定対象光源抽出部１３がカウントした光源の色温度の種類に関し、“Ａ”（日向）として推定されたブロックが１３個、“Ｂ”（日陰）として推定されたブロックが１４個、“Ｃ”（蛍光灯）として推定されたブロックが４個、“Ｄ”（その他）として推定されたブロックが５個となっている。そこで、色温度推定対象光源抽出部１３は、上記３６個のブロック全体でカウント数が所定の閾値（例えば、カウント数が全ブロック数の１５％）を上回る一部の種類（ここでは上位２種類）の光源の色温度の種類として、“Ｂ”（日陰）と“Ａ”（日向）を抽出する（ステップＳ４）。
【００３６】
続いて、第２のエリア色温度推定部１４が、画像エリア分割部１１により分割された３６個の各ブロックの画像に対して、例えば、次のような方法で、ブロック毎の光源の色温度を推定し直す（ステップＳ５）。この場合、色温度推定対象光源抽出部１３が絞り込んだ上位２種類のいずれかの光源の色温度、即ち、図５の例では、“Ｂ”（日陰）、“Ａ”（日向）のいずれかに推定する。
【００３７】
例えば、イメージセンサの有効画素が４８００×３６００画素であるものとすると、入力されるベイヤーパターンのＲＡＷ画像は、画像エリア分割部１１により６×６のブロックに分割され、各ブロックのサイズは８００×６００画素となっている。
【００３８】
光源の色温度の推定に先立ち、この８００×６００画素のブロックに対して、更に、例えば、２０×２０の画素範囲を１つのサンプリングポイントとし、２０×２０の画素範囲内にあるＲ、Ｇ、Ｂそれぞれの画素値の平均値を求めることで、ダウンサンプリングした４０×３０画素のサンプリングポイントを有するＲ、Ｇ、Ｂそれぞれの画素データを得る。
【００３９】
この４０×３０画素のサンプリングポイントに対して、色度値（Ｒ／Ｇ，Ｂ／Ｇ）を求め、各サンプリングポイントの色度値を、例えば、図４に示す色度図上にプロットする。
【００４０】
次いで、例えば、図４に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、日陰（エリア１：日陰）と日向（エリア３：晴天）の色温度エリアに属するプロットした点の個数を集計する。集計した日陰と日向の色温度エリアに属するプロットした点の重心が、日陰と日向のうちのいずれの色温度エリアにあるかを判定し、重心があるエリアの色温度を当該ブロックの光源の色温度として推定する。
これにより、画像全体に対して、例えば、図６に示すような光源の色温度の推定結果が得られる。
【００４１】
第１のエリア色温度推定部１２によって全てのブロックの光源の色温度を推定した場合、実際の目視結果と比べて、第１のエリア色温度推定部１２が推定した大半のブロックにおける光源の色温度は、正しいものとなるが、一部のブロックでは間違ったものとなりうる。例えば、図５に示す（０，０）、（１，１）、（２，２）、（２，３）、（３，３）、（４，３）、（４，４）、（４，５）、（５，５）の各ブロックは、“Ｂ”（日陰）と“Ａ”（日向）の境界部に位置するブロックであるため、第１のエリア色温度推定部１２は、光源の色温度の推定を、“Ｃ”（蛍光灯）あるいは“Ｄ”（その他）に間違え易くなる。
【００４２】
しかるに、本実施形態のマルチエリアホワイトバランス制御装置１では、色温度推定対象光源抽出部１３が、第１のエリア色温度推定部１２によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込み、第２のエリア色温度推定部１４が、エリア分割手段１１によって分割されたブロック毎に光源の色温度を、色温度推定対象光源抽出部１３が絞り込んだ一部の種類の光源の色温度のいずれかに推定することで、図６に示すように、丸印で囲まれているブロック（即ち、（０，０）、（１，１）、（２，２）、（２，３）、（３，３）、（４，３）、（４，４）、（４，５）、（５，５）の各ブロック）の光源の色温度が、“Ｃ”（蛍光灯）あるいは“Ｄ”（その他）に間違っていた色温度から“Ｂ”（日陰）あるいは“Ａ”（日向）といった正しい光源の色温度に推定し直される。
【００４３】
第２のエリア色温度推定部１４によるブロック毎の光源の色温度の、色温度推定対象光源抽出部１３が絞り込んだ一部の種類の光源の色温度のいずれかへの推定の後、ＷＢゲインマップ生成部１５が、図６に示す推定し直された各ブロックの光源の色温度に基づき、図示しない予め決められている光源の色温度に対応するＲ、Ｂのゲインのデータを参照にして、Ｒ、Ｂに対応するＷＢ補正ゲインマップを生成する（ステップＳ６）。ＷＢゲインマップ生成部１５が生成したＷＢ補正ゲインマップは、ゲインマップ記憶部１６に記憶（保存）される。
【００４４】
そして、ＷＢゲイン補正部１７が、入力画像の位置に対応して、それぞれの色の画素値にゲインマップ記憶部１６を入力して得たゲインをかけることにより、ホワイトバランスを補正し、画像を出力する（ステップＳ７）。
【００４５】
本実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法によれば、推定した、光源の色温度のうち、カウントした上位数種類の一部の種類の光源の色温度に絞り込み、分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直すようにしたので、複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアなどの個別のエリアにおいて推定した当該エリアの色温度が間違っていても、当該エリアの推定した光源の色温度をより適正な色温度に推定し直すことができる。その結果、各エリアの適正な色温度に推定し直された光源の色温度に基づいて、入力画像全体のホワイトバランス補正ゲインマップを生成でき、生成したホワイトバランス補正マップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。
【００４６】
なお、上記の例では、第２のエリア色温度推定部１４が、画像エリア分割部１１により分割された３６個のエリア全てに対して、色温度推定対象光源抽出部１３が絞り込んだ一部の種類の光源の色温度のいずれかへの光源の色温度の推定を行うようにしたが、図５において、主要光源の色温度（“Ｂ”（日陰）、“Ａ”（日向））と異なる種類の光源の色温度（“Ｃ”（蛍光灯）、“Ｄ”（その他））となっているブロックのみに対して、再度の光源の色温度の推定を行うようにするのが好ましい。即ち、本実施形態のマルチエリアホワイトバランス制御装置１において、第２のエリア色温度推定部１４は、エリア分割手段１１によって分割されたそれぞれのブロックのうち、第１のエリア色温度推定部１２によって推定された光源の色温度が、色温度推定対象光源抽出手段１３が絞り込んだ一部の種類の光源の色温度のいずれにも該当しないブロックのみを対象として、光源の色温度を推定するようにするのが好ましい。このようにすれば、重複する処理が省かれて、マルチエリアホワイトバランス処理全体の高速化が図れる。
【００４７】
第２実施形態
図７は本発明の第２実施形態にかかるマルチエリアＡＷＢ（オートホワイトバランス）制御装置を備えたデジタルカメラのブロック図である。図７中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点差線で囲んだ部分がマルチエリアホワイトバランス画像処理装置に対応する構成である。図８は図７のマルチエリアホワイトバランス制御装置における入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。
【００４８】
本実施形態のマルチエリアホワイトバランス制御装置１は、図７に示すように、第１のエリア分割手段としての画像エリア分割部１１と、第１のエリア光源色温度推定手段としての第１のエリア色温度推定部１２と、色温度推定対象光源抽出手段としての色温度推定対象光源抽出部１３と、第２のエリア光源色温度推定手段第２のエリア色温度推定部１４と、ホワイトバランス補正ゲインマップ生成手段としてのＷＢ（ホワイトバランス）ゲインマップ生成部１５と、第２のエリア分割手段としての画像エリア分割部１８を有しており、エリア分割手段としては、第１のエリア分割手段としての第１の画像エリア分割部１１と、第２のエリア分割手段としての第２の画像エリア分割部１８を有している。図７中、１０はマルチエリアホワイトバランス画像処理装置、１６はＷＢ（ホワイトバランス）ゲインマップ生成部１５が生成したホワイトバランス補正ゲインマップを記憶するゲインマップ記憶部、１７はホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部、２１はレンズ、２２はイメージセンサ、２３はイメージセンサ２２が撮像した画像を記憶する画像記憶部である。
【００４９】
第１の画像エリア分割部１１は、入力画像を予め決められた第１のサイズの複数のブロック（例えば、図９に示すように３×３の９個）に分割する。
第２の画像エリア分割部１８は、入力画像を予め決められた、第１のサイズよりも小さな第２のサイズの複数のブロック（例えば、図１１に示すように６×６の３６個）に分割する。
【００５０】
第１のエリア色温度推定部１２は、第１の画像エリア分割部１１により分割されたブロック毎に光源の色温度を推定する。
【００５１】
第２のエリア色温度推定部１４は、第２の画像エリア分割部１８によって分割されたブロック毎に、色温度推定対象光源抽出部１３が絞り込んだ上位２種類の光源の色温度のいずれかに、光源の色温度を推定する。
【００５２】
その他の構成は、第１実施形態のマルチエリアホワイトバランス制御装置１と略同じである。
【００５３】
このように構成された本実施形態のマルチエリアホワイトバランス制御装置を用いた入力画像のホワイトバランスを補正するまでの処理の流れを図８から図１２を用いて説明する。
【００５４】
まず、図示しないデジタルカメラの制御部が、イメージセンサ２２での出力を経て画像記憶部２３に記憶されている画像データを入力する（ステップＳ１１）。
次いで、第１の画像エリア分割部１１が、入力された画像データを図９に示すような第１のサイズの３×３の９個のブロックに分割する（ステップＳ１２）。
【００５５】
次いで、第１のエリア色温度推定部１２が、第１の画像エリア分割部１１により分割された各ブロックの画像に対して、第１実施形態における第１のエリア色温度推定部１２と同様の光源の色温度の推定方法で、ブロック毎の光源の色温度の推定を行う（ステップＳ１３）。これにより、画像全体に対して、例えば、図１０に示すような光源の色温度の推定結果が得られる。
【００５６】
エリア色温度推定部１２による全てのブロックに対する光源の色温度の推定処理が終了後、色温度推定対象光源抽出部１３が、第１のエリア色温度推定部１２によって推定された上記９個のブロックの光源の色温度を種類別にカウントする。図１０の例では、色温度推定対象光源抽出部１３がカウントした光源の色温度の種類に関し、“Ａ”（日向）として推定されたブロックが４個、“Ｂ”（日陰）として推定されたブロックが３個、“Ｃ”（蛍光灯）として推定されたブロックが１個、“Ｄ”（その他）として推定されたブロックが１個となっている。そこで、色温度推定対象光源抽出部１３は、上記９個のブロック全体でカウント数が所定の閾値（例えば、カウント数が全ブロック数の１５％）を上回る一部の種類（ここでは上位２種類）の光源の色温度の種類として、“Ａ”（日向）と“Ｂ”（日陰）を検出する（ステップＳ１４）。
【００５７】
続いて、第２の画像エリア分割部１８が、入力された画像データを図１１に示すような第２のサイズの６×６の３６個のブロックに分割する（ステップＳ１５）。
【００５８】
続いて、第２のエリア色温度推定部１４が、第２の画像エリア分割部１８により分割された３６個の各ブロックの画像に対して、第１実施形態における第２のエリア色温度推定部１４と同様の光源の色温度の推定方法で、ブロック毎の光源の色温度を推定し直す（ステップＳ１６）。この場合、色温度推定対象光源抽出部１３が絞り込んだ上位２種類のいずれかの光源の色温度、即ち、図１０の例では、“Ａ”（日向）、“Ｂ”（日陰）のいずれかに推定する。これにより、画像全体に対して、例えば、図１２に示すような光源の色温度の推定結果が得られる。
【００５９】
第１のエリア色温度推定部１２によって全てのブロックの光源の色温度を推定した場合、実際の目視結果と比べて、第１のエリア色温度推定部１２が推定した大半のブロックにおける光源の色温度は、正しいものとなるが、一部のブロックでは間違ったものとなりうる。例えば、図１０に示す（１，１）、（２，２）の各ブロックは、“Ａ”（日向）と“Ｂ”（日陰）の境界部に位置するブロックであるため、第１のエリア色温度推定部１２は、光源の色温度の推定を、“Ｄ”（その他）あるいは“Ｃ”（蛍光灯）に間違え易くなる。
【００６０】
しかるに、本実施形態のマルチエリアホワイトバランス制御装置１では、色温度推定対象光源抽出部１３が、第１のエリア色温度推定部１２によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込み、第２のエリア色温度推定部１４が、第２のエリア分割手段１７によって分割されたブロック毎に光源の色温度を色温度推定対象光源抽出部１３が絞り込んだ一部の種類の光源の色温度のいずれかに推定することで、図１２に示すように、図１０でのブロック（１，１）に対応するブロック（２，２）、（２，３）、（３，２）、（３，３）、及び図１０でのブロック（２，２）に対応するブロック（４，４）、（４，５）、（５，４）、（５、５）の光源の色温度が、“Ｄ”（その他）あるいは“Ｃ”（蛍光灯）に間違っていた色温度から“Ａ”（日向）あるいは“Ｂ”（日陰）といった正しい光源の色温度に推定し直される。
【００６１】
第２のエリア色温度推定部１４によるブロック毎の光源の色温度の、色温度推定対象光源抽出部１３が絞り込んだ一部の種類の光源の色温度のいずれかへの推定の後、ＷＢゲインマップ生成部１５が、図１２に示す推定し直された各ブロックの光源の色温度に基づき、図示しない予め決められている光源の色温度に対応するＲ、Ｂのゲインのデータを参照にして、Ｒ、Ｂに対応するＷＢ補正ゲインマップを生成する（ステップＳ１７）。ＷＢゲインマップ生成部１５が生成したＷＢ補正ゲインマップは、ゲインマップ記憶部１６に記憶（保存）される。
【００６２】
そして、ＷＢゲイン補正部１７が、入力画像の位置に対応して、それぞれの色の画素値にゲインマップ記憶部１６を入力して得たゲインをかけることにより、ホワイトバランスを補正し、画像を出力する（ステップＳ１８）。
【００６３】
本実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法によれば、第１のエリア分割部１１で複数のブロックに分割する第１のサイズを大きくして分割するブロック数を極力少なくすることにより、第１のエリア色温度推定部１２による光源の色温度の推定処理回数を減らすことができ、マルチエリアホワイトバランス処理全体の高速化が図れる。
その他の作用効果は、第１実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法と略同じである。
【００６４】
なお、本実施形態のマルチエリアホワイトバランス制御装置において、第１のエリア色温度推定部１２により、第１のエリア毎に推定された光源の色温度の種類が略１種類であるような場合には、入力画像全体の光源の色温度が１種類であるものと判断できる。そこで、そのような場合には、次のような手順で処理を行うようにするのが望ましい。
【００６５】
図１３は第２実施形態のマルチエリアホワイトバランス制御装置の変形例にかかる入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。
【００６６】
図１４は第２実施形態の変形例のマルチエリアホワイトバランス制御装置１において、色温度推定対象光源抽出部１３による、第１のエリア色温度推定部１２によって推定された光源の色温度を種類毎にカウントした、カウント数が上位となる光源の色温度の種類が、 “Ａ”（日向）のみの１種類となったときを示している。詳しくは、図１４の例では、色温度推定対象光源抽出部１３がカウントした光源の色温度の種類に関し、“Ａ”（日向）として推定されたブロックが７個、“Ｂ”（日陰）として推定されたブロックが１個、“Ｃ”（蛍光灯）として推定されたブロックが１個、“Ｄ”（その他）として推定されたブロックが０個となっており、所定の閾値（例えば、カウント数が全ブロック数の１５％）を上回る光源の色温度の種類が“Ａ”（日向)のみの１種類となっている。
【００６７】
このような場合には、本変形例では、第１のエリア色温度推定部１２が推定した光源の色温度が“Ａ”（日向）以外の光源の色温度（ここでは、“Ｂ”（日陰）、“Ｃ”（蛍光灯））に推定されたブロックの光源の色温度の推定が誤っているものと判断して、第１のエリア色温度推定部１２に、図１５に示すように、全ブロックの光源の色温度を“Ａ”（日向）に推定し直させる（ステップＳ３０）。
そして、第２の画像エリア分割部１８、第２のエリア色温度推定部１４の夫々による処理を経ることなく、ＷＢゲインマップ生成部１５が、図１５に示す推定し直された各ブロックの光源の色温度に基づき、図示しない予め決められている光源の色温度に対応するＲ、Ｂのゲインのデータを参照にして、ＷＢ補正ゲインマップを生成する（ステップＳ２８）。
【００６８】
その他の構成及び処理手順は、第２実施形態のマルチエリアホワイトバランス制御装置と略同じである。
【００６９】
第２実施形態の変形例のようにすれば、色温度推定対象光源抽出部１３による、第１のエリア色温度推定部１２によって推定された光源の色温度を種類毎にカウントした、カウント数が所定の閾値（例えば、カウント数が図ンブロック数の１５％）を上回る光源の色温度の種類が１種類である場合に、第２の画像エリア分割部１８、第２のエリア色温度推定部１４の夫々による処理を省くことができ、マルチエリアホワイトバランス処理全体のより一層の高速化が図れる。
その他の作用効果は、図７〜図１２を用いて説明した第２実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法と略同じである。
【００７０】
以上、本発明のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法を説明し、上記各実施形態のマルチエリアホワイトバランス制御装置１においては、エリア分割手段としての画像エリア分割部１１、第２の画像エリア分割部１８が、入力画像を縦横夫々の直線で区切られた形状及び面積の等しいブロックに分割した例で説明したが、本発明のマルチエリアホワイトバランス制御装置１におけるエリア分割手段が分割する各エリアの形状・大きさは本実施形態に限定されるものではなく、例えば、三角形状、湾曲形状等どのような形状でもよいし、各エリアの大きさが異なっていてもよい。
【００７１】
さらに、上記各実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを（第１の）画像エリア分割部１１（（第１の）エリア分割手段）（さらには第２の画像エリア分割部１８（第２のエリア分割手段））、第１のエリア色温度推定部１２（第１のエリア光源色温度推定手段）、色温度推定対象光源抽出部１３（色温度推定対象光源抽出手段）、第２のエリア色温度推定部１４（第２のエリア光源色温度推定手段）、ＷＢゲインマップ生成部１５（ホワイトバランス補正ゲインマップ生成手段）、ＷＢゲイン補正部１７（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
さらに、あるいは、本実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを（第１の）画像エリア分割部１１（（第１の）エリア分割手段）（さらには第２の画像エリア分割部１８（第２のエリア分割手段））、第１のエリア色温度推定部１２（第１のエリア光源色温度推定手段）、色温度推定対象光源抽出部１３（色温度推定対象光源抽出手段）、第２のエリア色温度推定部１４（第２のエリア光源色温度推定手段）、ＷＢゲインマップ生成部１５（ホワイトバランス補正ゲインマップ生成手段）、ＷＢゲイン補正部１７（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
【産業上の利用可能性】
【００７２】
本発明のマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置は、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランスを補正することが求められる分野に有用である。
【符号の説明】
【００７３】
１            マルチエリアホワイトバランス制御装置
１０          マルチエリアホワイトバランス画像処理装置
１１          （第１の）エリア分割手段（（第１の）画像エリア分割部）
１２          第１のエリア光源色温度推定手段（第１のエリア色温度推定部）
１３          色温度推定対象光源抽出手段（色温度推定対象光源抽出部）
１４          第２のエリア光源色温度推定手段（第２のエリア色温度推定部）
１５          ホワイトバランス補正ゲインマップ生成手段（ＷＢゲインマップ生成部）
１６          ゲインマップ記憶部
１７          ホワイトバランス処理手段（ＷＢゲイン補正部）
１８          第２のエリア分割手段（第２の画像エリア分割部）
２１          レンズ
２２          イメージセンサ
２３          画像記憶部
【図１】
2015146480.tif 000004
【図２】
2015146480.tif 000005
【図３】
2015146480.tif 000006
【図４】
2015146480.tif 000007
【図５】
2015146480.tif 000008
【図６】
2015146480.tif 000009
【図７】
2015146480.tif 000010
【図８】
2015146480.tif 000011
【図９】
2015146480.tif 000012
【図１０】
2015146480.tif 000013
【図１１】
2015146480.tif 000014
【図１２】
2015146480.tif 000015
【図１３】
2015146480.tif 000016
【図１４】
2015146480.tif 000017
【図１５】
2015146480.tif 000018