(57)【要約】【課題】撮影画像全体を複数エリアに分割して光源の色温度を推定しホワイトバランス処理を行ったときに、色再現に違和感のない画像を生成可能なマルチエリアホワイトバランス制御装置の提供。【解決手段】入力画像を複数エリアに分割する手段１１、分割されたエリア毎に光源の色温度を推定する手段１２、分割されたエリア毎に画像の色情報を算出する手段１３、推定された各エリアの光源の色温度と算出された各エリアの画像の色情報とを用いてエリア毎のホワイトバランス処理用情報を取得し、且つ、算出された当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランス、低い場合はシングルエリアホワイトバランスの比率を夫々高くしたホワイトバランス処理用情報を取得する手段１４を備える。【選択図】図２
2015106737.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数のエリアに分割するエリア分割手段と、
前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する光源色温度推定手段と、
前記エリア分割手段によって分割されたエリア毎に画像の色情報を算出するエリア画像色情報算出手段と、
前記光源色温度推定手段によって推定された、各エリアの光源の色温度と、前記エリア画像色情報算出手段によって算出された、各エリアの画像の色情報とを用いてエリア毎のホワイトバランス処理用情報を取得し、且つ、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得するホワイトバランス制御手段と
を備えることを特徴とするマルチエリアホワイトバランス制御装置。
【請求項２】
前記画像の色情報が彩度情報であることを特徴とする請求項１に記載のマルチエリアホワイトバランス制御装置。
【請求項３】
前記ホワイトバランス処理用情報が、ホワイトバランス係数であり、
前記ホワイトバランス制御手段は、
前記光源色温度推定手段によって推定された、各エリアの光源の色温度に基づき、マルチエリアホワイトバランス係数を生成するマルチエリアホワイトバランス係数生成手段と、シングルエリアホワイトバランス係数を生成するシングルエリアホワイトバランス係数生成手段と、前記マルチエリアホワイトバランス係数生成手段によって生成されたマルチエリアホワイトバランス係数と前記シングルエリアホワイトバランス係数生成手段によって生成されたシングルエリアホワイトバランス係数とを合成することにより前記ホワイトバランス係数を算出するホワイトバランス係数合成手段とを有し、
前記ホワイトバランス係数合成手段は、前記ホワイトバランス係数の算出に際し、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高いほどマルチエリアホワイトバランス係数の合成比率を高くすることを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
【請求項４】
前記ホワイトバランス処理用情報が、ホワイトバランス係数であり、
前記光源色温度推定手段は、さらに、前記推定した各エリアの光源の色温度に基づき、シングルエリアの光源の色温度を推定し、
前記ホワイトバランス制御手段は、
前記光源色温度推定手段によって推定された、各エリアの光源の色温度と、シングルエリアの光源の色温度とを合成することにより各エリアの光源の色温度を算出する色温度合成手段と、前記色温度合成手段によって算出された前記各エリアの光源の色温度に基づき前記ホワイトバランス係数を生成するホワイトバランス係数生成手段とを有し、
前記色温度合成手段は、前記各エリアの光源の色温度の算出に際し、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高いほど前記各エリアの推定された光源の色温度の合成比率を高くすることを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
【請求項５】
前記ホワイトバランス処理用情報が、ホワイトバランスゲインマップであり、
前記ホワイトバランス制御手段は、
前記光源色温度推定手段によって推定された、各エリアの光源の色温度に基づき、マルチエリアホワイトバランスゲインマップを生成するマルチエリアホワイトバランスゲインマップ生成手段と、シングルエリアホワイトバランスゲインマップを生成するシングルエリアホワイトバランスゲインマップ生成手段と、前記マルチエリアホワイトバランスゲインマップ生成手段によって生成されたマルチエリアホワイトバランスゲインマップと前記シングルエリアホワイトバランスゲインマップ生成手段によって生成されたシングルエリアホワイトバランスゲインマップとを合成することにより前記ホワイトバランスゲインマップを生成するホワイトバランスゲインマップ合成手段とを有し、
前記ホワイトバランスゲインマップ合成手段は、前記ホワイトバランスゲインマップの生成に際し、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高いほどマルチエリアホワイトバランスゲインマップの合成比率を高くすることを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
【請求項６】
前記ホワイトバランス処理用情報が、ホワイトバランスゲインマップであり、
前記ホワイトバランス制御手段は、
前記光源色温度推定手段によって推定された、各エリアの光源の色温度と、シングルエリアの光源の色温度とを合成することにより各エリアの光源の色温度を算出する色温度合成手段と、前記色温度合成手段が算出した前記各エリアの光源の色温度に基づき前記ホワイトバランスゲインマップを生成するホワイトバランスゲインマップ生成手段とを有し、
前記色温度合成手段は、前記各エリアの光源の色温度の算出に際し、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高いほど前記各エリアの推定された光源の色温度の合成比率を高くすることを特徴とする請求項１又は２に記載のマルチエリアホワイトバランス制御装置。
【請求項７】
請求項１〜６のいずれかに記載のマルチエリアホワイトバランス制御装置と、
前記マルチエリアホワイトバランス制御装置に備わる前記ホワイトバランス制御手段によって取得された、各エリアのホワイトバランス処理用情報に基づき、該マルチエリアホワイトバランス制御装置の前記エリア分割手段が分割対象とした前記入力画像全体のホワイトバランス処理を行うホワイトバランス処理手段と
を備えることを特徴とするマルチエリアホワイトバランス画像処理装置。
【請求項８】
請求項７に記載のマルチエリアホワイトバランス画像処理装置を備えた撮像装置。
【請求項９】
入力画像を複数のエリアに分割し、
分割したエリア毎に光源の色温度を推定し、
分割したエリア毎に画像の色情報を算出し、
推定した、各エリアの光源の色温度と、算出した、各エリアの画像の色情報とを用いてエリア毎のホワイトバランス処理用情報を取得し、且つ、前記算出した、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得することを特徴とするマルチエリアホワイトバランス制御方法。
【請求項１０】
マルチエリアホワイトバランス制御装置に備わるコンピュータであって、
前記コンピュータを、
入力画像を複数のエリアに分割するエリア分割手段、
前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する光源色温度推定手段、
前記エリア分割手段によって分割されたエリア毎に画像の色情報を算出するエリア画像色情報算出手段、
前記光源色温度推定手段によって推定された、各エリアの光源の色温度と、前記エリア画像色情報算出手段によって算出された、各エリアの画像の色情報とを用いてエリア毎のホワイトバランス処理用情報を取得し、且つ、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得するホワイトバランス制御手段
として機能させるためのマルチエリアホワイトバランス制御プログラムを記録したコンピュータ。
【請求項１１】
マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、
前記コンピュータを、
入力画像を複数のエリアに分割するエリア分割手段、
前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する光源色温度推定手段、
前記エリア分割手段によって分割されたエリア毎に画像の色情報を算出するエリア画像色情報算出手段、
前記光源色温度推定手段によって推定された、各エリアの光源の色温度と、前記エリア画像色情報算出手段によって算出された、各エリアの画像の色情報とを用いてエリア毎のホワイトバランス処理用情報を取得し、且つ、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得するホワイトバランス制御手段
として機能させるためのマルチエリアホワイトバランス制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光源で照明されたシーンを撮影した画像における色温度を、画像を分割したエリア毎に推定し、ホワイトバランス補正を行うことで、画像全体における違和感の無い色再現を実現するためのマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置に関する。
【背景技術】
【０００２】
撮影光源は、日中の屋外であれば太陽の高度・大気の状態などに依存してその色温度が変化する。また、日向と日陰でも色温度が異なる。
更に屋内では蛍光灯や白熱灯など様々な人工照明があり、それぞれの光源の色温度が異なる。
また、昼間の室外でフラッシュ撮影した場合、フラッシュ照明と外光の混合光が撮影光源となる。
また、夜の室外でフラッシュ撮影した場合、フラッシュ照明と背景の人工照明とは混合しないが、同じシーンの中の異なるエリアでは、光源の色温度が異なる。
また、室内でフラッシュ撮影した場合、フラッシュ照明と人工照明が混じりあった光が、撮影光源となる。
【０００３】
上記のような様々な撮影光源の下では、人間の眼は色順応する。つまり、人間の眼は、光源が太陽光、人工照明、それらのミックス光の如何を問わず、注目エリアの白い被写体を白く感じる。この人間の眼の特性に合わせて入力装置であるカメラも、ＲＧＢのゲインを調整して、いわゆるホワイトバランス処理を行うように構成されている。
【０００４】
しかし、カメラにとっては、撮影前まで撮影光源が未知であるため、一般的には撮影照明の種類（光源の色温度）を撮影した画像から推定したり、もしくはユーザーが指定することによって、その照明種類に合わせて撮影した画像全体のホワイトバランスを補正する。
【０００５】
被写体のシーンが複数の光源によって照明された場合、シーン内におけるエリアの光源の色温度に関わらず、画像全体のホワイトバランス処理を高精度に行うためには、取得した画像を複数のエリアに分割し、分割したエリア毎に対応する光源の色温度を検出し、異なるホワイトバランス処理を行う必要がある。
【０００６】
従来、複数の光源で照明されたシーンを撮影した画像のホワイトバランス処理を行う方法としては、例えば、特許文献１によれば、撮像画面内に異なる種類の光源の照射エリアが存在する場合に撮像画面全体に適切なホワイトバランスを掛けることが難しく、色ずれが生じた撮像画像になってしまうという問題を解決するために、撮像画面内を輝度情報と色情報とに応じて複数の領域に分割し、複数の領域のそれぞれに対して異なるホワイトバランス補正係数を設定し、前記複数の領域のそれぞれに対して設定されたホワイトバランス補正係数の差を、所定範囲内に収めるホワイトバランス補正係数リミットを設けて、全画面のホワイトバランス補正係数を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２１３２３２公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、従来、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランス補正技術では、ホワイトバランスの補正に先立ち、入力された画像を複数のエリアに分割し、該分割されたエリアごとに、例えば、一般的に行われている光源色温度推定方法を用いて、ミックス光源画像を撮影した際の撮影光源の色温度を推定している。
しかし、各分割エリアが入力画像のシーンの一部であるため、各エリアの被写体が単一な色の被写体になり易く、分割エリアの光源の色温度を間違った色温度に推定してしまい易い。
例えば、図１に示すような単一照明光で撮影された画像に対して、分割した各エリアの光源の色温度を推定する場合、エリアによっては光源の色温度を間違えて推定してしまうことが起こりうる。
このため、画像を複数のエリアに分割して、各エリアの光源の色温度の推定結果に基づいてホワイトバランス処理を行うと、正確な推定された光源の色温度が得られず、ホワイトバランス係数などのホワイトバランス処理要素の最適値が定まらないときに、色再現に違和感のある画像が生成される可能性がある。
【０００９】
しかるに、特許文献１に記載されている方法は、分割された複数の領域のそれぞれのホワイトバランス補正係数（即ち、光源の色温度に対応する制御値）を設定しており、そもそも推定（または設定）する光源の色温度が間違っていることが想定されていない。このため、特許文献１に記載されている方法では、分割された複数の領域にそれぞれ設定された補正係数の差を所定範囲内に収める補正係数リミットが設けられてはいるものの、分割された複数の領域の推定された光源の色温度を間違った場合、間違った推定された光源の色温度に対応して設定される、分割された複数の領域のそれぞれのホワイトバランス補正係数を用いてホワイトバランスを補正したときに、色再現に違和感のある画像が生成される可能性がある。
【００１０】
本発明は、以上の従来技術における問題を鑑みてなされたものであり、撮影画像全体を複数のエリアに分割して、それぞれのエリアの光源の色温度を推定し、推定した光源の色温度を用いてホワイトバランス処理を行ったときに、個別のエリアにおいて推定した光源の色温度が間違っていても、色再現に違和感のない画像を生成することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明によるマルチエリアホワイトバランス制御装置は、入力画像を複数のエリアに分割するエリア分割手段と、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する光源色温度推定手段と、前記エリア分割手段によって分割されたエリア毎に画像の色情報を算出するエリア画像色情報算出手段と、前記光源色温度推定手段によって推定された、各エリアの光源の色温度と、前記エリア画像色情報算出手段によって算出された、各エリアの画像の色情報とを用いてエリア毎のホワイトバランス処理用情報を取得し、且つ、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得するホワイトバランス制御手段とを備えることを特徴としている。
【００１２】
また、本発明によるマルチエリアホワイトバランス制御方法は、入力画像を複数のエリアに分割し、分割したエリア毎に光源の色温度を推定し、分割したエリア毎に画像の色情報を算出し、推定した、各エリアの光源の色温度と、算出した、各エリアの画像の色情報とを用いてエリア毎のホワイトバランス処理用情報を取得し、且つ、前記算出した、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得することを特徴としている。
【００１３】
また、本発明によるマルチエリアホワイトバランス制御プログラムを記録したコンピュータは、マルチエリアホワイトバランス制御装置に備わるコンピュータであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する光源色温度推定手段、前記エリア分割手段によって分割されたエリア毎に画像の色情報を算出するエリア画像色情報算出手段、前記光源色温度推定手段によって推定された、各エリアの光源の色温度と、前記エリア画像色情報算出手段によって算出された、各エリアの画像の色情報とを用いてエリア毎のホワイトバランス処理用情報を取得し、且つ、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得するホワイトバランス制御手段として機能させるためのマルチエリアホワイトバランス制御プログラムを記録している。
【００１４】
また、本発明によるマルチエリアホワイトバランス制御プログラムは、マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する光源色温度推定手段、前記エリア分割手段によって分割されたエリア毎に画像の色情報を算出するエリア画像色情報算出手段、前記光源色温度推定手段によって推定された、各エリアの光源の色温度と、前記エリア画像色情報算出手段によって算出された、各エリアの画像の色情報とを用いてエリア毎のホワイトバランス処理用情報を取得し、且つ、前記エリア画像色情報算出手段によって算出された、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得するホワイトバランス制御手段として機能させることを特徴としている。
【発明の効果】
【００１５】
本発明によれば、撮影画像全体を複数のエリアに分割して、それぞれのエリアの色温度を推定する場合、個別のエリアにおいて推定した光源の色温度が間違っていても、色再現に違和感のない画像を生成することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置が得られる。
【図面の簡単な説明】
【００１６】
【図１】入力画像を複数のエリアに分割したときの光源の色温度の推定結果の一例を示す説明図で、(a)は入力画像を６×６のエリアに分割した状態の一例を示す図、(b)はエリア毎に推定された光源の色温度の一例を示す説明図である。
【図２】本発明の第１実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。
【図３】（Ｒ／Ｇ，Ｂ／Ｇ）色度図における被写体の色分布から光源の色温度を推定する際における、画像データにおける全ての画素を色度図上にプロットし、色度図上での予め設定した各種の光源の色温度エリア判定基準に従い、プロットした点についての光源の色温度の判定を行うための、色度図及びエリア判定基準の一例を示すグラフである。
【図４】図２のマルチエリアホワイトバランス制御装置において、入力画像がエリア分割されエリア画像色情報算出手段により、エリア毎に算出された光源の彩度情報の一例を示す説明図である。
【図５】図２のマルチエリアホワイトバランス制御装置における、ホワイトバランス制御部の詳細構成の一例を示す説明図である。
【図６】図５のマルチエリアホワイトバランス制御装置のホワイトバランス制御部に備わるマルチエリアホワイトバランス係数生成部により生成された、エリア毎のホワイトバランス係数の一例を示す説明図である。
【図７】図５のマルチエリアホワイトバランス制御装置のホワイトバランス制御部に備わる各ホワイトバランス係数生成部が夫々のホワイトバランス係数を生成する際に適用可能な推定された光源の色温度に対する各ホワイトバランス係数を記録したルックアップテーブルの一例を示す説明図である。
【図８】図５のマルチエリアホワイトバランス制御装置のホワイトバランス制御部に備わるホワイトバランス選択合成部における、マルチエリアホワイトバランス係数とシングルエリアホワイトバランス係数の合成比率の概念を示す説明図である。
【図９】図２のマルチエリアホワイトバランス制御装置における、ホワイトバランス制御部の詳細構成の変形例を示す説明図である。
【図１０】本発明の第２実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。
【図１１】図１０のマルチエリアホワイトバランス制御装置における、ホワイトバランス制御部の詳細構成の一例を示す説明図である。
【発明を実施するための形態】
【００１７】
実施例の説明に先立ち、本発明の作用効果について説明する。
本発明は、入力画像を複数のエリアに分割し、分割したエリア毎に光源の色温度を推定し、分割したエリア毎に画像の色情報を算出し、推定した、各エリアの光源の色温度と、算出した、各エリアの画像の色情報とを用いてホワイトバランス処理用情報を取得し、且つ、算出した、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得するようにしている。
【００１８】
本発明のように、推定した、各エリアの光源の色温度と、算出した、各エリアの画像の色情報とを用いてホワイトバランス処理用情報を取得し、且つ、算出した、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得すれば、推定した当該エリアの光源の色温度が間違っていても、当該エリアのホワイトバランス処理用情報をより適正な情報として取得することができる。その結果、各エリアの適正なホワイトバランス処理用情報に基づいて、入力画像全体のホワイトバランス処理を行ったときに、入力画像全体における当該エリアの色再現に違和感のない画像を生成することができる。
【００１９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に係る本発明を限定するものではない。
【００２０】
第１実施形態
図２は本発明の第１実施形態にかかるマルチエリアＡＷＢ（オートホワイトバランス）制御装置を備えたデジタルカメラのブロック図である。図２中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点鎖線で囲んだ部分がマルチエリアホワイトバランス画像処理装置に対応する構成である。
【００２１】
本実施形態のマルチエリアホワイトバランス制御装置１は、図２に示すように、エリア分割手段としての画像エリア分割部１１と、光源色温度推定手段としての色温度推定部１２と、エリア画像色情報算出手段としてのエリア色情報算出部１３と、ホワイトバランス制御手段としてのＷＢ（ホワイトバランス）制御部１４を有している。図２中、１０はホワイトバランス画像処理装置、１５はホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部、２１はレンズ、２２はイメージセンサ、２３はイメージセンサ２２が撮像した画像を記憶する画像記憶部である。なお、本実施形態のマルチエリアホワイトバランス制御装置１を備えたデジタルカメラは、図示しない制御部を備えている。制御部は、撮影指示に基づきイメージセンサ２２が撮影した画像を画像記憶部２３に記憶する機能や、画像記憶部２３に記憶されている画像を入力する機能を、夫々別個に備えている。図２の例では、図示しない制御部の撮影指示により、レンズ２１を経てイメージセンサ２２に結像された画像が撮像されデジタル信号として画像記憶部２３に記憶されている。
【００２２】
画像エリア分割部１１は、入力画像を予め決められたサイズの複数のブロックに分割する。
【００２３】
色温度推定部１２は、画像エリア分割部１１により分割されたブロック毎に光源の色温度を推定する。色温度推定部１２は、さらに、推定した各エリアの光源の色温度に基づき、シングルエリアの光源の色温度を推定する。なお、光源の色温度の推定方法については後述する。
【００２４】
エリア色情報算出部１３は、画像エリア分割部１１によって分割されたブロック毎に画像の色情報を推定する。なお、画像の色情報の算出方法については後述する。
【００２５】
ＷＢ制御部１４は、色温度推定部１２によって推定された、各エリアの光源の色温度と、エリア色情報算出部１３によって算出された、各エリアの画像の色情報とを用いてホワイトバランス処理用情報を取得し、且つ、エリア色情報算出部１３によって算出された、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得する。なお、ホワイトバランス処理用情報の取得方法については後述する。
【００２６】
ＷＢゲイン補正部１５は、ＷＢ制御部１４によって取得されたホワイトバランス処理用情報に基づき、入力画像全体のホワイトバランスを補正する。
【００２７】
このように構成された本実施形態のマルチエリアホワイトバランス制御装置を用いた入力画像からホワイトバランス補正のためのホワイトバランス処理用情報を取得するまでの処理の流れを説明する。
【００２８】
まず、図示しないデジタルカメラの制御部が、画像記憶部２３に記憶されている画像データを入力する。
次いで、画像エリア分割部１１が、入力された画像データを予め決められたサイズの複数のブロックに分割する。なお、便宜上、以下の説明では画像データは６×６のブロックに分割するものとする。
【００２９】
次いで、色温度推定部１２が、画像エリア分割部１１によって分割された各ブロックの画像に対して、例えば、次のような方法で、ブロック毎の光源の色温度の推定を行う。
【００３０】
例えば、イメージセンサの有効画素が４８００×３６００画素であるものとする。入力されるベイヤーパターンのＲＡＷ画像は、画像エリア分割部１１により６×６のブロックに分割され、各ブロックのサイズは８００×６００画素となっている。
【００３１】
光源の色温度の推定に先立ち、この８００×６００画素のブロックに対して、更に、例えば、２０×２０の画素範囲を１つのサンプリングポイントとし、２０×２０の画素範囲内にあるＲ、Ｇ、Ｂそれぞれの画素値の平均値を求めることで、ダウンサンプリングした４０×３０画素のサンプリングポイントを有するＲ、Ｇ、Ｂそれぞれの画素データを得る。
【００３２】
この４０×３０画素のサンプリングポイントに対して、色度値（Ｒ／Ｇ，Ｂ／Ｇ）を求め、各サンプリングポイントの色度値を、例えば、図３に示す色度図上にプロットする。そして、例えば、図３に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、全てのサンプリングポイントの色度値をプロットした点について光源の色温度のエリア判定を行い、各光源の色温度エリアに属するプロットした点の個数を集計する。集計した各光源の色温度エリアに属するプロットした点の個数の大小の順位から、例えば、次の表１に示すような条件に従い、当該ブロックの光源の色温度を推定する。
【００３３】
【表１】
2015106737.tif 000003
【００３４】
色温度推定部１２は、３６個のブロック全てに対して、上記方法を用いて光源の色温度推定を行う。これにより、画像全体に対して、例えば、図４に示すような光源の色温度の推定結果が得られる。
【００３５】
このようにして全てのブロックの光源の色温度を推定した場合、実際の目視結果と比べて、色温度推定部１２が推定した大半のブロックにおける光源の色温度は、正しいものとなるが、一部のブロックでは間違ったものとなりうる。ブロックのサイズが小さいと、局所的に同じ色の被写体になり易く、その結果、色温度推定部１２による光源の色温度の推定も間違い易くなる。
【００３６】
また、エリア色情報算出部１３が、色温度推定部１２による光源の色温度の推定と同時期に、画像エリア分割部１１によって分割された各ブロックの画像に対して、例えば、次のような方法で、ブロック毎の画像の色情報の算出を行う。
図４はエリア色情報算出部１３により、エリア毎に算出された光源の彩度情報の一例を示す説明図である。
図４の例では、エリア色情報算出部１３は、画像エリア分割部１１によって６×６に分割された各ブロックの画像に対して、各ブロックの彩度値を算出している。
彩度値は入力のベイヤーパターンのＲＡＷ画像から各エリアのＲＧＢからＨＳＶ等の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の色空間に変換して求めることができる。例えばＲＧＢが０から１までの範囲で規格化された入力値のとき、Ｒ、Ｇ、Ｂの三つの入力値のうち、最大の入力値をＭＡＸ、最小の入力値をＭＩＮと定義すると、ＨＳＶは夫々次式で表すことができる。
【００３７】
2015106737.tif 000004
さらに  Ｈ ＋＝ ３６０，  ｉｆ  Ｈ  ＜  ０
2015106737.tif 000005
【００３８】
なお、エリア色情報算出部１３は、各エリアの彩度値から彩度平均値や彩度の標準偏差等を彩度情報値として算出しても良い。また画面全体における彩度について特開２００８−９２４４７号公報に記載の、各画素におけるデータの変化が所定値以下の平坦領域であるか否かを示す平坦度指標等を彩度情報値として算出しても良い。
【００３９】
次いで、ＷＢ制御部１４は、色温度推定部１２によって推定された、各エリアの光源の色温度と、エリア色情報算出部１３によって算出された、各エリアの画像の色情報とを用いてホワイトバランス処理用情報を取得する。図５は図２のマルチエリアホワイトバランス制御装置における、ＷＢ制御部１４の詳細構成の一例を示す説明図である。
図５の例のＷＢ制御部１４は、シングルエリアホワイトバランス係数生成手段としてのシングルエリアＷＢ係数生成部１４ａと、マルチエリアホワイトバランス係数生成手段としてのマルチエリアホＷＢ係数生成部１４ｂと、ホワイトバランス係数合成手段としてのＷＢ選択合成部１４ｃとで構成されている。
【００４０】
シングルエリアＷＢ係数生成部１４ａは、色温度推定部１２によって推定された各エリアの光源の色温度に基づき、シングルエリアホワイトバランス係数を生成する。
より詳しくは、色温度推定部１２は、例えば、図１(b)に示す、エリア毎に推定した光源の色温度を用いて、例えば、次の表２の条件で、シングルエリアの光源の色温度を推定する。シングルエリアＷＢ係数生成部１４ａは、色温度推定部１２によって推定されたシングルエリアの光源の色温度に基づき、シングルエリアホワイトバランス係数を生成する。
【００４１】
【表２】
2015106737.tif 000006
【００４２】
ここで、ホワイトバランス係数を生成する関数をＧとすると、図１(b)に示す、エリア毎に推定された光源の色温度を用いた場合のシングルエリアの光源の色温度はＡ、シングルエリアホワイトバランス係数は、Ｇａと示すことができる。
【００４３】
マルチエリアＷＢ係数生成部１４ｂは、色温度推定部１２によって推定された各エリアの光源の色温度に基づき、マルチエリアホワイトバランス係数を生成する。
より詳しくは、マルチエリアＷＢ係数生成部１４ｂは、例えば、図１(b)に示す、色温度推定部１２によってエリア毎に推定された光源の色温度を用いて、例えば、図６に示すように、マルチエリアホワイトバランス係数Ｇａ，Ｇｂ，Ｇｃを生成する。
【００４４】
なお、色温度推定部１２によって推定された各エリアの光源の色温度に基づいて、ＷＢ係数生成部１４ａ、１４ｂが夫々生成するホワイトバランス係数を示すＧの関数は、数式であってもよいし、ルックアップテーブルに数値として記録したものであってもよい。図５のマルチエリアホワイトバランス制御装置のＷＢ制御部１４に備わる各ＷＢ係数生成部１４ａ、１４ｂが夫々のホワイトバランス係数を生成する際に適用可能な推定された光源の色温度に対する各ホワイトバランス係数を記録したルックアップテーブルの一例を図７に示す。
【００４５】
ＷＢ選択合成部１４ｃは、マルチエリアＷＢ係数生成部１４ｂによって生成されたマルチエリアホワイトバランス係数とシングルエリアＷＢ係数生成部１４ａによって生成されたシングルエリアホワイトバランス係数とを合成することによりホワイトバランス係数を算出する。ここで、ＷＢ選択合成部１４ｃは、ホワイトバランス係数の算出に際し、エリア色情報算出部１３によって算出された、当該エリアの画像の色情報の値が高いほどマルチエリアホワイトバランス係数とシングルエリアホワイトバランス係数のうちマルチエリアホワイトバランス係数の合成比率を高くする。
例えば、ＷＢ選択合成部１４ｃは、ホワイトバランス係数の算出に際し、図８に示すように、彩度情報としての彩度評価値に基づき、マルチエリアホワイトバランス係数とシングルエリアホワイトバランス係数の合成比率を決定することができるように構成されている。
より詳しくは、例えば、図８の例では、ＷＢ選択合成部１４ｃは、色情報算出部１３によって算出された、当該エリアの彩度評価値Ｆｓに基づき、マルチエリアホワイトバランス係数とシングルエリアホワイトバランス係数のいずれかを選択する。ここで、図８(a)の例では、ホワイトバランス選択合成部１４ｃは、彩度評価値Ｆｓが高い場合はマルチエリアホワイトバランス係数を選択し、彩度評価値Ｆｓが低い場合はシングルエリアホワイトバランス係数を選択する。また、図８(b)の例では、ＷＢ選択合成部１４ｃは、彩度評価値Ｆｓが高い場合はマルチエリアホワイトバランス係数を選択し、彩度評価値が低い場合はシングルエリアホワイトバランス係数を選択するとともに、彩度評価値Ｆｓがそれらの中間値である場合はマルチエリアホワイトバランス係数とシングルエリアホワイトバランス係数のそれぞれに対応する重み付けを行い合成することによってホワイトバランス係数を決定する。
【００４６】
なお、彩度評価値Ｆｓは、例えば、彩度平均値Ａｓ、彩度標準偏差Ｓｓを用いて、次式
Ｆｓ（Ａｓ，Ｓｓ）＝Ａｓ＊α＋Ｓｓ＊β
を用いて算出することができる。ここで、α，βは調整係数である。ＷＢ選択合成部１４ｃは、彩度評価値Ｆｓが高いほどマルチエリアホワイトバランス係数の合成比率を高くする。一方、彩度評価値Ｆｓが低い場合は、ＷＢ選択合成部１４ｃは、彩度の低い画像でのマルチエリアホワイトバランス処理の失敗を最小限に抑えるために、図８に示すように、シングルエリアホワイトバランス係数の重み付けを高くする。
【００４７】
彩度の低いエリアが多く占める画像は、複数のエリアに分割してエリア毎の光源の色温度を推定した場合、推定した光源の色温度の誤りによって、まだら模様になる可能性があり、彩度の高いエリアが多く占める画像に比べてまだら模様が目立つ。このため、ＷＢ選択合成部１４ｃは、彩度の低いエリアが多く占める画像に対しては、シングルエリアホワイトバランス係数を選択する。
一方、彩度の高いエリアが多く占める画像に対しては、ＷＢ選択合成部１４ｃは、マルチエリアホワイトバランス係数を選択する。
【００４８】
なお、ＷＢ制御部１４は、彩度評価値Ｆｓが高いほど複数のエリアに分割して推定したエリア毎の光源色温度の合成比率を高くするようにしてもよい。その場合のＷＢ制御部１４の構成については、第２実施形態として後述する。
【００４９】
また、ここでは、彩度評価値Ｆｓは、各エリアの彩度の平均値Ａｓと彩度の標準偏差Ｓｓから算出しているが、彩度評価値Ｆｓの算出は、上記計算方法に限定されるものではなく、彩度を評価できる方法であれば、どのような計算方法を用いてもよい。
【００５０】
例えば、シングルエリアホワイトバランス係数をＧ（single）、マルチエリアホワイトバランス係数をＧ（multi）、彩度評価値をＦｓ、合成比率をＢ（Ｆｓ）とすると、ホワイトバランス処理用情報として最終的に適用されるエリア毎のホワイトバランス係数Ｇ（area）は、次式
Ｇ（area）＝Ｇ（single）＊（１−Ｂ（Ｆｓ））＋Ｇ（multi）＊Ｂ（Ｆｓ）
を用いて算出することができる。
【００５１】
ＷＢ選択合成部１４ｃが全てのエリアのホワイトバランス係数を算出後、ＷＢゲイン補正部１５が、画像記憶部２３に記憶され、図示しない制御手段により入力されたデジタル画像データに対し、ホワイトバランス係数を用いて入力画像の位置に対応して、それぞれの色の画素値にホワイトバランス処理を行う。これにより、入力画像全体のホワイトバランスが補正される。
【００５２】
なお、図５〜図７では、ＷＢ制御部１４が、ホワイトバランス処理用情報として、ホワイトバランス係数を取得した例について説明したが、ＷＢ制御部１４が取得するホワイトバランス処理用情報は、これに限定されるものではなく、例えば、図９に示すように、ホワイトバランス係数の代わりにホワイトバランスゲインマップを生成するようにしてもよい。
【００５３】
図９の例では、ＷＢ制御部１４は、シングルエリアホワイトバランスゲインマップ生成手段としてのシングルエリアＷＢゲインマップ生成部１４’ａと、マルチエリアホワイトバランスゲインマップ生成手段としてのマルチエリアＷＢゲインマップ生成部１４’ａと、ホワイトバランスゲインマップ合成手段としてのＷＢゲインマップ選択合成部１４’ｃとを有して構成されている。図９中、１４’ｄはＷＢゲインマップ選択合成部１４’ｃが合成したホワイトバランスゲインマップを記憶するゲインマップ記憶部である。
【００５４】
シングルエリアＷＢゲインマップ生成部１４’ａは、色温度推定部１２によって推定された各エリアの光源の色温度に基づき、シングルエリアホワイトバランスゲインマップを生成する。
マルチエリアＷＢゲインマップ生成部１４’ｂは、色温度推定部１２によって推定された各エリアの光源の色温度に基づき、マルチエリアホワイトバランスゲインマップを生成する。
ＷＢゲインマップ選択合成部１４’ｃは、シングルエリアＷＢゲインマップ生成部１４’ａによって生成されたシングルエリアホワイトバランスゲインマップとマルチエリアＷＢゲインマップ生成部１４’ｂによって生成されたマルチエリアホワイトバランスゲインマップとを合成することによりホワイトバランスゲインマップを生成する。
【００５５】
ＷＢゲインマップ選択合成部１４’ｃが生成したホワイトバランスゲインマップは、ゲインマップ記憶部１４’ｄに記憶される。そして、ＷＢゲイン補正部１５が、画像記憶部２３に記憶され、図示しない制御手段により入力されたデジタル画像データに対し、ホワイトバランス処理を行う。ＷＢゲイン補正部１５は、このホワイトバランス処理を行うときに、ホワイトバランスゲインマップを補間しながら拡大して適用することができるように構成されている。なお、拡大する際に境界部分をスムージングすることもできるように構成してもよい。
【００５６】
第２実施形態
図１０は本発明の第２実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。
本実施形態のマルチエリアホワイトバランス制御装置１は、色温度推定部１２により推定された各エリアの光源の色温度と、各エリアの推定された光源の色温度に基づき得られるシングルエリアの推定された光源の色温度とを合成することにより各エリアの光源の色温度を算出し、算出した各エリアの光源の色温度に基づき、ホワイトバランス係数を算出するように構成されている。
【００５７】
より詳しくは、ＷＢ制御部１４は、色温度合成手段としての色温度選択合成部１４”ａと、ホワイトバランス係数生成手段としてのＷＢ係数生成部１４”ｂとで構成されている。
色温度選択合成部１４”ａは、色温度推定部１２によって推定された、各エリアの光源の色温度と、各エリアの推定された光源の色温度に基づき得られるシングルエリアの推定された光源の色温度とを合成することにより各エリアの光源の色温度を算出する。
また、色温度選択合成部１４”ａは、例えば、図１(b)に示す各エリアの推定された光源の色温度と、その推定された光源の色温度から算出したシングルエリアの光源の色温度を合成する際に、図８に示した合成比率の相関とエリア色情報算出部１３により算出された彩度情報値Ｆｓを用いる。例えば、彩度情報値が高いほど各エリアの推定された光源の色温度の合成比率を高くする。
ＷＢ係数生成部１４”ｂは、色温度選択合成部１４”ａにより算出された各エリアの光源の色温度に基づきホワイトバランス係数を生成する。
その他の構成及び作用効果は、図５〜図７の例におけるマルチエリアホワイトバランス制御装置１と略同じである。
【００５８】
なお、ＷＢ制御部１４は、例えば、図１１に示すように、ホワイトバランス係数の代わりにホワイトバランスゲインマップを生成するようにしてもよい。
【００５９】
図１１の例では、ＷＢ制御部１４は、色温度合成手段としての色温度選択合成部１４”’ａと、ホワイトバランスゲインマップ生成手段としてのＷＢゲインマップ生成部１４”’ｂとを有して構成されている。図９中、１４”’ｄは、ＷＢゲインマップ生成部１４”’ｂが生成したホワイトバランスゲインマップを記憶するゲインマップ記憶部である。
【００６０】
ＷＢゲインマップ選択合成部１４”’ｃが生成したホワイトバランスゲインマップは、ゲインマップ記憶部１４”’ｄに記憶される。そして、ＷＢゲイン補正部１５が、画像記憶部２３に記憶され、図示しない制御手段により入力されたデジタル画像データに対し、ホワイトバランス処理を行う。ＷＢゲイン補正部１５は、このホワイトバランス処理を行うときに、ホワイトバランスゲインマップを補間しながら拡大して適用することができるように構成されている。なお、拡大する際に境界部分をスムージングすることもように構成してもよい。
【００６１】
第１及び第２実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法によれば、推定した、各エリアの光源の色温度と、算出した、各エリアの画像の色情報とを用いてホワイトバランス処理用情報を取得し、且つ、算出した、当該エリアの画像の色情報の値が高い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちマルチエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得し、画像の色情報の値が低い場合はマルチエリアホワイトバランスとシングルエリアホワイトバランスのうちシングルエリアホワイトバランスの比率を高くしたホワイトバランス処理用情報を取得するようにしたので、推定した当該エリアの光源の色温度が間違っていても、当該エリアのホワイトバランス処理用情報をより適正な情報として取得することができる。その結果、各エリアの適正なホワイトバランス処理用情報に基づいて、入力画像全体のホワイトバランス処理を行ったときに、入力画像全体における当該エリアの色再現に違和感のない画像を生成することができる。
【００６２】
なお、各実施形態のマルチエリアホワイトバランス制御装置１においては、エリア分割手段としての画像エリア分割部１１が、入力画像を縦横夫々の直線で区切られた形状及び面積の等しいブロックに分割した例で説明したが、本発明のマルチエリアホワイトバランス制御装置におけるエリア分割手段が分割する各エリアの形状・大きさは本実施形態に限定されるものではなく、例えば、三角形状、湾曲形状等どのような形状でもよいし、各エリアの大きさが異なっていてもよい。
【００６３】
また、各実施形態のマルチエリアホワイトバランス制御装置１は、画像エリア分割部１１（エリア分割手段）、色温度推定部１２（光源色温度推定手段）、エリア色情報算出部１３（エリア画像色情報算出手段）、ＷＢ制御部１４（ホワイトバランス制御手段）として機能させるためのマルチエリアホワイトバランス制御プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
あるいは、本実施形態のマルチエリアホワイトバランス制御装置１は、画像エリア分割部１１（エリア分割手段）、色温度推定部１２（光源色温度推定手段）、エリア色情報算出部１３（エリア画像色情報算出手段）、ＷＢ制御部１４（ホワイトバランス制御手段）として機能させるためのマルチエリアホワイトバランス制御プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
さらに、各実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを画像エリア分割部１１（エリア分割手段）、色温度推定部１２（光源色温度推定手段）、エリア色情報算出部１３（エリア画像色情報算出手段）、ＷＢ制御部１４（ホワイトバランス制御手段）、ＷＢゲイン補正部１６（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
さらに、あるいは、各実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを画像エリア分割部１１（エリア分割手段）、色温度推定部１２（光源色温度推定手段）、エリア色情報算出部１３（エリア画像色情報算出手段）、ＷＢ制御部１４（ホワイトバランス制御手段）、ＷＢゲイン補正部１６（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
【００６４】
また、上記各実施形態においては、エリア色情報算出部１３が算出する、当該エリアの画像の色情報として、彩度情報を用いた例について説明したが、エリア色情報算出部１３が算出する、当該エリアの画像の色情報には、彩度情報に限定されるものではなく、例えば、ＣｒとＣｂの情報（色成分情報や色度情報）を用いてもよい。
【産業上の利用可能性】
【００６５】
本発明のマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置は、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランスを補正することが求められる分野に有用である。
【符号の説明】
【００６６】
１            マルチエリアホワイトバランス制御装置
１０          マルチエリアホワイトバランス画像処理装置
１１          エリア分割手段（画像エリア分割部）
１２          光源色温度推定手段（色温度推定部）
１３          エリア画像色情報算出手段（エリア色情報算出部）
１４          ホワイトバランス制御手段（ＷＢ制御部）
１４ａ        シングルエリアホワイトバランス係数生成手段（シングルエリアＷＢ係数生成部）
１４’ａ      シングルエリアホワイトバランスゲインマップ生成手段（シングルエリアＷＢゲインマップ生成部）
１４”ａ、１４”’ａ          色温度合成手段（色温度選択合成部）
１４ｂ        マルチエリアホワイトバランス係数生成手段（マルチエリアＷＢ係数生成部）
１４’ｂ      マルチエリアホワイトバランスゲインマップ生成手段（マルチエリアＷＢゲインマップ生成部）
１４”ｂ      ホワイトバランス係数生成手段（ＷＢ係数生成部）
１４”’ｂ    ホワイトバランスゲインマップ生成手段（ＷＢゲインマップ生成部）
１４ｃ        ホワイトバランス係数合成手段（ＷＢ選択合成部）
１４’ｃ      ホワイトバランスゲインマップ合成手段（ＷＢゲインマップ選択合成部）
１４’ｄ、１４"'ｄ          ゲインマップ記憶部
１５          ホワイトバランス手段（ＷＢゲイン補正部）
２１          レンズ
２２          イメージセンサ
２３          画像記憶部
【図２】
2015106737.tif 000007
【図３】
2015106737.tif 000008
【図４】
2015106737.tif 000009
【図５】
2015106737.tif 000010
【図６】
2015106737.tif 000011
【図７】
2015106737.tif 000012
【図８】
2015106737.tif 000013
【図９】
2015106737.tif 000014
【図１０】
2015106737.tif 000015
【図１１】
2015106737.tif 000016
【図１】
2015106737.tif 000017