【手続補正書】
【提出日】平成29年5月22日(2017.5.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】撮像装置、その制御方法、および制御プログラム
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮像装置において行われるホワイトバランス処理に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
近年、撮像装置において行われるオートホワイトバランス処理では、所謂ＴＴＬ（Ｔｈｒｏｕｇｈ  Ｔｈｅ  Ｌｅｎｓ）方式が広く用いられている。ＴＴＬ方式によるオートホワイトバランス処理においては、撮影の結果得られた画像に応じて光源の色を推定している。そして、ホワイトバランス（以下ＷＢという）補正値を算出するため、画像において光源色と被写体色とを精度よく区別する必要がある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
そこで、本発明の目的は、同様の色が多く検出される画像について、当該色が光源の色か又は被写体の色かを判別して、適切にホワイトバランス制御を行うことができる撮像装置、その制御方法、および制御プログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記目的を達成するために、本発明による撮像装置は、撮像素子と、前記撮像素子による撮像で得られた画像を複数の領域に分割し、領域毎に色評価値を取得する取得手段と、前記画像の領域に対応させて、被写体の領域毎に赤外線を検出する赤外線センサと、前記画像から取得した複数の色評価値を用いて混合ホワイトバランス補正値を算出する算出手段と、前記算出手段で算出された混合ホワイトバランス補正値を用いて前記画像にホワイトバランス補正処理を行う処理手段と、を有し、前記算出手段は、前記複数の色評価値のうちで、色空間に設定された白色の検出範囲に含まれる色評価値を用いて第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出手段と、前記複数の色評価値のうちで、赤外線量が所定の量よりも多い領域から取得され、色空間に設定された白色と異なる所定の色の検出範囲に含まれる色評価値を用いて第２のホワイトバランス補正値を算出する第２のホワイトバランス補正値算出手段と、前記第１のホワイトバランス補正値および第２のホワイトバランス補正値を混合することで混合ホワイトバランス補正値を算出する混合ホワイトバランス補正値算出手段と、を備えることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示す画像処理装置に備えられたホワイトバランス制御部の一例についてその構成を示すブロック図である。
【図３】図１に示すカメラで行われる撮影処理を説明するためのフローチャートである。
【図４】図３に示すＷＢ補正値の演算処理を説明するためのフローチャートである。
【図５】図２に示す白判定部で行われる判定処理を説明するための図である。
【図６】図４に示す白ＷＢ補正値の信頼度算出を説明するためのフローチャートである。
【図７】図２に示すＷＢ制御部で行われる信頼度算出に用いられるテーブルを説明するための図であり、（Ａ）は割合信頼度の算出に用いられるテーブルを示す図、（Ｂ）は距離信頼度の算出に用いられるテーブルを示す図、（Ｃ）は色信頼度の算出に用いられるテーブルを示す図、（Ｄ）は輝度信頼度の算出に用いられるテーブルを示す図、（Ｅ）は赤外線信頼度の算出に用いられるテーブルの一例を示す図、（Ｆ）は赤外線信頼度の算出に用いられるテーブルの他の例を示す図、（Ｇ）は緑信頼度の算出に用いられるテーブルを示す図、（Ｈ）は夕景信頼度の算出に用いられるテーブルを示す図である。
【図８】図４に示す緑検出の一例を説明するための図であり、（Ａ）はＲＡＷデータが示す画像の一例を示す図、（Ｂ）は（Ａ）に示す画像を所定の数のブロックに分割した状態を示す図である。
【図９】図４に示す赤外線判定による緑検出処理の一例を説明するためのフローチャートである。
【図１０】図２に示すＷＢ制御部で行われるＷＢ補正値の算出を説明するための図であり、（Ａ）は赤外線判定に応じた緑検出に関する処理を示す図、（Ｂ）は緑検出に応じた色温度推定処理を示す図、（Ｃ）は色温度推定に応じたＷＢ補正値の算出処理を示す図、（Ｄ）は白ＷＢ補正値および赤外線ＷＢ補正値に応じて最終的なＷＢ補正値の算出処理を示す図である。
【図１１】図４に示す緑検出に基づいた色温度推定を説明するためのフローチャートである。
【図１２】図４に示す白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を説明するためのフローチャートである。
【図１３】本発明の第２の実施形態による撮像装置で行われるＷＢ補正値の演算処理を説明するためのフローチャートである。
【図１４】図１３に示す夕景検出処理を説明するための図であり、（Ａ）は夕景を撮影した画像の一例を示す図、（Ｂ）は（Ａ）に示す画像を所定数のブロックに分割した状態を示す図、（Ｃ）は体育館内を撮影した画像の一例を示す図、（Ｄ）は（Ｃ）に示す画像を所定数のブロックに分割した状態を示す図である。
【図１５】図１３に示す夕景検出処理を説明するためのフローチャートである。
【図１６】本発明の第２の実施形態に備えられたＷＢ制御部で行われるＷＢ補正値の算出を説明するための図であり、（Ａ）は赤外線判定に応じた夕景検出に関する処理を示す図、（Ｂ）は夕景検出に応じた色温度推定処理を示す図、（Ｃ）は色温度推定に応じたＷＢ補正値の算出処理を示す図、（Ｄ）は白ＷＢ補正値および赤外線ＷＢ補正値に応じて最終的なＷＢ補正値の算出処理を示す図である。
【図１７】図１３に示す白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を説明するためのフローチャートである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
［第２の実施形態］
次に、本発明の第２の実施形態による撮像装置の一例について説明する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
図１３は、本発明の第２の実施形態による撮像装置で行われるＷＢ補正値の演算処理を説明するためのフローチャートである。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１５８
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１５９
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１６０
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１６２
【補正方法】変更
【補正の内容】
【０１６２】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１６３
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子による撮像で得られた画像を複数の領域に分割し、領域毎に色評価値を取得する取得手段と、
前記画像の領域に対応させて、被写体の領域毎に赤外線を検出する赤外線センサと、
前記画像から取得した複数の色評価値を用いて混合ホワイトバランス補正値を算出する算出手段と、
前記算出手段で算出された混合ホワイトバランス補正値を用いて前記画像にホワイトバランス補正処理を行う処理手段と、を有し、
前記算出手段は、前記複数の色評価値のうちで、色空間に設定された白色の検出範囲に含まれる色評価値を用いて第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出手段と、
前記複数の色評価値のうちで、赤外線量が所定の量よりも多い領域から取得され、色空間に設定された白色と異なる所定の色の検出範囲に含まれる色評価値を用いて第２のホワイトバランス補正値を算出する第２のホワイトバランス補正値算出手段と、
前記第１のホワイトバランス補正値および第２のホワイトバランス補正値を混合することで混合ホワイトバランス補正値を算出する混合ホワイトバランス補正値算出手段と、を備えることを特徴とする撮像装置。
【請求項２】
さらに、前記算出手段で算出された第１のホワイトバランス補正値の信頼度を算出する信頼度算出手段を備え、
前記処理手段は、前記第１のホワイトバランス補正値の信頼度が所定値よりも大きい場合には、前記混合ホワイトバランス補正値の代わりに前記第１のホワイトバランス補正値を用いて前記画像にホワイトバランス補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記信頼度算出手段は、前記白色の検出範囲に色評価値が含まれる領域の画像全体に対する割合に基づいて、前記第１のホワイトバランス補正値の信頼度を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記信頼度算出手段は、前記第１のホワイトバランス補正値に対応する色空間の位置と黒体輻射軌跡との距離に基づいて、前記第１のホワイトバランス補正値の信頼度を算出することを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記算出手段は、前記第２のホワイトバランス補正値を算出するとき、所定の色の検出範囲に含まれる色評価値を、当該色評価値が取得された領域の赤外線量に応じて重み付けして積算し、積算後の色評価値を用いて第２のホワイトバランス補正値を算出することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記算出手段は、赤外線量が多い領域程、当該領域の重み付けを大きくして色評価値を積算し、積算後の色評価値を用いて第２のホワイトバランス補正値を算出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
さらに、前記画像の領域に対応させて、被写体の領域毎に輝度を検出する輝度検出手段を備え、
前記算出手段は、輝度値が高い領域程、当該領域の重み付けを大きくして色評価値を積算し、積算後の色評価値を用いて第２のホワイトバランス補正値を算出することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
さらに、前記画像の領域毎の色が、当該領域から検出された赤外線量に基づいて、光源の光の色であるか又は被写体の色であるかを判別する判別手段を有することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記算出手段は、赤外線量が所定の量よりも多い領域の画像全体に対する割合が大きい程、前記第１のホワイトバランス補正値に対する前記第２のホワイトバランス補正値の比率が大きくなるように、前記第１と第２のホワイトバランス補正値を混合して、前記混合ホワイトバランス補正値を算出することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記算出手段は、赤外線量が所定の量よりも多い領域における平均赤外線量が大きい程、前記第１のホワイトバランス補正値に対する前記第２のホワイトバランス補正値の比率が大きくなるように、前記第１と第２のホワイトバランス補正値を混合して、混合ホワイトバランス補正値を算出することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項１１】
撮像素子と、
前記撮像素子による撮像で得られた画像を複数の領域に分割し、領域ごとに色評価値を取得する取得手段と、
前記画像の領域に対応させて、被写体の領域毎に赤外線を検出する赤外線センサと、
前記赤外線センサによる領域ごとの赤外線量の検出結果に基づき、前記画像から取得した複数の色評価値を用いてホワイトバランス補正値を算出する算出ユニットと、
前記算出手段によって算出された前記ホワイトバランス補正値を用いて前記画像にホワイトバランス補正処理を行う処理手段と、
を有することを特徴とする撮像装置。
【請求項１２】
撮像素子を備える撮像装置を制御する制御方法であって、
前記撮像素子による撮像で得られた画像を複数の領域に分割し、領域ごとに色評価値を取得する取得ステップと、
前記画像の領域に対応させて、被写体の領域毎に赤外線センサで赤外線を検出する検出ステップと、
前記画像から取得した複数の色評価値を用いて混合ホワイトバランス補正値を算出する算出ステップと、
前記算出ステップで算出された混合ホワイトバランス補正値を用いて前記画像にホワイトバランス補正処理を行う処理ステップと、を有し、
前記算出ステップは、前記複数の色評価値のうちで、色空間に設定された白色の検出範囲に含まれる色評価値を用いて第１のホワイトバランス補正値を算出する第１の第１のホワイトバランス補正値算出ステップと、
前記複数の色評価値のうちで、赤外線量が所定の量よりも多い領域から取得され、色空間に設定された白色と異なる所定の色の検出範囲に含まれる色評価値を用いて第２のホワイトバランス補正値を算出する第２のホワイトバランス補正値算出ステップと、
前記第１のホワイトバランス補正値および第２のホワイトバランス補正値を混合することで混合ホワイトバランス補正値を算出する混合ホワイトバランス補正値算出ステップと、を備えることを特徴とする制御方法。
【請求項１３】
撮像素子を備える撮像装置を制御する制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記撮像素子による撮像で得られた画像を複数の領域に分割し、領域ごとに色評価値を取得する取得ステップと、
前記画像の領域に対応させて、被写体の領域毎に赤外線センサで赤外線を検出する検出ステップと、
前記画像から取得した複数の色評価値を用いて混合ホワイトバランス補正値を算出する算出ステップと、
前記算出ステップで算出された混合ホワイトバランス補正値を用いて前記画像にホワイトバランス補正処理を行う処理ステップと、を実行させ、
前記算出ステップでは、前記複数の色評価値のうちで、色空間に設定された白色の検出範囲に含まれる色評価値を用いて第１のホワイトバランス補正値を算出し、前記複数の色評価値のうちで、赤外線量が所定の量よりも多い領域から取得され、色空間に設定された白色と異なる所定の色の検出範囲に含まれる色評価値を用いて第２のホワイトバランス補正値を算出して、前記第１のホワイトバランス補正値および第２のホワイトバランス補正値を混合することで混合ホワイトバランス補正値を算出することを特徴とする制御プログラム。