【手続補正書】
【提出日】平成30年1月25日(2018.1.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ライブビュー画像に対する第１のホワイトバランス制御値を算出し、撮影により取得された撮影画像に対する第２のホワイトバランス制御値を算出する制御値算出手段と、
光源のフリッカ検知を行う検知手段と、
前記検知手段によるフリッカ検知情報から色に関連するパラメータを決定し、前記パラメータに基づいて、前記第１のホワイトバランス制御値と第２のホワイトバランス制御値とを合成するための合成比率を決定する決定手段と、
前記決定手段により決定された合成比率により、前記第１のホワイトバランス制御値と前記第２のホワイトバランス制御値を合成し、前記合成されたホワイトバランス制御値を用いて前記撮影画像に対するホワイトバランス処理を行う処理手段と
を有することを特徴とする画像処理装置。
【請求項２】
ライブビュー画像の表示がなされている状態で撮影が行われるときに、前記決定手段は前記合成比率を決定し、前記処理手段は前記合成比率により前記第１のホワイトバランス制御値と前記第２のホワイトバランス制御値を合成して前記撮影画像に対するホワイトバランス処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検知手段は、前記フリッカ検知の際にフリッカの周期を検知し、
前記決定手段は、前記フリッカの周期と、前記撮影画像の撮影がなされた際の露光時間との比に基づいて、前記色に関連するパラメータを決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検知手段は、前記フリッカ検知の際にフリッカの振幅を検知し、
前記決定手段は、前記フリッカの振幅に基づいて、前記色に関連するパラメータを決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記制御値算出手段は、前記ライブビュー画像の特定の色の検出範囲の色情報から前記第１のホワイトバランス制御値を算出し、前記撮影画像のなかで前記特定の色の検出範囲と同じ検出範囲の色情報から前記第２のホワイトバランス制御値を算出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記ライブビュー画像と前記撮影画像から特定の被写体部分の画像を検出する検出手段を更に有し、
前記制御値算出手段は、
前記ライブビュー画像の前記特定の被写体部分の色情報から算出したホワイトバランス制御値と、前記検出手段にて検出された前記特定の被写体部分の画像の色情報から算出したホワイトバランス制御値とに対して、所定の重み平均の演算を行ったホワイトバランス制御値を、前記第１のホワイトバランス制御値とし、
前記撮影画像のなかで前記検出手段により検出された前記特定の被写体部分の画像の色情報から算出したホワイトバランス制御値を、前記第２のホワイトバランス制御値とすることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、前記パラメータが所定の条件を満たす場合、前記第１のホワイトバランス制御値のみまたは前記第２のホワイトバランス制御値のみを用いるよう決定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
画像にホワイトバランス処理を行う画像処理装置の画像処理方法であって、
ライブビュー画像に対する第１のホワイトバランス制御値を算出し、撮影により取得された撮影画像に対する第２のホワイトバランス制御値を算出する制御値算出ステップと、
光源のフリッカ検知を行う検知ステップと、
前記検知ステップからのフリッカ検知情報から色に関連するパラメータを決定し、前記パラメータに基づいて、前記第１のホワイトバランス制御値と第２のホワイトバランス制御値とを合成するための合成比率を決定する決定ステップと、
前記決定ステップにより決定された合成比率により、前記第１のホワイトバランス制御値と前記第２のホワイトバランス制御値を合成し、前記合成されたホワイトバランス制御値を用いて前記撮影画像に対するホワイトバランス処理を行う処理ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるための、コンピュータが実行可能なプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の画像処理装置は、ライブビュー画像に対する第１のホワイトバランス制御値を算出し、撮影により取得された撮影画像に対する第２のホワイトバランス制御値を算出する制御値算出手段と、光源のフリッカ検知を行う検知手段と、前記検知手段によるフリッカ検知情報から色に関連するパラメータを決定し、前記パラメータに基づいて、前記第１のホワイトバランス制御値と第２のホワイトバランス制御値とを合成するための合成比率を決定する決定手段と、前記決定手段により決定された合成比率により、前記第１のホワイトバランス制御値と前記第２のホワイトバランス制御値を合成し、前記合成されたホワイトバランス制御値を用いて前記撮影画像に対するホワイトバランス処理を行う処理手段とを有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
ステップＳ７０７では、画像処理部１０８は、最終的なＷＢ制御値を決定する。ここでは、Ｒ信号に対応した最終的なＷＢ制御値をＳｕｍＲｆとし、Ｇ信号に対応した最終的なＷＢ制御値をＳｕｍＧｆとし、Ｂ信号に対応した最終的なＷＢ制御値をＳｕｍＢｆとする。先ず、画像処理部１０８は、下記の式（５）を用いて、前述のように白検出範囲から算出されたＷＢ制御値（ＷＢ＿Ｒｗ，ＷＢ＿Ｇｗ，ＷＢ＿Ｂｗ）と顔画像検出枠内から算出されたＷＢ制御値（ＷＢ＿Ｒｗ，ＷＢ＿Ｇｗ，ＷＢ＿Ｂｗ）の重み平均を求める。なお、式（５）のαは、顔画像検出枠内のブロック領域のＷＢ制御値を使用する重み係数である。本実施形態において、重みαは、例えばステップＳ５０４の顔画像検出によって得られた顔画像の信頼度、大きさ、位置に関する評価値算出のテーブルを用意しておき、それら各評価値の積をとることで算出することができる。そして、画像処理部１０８は、その重み平均演算後の値を、最終的なＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）とする。本実施形態において、画像処理部１０８は、このようにして最終的に求められたＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）をメモリ１０７に記憶させる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
ステップＳ５１０では、画像処理部１０８は、ＬＶ画像データから算出したＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）を、静止画像用に修正する処理を行う。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
このようなことから、画像処理部１０８は、前述したように、白検出範囲から算出した積分値（ＳｕｍＲｗ，ＳｕｍＧｗ，ＳｕｍＢｗ）とＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）とをメモリ１０７へ記憶させている。画像処理部１０８は、静止画撮影時に、これらの情報を用いて、ＬＶ画像のＷＢ後の色バランスと、静止画像のＷＢ後の色バランスとを同じにするように、静止画像用のＷＢ制御値を算出する。すなわち画像処理部１０８は、ＬＶ画像の白検出範囲のブロック領域の積分値（ＳｕｍＲｗ，ＳｕｍＧｗ，ＳｕｍＢｗ）のＷＢ後の色バランスと、静止画像の同ブロック領域の積分値のＷＢ後の色バランスとが同じになるような静止画像用のＷＢ制御値を算出する。ここでは、静止画像における同ブロック領域の、Ｒ信号に対応した積分値をＳｕｍＲｗ２とし、Ｇ信号に対応した積分値をＳｕｍＧｗ２とし、Ｂ信号に対応した積分値をＳｕｍＢｗ２とする。画像処理部１０８は、式（６）を用いることにより、静止画像用のＷＢ制御値（ＷＢ＿Ｒｌｖ２，ＷＢ＿Ｇｌｖ２，ＷＢ＿Ｂｌｖ２）を算出する。なお、ＷＢ＿Ｒｌｖ２はＲ信号に対応したＷＢ制御値であり、ＷＢ＿Ｇｌｖ２はＧ信号に対応したＷＢ制御値、ＷＢ＿Ｂｌｖ２はＢ信号に対応したＷＢ制御値である。本実施形態では、このＷＢ制御値（ＷＢ＿Ｒｌｖ２，ＷＢ＿Ｇｌｖ２，ＷＢ＿Ｂｌｖ２）が、ＬＶ画像データから算出された第１のＷＢ制御値となされる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
また、本実施形態では、ＬＶ画像と静止画像とで特に人物の肌の色味を重視してＷＢ後の色バランスを合わせるような静止画像用のＷＢ制御値を算出することも可能となされている。このため、画像処理部１０８は、前述したように、積分値（ＳｕｍＲｆ，ＳｕｍＧｆ，ＳｕｍＢｆ）とＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）をメモリ１０７へ記憶させている。なお、積分値（ＳｕｍＲｆ，ＳｕｍＧｆ，ＳｕｍＢｆ）は、前述のステップＳ７０６で算出した、顔画像検出の枠内のブロック領域内のＲ，Ｇ，Ｂ信号の積分値である。また、ＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）は、前述のようにＬＶ画像データから算出されたＷＢ制御値である。そして、画像処理部１０８は、ＬＶ表示がなされている状態で静止画撮影がなされる場合、これらの情報を用いて、静止画像用のＷＢ制御値を算出する。すなわち、画像処理部１０８は、ＬＶ画像において顔画像検出した枠内のブロック領域内のＲＧＢ信号の積分値のＷＢ後の色バランスと、静止画像の同ブロック領域の積分値のＷＢ後の色バランスが同じになるように、静止画像用のＷＢ制御値を算出する。本実施形態において、特に人物の肌の色味を重視したＷＢ処理を行う場合には、ここで算出した静止画像用のＷＢ制御値を第１のＷＢ制御値としてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
本実施形態では、前述のようにＬＶ画像データから算出した第１のＷＢ制御値（ＷＢ＿Ｒｌｖ２，ＷＢ＿Ｇｌｖ２，ＷＢ＿Ｂｌｖ２）と、静止画像データから算出された（ＷＢ＿Ｒｓｔ，ＷＢ＿Ｇｓｔ，ＷＢ＿Ｂｓｔ）とを合成する。以下、ＬＶ画像データから算出した第１のＷＢ制御値（ＷＢ＿Ｒｌｖ２，ＷＢ＿Ｇｌｖ２，ＷＢ＿Ｂｌｖ２）と、静止画像データから算出した第２のＷＢ制御値（ＷＢ＿Ｒｓｔ，ＷＢ＿Ｇｓｔ，ＷＢ＿Ｂｓｔ）の合成比率を算出する手法について説明する。