【手続補正書】
【提出日】平成25年11月6日(2013.11.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時系列的に撮像された複数の画像の各々に対して適用する画像処理に用いるパラメータを算出する画像処理装置であって、
前記複数の画像の各々について、画像から得られる情報に基づいて前記パラメータを算出するパラメータ算出手段と、
処理対象の画像より過去に撮像された画像である通常基準画像を記憶する記憶手段と、
前記処理対象の画像及び前記通常基準画像の画像間の類似度を、各々の画像から得られる予め定められた特徴から算出する類似度算出手段と、
前記処理対象の画像から算出されたパラメータと前記通常基準画像から算出されたパラメータとを、前記類似度が高いほど前記通常基準画像のパラメータの重み付けが高くなるように加重加算することにより前記処理対象の画像に対して適用する画像処理に用いるパラメータを算出する制御手段と、
前記類似度が予め定められた類似度以下の場合には、前記処理対象の画像が新たな通常基準画像となるように前記記憶手段を更新する更新手段と、を有することを特徴とする画像処理装置。
【請求項２】
時系列的に撮像された複数の画像の各々に対して適用する画像処理に用いるパラメータを算出する画像処理装置であって、
画像から予め定められた被写体を検出する検出手段と、
２つの画像間の類似度を、各々の画像から得られる予め定められた特徴から算出する類似度算出手段と、
前記複数の画像の各々について、画像から得られる情報に基づいて前記パラメータを算出するパラメータ算出手段と、
処理対象の画像より過去に撮像された画像のうち、予め定められた被写体が検出された画像から決定された被写体基準画像と、前記予め定められた被写体が検出されない画像から決定された通常基準画像を記憶する記憶手段と、
制御手段と、を有し、
前記制御手段は、
前記被写体基準画像から前記パラメータ算出手段が算出した第１のパラメータと、前記処理対象の画像から前記パラメータ算出手段が算出した第２のパラメータとを、前記被写体基準画像と前記処理対象の画像のうち前記検出手段により検出した被写体の信頼度が高い画像から算出されたパラメータの重み付けが高くなるように加重加算することにより第３のパラメータを算出し、
前記通常基準画像から前記パラメータ算出手段が算出した第４のパラメータと、前記第３のパラメータとを、前記類似度算出手段により算出された前記通常基準画像と前記処理対象の画像との類似度が高いほど前記第４のパラメータの重み付けが高くなるように加重加算することにより前記処理対象の画像に対して適用する画像処理に用いるパラメータを算出する、
ことを特徴とする画像処理装置。
【請求項３】
前記制御手段は、
前記処理対象の画像から前記検出手段が検出した被写体の信頼度が前記被写体基準画像から前記検出手段が検出した被写体の信頼度以上の場合には、前記処理対象の画像が新たな被写体基準画像となるよう前記記憶手段を更新し、
前記処理対象の画像から前記予め定められた被写体が検出されず、前記処理対象の画像と前記通常基準画像との類似度が予め定められた類似度以下の場合には、前記処理対象の画像が新たな通常基準画像となるように前記記憶手段を更新する、
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記記憶手段は、予め定められた撮像状態ごとに前記被写体基準画像と前記通常基準画像とを記憶し、
前記制御手段は、前記処理対象の画像の前記予め定められた撮像状態に対応した前記被写体基準画像と前記通常基準画像を用いることを特徴とする請求項２又は請求項３記載の画像処理装置。
【請求項５】
画像を撮像する撮像手段と、
前記撮像手段によって時系列的に撮像された複数の画像の各々に対して適用する画像処理に用いるパラメータを算出する請求項１乃至請求項４のいずれか１項に記載の画像処理装置と、
前記処理対象の画像に対して前記パラメータを用いた画像処理を適用する画像処理手段とを有することを特徴とする撮像装置。
【請求項６】
時系列的に撮像された複数の画像の各々に対して適用する画像処理に用いるパラメータを算出する画像処理装置の制御方法であって、
前記画像処理装置は、処理対象の画像より過去に撮像された画像である通常基準画像を記憶する記憶手段を有し、
前記制御方法が、
パラメータ算出手段が、前記複数の画像の各々について、画像から得られる情報に基づいて前記パラメータを算出するパラメータ算出ステップと、
類似度算出手段が、前記処理対象の画像及び前記通常基準画像の画像間の類似度を、各々の画像から得られる予め定められた特徴から算出する類似度算出ステップと、
制御手段が、前記処理対象の画像から算出されたパラメータと前記通常基準画像から算出されたパラメータとを、前記類似度が高いほど前記通常基準画像のパラメータの重み付けが高くなるように加重加算することにより前記処理対象の画像に対して適用する画像処理に用いるパラメータを算出する制御ステップと、
更新手段が、前記類似度が予め定められた類似度以下の場合には、前記処理対象の画像が新たな通常基準画像となるように前記記憶手段を更新する更新ステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項７】
時系列的に撮像された複数の画像の各々に対して適用する画像処理に用いるパラメータを算出する画像処理装置の制御方法であって、
前記画像処理装置が、
画像から予め定められた被写体を検出する検出手段と、
２つの画像間の類似度を、各々の画像から得られる予め定められた特徴から算出する類似度算出手段と、
前記複数の画像の各々について、画像から得られる情報に基づいて前記パラメータを算出するパラメータ算出手段と、
処理対象の画像より過去に撮像された画像のうち、予め定められた被写体が検出された画像から決定された被写体基準画像と、前記予め定められた被写体が検出されない画像から決定された通常基準画像を記憶する記憶手段と、
を有し、
前記画像処理装置の制御方法が、
前記画像処理装置の制御手段が、前記被写体基準画像から前記パラメータ算出手段が算出した第１のパラメータと、前記処理対象の画像から前記パラメータ算出手段が算出した第２のパラメータとを、前記被写体基準画像と前記処理対象の画像のうち前記検出手段により検出した被写体の信頼度が高い画像から算出されたパラメータの重み付けが高くなるように加重加算することにより第３のパラメータを算出するステップと、
前記制御手段が、前記通常基準画像から前記パラメータ算出手段が算出した第４のパラメータと、前記第３のパラメータとを、前記類似度算出手段により算出された前記通常基準画像と前記処理対象の画像との類似度が高いほど前記第４のパラメータの重み付けが高くなるように加重加算することにより前記処理対象の画像に対して適用する画像処理に用いるパラメータを算出するステップと、
を有することを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
１つ目の例は、図３に示すような、連続撮影中に撮影範囲が日向から日陰に徐々に変化する場合である。３０１は連続撮影時１コマ目の撮影範囲であり、３０２〜３０６はそれぞれ連続撮影時２コマ目〜６コマ目の撮影範囲を示している。このように、撮像画像に占める複数光源の面積の割合が徐々に変化する場合、最新コマと１コマ前の輝度変化は少ない。そのため、特許文献１の方法では適切に光源変化を検出できない。その結果、１コマ目３０１で算出された日向用のホワイトバランス補正値が順次用いられ、６コマ目３０６の日陰の撮影でも使用されてしまう。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
次に、図１のフローチャートを参照して、本実施形態における撮像装置２２３の撮像後の画像処理動作を説明する。
例えばレリーズボタン２１５が全押しされたことにより露光が行われると、撮像素子２０３から被写体像に対応するアナログ信号が画素単位で出力される。このアナログ信号はＡ／Ｄ変換器２０４で１２ビットのデジタルデータに変換され、画像データとして画像処理部２０８に送られる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
次に、明るさ補正処理用パラメータの算出例について説明する。
被写体検出で顔検出されている場合、画像処理部２０８は、顔の明るさが目標の明るさになるように、１２ビットＲＧＢデータそれぞれに適用するゲインを明るさ補正パラメータとして算出する。被写体検出で顔検出されなかった場合、画像処理部２０８は、撮像画像全体の平均のＲＧＢ平均値が目標の明るさになるようなゲインを、明るさ補正パラメータとして算出する。なお、顔の明るさ目標値や顔検出されなかった場合の画像全体平均ＲＧＢ積分値の明るさ目標値は事前に算出しておきメモリ２０７に記録しておく。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
画像処理部２０８は、このようにして最新の撮像画像（最新画像）から算出した画像処理パラメータを、後述のＳ１０５又はＳ１１１の処理で使用するために、メモリ２０７に記録しておく。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
なお、過去のストロボ撮像画像で人物検出できていない場合や、最新の撮像画像で人物検出できていない場合、類似度は０％とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
通常基準画像Ａの更新処理は、以下の情報の更新である。
・Ｓ１０６とＳ１０７の類似度判定で説明した類似度を決定する要素、
・Ｓ１０７で算出した最新画像に適用するホワイトバランス補正処理、明るさ補正処理、コントラスト補正処理、色補正処理、ノイズ低減処理、シャープネス処理に関する画像処理パラメータ。
これらの情報を、次の撮像画像に対する処理に用いるために、通常基準画像Ａの情報としてメモリ２０７に記録しておく。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
一方、撮影範囲が徐々に変化して１コマ目の画像との類似度が低くなると、最新画像から算出された画像処理パラメータに近い画像パラメータが用いられる。そのため、図３シーンのように日向から日陰へ徐々に撮像範囲が変化した場合であっても、撮像範囲の変化に応じた画像処理パラメータが算出される。従って、１コマ目が日向で、６コマ目が日陰となるような場合でも、それぞれの環境に適した画像処理パラメータが算出される。このように、本実施形態によれば、類似シーンの画像処理パラメータのバラツキ軽減と、被写体環境が変化した場合の適切な画像処理パラメータの算出、の２つを両立することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
また、図６に、１〜３コマ目４０３〜４０５の撮像画像について、図５と同様に各種パラメータの例を示す。図４の例では各コマ間の撮影範囲の変化が大きく、１コマ前の画像と最新画像との類似度が低い（０％）。このような場合、特許文献１の方法では各コマにおいて最新画像のみから算出された画像処理パラメータのみが適用される。その結果、１コマ目４０３と３コマ目４０５が同一撮像範囲（または類似度１００％）であっても、人物が検出された１コマ目４０３と人物が検出されなかった３コマ目４０５では異なる画像処理パラメータが適用されてしまう。