(57)【要約】【課題】動体が消去された、適正露光の画像を容易に取得する。【解決手段】撮像部４１は、入射する光を光電変換することにより画像を撮像し、ユーザによってレリーズ・スイッチ３１が操作されている間に、平均画像生成部５８は、撮像部４１が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成する。レリーズ・スイッチ３１の操作が停止されたとき、入出力制御部６２は、平均画像を記憶部６３またはドライブ６４を介してメモリカード６５に記録する。本発明は、例えば、デジタルカメラなどに適用することができる。【選択図】図１
2007306107.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像装置において、
入射する光を光電変換することにより画像を撮像する撮像手段と、
ユーザによって操作される操作手段と、
前記操作手段が操作されている間に、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成する平均画像生成手段と、
前記操作手段の操作が停止されたとき、前記平均画像を記録媒体に記録する記録制御手段と
を備える撮像装置。
【請求項２】
画像を表示する表示手段と、
前記平均画像生成手段において、新たな平均画像が生成されるごとに、新たな平均画像を、前記表示手段に表示させる表示制御手段と
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記操作手段が操作されている間に、前記撮像手段が撮像した複数枚の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備え、
前記平均画像生成手段は、前記補正手段により補正がされた複数枚の画像を平均化する
請求項１に記載の撮像装置。
【請求項４】
前記平均画像生成手段は、
前記撮像手段においてｎ枚目の画像が撮像されたときに、ｎ―１枚の画像を加算した加算画像と、前記ｎ枚目の画像とを加算することにより、ｎ枚の画像を加算した新たな加算画像を生成する加算手段と、
前記加算手段で得られた新たな加算画像の画素値を１/ｎ倍にする１/ｎ乗算手段と
を有する
請求項１に記載の撮像装置。
【請求項５】
前記平均画像生成手段は、
前記撮像手段においてｎ枚目の画像が撮像されたときに、前記ｎ枚目の画像の画素値を１/ｎ倍にする１/ｎ乗算手段と、
ｎ―１枚の画像から生成された前記平均画像の画素値を(ｎ―１)/ｎ倍にする(ｎ―１)/ｎ乗算手段と、
画素値が１/ｎ倍にされた前記ｎ枚目の画像と、画素値が(ｎ―１)/ｎ倍にされた前記平均画像との画素値を加算する加算手段と
を有する
請求項１に記載の撮像装置。
【請求項６】
入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像方法において、
ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成し、
前記操作手段の操作が停止されたとき、前記平均画像を記録媒体に記録する
ステップを含む撮像方法。
【請求項７】
入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、
ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成し、
前記操作手段の操作が停止されたとき、前記平均画像を記録媒体に記録する
ステップを含む撮像処理をコンピュータに実行させるプログラム。
【請求項８】
画像を撮像する撮像装置において、
入射する光を光電変換することにより画像を撮像する撮像手段と、
前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成する平均画像生成手段と、
画像を表示する表示手段と、
前記平均画像生成手段において、新たな平均画像が生成されるごとに、新たな平均画像を、前記表示手段に表示させる表示制御手段と
を備える撮像装置。
【請求項９】
前記平均画像を記録媒体に記録する記録制御手段とをさらに備える
請求項８に記載の撮像装置。
【請求項１０】
前記操作手段が操作されている間に、前記撮像手段が撮像した複数枚の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに備え、
前記平均画像生成手段は、前記補正手段により補正がされた複数枚の画像を平均化する
請求項８に記載の撮像装置。
【請求項１１】
前記平均画像生成手段は、
前記撮像手段においてｎ枚目の画像が撮像されたときに、ｎ―１枚の画像を加算した加算画像と、前記ｎ枚目の画像とを加算することにより、ｎ枚の画像を加算した新たな加算画像を生成する加算手段と、
前記加算手段で得られた新たな加算画像の画素値を１/ｎ倍にする１/ｎ乗算手段と
を有する
請求項８に記載の撮像装置。
【請求項１２】
前記平均画像生成手段は、
前記撮像手段においてｎ枚目の画像が撮像されたときに、前記ｎ枚目の画像の画素値を１/ｎ倍にする１/ｎ乗算手段と、
ｎ―１枚の画像から生成された前記平均画像の画素値を(ｎ―１)/ｎ倍にする(ｎ―１)/ｎ乗算手段と、
画素値が１/ｎ倍にされた前記ｎ枚目の画像と、画素値が(ｎ―１)/ｎ倍にされた前記平均画像との画素値を加算する加算手段と
を有する
請求項８に記載の撮像装置。
【請求項１３】
入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像方法において、
前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成し、
前記撮像手段が撮像した画像が平均化された新たな平均画像が生成されるたびに、新たな平均画像を、画像を表示する表示手段に表示させる
ステップを含む撮像方法。
【請求項１４】
入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、
前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成し、
前記撮像手段が撮像した画像が平均化された新たな平均画像が生成されるたびに、新たな平均画像を、画像を表示する表示手段に表示させる
ステップを含む撮像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、例えば、ユーザが、動きのある物体（動体）が消去された、適正露光の画像を容易に取得できるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
適正露光（露出）未満で撮像した複数の入力画像に基づいて、出力画像を推定する画像処理が、例えば、特許文献１に提案されている。
【０００３】
特許文献１に記載の画像処理では、複数の入力画像から出力画像を推定する過程において、複数の入力画像の位置関係を補正し、補正後の入力画像のそれぞれを加算する処理（以下、補正加算処理という）が行われる。
【０００４】
特許文献１に記載の補正加算処理によれば、入力画像において、動体が投影された動体部分が消去され、動体部分でない静止部分のみが撮像された出力画像を取得することができる。
【特許文献１】特開２００５−０３８３９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の補正加算処理では、最終的に得られる出力画像の露光量をあらかじめ定めたうえで、適正露光未満の複数の入力画像を撮像し、その入力画像を加算することにより、適正露光の出力画像を得ることはできるが、この場合、入力画像を加算する回数が定められてしまうため、動体の消去の程度を調節することができなかった。
【０００６】
また、特許文献１に記載の補正加算処理では、最終的に得られる出力画像の露光量を定めずに、動体の消去の程度を確認しながら複数の入力画像を加算する処理を行うことにより、動体が消去された出力画像を得ることはできるが、この場合、最終的に得られる出力画像の露光量を調節することができなかった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、ユーザが、動体が消去された、適正露光の画像を容易に取得できるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の側面の撮像装置は、画像を撮像する撮像装置であり、入射する光を光電変換することにより画像を撮像する撮像手段と、ユーザによって操作される操作手段と、前記操作手段が操作されている間に、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成する平均画像生成手段と、前記操作手段の操作が停止されたとき、前記平均画像を記録媒体に記録する記録制御手段とを備える。
【０００９】
第１の側面の撮像装置には、画像を表示する表示手段と、前記平均画像生成手段において、新たな平均画像が生成されるごとに、新たな平均画像を、前記表示手段に表示させる表示制御手段とをさらに備えることができる。
【００１０】
第１の側面の撮像装置には、前記操作手段が操作されている間に、前記撮像手段が撮像した複数枚の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに設けることができ、前記平均画像生成手段では、前記補正手段により補正がされた複数枚の画像を平均化させることができる。
【００１１】
第１の側面の撮像装置における前記平均画像生成手段は、前記撮像手段においてｎ枚目の画像が撮像されたときに、ｎ―１枚の画像を加算した加算画像と、前記ｎ枚目の画像とを加算することにより、ｎ枚の画像を加算した新たな加算画像を生成する加算手段と、前記加算手段で得られた新たな加算画像の画素値を１/ｎ倍にする１/ｎ乗算手段とを有することができる。
【００１２】
第１の側面の撮像装置における前記平均画像生成手段は、前記撮像手段においてｎ枚目の画像が撮像されたときに、前記ｎ枚目の画像の画素値を１/ｎ倍にする１/ｎ乗算手段と、ｎ―１枚の画像から生成された前記平均画像の画素値を(ｎ―１)/ｎ倍にする(ｎ―１)/ｎ乗算手段と、画素値が１/ｎ倍にされた前記ｎ枚目の画像と、画素値が(ｎ―１)/ｎ倍にされた前記平均画像との画素値を加算する加算手段とを有することができる。
【００１３】
本発明の第１の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムであり、ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成し、前記操作手段の操作が停止されたとき、前記平均画像を記録媒体に記録するステップを含む。
【００１４】
本発明の第１の側面においては、ユーザによって操作される操作手段が操作されている間に、前記撮像手段により適正露光の露光時間で撮像された複数枚の画像の画素値が平均化された平均画像が生成され、前記操作手段の操作が停止されたとき、前記平均画像が記録媒体に記録される。
【００１５】
本発明の第２の側面の撮像装置は、画像を撮像する撮像装置であり、入射する光を光電変換することにより画像を撮像する撮像手段と、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成する平均画像生成手段と、画像を表示する表示手段と、前記平均画像生成手段において、新たな平均画像が生成されるごとに、新たな平均画像を、前記表示手段に表示させる表示制御手段とを備える。
【００１６】
第２の側面の撮像装置には、前記平均画像を記録媒体に記録する記録制御手段とをさらに備えることができる。
【００１７】
第２の側面の撮像装置には、前記操作手段が操作されている間に、前記撮像手段が撮像した複数枚の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段をさらに設けることができ、前記平均画像生成手段では、前記補正手段により補正がされた複数枚の画像を平均化させることができる。
【００１８】
第２の側面の撮像装置における前記平均画像生成手段は、前記撮像手段においてｎ枚目の画像が撮像されたときに、ｎ―１枚の画像を加算した加算画像と、前記ｎ枚目の画像とを加算することにより、ｎ枚の画像を加算した新たな加算画像を生成する加算手段と、前記加算手段で得られた新たな加算画像の画素値を１/ｎ倍にする１/ｎ乗算手段とを有することができる。
【００１９】
第２の側面の撮像装置における前記平均画像生成手段は、前記撮像手段においてｎ枚目の画像が撮像されたときに、前記ｎ枚目の画像の画素値を１/ｎ倍にする１/ｎ乗算手段と、ｎ―１枚の画像から生成された前記平均画像の画素値を(ｎ―１)/ｎ倍にする(ｎ―１)/ｎ乗算手段と、画素値が１/ｎ倍にされた前記ｎ枚目の画像と、画素値が(ｎ―１)/ｎ倍にされた前記平均画像との画素値を加算する加算手段とを有することができる。
【００２０】
本発明の第２の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムであり、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成し、前記撮像手段が撮像した画像が平均化された新たな平均画像が生成されるたびに、新たな平均画像を、画像を表示する表示手段に表示させるステップを含む。
【００２１】
本発明の第２の側面においては、前記撮像手段により適正露光の露光時間で撮像された複数枚の画像の画素値が平均化された平均画像が生成され、前記撮像手段により撮像された画像が平均化された新たな平均画像が生成されるたびに、新たな平均画像が、画像を表示させる表示手段に表示される。
【発明の効果】
【００２２】
本発明によれば、例えば、ユーザが、動体が消去された、適正露光の画像を容易に取得することができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２４】
本発明の第１の側面の撮像装置は、画像を撮像する撮像装置（例えば、図１のデジタルカメラ１１）において、入射する光を光電変換することにより画像を撮像する撮像手段（例えば、図１の撮像部４１）と、ユーザによって操作される操作手段（例えば、図１の操作部２１）と、前記操作手段が操作されている間に、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成する平均画像生成手段（例えば、図１の平均画像生成部５８）と、前記操作手段の操作が停止されたとき、前記平均画像を記録媒体に記録する記録制御手段（例えば、図１の入出力制御部６２）とを備える。
【００２５】
第１の側面の撮像装置には、画像を表示する表示手段（例えば、図１の表示部６１）と、前記平均画像生成手段において、新たな平均画像が生成されるごとに、新たな平均画像を、前記表示手段に表示させる表示制御手段（例えば、図１の表示制御部６０）とをさらに備えることができる。
【００２６】
第１の側面の撮像装置には、前記操作手段が操作されている間に、前記撮像手段が撮像した複数枚の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段（例えば、図１の補正部５７）をさらに備えることができ、前記平均画像生成手段は、前記補正手段により補正がされた複数枚の画像を平均化することができる。
【００２７】
第１の側面の撮像装置における前記平均画像生成手段は、前記撮像手段においてｎ枚目の画像が撮像されたときに、ｎ―１枚の画像を加算した加算画像と、前記ｎ枚目の画像とを加算することにより、ｎ枚の画像を加算した新たな加算画像を生成する加算手段（例えば、図２の加算部８１）と、前記加算手段で得られた新たな加算画像の画素値を１/ｎ倍にする１/ｎ乗算手段（例えば、図２の１/ｎ乗算部８３）とを有することができる。
【００２８】
第１の側面の撮像装置における前記平均画像生成手段は、前記撮像手段においてｎ枚目の画像が撮像されたときに、前記ｎ枚目の画像の画素値を１/ｎ倍にする１/ｎ乗算手段（例えば、図９の１/ｎ乗算部３３１）と、ｎ―１枚の画像から生成された前記平均画像の画素値を(ｎ―１)/ｎ倍にする(ｎ―１)/ｎ乗算手段（例えば、図９の（ｎ―１）/ｎ乗算部３３４）と、画素値が１/ｎ倍にされた前記ｎ枚目の画像と、画素値が(ｎ―１)/ｎ倍にされた前記平均画像との画素値を加算する加算手段（例えば、図９の加算部３３２）とを有することができる。
【００２９】
本発明の第１の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、ユーザによって操作される操作手段が操作されている間に、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成し（例えば、図８のステップＳ３７およびステップＳ３８、または図１０のステップＳ８７乃至ステップＳ８９）、前記操作手段の操作が停止されたとき、前記平均画像を記録媒体に記録する（例えば、図８のステップＳ４１、または図１０のステップＳ９２）ステップを含む。
【００３０】
本発明の第２の側面の撮像装置は、画像を撮像する撮像装置（例えば、図１のデジタルカメラ１１）において、入射する光を光電変換することにより画像を撮像する撮像手段（例えば、図１の撮像部４１）と、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成する平均画像生成手段（例えば、図１の平均画像生成部５８）と、画像を表示する表示手段（例えば、図１の表示部６１）と、前記平均画像生成手段において、新たな平均画像が生成されるごとに、新たな平均画像を、前記表示手段に表示させる表示制御手段（例えば、図１の表示制御部６０）とを備える。
【００３１】
第２の側面の撮像装置には、前記平均画像を記録媒体に記録する記録制御手段（例えば、図１の入出力制御部６２）とをさらに備えることができる。
【００３２】
第２の側面の撮像装置には、前記操作手段が操作されている間に、前記撮像手段が撮像した複数枚の画像それぞれに映っている被写体の位置を合わせるように、前記撮像手段が撮像した画像を補正する補正手段（例えば、図１の補正部５７）をさらに備えることができ、前記平均画像生成手段は、前記補正手段により補正がされた複数枚の画像を平均化することができる。
【００３３】
第２の側面の撮像装置における前記平均画像生成手段は、前記撮像手段においてｎ枚目の画像が撮像されたときに、ｎ―１枚の画像を加算した加算画像と、前記ｎ枚目の画像とを加算することにより、ｎ枚の画像を加算した新たな加算画像を生成する加算手段（例えば、図２の加算部８１）と、前記加算手段で得られた新たな加算画像の画素値を１/ｎ倍にする１/ｎ乗算手段（例えば、図２の１/ｎ乗算部８３）とを有することができる。
【００３４】
第２の側面の撮像装置における前記平均画像生成手段は、前記撮像手段においてｎ枚目の画像が撮像されたときに、前記ｎ枚目の画像の画素値を１/ｎ倍にする１/ｎ乗算手段（例えば、図９の１/ｎ乗算部３３１）と、ｎ―１枚の画像から生成された前記平均画像の画素値を(ｎ―１)/ｎ倍にする(ｎ―１)/ｎ乗算手段（例えば、図９の（ｎ―１）/ｎ乗算部３３４）と、画素値が１/ｎ倍にされた前記ｎ枚目の画像と、画素値が(ｎ―１)/ｎ倍にされた前記平均画像との画素値を加算する加算手段（例えば、図９の加算部３３２）とを有することができる。
【００３５】
本発明の第２の側面の撮像方法、またはプログラムは、入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像方法、または入射する光を光電変換することにより画像を撮像する撮像手段を備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、前記撮像手段が適正露光の露光時間で撮像した複数枚の画像の画素値を平均化した平均画像を生成し（例えば、図８のステップＳ３７およびステップＳ３８、または図１０のステップＳ８７乃至ステップＳ８９）、前記撮像手段が撮像した画像が平均化された新たな平均画像が生成されるたびに、新たな平均画像を、画像を表示する表示手段に表示させる（例えば、図８のステップＳ３９、または図１０のステップＳ９０）ステップを含む。
【００３６】
以下、図を参照して、本発明の実施の形態について説明する。
【００３７】
図１は、本発明を適用したデジタルカメラ（デジタルスチルカメラ）１１の一実施の形態の構成例を示すブロック図である。
【００３８】
図１のデジタルカメラ１１は、操作部２１、撮像部４１、SDRAM(Synchronous Dynamic Random Access Memory)５４、動きベクトル検出部５５、SAD(Sum of Absolute Differences)テーブル５６、補正部５７、平均画像生成部５８、表示制御部６０、表示部６１、入出力制御部６２、記憶部６３、ドライブ６４、およびメモリカード６５により構成される。
【００３９】
操作部２１は、例えば、レリーズ・スイッチ３１および後述する表示部６１に重畳されたタッチパネルなどにより構成され、ユーザによって操作される。操作部２１は、ユーザの操作に応じた操作信号を、デジタルカメラ１１の必要なブロックに供給する。
【００４０】
撮像部４１は、そこに入射する光を受光して光電変換することにより被写体を撮像し、その結果得られる撮影画像をSDRAM５４に供給して、（一時的に）記憶させる。
【００４１】
ここで、撮像部４１は、撮像レンズ５１、撮像素子５２、およびカメラ信号処理部５３により構成されており、撮像レンズ５１は、撮像素子５２の受光面に被写体の像を結像させる。撮像素子５２は、例えば、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)センサなどで構成され、その受光面に結像された被写体の像（光）を、光電変換することでアナログの画像信号として、カメラ信号処理部５３に供給する。
【００４２】
カメラ信号処理部５３は、撮像素子５２から供給されたアナログの画像信号に対して、例えば、ガンマ補正処理や白バランス処理などを行う。その後、カメラ信号処理部５３は、そのアナログの画像信号をA/D(Analog/Digital)変換し、その結果得られるデジタルの画像信号（撮像画像）をSDRAM５４に供給して、記憶させる。
【００４３】
SDRAM５４は、カメラ信号処理部５３（撮像部４１）から供給された撮像画像を記憶する。
【００４４】
ここで、デジタルカメラ１１の撮影モードとしては、例えば、撮像部４１において、レリーズ・スイッチ３１の１回の押圧操作に応じて、１枚の撮像画像を適正露光となる露光時間で撮像する通常撮影モードと、レリーズ・スイッチ３１の押圧操作に応じて、適正露光となる露光時間で撮像された複数枚の撮像画像を平均化することにより、動体が消去された画像を得る動体消去の撮影モードとがある。以下では、撮影モードが、動体消去の撮影モードになっている場合について説明する。なお、撮影モードが、通常撮影モードの場合は、以下に説明する動きベクトル検出部５５乃至平均画像生成部５８が機能しないだけである。
【００４５】
動きベクトル検出部５５は、撮像部４１で撮像された撮像画像を、撮像された順番で、SDRAM５４から読み出す。動きベクトル検出部５５は、SDRAM５４から読み出した１枚目の撮像画像（レリーズ・スイッチ３１が押圧されてから、撮像部４１により最初に撮像された撮像画像）を、補正部５７を介して、平均画像生成部５８に供給するとともに、SADテーブル５６に供給して、後述する基準画像として記憶させる。
【００４６】
ここで、基準画像とは、後述する補正部５７が、２枚目以降の撮像画像（レリーズ・スイッチ３１が押圧されてから、撮像部４１により２番目以降に撮像された撮像画像）の位置を補正するにあたって基準となる画像をいう。
【００４７】
さらに、ｎ枚目の撮像画像とは、動体消去の撮影モードで撮像された複数枚の撮像画像のうちの、ｎ番目に撮像された撮像画像をいう。即ち、動体消去の撮影モードにおけるデジタルカメラ１１では、レリーズ・スイッチ３１の押圧操作が開始されてから、その押圧操作が停止（解除）されるまでの間に撮像されたＮ枚の撮像画像が、平均化の対象とされるようになっている。ｎ枚目の撮像画像とは、レリーズ・スイッチ３１の押圧操作がされている間に撮像されたＮ枚の撮像画像のうちの、ｎ（ｎ＝１，２，・・・，Ｎ―１，Ｎ）番目に撮像された撮像画像である。
【００４８】
動きベクトル検出部５５は、SDRAM５４から読み出した２枚目以降の撮像画像については、SADテーブル５６に記憶された基準画像に対する撮像画像の動きを表す動きベクトルを検出し、その撮像画像とともに補正部５７に供給する。
【００４９】
SADテーブル５６は、動きベクトル検出部５５から供給される１枚目の撮像画像を、基準画像として記憶する。
【００５０】
補正部５７は、動きベクトル検出部５５から供給された撮像画像の動きベクトルに基づいて、同じく、動きベクトル検出部５５から供給されたその撮像画像を補正し、補正後の撮像画像を平均画像生成部５８に供給する。
【００５１】
平均画像生成部５８は、補正部５７から供給された補正後の複数枚の撮像画像の画素値を平均化し、平均画像を生成する。なお、平均画像生成部５８については、後述する図２または図９において詳細に説明する。
【００５２】
表示制御部６０は、平均画像生成部５８において、新たな平均画像（１枚目の撮像画像を含む）が生成されるたびに、平均画像生成部５８からその新たな平均画像を読み出し、表示部６１に供給して表示させる。
【００５３】
表示部６１は、表示制御部６０の制御に従い、表示制御部６０から供給された平均画像などを表示する。表示部６１としては、例えば、LCD(Liquid Crystal Display)などを採用することができる。
【００５４】
入出力制御部６２には、平均画像生成部５８、記憶部６３、およびドライブ６４が接続されている。入出力制御部６２は、平均画像生成部５８、記憶部６３、またはドライブ６４それぞれとの間での画像のやりとりを制御する。
【００５５】
記憶部６３は、入出力制御部６２から供給された画像を記憶する。
【００５６】
ドライブ６４は、入出力制御部６２から供給された画像を、メモリカード６５に供給し、記憶させる。また、ドライブ６４は、メモリカード６５から画像を読み出し、入出力制御部６２に供給する。
【００５７】
メモリカード６５は、デジタルカメラ１１のドライブ６４に脱着可能でリムーバブルなメモリカードであり、入出力制御部６２から供給された画像を記憶する。
【００５８】
図２は、図１の平均画像生成部５８の詳細な構成例を示すブロック図である。
【００５９】
平均画像生成部５８は、加算部８１、SDRAM８２、１/ｎ乗算部８３、およびSDRAM８４により構成される。
【００６０】
加算部８１には、補正部５７から、補正後のｎ枚目の撮像画像が供給されるようになっている。加算部８１は、SDRAM８２から、ｎ―１（ｎ＝２，３，・・・，Ｎ―１，Ｎ）枚の撮像画像を加算した加算画像を読み出し、その加算画像と、補正部５７から供給されたｎ枚目の撮像画像の画素値を加算し、その結果得られた加算画像を、SDRAM８２に供給して、記憶させる。
【００６１】
なお、加算部８１は、補正部５７から供給された撮像画像が１枚目の撮像画像である場合には、その１枚の撮像画像を、そのまま加算画像として、SDRAM８２に供給し、記憶させる。
【００６２】
SDRAM８２は、加算部８１から供給された、ｎ枚の撮像画像を加算した加算画像（１枚目の撮像画像を含む）を記憶する（ｎ＝１，２，・・・，Ｎ―１，Ｎ）。
【００６３】
１/ｎ乗算部８３は、ｎ枚の撮像画像を加算した加算画像をSDRAM８２から読み出し、その加算画像の画素値を１/ｎ倍することにより、ｎ枚の撮像画像を平均化した平均画像を生成する。この平均画像は、１/ｎ乗算部８３からSDRAM８４に供給され、上書きする形で記憶される。
【００６４】
SDRAM８４（平均画像生成部５８）に記憶された平均画像は、表示制御部６０によって読み出され、表示部６１において表示される。また、SDRAM８４に記憶された平均画像は、入出力制御部６２よって読み出され、記憶部６３またはメモリカード６５に供給されて、記憶される。
【００６５】
以上のような平均画像生成部５８では、ｎ枚の撮像画像を加算した加算画像の画素値を１/ｎ倍するため、いわゆる丸め誤差による階調の損失が少ない平均画像を生成することができる。
【００６６】
次に、図３および図４を参照して、図１の動きベクトル検出部５５の処理について説明する。
【００６７】
図３は、動きベクトル検出部５５が、動体消去の撮像モードにおいて、２枚目以降の撮像画像の動きを表す動きベクトルを検出する様子を示す図である。
【００６８】
図３上側は、静止している被写体１６１が投影された基準画像１５１、および被写体１６１と同一の被写体１６２が投影された（２枚目以降の）撮像画像１５２を示す図である。図３下側は、縦×横がｍ×ｎ個のブロックに分割された基準画像１５１を示す図である。また、図３下側のｍ×ｎ個のブロック内の矢印は、それぞれのブロックに基づいて検出された動きベクトルを表している。
【００６９】
なお、上述したように、基準画像１５１とは、１枚目の撮像画像を表しており、撮像画像１５２とは、２枚目以降の撮像画像を表している。また、基準画像１５１に対する被写体１６１の位置と、撮像画像１５２に対する被写体１６２の位置が異なるのは、例えば、手振れが生じたことによる。
【００７０】
動きベクトル検出部５５は、基準画像１５１と撮像画像１５２とを用いて、基準画像１５１に対する撮像画像１５２の動きを表す動きベクトルを検出する。
【００７１】
即ち、動きベクトル検出部５５は、図３下側に示されるように、基準画像１５１を縦×横がｍ×ｎ個のブロックに分割し、それぞれのブロックに一番類似している撮像画像１５２上の領域を求めることで動きベクトルを検出するブロックマッチングを行う。
【００７２】
図４は、このようなブロックマッチングにより動きベクトルを検出する方法を説明する図である。
【００７３】
図４では、基準画像１５１と撮像画像１５２とが重ね合わされている。また、図４では、基準画像１５１（撮像画像１５２）の左下の点を原点Ｏとし、右方向をｘ方向、上方向をｙ方向とするｘｙ座標系を定義してある。
【００７４】
動きベクトル検出部５５は、図４に示されるように、基準画像１５１上の分割されたブロック１５１ａ乃至１５１ｆをテンプレートとして、それぞれのブロック１５１ａ乃至１５１ｆに一番類似している撮像画像１５２上の領域１５２ａ乃至１５２ｆを求める。さらに、動きベクトル検出部５５は、例えば、基準画像１５１上のブロック１５１ａ乃至１５１ｆの中心（重心）の位置（Ｃx，Ｃy）を始点とし、領域１５２ａ乃至１５２ｆの中心の位置（Ｃx'，Ｃy'）を終点とする動きベクトルを検出する。
【００７５】
このようにして、動きベクトル検出部５５は、図３下側に示される基準画像１５１上のｍ×ｎ個のブロックに対して検出したｍ×ｎ個の動きベクトルを、（２枚目以降の）撮像画像１５２とともに、補正部５７に供給する。
【００７６】
次に、図５を参照して、図１における補正部５７の処理について説明する。
【００７７】
補正部５７は、基準画像１５１を基準として、撮像画像１５２を補正する。即ち、補正部５７は、基準画像１５１上の被写体１６１の位置と、撮像画像１５２上の、被写体１６１と同一の被写体１６２の位置とを位置合わせするため、例えば、アフィン変換によって、撮像画像１５２を補正する。
【００７８】
アフィン変換では、基準画像１５１（の画素）の位置（ｘ，ｙ）と、撮像画像１５２の位置（ｘ'，ｙ'）との位置関係は、次の式（１）で表される。
【００７９】
【数１】
2007306107.tif 000003
【００８０】
ここで、式（１）のアフィン変換によれば、位置（ｘ，ｙ）は、その位置（ｘ，ｙ）を原点Ｏの回りに角度θだけ回転させ、（ｘ，ｙ）＝（ｓ，ｔ）だけ平行移動させた位置（ｘ'，ｙ'）に変換（補正）される。
【００８１】
また、以下では、式（１）のアフィン変換を定義するパラメータｓ，ｔ，θを、アフィンパラメータ（ｓ，ｔ，θ）という。
【００８２】
なお、式（１）のアフィン変換では、デジタルカメラ１１から被写体に向かう方向の、デジタルカメラ１１の動きは考慮されていないが、アフィン変換は、かかる動きをも考慮して行うことが可能である。この場合、式（１）の右辺の２×２の行列に代えて、その行列に、拡大/縮小に関するパラメータが乗算された行列が使用される。
【００８３】
補正部５７は、図３下側に示されるｍ×ｎ個の動きベクトルと上述した式（１）を用いて、最小自乗法により、アフィンパラメータ（ｓ，ｔ，θ）を求める。
【００８４】
具体的には、補正部５７は、基準画像１５１上のｍ×ｎ個のブロックの中心の位置（Ｃx，Ｃy）に対して、上述した式（１）によりアフィン変換を行う。そして、補正部５７は、基準画像１５１上のｍ×ｎ個のブロックの中心の位置（Ｃx，Ｃy）を始点とし、位置（Ｃx，Ｃy）をアフィン変換した後の位置を終点とする動きベクトルを、変換動きベクトルＶGMとして算出する。変換動きベクトルＶGMは、次の式（２）で表される。
【００８５】
【数２】
2007306107.tif 000004
【００８６】
ここで、式（２）における変換動きベクトルＶGMは、アフィンパラメータ（ｓ，ｔ，θ）を変数とする式で表される。
【００８７】
補正部５７は、基準画像１５１上のブロックの変換動きベクトルＶGMと、そのブロックの、上述したブロックマッチングにより検出された動きベクトル（以下、適宜、マッチング動きベクトルＶBMともいう）との自乗誤差の総和Ｅを最小にするアフィンパラメータ（ｓ，ｔ，θ）を求める。この自乗誤差の総和Ｅは、次の式（３）で表される。
【００８８】
【数３】
2007306107.tif 000005
【００８９】
ここで、式（３）のΣは、図３下側に示された、基準画像１５１上のｍ×ｎ個のブロックの総和を表す。式（３）の自乗誤差の総和Ｅを最小にするアフィンパラメータ（ｓ，ｔ，θ）は、自乗誤差の総和Ｅを、アフィンパラメータ（ｓ，ｔ，θ）で偏微分した式を求め、その式を０とした方程式を解くことで求めることができる。
【００９０】
次に、補正部５７は、求めたアフィンパラメータ（ｓ，ｔ，θ）を用いて、撮像画像１５２の位置（ｘ'，ｙ'）を基準画像１５１の位置（ｘ，ｙ）に補正（位置合わせ）するアフィン変換の逆変換を行う。これにより、撮像画像１５２は、図５に示されるように、基準画像１５１上の被写体１６１と、撮像画像１５２上の被写体１６２との位置を合わせるように補正される。
【００９１】
ここで、撮像部４１では、撮像画像１５２として採用される有効画素数よりも多くの画素数により撮像しているため、実際には、撮像画像１５２よりも大きな画像（画素数が多い画像）１８２の撮像が行われている。
【００９２】
補正部５７は、撮像画像１５２を含む画像１８２の補正を行った後、画像１８２のうちの基準画像１５１の範囲と完全に一致する範囲の画像を、補正後の撮像画像１５２として抽出し、平均画像生成部５８に供給する。
【００９３】
なお、画像１８２を、撮像画像１５２よりもどれだけ大の画像（画素数の多い画像）とするかは、例えば、人が、いわゆる手持ち撮像を行うときの手振れ量の統計量などに基づいて決定される。
【００９４】
また、補正部５７は、上述したように、アフィンパラメータ（ｓ，ｔ，θ）を求め、そのアフィンパラメータ（ｓ，ｔ，θ）を用いて撮像画像を補正するが、この撮像画像の補正は、手振れに起因して位置がずれている被写体の位置合わせを行うためのものであり、動いている動体の位置合わせを行うためのものではない。このため、補正部５７において、撮像画像の補正に用いるアフィンパラメータ（ｓ，ｔ，θ）としては、撮像画像に投影されている動体の動きの影響がないアフィンパラメータ（ｓ，ｔ，θ）を求める必要がある。そこで、補正部５７では、上述した式（３）の自乗誤差の総和Ｅは、動体が投影されていないブロックのみを対象に求められる。
【００９５】
動体が投影されていないブロックであるかどうかは、例えば、基準画像１５１上のブロックに対して求められたマッチング動きベクトルＶBMのヒストグラムに基づいて判定することができる。即ち、基準画像１５１上のブロックに対して求められたマッチング動きベクトルＶBMのヒストグラムにおいて、度数が最も高いマッチング動きベクトルＶBMとの距離が近いマッチング動きベクトルＶBMのブロックは、動体が投影されていないブロックであると判定し、度数が最も高いマッチング動きベクトルＶBMとの距離が遠いマッチング動きベクトルＶBMのブロックは、動体が投影されているブロックであると判定することができる。
【００９６】
次に、図６および図７を参照して、図２の平均画像生成部５８で生成される平均画像について説明する。
【００９７】
図６は、図２の平均画像生成部５８において、新たな平均画像が生成されていく様子を示す図である。
【００９８】
図６上側は、適正露光の露光時間で撮像された１乃至Ｎ枚目の撮像画像の露光量２１１1乃至２１１Nを表しており、図６左側は、加算部８１により生成された加算画像の露光量２３２1乃至２３２Nを表している。図６右側は、１/ｎ乗算部８３で生成された平均画像の露光量２５１1乃至２５１Nを表している。なお、加算部８１により生成された加算画像は、SDRAM８２に記憶され、１/ｎ乗算部８３により生成された平均画像は、SDRAM８４に記憶される。
【００９９】
加算部８１は、補正部５７から供給された１枚目の撮像画像をそのまま、露光量２３２1（２１１1）の加算画像とする。さらに、１/ｎ乗算部８３は、露光量２３２1の加算画像を、露光量２５１1（２３２1）の平均画像とする。ここで、露光量２１１1、２３２1および２５１1は、いずれも同じ露光量を表しているが、説明の便宜のため、異なる番号を付している。
【０１００】
加算部８１は、露光量２３２1の加算画像と、補正部５７から供給された２枚目の撮像画像とを加算し、露光量２３２2（露光量２３２1と露光量２１１2とを加算した露光量）の加算画像を生成する。次に、１/ｎ乗算部８３は、２枚の撮像画像を加算した、露光量２３２2の加算画像の画素値を１/２倍し、露光量２５１2の平均画像を生成する。
【０１０１】
その後、加算部８１は、露光量２３２2の加算画像と、補正部５７から供給された３枚目の撮像画像とを加算し、露光量２３２3の加算画像を生成する。そして、１/ｎ乗算部８３は、３枚の撮像画像を加算した、露光量２３２3の加算画像の画素値を１/３倍し、露光量２５１3の平均画像を生成する。
【０１０２】
以下、同様に、加算部８１は、露光量２３２n―1の加算画像と、補正部５７から供給されるｎ枚目の撮像画像とを加算し、露光量２３２nの加算画像を生成する。そして、１/ｎ乗算部８３は、ｎ枚の撮像画像を加算した、露光量２３２nの加算画像の画素値を１/ｎ倍し、露光量２５１nの平均画像を生成する（ｎ＝２，３，・・・，Ｎ―１，Ｎ）。
【０１０３】
これにより、平均画像生成部５８により生成される平均画像の露光量２５１1乃至２５１Nは、適正露光の露光量を有することとなる。
【０１０４】
図７は、図１の表示部６１の平均画像の表示例を示している。
【０１０５】
なお、図７において、平均画像２６１nは、ｎ枚の撮像画像を平均化した平均画像である。
【０１０６】
平均画像生成部５８では、上述したように、複数枚の撮像画像を平均化した平均画像が生成される。
【０１０７】
複数枚の撮像画像において、静止している被写体（静止体）については、平均化されても、画素値に占める静止体の成分は変わらないので、そのまま平均画像に現れるが、動いている被写体（動体）については、平均化に用いる撮像画像の枚数が多くなるほど、平均化によって、画素値に占める動体の成分が減少していくので、平均画像に現れなくなっていく。
【０１０８】
例えば、デジタルカメラ１１の撮像範囲に、静止体である被写体２７１と、動体である被写体２７２および２７３が存在する場合、１枚目の撮像画像が撮像されると、表示部６１では、図７に示されるように、まず、被写体２７１とともに、被写体２７２および２７３が投影された１枚目の撮像画像である平均画像２６１1が表示され、２枚目の撮像画像が撮像されると、１枚目と２枚目の撮像画像を平均化した平均画像２６１2が表示される。
【０１０９】
平均画像２６１2では、平均化により画素値に占める被写体２７２および２７３の成分が減少し、被写体２７２および２７３が、いわば薄くなっている。
【０１１０】
そして、３枚目の撮像画像が撮像されると、１乃至３枚目の撮像画像を平均化した平均画像２６１3が表示される。
【０１１１】
以下、同様に、新たな撮像画像が撮像されると、平均画像生成部５８で新たに平均画像が生成され、表示部６１には、被写体２７２および２７３が、より薄くなった平均画像が表示される。
【０１１２】
上述したように、新たな平均画像の生成は、レリーズ・スイッチ３１が押圧操作されている間行われる。従って、ユーザは、所望の平均画像２６１Nが表示部６１に表示されたときに、即ち、例えば、被写体２７２および２７３が十分に薄くなって見えなくなったときに、レリーズ・スイッチ３１の押圧操作を停止することにより、所望の平均画像２６１Nを、記憶部６３またはメモリカード６５に記憶させる（撮像する）ことができる。
【０１１３】
次に、図８のフローチャートを参照し、図１の平均画像生成部５８が、図２に示される構成である場合の、デジタルカメラ１１の動体消去の撮影モードの処理を説明する。
【０１１４】
ユーザが、レリーズ・スイッチ３１の押圧操作を開始すると、ステップＳ３１において、撮像部４１は、適正露光の露光時間により被写体を撮像し、その結果得られる撮影画像をSDRAM５４に供給して記憶させ、ステップＳ３２に進む。
【０１１５】
ステップＳ３２において、動きベクトル検出部５５は、撮像部４１で撮像された撮像画像を、撮像された順番で、SDRAM５４から読み出す。ステップＳ３２において、動きベクトル検出部５５は、SDRAM５４から読み出した撮像画像が１枚目の撮像画像であるかどうかを判定し、１枚目の撮像画像であると判定した場合、ステップＳ３３に進む。
【０１１６】
ステップＳ３３において、動きベクトル検出部５５は、１枚目の撮像画像を、加算画像として、補正部５７および加算部８１を介してSDRAM８２に供給し、記憶させるとともに、基準画像として、SADテーブル５６に供給して記憶させ、ステップＳ３８に進む。
【０１１７】
一方、ステップＳ３２において、動きベクトル検出部５５は、１枚目の撮像画像でない（２枚目以降の撮像画像である）と判定した場合、ステップＳ３４に進み、SDRAM５４から読み出した２枚目以降の撮像画像については、SADテーブル５６に記憶された基準画像に対する撮像画像の動きを表す動きベクトルを検出し、その撮像画像とともに補正部５７に供給して、ステップＳ３５に進む。
【０１１８】
ステップＳ３５において、補正部５７は、動きベクトル検出部５５から供給された動きベクトルと上述した式（１）を用いて、最小自乗法により、アフィンパラメータ（ｓ，ｔ，θ）を求めて、ステップＳ３６に進み、求めたアフィンパラメータ（ｓ，ｔ，θ）を用いて、動きベクトル検出部５５から供給された撮像画像を補正し、補正後の撮像画像を加算部８１（平均画像生成部５８）に供給して、ステップＳ３７に進む。
【０１１９】
ステップＳ３７において、加算部８１は、SDRAM８２から加算画像を読み出し、その加算画像と、補正部５７から供給された補正後のｎ枚目の撮像画像の画素値を加算し、これにより得られた画像を、新たな加算画像として、SDRAM８２に供給して、記憶させ、ステップＳ３８に進む。
【０１２０】
ステップＳ３８において、１/ｎ乗算部８３は、SDRAM８２から、ｎ枚の撮像画像を加算した加算画像を読み出し、その加算画像の画素値を１/ｎ倍する。ステップＳ３８において、１/ｎ乗算部８３は、１/ｎ倍した加算画像を、新たな平均画像として、SDRAM８４に供給し、上書きする形で記憶させ、ステップＳ３９に進む。
【０１２１】
ステップＳ３９において、表示制御部６０は、直前に行われたステップＳ３８において、SDRAM８４に記憶された平均画像を読み出し、表示部６１に供給して表示させ、ステップＳ４０に進む。
【０１２２】
ステップＳ４０において、平均画像生成部５８は、レリーズ・スイッチ３１の押圧操作が続けられているかどうかを判定する。ステップＳ４０において、レリーズ・スイッチ３１の押圧操作が続けられていると判定された場合、ステップＳ３１に戻り、以下、同様の処理を繰り返す。これにより、ステップＳ３８において、平均画像生成部５８が新たな平均画像を生成するたびに、その新たな平均画像が表示部６１に表示される。
【０１２３】
一方、ステップＳ４０において、レリーズ・スイッチ３１の押圧操作が停止されたと判定された場合、即ち、レリーズ・スイッチ３１を押圧操作し続けていたユーザが、表示部６１に表示された平均画像を見て、動体が消去された所望の画像（平均画像）が得られたとして、レリーズ・スイッチ３１の押圧操作を停止した場合、ステップＳ４１に進み、入出力制御部６２は、SDRAM８４から平均画像（レリーズ・スイッチ３１の押圧操作を停止したときに、表示部６１に表示されていた平均画像）を読み出し、記憶部６３または（ドライブ６４を介して）メモリカード６５に供給して、記憶させる。その後、処理は終了する。
【０１２４】
次に、図９を参照して、図１の平均画像生成部５８の他の構成例を説明する。
【０１２５】
図９は、図１の平均画像生成部５８の他の構成例を示すブロック図である。
【０１２６】
平均画像生成部５８は、１/ｎ乗算部３３１、加算部３３２、SDRAM３３３、および（ｎ―１）/ｎ乗算部３３４により構成される。
【０１２７】
１/ｎ乗算部３３１には、補正部５７から、補正後のｎ枚目の撮像画像が供給されるようになっている。１/ｎ乗算部３３１は、補正部５７から供給されたｎ枚目の撮像画像の画素値を１/ｎ倍し、その結果得られた１/ｎ画像を、加算部３３２に供給する。
【０１２８】
加算部３３２は、１/ｎ乗算部３３１から供給された１/ｎ（ｎ＝２，３，・・・，Ｎ―１，Ｎ）画像と、後述する（ｎ―１）/ｎ乗算部３３４から供給された（ｎ―１）/ｎ画像との画素値を加算し、その結果得られた画像を、新たな平均画像として、SDRAM３３３に供給し、上書きする形で記憶させる。
【０１２９】
なお、加算部３３２は、１/ｎ乗算部３３１から供給された１/ｎ画像が１/１画像（１枚目の撮像画像）である場合には、その１/１画像を、そのまま平均画像として、SDRAM３３３に供給し、記憶させる。
【０１３０】
SDRAM３３３は、加算部３３２から供給された平均画像を記憶する。
【０１３１】
（ｎ―１）/ｎ乗算部３３４は、SDRAM３３３から平均画像を読み出し、平均画像の画素値を（ｎ―１）/ｎ倍することで得られた（ｎ―１）/ｎ画像を、加算部３３２に供給する。
【０１３２】
SDRAM３３３（平均画像生成部５８）に記憶された平均画像は、表示制御部６０によって読み出され、表示部６１において表示される。また、SDRAM３３３に記憶された平均画像は、入出力制御部６２によって読み出され、記憶部６３またはメモリカード６５に供給されて、記憶される。
【０１３３】
以上のような構成を採用することにより、図９の平均画像生成部５８は、図２における構成を採用した場合と比較して、記憶容量の少ないSDRAMを採用することができる。
【０１３４】
また、図９の平均画像生成部５８では、補正部５７から供給されたｎ枚目の撮像画像の画素値を１/ｎ倍した１/ｎ画像と、SDRAM３３３から読み出した平均画像の画素値を（ｎ―１）/ｎ倍した（ｎ―１）/ｎ画像との画素値を加算し、新たな平均画像を生成することとしたが、例えば、ｎ枚目の撮像画像の画素値と、SDRAM３３３から読み出した平均画像の画素値を（ｎ―１）倍した画素値とを加算し、加算後の画素値を１/ｎ倍することで、新たな平均画像を生成するようにしてもよい。これにより、いわゆる丸め誤差による階調の損失を減少させることができる。
【０１３５】
次に、図１０のフローチャートを参照し、図１の平均画像生成部５８が、図９に示される構成である場合の、デジタルカメラ１１の動体消去の撮影モードの処理を説明する。
【０１３６】
ユーザが、レリーズ・スイッチ３１の押圧操作を開始すると、ステップＳ８１およびステップＳ８２において、図８のステップＳ３１およびステップＳ３２とそれぞれ同様の処理が行われる。
【０１３７】
ステップＳ８２において、動きベクトル検出部５５は、SDRAM５４から読み出した撮像画像が１枚目の撮像画像であると判定した場合、ステップＳ８３に進み、１枚目の撮像画像を、平均画像として、補正部５７、１/ｎ乗算部３３１、および加算部３３２を介してSDRAM３３３に供給し、記憶させる。さらに、ステップＳ８３において、動きベクトル検出部５５は、１枚目の撮像画像を、基準画像として、SADテーブル５６に供給し、記憶させ、ステップＳ９０に進む。
【０１３８】
一方、ステップＳ８２において、動きベクトル検出部５５は、１枚目の撮像画像でない（２枚目以降の撮像画像である）と判定した場合、ステップＳ８４に進み、ステップＳ８４乃至ステップＳ８６において、図８のステップＳ３４乃至ステップＳ３６とそれぞれ同様の処理が行われる。
【０１３９】
その後、ステップＳ８６からステップＳ８７に進み、１/ｎ乗算部３３１（平均画像生成部５８）は、補正部５７から供給されたｎ枚目の撮像画像の画素値を１/ｎ倍し、その結果得られた１/ｎ画像を、加算部３３２に供給して、ステップＳ８８に進む。
【０１４０】
ステップＳ８８において、（ｎ―１）/ｎ乗算部３３４は、SDRAM３３３から読み出した平均画像の画素値を（ｎ―１）/ｎ倍することで得られた（ｎ―１）/ｎ画像を、加算部３３２に供給し、ステップＳ８９に進む。
【０１４１】
ステップＳ８９において、加算部３３２は、１/ｎ乗算部３３１から供給された１/ｎ画像と、（ｎ―１）/ｎ乗算部３３４から供給された（ｎ―１）/ｎ画像との画素値を加算し、その結果得られた画像を、新たな平均画像として、SDRAM３３３に供給して、上書きする形で記憶させ、ステップＳ９０に進み、以下、ステップＳ９０乃至ステップＳ９２において、図８のステップＳ３９乃至ステップＳ４１とそれぞれ同様の処理が行われる。その後、処理は終了する。
【０１４２】
以上のような図８および図１０の動体消去の撮影モードの処理によれば、補正部５７では、撮像部４１により撮像された撮像画像の位置が、基準画像の位置に補正されるため、撮像中に生じた手振れなどの画像振れ（位置ズレ）を補正することができる。
【０１４３】
また、表示部６１では、平均画像生成部５８で平均画像が生成されるたびに、その平均画像が表示されるので、ユーザは、平均画像における動体の消去の程度をリアルタイムに確認することができる。これにより、ユーザは、動体が消去された、適正露光の画像（平均画像）を得ることができる。ここで、適正露光の画像とは、例えば、通常撮影モードで撮像する場合において、デジタルカメラ１１が有する自動露光（AE:Automatic Exposure）機能を用いるときには、デジタルカメラ１１により設定された所定のシャッタスピードと絞りによる露光量の画像をいい、ユーザが、マニュアル操作により所定のシャッタスピードと絞りを設定するときには、その設定による露光量の画像をいう。
【０１４４】
上述した動きベクトル検出部５５、補正部５７、平均画像生成部５８、表示制御部６０、および入出力制御部６２が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１４５】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
【０１４６】
CPU（Central Processing Unit）３６１は、ROM（Read Only Memory）３６２、または記憶部３６８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３６３には、CPU３６１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３６１、ROM３６２、およびRAM３６３は、バス３６４により相互に接続されている。
【０１４７】
CPU３６１にはまた、バス３６４を介して入出力インタフェース３６５が接続されている。入出力インタフェース３６５には、キーボード、マウス、マイクロホンなどよりなる入力部３６６、ディスプレイ、スピーカなどよりなる出力部３６７が接続されている。CPU３６１は、入力部３６６から入力される指令に対応して各種の処理を実行する。そして、CPU３６１は、処理の結果を出力部３６７に出力する。
【０１４８】
入出力インタフェース３６５に接続されている記憶部３６８は、例えばハードディスクからなり、CPU３６１が実行するプログラムや各種のデータを記憶する。通信部３６９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１４９】
また、通信部３６９を介してプログラムを取得し、記憶部３６８に記憶してもよい。
【０１５０】
入出力インタフェース３６５に接続されているドライブ３７０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３７１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３６８に転送され、記憶される。
【０１５１】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１１に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３７１、または、プログラムが一時的もしくは永続的に格納されるROM３６２や、記憶部３６８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３６９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１５２】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５３】
以上のような図８および図１０の動体消去の撮影モードの処理において、図１の動きベクトル検出部５５は、上述したブロックマッチングにより動きベクトルを検出することとしたが、動きベクトルの検出方法は、これに限定されるものではなく、例えば、勾配法などにより動きベクトルを検出することとしてもよい。
【０１５４】
また、図１の動きベクトル検出部５５は、適当な縮小率で縮小した基準画像と（２枚目以降の）撮像画像とを用いて、動きベクトルを検出することもできる。
【０１５５】
さらに、図１の補正部５７では、アフィン変換によって、被写体の位置合わせをする補正を行うこととしたが、例えば、デジタルカメラ１１に角速度センサや加速度センサなどのセンサを用いることで、画像振れを検出し、光学的な補正をするようにしてもよい。
【０１５６】
また、表示制御部６０は、平均画像生成部５８が、新たな平均画像を生成するたびに、その平均画像を、表示部６１に表示させることとしたが、例えば、平均画像生成部５８で生成される平均画像を、例えば、ｍ（＜Ｎ）枚おきに表示させることとしてもよい。これにより、表示制御部６０は、平均画像生成部５８で新たな平均画像が生成されるたびに、その平均画像を表示部６１に表示させるときと比較して、平均画像を表示させる処理の負担を軽減させることができる。
【０１５７】
さらに、図２の１/ｎ乗算部８３では、加算部８１で新たな加算画像が生成されるたびに、その加算画像の画素値を１/ｎ倍していたが、例えば、加算部８１で生成される加算画像の画素値を、例えば、ｍ（＜Ｎ）枚おきに１/ｎ倍するようにしてもよい。これにより、１/ｎ乗算部８３は、加算部で新たな加算画像が生成されるたびに、その加算画像の画素値を１/ｎ倍するときと比較して、画素値を１/ｎ倍する処理を軽減することができる。
【０１５８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１５９】
【図１】本発明を適用したデジタルカメラの一実施の形態の構成例を示すブロック図である。
【図２】図１の平均画像生成部の詳細な構成例を示すブロック図である。
【図３】図１の動きベクトル検出部による２枚目以降の撮像画像の動きベクトルを検出する方法を説明する図である。
【図４】図１の動きベクトル検出部による２枚目以降の撮像画像の動きベクトルを検出する方法を説明する他の図である。
【図５】図１の補正部による２枚目以降の撮像画像の補正を説明する図である。
【図６】図１の平均画像生成部が、新たな平均画像を生成する様子を示す図である。
【図７】図１の表示部に、平均画像が表示される様子を示す図である。
【図８】図１の平均画像生成部が、図２に示される構成である場合の、動体消去の撮像モードの処理について説明するフローチャートである。
【図９】図１の平均画像生成部の詳細な構成例を示す別のブロック図である。
【図１０】図１の平均画像生成部が、図９に示される構成である場合の、動体消去の撮像モードの処理について説明するフローチャートである。
【図１１】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１６０】
２１  操作部，  ３１  レリーズ・スイッチ，  ４１  撮像部，  ５４  SDRAM，  ５５  動きベクトル検出部，  ５６  SADテーブル，  ５７  補正部，  ５８  平均画像生成部，  ６０  表示制御部，  ６１  表示部，  ６２  入出力制御部，  ６３  記憶部，  ６４  ドライブ，  ６５  メモリカード
【図１】
2007306107.tif 000006
【図２】
2007306107.tif 000007
【図３】
2007306107.tif 000008
【図４】
2007306107.tif 000009
【図５】
2007306107.tif 000010
【図６】
2007306107.tif 000011
【図７】
2007306107.tif 000012
【図８】
2007306107.tif 000013
【図９】
2007306107.tif 000014
【図１０】
2007306107.tif 000015
【図１１】
2007306107.tif 000016