(57)【特許請求の範囲】
【請求項１】
撮像された画像データを比較明／暗合成処理用画像データに変換する撮像装置において、
画像データを撮像する撮像素子と、
上記撮像素子に複数フレームの画像データを連続して撮像させる撮像制御部と、
上記複数フレームの画像データを、画素位置毎に、連続フレームにおける画素値のばらつきが予め設定した所定範囲内となる連続フレーム画素群に分割し、１つの連続フレーム画素群に対して同一の画素値であるとみなされる１つのみなし画素値を上記画素位置および上記連続フレームにおけるフレーム番号に関連付けて記録することを、全ての画素位置の全ての連続フレーム画素群に対して行うことで、比較明／暗合成処理用画像データを記録する画像処理部と、
を有することを特徴とする撮像装置。
【請求項２】
上記画像処理部は、
任意の画素位置に関して、現フレームで取得された画素値と、直前のフレームまでの上記みなし画素値と、の差分絶対値が、
上記所定範囲内を示す閾差以下である場合には、現フレームを、直前のフレームまでの連続フレーム画素群に含めて上記みなし画素値を設定し、
上記閾差よりも大きい場合には、現フレームを、直前のフレームまでの連続フレーム画素群とは異なる新たな連続フレーム画素群に設定して、直前のフレームまでの連続フレーム画素群の上記みなし画素値を記録すると共に、現フレームの画素値を新たな連続フレーム画素群の上記みなし画素値に設定し、
連続して撮像された上記複数フレームの内の最後のフレームは、全ての画素位置における上記みなし画素値を記録することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記みなし画素値は、上記連続フレーム画素群における画素値の平均値であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記画像処理部は、
連続して撮像された上記複数フレームの内の最初のフレームは、全ての画素位置において取得された画素値を上記みなし画素値として記録し、
任意の画素位置に関して、現フレームで取得された画素値と、直前のフレームまでの上記みなし画素値と、の差分絶対値が、
上記所定範囲内を示す閾差以下である場合には、上記みなし画素値の記録を行わず、
上記閾差よりも大きい場合には、現フレームを、直前のフレームまでの連続フレーム画素群とは異なる新たな連続フレーム画素群に設定して、現フレームで取得された画素値を新たな連続フレーム画素群における上記みなし画素値に設定して記録することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記閾差は、画素のノイズレベルに所定の係数を乗算した値として設定されることを特徴とする請求項２〜４の何れか一項に記載の撮像装置。
【請求項６】
上記比較明／暗合成処理用画像データの画素位置毎に最も値が大きい／小さいみなし画素値を採用した比較明／暗合成画像を生成する比較明／暗合成処理部をさらに有することを特徴とする請求項１に記載の撮像装置。
【請求項７】
上記画像処理部は、上記複数フレームの画像データの、所定領域の平均画素値をフレーム毎に算出して、平均画素値のばらつきが予め設定した所定範囲外となるフレームについては、画像データを前記比較明／暗合成処理部による合成処理の対象から外すことを特徴とする請求項６に記載の撮像装置。
【請求項８】
撮像された画像データを比較明／暗合成処理用画像データに変換する撮像方法において、
複数フレームの画像データを連続して撮像する撮像制御ステップと、
上記複数フレームの画像データを、画素位置毎に、連続フレームにおける画素値のばらつきが予め設定した所定範囲内となる連続フレーム画素群に分割し、１つの連続フレーム画素群に対して同一の画素値であるとみなされる１つのみなし画素値を上記画素位置および上記連続フレームにおけるフレーム番号に関連付けて記録することを、全ての画素位置の全ての連続フレーム画素群に対して行うことで、比較明／暗合成処理用画像データを記録する画像処理ステップと、
を有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像データを比較明／暗合成処理を適用するための画像データに変換する撮像装置、撮像方法に関する。
【背景技術】
【０００２】
従来より、複数枚の画像を撮影し、得られた各画像を比較明／暗合成処理して合成画像を得る技術が提案されている。ここに、比較明合成処理は、複数枚の画像における同一画素位置の画素値を比較して、値が大きい方の画素値を該当画素位置の画素値とする処理、比較暗合成処理は、値が小さい方の画素値を該当画素位置の画素値とする処理である。
【０００３】
例えば、特許４１４８５８６号公報には、一定周期毎の露光により複数の画像データを生成し、画像データの画素毎の輝度レベルを比較して、大きい方を選択し合成後の輝度レベルとする比較明合成処理の技術が記載されている。
【０００４】
ここで、天体撮影において星の軌跡を撮影する場合を例に挙げて、比較明合成処理について説明する。星の軌跡を通常の長秒露光撮影により撮影する場合に、画面内に星以外のビルなどの被写体が入っていると、ビルの明るい部分は白飛びしてしまうことになる。これに対して、比較明合成処理を前提とした撮影の場合には、星やビルなどが適切な明るさで撮影される画像を複数枚撮影して、得られた複数枚の画像を比較明合成する処理が行われるために、合成して得られる画像はビルが適正露光のままでありながら、星が軌跡として写る。
【０００５】
こうした比較明合成処理には、主に、以下の２つの方法がある。
（１）撮影した全ての画像を記録媒体などに保存し、記録媒体から画像を読み出して、後処理として比較明合成処理を行う方法
（２）新たな画像が撮影される毎に、それまでの撮影画像から得られた比較明合成画像に対してさらに比較明合成処理を行いながら、１枚の最終的な比較明合成画像を撮像装置内で得る方法
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許４１４８５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、（１）の方法では、次のような課題がある。上述したような星の軌跡を比較明合成で撮影する場合などには、撮影枚数が数百枚となることがある。従って、これらの画像データを記録媒体に保存するためには、大容量の空きメモリが必要であり、保存時間や消費電力も相当程度を要することになる。また、比較明合成処理を後処理で行う場合には、例えばパーソナルコンピュータ（ＰＣ）が用いられるが、膨大な画像データをメモリカードからＰＣへコピーするのに時間を要するという課題や、比較明合成処理を実行するのに長い時間を要するという課題がある。さらに、近年では、撮影した画像をほぼリアルタイムでソーシャルネットワークサービス（ＳＮＳ）等にアップロードすることが行われているが、ＰＣによる後処理で最終的な比較明合成画像を得る場合には、リアルタイム性を得ることができない点も課題となる。
【０００８】
一方、（２）の方法では、撮影された画像を撮像装置内において次々に比較明合成処理することにより、比較明合成画像以外の撮像画像を順次消去することができるために、最終的に得られた比較明合成画像のみを保存するようにすれば大容量の空きメモリは不要であり、ＰＣでの処理に時間を要することもなく、ほぼリアルタイムでの画像のアップロードが可能となり、（１）の方法に関して述べたような課題を解決することができる。
【０００９】
しかし、（２）の方法では、比較明合成処理に融通が利かない課題がある。つまり、（１）の方法であれば、比較明合成処理した画像を見てから、合成処理に含めたくない画像を処理対象から除外して合成し直したり、合成を開始する画像や合成を終了する画像、あるは合成対象とする画像の枚数などを任意に選択して、比較明合成処理を行うことが可能である。例えば、比較明合成処理を行って星の軌跡を得る場合に、合成処理対象とする画像の枚数を調整することで、星の軌跡の長さを任意に変えた画像を得ることができる。また、撮影中に意図しない強い光が撮像装置や被写体に当たってしまった場合、例えば車が通り過ぎる際にヘッドライトの光が撮像装置等に当たった場合や、懐中電灯の光が撮像装置に当たった場合などに、その画像を比較明合成処理の対象に含めてしまうと、光が当たった最も明るい画素値が選択された画像が最終画像となって、狙いとする画像が得られなくなることがある。このような場合でも、（１）の方法を用いていれば、光が当たった画像を処理対象から除外して比較明合成処理を行うことができるために、失敗画像を回避することが可能である。
【００１０】
こうして、上述したような（１）の方法と（２）の方法には、何れにも一長一短の課題がある。
【００１１】
本発明は上記事情に鑑みてなされたものであり、記録する画像データのサイズを小さくしながら、撮影後の処理として比較明合成処理を行うことも可能となる撮像装置、撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明のある態様による撮像装置は、撮像された画像データを比較明／暗合成処理用画像データに変換する撮像装置において、画像データを撮像する撮像素子と、上記撮像素子に複数フレームの画像データを連続して撮像させる撮像制御部と、上記複数フレームの画像データを、画素位置毎に、連続フレームにおける画素値のばらつきが予め設定した所定範囲内となる連続フレーム画素群に分割し、１つの連続フレーム画素群に対して同一の画素値であるとみなされる１つのみなし画素値を上記画素位置および上記連続フレームにおけるフレーム番号に関連付けて記録することを、全ての画素位置の全ての連続フレーム画素群に対して行うことで、比較明／暗合成処理用画像データを記録する画像処理部と、を有している。
【００１３】
本発明のある態様による撮像方法は、撮像された画像データを比較明／暗合成処理用画像データに変換する撮像方法において、複数フレームの画像データを連続して撮像する撮像制御ステップと、上記複数フレームの画像データを、画素位置毎に、連続フレームにおける画素値のばらつきが予め設定した所定範囲内となる連続フレーム画素群に分割し、１つの連続フレーム画素群に対して同一の画素値であるとみなされる１つのみなし画素値を上記画素位置および上記連続フレームにおけるフレーム番号に関連付けて記録することを、全ての画素位置の全ての連続フレーム画素群に対して行うことで、比較明／暗合成処理用画像データを記録する画像処理ステップと、を有している。
【発明の効果】
【００１４】
本発明の撮像装置、撮像方法によれば、記録する画像データのサイズを小さくしながら、撮影後の処理として比較明合成処理を行うことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１において、連続して撮像された複数フレームの画像データ中の、ある画素位置におけるフレーム毎の画素値の変化の様子と、記録される画素値の様子と、を示す図。
【図３】上記実施形態１において、１つの画素位置に対して着脱メモリに記録されるデータの例を示す図。
【図４】上記実施形態１の撮像装置における撮影処理を示すフローチャート。
【図５】上記実施形態１の図４のステップＳ４における画素値比較記録処理の詳細を示すフローチャート。
【図６】上記実施形態１において、着脱メモリに記録された比較明合成処理用画像データに基づいて行われる比較明合成処理を示すフローチャート。
【図７】上記実施形態１の変形例において、連続して撮像された複数フレームの画像データ中の、ある画素位置におけるフレーム毎の画素値の変化の様子と、記録される画素値の様子と、を示す図。
【図８】本発明の実施形態２において、平均画素値連続フレーム群毎に着脱メモリの比較明合成処理用画像データに追加して記録されるデータの例を示す図。
【図９】上記実施形態２の撮像装置における撮影処理を示すフローチャート。
【図１０】上記実施形態２の図９のステップＳ５１における平均画素値比較記録処理の詳細を示すフローチャート。
【図１１】上記実施形態２において、着脱メモリに記録された比較明合成処理用画像データに基づいて行われる比較明合成処理を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１７】
図１から図７は本発明の実施形態１を示したものであり、図１は撮像装置１の構成を示すブロック図である。
【００１８】
この撮像装置１は、例えばデジタルカメラとして構成されていて、レンズ１１と、フォーカス駆動部１２と、フォーカス制御部１３と、絞り１４と、絞り駆動部１５と、絞り制御部１６と、撮像素子１７と、バス１８と、ＡＥ処理部１９と、ＡＦ処理部２０と、画像処理回路２１と、表示駆動部２４と、表示部２５と、着脱メモリ２６と、不揮発性メモリ２７と、内蔵メモリ２８と、圧縮伸張部２９と、電源部３０と、入力部３１と、ＣＰＵ３２と、を備えている。
【００１９】
レンズ１１は、被写体の光学像を撮像素子１７上に結像するための撮像光学系であり、フォーカスレンズを含む複数のレンズによりフォーカス位置を調整可能に構成されている。
【００２０】
フォーカス駆動部１２は、フォーカスレンズを光軸方向に移動させる駆動部である。
【００２１】
フォーカス制御部１３は、ＣＰＵ３２からの指令に基づきフォーカス駆動部１２を制御して、フォーカスレンズを駆動しフォーカス位置の調整を行う。このフォーカス位置の調整により、撮像素子１７上に結像される被写体の光学像が合焦する。
【００２２】
絞り１４は、光学絞りを含む絞り機構であって、開口径を変化させることにより、レンズ１１を通過する光束の通過範囲を調整する。この絞り１４の開口径の変化により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。
【００２３】
絞り駆動部１５は、所定の開口径となるように絞り１４を大径方向または小径方向へ駆動する駆動部である。
【００２４】
絞り制御部１６は、ＣＰＵ３２からの指令に基づき絞り駆動部１５を制御して、絞り１４を駆動し所定の開口径に調整する。
【００２５】
撮像素子１７は、２次元状に配列された複数の画素を有し、レンズ１１および絞り１４を介して結像された被写体の光学像を光電変換して画像信号を生成する撮像部である。この撮像素子１７は、後述する比較明合成撮影モードにおいては、ＣＰＵ３２の制御に基づいて、連続して複数フレームの画像を撮影する。
【００２６】
なお、本願における「フレーム」という言葉は、動画像におけるフレームではなく、比較明／暗合成処理用画像データに変換するために連続して撮像することにより取得された、複数の画像データ（例えば静止画像データ）の各々（１コマの画像データ）を指すものとする。
【００２７】
この撮像素子１７により生成された画像信号は、撮像素子１７内のＡ／Ｄ変換部、または撮像素子１７の外部に設けられた図示しないＡ／Ｄ変換部によりＡ／Ｄ変換されて、デジタルの画像データとなり、バス１８へ出力される。
【００２８】
バス１８は、撮像装置１内のある場所で発生した各種のデータや制御信号を、撮像装置１内の他の場所へ転送するための転送路である。本実施形態におけるバス１８は、撮像素子１７と、ＡＥ処理部１９と、ＡＦ処理部２０と、画像処理回路２１と、表示駆動部２４と、着脱メモリ２６と、不揮発性メモリ２７と、内蔵メモリ２８と、圧縮伸張部２９と、ＣＰＵ３２と、に接続されている。
【００２９】
こうして、撮像素子１７からの画像データは、バス１８を介して転送され、内蔵メモリ２８に一旦記憶される。
【００３０】
内蔵メモリ２８は、上述した撮像素子１７により得られた画像データ、あるいは画像処理回路２１または圧縮伸張部２９において処理された画像データ等の各種データを一時的に記憶する記憶部であり、高速な書き込み／読み出しが可能なメモリとなっている。従って、内蔵メモリ２８は、画像処理回路２１が各種の画像処理を行う際のワークメモリとしても利用される。
【００３１】
ＡＥ処理部１９は、露出演算部であって、撮像素子１７により得られた画像データに基づき被写体輝度を算出し、さらに算出した被写体輝度に基づき、露出レベルが適正になるようなシャッタ速度（露光時間）や絞り値を演算する。ＡＥ処理部１９により算出されたシャッタ速度や絞り値に基づき、ＣＰＵ３２が絞り１４の制御や撮像素子１７の露光タイミング制御（あるいは、いわゆる素子シャッタの制御）等を行い、自動露出（ＡＥ）制御が行われる。なお、被写体輝度を算出するためのデータとして、ここでは画像データを利用したが、これに代えて、撮像装置１に専用の測光センサ等を設けて、測光センサ等から得られたデータを利用するようにしても構わない。
【００３２】
ＡＦ処理部２０は、撮像素子１７により得られた画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値が最大値を取るようにレンズ１１のフォーカスレンズを駆動することにより、コントラストＡＦが行われる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子１７上のＡＦ用画素）を用いて位相差ＡＦを行うようにしても構わない。
【００３３】
画像処理回路２１は、画像処理部の一部であって、画像データに対して、同時化処理、階調変換処理、ホワイトバランス調整処理、ノイズ低減処理、エッジ強調処理、ガンマ変換処理等の種々の画像処理を行うものであり、さらに、比較明合成処理部２２と、画像生成部２３と、を含んでいる。
【００３４】
比較明合成処理部２２は、複数フレームの画像の画素値を同一画素位置毎に比較して、値が小さくない方（同一でない場合には、大きい方）の画素値を該当画素位置の出力画素値とする比較明合成処理を行うものである。本実施形態において、後述する比較明合成処理用画像データに対して比較明合成処理を行う場合には、比較明合成処理部２２は、比較明合成処理用画像データの画素位置毎に最も値が大きいみなし画素値を採用した比較明合成画像を生成する処理を行う。なお、本実施形態では比較明合成を例に挙げているために比較明合成処理部２２を記載しているが、比較暗合成を行う比較暗合成処理部であっても構わない。
【００３５】
この比較明合成処理部２２は、本実施形態においては、時系列的に撮像された複数フレームの画像を比較明合成して１つの合成画像を生成する比較明合成撮影モードにおいて用いられる。この比較明合成撮影モードが設定される撮影シーンの一例を挙げれば、天体撮影において星の軌跡を撮影する場合である。
【００３６】
天体撮影は一般に長時間露光となるが、夜空の星だけでなく、さらにビルや町などの地上の風景が同時に撮影される場合には、分割露光により得られた複数フレームの画像を単純加算すると、地上の風景の明るい部分が白飛びしてしまうことになる。そのために、このような白飛びを防止することができる比較明合成の技術が採用されている。
【００３７】
画像生成部２３は、画像処理回路２１によって上述したような各種の処理が行われた後の画像データを記録用の画像データとして整えて、内蔵メモリ２８に再び記憶させる。
【００３８】
表示駆動部２４は、内蔵メモリ２８に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、表示部２５を駆動制御して映像信号に基づく画像を表示部２５に表示させる。この表示駆動部２４により行われる画像表示には、比較明合成撮影モードにおける比較明合成画像の確認用の表示、撮影直後の画像データを短時間だけ表示するレックビュー表示、着脱メモリ２６に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などが含まれる。
【００３９】
表示部２５は、上述したような表示駆動部２４の駆動制御により、画像を表示すると共に、この撮像装置１に係る各種の情報を表示する。
【００４０】
圧縮伸張部２９は、画像データを記録する際には、内蔵メモリ２８から画像データを読み出して、読み出した画像データを例えばＪＰＥＧ圧縮方式に従って圧縮し、圧縮された画像データを内蔵メモリ２８に再び記憶させる。こうして内蔵メモリ２８に記憶された圧縮された画像データは、ＣＰＵ３２によりヘッダ等が付加されて、記録用のファイルデータとして整えられる。そして、ＣＰＵ３２の制御に基づき、整えられた記録用のファイルデータが着脱メモリ２６に記録される。
【００４１】
また、圧縮伸張部２９は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、ＣＰＵ３２の制御に基づき、例えばＪＰＥＧファイルが着脱メモリ２６から読み出され、内蔵メモリ２８に一旦記憶される。圧縮伸張部２９は、内蔵メモリ２８に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データを内蔵メモリ２８に記憶させる。
【００４２】
着脱メモリ２６は、画像データを不揮発に記録する記録媒体であり、例えば撮像装置１に着脱可能なメモリカード等により構成されている。従って、着脱メモリ２６は、撮像装置１に固有の構成である必要はない。
【００４３】
不揮発性メモリ２７は、ＣＰＵ３２により実行される処理プログラムや、処理プログラムを実行するにあたって必要なパラメータ、あるいはユーザの設定データ等の、この撮像装置１に係る各種の情報を不揮発に記憶する記憶媒体である。この不揮発性メモリ２７が記憶する情報は、ＣＰＵ３２により読み取られる。
【００４４】
電源部３０は、ＣＰＵ３２を含むこの撮像装置１内の各部に電力を供給する。
【００４５】
入力部３１は、この撮像装置１に対する各種の操作入力を行うための操作部であり、撮像装置１の電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズボタンおよび２ｎｄ（セカンド）レリーズボタンの２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置１の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の各種操作ボタンを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定可能な項目には、撮影モード（通常撮影モード、比較明合成撮影モード等）、再生モードにおける再生対象ファイルの選択、比較明合成撮影モードにおける合成開始フレームおよび合成終了フレームの選択、比較明合成撮影モードにおける合成処理から除外するフレームの選択、などが含まれている。この入力部３１に対して操作が行われると、操作内容に応じた信号が入力部３１からＣＰＵ３２へ出力される。
【００４６】
ＣＰＵ３２は、この撮像装置１内の各部を統括的に制御する制御部である。ＣＰＵ３２は、入力部３１から操作入力が行われると、不揮発性メモリ２７に記憶されている処理プログラムに従って、不揮発性メモリ２７から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。このＣＰＵ３２は、画像撮影における露光量や撮像タイミングの制御を行い、撮像素子１７に複数フレームの画像データを連続して撮像させる撮像制御部としても機能する。また、ＣＰＵ３２は、画像処理部の他の一部を兼ねており、画像処理回路２１により生成された画像データをファイル形式に変換して着脱メモリ２６へ記録する制御を行う。
【００４７】
次に、図２は連続して撮像された複数フレームの画像データ中の、ある画素位置におけるフレーム毎の画素値の変化の様子と、記録される画素値の様子と、を示す図である。
【００４８】
ここに、図２における上側の線図は、図２における下側の図の画素番号ｋの画素位置における画素値の変化の様子を示している。この例では、画素番号ｋの画素位置において、画素値のばらつきが予め設定した所定範囲内となる連続フレーム画素群が、画像処理部により、群Ｇ１［フレーム番号１〜ｐ］、群Ｇ２［フレーム番号（ｐ＋１）〜ｑ］、群Ｇ３［フレーム番号（ｑ＋１）〜Ｍ］の３つに分割されている。
【００４９】
また、連続フレームにおける画素値のばらつきが所定範囲内であるか否かは、例えば、連続フレーム画素群の各画素値が、１つの連続フレーム画素群に対して同一の画素値であるとみなされる１つのみなし画素値Ｖｓを中心とした閾差Ｔｈ以下の範囲、つまり、（Ｖｓ−Ｔｈ）以上でかつ（Ｖｓ＋Ｔｈ）以下の範囲に収まっているか否かにより判定される。このみなし画素値Ｖｓの具体例は、連続フレーム画素群の各画素値の平均値である。
【００５０】
このとき、閾差Ｔｈは、次の数式１に示すように、画素のノイズレベルＮに所定の係数αを乗算した値、
［数１］
Ｔｈ＝Ｎ×α
として設定すると良い。
【００５１】
ここにノイズレベルＮは、撮影時のシャッタ速度やＩＳＯ感度（ゲイン）などに応じて公知の技術により算出することができ、こうして算出された値を設定すれば良い。また、係数αは、１よりも大きく、１に比較的近い値（例えば、１＜α≦２）に設定することが好ましい。
【００５２】
これにより、ノイズの影響で画素値にばらつきが生じたとしても、そのノイズによる画素値の変動を外光の影響による画素値の変動と誤認するのを抑制することができる（しかも、後で数式２を参照して説明するように、連続フレーム画素群における画素値の平均値をみなし画素値Ｖｓとするために、ノイズ（特に、ランダムノイズ）による画素値の変動を平坦化することもできる）。
【００５３】
また、図２の下側の図において、縦方向には撮像素子１７に２次元状に配列された各画素にシリアルな画素番号１〜ｎを付けたときの画素番号を、横方向には図２における上側の線図と共通のフレーム番号１〜Ｍを、それぞれ示している。
【００５４】
そして、図２の下側の図において、ハッチングを付した画素番号およびフレーム番号の部分が、着脱メモリ２６に画素値が画素位置およびフレーム番号と関連付けて記録される部分であることを示している。ここで記録される画素値はみなし画素値Ｖｓであり、例えば、群Ｇ１のみなし画素値Ｖｓ１、群Ｇ２のみなし画素値Ｖｓ２、群Ｇ３のみなし画素値Ｖｓ３等である（図３も参照）。
【００５５】
図３は、１つの画素位置に対して着脱メモリ２６に記録されるデータの例を示す図である。
【００５６】
この例では、連続フレーム画素群Ｇ１〜Ｇ３それぞれにおける最後のフレーム番号ｐ，ｐ，Ｍと、みなし画素値Ｖｓ１，Ｖｓ２，Ｖｓ３とが対応付けて記録されている。この対応付け記録により、ある画素位置（例えば画素番号ｋの画素位置）におけるみなし画素値Ｖｓは、フレーム番号１〜ｐがＶｓ１、フレーム番号（ｐ＋１）〜ｑがＶｓ２、フレーム番号（ｑ＋１）〜ＭがＶｓ３であることが分かる。そして、この図３に示すようなデータが、撮像素子１７上に構成されている全ての画素位置に対応して着脱メモリ２６に比較明合成処理用画像データファイルとして記録され、このような比較明合成処理用画像データにより、全ての画素位置における全てのフレームのみなし画素値が分かることになる。
【００５７】
なお、着脱メモリ２６に記録するファイルは、図３に示したような表形式のデータが画素位置毎に記録されたデータファイル形式であっても良いが、例えば図２のフレームＭ（または後述する図７のフレーム１）における全画素のみなし画素値を画像データとする画像ファイル形式として、図２のフレーム１〜（Ｍ−１）（または後述する図７のフレーム２〜Ｍ）に係る各みなし画素値はファイルヘッダに記録するようにしても構わない。このように、記録するファイルは、データファイルと画像ファイルとの何れとしても良いし、これらに限らずその他のファイルとすることも可能である。
【００５８】
図４は撮像装置における撮影処理を示すフローチャートである。
【００５９】
図示しないメイン処理において、比較明合成撮影モードが設定されてレリーズボタンが操作されると、この撮影処理に移行する。
【００６０】
すると、ＡＥ処理部１９により、比較明合成処理用に取得される複数フレームの画像に対して共通するシャッタ速度、絞り値、ＩＳＯ感度（ゲイン）が算出され、ＣＰＵ３２により各部に設定される（ステップＳ１）。
【００６１】
次に、フレーム番号をカウントするカウンタｍ（従って、以下では適宜、フレームｍなどという）を１に初期化し、画素番号１〜ｎ毎の、処理中の連続フレーム画素群に含まれるフレーム数のカウンタｒ（１）〜ｒ（ｎ）を０に初期化する（ステップＳ２）。
【００６２】
そして、ｍフレーム目、この処理を初めて行う場合にはｍ＝１フレーム目の画像を撮影する（ステップＳ３）。
【００６３】
続いて、後で図５を参照して説明する画素値比較記録処理を行う（ステップＳ４）。
【００６４】
ここで、レリーズボタンが離される等により撮影終了の指示がなされたか否かを判定する（ステップＳ５）。
【００６５】
このステップＳ５において撮影終了の指示がなされていないと判定された場合には、さらに次のフレームの撮影を行った場合でも記録可能な残容量が着脱メモリ２６にあるか否かを判定する（ステップＳ６）。
【００６６】
このステップＳ６において記録可能な残容量があると判定された場合には、カウンタｍをインクリメントしてから（ステップＳ７）、ステップＳ３の処理へ戻ってｍフレーム目の画像撮影を行う。
【００６７】
一方、ステップＳ５において撮影終了の指示がなされたと判定された場合、またはステップＳ６において記録可能な残容量がないと判定された場合には、ステップＳ４の画素値比較記録処理において後で図５を参照するようにして得られるＶｓ（１）〜Ｖｓ（ｎ）を着脱メモリ２６に記録してから（ステップＳ８）、図示しないメイン処理にリターンする。
【００６８】
次に、図５は、図４のステップＳ４における画素値比較記録処理の詳細を示すフローチャートである。
【００６９】
この処理に入ると、画素番号をカウントするカウンタｉ（従って、以下では適宜、画素ｉなどという）を１に初期化する（ステップＳ１１）。
【００７０】
続いて、フレーム数のカウンタｒ（ｉ）をインクリメントする（ステップＳ１２）。図５の処理に入ってこのステップＳ１２の処理を初めて行う場合には、ｒ（１）は図４のステップＳ２において０に初期化されているために、ｒ（１）をインクリメントするとｒ（１）＝１となり、画素番号１において処理中の連続フレーム画素群に含まれるフレーム数が１であることを示すことになる。
【００７１】
さらに、フレーム数のカウンタｒ（ｉ）が１であるか否かを判定する（ステップＳ１３）。
【００７２】
ここでｒ（ｉ）≠１であると判定された場合には、処理中の連続フレーム画素群に含まれるフレーム数が２以上であることになるために、１つ前のフレームまでの画素値に基づいてみなし画素値Ｖｓ（ｉ）が後述するように算出されていることになる。そこで、現在のフレームｍの、画素ｉの画素値Ｖｍ（ｉ）と、みなし画素値Ｖｓ（ｉ）との差分絶対値｜Ｖｓ（ｉ）−Ｖｍ（ｉ）｜が、上述した閾差Ｔｈよりも大きいか否かを判定する（ステップＳ１４）。
【００７３】
このステップＳ１４において閾差Ｔｈ以下であると判定されるか、またはステップＳ１３においてｒ（ｉ）＝１であると判定された場合には、次の数式２に示すように、みなし画素値Ｖｓ（ｉ）を更新する（ステップＳ１５）。
［数２］
Ｖｓ（ｉ）←［Ｖｓ（ｉ）×｛ｒ（ｉ）−１｝＋Ｖｍ（ｉ）］／ｒ（ｉ）
【００７４】
すなわち、まずｒ（ｉ）＝１である場合、つまり連続フレーム画素群における最初のフレームである場合には、数式２は、
Ｖｓ（ｉ）←Ｖｍ（ｉ）
となって、みなし画素値Ｖｓ（ｉ）に現在のフレームｍの画素値Ｖｍ（ｉ）が設定される。
【００７５】
また、ｒ（ｉ）＝１でなく、｜Ｖｓ（ｉ）−Ｖｍ（ｉ）｜が閾差Ｔｈ以下である場合には、画素ｉに関して、現在のフレームｍは１つ前のフレーム（ｍ−１）までと同一の連続フレーム画素群に属することになる。この場合には、現在のフレームｍの画素値Ｖｍ（ｉ）も含めた、連続フレーム画素群における画素値の平均値を、数式２に示したように、みなし画素値Ｖｓ（ｉ）に設定する。これにより、ノイズによる変動分を吸収した好ましいみなし画素値Ｖｓ（ｉ）を得ることができる。
【００７６】
一方、ステップＳ１４において閾差Ｔｈよりも大きいと判定された場合には、現在のフレームｍは、１つ前のフレーム（ｍ−１）までとは異なる新たな連続フレーム画素群に属することになる。
【００７７】
そこで、１つ前のフレーム（ｍ−１）までの連続フレーム画素群のみなし画素値Ｖｓ（ｉ）を着脱メモリ２６に記録する（ステップＳ１６）。このステップＳ１６において保存されるみなし画素値Ｖｓ（ｉ）が、図２の下側の図において、フレーム番号１〜（Ｍ−１）の間においてハッチングを付して示される部分である。
【００７８】
さらに、現在のフレームｍの画素値Ｖｍ（ｉ）を、新たな連続フレーム画素群のみなし画素値Ｖｓ（ｉ）に設定する（ステップＳ１７）。
【００７９】
そして、フレーム数のカウンタｒ（ｉ）を０にリセットする（ステップＳ１８）。
【００８０】
このステップＳ１８の処理、または上述したステップＳ１５の処理を行ったら、画素番号をカウントするカウンタｉをインクリメントして（ステップＳ１９）、ｉ＞ｎであるか否か、つまり、現在のフレームｍに含まれる全ての画素についての処理が行われたか否かを判定する（ステップＳ２０）。
【００８１】
ここで、ｉ≦ｎであると判定された場合には、ステップＳ１２へ戻って次の画素について、上述したような処理を行う。
【００８２】
こうしてステップＳ２０において全ての画素についての処理が行われたと判定された場合に、図４に示す処理にリターンする。
【００８３】
この図５に示した処理を行えば、全ての画素ｉ（ｉ＝１〜ｎ）についてみなし画素値Ｖｓ（ｉ）が設定されていることになるために、各みなし画素値Ｖｓ（１）〜Ｖｓ（ｎ）が図４のステップＳ８において上述したように保存される。このステップＳ８において保存されるみなし画素値Ｖｓ（１）〜Ｖｓ（ｎ）が、図２の下側の図において、フレーム番号Ｍにおいてハッチングを付して示される部分である。
【００８４】
続いて、図６は、着脱メモリ２６に記録された比較明合成処理用画像データに基づいて行われる比較明合成処理を示すフローチャートである。
【００８５】
この図６に示す処理は、撮像装置１内の比較明合成処理部２２を用いて行われる処理であっても良いし、着脱メモリ２６に記録された比較明合成処理用画像データを、撮像装置１の外部の例えばパーソナルコンピュータ等に読み込んで、パーソナルコンピュータ等において比較明合成処理を実行することにより行われる処理であっても構わない。以下では、撮像装置１内で処理が行われることを想定して説明する。
【００８６】
図示しないメイン処理からこの処理に移行して実行を開始すると、まず、ユーザが入力部３１を介して手動で入力設定することにより、あるいは、不揮発性メモリ２７に記憶されている処理プログラムに従ってＣＰＵ３２が自動設定することにより、比較明合成を開始するフレームｍｉと終了するフレームｍｆとを設定する（ステップＳ３１）。
【００８７】
次に、画素番号をカウントするカウンタｉを１に初期化する（ステップＳ３２）。
【００８８】
そして、開始フレームｍｉから終了フレームｍｆにおけるみなし画素値Ｖｓ（ｉ）の最大値を、画素ｉの画素値Ｐ（ｉ）に設定する（ステップＳ３３）。
【００８９】
続いて、ｉ≧ｎであるか否か、つまり、全ての画素についての処理が行われたか否かを判定する（ステップＳ３４）。
【００９０】
ここでｉ＜ｎであると判定された場合には、カウンタｉをインクリメントしてから（ステップＳ３５）、ステップＳ３３へ戻って、次の画素について画素値Ｐ（ｉ）の設定を行う。
【００９１】
こうして、ステップＳ３４において全ての画素についての処理が行われたと判定された場合には、画像生成部２３がＰ（１）〜Ｐ（ｎ）を画素値とする比較明合成画像を生成して（ステップＳ３６）、画像処理回路２１により上述した種々の画像処理の内の、生成画像を表示部２５に表示してユーザに確認してもらうために必要な簡易画像処理（例えば、同時化処理やガンマ変換処理等を含む処理）を行う（ステップＳ３７）。ここでは処理負荷を軽減して処理を高速化するための簡易画像処理を行っているが、記録画像を生成するための画像処理と同様の処理を行うようにしても構わない。
【００９２】
そして、画像処理が行われた比較明合成画像を表示部２５に表示する（ステップＳ３８）。
【００９３】
ここで、表示部２５に表示された比較明合成画像を見たユーザから、表示中の比較明合成画像を保存する入力操作が入力部３１を介してなされたか否かをＣＰＵ３２が判定する（ステップＳ３９）。
【００９４】
保存しない操作がなされた場合には、上述したステップＳ３１へ戻って、開始フレームｍｉおよび終了フレームｍｆの設定を含む上述したような処理を行う。
【００９５】
一方、ステップＳ３９において、保存する操作がなされた場合には、ステップＳ３６において生成された比較明合成画像に対して、記録画像を生成するための画像処理を行って（ステップＳ４０）、画像処理が行われた比較明合成画像を着脱メモリ２６に保存し（ステップＳ４１）、この処理から図示しないメイン処理にリターンする。
【００９６】
なお、この図６に示した処理により作成された比較明合成画像は、処理の元となった比較明合成処理用画像データと別個の画像ファイルとして記録しても良いし、処理の元となった比較明合成処理用画像データと合わせて１つのファイル（ファイル形式は、データファイルであっても画像ファイルであっても構わない）として記録するようにしても構わない。
【００９７】
例えば比較明合成画像を比較明合成処理用画像データと合わせて１つの画像ファイルにする場合には、比較明合成画像を画像ファイル（例えばＪＰＥＧファイル）の画像データ領域に記録し、後処理で比較明合成するために必要な比較明合成処理用画像データをファイルヘッダに記録する等が考えられる。
【００９８】
次に、本実施形態の変形例について説明する。図７は、本変形例において、連続して撮像された複数フレームの画像データ中の、ある画素位置におけるフレーム毎の画素値の変化の様子と、記録される画素値の様子と、を示す図である。なお、フレーム毎の画素値の変化の様子を示す図７の上側の線図は、図２の上側の線図と同一である。
【００９９】
上述では連続フレーム画素群における画素値の平均値をみなし画素値Ｖｓ（ｉ）に設定するために、新たな連続フレーム画素群が設定されたところで直前の連続フレーム画素群に対して算出されたみなし画素値Ｖｓ（ｉ）を記録していた。これに対して本変形例は、既に記録したみなし画素値との差分絶対値が閾差Ｔｈよりも大きい場合に、その画素値をみなし画素値として記録するものである。
【０１００】
この場合には、画像処理回路２１およびＣＰＵ３２は、次のような処理を行う。
【０１０１】
まず、連続して撮像される複数フレームの内の最初のフレームは、全ての画素ｉ（ｉ＝１〜ｎ）において取得された画素値をみなし画素値Ｖｓ（ｉ）として着脱メモリ２６に記録する（図７の下側の図におけるフレーム番号１の部分参照）。
【０１０２】
そして、任意の画素ｉに関して、現在のフレームｍで取得された画素値Ｖｍ（ｉ）と、直前のフレーム（ｍ−１）までのみなし画素値Ｖｓ（ｉ）との差分絶対値｜Ｖｓ（ｉ）−Ｖｍ（ｉ）｜が、所定範囲内を示す閾差Ｔｈ以下である場合には、画素値Ｖｍ（ｉ）はみなし画素値Ｖｓ（ｉ）と変化がないとみなして、新たなみなし画素値の記録は行わない。
【０１０３】
一方、現在のフレームｍで取得された画素値Ｖｍ（ｉ）と、直前のフレーム（ｍ−１）までのみなし画素値Ｖｓ（ｉ）との差分絶対値｜Ｖｓ（ｉ）−Ｖｍ（ｉ）｜が、閾差Ｔｈよりも大きい場合には、現在のフレームｍを、直前のフレーム（ｍ−１）までの連続フレーム画素群とは異なる新たな連続フレーム画素群に設定して、現在のフレームｍで取得された画素値Ｖｍ（ｉ）を新たな連続フレーム画素群におけるみなし画素値Ｖｓ（ｉ）に設定して、着脱メモリ２６に記録する（図７の下側の図におけるフレーム番号２〜Ｍの部分参照）。
【０１０４】
この変形例に示すような処理を行えば、より処理を簡単化することができる。
【０１０５】
なお、上述では（そして以下では）主として比較明合成処理について説明したが、同様の考え方を適用することにより、比較暗合成処理についても上述した（あるいは下記に述べる）技術を適用することができる。
【０１０６】
このような実施形態１によれば、１つの連続フレーム画素群に対して１つのみなし画素値を画素位置およびフレーム番号に関連付けて記録することを、全ての画素位置の全ての連続フレーム画素群に対して行うことで比較明／暗合成処理用画像データを記録するようにしたために、記録する画像データのサイズを小さくしながら、全フレームの全画素の画素値を実質的に再現することが可能となり、撮影後の処理として比較明合成処理を行うことが可能となる。
【０１０７】
比較明合成処理を行う被写体は、例えば星空等の、輝度変化のない背景部分が大部分を占める被写体であることが多く、大部分の画素については輝度変化がないとみなすことができて１つのみなし画素値を記録すれば足りるために、全フレームの全画素を記録する場合に比して、記録するデータのサイズを大幅に小さくすることができる。
【０１０８】
また、取得された画素値と直前のフレームまでのみなし画素値との差分絶対値に応じて連続フレーム画素群の分割を行い、新たな連続フレーム画素群に設定したときに直前のフレームまでのみなし画素値を記録し、最後のフレームは全ての画素位置におけるみなし画素値を記録するようにしたために、連続フレーム画素群の各画素値に応じた値をみなし画素値として記録することが可能となる。
【０１０９】
具体的に、みなし画素値を、連続フレーム画素群における画素値の平均値とすることにより、ラインダムノイズの影響を軽減したみなし画素値を得ることができる。
【０１１０】
一方、まず最初のフレームで全ての画素値をみなし画素値として記録し、その後に、取得された画素値と直前のフレームまでのみなし画素値との差分絶対値が閾差Ｔｈよりも大きい場合にのみ取得された画素値を新たな連続フレーム画素群におけるみなし画素値に設定するようにした場合には、処理を簡略化することができる。
【０１１１】
そして、閾差ＴｈをノイズレベルＮに所定の係数αを乗算した値として設定することで、画素値のばらつきが、ノイズの影響によるものではなく、外光等のその他の要因の影響によるものであることを適切に区別することができ、ノイズがあってもファイルサイズを小さくすることができる。
【０１１２】
さらに、比較明合成処理部２２を撮像装置１内に備えたために、撮影で得られた比較明合成画像を、ほぼリアルタイムでソーシャルネットワークサービス（ＳＮＳ）等にアップロードすることが可能となる。このとき、比較明合成処理部２２が画素毎に比較すべきみなし画素値の数は、全フレーム数よりもずっと少なくなるために、比較明合成処理を高速に行うことができる。従って、例えばパーソナルコンピュータ等に比べて処理能力が低い撮像装置１の場合でも、比較明合成処理を装置内で行うことが可能となる。
【０１１３】
加えて、任意のフレームの画像データを、記録した比較明／暗合成処理用画像データから再現することができるために、任意のフレーム画像を比較明／暗合成処理の対象から外したり、比較明／暗合成処理を開始するフレームや終了するフレームを任意に決定することが可能となる。
［実施形態２］
【０１１４】
図８から図１１は本発明の実施形態２を示したものである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１１５】
本実施形態２は、上述した実施形態１の処理に加えてさらに、あるフレーム画像の明るさが大きく変動した場合に、そのフレーム画像を比較明合成処理の対象から外す処理を自動的に行うことができるようにしたものとなっている。
【０１１６】
まず、図８は平均画素値連続フレーム群毎に着脱メモリ２６の比較明合成処理用画像データに追加して記録されるデータの例を示す図、図９は撮像装置における撮影処理を示すフローチャートである。
【０１１７】
図９に示す撮影処理は、上述した実施形態１の図４に示した処理に対して、以下の部分を変更したものとなっている。
【０１１８】
すなわち、ステップＳ１の処理を行ったら、カウンタｍを１に初期化し、カウンタｒ（１）〜ｒ（ｎ）を０に初期化するだけでなく、さらに、所定領域の平均画素値のばらつきが予め設定した所定範囲内で連続しているフレーム（以下では適宜、これらのフレームを平均画素値連続フレーム群という）数のカウンタａｒを０に初期化する（ステップＳ２Ａ）。
【０１１９】
その後、ステップＳ３およびステップＳ４の処理を行ったら、後で図１０を参照して説明する平均画素値比較記録処理を行う（ステップＳ５１）。
【０１２０】
そして、ステップＳ５〜Ｓ７の処理を必要に応じて適宜行い、さらにステップＳ８の処理を行ったら、連続して撮像された複数のフレーム１〜Ｍの内の、最後のフレームＭを撮像した時点でのフレーム間平均画素値Ａｓ（図１０に示す処理において後述するように算出される）（図８の変化前最終フレーム番号Ｍの欄を参照）をさらに着脱メモリ２６の比較明合成処理用画像データに追加して記録してから（ステップＳ５２）、図示しないメイン処理にリターンする。
【０１２１】
次に、図１０は図９のステップＳ５１における平均画素値比較記録処理の詳細を示すフローチャートである。
【０１２２】
この処理に入ると、上述したフレーム数のカウンタａｒをインクリメントする（ステップＳ６１）。図１０の処理に入ってこのステップＳ１２の処理を初めて行う場合には、ａｒは図９のステップＳ２Ａにおいて０に初期化されているために、ａｒをインクリメントするとａｒ＝１となり、平均画素値連続フレーム群のフレーム数が１であることを示すことになる。
【０１２３】
続いて、現在のフレームｍの画像内における所定領域（この所定領域は、例えば、画像全体、あるいは画像内において星空が写っている上半分などであり、ユーザにより入力部３１を介して手動で設定可能であると共に、手動設定がなされないときにはＣＰＵ３２により例えば画像全体が自動で設定される）の平均画素値Ａ（ｍ）を算出する（ステップＳ６２）。
【０１２４】
そして、フレーム数のカウンタａｒが１であるか否かを判定する（ステップＳ６３）。
【０１２５】
ここでａｒ≠１であると判定された場合には、平均画素値連続フレーム群のフレーム数が２以上であることになるために、１つ前のフレームまでのフレーム間平均画素値Ａｓが後述するように算出されていることになる。そこで、現在のフレームｍの平均画素値Ａ（ｍ）と、フレーム間平均画素値Ａｓとの差分絶対値｜Ａｓ−Ａ（ｍ）｜が、上述した平均画素値Ａ（ｍ）のばらつきの所定範囲を示す閾差ＴｈＡよりも大きいか否かを判定する（ステップＳ６４）。
【０１２６】
なお、複数のフレーム画像の中に、車のヘッドライトや懐中電灯の光などの予期せぬ外光が当たったフレーム画像が含まれていると、比較明合成を行ったときに最も明るい画素値のみが残るために失敗画像となってしまう。ステップＳ６４の判定に用いる閾差ＴｈＡは、こうした失敗画像の原因となるフレーム画像を取り除くための閾差であるから、上述した閾差Ｔｈ（ノイズレベルに基づき設定される閾差）とは異なり、（例えばノイズレベルＮに所定の係数αを乗算するといったような）精密な方法で値を決定する必要はなく、失敗画像の原因を十分に取り除くことができるような大き目の値に適宜設定することが可能である。
【０１２７】
このステップＳ６４において閾差ＴｈＡ以下であると判定されるか、またはステップＳ６３においてａｒ＝１であると判定された場合には、次の数式３に示すように、フレーム間平均画素値Ａｓを更新する（ステップＳ６５）。
［数３］
Ａｓ←［Ａｓ×｛ａｒ−１｝＋Ａ（ｍ）］／ａｒ
【０１２８】
すなわち、まずａｒ＝１である場合、つまり平均画素値連続フレーム群における最初のフレームである場合には、数式３は、
Ａｓ←Ａ（ｍ）
となって、フレーム間平均画素値Ａｓに現在のフレームｍの平均画素値Ａ（ｍ）が設定される。
【０１２９】
また、ａｒ＝１でなく、｜Ａｓ−Ａ（ｍ）｜が閾差ＴｈＡ以下である場合には、現在のフレームｍは１つ前のフレーム（ｍ−１）までと同一の平均画素値連続フレーム群に属することになる。この場合には、現在のフレームｍの平均画素値Ａ（ｍ）も含めた、平均画素値連続フレーム群における平均画素値の平均値を、数式３に示したように、フレーム間平均画素値Ａｓに設定する。これにより、平均画素値連続フレーム群におけるより適切なフレーム間平均画素値Ａｓを得ることができる。
【０１３０】
一方、ステップＳ６４において閾差ＴｈＡよりも大きいと判定された場合には、現在のフレームｍは、１つ前のフレーム（ｍ−１）までとは異なる新たな平均画素値連続フレーム群に属することになる。
【０１３１】
そこで、１つ前のフレーム（ｍ−１）までの平均画素値連続フレーム群のフレーム間平均画素値Ａｓを着脱メモリ２６の比較明合成処理用画像データに追加して記録する（ステップＳ６６）。このステップＳ６６において保存されるフレーム間平均画素値Ａｓが、図８の変化前最終フレーム番号ａｐに示すフレーム間平均画素値Ａｓ１、および変化前最終フレーム番号ａｑに示すフレーム間平均画素値Ａｓ２である（図８の変化前最終フレーム番号Ｍに示すフレーム間平均画素値Ａｓ３は、上述したように、図９のステップＳ５２において記録される）。
【０１３２】
さらに、現在のフレームｍの平均画素値Ａ（ｍ）を、新たな平均画素値連続フレーム群のフレーム間平均画素値Ａｓに設定する（ステップＳ６７）。
【０１３３】
そして、フレーム数のカウンタａｒを０にリセットしてから（ステップＳ６８）、図９に示す処理にリターンする。
【０１３４】
図９に示したステップＳ３〜Ｓ７のループの中でこの図１０に示したような処理を行うことにより、全てのフレーム１〜Ｍに対する処理が行われる。
【０１３５】
続いて、図１１は、着脱メモリ２６に記録された比較明合成処理用画像データに基づいて行われる比較明合成処理を示すフローチャートである。
【０１３６】
図１１に示す比較明合成処理は、上述した実施形態１の図６に示した処理に対して、以下の部分を変更したものとなっている。
【０１３７】
すなわち、ステップＳ３１の処理を行ったら、フレーム間平均画素値Ａｓが所定範囲内でないフレームを、比較明合成処理の対象フレームから除外する（ステップＳ７１）。
【０１３８】
例えば、図８に示した例において、｜Ａｓ１−Ａｓ２｜＞ＴｈＡであり、｜Ａｓ１−Ａｓ３｜≦ＴｈＡであるものとする。この場合には、フレーム間平均画素値Ａｓ１を取る平均画素値連続フレーム群と、フレーム間平均画素値Ａｓ３を取る平均画素値連続フレーム群と、を同一の第１のグループとし、フレーム間平均画素値Ａｓ２を取る平均画素値連続フレーム群を第２のグループとするグループ分けを行う。その上で、第１のグループに属するフレーム数ＦＮ１と、第２のグループに属するフレーム数ＦＮ２と、を比較して、フレーム数が多い方のグループ（３つ以上にグループ分けされた場合には、フレーム数が最大となるグループ）を基準グループとする。そして、基準グループ以外のグループに属するフレームを、比較明合成処理の対象フレームから除外する。具体的に図８に示した例において、ＦＮ１＞ＦＮ２であったものとする。この場合には、第２のグループ（フレーム間平均画素値Ａｓ２を取る平均画素値連続フレーム群）に属するフレーム（図８の例ではフレーム（ａｐ＋１）〜ａｑ）が比較明合成処理の対象フレームから除外される。
【０１３９】
より一般には、所定範囲内にフレーム間平均画素値Ａｓが収まるフレーム数が最大となる所定範囲の中央値を求めて、求めた中央値を中心とする所定範囲内にフレーム間平均画素値Ａｓが収まらない平均画素値連続フレーム群に属するフレームを、比較明合成処理の対象フレームから除外すれば良い。
【０１４０】
続いて、ステップＳ３２の処理を行ったら、ユーザにより選択されたフレームｍｉ〜ｍｆから除外フレームを除いた処理対象フレームにおけるみなし画素値Ｖｓ（ｉ）の最大値を、画素ｉの画素値Ｐ（ｉ）に設定する（ステップＳ３３Ａ）。
【０１４１】
その後のステップＳ３４〜Ｓ４１の処理は、図６に示した処理と同様である。
【０１４２】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、所定領域の平均画素値が所定範囲外となるフレームについては比較明／暗合成処理の対象から外すようにしたために、予期しない要因で画素値が変化したフレームを合成処理に用いないようにすることができ、失敗の少ない比較明／暗合成画像を自動処理で得ることが可能となる。
【０１４３】
そして、所定領域の平均画素値が所定範囲外となるフレームに関するデータを着脱メモリ２６に記憶しておくことで、撮像装置１内と、撮像装置１の外部のパーソナルコンピュータ等の機器と、の何れにおいても、失敗の少ない自動処理を行うことが可能となる。
【０１４４】
なお、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う撮像方法であっても良いし、コンピュータに撮像方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０１４５】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１４６】
１…撮像装置
１１…レンズ
１２…フォーカス駆動部
１３…フォーカス制御部
１４…絞り
１５…絞り駆動部
１６…絞り制御部
１７…撮像素子
１８…バス
１９…ＡＥ処理部
２０…ＡＦ処理部
２１…画像処理回路（画像処理部）
２２…比較明合成処理部
２３…画像生成部
２４…表示駆動部
２５…表示部
２６…着脱メモリ
２７…不揮発性メモリ
２８…内蔵メモリ
２９…圧縮伸張部
３０…電源部
３１…入力部
３２…ＣＰＵ（撮像制御部、画像処理部）
【図１】
0006360409.tif 000002
【図２】
0006360409.tif 000003
【図３】
0006360409.tif 000004
【図４】
0006360409.tif 000005
【図５】
0006360409.tif 000006
【図６】
0006360409.tif 000007
【図７】
0006360409.tif 000008
【図８】
0006360409.tif 000009
【図９】
0006360409.tif 000010
【図１０】
0006360409.tif 000011
【図１１】
0006360409.tif 000012