(57)【要約】【課題】撮影中に外乱が発生しても外乱による画質劣化を防止し、かつ露光の途切れが極力少ない撮像装置および撮像方法を提供する。【解決手段】露光時間Ｔで露光された画像データを繰り返し合成するとともに（Ｓ１９）、撮影中に発生する外乱を検知している（Ｓ１１）。そして、画像データ合成にあたっては、露光時間をＴ／Ｍ（Ｍは２以上）の時間区間に分割し（Ｓ７）、撮影中に外乱が検知された場合は、分割した時間区間のうち外乱が混入した時間区間の画像データを除外して露光時間Ｔの画像データを生成している（Ｓ１１Ｙｅｓ）。【選択図】  図２
2015159353.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
露光時間Ｔで露光された画像データを繰り返し合成する画像データ合成部と、
撮影中に発生する外乱を検知する外乱検知部と、
を備え、
上記画像データ合成部は、上記露光時間をＴ／Ｍ（Ｍは２以上）の時間区間に分割し、撮影中に上記外乱検知部により外乱が検知された場合は、該分割した時間区間のうち該外乱が混入した時間区間の画像データを除外して露光時間Ｔの画像データを合成することを特徴とする撮像装置。
【請求項２】
上記撮像素子は、破壊読み出し型であり、上記画像データ合成部は、上記露光時間Ｔ／Ｍで露光して得られた画像データを加算することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記撮像素子は、非破壊読み出し型であり、該撮像素子を構成する画素の電荷蓄積のリセットおよび電荷蓄積の開始を制御する制御部を更に備え、
上記外乱検知部が外乱を検知した場合は、上記制御部は上記電荷蓄積をリセットするとともに該外乱が消失した直後に上記電荷蓄積を開始し、上記画像データ合成部は、該外乱が発生する直前までに生成した画像データと、該外乱が消失した直後から露光を開始した画像データを合成することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記撮像素子は、非破壊読み出し型であり、該撮像素子を構成する画素の電荷蓄積のリセットおよび電荷蓄積の開始を制御する制御部を更に備え、
上記制御部は、上記露光時間Ｔ毎に上記リセットおよび電荷蓄積の開始を行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記外乱検知部は、露光中のカメラぶれを検知することを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記外乱検知部は、上記分割露光した画像データの輝度値を解析し、輝度の変化を検知することを特徴とする請求項１に記載の撮像装置。
【請求項７】
上記画像データ合成部は、比較明合成、比較暗合成、加算平均合成、タイムラプス動画生成の内の少なくとも１つを行うことを特徴とする請求項１に記載の撮像装置。
【請求項８】
露光時間Ｔで露光された画像データを繰り返し合成する画像データ合成ステップと、
撮影中に発生する外乱を検知する外乱検知ステップと、
を有し、
上記画像データ合成ステップは、上記露光時間をＴ／Ｍ（Ｍは２以上）の時間区間に分割し、撮影中に上記外乱検知ステップにおいて外乱が検知された場合は、該分割した時間区間のうち該外乱が混入した時間区間の画像データを除外して露光時間Ｔの画像データを生成することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像データを合成して撮影画像を生成するデジタルスチルカメラ等の撮像装置において、手振れや被写体輝度の変化等、撮影中の予期せぬ外乱によって静止画や動画の画質が劣化するのを防止することができる撮像装置および撮像方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラの高性能化、多機能化によって以前よりも気軽に長時間撮影を行うことができるようになり、長時間撮影を楽しむ撮影者も増えてきた。長時間撮影では非常に暗い被写体である天体撮影や、花火撮影や、ＮＤフィルターを用いた太陽の撮影など幻想的な写真や動画の撮影が行うことができる。
【０００３】
また、露光時間が数秒〜数１０分に及ぶバルブ撮影や、一定間隔で連続撮影した複数の画像を合成し１枚の写真にするインターバル合成撮影や、連続撮影した多数の写真を繋ぎ合わせコマ送り動画にするタイムラプス撮影など、特殊な撮影方法が発展してきている。
【０００４】
長時間撮影ではカメラを三脚に固定しブレないようにして撮影することが一般的である。しかし、非常に暗い環境下で撮影する場合には撮影者が気をつけていても三脚に物をぶつけて揺らしてしまったり、撮影中に他の撮影者がフラッシュ発光したり、車が通りがかった際にヘッドライトの光が映ってしまったり、撮影者が予期しない外乱が発生しまうことがよくある。
【０００５】
そのような外乱が発生した場合、長時間かけて撮影した静止画や動画が、ブレや高輝度被写体による画像の白飛びなどで台無しになってしまう。短時間の撮影であれば撮影をやり直すことが簡単であるが、長時間であると撮影しなおすにも時間がかかり大変である。
【０００６】
このような長時間撮影中の外乱に対して、分割露光した画像で長時間撮影写真を合成するデジタルカメラにおいて、カメラブレが発生した前後でブレを補正して合成を行う方法が提案されている（特許文献１参照）。また、撮影中に被写体の輝度が変化した場合は、輝度が変化した分、明るさを調整する画像処理を施して合成する方法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１６８６９９号公報
【特許文献２】特開２０１３−１７２３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１および２に記載の方法によれば、長時間撮影中のカメラぶれや輝度変化による画質劣化を軽減することが可能である。しかし、長時間撮影を行う撮影者の意図として、光の軌跡を連続的に写しこみたいという要望、例えば星の日周運動による軌跡や花火が打ちあがる経過の軌跡、蛍の飛行軌跡などがあり、特許文献１および２の記載の方法では、これらの要望に応えることができない。
【０００９】
すなわち、特許文献１の方法では、連続撮影した画像のうちカメラ振れが発生したときの撮影画像は、画像がぶれているため合成には使用できない。特許文献２の方法では、輝度の変化が滑らかな場合（たとえば夜から日の出の期間の空の輝度変化）については光の軌跡を連続的に写し込むことは可能である。しかし、他の撮影者がフラッシュ発光した場合や、車のヘッドライトなどの強い光の映り込む場合等には、輝度が非常に高く画像出力が飽和するため画像処理による明るさ調整では対応できない。このような場合には所定のタイミングで分割露光した画像のうち外乱が発生した画像を除外して合成する必要があり、その画像に写った光の軌跡は途切れてしまう。
【００１０】
本発明は、このような事情を鑑みてなされたものであり、撮影中に外乱が発生しても外乱による画質劣化を防止し、かつ露光の途切れが極力少ない撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため第１の発明に係る撮像装置は、撮像素子と、露光時間Ｔで露光された画像データを繰り返し合成する画像データ合成部と、撮影中に発生する外乱を検知する外乱検知部と、を備え、上記画像データ合成部は、上記露光時間をＴ／Ｍ（Ｍは２以上）の時間区間に分割し、撮影中に上記外乱検知部により外乱が検知された場合は、該分割した時間区間のうち該外乱が混入した時間区間の画像データを除外して露光時間Ｔの画像データを合成する。
【００１２】
第２の発明に係る撮像装置は、上記第１の発明において、上記撮像素子は、破壊読み出し型であり、上記画像データ合成部は、上記露光時間Ｔ／Ｍで露光して得られた画像データを加算する。
【００１３】
第３の発明に係る撮像装置は、上記第１の発明において、上記撮像素子は、非破壊読み出し型であり、該撮像素子を構成する画素の電荷蓄積のリセットおよび電荷蓄積の開始を制御する制御部を更に備え、上記外乱検知部が外乱を検知した場合は、上記制御部は上記電荷蓄積をリセットするとともに該外乱が消失した直後に上記電荷蓄積を開始し、上記画像データ合成部は、該外乱が発生する直前までに生成した画像データと、該外乱が消失した直後から露光を開始した画像データを合成する。
【００１４】
第４の発明に係る撮像装置は、上記第１の発明において、上記撮像素子は、非破壊読み出し型であり、該撮像素子を構成する画素の電荷蓄積のリセットおよび電荷蓄積の開始を制御する制御部を更に備え、上記制御部は、上記露光時間Ｔ毎に上記リセットおよび電荷蓄積の開始を行う。
【００１５】
第５の発明に係る撮像装置は、上記第１の発明において、上記外乱検知部は、露光中のカメラぶれを検知する。
第６の発明に係る撮像装置は、上記第１の発明において、上記外乱検知部は、上記分割露光した画像データの輝度値を解析し、輝度の変化を検知する。
第７の発明に係る撮像装置は、上記第１の発明において、上記画像データ合成部は、比較明合成、比較暗合成、加算平均合成、タイムラプス動画生成の内の少なくとも１つを行う。
【００１６】
第８の発明に係る撮像方法は、露光時間Ｔで露光された画像データを繰り返し合成する画像データ合成ステップと、撮影中に発生する外乱を検知する外乱検知ステップと、を有し、上記画像データ合成ステップは、上記露光時間をＴ／Ｍ（Ｍは２以上）の時間区間に分割し、撮影中に上記外乱検知ステップにおいて外乱が検知された場合は、該分割した時間区間のうち該外乱が混入した時間区間の画像データを除外して露光時間Ｔの画像データを生成する。
【発明の効果】
【００１７】
本発明によれば、撮影中に外乱が発生しても外乱による画質劣化を防止し、かつ露光の途切れが極力少ない撮像装置および撮像方法を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係るカメラの長時間撮影モードにおける動作を示すフローチャートである。
【図３】本発明の第１実施形態に係るカメラの外乱検知の動作を示すフローチャートである。
【図４】本発明の第１実施形態に係るカメラの画像合成・撮影経過表示の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係るカメラにおいて、長時間露光の撮影シーケンスを示すタイムチャートである。
【図６】本発明の第２実施形態に係るカメラにおいて、長時間露光（加算合成モード）の撮影シーケンスを示すタイムチャートである。
【図７】本発明の第２実施形態に係るカメラにおいて、長時間露光（比較合成モード、タイムラプス動画生成モード）の撮影シーケンス（外乱なし）を示すタイムチャートである。
【図８】本発明の第２実施形態に係るカメラにおいて、長時間露光（比較合成モード、タイムラプス動画生成モード）の撮影シーケンス（外乱あり）を示すタイムチャートである。
【図９】本発明の第２実施形態に係るカメラにおいて使用される非破壊読み出し型のイメージセンサの概略構成を示すブロック図である。
【図１０】本発明の第２実施形態に係るカメラにおいて使用される非破壊読み出し型の動作を示すタイミングチャートである。
【図１１】従来の長時間露光の撮影シーケンスを示すタイムチャートであり、（ａ）は外乱が発生しない通常撮影時を示し、（ｂ）は外乱が発生した場合を示す。
【発明を実施するための形態】
【００１９】
以下、本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、レリーズ釦の操作に応じて撮影を開始し、イメージセンサから読み出される複数の画像データを合成して長時間撮影に相当する記録用静止画または動画を合成して外部メモリに記録する。撮影中に、外乱を検知した場合は外乱が発生している期間に露光した画像を除いて合成を行う。
【００２０】
図１は、本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、撮像部１、画像処理部１０、外乱検知部１５、システム制御部２０、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ（インターフェース）３８、およびこれらを接続するバス３１を有する。なお、本実施形態においては、レンズ２は、カメラ本体と一体に構成されているが、交換レンズとしても勿論かまわない。
【００２１】
撮像部１内には、レンズ２、メカシャッタ３、イメージセンサ４を有する。レンズ２は、イメージセンサ４に被写体の光学像を結像する。このレンズ２内には、露出量を調節するための絞り値を決定する絞りを備える。また、メカシャッタ３は、開閉動作によりイメージセンサ４への露出や遮光を行い、シャッタ速度を制御する。
【００２２】
イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像データを、画像処理部１０およびバス３１に出力する。本実施形態においては、イメージセンサ４は、破壊読み出し型である。バス３１は、各ブロック間で信号の送受信を行うための信号線である。
【００２３】
画像処理部１０は、イメージセンサ４から出力された画像データに画像処理を施す。この画像処理部１０は、画像合成部１１および現像処理部１３を有し、画像合成部１１は、加算合成部１１ａ、比較合成部１１ｂ、加算平均合成部１１ｃ、動画生成部１１ｄを有する。
【００２４】
この画像合成部１１は、露光時間Ｔで露光された画像データを繰り返し合成する画像データ合成部として機能する。また、画像合成部１１は、露光時間をＴ／Ｍ（Ｍは２以上）の時間区間に分割し、撮影中に後述する外乱検知部により外乱が検知された場合は、分割した時間区間のうち外乱が混入した時間区間の画像データを除外して露光時間Ｔの画像データを合成する。また、画像合成部１１は、露光時間Ｔ／Ｍで露光して得られた画像データを加算する（後述する加算合成部１１ａ参照）。また、画像合成部１１は、比較明合成、比較暗合成、加算平均合成、タイムラプス動画生成の内の少なくとも１つを行う。
【００２５】
加算合成部１１ａは、イメージセンサ４から読み出された複数の画像データの内、それぞれ対応する画素毎に出力を加算して合成画像を生成する。比較合成部１１ｂはイメージセンサ４から読み出された複数の画像データの内、それぞれ対応する画素毎に出力を比較し出力が大きい方の画素出力を合成画像の画素データとする比較明合成、または出力が小さい方の画素出力を合成画像の画素データとする比較暗合成によって合成画像を生成する。
【００２６】
加算平均合成部１１ｃは、イメージセンサ４から読み出された複数の画像データの内、それぞれ対応する画素毎の出力を加算平均して合成画像を生成する。動画生成部１１ｄは連続的に読み出された複数フレームの画像データを時系列に繋ぎ合わせて動画像データを生成する。また、動画生成部１１ｄは、タイムラプラス動画撮影時によって取得した画像データに基づいて動画像データを生成する。
【００２７】
現像処理部１３は、画像合成部１１で生成されたＲＡＷ画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。
【００２８】
外乱検知部１５は、カメラぶれ検出部１６と露出異常検知部１７を有する。この外乱検知部１５は、撮影中に発生する外乱を検知する外乱検知部として機能する。
【００２９】
カメラぶれ検出部１６は、露光中のカメラぶれを検出し、一般的なデジタルカメラに搭載されているジャイロセンサの出力に基づいてカメラぶれが発生しているか検出してもよく、またイメージセンサで連続的に読み出した画像を比較して被写体像のブレの有無からカメラぶれが発生しているかを検出してもよい。また、カメラぶれ検出部１６は、カメラぶれによる被写体像のずれ情報を画像処理部１０にフィードバックし、画像処理部１０はカメラぶれ発生前後の画像をカメラぶれによる被写体像のずれを補正して合成する。
【００３０】
露出異常検知部１７は、分割露光した画像データの輝度値を解析し、輝度の変化を検知する。すなわち、分割露光したそれぞれの画像データの出力値に基づいて輝度値を算出し、画像データ同士の輝度値を比較して、輝度値の急激な変化の有無を検知する。例えば、他の撮影者によるストロボ発光や、通りがかりの車のヘッドライト等による輝度値の急激な変化があれば、検知する。
【００３１】
バス３１には、前述の撮像部１、画像処理部１０、外乱検知部１５の他に、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ３８、システム制御部２０が接続されている。
【００３２】
内部メモリ３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。内部メモリ３３は、フラッシュメモリ、ＳＤＲＡＭ等の書き換え可能な不揮発性のメモリによって構成される。
【００３３】
外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリは、現像処理部で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。
【００３４】
表示部３７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどの背面表示部やＥＶＦ（電子ビューファインダ）を有し、現像処理部１３によって現像された画像を表示する。
【００３５】
入力ＩＦ３８は、レリーズ釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定やレリーズ等撮影動作の指示を行う。入力ＩＦ３８を介して、撮影者は、例えば、バルブ撮影モードやインターバル撮影モード、タイムラプス動画モード等の長時間撮影モード等の設定を行うことができる。
【００３６】
システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムに従ってカメラの各部を制御することにより全体制御を行う。また、システム制御部２０は、前述の撮像部１、画像処理部１０、外乱検知部１５等の全体制御を行う。
【００３７】
次に、図２ないし図４に示すフローチャートを用いて、本発明の第１実施形態におけるカメラの主として長時間撮影モード設定時の動作について説明する。このフローチャートは、内部メモリ３３に記憶されたプログラムに従って、システム制御部２０が各部を制御することにより実行する。
【００３８】
なお、このフローチャートでは、撮影者が入力ＩＦ３８により、カメラの撮影モードを長時間撮影モードに設定してあるものとする。長時間撮影モードとして、例えば、バルブ撮影モードやインターバル撮影モード、タイムラプス動画モードがある。
【００３９】
まず、図２を用いて、全体シーケンスについて説明する。長時間撮影モードに入ると、まず、ライブビュー表示を行う（Ｓ１）。ここでは、イメージセンサ４からの画像信号を画像処理部１３においてライブビュー表示用に画像処理を行い、表示部３７においてライブビュー画像を表示する。ライブビュー表示においては、所定時間間隔でイメージセンサ４から画像信号を読み出す度にライブビュー画像が更新される。表示部３７にライブビュー画像が表示されると、撮影者は、ライブビュー画像を確認しながら、構図、ピント位置、撮影条件を被写体に合わせて設定する。
【００４０】
ライブビュー表示を行うと、次に、露光時間Ｔを設定する（Ｓ３）。撮影モードとしてバルブ撮影モードが設定されている場合には、撮影者が好みのタイミングで露光読み出しした画像を随時加算処理しては露光経過として表示部３７に表示し、露光経過を確認できるようにする。この場合には撮影者の好みのタイミングに合わせて露光時間Ｔを入力ＩＦ３７によって設定する。例えば数分の撮影を行う場合に、１０秒ごとに露光経過を確認したい場合には露光時間Ｔを１０秒に設定する。
【００４１】
また、インターバル撮影画像を比較合成や加算平均合成することで一枚の静止画に合成するインターバル撮影モードが設定されている場合や、タイムラプス動画（コマ送り動画）を生成するタイムラプラス撮影モードが設定されている場合は、このステップ設定された露光時間Ｔで連続的に露光・読み出しされた画像を合成する。静止画を合成する場合は合成画像の背景部分（撮影中に輝度の変化がなかった部分）の露出は露光時間Ｔで読み出した一枚一枚の画像と同じ露出になり、タイムラプス動画では露光時間Ｔで読み出された画像が動画の１コマの露出に相当するため、撮影者がライブビュー画像の明るさを確認して最適な露出が得られる時間Ｔに手動設定しても良いし、カメラのＡＥ（Auto Exposure）機能を用いて適正露出が得られる露光時間にＴを自動設定しても良い。
【００４２】
露光時間Ｔを設定すると、次に、レリーズか否かを判定する（Ｓ５）。撮影者はシャッタチャンスと判断すると、レリーズ釦を操作するので、ここでは、レリーズ釦が操作されたか否かを判定する。この判定の結果、レリーズされていない場合には、ステップＳ１に戻り、ライブビュー表示等の動作を実行する。一方、ステップＳ５における判定の結果、レリーズであった場合には、露光を開始する（Ｓ６）ここでは、イメージセンサ４によって撮像が開始され、被写体の光学像を画素毎に電気信号に変換し、キャパシタに電荷蓄積される。
【００４３】
ステップＳ６において露光が開始されると、次に、Ｔ／Ｍだけ時間が経過したか否かを判定する（Ｓ７）。露光開始と同時にタイマによって計時動作が開始されるので、このタイマの計時時間に基づいて判定する。Ｍは、合成画像を生成する際に使用する画像の枚数を表し（例えば、図５に示す例では、４枚）、１以上の整数が好ましい。さらにＭは大きいほどＴ／Ｍの時間が短くなり、後述する合成から除外するフレームの露光時間が短くなり露光抜けが短くなり、画像を分轄する回数が多くなる。このため、Ｍが大きいと、露光抜けが短くなる点は好ましい。
【００４４】
しかし、イメージャ４は一般に画像を読み出す際にわずかに読み出しノイズが発生するので、合成画像の読み出しノイズも読み出し回数分だけ大きくなり画質が劣化する。したがって、Ｍを際限なく大きくすることは好ましくない。それでも、例えば、Ｍ＝４に固定しＴ＝６０秒で撮影したとすると、前述した特許文献の方法であれば、外乱が発生した場合に６０秒の露光抜けになってしまうものが、本実施形態では６０・４＝１５秒の露光抜けまで短縮することができ、十分メリットがある。
【００４５】
また、被写体の像面速度（イメージセンサに投影された像の移動速度）を考慮して露光抜けが視認されない程度にＭを設定するのがさらに好ましい。例えば、星の軌跡を写すにあたって、広角レンズ（例えば、焦点距離２０ｍｍ程度（３５ｍｍフィルム換算））で、２０メガピクセルのイメージセンサ４を用いて撮影する場合は、星等は露光時間２０秒で１０画素程度移動するため、星の軌跡の露光抜けが１画素以下程度になるようＴ／Ｍが２秒程度になるように、ＴとＭを設定するのが好ましい。一方花火などを撮影する場合は、星に比べると軌跡の像面速度が速いが、星などに比べると数秒から数１０秒で撮影時間が短いため、例えばＴ／Ｍを０．１秒以下と短くしても星の軌跡撮影と比べると総分割回数が多くならない。近年のデジタルカメラではシーン認識機能が備えているものがあり、この場合には花火や星などの被写体認識をして被写体に応じてＴ／Ｍを自動設定するようにしても良い。
【００４６】
ステップＳ７における判定の結果、Ｔ／Ｍ時間が経過すると、画像読み出しを行う（Ｓ９）。ここでは、イメージセンサ４から画像信号を読出す。また、画像読み出しを完了すると、破壊読み出し型のセンサであることから、信号電荷蓄積用のキャパシタ（ＦＤ）をリセットし、次のフレームの露光を開始する。なお、後述する第２実施形態の場合には、非破壊読み出し型のセンサであることから、信号電荷蓄積用のキャパシタ（ＦＤ，図９のＦＤ５５参照）のリセットは、通常、行わない。
【００４７】
また、ステップＳ９において読み出した画像のフレーム数をカウントするフレームカウンタを用意する。フレーム数をＮ（１以上の整数）とし、撮影開始１フレーム目をＮ＝１と定義する。外乱が検知されたフレームはカウントせず、外乱が検知されなかったフレーム数をカウントするものとする。
【００４８】
画像読み出しを行うと、次に、外乱を検知したか否かを判定する（Ｓ１１）。ここでは、外乱検知部１５のカメラブレ検出部１６がカメラぶれを検出したか否か、また露出異常検知部１７が輝度等に異常を検知したか否かを判定する。前述したように、画像読み出しを行うと、次のフレームの露光を開始するが、Ｎフレームの読み出し画像データの処理に移行する前に外乱検知部１５からＮフレーム露光中に外乱が発生したか否かの情報を受け取る。外乱検知の詳細は図３を用いて後述する。外乱が検知された場合にはＮフレーム目の画像は合成に使用しない。
【００４９】
ステップＳ１１における判定の結果、外乱を検知しなかった場合には、次に、フレームカウンタＮカウントアップ＋１を行う（Ｓ１３）。ここでは、フレームカウンタを＋１カウントアップする。続いて、フレームカウンタのカウント値に基づいて、次に、Ｎ＝１フレーム目か否かの判定を行う（Ｓ１５）。
【００５０】
ステップＳ１５における判定の結果、Ｎ＝１フレーム目であった場合には、合成を行わず内部メモリ３３へ記録する（Ｓ２１）。
【００５１】
一方、ステップＳ１５における判定の結果、２フレーム目以降であった場合には、カメラぶれ補正を行う（Ｓ１７）。ここでは、ステップＳ９において読み出した画像データに対して、外乱検知部１５で検出したカメラぶれ量に基づいて画像処理部１０が補正を行う。ステップＳ１１における外乱検知の際にカメラぶれ量を検知するので、累積合成画像と読み出し画像のカメラぶれによる被写体像のずれを電子的に補正してから画像合成することで合成画像に像ブレが発生しないようにすることができる。また、ステップＳ９で読み出した画像データに対して露出補正を行う。
【００５２】
ステップＳ１７において、カメラぶれ補正を行うと、画像合成および撮影経過表示を行う（Ｓ１９）。ここでは、ステップＳ９において読み出した画像データを用いて画像合成を行い、この合成された画像を表示部３７に表示する。これにより、バルブ撮影等の長時間撮影モードであっても、撮影終了までの間に順次撮影経過が表示される。この画像合成・撮影経過表示の詳しい動作については、図４を用いて後述する。
【００５３】
ステップＳ１９において画像合成を行うと、またはステップＳ２１において内部メモリ３３に保存すると、次に、レリーズ（露光終了）か否かの判定を行う（Ｓ２３）。バルブ撮影等の長時間撮影の際には撮影者はレリーズ釦を、再度、押し下げ撮影終了を指示するので、この指示に基づいて判定する。この判定の結果、露光終了でない場合には、ステップＳ７に戻り、バルブ撮影等の長時間撮影を続行する。
【００５４】
一方、ステップＳ２３における判定の結果、露光終了の場合には、撮影を終了し（Ｓ２５）、最終画像表示を行い、外部メモリに保存する（Ｓ２７）。ここでは、画像処理部１０によって加算合成モードや比較合成モードで静止画を合成する場合には、生成された合成画像の最終表示を表示部３７に所定時間、行い、この合成画像を外部メモリ３６に記録する。なお、合成画像の表示は省略してもよい。外部メモリに記録すると、このフローを終了する。
【００５５】
次に、図３を用いて、ステップＳ１１における外乱検知について説明する。外乱検知のフローに入ると、まず、カメラぶれ信号の検知を行う（Ｓ３１）。ここでは、カメラぶれ検出部１６がジャイロ等のセンサ出力に基づいて、カメラに手ブレ等が発生したか否かを判定する。
【００５６】
ステップＳ３１における判定の結果、カメラぶれ信号を検知した場合には、カメラずれ量フィードバックを行う（Ｓ３３）。ここでは、カメラブレ検出部１６が検出したカメラのずれ量をシステム制御部２０に出力する。システム制御部２０は、図示しない機構により、例えば、検出したずれ量に基づいてイメージセンサ４を光軸の平面内で移動させ、ぶれを補正する。ステップＳ３３において、カメラずれ量フィードバックを行うと、次に「外乱検知」を設定する（Ｓ３５）。
【００５７】
一方、ステップＳ３１における判定の結果、カメラぶれ信号を検知しない場合には、ステップＳ４１以下において、露出異常検知部１７における露出検知動作に移行する。まず、Ｎフレーム画像の出力を算出する（Ｓ４１）。このステップにおける画像出力の算出は、画像データの全領域の平均でもよく、また画像データを縦、横複数ブロックに分割し、それぞれのブロックの平均出力を算出しても良い。後者の方法の方がヘッドライトの写りこみなどの局所的な露出異常の場合でも検出することができる。
【００５８】
Ｎフレーム画像の出力を算出すると、次に、Ｎ＝１フレーム目か否かの判定を行う（Ｓ４３）。この判定の結果、１フレーム目の場合には、露出異常であることの判定ができず、２フレーム以降、この画像の露出を基準として露出異常の有無を判断するため、ステップＳ４７に進み、外乱未発生として処理する。
【００５９】
ステップＳ４３における判定の結果、１フレーム目の画像データでない場合、すなわち２フレーム以降であった場合には、｜（Ｎフレーム出力）−（Ｎ−１フレーム出力）｜を算出し、所定のスレッシュレベルＴＨよりも大きいか否かを判定する（Ｓ４５）。ここでは、２フレーム以降であるから、Ｎフレーム出力とＮ−１フレームの出力の差の絶対値を算出し、その値が所定のスレッシュレベル（ＴＨ）より大きいかを判断する。
【００６０】
ステップＳ４５における判定の結果、出力の差の絶対値がスレッシュレベルよりも大きい場合には、ステップＳ３５に進み、外乱検知をシステム制御部２０にフィードバックする（外乱検知の設定を行う）。ここで各フレームの画像データを縦、横複数ブロックに分割して平均値を算出していた場合は、同じ画像位置のブロック同士の出力平均値の差分絶対値を算出し、ひとつのブロックでもスレッシュレベルよりも大きくなる場合は外乱が検知されたものと判断する。また、スレッシュレベル（ＴＨ）は異常な露出変化を検知し、わずかな露出の変化（例えば、夕方から夜への明るさ変化や、夜から明け方への空の変化など）は検知しないようにするのが好ましい。デジタル画素出力の飽和信号量に対して半分とか１／４といったようにフレーム毎の露出変化としては大きすぎると判断されるレベルに設定する。
【００６１】
ステップＳ４５における判定の結果、Ｎフレーム出力とＮ−１フレームの出力の差の絶対値がスレッシュレベル（ＴＨ）以下の場合は、外乱未発生を設定する（Ｓ４７）。ここでは、外乱が未発生であったことをフィードバックする。
【００６２】
ステップＳ４７において、外乱未発生を設定すると、次に、露出補正値フィードバックを行う（Ｓ４９）。ここでは、スレッシュレベル以下であってもフレーム間の出力差を露出補正値としてフィードバックする。これによって露出のスレッシュレベル以下のわずかな変化が撮影者にとって好ましくない場合はカメラぶれ補正の際にＮフレームの露出も補正することができる。露出補正した合成画像と、露出補正しない合成画像を並列処理で合成して２種類の合成画像を記録しても良い。なお、スレッシュレベル以下の出力差であることから、このステップを省略しても構わない。
【００６３】
ステップＳ３５において外乱検知を設定すると、またはステップＳ４７において外乱未発生を設定すると、元のフロー（ステップＳ１１）に戻る。元のフローに戻ると、ステップＳ３５またはＳ４７における設定に従って、ステップＳ１３またはＳ６に進む。
【００６４】
次に、図４を用いて、ステップＳ１９の画像合成・撮影経過表示の詳しい動作について説明する。この画像合成・撮影経過表示のフローにおいては、露光時間ＴをＭ分割して読み出した画像を順次加算合成していき、Ｍ枚のフレームを加算合成することにより、露光時間Ｔに相当する画像データ（Ｍ枚合成画像）を合成する。この露光時間Ｔに相当する画像データを合成すると、さらに次のＭ枚のフレームの画像を同様に順次加算合成していき、同様に次の露光時間Ｔの合成画像データ（Ｍ枚合成画像）を生成する。このようにして合成された複数のＭ枚合成画像データを用いて、撮影モードごとに異なる処理を行う。
【００６５】
画像合成・撮影経過表示のフローに入ると、まず、Ｎフレーム目の読み出し画像を内部メモリに保存する（Ｓ６１）。ここでは、ステップＳ９において読み出したＮフレーム目の画像データを内部メモリ３３に記憶する。
【００６６】
画像データを内部メモリ３３に記憶すると、次に、ＮがＭの整数倍か否かを判定する（Ｓ６３）。ここでは、Ｎフレーム目のフレーム数で処理を分岐させる。Ｍは合成画像を生成するための分割数である（例えば、図５に示す例では、Ｍ＝４）。この判定の結果、ＮがＭの整数倍でない場合（Ｎｏ）は処理をせずにこのフローを終了し、元のフローに戻る。
【００６７】
一方、ステップＳ６３における判定の結果、ＮがＭの整数倍であった場合は、フレームカウントＬのカウントアップ（＋１）を行う（Ｓ６５）。ここでは、Ｍ枚合成画像が何枚合成されたかを示すフレームカウンタＬ（Ｌは１以上の整数）をカウントアップする。なお、フレームカウンタＬはシステム制御部２０内に設けられたカウンタである。
【００６８】
次に、Ｍ枚の読み出し画像を加算合成して、Ｌ番目のＭ枚合成画像を合成する（Ｓ６７）。ここでは、内部メモリ３３に記憶されているＴ／Ｍ時間で露光、読み出しを行ったＭ枚の読み出し画像を加算合成し、Ｌフレーム目のＭ枚合成画像を合成する。
【００６９】
Ｌ番目のＭ枚合成画像を合成すると、次に、内部メモリ３３に記憶したＭ枚の読み出し画像を消去する（Ｓ６９）。内部メモリ３３に保存しているＭ枚の読み出し画像データは、この後に使用することはないので消去する。
【００７０】
次に、設定されている合成モードについて判定する（Ｓ７１）。ここでは、撮影者が設定した撮影モードによってＭ枚合成画像の処理を分岐する。
【００７１】
ステップＳ７１における判定の結果、比較合成モード、加算合成モード、または加算平均モードであった場合には、Ｌ番目のＭ枚合成画像と、Ｌ−１累積合成画像を用いて、比較合成、加算合成、または加算平均合成を行う（Ｓ７３）。これらの合成を行うと、続いて、Ｌ累積合成画像を内部メモリ３３に保存する（Ｓ７５）。
【００７２】
設定された合成モードが、比較合成モードであった場合は、ステップＳ７３においては、合成されたＬフレーム目のＭ枚合成画像と１フレームからＬ−１フレームを合成したＬ−１累積合成画像とを比較合成し、あらたにＬ累積合成画像を生成する。そして、ステップＳ７５において、生成されたＬ累積合成画像を内部メモリ３３に保存する。この際、Ｌ＝１の場合には合成処理は行なわずに内部メモリ３３に保存する。またＬ累積合成画像を保存したところで、それ以前のＬ−１累積合成画像は内部メモリ３３から消去してもかまわない。しかし、例えば、消去せずに合成した画像をすべて残しておき、撮影者が撮影後に好みの画像を選択できるようにしても良いし、合成経過を動画にして保存しても良い。または累積合成処理前の各Ｍ枚合成画像を消去せずに外部メモリ３６に保存しておいても良い。撮影後に撮影者がそれら複数のＭ枚合成画像を使用してカメラやＰＣ（パーソナルコンピュータ）などの編集機能を用いて好みの合成・画像処理などの画像編集することが可能となる。
【００７３】
合成モードが加算合成モードであった場合は、比較合成モードとはＭ枚合成画像の合成方法が加算合成となる点が異なり、また、加算平均合成モードであった場合は加算平均合成である点が異なるが、その他の処理の流れは同じである。
【００７４】
ステップＳ７５においてＬ累積合成画像を内部メモリに保存すると、次に、現像処理を行う（Ｓ７７）。ここでは、現像処理部１３が内部メモリ３３に保存されたＬ累積合成画像に現像処理を施す。現像処理を施すと、次に、撮影経過表示を行う（Ｓ７９）。ここでは、現像処理を施されたＬ累積合成画像の画像データを用いて、表示部３７に撮影経過として合成画像を表示する。
【００７５】
一方、ステップＳ７１における判定の結果、タイムラプス動画生成モードの場合は、Ｍ枚合成画像を動画用の１コマとして内部メモリ３３に保存する（Ｓ８１）。
【００７６】
次に、１〜Ｌ−１フレームまでのＭ枚合成画像で生成した動画データと合成し、Ｌフレームまでの動画を生成する（Ｓ８３）。ここで生成する動画のフォーマットが，ｍｏｔｉｏｎＪＰＥＧなどのフレーム間の変化によってデータ量の圧縮を行わない場合は、各Ｍ枚合成画像が保存されたところで随時動画を生成してもよく、また撮影が終了して全フレームの記録が完了してから動画を生成してもよい。ＡＶＣＨＤなどのフレーム間のデータ変化からデータ量を圧縮する方式を用いる場合は、撮影が終了して全フレームの記録が完了してから動画の生成を行う。
【００７７】
次に、現像処理を行う（Ｓ８５）。ここでは、ステップＳ８３において生成したＬフレームのＭ枚合成画像を現像処理する。現像処理を行うと、撮影経過表示を行う（Ｓ８７）。ここでは、現像処理を施された動画の画像データを用いて、表示部３７に撮影経過として合成画像を表示する。ステップＳ７９またはＳ８７において、撮影経過表示を行うと、元のフローに戻る。
【００７８】
このように、本実施形態のフローにおいては、露光時間Ｔで撮影を行う際に、露光時間をＭ分割し（Ｓ７）、Ｍ分割した露光時間が経過するたびに、画像データを読み出し、読み出した画像データを内部メモリ３３に記憶する（Ｓ２１、Ｓ６１）。そして、Ｍ枚の画像データを取得する間、外乱が発生しない場合には（Ｓ１１Ｎｏ）、画像合成を行い（Ｓ１９、Ｓ６７、Ｓ７３、Ｓ８１）、一方、外乱が発生した場合には（Ｓ１１Ｙｅｓ）、外乱の発生時の画像データを画像合成を行うことなく、次のＭ分割した露光を開始している。このため、外乱の発生した際の画像データを画像合成に用いないことから画質の劣化を防止でき、また画像合成に排除される画像はＴ／Ｍ時間だけであるので、連続性が殆ど損なわれない。
【００７９】
次に、図５に示すタイムチャートを用いて、本実施形態の動作について説明するが、本実施形態の理解のために、先に、従来の長時間露光の撮影シーケンスについて図１１を用いて説明する。
【００８０】
図１１（ａ）（ｂ）において、左側から右側に行くにつれて時間が経過していることを示しており、上段側から下段側にカメラでの処理順番（を示している。図１１では、時間Ｔで露光した画像をイメージセンサ４から順次読み出し（画像１、２、３、４、・・・）、読み出した画像を用いて、画像合成部１１で合成処理をし、合成画像を生成している（合成１、２、３、４、・・・）。ここでの合成処理は、前述の加算合成、比較合成、加算平均合成、動画生成の何れかである。
【００８１】
図１１（ａ）は、外乱が発生しない通常撮影時の撮影シーケンスを示しており、図１１（ｂ）は、時刻ｔ２−ｔ３の間の短時間、外乱が発生した場合の撮影シーケンスである。時刻ｔ２−ｔ３の間で外乱が発生すると、この間、露光した画像３は、画像合成に使用しない（合成２の画像には、画像３は使用されていない）。したがって、露光中に外乱が検知された場合は、画像３を除外して合成することになり、最終的に合成された合成画像３は時間Ｔだけ露光抜けが発生する。
【００８２】
図５は、本実施形態における長時間露光の撮影シーケンスを示すタイムチャートである。図５は、分割数Ｍ＝４の場合であり、露光時間Ｔを４分割し、分割露光時間Ｔ／Ｍで分轄露光を行った例を示している。イメージセンサ４は、Ｔ／Ｍ時間の間、露光して順次画像を読み出し（画像１−１〜画像１−４、画像２−１〜画像２−４、・・・）、順次、加算合成を行う（図の「＋」・・・の部分）。Ｍ枚が読み出され、加算合成された合成画像をＭ枚合成画像とし（４枚合成画像１、２、３、・・・）、Ｍ枚合成画像同士を合成処理して、合成画像を生成する（合成１、２、３、・・・）。
【００８３】
図５（ａ）は、外乱が発生しない通常撮影時の撮影シーケンスを示しており、図５（ｂ）は、時刻ｔ２３−ｔ２４において、外乱が発生した場合の撮影シーケンスである。この場合には、時刻ｔ２４−ｔ３１において、再度、露光し、時刻ｔ３１において読み出しを行った画像２−４を、加算合成する。このあとは、同様に４枚加算合成されると、４枚合成画像２として、合成処理を施す。このように、従来では時間Ｔ露光の途切れが発生した画像となるが、本実施形態においては、分割露光時間Ｔ／Ｍに露光の途切れを短くすることができる。
【００８４】
このように本発明の第１実施形態においては、長時間撮影の途中で外乱が発生しても外乱による画像劣化を防止し、極力露光途切れを短くすることが可能となる。
【００８５】
次に、図６ないし図１０を用いて、本発明の第２実施形態について説明する。本発明の第１実施形態においては、イメージセンサ４は破壊読み出し型であったが、第２実施形態においては、非破壊読み出し型である点で相違する。イメージセンサは、画素に蓄積した電気信号を読み出す際に蓄積した電気信号が消失してしまう破壊読み出し型が一般的である。しかし、電気信号の蓄積を維持しながら電気信号を読み出す非破壊読み出し型のイメージセンサについて種々の構造のものも提案されている。
【００８６】
本実施形態における回路構成は、第１実施形態に係る図１に示すブロック図と同様である。ただし、前述したように、イメージセンサ４の構造が、非破壊読み出し型である点で相違する。すなわち、本実施形態における撮像素子は、非破壊読み出し型であり、撮像素子を構成する画素の電荷蓄積のリセットおよび電荷蓄積の開始を制御する制御部を更に備えている。そして、外乱検知部１５が外乱を検知した場合は、上述の制御部は電荷蓄積をリセットするとともに外乱が消失した直後に電荷蓄積を開始し、画像データ合成部１１は、外乱が発生する直前までに生成した画像データと、外乱が消失した直後から露光を開始した画像データを合成する。また、上述の制御部は、露光時間Ｔ毎にリセットおよび電荷蓄積の開始を行う。
【００８７】
図９に非破壊読み出し型のイメージセンサの概略構成を示す。この非破壊読み出し型のイメージセンサは、フォトダイオード５１、電荷転送スイッチ（ＳＷ）５３、ＦＤ（キャパシタ）５５、電荷リセットスイッチ（ＳＷ）５７、ＦＤ読み出しスイッチ（ＳＷ）５９、画素周辺回路６１、読み出しスイッチ（ＳＷ）６３、アナログデジタル変換器（ＡＤＣ）６５を備えている。これらのスイッチ５３、５９、６３は、システム制御部２０内の制御部によって制御される。
【００８８】
フォトダイオード５１は、第１実施形態におけるイメージセンサ４の場合と同様、二次元方向に画素毎に規則的に配置されており、光入力を電荷信号に変換する。フォトダイオード５１の出力は電荷転送ＳＷ５３を介して、ＦＤ５５に出力される。ＦＤ５５は、フォトダイオード５１において発生した電荷信号を蓄積するためのキャパシタである。このＦＤ５５は、電荷リセットスイッチ（ＳＷ）５７を介して電源Ｖｄｄに接続される。ＦＤ５５の出力は、ＦＤ読み出しＳＷ５９を介して画素周辺回路６１に出力される。
【００８９】
画素周辺回路６１は、ＦＤ５５からの読み出された信号の増幅回路等種々の回路を含む。画素周辺回路６１の出力は、読み出しＳＷ６３を介して、ＡＤＣ６５に出力される。ＡＤＣ６５は、画素周辺回路６１から出力されたアナログ信号をデジタル信号に変換する。ＡＤＣ６５の出力は、画像処理部１０に出力される。
【００９０】
次に、図１０を用いて、本実施形態のイメージセンサの動作を説明する。図１０（ａ）は、非破壊読み出し動作のタイミングチャートであり、図１０（ｂ）は比較のために、破壊読み出し動作のタイミングチャートである。図１０（ａ）（ｂ）から分かるように、時刻Ｔ４までの動作は、非破壊読み出しおよび破壊読み出しの動作は共通である。
【００９１】
破壊読み出しの場合には、時刻Ｔ４〜Ｔ５において電荷リセットＳＷ５７をオンとし、電源Ｖｄｄが印加され、ＦＤ５５における蓄積動作がリセットされる。蓄積電荷がリセットされると、時刻Ｔ５からは、時刻Ｔ１〜Ｔ４と同様に、光入力応じて電荷蓄積を行う。
【００９２】
これに対して、非破壊読み出しの場合には、時刻Ｔ４〜Ｔ５において電荷リセットＳＷ５７をオンとすることなく、電荷転送ＳＷ５３とＦＤ読み出しＳＷ５９をオンとしている。これによって、ＦＤ５５に信号電荷を蓄積するとともに蓄積した電荷信号を画素周辺回路６１に出力する。そして、時刻Ｔ５〜Ｔ６において読み出しＳＷ６３をオンとし、画素周辺回路６１の出力をＡＤＣ６５に出力する。
【００９３】
このように、非破壊読み出し型のイメージセンサは、ＦＤ５５に蓄積された信号電荷を維持したままで、信号電荷に応じた電圧信号を読み出すことができる。このため、長時間露光の際に、分割露光で蓄積した信号をイメージセンサ４で維持したまま読み出すことが可能となる。
【００９４】
次に、図６ないし図９を用いて、本実施形態における動作について、説明する。非破壊読み出しイメージセンサでは加算合成モードと比較合成モード、加算平均合成モード及びタイムラプス動画生成モードで処理が異なる。
【００９５】
まず、図６を用いて、加算合成モード時の動作を説明する。時間Ｔ毎、及びＴ／Ｍ毎に画像を読み出し、この読み出しは非破壊読み出しで行う。バッファ画像１−１は、時刻ｔ１１〜ｔ１２の露光によって得られた画像であり、バッファ画像１−２は、時刻ｔ１１〜ｔ１３の露光によって得られた画像である。バッファ画像１−４は、時刻ｔ１１〜ｔ２１の露光によって得られた画像である。第１実施形態においては、分割露光によって得られた画像１−１〜１−４の合成画像を生成していたが、非破壊読み出しを行っていることから、画像合成部１１による合成画像の生成は必要ない。
【００９６】
このように、非破壊読み出しを行っていることから、Ｔ毎に表示する各読み出し画像（経過表示画像１、２、３、・・・）は、それぞれ一回の読み出しで読み出すことができ、イメージセンサ４から読み出される際に発生する読み出しノイズは１回分だけで済む。これにより図５を用いて説明した通常のイメージセンサ４の場合よりも読み出し回数が減るため画質がよくなる。
【００９７】
さらに外乱ノイズが発生した場合について、図６（ｂ）を用いて説明する。例えば、画像２−２の露光中（時刻ｔ２２〜ｔ２３）に外乱を検知した場合は、露光を中断し（電荷リセットＳＷ５５をオンし、ＦＤ５５をリセットする）、外乱が未発生になった時刻ｔ２３から再度露光を再開する。そして、その後の経過表示画像は外乱発生前の読み出し画像２−１と、その後非破壊読み出しを行った画像を加算合成して経過表示画像を合成する。経過表示画像２は画像２−１と画像２−４を加算合成した画像であり、露光中断した期間は画像２−２露光（時刻ｔ２２〜ｔ２３）のＴ／Ｍの期間だけとなり、加算合成した画像の枚数（読み出し回数）も２枚となる。
【００９８】
時刻ｔ２３の後、外乱が発生しなければ、画像２−１とその後の非破壊読み出し画像を加算すればよいので、２枚の読み出し画像を加算合成すれば良い。このため、第１実施形態と同様に外乱による露光抜けを、Ｔ／Ｍの時間に抑えることができ、かつ合成画像に含まれる読み出しノイズの量も少なくすることができ画質が向上する。
【００９９】
次に、図７および図８を用いて、比較合成モード、加算平均合成モード及びタイムラプス動画生成モードでの動作を説明する。このモードでは加算合成と異なり、露光時間Ｔの読み出し画像同士を合成していくので、時間Ｔ毎に破壊読み出し、それ以下のＴ／Ｍ毎に非破壊読み出しを行う。外乱が発生しない場合は、図７に示すように、露光時間Ｔ毎に読み出した破壊読み出し画像（４枚合成画像１、２、３、４、・・・）を合成処理して静止画または動画を合成する（合成１、２、３、・・・）。
【０１００】
次に、外乱が発生した場合には、露光を中断し、外乱が検知されなくなったタイミングで露光を再開する。例えば、図８に示す例では、時刻ｔ２２〜ｔ２３の間に外乱が発生した場合であり、この場合には、時刻ｔ２３で露光を再開し、時刻ｔ２１〜ｔ２５までの期間の４枚合成画像（経過表示・合成用画像２）は、画像２−１と画像２−４を加算合成することで時間Ｔ分露光した画像を合成する。このあとの４枚合成画像は同様にＴ毎の破壊読み出し画像同士を合成していく。
【０１０１】
本実施形態における動作を実行するためのフローチャートは、第１実施形態における図２ないし図４に示したフローチャートと略同様である。ただし、図２のステップＳ９において、第１実施形態においては、破壊読み出し型のイメージセンサであったことから、常にリセット動作を行っていたが、本実施形態においては、非破壊読み出し型のイメージセンサであることから、必要に応じてＦＤ５５をリセットすればよい。例えば、加算合成モードの場合には、露光再開のタイミングでリセットすればよく、また比較合成モード、加算平均合成モード及びタイムラプス動画生成モードの場合には、露光時間Ｔが経過する毎にリセットすればよい。
【０１０２】
このように本実施の第２実施形態では、長時間撮影の途中で外乱が発生しても外乱による画像劣化を防止し、極力露光の途切れを短くすることが可能となる。さらに非破壊イメージャを用いて読み出し、合成方法を工夫することで、さらに読み出しノイズによる画質劣化を極力抑制し、合成画像の画質をさらに向上することができる。
【０１０３】
以上説明したように、本発明の各実施形態においては、露光時間Ｔで露光された画像データを繰り返し合成するとともに（例えば、図２のＳ１９、図４のＳ７３、Ｓ８１）、撮影中に発生する外乱を検知している（例えば、図２のＳ１１、図３）。そして、画像データ合成にあたっては、露光時間をＴ／Ｍ（Ｍは２以上）の時間区間に分割し（例えば、図２のＳ７）、撮影中に外乱が検知された場合は、分割した時間区間のうち外乱が混入した時間区間の画像データを除外して露光時間Ｔの画像データを生成している（例えば、図２のＳ１１Ｙｅｓ）。このように露光時間を時間区間に分割し、外乱が発生した場合には、その時間区間に対応する画像データを除外して画像合成するため、撮影中に外乱が発生しても外乱による画質劣化を防止し、かつ露光の途切れを極力少なくすることができる。
【０１０４】
なお、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、長時間撮影モードを有する撮影のための機器であれば、本発明を適用することができる。
【０１０５】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１０６】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１０７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１０８】
１・・・撮像部、２・・・レンズ（絞り）、３・・・メカシャッタ、４・・・イメージセンサ、１０・・・画像処理部、１１・・・画像合成部、１１ａ・・・加算合成部、１１ｂ・・・比較合成部、１１ｃ・・・加算平均合成部、１１ｄ・・・動画生成部、１３・・・現像処理部、１５・・・外乱検知部、１６・・・カメラぶれ検出部、１７・・・露出異常検知部、２０・・・システム制御部、３１・・・バス、３３・・・内部メモリ、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ、５１・・・フォトダイオード、５３・・・電荷転送ＳＷ、５５・・・ＦＤ（キャパシタ）、５７・・・電荷リセットＳＷ、５９・・・ＦＤ読み出しＳＷ、６１・・・画素周辺回路、６３・・・読み出しＳＷ、６５・・・ＡＤＣ（アナログデジタル変換器）
【図１】
2015159353.tif 000003
【図２】
2015159353.tif 000004
【図３】
2015159353.tif 000005
【図４】
2015159353.tif 000006
【図５】
2015159353.tif 000007
【図６】
2015159353.tif 000008
【図７】
2015159353.tif 000009
【図８】
2015159353.tif 000010
【図９】
2015159353.tif 000011
【図１０】
2015159353.tif 000012
【図１１】
2015159353.tif 000013