(57)【要約】【課題】インターバル撮影によって得られる動画の品質を向上する。【解決手段】システムコントローラ９は、今回のインターバル期間の開始のタイミングで撮影された画像を、前回のインターバル期間の採用画像と比較して、動きの速い物体が写っている可能性のある画像であるか否かを判定し、動きの速い物体が写っている可能性のある画像であれば、その画像は採用せず、すぐに次の画像を撮影部２に撮影させ、この画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定する。これを繰り返し、動きの速い物体が写っている可能性のある画像でない画像が得られたら、今回のインターバル期間における採用画像に決定する。動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前になったら、今回のインターバル期間の所定のタイミングで撮影された画像を採用画像とする。【選択図】図１
2011244336.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して画像を得る撮影部と、
前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、
前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定することを特徴とする撮影装置。
【請求項２】
被写体を撮影して画像を得る撮影部と、
前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、
前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定部の処理において前記前回採用画像として用いた画像を引き続き用いて前記判定部の処理を行わせ、採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄することを特徴とする撮影装置。
【請求項３】
被写体を撮影して画像を得る撮影部と、
前記撮影部で得られた画像のうち、設定された判断期間ごとの撮影画像として採用する画像を決定し、複数の判断期間における採用された撮影画像から、前記判断期間より長いインターバル期間の撮影画像として採用する１枚の正式採用画像を決定する画像決定部と、
前回の判断期間において撮影画像として採用された画像である前回採用画像と、今回の判断期間になってから撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、
前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回の判断期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、さらに、１つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定することを特徴とする撮影装置。
【請求項４】
インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、
インターバル期間の開始のタイミングで被写体を撮影し、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、
前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定する
ことを特徴とするインターバル撮影方法。
【請求項５】
インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、
インターバル期間の開始のタイミングで被写体を撮影し、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、
前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定を行う際に前記前回採用画像として用いた画像を引き続き用いて前記判定を行い、
採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、
採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄する
ことを特徴とするインターバル撮影方法。
【請求項６】
インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する正式採用画像を決定する撮影装置におけるインターバル撮影方法であって、
インターバル期間より短い期間である判断期間の開始のタイミングで被写体を撮影し、
前回の判断期間において撮影画像として採用された採用画像である前回採用画像と、今回の判断期間の開始のタイミングで撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、
今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回の判断期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、
今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、
前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、
１つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定する
ことを特徴とするインターバル撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターバル撮影機能を有する撮影装置、およびそのインターバル撮影方法に関する。
【背景技術】
【０００２】
従来、ビデオカメラの特殊撮影機能の１つとして、インターバル撮影（タイムラプス撮影ともいう）と呼ばれるものが知られている（例えば、特許文献１参照）。インターバル撮影は、所定の時間間隔で、遅い速度で撮影を行うもので、撮影した画像を、時間軸を短縮した動画として再生することで、動きの遅い被写体の変化を高速度で表現する動画が得られる。
【０００３】
なお、インターバル撮影方法の中には、監視カメラ等の用途で、被写体に変化があったときに撮影を行うものもあるが、本明細書では、このような用途ではなく、上記のように、所定時間間隔で撮影した画像を動画として再生する用途を前提とする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平３−２６５２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
インターバル撮影により、流れる雲や日没の様子などの、ゆっくり変化する風景を撮影すると、美しい動画が得られる。このため、このような空を含む風景は、よくインターバル撮影の対象とされる。また、花の開花や昆虫の羽化の様子なども、インターバル撮影の対象とされることがある。
【０００６】
このようなインターバル撮影において、撮影中にたまたま画面内を通り過ぎた動きの速い物体が撮影されることがある。
【０００７】
例えば、空を含む風景をインターバル撮影している場合に、画面内を通り過ぎる鳥が撮影されることがある。空を含む風景の場合、撮影間隔を５秒から２０秒に１フレームとして、数時間から８時間程度をかけて撮影することが多い。その撮影中に画面内を鳥が通り過ぎると、多くの場合、鳥が写っているのはせいぜい数フレームである。
【０００８】
このような場合、撮影された画像を動画として再生すると、ある１フレームにだけ鳥が写っていて、数秒後にまた１フレームにだけ鳥が写っている、というような再生画像になる。１フレームにしか写っていない鳥は、動画の再生画像にノイズのように現れてしまい、動画の品質低下を招いていた。
【０００９】
花の開花や昆虫の羽化の様子などをインターバル撮影する場合においても、画面内を通り過ぎた虫などが撮影され、動画の再生画像にノイズのように見えてしまうことがあった。
【００１０】
本発明は上記に鑑みてなされたもので、インターバル撮影によって得られる動画の品質を向上することができる撮影装置およびインターバル撮影方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様によれば、被写体を撮影して画像を得る撮影部と、前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定することを特徴とする撮影装置が提供される。
【００１２】
本発明の他の態様によれば、被写体を撮影して画像を得る撮影部と、前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定部の処理において前記前回採用画像として用いた画像を引き続き用いて前記判定部の処理を行わせ、採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄することを特徴とする撮影装置が提供される。
【００１３】
本発明の他の態様によれば、被写体を撮影して画像を得る撮影部と、前記撮影部で得られた画像のうち、設定された判断期間ごとの撮影画像として採用する画像を決定し、複数の判断期間における採用された撮影画像から、前記判断期間より長いインターバル期間の撮影画像として採用する１枚の正式採用画像を決定する画像決定部と、前回の判断期間において撮影画像として採用された画像である前回採用画像と、今回の判断期間になってから撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回の判断期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、さらに、１つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定することを特徴とする撮影装置が提供される。
【００１４】
本発明の他の態様によれば、インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、インターバル期間の開始のタイミングで被写体を撮影し、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定することを特徴とするインターバル撮影方法が提供される。
【００１５】
本発明の他の態様によれば、インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、インターバル期間の開始のタイミングで被写体を撮影し、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定を行う際に前記前回採用画像として用いた画像を引き続き用いて前記判定を行い、採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄することを特徴とするインターバル撮影方法が提供される。
【００１６】
本発明の他の態様によれば、インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する正式採用画像を決定する撮影装置におけるインターバル撮影方法であって、インターバル期間より短い期間である判断期間の開始のタイミングで被写体を撮影し、前回の判断期間において撮影画像として採用された採用画像である前回採用画像と、今回の判断期間の開始のタイミングで撮影された画像とを比較し、比較する２画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回の判断期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、１つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定することを特徴とするインターバル撮影方法が提供される。
【発明の効果】
【００１７】
本発明によれば、インターバル撮影によって得られる動画の品質を向上することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施の形態に係る撮影装置の構成を示すブロック図である。
【図２】第１の実施の形態の撮影装置において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【図３】第１の実施の形態の撮影装置において、インターバル期間の採用画像を決定する処理の手順を示すフローチャートである。
【図４】風景を撮影した画像の一例を示す図である。
【図５】鳥が通り過ぎる風景を撮影した画像の一例を示す図である。
【図６】図４に示す画像と図５に示す画像との輝度差分を白黒画像にしたものを示す図である。
【図７】図４に示す画像と図５に示す画像との色差差分を白黒画像にしたものを示す図である。
【図８】図６の一部の拡大図である。
【図９】第１の実施の形態の変形例に係る撮影装置の構成を示すブロック図である。
【図１０】第２の実施の形態に係る撮影装置の構成を示すブロック図である。
【図１１】第２の実施の形態の撮影装置において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【図１２】第２の実施の形態の撮影装置において、インターバル期間の採用画像を決定する処理の手順を示すフローチャートである。
【図１３】第３の実施の形態における判断期間とインターバル期間との関係の一例を示す図である。
【図１４】第３の実施の形態の撮影装置において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図面を通じて同一もしくは同等の部位や構成要素には、同一もしくは同等の符号を付し、その説明を省略もしくは簡略化する。
【００２０】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮影装置の構成を示すブロック図である。図１に示すように第１の実施の形態に係る撮影装置１は、撮影部２と、画像メモリ３Ａ，３Ｂ，３Ｃと、エンコード用画像メモリ４と、動画エンコーダ５と、無音データ生成部６と、マルチプレクサ７と、記録部８と、システムコントローラ９と、操作入力部１０とを備える。
【００２１】
撮影部２は、被写体を撮影するものであり、レンズ２１と、撮像素子２２と、信号処理部２３と、タイミングジェネレータ（ＴＧ）２４とを備える。
【００２２】
レンズ２１は、被写体からの光を撮像素子２２に結像させる。
【００２３】
撮像素子２２は、ＣＣＤ（Charge Coupled Device），ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等からなり、レンズ２１を通して入射した光を光電変換して電気信号を出力する。
【００２４】
信号処理部２３は、撮像素子２２から入力される電気信号を処理して、各画素を輝度Ｙおよび色差Ｃｂ，Ｃｒで表す画像を生成する。
【００２５】
タイミングジェネレータ２４は、システムコントローラ９からの制御に応じて、撮像素子２２を駆動するタイミング制御信号を生成し、これを撮像素子２２に供給する。
【００２６】
画像メモリ３Ａ，３Ｂ，３Ｃは、インターバル撮影において、各インターバル期間における撮影画像として採用する採用画像を決定するために用いられるものである。
【００２７】
本実施の形態におけるインターバル撮影では、後述するように、設定された時間間隔の撮影タイミングで撮影された画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定し、動きの速い物体が写っている可能性のある画像であると判定した場合は、その画像は撮影画像としては採用せず、すぐに次の画像を撮影し、この画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定する。これを繰り返すことで、動きの速い物体が写っている可能性のある画像でない画像を検出し、その画像をインターバル撮影の採用画像として決定する。画像メモリ３Ａ，３Ｂ，３Ｃは、このような採用画像を決定する処理に用いられる。なお、本実施の形態では、設定された時間間隔の撮影タイミング間をインターバル期間と呼ぶものとする。各インターバル期間において１枚の採用画像が決定される。
【００２８】
画像メモリ３Ａは、撮影部２で撮影された１フレームの画像を取り込んで記憶する。画像メモリ３Ａに取り込まれた画像は、画像メモリ３Ｂに記憶されている前回のインターバル期間の採用画像と比較され、今回のインターバル期間の採用画像とするか否かが判定される。
【００２９】
画像メモリ３Ｂは、画像メモリ３Ａに取り込まれた画像のうち、採用画像として決定された１フレームの画像を記憶する。画像メモリ３Ｂに記憶された採用画像は、エンコード用画像メモリ４に取り込まれる。また、画像メモリ３Ｂに記憶された採用画像は、次回のインターバル期間における採用画像を決定するための比較対象の画像として用いられる。
【００３０】
画像メモリ３Ｃは、インターバル期間の開始のタイミングで撮影された１フレームの画像を画像メモリ３Ａから取り込んで記憶する。後述するように、インターバル期間が終了する所定時間前までに、動きの速い物体が写っている可能性のある画像でないと判定される画像が得られない場合、画像メモリ３Ｃに記憶された画像がそのインターバル期間の採用画像に決定される。
【００３１】
エンコード用画像メモリ４は、動画エンコーダ５で動画エンコードを行うための画像を保持するものであり、動画エンコードに用いられる画像である採用画像を画像メモリ３Ｂから取り込む。エンコード用画像メモリ４は、動画エンコーダ５においてＨ．２６４方式で動画エンコードを行うのに必要なフレームを同時に参照できるだけの画像を保持することができる。
【００３２】
動画エンコーダ５は、エンコード用画像メモリ４から各インターバル期間の採用画像を取得し、Ｈ．２６４方式で動画エンコードを行い、ビデオ符号化データを出力する。
【００３３】
無音データ生成部６は、ＤＳＰ（Digital Signal Processor）からなり、ＡＣ−３（Audio Code number 3）規格の無音データを生成する。インターバル撮影では、マイクからの音声は記録しないが、本実施の形態では、後述のようにＡＶＣＨＤ（Advanced Video Codec High Definition）形式でストリームを記録部８に記録するため、無音データ生成部６で無音データを生成する。
【００３４】
マルチプレクサ７は、動画エンコーダ５から入力されるビデオ符号化データと、無音データ生成部６から入力される無音データとをマルチプレクスし、ＡＶＣＨＤ規格のストリームとして記録部８に記録する。
【００３５】
記録部８は、ハードディスク等の不揮発性の記録媒体を有し、マルチプレクサ７から入力されるストリームを記録する。
【００３６】
システムコントローラ９は、ＣＰＵ、ＣＰＵの動作のための制御プログラム等を格納するＲＯＭ、ＣＰＵのワーク領域として使用されるＲＡＭ（いずれも図示せず）等を備えて構成され、撮影装置１全体の動作を制御する。
【００３７】
インターバル撮影に関する制御内容として、システムコントローラ９は、画像メモリ３Ｂに記憶された、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間で画像メモリ３Ａに取り込まれた画像とを比較し、画像メモリ３Ａの画像が、動きの速い物体が写っている可能性のある画像であるか否かの判定を行うようになっており、判定部としての機能を有する。
【００３８】
また、システムコントローラ９は、画像メモリ３Ａ，３Ｂの画像を比較して上記判定を行った結果から採用画像を決定する画像決定部としての機能を有する。
【００３９】
操作入力部１０は、ユーザが撮影装置１を操作するための入力を行う部分であり、図示しない各種操作ボタン等を有し、ユーザ操作に応じた操作信号を出力する。
【００４０】
次に、撮影装置１のインターバル撮影時の動作について説明する。
【００４１】
撮影装置１でインターバル撮影を行う際、ユーザは、操作入力部１０を操作して、動きの速い物体の撮影を避けるモードを選択することができる。図２は、第１の実施の形態の撮影装置１において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【００４２】
インターバル撮影が開始されると、ステップＳ１０において、システムコントローラ９は、今回のインターバル期間において撮影画像として採用する画像である採用画像を決定する処理を行う。ステップＳ１０の採用画像を決定する処理の詳細は後述する。
【００４３】
ステップＳ２０では、システムコントローラ９は、操作入力部１０からの操作信号に基づき、インターバル撮影を停止するための撮影停止操作が行われたか否かを判断する。撮影停止操作が行われた場合（ステップＳ２０：ＹＥＳ）、システムコントローラ９は、インターバル撮影を終了するよう制御する。
【００４４】
撮影停止操作が行われていない場合（ステップＳ２０：ＮＯ）、ステップＳ３０において、次回のインターバル期間の開始のタイミングになったか否かを判断する。次回のインターバル期間の開始のタイミングになった場合（ステップＳ３０：ＹＥＳ）、ステップＳ１０に戻り、次回のインターバル期間で採用する画像を決定し、以降の処理を繰り返す。次回のインターバル期間の開始のタイミングになっていない場合（ステップＳ３０：ＮＯ）、ステップＳ２０に戻る。
【００４５】
次に、上記ステップＳ１０で行うインターバル期間の採用画像を決定する処理について、図３に示すフローチャートを参照して説明する。
【００４６】
図３のステップＳ１１０において、システムコントローラ９は、撮影部２に撮影を行わせ、得られた画像を画像メモリ３Ａに取り込んで記憶させる。この撮影がインターバル期間における最初の撮影である場合は、インターバル期間の開始のタイミングに撮影が行われる。
【００４７】
次いで、ステップＳ１２０において、システムコントローラ９は、今回のインターバル期間が、インターバル撮影を開始して最初のインターバル期間であるか否かを判断する。最初のインターバル期間である場合（ステップＳ１２０：ＹＥＳ）、ステップＳ１３０において、システムコントローラ９は、画像メモリ３Ａの画像を今回のインターバル期間の採用画像に決定し、この採用画像を画像メモリ３Ｂにコピーして記憶させる。画像メモリ３Ｂに記憶された採用画像は、エンコード用画像メモリ４に取り込まれる。
【００４８】
最初のインターバル期間でない場合（ステップＳ１２０：ＮＯ）、ステップＳ１４０において、システムコントローラ９は、ステップＳ１１０で画像メモリ３Ａに取り込んだ画像が、今回のインターバル期間における最初に撮影された画像であるか否か、つまり、今回のインターバル期間の開始のタイミングで撮影された画像であるか否かを判断する。今回のインターバル期間における最初の画像である場合（ステップＳ１４０：ＹＥＳ）、ステップＳ１５０に進み、最初の画像でない場合（ステップＳ１４０：ＮＯ）、ステップＳ１６０に進む。
【００４９】
ステップＳ１５０では、システムコントローラ９は、ステップＳ１１０で画像メモリ３Ａに取り込んだ画像を、画像メモリ３Ｃにコピーして記憶させる。
【００５０】
次いで、ステップＳ１６０において、システムコントローラ９は、画像メモリ３Ａの画像と画像メモリ３Ｂの画像とを比較し、２画像間の輝度の差分（輝度の差の絶対値）が所定の輝度差分値である閾値Ｙｔを超えている画素数を示す輝度評価値Ｇｙと、色差の差分が所定の色差差分値である閾値Ｃｔを超えている画素数を示す色差評価値Ｇｃとを求める。色差にはＣｂ値とＣｒ値とがあるが、本実施の形態では、それぞれの値の２画素間の差の絶対値の和を、色差の差分として算出する。
【００５１】
輝度評価値Ｇｙ、色差評価値Ｇｃは、画像メモリ３Ａの画像に、インターバル撮影に好ましくない動きの速い物体が写っているか否かを判定するために求めるものである。
【００５２】
例えば、風景をインターバル撮影している場合において、画面内を鳥が通り過ぎたとする。このような場合、図４に示すような画像が採用画像として画像メモリ３Ｂに記憶されているときに、図５に示すような、鳥（図５において円で囲った部分）が写った画像が画像メモリ３Ａに取り込まれることがある。この場合の、画像メモリ３Ａの画像と画像メモリ３Ｂの画像との輝度差分を白黒画像にしたものを図６に示し、色差差分を白黒画像にしたものを図７に示す。また、図６において輝度の差があらわれている部分の拡大図を図８に示す。
【００５３】
なお、図６〜図８は、説明の便宜のために示すものであり、図６〜図８のような画像状態を作らなくとも、システムコントローラ９は輝度評価値Ｇｙ、色差評価値Ｇｃを求めることができる。
【００５４】
画像メモリ３Ａの画像に写った鳥は、図６、図８のように、輝度の差分としてあらわれる。なお、この場合は、図７のように、色差の差分としてはあらわれないが、撮影対象によっては、動きの速い物体が色差の差分としてあらわれることもある。このようなことから、上記の輝度評価値Ｇｙ、色差評価値Ｇｃが大きい場合、画像メモリ３Ａの画像に動きの速い物体が写っている可能性がある。
【００５５】
そこで、ステップＳ１７０において、システムコントローラ９は、ステップＳ１６０で求めた輝度評価値Ｇｙおよび色差評価値Ｇｃが、ともに所定の閾値Ｓ以下であるか否かを判断する。
【００５６】
輝度評価値Ｇｙおよび色差評価値Ｇｃがともに閾値Ｓ以下である場合（ステップＳ１７０：ＹＥＳ）、ステップＳ１３０において、システムコントローラ９は、画像メモリ３Ａの画像は動きの速い物体が写っている可能性のある画像ではないと判定して、今回のインターバル期間の採用画像に決定し、この採用画像を画像メモリ３Ｂにコピーして記憶させる。画像メモリ３Ｂに記憶された採用画像は、エンコード用画像メモリ４に取り込まれる。
【００５７】
閾値Ｙｔ、閾値Ｃｔ、閾値Ｓは、予め設定されるものである。これらを適切に設定することで、撮影対象の風景における雲や太陽光などのゆっくりした変化や、撮像素子２２からのノイズなどによる画像の変化は無視し、鳥などの動きの速い物体による画像の変化を捉えることができる。
【００５８】
輝度評価値Ｇｙおよび色差評価値Ｇｃのうちの少なくともいずれか一方が閾値Ｓを超える場合（ステップＳ１７０：ＮＯ）、ステップＳ１８０において、システムコントローラ９は、今回のインターバル期間が終了する所定時間前（例えば１秒前）になったか否かを判断する。今回のインターバル期間が終了する所定時間前になった場合（ステップＳ１８０：ＹＥＳ）、ステップＳ１９０に進む。今回のインターバル期間が終了する所定時間前になっていない場合（ステップＳ１８０：ＮＯ）、ステップＳ１１０に戻り、システムコントローラ９は、次の画像を撮影して画像メモリ３Ａに取り込ませ、以降の処理を繰り返す。
【００５９】
ステップＳ１８０からステップＳ１１０に戻った場合、撮影部２からはＶ同期のタイミングでしか画像を画像メモリ３Ａに取り込めないが、取り込み可能になり次第、画像メモリ３Ａへの画像の取り込みを行う。
【００６０】
ステップＳ１９０では、システムコントローラ９は、今回のインターバル期間の開始のタイミングで撮影されて画像メモリ３Ｃに記憶された画像を、今回のインターバル期間の採用画像に決定し、この採用画像を画像メモリ３Ｂに記憶させる。画像メモリ３Ｂに記憶された採用画像は、エンコード用画像メモリ４に取り込まれる。
【００６１】
上述のような図３のフローチャートに示した一連の処理により、まず、最初のインターバル期間においては、その開始のタイミングで撮影された画像がそのまま採用画像となる。２回目以降のインターバル期間では、まず、そのインターバル期間の開始のタイミングで撮影され画像メモリ３Ａに取り込まれた画像が、前回のインターバル期間の採用画像である画像メモリ３Ｂの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。動きの速い物体が写っている可能性のある画像ではないと判定された場合は、画像メモリ３Ａの画像が採用画像に決定し、採用画像は画像メモリ３Ｂに記憶され、エンコード用画像メモリ４に取り込まれる。
【００６２】
動きの速い物体が写っている可能性のある画像であると判定された場合は、その画像メモリ３Ａの画像は撮影画像としては採用されず、すぐに次の画像が撮影され画像メモリ３Ａに取り込まれ、画像メモリ３Ｂの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。このような画像の撮り直しおよび判定が、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られるまで繰り返される。
【００６３】
例えば、図４のような風景を、１０秒のインターバル期間を設定して撮影している場合に、２回目以降のインターバル期間である今回のインターバル期間において、その開始タイミングに図５のように画面内に鳥が入っており、その後約２秒間をかけて画面外に鳥が飛び去るとする。
【００６４】
この場合、今回のインターバル期間の開始タイミングで撮影され画像メモリ３Ａに取り込まれた図５のような画像は、動きの速い物体が写っている可能性のある画像であると判定される。すると、すぐ次の画像の取り込み可能なタイミングで、撮影部２から画像メモリ３Ａへの画像の取り込みが行われる。そして、この２枚目の画像が画像メモリ３Ｂの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。
【００６５】
システムコントローラ９による２画像の比較および判定処理には、例えば１００ｍｓの時間を要する。また、前述のように撮影部２からはＶ同期のタイミングでしか画像を画像メモリ３Ａに取り込めない。このため、今回のインターバル期間で２枚目に撮影された画像は、最初に開始タイミングで撮影された画像と、（１００ｍｓ＋Ｖ同期待ち時間）だけ時間軸上で離れている。しかしながら、この例では、鳥が画面外に飛び去るまで約２秒間かかるため、今回のインターバル期間で２枚目に撮影された画像にも鳥が写っており、動きの速い物体が写っている可能性のある画像であると判定される。すると、次の画像が撮り直され、画像メモリ３Ｂの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。
【００６６】
これが繰り返されながら時間が経過すると、鳥が画面外に飛び去り、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られ、この画像が今回のインターバル期間の採用画像に決定する。このようにすることで、今回のインターバル期間の採用画像は、前回のインターバル期間の採用画像から約１２秒後に撮影されたものになり、設定された時間間隔と異なる。しかし、その代わりに、動画として再生したときにノイズのようにあらわれる鳥の撮影を回避できる。
【００６７】
なお、鳥のような動きの速い物体が画面に入る場合以外でも、例えば、インターバル期間の間に、雲の間から差す太陽光の状態が大きく変化したような場合、画像メモリ３Ａに取り込まれた画像が、画像メモリ３Ｂの画像と比較して、輝度評価値Ｇｙおよび色差評価値Ｇｃのうちの少なくともいずれか一方が閾値Ｓを超えるようになることがある。このような画像も、撮影を避けるべき可能性のある画像として、動きの速い物体が写っている可能性のある画像と同様に扱う。
【００６８】
さて、上記のような撮り直しおよび判定の処理を繰り返しても、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間の終了が迫る状況になる場合もある。例えば、鳥が画面内にいる状態がインターバル期間を超えるほど継続した場合は、上記のような状況になる。また、雲の間から差す太陽光の状態が大きく変化した新しい状態や、その状態がさらに変化するような状態が、インターバル期間を超えるほど継続したような場合も同様である。
【００６９】
そこで、撮り直しおよび判定の処理を繰り返しても、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前（例えば１秒前）になったら、動きの速い物体が写っている可能性のある画像の採用は避けられないとして、今回のインターバル期間の開始のタイミングで撮影されて画像メモリ３Ｃに記憶された画像が、今回のインターバル期間の採用画像に決定される。これが、図３のステップＳ１８０，Ｓ１９０の処理を行う理由である。
【００７０】
この際、今回のインターバル期間の開始のタイミングで撮影されて画像メモリ３Ｃに記憶しておいた画像を採用画像に用いるのは、インターバル撮影の撮影タイミングを崩さないことになり好ましいからである。画像メモリ３Ｃは、この役割のために設けられているものである。
【００７１】
以上のような処理により、システムコントローラ９は、それぞれのインターバル期間において採用画像を決定し、採用画像を画像メモリ３Ｂからエンコード用画像メモリ４に入れつつ、動画エンコーダ５においてＨ．２６４方式で動画エンコードを行うよう制御する。この際、不要になった画像は破棄される。
【００７２】
そして、システムコントローラ９は、動画エンコーダ５で生成されたビデオ符号化データと、無音データ生成部６で生成された無音データとをマルチプレクサ７でマルチプレクスし、ＡＶＣＨＤ規格のストリームとして記録部８に記録するよう制御する。また、システムコントローラ９は、動画エンコーダ５から動画に関する情報を取得するとともに、無音データ生成部６から音声に関する情報を取得し、これらの情報からストリームの管理情報を生成して、これをＡＶＣＨＤの管理情報として記録部８に記録する。
【００７３】
以上説明したように、第１の実施の形態では、設定されたインターバル期間の開始のタイミングで撮影された画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定し、動きの速い物体が写っている可能性のある画像であると判定した場合は、その画像は撮影画像としては採用せず、すぐに次の画像を撮影し、この画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定する。これを繰り返し、動きの速い物体が写っている可能性のある画像でない画像が得られたら、その画像を今回のインターバル期間における採用画像に決定する。これにより、インターバル撮影の際に画面を通り過ぎた鳥等の動きの速い物体が撮影され、動画の再生画像にノイズのように現れる事態の発生を低減することができる。
【００７４】
また、今回のインターバル期間が終了する所定時間前のタイミングまでに、動きの速い物体が写っている可能性のある画像でない画像が得られない場合は、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定することで、動きの速い物体が写っている可能性のある画像の採用が避けられないような場合に、インターバル撮影の撮影タイミングが崩れることを回避できる。
【００７５】
このように第１の実施の形態によれば、インターバル撮影によって得られる動画の品質を向上することができる。
【００７６】
なお、撮り直しを行うことにより、本来の撮影タイミングである、インターバル期間の開始のタイミングより遅れて撮影された画像を採用画像とした場合、次回のインターバル期間の開始タイミングは変更しなくてもよいし、本来の撮影間隔を守るために、次回のインターバル期間の開始のタイミングを遅らせてもよい。
【００７７】
例えば、前述の例のように、インターバル期間が１０秒の設定で、鳥の撮影を回避するために、今回のインターバル期間の採用画像が、前回のインターバル期間の採用画像から約１２秒後に撮影されたものになったような場合、次回のインターバル期間の開始のタイミングを、今回のインターバル期間の採用画像の撮影時から、変更せずに約８秒後としてもよいし、遅らせて１０秒後としてもよい。
【００７８】
また、前述のように、インターバル撮影においてよく撮影対象とされる空を含む風景の撮影時において、空を飛ぶ鳥が不要な物体となることが多いが、鳥は画像中に黒く写ることが多いため、輝度評価値Ｇｙを求める際、輝度の低い画素に重み付けをすることで、鳥が写っている画像を、動きの速い物体が写っている可能性のある画像として判定しやすくすることができる。例えば、輝度評価値Ｇｙを求める際、画像メモリ３Ａの画像と画像メモリ３Ｂの画像との間で、輝度の差分が閾値Ｙｔを超えている画素であり、かつ、画像メモリ３Ａの画像における輝度値が所定の閾値Ｙｄ未満である画素については、１画素ではなくｎ画素（ｎは２以上の数）に重み付けしてカウントするようにすればよい。
【００７９】
そこで、特に風景中の鳥の撮影を回避することを目的とするモードを設け、このモードがユーザに選択された場合には、上記のように輝度評価値Ｇｙを求めてインターバル撮影の採用画像の判定を行うようにしてもよい。
【００８０】
また、輝度の値（に対応する画素値）、色差の値（に対応する画素値）のいずれか一方のみを用い、輝度評価値Ｇｙまたは色差評価値Ｇｃを画像評価値として求め、これを閾値Ｓと比較して、画像メモリ３Ａの画像が動きの速い物体が写っている可能性のある画像であるか否かを判定するようにしてもよい。
【００８１】
（変形例）
図９は、本発明の第１の実施の形態の変形例に係る撮影装置の構成を示すブロック図である。
【００８２】
図１に示した第１の実施の形態の撮影装置１は、インターバル撮影において直接動画を記録するものであったが、図９に示す本変形例の撮影装置１Ａは、インターバル撮影した静止画を記録するものである。撮影装置１Ａに記録された静止画は、パーソナルコンピュータ等の外部機器を用いて動画に変換される。
【００８３】
図９に示すように、本変形例に係る撮影装置１Ａは、図１の撮影装置１に対し、エンコード用画像メモリ４、動画エンコーダ５、無音データ生成部６、およびマルチプレクサ７を省略し、画像メモリ３Ｂから入力される採用画像をＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮する静止画エンコーダ１１を設けた構成である。
【００８４】
撮影装置１Ａにおいて、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際、第１の実施の形態で説明した撮影装置１と同様の動作により、採用画像を決定する。
【００８５】
システムコントローラ９は、それぞれのインターバル期間における採用画像を決定すると、採用画像を画像メモリ３Ｂから静止画エンコーダ１１に送り、静止画エンコーダ１１で採用画像をＪＰＥＧ圧縮するよう制御する。
【００８６】
そして、システムコントローラ９は、静止画エンコーダ１１からＪＰＥＧ画像を取り出してＥＸＩＦ（Exchangeable Image File Format）規格のサムネイルを生成し、サムネイル付きのＪＰＥＧ画像にしてから、これを記録部８に記録する。
【００８７】
このような本変形例の撮影装置１Ａにおいても、上記第１の実施の形態で説明した図１の撮影装置１と同様に、インターバル撮影によって得られる動画の品質を向上することができる。
【００８８】
［第２の実施の形態］
第１の実施の形態では、撮り直しおよび判定の処理を繰り返しても、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前になったら、動きの速い物体が写っている可能性のある画像の採用は避けられないとして、今回のインターバル期間の開始のタイミングで撮影された画像を採用画像に決定する。
【００８９】
このため、例えば、インターバル期間が１０秒の設定で風景を撮影している場合に、前回のインターバル期間の採用画像に写っていなかった鳥が今回のインターバル期間の開始のタイミングで撮影した画像に写り、その鳥が今回のインターバル期間中、画面内に留まっていると、鳥が写っている画像を採用画像とせざるを得なくなる。インターバル期間が短いほど、鳥が写った画像を採用画像とせざるを得なくなる可能性が高い。
【００９０】
そこで、第２の実施の形態では、動きの速い物体が写っている可能性のある画像を採用画像に決定せざるを得ないインターバル期間については、採用画像の決定を一時的に保留し、採用画像の決定を保留したインターバル期間の連続数が所定数未満であれば、採用画像の決定を保留したインターバル期間については画像を採用しないことにして、動きの速い物体が写っている可能性のある画像が採用画像となることを低減する。
【００９１】
図１０は、本発明の第２の実施の形態に係る撮影装置の構成を示すブロック図である。図１０に示すように第２の実施の形態に係る撮影装置１Ｂは、図１に示した第１の実施の形態の撮影装置１に対し、画像メモリ３Ｃを候補画像保存部１２に置き換えた構成である。
【００９２】
候補画像保存部１２は、それぞれ１フレームの画像を記憶可能な画像メモリ１２１Ａ，１２１Ｂ，１２１Ｃを備える。画像メモリ１２１Ａ〜１２１Ｃは、インターバル期間の開始のタイミングで撮影された画像を採用画像の候補画像として画像メモリ３Ａから取り込んで保存する。
【００９３】
なお、本実施の形態では、候補画像保存部１２が３つの画像メモリ１２１Ａ〜１２１Ｃを備える例で説明するが、候補画像保存部１２が備える画像メモリの数はこれに限らない。
【００９４】
次に、撮影装置１Ｂのインターバル撮影時の動作について説明する。
【００９５】
図１１は、第２の実施の形態の撮影装置１Ｂにおいて、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【００９６】
インターバル撮影が開始されると、ステップＳ２１０において、システムコントローラ９は、今回のインターバル期間において撮影画像として採用する画像である採用画像を決定する処理を行う。ステップＳ２１０の採用画像を決定する処理の詳細は後述する。
【００９７】
ステップＳ２２０では、システムコントローラ９は、ステップＳ２１０において、今回のインターバル期間の採用画像の決定を保留したか否かを判断する。なお、後述するように、最初のインターバル期間では採用画像の決定を保留することはないが、２回目以降のインターバル期間では採用画像の決定を保留することがある。したがって、後段のステップＳ２７０から戻ってステップＳ２１０の処理を行った場合では、今回のインターバル期間の採用画像を保留する場合がある。
【００９８】
採用画像の決定を保留した場合（ステップＳ２２０：ＹＥＳ）、ステップＳ２４０に進む。採用画像の決定を保留しなかった場合（ステップＳ２２０：ＮＯ）、ステップＳ２３０において、システムコントローラ９は、候補画像保存部１２の画像メモリ１２１Ａ〜１２１Ｃに保存されている候補画像をすべて破棄する。その後、ステップＳ２６０に進む。
【００９９】
ステップＳ２４０では、システムコントローラ９は、候補画像が３枚たまっているか否か、つまり候補画像保存部１２の画像メモリ１２１Ａ〜１２１Ｃのすべてに候補画像が１枚ずつ保存されているか否かを判断する。
【０１００】
候補画像が３枚たまっている場合（ステップＳ２２０：ＹＥＳ）、ステップＳ２５０において、システムコントローラ９は、保存されている３枚の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、これらをエンコード用画像メモリ４に送る。３枚の候補画像のうち最も新しい、今回のインターバル期間で撮影された画像は、画像メモリ３Ｂにも送られて記憶され、次回のインターバル期間における採用画像を決定するための比較対象の画像として用いられる。候補画像が３枚はたまっていない場合（ステップＳ２２０：ＮＯ）、ステップＳ２６０に進む。
【０１０１】
ステップＳ２６０では、システムコントローラ９は、操作入力部１０からの操作信号に基づき、インターバル撮影を停止するための撮影停止操作が行われたか否かを判断する。撮影停止操作が行われた場合（ステップＳ２６０：ＹＥＳ）、システムコントローラ９は、インターバル撮影を終了するよう制御する。
【０１０２】
撮影停止操作が行われていない場合（ステップＳ２６０：ＮＯ）、ステップＳ２７０において、次回のインターバル期間の開始のタイミングになったか否かを判断する。次回のインターバル期間の開始のタイミングになった場合（ステップＳ２７０：ＹＥＳ）、ステップＳ２１０に戻り、次回のインターバル期間で採用する画像を決定し、以降の処理を繰り返す。次回のインターバル期間の開始のタイミングになっていない場合（ステップＳ２７０：ＮＯ）、ステップＳ２６０に戻る。
【０１０３】
図１２は、上記ステップＳ２１０で行うインターバル期間の採用画像を決定する処理の手順を示すフローチャートである。
【０１０４】
図１２において、ステップＳ３１０〜Ｓ３４０，Ｓ３６０〜Ｓ３８０の処理は、第１の実施の形態で説明した図３のフローチャートのステップＳ１１０〜Ｓ３４０，Ｓ１６０〜Ｓ１８０と同様であるため詳細な説明を省略し、第１の実施の形態との相違箇所であるステップＳ３５０，Ｓ３９０について主に説明する。
【０１０５】
ステップＳ３５０では、システムコントローラ９は、ステップＳ２１０で画像メモリ３Ａに取り込んだ、今回のインターバル期間の開始のタイミングで撮影された画像を、候補画像保存部１２の画像メモリ１２１Ａ〜１２１Ｃのうちの空いているいずれかにコピーして記憶させる。
【０１０６】
ステップＳ３９０では、システムコントローラ９は、今回のインターバル期間の採用画像の決定を行わずに保留する。この場合、ステップＳ３５０で候補画像保存部１２に保存した、今回のインターバル期間の開始のタイミングで撮影された画像が、今回の採用画像の候補画像として保存される。
【０１０７】
なお、この際、画像メモリ３Ｂの画像は更新せず、その画像が引き続き、次回のインターバル期間においても、採用画像を決定する際の、画像メモリ３Ａに取り込まれる画像の比較対象の画像として用いられる。
【０１０８】
上述のような図１１、図１２のフローチャートに示した一連の処理により、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前になった場合、第１の実施の形態のように今回のインターバル期間の開始のタイミングで撮影された画像がすぐに採用画像に決定するのではなく、決定が保留される。決定が保留された場合、今回のインターバル期間の開始のタイミングで撮影された画像は、採用画像の候補画像として候補画像保存部１２に残される。また、画像メモリ３Ｂの画像は更新されない。
【０１０９】
ここで、ｋ回目のインターバル期間で採用画像の決定が保留され、候補画像保存部１２に１枚の候補画像が保存されているとする。この１枚の候補画像は画像メモリ１２１Ａに保存されているとする。
【０１１０】
次のｋ＋１回目のインターバル期間の開始のタイミングで撮影され画像メモリ３Ａに取り込まれた画像は、画像メモリ１２１Ｂにコピーされる。このインターバル期間でも採用画像の決定が保留された場合、画像メモリ１２１Ａ，１２１Ｂに合計２枚の候補画像が保存されている状態となり、さらに次のｋ＋２回目のインターバル期間の開始のタイミングで撮影された画像が画像メモリ１２１Ｃにコピーされる。
【０１１１】
このｋ＋２回目のインターバル期間においても採用画像の決定が保留された場合、つまり、候補画像保存部１２に３枚の候補画像がたまっている状態で採用画像の決定が保留された場合、保存されている３枚の候補画像が、それぞれが撮影されたインターバル期間における採用画像として決定され、エンコード用画像メモリ４に送られる。３枚の候補画像のうち最も新しい、ｋ＋２回目のインターバル期間で撮影された画像は、画像メモリ３Ｂにも送られて記憶され、ｋ＋３回目のインターバル期間における採用画像を決定するための比較対象の画像として用いられる。
【０１１２】
一方、あるインターバル期間で、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られ、その画像が採用画像となり、採用画像の決定が保留されなかった場合、そのときに候補画像保存部１２に保存されている候補画像はすべて破棄される。この場合、本来の撮影タイミングであるインターバル期間の開始タイミングで撮影された画像が、最大で３枚（３フレーム）、動画作成には用いられずに破棄されることになる。
【０１１３】
例えば、インターバル期間が１０秒で、あるインターバル期間の開始のタイミング時に画面内にいた鳥が、２５秒ほどで画面外に飛び去ったとする。このような場合、第１の実施の形態では、鳥が写ったフレームを含む動画が作成されるが、第２の実施の形態では、候補画像保存部１２に保存されている、鳥が写っている２フレームが破棄されるので、動画には鳥が写ったフレームは含まれない。
【０１１４】
上記のようにフレームを破棄して動画を作成した場合、破棄されたフレームに対応する部分で、鳥を除く撮影対象の変化が時間軸上でリニアでなくなり、結果として動画の動きが一瞬スムーズでなくなる可能性がある。しかし、破棄されるフレームが少なければ、例えば本実施の形態のように３フレームまでなら、破棄しても、撮影対象がゆっくりと変化する風景のようなものであれば動画の品質への悪影響は少なく、鳥が写ってノイズのように見えるよりはよい。
【０１１５】
このように、第２の実施の形態では、動きの速い物体が写っている可能性のある画像を採用画像に決定せざるを得ないインターバル期間については、採用画像の決定を保留して候補画像を保存しておき、採用画像の決定を保留したインターバル期間の連続数が所定数未満であれば、採用画像の決定を保留したインターバル期間については画像の採用を行わず、採用画像の決定を保留したインターバル期間の連続数が所定数になった場合、候補画像を採用画像に決定する。これにより、インターバル撮影によって得られる動画の再生画像に動きの速い物体がノイズのように現れることを低減する一方、撮影画像を採用しないインターバル期間が生じることによる動画の品質への悪影響は小さく抑えることができる。
【０１１６】
なお、第２の実施の形態では、撮影装置に直接動画を記録する構成を示したが、第１の実施の形態の変形例のように、静止画を記録するようにしてもよい。
【０１１７】
［第３の実施の形態］
第１の実施の形態では、今回のインターバル期間において撮影した画像を、前回のインターバル期間の採用画像と比較して、輝度評価値Ｇｙおよび色差評価値Ｇｃを求め、これらの値から、今回のインターバル期間において撮影した画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定している。
【０１１８】
インターバル撮影では、風景等のゆっくり変化するものを撮影対象とするが、例えば、風景中の雲が流れることで、風景が大きく変わることがある。このような場合、風景の変化によって輝度評価値Ｇｙや色差評価値Ｇｃが大きくなるため、鳥等の動きの速い物体が実際に写っていなくても、動きの速い物体が写っている可能性のある画像と判定されてしまうことがある。このようなことが起こる可能性は、インターバル期間が長いほど高くなる。
【０１１９】
このようなことから、第１の実施の形態では、インターバル期間が長いほど、鳥等の動きの速い物体が実際に写っている画像を採用画像に決定してしまうことを避けることが難しくなる。
【０１２０】
そこで、第３の実施の形態では、第１の実施の形態におけるインターバル期間ごとの採用画像を決定する処理を、設定されたインターバル期間より短い期間である判断期間ごとに行い、１つ以上の判断期間おきに、その判断期間における採用画像をインターバル期間ごとの正式採用画像として決定して動画エンコード対象とする。
【０１２１】
第３の実施の形態における上記の判断期間とインターバル期間との関係の一例を図１３に示す。図１３の例では、インターバル期間が２０秒間、判断期間が５秒間であり、３つの判断期間おきに採用画像をインターバル期間の正式採用画像として決定する。つまり、ある判断期間の採用画像をインターバル期間の正式採用画像として動画エンコード対象とすると、その後に続く３つの判断期間の採用画像は動画エンコード対象とはせず、４つ目の判断期間の採用画像をインターバル期間の正式採用画像とする。これを繰り返す。
【０１２２】
第３の実施の形態に係る撮影装置は、図１に示した第１の実施の形態の撮影装置１と同様の構成であるため、第３の実施の形態においても図１を用いて説明する。
【０１２３】
図１４は、第３の実施の形態において、撮影装置１で動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【０１２４】
第３の実施の形態では、インターバル撮影において、図１３に示したようなインターバル期間および判断期間が設定される。
【０１２５】
インターバル撮影が開始されると、ステップＳ４１０において、システムコントローラ９は、今回の判断期間において撮影画像として採用する採用画像を決定する処理を行う。
【０１２６】
ステップＳ４１０の処理は、第１の実施の形態で説明した図３のフローチャートの処理と実質的に同様であるため説明を省略するが、図３における「インターバル期間」を、第３の実施の形態においては「判断期間」に読み替えて適用する。ただし、この段階では、判断期間の採用画像を画像メモリ３Ｂからエンコード用画像メモリ４に送ることは行わない。
【０１２７】
ステップＳ４２０では、システムコントローラ９は、動画エンコード用の画像を採用する判断期間の採用画像が決定したか否かを判断する。ここで、インターバル撮影開始後の最初の判断期間の採用画像は、正式採用画像として動画エンコード対象とする。その後、例えば図１３の例であれば、３つの判断期間おきに、動画エンコード用の画像を採用する判断期間が到来する。
【０１２８】
動画エンコード用の画像を採用する判断期間の採用画像が決定した場合（ステップＳ４２０：ＹＥＳ）、ステップＳ４３０に進み、動画エンコード用の画像を採用する判断期間の採用画像が決定していない場合（ステップＳ４２０：ＮＯ）、ステップＳ４４０に進む。
【０１２９】
ステップＳ４３０では、システムコントローラ９は、決定した採用画像を、画像メモリ３Ｂからエンコード用画像メモリ４に送る。その後、ステップＳ４４０に進む。
【０１３０】
ステップ
Ｓ４４０では、システムコントローラ９は、操作入力部１０からの操作信号に基づき、インターバル撮影を停止するための撮影停止操作が行われたか否かを判断する。撮影停止操作が行われた場合（ステップＳ４４０：ＹＥＳ）、システムコントローラ９は、インターバル撮影を終了するよう制御する。
【０１３１】
撮影停止操作が行われていない場合（ステップＳ４４０：ＮＯ）、ステップＳ４５０において、次回の判断期間の開始のタイミングになったか否かを判断する。次回の判断期間の開始のタイミングになった場合（ステップＳ４５０：ＹＥＳ）、ステップＳ４１０に戻り、次回の判断期間で採用する画像を決定し、以降の処理を繰り返す。次回の判断期間の開始のタイミングになっていない場合（ステップＳ４５０：ＮＯ）、ステップＳ４４０に戻る。
【０１３２】
以上のような処理により、システムコントローラ９は、インターバル撮影の正式採用画像を決定し、その画像を画像メモリ３Ｂからエンコード用画像メモリ４に入れつつ、動画エンコーダ５においてＨ．２６４方式で動画エンコードを行うよう制御する。そして、システムコントローラ９は、動画エンコーダ５で生成されたビデオ符号化データと、無音データ生成部６で生成された無音データとをマルチプレクサ７でマルチプレクスし、ＡＶＣＨＤ規格のストリームとして記録部８に記録するよう制御する。
【０１３３】
このように、第３の実施の形態では、設定されたインターバル期間を複数に分割した判断期間ごとに採用画像を決定する処理を行い、正式採用画像として動画エンコード対象とする画像はインターバル期間ごとに決定することで、動きの速い物体が写っている可能性のある画像（フレーム）がインターバル撮影によって得られる動画に含まれ、再生画像に動きの速い物体がノイズのように現れることを低減することができる。第３の実施の形態は、インターバル期間が長い設定のときに有効である。
【０１３４】
例えば、第１の実施の形態の処理では、前述したように、インターバル期間が２０秒間のように長い設定の場合よりも、５秒間のように短い設定の場合のほうが、動きの速い物体が写っている画像をインターバル撮影の採用画像に決定してしまうことを避けることができる可能性が高い。第３の実施の形態では、第１の実施の形態と同様の処理により５秒間の判断期間の採用画像とした画像から、正式採用画像として動画エンコード対象とする画像を２０秒間のインターバル期間ごとに決定するので、インターバル期間を２０秒間として第１の実施の形態の処理を行う場合よりも、動きの速い物体が写っている可能性のある画像がインターバル撮影の動画に含まれる可能性を低減できる。
【０１３５】
なお、インターバル期間が判断期間の整数倍になるような設定にすることが好ましいが、そうでなくても第３の実施の形態の方法は適用可能である。例えば、設定されたインターバル期間Ｉ＝２０秒間のとき、判断期間Ｈ＝３秒間として、６Ｅ、６Ｅ、７Ｅの期間でそれぞれ１枚の正式採用画像を決定し、この周期を繰り返すようにしてもよい。この場合、インターバル撮影の時間間隔が一定ではなくなるが、撮影対象がゆっくり変化するものであれば、その時間軸上の誤差は、動画としたときには無視できる程度である。
【０１３６】
なお、第３の実施の形態においても、撮影装置に直接動画を記録する構成に限らず、第１の実施の形態の変形例のように、静止画を記録するようにしてもよい。
【０１３７】
上記各実施の形態およびその変形例に係る撮影装置の有する機能をプログラムによりコンピュータに実現させるようにしてもよい。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワーク等を介して伝送されてコンピュータに取り込まれてもよい。
【符号の説明】
【０１３８】
１，１Ａ，１Ｂ  撮影装置
２  撮影部
３Ａ，３Ｂ，３Ｃ，１２１Ａ，１２１Ｂ，１２１Ｃ  画像メモリ
４  エンコード用画像メモリ
５  動画エンコーダ
６  無音データ生成部
７  マルチプレクサ
８  記録部
９  システムコントローラ
１０  操作入力部
１１  静止画エンコーダ
１２  候補画像保存部
２１  レンズ
２２  撮像素子
２３  信号処理部
２４  タイミングジェネレータ（ＴＧ）
【図１】
2011244336.tif 000003
【図２】
2011244336.tif 000004
【図３】
2011244336.tif 000005
【図４】
2011244336.tif 000006
【図５】
2011244336.tif 000007
【図６】
2011244336.tif 000008
【図７】
2011244336.tif 000009
【図８】
2011244336.tif 000010
【図９】
2011244336.tif 000011
【図１０】
2011244336.tif 000012
【図１１】
2011244336.tif 000013
【図１２】
2011244336.tif 000014
【図１３】
2011244336.tif 000015
【図１４】
2011244336.tif 000016