(57)【要約】【課題】ノイズを好適に軽減して動画像を多彩な再生速度で再生する。【解決手段】撮像装置１００であって、一のシーンに係る連続した複数の画像フレームを保存する記録媒体４と、記録媒体に保存されている複数の画像フレームのうち、所定数の画像フレームを加算合成して再生用フレームＨを逐次生成する画像処理部２と、画像処理部により逐次生成された再生用フレームＨを所定の再生フレームレートで切り換えて動画像を再生する表示部３と、指示された動画像の再生速度に応じて画像処理部により加算合成される画像フレーム数を設定する制御部８とを備える。【選択図】図１
2010045609.tif 000002
【特許請求の範囲】
【請求項１】
一のシーンに係る連続した複数の画像フレームを記憶する記憶手段と、
前記記憶手段に記憶されている前記複数の画像フレームのうち、所定数の画像フレームを加算合成して再生用フレームを逐次生成するフレーム生成手段と、
前記フレーム生成手段により逐次生成された再生用フレームを所定の再生フレームレートで切り換えて動画像を再生する再生手段と、
前記再生手段による前記動画像の再生速度を任意に指示する速度指示手段と、
前記速度指示手段により指示された前記再生速度に応じて前記フレーム生成手段により加算合成される画像フレーム数を設定するフレーム数設定手段と、
を備えることを特徴とする動画再生装置。
【請求項２】
前記フレーム数設定手段は、前記再生速度が変更されても前記再生手段による再生フレームレートを一定とするように前記フレーム生成手段により加算合成される画像フレーム数を設定することを特徴とする請求項１に記載の動画再生装置。
【請求項３】
前記速度指示手段は、異なる複数段階の前記再生速度の中で、何れかの段階の再生速度を指示することを特徴とする請求項２に記載の動画再生装置。
【請求項４】
前記フレーム生成手段は、所定数の画像フレームを加算合成して前記再生用フレームのダイナミックレンジを拡大させるダイナミックレンジ拡大手段を備えることを特徴とする請求項１〜３の何れか一項に記載の動画再生装置。
【請求項５】
前記記憶手段は、前記所定の再生フレームレートよりも高速の撮像フレームレートで撮像された前記複数の画像フレームを記憶し、
前記再生手段は、前記再生フレームレートを前記撮像フレームレートよりも低速のフレームレートとして前記動画像を再生することを特徴とする請求項１〜４の何れか一項に記載の動画再生装置。
【請求項６】
前記再生手段は、前記再生フレームレートを前記低速のフレームレートまで低下させながら前記動画像を再生することを特徴とする請求項５に記載の動画再生装置。
【請求項７】
前記再生手段は、前記再生用フレームを前記所定の再生フレームレートで切り換えて、前記速度指示手段により指示された第１の再生速度で前記動画像を再生する第１の再生モードか、或いは、前記記憶手段に記憶されている前記複数の画像フレームを前記撮像フレームレートと等しいフレームレートで切り換えて、前記第１の再生速度よりも低速の第２の再生速度で前記動画像を再生する第２の再生モードで再生可能とされ、
さらに、前記再生手段による再生モードとして、前記第１の再生モードか前記第２の再生モードの何れか一方を選択指示する選択指示手段を備えることを特徴とする請求項１に記載の動画再生装置。
【請求項８】
前記再生手段は、さらに、前記記憶手段に記憶されている前記複数の画像フレームを前記撮像フレームレートと等しいフレームレートで切り換えて、前記第１の再生速度で前記動画像を再生する第３の再生モードで再生可能とされ、
前記選択指示手段は、前記再生手段による再生モードとして、前記第１の再生モード、前記第２の再生モード及び前記第３の再生モードのうち、何れか一を選択指示することを特徴とする請求項７に記載の動画再生装置。
【請求項９】
前記記憶手段は、前記所定の再生フレームレートよりも高速の撮像フレームレートで撮像された前記複数の画像フレームを記憶し、
前記速度指示手段は、前記再生手段による前記動画像の再生の際に、前記再生速度を任意に指示し、
さらに、前記再生手段による前記動画像の再生の際に、前記フレーム生成手段により生成される前記再生用フレームの前記所定の再生フレームレートを前記撮像フレームレートよりも低速側で任意に指示するフレームレート指示手段を備えることを特徴とする請求項１に記載の動画再生装置。
【請求項１０】
一のシーンを所定の撮像フレームレートで撮像して、連続した複数の画像フレームを生成する撮像手段と、
前記撮像手段により生成された前記複数の画像フレームを記憶する記憶手段と、
前記記憶手段に記憶されている前記複数の画像フレームのうち、所定数の画像フレームを加算合成して再生用フレームを逐次生成するフレーム生成手段と、
前記フレーム生成手段により逐次生成された再生用フレームを所定の再生フレームレートで切り換えて動画像を再生する再生手段と、
前記再生手段による前記動画像の再生速度を任意に指示する速度指示手段と、
前記速度指示手段により指示された前記再生速度に応じて前記フレーム生成手段により加算合成される画像フレーム数を設定するフレーム数設定手段と、
を備えることを特徴とする撮像装置。
【請求項１１】
一のシーンに係る連続した複数の画像フレームを記憶する記憶手段を備えるコンピュータを、
前記記憶手段に記憶されている前記複数の画像フレームのうち、所定数の画像フレームを加算合成して再生用フレームを逐次生成するフレーム生成手段、
前記フレーム生成手段により逐次生成された再生用フレームを所定の再生フレームレートで切り換えて動画像を再生する再生手段、
指示された前記再生手段による動画像の再生速度に応じて前記フレーム生成手段により加算合成される画像フレーム数を設定するフレーム数設定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を再生する動画再生装置、撮像装置及びプログラムに関する。
【背景技術】
【０００２】
従来、一のシーンを所定の撮像フレームレート（例えば、３０ｆｐｓ、あるいは６０ｆｐｓ）で撮像して連続した複数の画像フレームを生成し、当該複数の画像フレームを所定の再生フレームレートで切り換えて動画像を再生可能なデジタルカメラが知られている。
また、近年では、従来よりも高速な撮像フレームレート（例えば、２４０ｆｐｓ）での動画像の撮影が可能なデジタルカメラが開発されている。係るデジタルカメラで撮影した画像をスロー再生すると、従来のカメラよりも時間分解能の高い超スロー再生を実現することができる。
【０００３】
さらに、スローモーションやハイスピードモーション効果を得るために、動画像の再生時に再生フレームレートや再生速度を変更制御する記録再生装置も知られている（例えば、特許文献１参照）。
【特許文献１】特開２００２−３２０２０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、撮像フレームレートを高速にすればするほど、１フレーム当たりの露光時間が短くなってしまう。このため、動画像の再生速度を変更する場合に、上記特許文献１のように、所定の撮像フレームレートに対して再生速度に応じた係数を乗じて所定の再生フレームレートとして画像フレームを再生しても、高速な撮像フレームレートの撮影においては、大幅な増感処理が必要となって、ノイズが重畳した映像となり易くなってしまうといった問題がある。
【０００５】
そこで、本発明の課題は、ノイズを好適に軽減して動画像を多彩な再生速度で再生することができる動画再生装置、撮像装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明の動画再生装置は、
一のシーンに係る連続した複数の画像フレームを記憶する記憶手段と、前記記憶手段に記憶されている前記複数の画像フレームのうち、所定数の画像フレームを加算合成して再生用フレームを逐次生成するフレーム生成手段と、前記フレーム生成手段により逐次生成された再生用フレームを所定の再生フレームレートで切り換えて動画像を再生する再生手段と、前記再生手段による前記動画像の再生速度を任意に指示する速度指示手段と、前記速度指示手段により指示された前記再生速度に応じて前記フレーム生成手段により加算合成される画像フレーム数を設定するフレーム数設定手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の動画再生装置において、
前記フレーム数設定手段は、前記再生速度が変更されても前記再生手段による再生フレームレートを一定とするように前記フレーム生成手段により加算合成される画像フレーム数を設定することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の動画再生装置において、
前記速度指示手段は、異なる複数段階の前記再生速度の中で、何れかの段階の再生速度を指示することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の動画再生装置において、
前記フレーム生成手段は、所定数の画像フレームを加算合成して前記再生用フレームのダイナミックレンジを拡大させるダイナミックレンジ拡大手段を備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の動画再生装置において、
前記記憶手段は、前記所定の再生フレームレートよりも高速の撮像フレームレートで撮像された前記複数の画像フレームを記憶し、前記再生手段は、前記再生フレームレートを前記撮像フレームレートよりも低速のフレームレートとして前記動画像を再生することを特徴としている。
【００１１】
請求項６に記載の発明は、請求項５に記載の動画再生装置において、
前記再生手段は、前記再生フレームレートを前記低速のフレームレートまで低下させながら前記動画像を再生することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項１に記載の動画再生装置において、
前記再生手段は、前記再生用フレームを前記所定の再生フレームレートで切り換えて、前記速度指示手段により指示された第１の再生速度で前記動画像を再生する第１の再生モードか、或いは、前記記憶手段に記憶されている前記複数の画像フレームを前記撮像フレームレートと等しいフレームレートで切り換えて、前記第１の再生速度よりも低速の第２の再生速度で前記動画像を再生する第２の再生モードで再生可能とされ、さらに、前記再生手段による再生モードとして、前記第１の再生モードか前記第２の再生モードの何れか一方を選択指示する選択指示手段を備えることを特徴としている。
【００１３】
請求項８に記載の発明は、請求項７に記載の動画再生装置において、
前記再生手段は、さらに、前記記憶手段に記憶されている前記複数の画像フレームを前記撮像フレームレートと等しいフレームレートで切り換えて、前記第１の再生速度で前記動画像を再生する第３の再生モードで再生可能とされ、前記選択指示手段は、前記再生手段による再生モードとして、前記第１の再生モード、前記第２の再生モード及び前記第３の再生モードのうち、何れか一を選択指示することを特徴としている。
【００１４】
請求項９に記載の発明は、請求項１に記載の動画再生装置において、
前記記憶手段は、前記所定の再生フレームレートよりも高速の撮像フレームレートで撮像された前記複数の画像フレームを記憶し、前記速度指示手段は、前記再生手段による前記動画像の再生の際に、前記再生速度を任意に指示し、さらに、前記再生手段による前記動画像の再生の際に、前記フレーム生成手段により生成される前記再生用フレームの前記所定の再生フレームレートを前記撮像フレームレートよりも低速側で任意に指示するフレームレート指示手段を備えることを特徴としている。
【００１５】
請求項１０に記載の発明の撮像装置は、
一のシーンを所定の撮像フレームレートで撮像して、連続した複数の画像フレームを生成する撮像手段と、前記撮像手段により生成された前記複数の画像フレームを記憶する記憶手段と、前記記憶手段に記憶されている前記複数の画像フレームのうち、所定数の画像フレームを加算合成して再生用フレームを逐次生成するフレーム生成手段と、前記フレーム生成手段により逐次生成された再生用フレームを所定の再生フレームレートで切り換えて動画像を再生する再生手段と、前記再生手段による前記動画像の再生速度を任意に指示する速度指示手段と、前記速度指示手段により指示された前記再生速度に応じて前記フレーム生成手段により加算合成される画像フレーム数を設定するフレーム数設定手段と、を備えることを特徴としている。
【００１６】
請求項１１に記載の発明のプログラムは、
一のシーンに係る連続した複数の画像フレームを記憶する記憶手段を備えるコンピュータを、前記記憶手段に記憶されている前記複数の画像フレームのうち、所定数の画像フレームを加算合成して再生用フレームを逐次生成するフレーム生成手段、前記フレーム生成手段により逐次生成された再生用フレームを所定の再生フレームレートで切り換えて動画像を再生する再生手段、指示された前記再生手段による動画像の再生速度に応じて前記フレーム生成手段により加算合成される画像フレーム数を設定するフレーム数設定手段、として機能させることを特徴としている。
【発明の効果】
【００１７】
本発明によれば、動画像の再生速度を任意に変更してもノイズを好適に軽減した当該動画像を再生することができる。
【発明を実施するための最良の形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１９】
本実施形態の撮像装置（動画再生装置）１００は、ユーザにより指示された動画像の再生速度に応じて再生用フレームＨ（図７等参照）の生成に係る画像フレームＧ（図７等参照）の加算合成数を設定する。そして、撮像装置１００は、当該設定後の加算合成数の画像フレームＧを加算合成して再生用フレームＨを逐次生成する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、画像処理部２と、記録媒体制御部３と、記録媒体４と、表示部５と、操作入力部６と、バッファメモリ７と、制御部８を備えて構成されている。
【００２０】
撮像部１は、撮像手段として、一のシーンを所定の撮像フレームレート、例えば、２４０ｆｐｓで連続して撮像して複数の画像フレームＧ、…を生成する。具体的には、図示は省略するが、撮像部１は、例えば、撮像レンズと、撮像レンズを通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部と、電子撮像部の制御や、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）の制御などを行う撮像制御部等を備えている。
そして、撮影制御部は、電子撮像部に所定の撮像フレームレートに対応した露出時間で被写体を撮像させ、当該電子撮像部の撮像領域から画像フレームＧを所定の撮像フレームレートで逐次読み出した後、読み出した画像フレーム（画像データ）Ｇをバッファメモリ７に逐次転送して格納する。
【００２１】
画像処理部２は、動画像の撮影の際に、バッファメモリ７に保存された画像データを読み出し、ＹＣｂＣｒ画像生成、画像補正処理などを行った後、例えば、ＭＰＥＧ形式で画像圧縮処理を施してバッファメモリ７に転送して格納する。
【００２２】
また、画像処理部２は、動画像の再生の際に、記録媒体４に保存されている画像圧縮処理が施された動画像データを読み出して、当該動画像データの伸長処理を所定のフレームレートで行った後、バッファメモリ７に転送して格納する。
さらに、画像処理部２は、制御部８のＣＰＵ（後述）の制御下にて、バッファメモリ７に伸長処理された動画像データが所定フレーム分溜まる度に複数フレーム加算処理を行う。つまり、画像処理部２は、所定数の画像フレームＧを画素毎に加算して一の再生用フレームＨを生成し、その後、明るさ補正などの処理を行う。そして、画像処理部２は、生成された一の再生用フレームＨをバッファメモリ７に転送して格納する。
【００２３】
このように、画像処理部２は、所定数の画像フレームＧを加算合成することにより、一の明るい画像（再生用フレームＨ）を生成することができる。
また、所定数の画像フレームのうちから一の画像フレームのみを取り出して増感処理を行って明るくした場合に比べて、再生用フレームＨの画像のノイズ成分も少なくすることができる。例えば、図２（ａ）及び図２（ｂ）に示すように、一の画像フレームの増感処理を行った場合には、被写体を明るくすることができるが、ノイズ成分も増加してしまうため、Ｓ／Ｎ比は向上しない。これに対して、所定数の画像フレーム（例えば、図３（ａ）〜図３（ｃ）の３つの画像フレーム）を加算合成した場合には、被写体の信号Ｓ１の位置は略同じであるのに対してノイズ成分の信号Ｎの位置は異なることから、加算合成により被写体の信号Ｓ２（Ｓ１＋Ｓ１＋Ｓ１）のみを増加させてＳ／Ｎ比を向上させることができる（図３（ｄ）参照）。
ここで、画像処理部２及びＣＰＵは、は、所定数の画像フレームＧを加算合成して再生用フレームＨを逐次生成するフレーム生成手段、及び、当該再生用フレームＨのダイナミックレンジを拡大させるダイナミックレンジ拡大手段として機能する。
【００２４】
記録媒体制御部３は、動画像の撮影の際に、バッファメモリ７に格納されている画像圧縮処理後の動画像データを読み出して、記録媒体４に保存させる制御を行う。
【００２５】
記録媒体４は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成されている。また、記録媒体４は、記憶手段として、撮像部１により高速の撮像フレームレート、例えば、２４０ｆｐｓで撮像された一のシーンに係る連続した複数の画像フレームＧ、…からなる動画像データを記憶する。
【００２６】
表示部５は、図示は省略するが、例えば、液晶などの画像表示部と、この画像表示部への画像フレームＧの表示を制御する表示制御部等を備えている。そして、撮像部１により撮像される画像フレームＧを所定のフレームレートで逐次更新しながらライブビュー画像表示する。
また、表示部５は、動画像の再生の際に、ＣＰＵの制御下にて、フレーム生成処理（後述）にて逐次生成された再生用フレームＨを所定の再生フレームレートで切り換えて動画像を再生する。
ここで、表示部５及びＣＰＵは、動画像を再生する再生手段を構成している。
【００２７】
操作入力部６は、当該撮像装置１００の所定操作を行うためのものである。具体的には、図示は省略するが、操作入力部６は、撮像部１による被写体の記録を指示するシャッターボタンや、各種動作モードや各種項目の選択を行う上下左右のカーソルボタンや、これらカーソルボタンにより選択された動作モードや項目の決定を指示する決定ボタン等を備えている。
【００２８】
なお、動作モードとしては、例えば、所定サイズの静止画像を撮影する静止画撮影モードや、所定のフレームレートで動画を撮影する動画撮影モード等が挙げられる。
そして、ユーザにより所定の動作モード（例えば、動画撮影モード等）が選択されると、当該動作モードの設定指示を入力回路（図示略）を介して制御部８のＣＰＵに出力する。ＣＰＵは、設定指示が入力されると、各部を制御して当該動作モードに応じた処理を行う。
【００２９】
また、操作入力部６は、速度指示手段として、動画像の再生速度を任意に指示する。
ここで、動画像の再生速度としては、例えば、撮影された一のシーンの現実の動きと等しい速度で動画像を再生する「通常再生」、現実の動きの１／２倍の速度で動画像を再生する「スロー再生」、現実の動きの１／４倍の速度で動画像を再生する「超スロー再生」、現実の動きの１．５倍の速度で動画像を再生する「早送り再生」等が規定されている。そして、操作入力部６は、これら異なる複数段階の再生速度の中で、何れかの段階の再生速度を指示する。
具体的には、ユーザにより動画像の所定の再生速度（例えば、スロー再生等）が選択されると、当該再生速度の設定指示を入力回路を介して制御部８のＣＰＵに出力する。ＣＰＵは、設定指示が入力されると、各部を制御して当該再生速度に応じた処理を行う。
なお、動画像の再生速度として、「通常再生」、「スロー再生」、「超スロー再生」、「早送り再生」を例示したが、現実の一のシーンの動きに対する倍速度合いや称呼等は一例であってこれらに限られるものではなく、適宜任意に変更することができる。
【００３０】
バッファメモリ７は、例えば、フラッシュメモリ等により構成され、ＣＰＵによって処理されるデータ等を一時記憶する。
【００３１】
制御部８は、撮像装置１００の各部を制御するものである。具体的には、図示は省略するが、制御部８は、ＣＰＵと、プログラムメモリ等を備えている。
【００３２】
ＣＰＵは、プログラムメモリに記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。
【００３３】
プログラムメモリは、ＣＰＵの動作に必要な各種プログラムやデータを記憶するものである。このプログラムは、後述するフレーム数設定処理ルーチン、フレーム生成制御処理ルーチン、再生制御処理ルーチンを含む。
ここでいうルーチンとは、コンピュータのプログラムの部分をなし、ある機能をもった一連の命令群のことである。
【００３４】
フレーム数設定処理ルーチンは、ＣＰＵをフレーム数設定手段として機能させるためのプログラム部分である。即ち、フレーム数設定処理ルーチンは、ユーザによる操作入力部６の所定操作に基づいて指示された動画像の再生速度に応じて、再生用フレームＨの生成の際に画像処理部２により加算合成される画像フレーム数を設定するフレーム数設定処理に係る機能をＣＰＵに実現させるための命令群を含む。
具体的には、このフレーム数設定処理ルーチンにより、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて指示された動画像の再生速度が変更されても表示部５による再生フレームレートを、例えば、６０ｆｐｓで一定となるように画像処理部２により加算合成される画像フレーム数を設定する。例えば、動画像の再生速度として、「通常再生」が指示された場合には、画像処理部２による２４０ｆｐｓでの伸長処理後の画像フレームＧの加算合成数を「４」に設定し、また、「スロー再生」が指示された場合には、画像処理部２による１２０ｆｐｓでの伸長処理後の画像フレームＧの加算合成数を「２」に設定し、また、「超スロー再生」が指示された場合には、画像処理部２による６０ｆｐｓでの伸長処理後の画像フレームＧの加算合成数を「１」に設定し、また、「早送り再生」が指示された場合には、画像処理部２による３６０ｆｐｓでの伸長処理後の画像フレームＧの加算合成数を「６」に設定する。
ここで、「超スロー再生」が指示された場合に、画像処理部２による画像フレームＧの加算合成数を「１」に設定するとは、画像処理部２により伸長処理された各画像フレームＧを再生用フレームＨとして適用するということである。
なお、上記した「通常再生」、「スロー再生」、「超スロー再生」、「早送り再生」にて加算合成される画像フレーム数は、一例であってこれらに限られるものではなく、適宜任意に変更することができる。
【００３５】
フレーム生成制御処理ルーチンは、ＣＰＵをフレーム生成手段として機能させるためのプログラム部分である。即ち、フレーム生成制御処理ルーチンは、画像処理部２に、記録媒体４に保存されている複数の画像フレームＧ、…のうち、所定数の画像フレームＧを加算合成して再生用フレームＨを逐次生成させる複数フレーム加算処理に係る機能をＣＰＵに実現させるための命令群を含む。
このフレーム生成制御処理ルーチンにより、ＣＰＵは、例えば、動画像の再生速度が「通常再生」の場合には、画像処理部２に４つの画像フレームＧを加算合成して一の再生用フレームＨを生成させ、また、「スロー再生」の場合には、画像処理部２に２つの画像フレームＧを加算合成して一の再生用フレームＨを生成させ、また、「早送り再生」の場合には、６つの画像フレームＧを加算合成して一の再生用フレームＨを生成させる。
【００３６】
再生制御処理ルーチンは、ＣＰＵを再生手段として機能させるためのプログラム部分である。即ち、再生制御処理ルーチンは、表示部５に、画像処理部２により逐次生成された再生用フレームＨを所定の再生フレームレート、例えば、６０ｆｐｓで切り換えて動画像を再生させる処理に係る機能をＣＰＵに実現させるための命令群を含む。
【００３７】
図４〜図６、図８及び図９、図１１及び図１２、図１４及び図１５は、撮像装置１００の全体の動作を説明するためのフローチャートであるとともに、プログラムメモリに記憶されたプログラムのアルゴリズム構造を示すフローチャートである。実際に使用するＣＰＵに対応した具体的なプログラムコードの記載は省略するが、このフローチャート（アルゴリズム構造）に基づいて適宜設計すればよい。
次に、動画像撮影処理について図４を参照して説明する。
図４は、撮像装置１００による動画像撮影処理に係る動作の一例を示すフローチャートである。
【００３８】
本実施形態の撮像装置１００は、高速な撮像フレームレート、例えば、２４０ｆｐｓでの動画撮影を行う。
具体的には、図４に示すように、先ず、ユーザによりシャッターボタンが所定操作されると（ステップＳ１）、ＣＰＵは、撮像部１、画像処理部２、記録媒体制御部３に高速なフレームレート（例えば、２４０ｆｐｓ）での動画像の撮影開始を指示する。
撮像部１は、２４０ｆｐｓで動画像を撮影して複数の画像フレームＧ、…を生成して、生成された画像フレームＧをバッファメモリ７に逐次転送して格納する（ステップＳ２）。続けて、画像処理部２は、バッファメモリ７に保存された画像フレームＧを読み出し、例えば、ＭＰＥＧ形式で画像圧縮処理を施して動画像データとしてバッファメモリ７に転送して格納する（ステップＳ３）。
その後、記録媒体制御部３は、バッファメモリ７に格納されている画像圧縮処理後の動画像データを読み出して、記録媒体４に保存させる（ステップＳ４）。
【００３９】
次に、ＣＰＵは、再度ユーザによりシャッターボタンが所定操作されたか否かを判定し（ステップＳ５）、シャッターボタンが所定操作されていない場合には（ステップＳ５；ＮＯ）、ステップＳ２に戻り、それ以降の処理を繰り返し実行する。
そして、ステップＳ５にて、ユーザによりシャッターボタンが再度所定操作されると（ステップＳ５；ＹＥＳ）、ＣＰＵは、撮像部１、画像処理部２、記録媒体制御部３に動画像の撮影終了を指示する（ステップＳ６）。
【００４０】
なお、動画像の撮影中、撮像部１は、被写体の明るさに合わせて必要最小限の増感処理を行うようになっている。
即ち、再生フレームレートを例えば、６０ｆｐｓとした場合に、４倍高速な撮像フレームレート（２４０ｆｐｓ）で撮影を行っているため、十分な明るさで撮影するためには、６０ｆｐｓにおけるゲインの４倍のゲインアップ(増感処理)が必要になる。しかしながら、ゲインアップの際のアンプ回路のノイズや非線形歪などが重畳する可能性も考えられることから、ゲインアップは必要最小限としている。
なお、必要最小限とは、２４０ｆｐｓで撮影した場合に、真っ暗な映像にならない程度であり、実験によって適切に設定すればよい。
【００４１】
次に、撮像装置１００による動画像の再生処理について図５〜図１６を参照して説明する。
先ず、通常再生処理について図５〜図７を参照して説明する。
図５及び図６は、撮像装置１００による通常再生処理に係る動作の一例を示すフローチャートである。また、図７は、通常再生処理を説明するための図である。
【００４２】
通常再生処理は、撮影された一のシーンの現実の動きと等しい速度で動画像を再生する処理である。
具体的には、図５に示すように、先ず、ユーザによる操作入力部６の所定操作に基づいて動画像の「通常再生」が指示されると（ステップＳ１１）、ＣＰＵは、画像処理部２及び記録媒体制御部３に対して２４０ｆｐｓでの動画再生開始を指示し、記録媒体制御部３は、記録媒体４から動画像データを２４０ｆｐｓで読み出してバッファメモリ７に格納する（ステップＳ１２）。次に、画像処理部２は、記録媒体制御部３が格納した動画像データを読み出して、圧縮処理が施されている当該動画像データの伸長処理を２４０ｆｐｓで行った後、バッファメモリ７に転送して格納する（ステップＳ１３；図７参照）。
【００４３】
そして、ＣＰＵは、フレーム生成制御処理ルーチンにより、バッファメモリ７に伸長処理された動画像データの画像フレームＧが４フレーム分溜まる度に、画像処理部２に、４つの画像フレームＧを画素毎に加算して一の再生用フレームＨを生成させる（ステップＳ１４）。その後、画像処理部２は、明るさ補正などの処理を行った後、生成された一の再生用フレームＨをバッファメモリ７に転送して格納する。
【００４４】
続けて、ＣＰＵは、再生制御処理ルーチンにより、バッファメモリ７から再生用フレームＨを読み出し、表示部５の画面サイズに合わせた解像度変換を行った後、６０ｆｐｓで再生用フレームＨを切り換えて表示部５に動画像を再生させる（ステップＳ１５；図７参照）。
【００４５】
次に、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて動画像の再生速度の変更が指示されたか否かを判定し（ステップＳ１６）、変更指示がない場合には（ステップＳ１６；ＮＯ）、ユーザによる操作入力部６の所定操作に基づいて動画像の再生終了が指示されているか否かを判定する（ステップＳ１７）。
ここで、動画像の再生終了が指示されていない場合には（ステップＳ１７；ＮＯ）、ステップＳ１２に戻り、それ以降の処理を繰り返し実行する。
そして、ステップＳ１７にて、動画像の再生終了が指示されると（ステップＳ１７；ＹＥＳ）、ＣＰＵは、画像処理部２、記録媒体制御部３に動画像の通常再生の終了を指示する（ステップＳ１８）。
【００４６】
一方、ステップＳ１６にて、ユーザによる操作入力部６の所定操作に基づいて動画像の再生速度の変更が指示されると（ステップＳ１６；ＹＥＳ）、指示された再生速度に応じて分岐する（ステップＳ１９）。
図６に示すように、動画像の再生速度として、「スロー再生」が指示されると、スロー再生処理に移行し（ステップＳ１Ａ）、また、「超スロー再生」が指示されると、超スロー再生処理に移行し（ステップＳ１Ｂ）、また、「早送り再生」が指示されると、早送り再生処理に移行する（ステップＳ１Ｃ）。
【００４７】
以下に、ステップＳ１９にて、「スロー再生」が指示されてスロー再生処理に移行した場合について（ステップＳ１Ａ）、図８〜図１０を参照して説明する。
図８及び図９は、撮像装置１００によるスロー再生処理に係る動作の一例を示すフローチャートである。また、図１０は、スロー再生処理を説明するための図である。
【００４８】
スロー再生処理は、撮影された一のシーンの現実の動きの１／２倍の速度で動画像を再生する処理である。
具体的には、図８に示すように、動画像の再生速度として、「スロー再生」が指示されると、ＣＰＵは、画像処理部２及び記録媒体制御部３に対して、撮像フレームレート（２４０ｆｐｓ）の１／２倍に相当する１２０ｆｐｓでの動画再生開始を指示し、記録媒体制御部３は、記録媒体４から動画像データを１２０ｆｐｓで読み出してバッファメモリ７に格納する（ステップＳ２１）。次に、画像処理部２は、記録媒体制御部３が格納した動画像データを読み出して、圧縮処理が施されている当該動画像データの伸長処理を１２０ｆｐｓで行った後、バッファメモリ７に転送して格納する（ステップＳ２２；図１０参照）。
【００４９】
そして、ＣＰＵは、フレーム生成制御処理ルーチンにより、バッファメモリ７に伸長処理された動画像データの画像フレームＧが２フレーム分溜まる度に、画像処理部２に、２つの画像フレームＧを画素毎に加算して一の再生用フレームＨを生成させる（ステップＳ２３）。その後、画像処理部２は、明るさ補正などの処理を行った後、生成された一の再生用フレームＨをバッファメモリ７に転送して格納する。
【００５０】
続けて、ＣＰＵは、再生制御処理ルーチンにより、バッファメモリ７から再生用フレームＨを読み出し、表示部５の画面サイズに合わせた解像度変換を行った後、６０ｆｐｓで再生用フレームＨを切り換えて表示部５に動画像を再生させる（ステップＳ２４；図１０参照）。
【００５１】
次に、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて動画像の再生速度の変更が指示されたか否かを判定し（ステップＳ２５）、変更指示がない場合には（ステップＳ２５；ＮＯ）、ユーザによる操作入力部６の所定操作に基づいて動画像の再生終了が指示されているか否かを判定する（ステップＳ２６）。
ここで、動画像の再生終了が指示されていない場合には（ステップＳ２６；ＮＯ）、ステップＳ２１に戻り、それ以降の処理を繰り返し実行する。
そして、ステップＳ２６にて、動画像の再生終了が指示されると（ステップＳ２６；ＹＥＳ）、ＣＰＵは、画像処理部２、記録媒体制御部３に動画像のスロー再生の終了を指示する（ステップＳ２７）。
【００５２】
一方、ステップＳ２５にて、ユーザによる操作入力部６の所定操作に基づいて動画像の再生速度の変更が指示されると（ステップＳ２５；ＹＥＳ）、指示された再生速度に応じて分岐する（ステップＳ２８）。
図９に示すように、動画像の再生速度として、「通常再生」が指示されると、通常再生処理に移行し（ステップＳ２Ａ）、また、「超スロー再生」が指示されると、超スロー再生処理に移行し（ステップＳ２Ｂ）、また、「早送り再生」が指示されると、早送り再生処理に移行する（ステップＳ２Ｃ）。
【００５３】
以下に、ステップＳ１９やステップＳ２８にて、「超スロー再生」が指示されて超スロー再生処理に移行した場合について（ステップＳ１Ｂ、ステップＳ２Ｂ）、図１１〜図１３を参照して説明する。
図１１及び図１２は、撮像装置１００による超スロー再生処理に係る動作の一例を示すフローチャートである。また、図１３は、超スロー再生処理を説明するための図である。
【００５４】
超スロー再生処理は、撮影された一のシーンの現実の動きの１／４倍の速度で動画像を再生する処理である。
具体的には、図１１に示すように、動画像の再生速度として、「超スロー再生」が指示されると、ＣＰＵは、画像処理部２及び記録媒体制御部３に対して、撮像フレームレート（２４０ｆｐｓ）の１／４倍に相当する６０ｆｐｓでの動画再生開始を指示し、記録媒体制御部３は、記録媒体４から動画像データを６０ｆｐｓで読み出してバッファメモリ７に格納する（ステップＳ３１）。次に、画像処理部２は、記録媒体制御部３が格納した動画像データを読み出して、圧縮処理が施されている当該動画像データの伸長処理を６０ｆｐｓで行った後、バッファメモリ７に転送して格納する（ステップＳ３２；図１３参照）。
【００５５】
そして、バッファメモリ７に伸長処理された動画像データの画像フレームＧが１フレーム溜まる度に、画像処理部２は、当該画像フレームＧに対して明るさ補正などの処理を行った後、再生用フレームＨとしてバッファメモリ７に転送して格納する。続けて、ＣＰＵは、再生制御処理ルーチンにより、バッファメモリ７から再生用フレームＨを読み出し、表示部５の画面サイズに合わせた解像度変換を行った後、６０ｆｐｓで再生用フレームＨを切り換えて表示部５に動画像を再生させる（ステップＳ３３；図１３参照）。
【００５６】
次に、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて動画像の再生速度の変更が指示されたか否かを判定し（ステップＳ３４）、変更指示がない場合には（ステップＳ３４；ＮＯ）、ユーザによる操作入力部６の所定操作に基づいて動画像の再生終了が指示されているか否かを判定する（ステップＳ３５）。
ここで、動画像の再生終了が指示されていない場合には（ステップＳ３５；ＮＯ）、ステップＳ３１に戻り、それ以降の処理を繰り返し実行する。
そして、ステップＳ３５にて、動画像の再生終了が指示されると（ステップＳ３５；ＹＥＳ）、ＣＰＵは、画像処理部２、記録媒体制御部３に動画像の超スロー再生の終了を指示する（ステップＳ３６）。
【００５７】
一方、ステップＳ３４にて、ユーザによる操作入力部６の所定操作に基づいて動画像の再生速度の変更が指示されると（ステップＳ３４；ＹＥＳ）、指示された再生速度に応じて分岐する（ステップＳ３７）。
図１２に示すように、動画像の再生速度として、「通常再生」が指示されると、通常再生処理に移行し（ステップＳ３Ａ）、また、「スロー再生」が指示されると、スロー再生処理に移行し（ステップＳ３Ｂ）、また、「早送り再生」が指示されると、早送り再生処理に移行する（ステップＳ３Ｃ）。
【００５８】
以下に、ステップＳ１９やステップＳ２８やステップＳ３７にて、「早送り再生」が指示されて早送り再生処理に移行した場合について（ステップＳ１Ｃ、ステップＳ２Ｃ、ステップＳ３Ｃ）、図１４〜図１６を参照して説明する。
図１４及び図１５は、撮像装置１００による早送り再生処理に係る動作の一例を示すフローチャートである。また、図１６は、早送り再生処理を説明するための図である。
【００５９】
早送り再生処理は、撮影された一のシーンの現実の動きの１．５倍の速度で動画像を再生する処理である。
具体的には、図１４に示すように、動画像の再生速度として、「早送り再生」が指示されると、ＣＰＵは、画像処理部２及び記録媒体制御部３に対して、撮像フレームレート（２４０ｆｐｓ）の１．５倍に相当する３６０ｆｐｓでの動画再生開始を指示し、記録媒体制御部３は、記録媒体４から動画像データを３６０ｆｐｓで読み出してバッファメモリ７に格納する（ステップＳ４１）。次に、画像処理部２は、記録媒体制御部３が格納した動画像データを読み出して、圧縮処理が施されている当該動画像データの伸長処理を３６０ｆｐｓで行った後、バッファメモリ７に転送して格納する（ステップＳ４２；図１６参照）。
【００６０】
そして、ＣＰＵは、フレーム生成制御処理ルーチンにより、バッファメモリ７に伸長処理された動画像データの画像フレームＧが６フレーム分溜まる度に、画像処理部２に、６つの画像フレームＧを画素毎に加算して一の再生用フレームＨを生成させる（ステップＳ４３）。その後、画像処理部２は、明るさ補正などの処理を行った後、生成された一の再生用フレームＨをバッファメモリ７に転送して格納する。
【００６１】
続けて、ＣＰＵは、再生制御処理ルーチンにより、バッファメモリ７から再生用フレームＨを読み出し、表示部５の画面サイズに合わせた解像度変換を行った後、６０ｆｐｓで再生用フレームＨを切り換えて表示部５に動画像を再生させる（ステップＳ４４；図１６参照）。
【００６２】
次に、ＣＰＵは、ユーザによる操作入力部６の所定操作に基づいて動画像の再生速度の変更が指示されたか否かを判定し（ステップＳ４５）、変更指示がない場合には（ステップＳ４５；ＮＯ）、ユーザによる操作入力部６の所定操作に基づいて動画像の再生終了が指示されているか否かを判定する（ステップＳ４６）。
ここで、動画像の再生終了が指示されていない場合には（ステップＳ４６；ＮＯ）、ステップＳ４１に戻り、それ以降の処理を繰り返し実行する。
そして、ステップＳ４６にて、動画像の再生終了が指示されると（ステップＳ４６；ＹＥＳ）、ＣＰＵは、画像処理部２、記録媒体制御部３に動画像の早送り再生の終了を指示する（ステップＳ４７）。
【００６３】
一方、ステップＳ４５にて、ユーザによる操作入力部６の所定操作に基づいて動画像の再生速度の変更が指示されると（ステップＳ４５；ＹＥＳ）、指示された再生速度に応じて分岐する（ステップＳ４８）。
図１５に示すように、動画像の再生速度として、「通常再生」が指示されると、通常再生処理に移行し（ステップＳ４Ａ）、また、「スロー再生」が指示されると、スロー再生処理に移行し（ステップＳ４Ｂ）、また、「超スロー再生」が指示されると、超スロー再生処理に移行する（ステップＳ４Ｃ）。
【００６４】
そして、ステップＳ１６やステップＳ２５やステップＳ３４やステップＳ４５にて、動画像の再生速度の変更が指示される毎に、通常再生処理、スロー再生処理、超スロー再生処理、早送り再生処理の中で、指示された再生速度に応じた処理を繰り返し実行する。
なお、上記した通常再生処理、スロー再生処理、超スロー再生処理、早送り再生処理の順序は、一例であって適宜任意に変更することができる。
【００６５】
以上のように、本実施形態の撮像装置１００によれば、ユーザによる操作入力部６の所定操作に基づいて、異なる複数段階の再生速度の中で何れかの段階の再生速度を指示し、指示された動画像の再生速度に応じて、再生用フレームＨの生成に係る画像フレームＧの加算合成数を設定することができる。具体的には、再生速度が変更されても表示部５による再生フレームレートを６０ｆｐｓで一定とするように画像処理部２による画像フレームＧの加算合成数を設定する。
例えば、動画像の再生速度として、「通常再生」が指示された場合には、画像処理部２による２４０ｆｐｓでの伸長処理後の画像フレームＧの加算合成数を「４」に設定し、また、「スロー再生」が指示された場合には、画像処理部２による１２０ｆｐｓでの伸長処理後の画像フレームＧの加算合成数を「２」に設定し、また、「超スロー再生」が指示された場合には、画像処理部２による６０ｆｐｓでの伸長処理後の画像フレームＧの加算合成数を「１」に設定し、また、「早送り再生」が指示された場合には、画像処理部２による３６０ｆｐｓでの伸長処理後の画像フレームＧの加算合成数を「６」に設定する。
従って、再生フレームレートよりも高速の撮像フレームレートで一のシーンを撮像し、指示された再生速度に応じて所定数の画像フレームＧを画像処理部２により加算合成して再生用フレームＨのダイナミックレンジを拡大して、撮像フレームレートよりも低速の再生フレームレートで動画像を再生するので、動画像の再生速度を任意に変更しても再生用フレームＨの画像を明るくし、且つ、ノイズを好適に軽減した当該動画像を再生することができる。
【００６６】
なお、早送り再生処理にあっては、複数フレーム加算処理により生成された１フレームにおける被写体ぶれが顕著に現れる可能性があるため、各画像フレームＧの画像のズレを検出して、位置合わせなどの処理を行ってから加算するようにしても良い。
【００６７】
また、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、動画像の再生処理にて、表示部５の再生フレームレートを６０ｆｐｓで一定とするようにしたが、これに限られるものではなく、再生フレームレートを撮像フレームレートと等しくしても良い。
即ち、再生モードとして、複数フレーム加算処理により生成された再生用フレームＨを所定の再生フレームレート、例えば、６０ｆｐｓで切り換えて、通常再生速度（第１の再生速度）で動画像を再生する第１の再生モード、及び複数の画像フレームＧ、…を撮像フレームレートと等しいフレームレート、例えば、２４０ｆｐｓで切り換えて、スロー再生速度（第１の再生速度よりも低速の第２の再生速度）で動画像を再生する第２の再生モードのうち、何れか一方をユーザによる操作入力部６（選択指示手段）の所定操作に基づいて選択して、選択された再生モードで動画像を再生するようにしても良い。
これにより、第２の再生モードを選択することで、ノイズは多いが、より滑らかなスロー再生を実現することができ、より使い勝手の良い撮像装置１００を提供することができる。
【００６８】
さらに、上記の第１の再生モード及び第２の再生モードに加えて、複数の画像フレームＧ、…を撮像フレームレートと等しいフレームレート、例えば、２４０ｆｐｓで切り換えて、通常再生速度（第１の再生速度）で動画像を再生する第３の再生モードを規定して、これら第１の再生モード、第２の再生モード及び第３の再生モードのうち、何れか一をユーザによる操作入力部６（選択指示手段）の所定操作に基づいて選択して、選択された再生モードで動画像を再生するようにしても良い。
これにより、第３の再生モードを選択することで、ノイズは多いが、より滑らかな通常再生を実現することができ、より使い勝手の良い撮像装置１００を提供することができる。
【００６９】
また、上記実施形態にあっては、異なる複数段階の再生速度の中で、何れかの段階の再生速度を指示するようにしたが、これに限られるものではなく、ユーザによる操作入力部６の所定操作に基づいて再生速度を任意に指示するようにしても良い。
【００７０】
さらに、上記実施形態にあっては、異なる複数段階の再生速度の中で、何れかの段階の再生速度を指示し、表示部５の再生フレームレートを６０ｆｐｓで一定とするようにしたが、これに限られるものではなく、ユーザによる操作入力部６の所定操作に基づいて再生速度及び再生フレームレートを任意に指示するようにしても良い。
即ち、操作入力部６は、速度指示手段として、表示部５による動画像の再生速度を任意に指示するとともに、フレームレート指示手段として、複数フレーム加算処理にて生成される再生用フレームＨの再生フレームレートを撮像フレームレートよりも低速側で任意に指示するようになっている。
これにより、様々な再生速度及び再生フレームレートで動画像を再生することができるので、より多彩な再生方法を実現することができ、より使い勝手の良い撮像装置１００を提供することができる。
【００７１】
また、上記実施形態にあっては、動画像の再生処理にて、表示部５の再生フレームレートを６０ｆｐｓで一定とするようにしたが、これに限られるものではなく、動画像の再生が指示されると、撮像フレームレートよりも低速のフレームレートまで低下させながら動画像を再生するようにしても良い。即ち、撮像フレームレートである２４０ｆｐｓから再生フレームレート、例えば、６０ｆｐｓまで次第に低下させながら再生することで、より多彩な再生方法を実現することができ、より使い勝手の良い撮像装置１００を提供することができる。
【００７２】
さらに、上記実施形態にあっては、動画像データの圧縮形式として、ＭＰＥＧ形式を例示したが、これに限られるものではなく、適宜任意に変更することができる。
【００７３】
また、複数フレーム加算処理にて、撮像フレームレートを再生フレームレートに変換せずに、連続した複数の画像フレームのうち、例えば、「ｎ」〜「ｎ＋３」番目の画像フレーム、「ｎ＋１」〜「ｎ＋４」番目の画像フレーム、「ｎ＋２」〜「ｎ＋５」番目の画像フレームといったように、画像フレームをだぶって加算して再生用フレームＨを生成するようにしても良い。これにより、ノイズを軽減した高速の再生フレームレート、例えば、２４０ｆｐｓの再生用フレームＨが生成される。
このとき、動画像のスロー再生が指示された場合には、隣合う再生用フレームＨどうしの間を直前の再生用フレームＨの複製フレームで補間するようにしても良い。
【００７４】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
また、動画再生装置として撮像装置１００を例示したが、これに限られるものではなく、撮像部１により生成した複数の画像データを通信手段を介して接続されたコンピュータ等の外部機器に出力して、当該外部機器にてフレーム数設定処理、複数フレーム加算処理、再生処理等を行うようにしても良い。
【００７５】
加えて、上記実施形態では、フレーム数設定手段、フレーム生成手段、再生手段としての機能を、ＣＰＵによって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
【図面の簡単な説明】
【００７６】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】従来の撮像装置による増感処理を説明するための図である。
【図３】図１の撮像装置による複数フレーム加算処理を説明するための図である。
【図４】図１の撮像装置による動画像撮影処理に係る動作の一例を示すフローチャートである。
【図５】図１の撮像装置による通常再生処理に係る動作の一例を示すフローチャートである。
【図６】図５の通常再生処理の続きを示すフローチャートである。
【図７】図５の通常再生処理を説明するための図である。
【図８】図１の撮像装置によるスロー再生処理に係る動作の一例を示すフローチャートである。
【図９】図８のスロー再生処理の続きを示すフローチャートである。
【図１０】図８のスロー再生処理を説明するための図である。
【図１１】図１の撮像装置による超スロー再生処理に係る動作の一例を示すフローチャートである。
【図１２】図１１の超スロー再生処理の続きを示すフローチャートである。
【図１３】図１１の超スロー再生処理を説明するための図である。
【図１４】図１の撮像装置による早送り再生処理に係る動作の一例を示すフローチャートである。
【図１５】図１４の早送り再生処理の続きを示すフローチャートである。
【図１６】図１４の早送り再生処理を説明するための図である。
【符号の説明】
【００７７】
１００  撮像装置
１      撮像部
２      画像処理部
４      記録媒体
５      表示部
６      操作入力部
８      制御部
【図１】
2010045609.tif 000003
【図２】
2010045609.tif 000004
【図３】
2010045609.tif 000005
【図４】
2010045609.tif 000006
【図５】
2010045609.tif 000007
【図６】
2010045609.tif 000008
【図７】
2010045609.tif 000009
【図８】
2010045609.tif 000010
【図９】
2010045609.tif 000011
【図１０】
2010045609.tif 000012
【図１１】
2010045609.tif 000013
【図１２】
2010045609.tif 000014
【図１３】
2010045609.tif 000015
【図１４】
2010045609.tif 000016
【図１５】
2010045609.tif 000017
【図１６】
2010045609.tif 000018