(57)【要約】【課題】本開示は、より効果的なスローモーション映像を実現する。【解決手段】本開示の撮像装置は、第１のフレームレートで駆動して撮像データを出力する撮像センサと、撮像センサから出力される第１のフレームレートの撮像データに基づいて、第１のフレームレートのＮ分の１倍（Ｎは整数）の第２のフレームレートの動画像データを生成する一方、所定の指示がなされたフレーム区間については、撮像センサから出力される第１のフレームレートの撮像データに基づいて、第１のフレームレートの動画像データを生成し、生成された第１のフレームレートの動画像データと、生成された第２のフレームレートの動画像データを一連の動画像データとして処理する画像処理部と、を備える。【選択図】図４
2015122734.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートで駆動して撮像データを出力する撮像センサと、
前記撮像センサから出力される前記第１のフレームレートの前記撮像データに基づいて、前記第１のフレームレートのＮ分の１倍（Ｎは整数）の第２のフレームレートの動画像データを生成する一方、所定の指示がなされたフレーム区間については、前記撮像センサから出力される前記第１のフレームレートの前記撮像データに基づいて、前記第１のフレームレートの動画像データを生成し、
生成された前記第１のフレームレートの動画像データと、生成された前記第２のフレームレートの動画像データを一連の動画像データとして処理する画像処理部と、
を備えた撮像装置。
【請求項２】
前記画像処理部は、
前記撮像センサから出力される前記第１のフレームレートの前記撮像データの少なくとも２つのフレームの画像データを所定の方法で画素加算することにより、前記第２のフレームレートの動画像データを生成し、
前記一連の動画像データのうち、前記第１のフレームレートの動画像データに対しては第１のレベルのノイズ低減処理を行う一方、前記第２のフレームレートの動画像データに対しては前記第１のレベルよりも低い第２のレベルのノイズ低減処理を行う、
請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、
前記撮像センサから出力される前記第１のフレームレートの前記撮像データの少なくとも２つのフレームの画像データを所定の方法で画素加算することにより、前記第２のフレームレートの動画像データを生成し、
前記一連の動画像データのうち、前記第１のフレームレートの動画像データに対してはノイズ低減処理を行う一方、前記第２のフレームレートの動画像データに対してはノイズ低減処理を行わない、
請求項１に記載の撮像装置。
【請求項４】
表示部を更に備え、
前記一連の動画像データを前記第１のフレームレート又は前記第２のフレームレートのいずれか一方のフレームレートで前記表示部に再生表示する、
請求項１から３のいずれかに記載の撮像装置。
【請求項５】
所定の指示がなされたフレーム区間については、撮像センサから出力される第１のフレームレートの撮像データに基づいて、前記第１のフレームレートの動画像データを生成するステップと、
前記所定の指示がないフレーム区間については、前記撮像センサから出力される前記第１のフレームレートの撮像データに基づいて、前記第１のフレームレートのＮ分の１倍（Ｎは整数）の第２のフレームレートの動画像データを生成するステップと、
生成された前記第１のフレームレートの動画像データと生成された前記第２のフレームレートの動画像データを一連の動画像データとして処理するステップと、
を有する撮像方法。
【請求項６】
前記第１のフレームレートの動画像データを生成するステップでは、生成される前記第１のフレームレートの動画像データに対してノイズ低減処理を行い、
前記第２のフレームレートの動画像データを生成するステップでは、前記撮像センサから出力される前記第１のフレームレートの撮像データの少なくとも２つのフレームの画像データを所定の方法で画素加算する、
請求項５に記載の撮像方法。
【請求項７】
前記第１のフレームレートの動画像データを生成するステップでは、生成される前記第１のフレームレートの動画像データに対して第１のレベルのノイズ低減処理を行い、
前記第２のフレームレートの動画像データを生成するステップでは、前記撮像センサから出力される前記第１のフレームレートの撮像データの少なくとも２つのフレームの画像データを所定の方法で画素加算するとともに、生成される前記第２のフレームレートの動画像データに対しては前記第１のレベルよりも低い第２のレベルのノイズ低減処理を行う、
請求項５に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
特許文献１は、表示部のフレームレートより高いフレームレートで出力する撮像部を有し、２フレーム、３フレームの加算平均の信号を記録することにより、１／２、３／４等のスピード映像を再生する撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４７７７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、より効果的なスローモーション映像を実現する撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本開示の撮像装置は、第１のフレームレートで駆動して撮像データを出力する撮像センサと、撮像センサから出力される第１のフレームレートの撮像データに基づいて、第１のフレームレートのＮ分の１倍（Ｎは整数）の第２のフレームレートの動画像データを生成する一方、所定の指示がなされたフレーム区間については、撮像センサから出力される第１のフレームレートの撮像データに基づいて、第１のフレームレートの動画像データを生成し、生成された第１のフレームレートの動画像データと、生成された第２のフレームレートの動画像データを一連の動画像データとして処理する画像処理部と、を備える。
【０００６】
また、本開示の撮像方法は、所定の指示がなされたフレーム区間については、撮像センサから出力される第１のフレームレートの撮像データに基づいて、前記第１のフレームレートの動画像データを生成するステップと、前記所定の指示がないフレーム区間については、前記撮像センサから出力される前記第１のフレームレートの撮像データに基づいて、前記第１のフレームレートのＮ分の１倍（Ｎは整数）の第２のフレームレートの動画像データを生成するステップと、生成された前記第１のフレームレートの動画像データと生成された前記第２のフレームレートの動画像データを一連の動画像データとして処理するステップと、を有する。
【発明の効果】
【０００７】
本開示によれば、より効果的なスローモーション映像を実現する撮像装置及び撮像方法を提供できる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態におけるデジタルビデオカメラの電気的構成を示すブロック図
【図２】実施の形態におけるデジタルビデオカメラのスロー区間を含む動画記録のフローチャート
【図３】実施の形態におけるデジタルビデオカメラのスロー区間を含む動画再生のフローチャート
【図４】実施の形態におけるＣＭＯＳイメージセンサの出力、記録ストリーム及び再生データの関係を示す模式図
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
以下、実施の形態における撮像装置の構成及び動作について説明する。
〔１．撮像装置の電気的構成〕
図１は、実施の形態における撮像装置であるデジタルビデオカメラ１００の電気的構成を示すブロック図である。デジタルビデオカメラ１００は、１以上のレンズからなる光学系１１０を備える。光学系１１０は被写体からの光により被写体像をＣＭＯＳイメージセンサ１４０上に形成する。形成された被写体像を撮像センサであるＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０は撮像した被写体像に基づいて画像データを生成する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、Ａ／Ｄコンバータ（ＡＤＣ）１５０でデジタル信号に変換された後、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。
【００１２】
実施の形態における光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４により構成される。ズームレンズ１１１を光軸１１０Ｘに沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ１１３を光軸１１０Ｘに沿って移動させることにより被写体像のフォーカスを調整することができる。また、手振れ補正レンズ１１２は、光学系１１０の光軸１１０Ｘに垂直な面内で移動可能である。デジタルビデオカメラ１００のブレを打ち消す方向に手振れ補正レンズ１１２を移動することで、デジタルビデオカメラ１００のブレが撮像画像に与える影響を低減できる。また、絞り１１４は光軸１１０Ｘ上に位置する開口部１１４Ａを有し、ユーザの設定に応じて若しくは自動で開口部１１４Ａの大きさを調整し、透過する光の量を調整する。
【００１３】
レンズ駆動部１２０は、ズームレンズ１１１を駆動するズームアクチュエータや、手振れ補正レンズ１１２を駆動する手振れ補正アクチュエータや、フォーカスレンズ１１３を駆動するフォーカスアクチュエータや、絞り１１４を駆動する絞りアクチュエータを含む。そして、レンズ駆動部１２０は、上記のズームアクチュエータや、フォーカスアクチュエータや、手振れ補正アクチュエータや、絞りアクチュエータを制御する。
【００１４】
ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像してアナログ信号であるアナログ画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。ＣＭＯＳイメージセンサ１４０は、毎秒６０フレーム（６０ｆｐｓ）或いは、毎秒１２０フレーム（１２０ｆｐｓ）で撮像データを出力することができる。
【００１５】
Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル信号であるデジタル画像データに変換する。
【００１６】
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。
【００１７】
画像処理部１６０は、区間スロー撮影モードにおいて通常速度撮影のときと高速度撮影のときとで、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力される撮像データに対する画像処理を切り替える。通常速度撮影モードのときは、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０から毎秒６０フレームで出力される動画像データに基づき、毎秒６０フレームの動画像データを生成する。そして、区間スロー撮影モードにおける通常速度撮影時は、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力される撮像データに対して、連続する２つのフレーム毎に１回の加算合成処理を施し、毎秒６０フレームの動画像データを生成する（以下、「フレーム加算合成モード」と称する。）。そして、制御部１８０は、生成された毎秒６０フレームの動画像データをメモリカード２００に記録する。一方、区間スロー撮影モードにおける高速度撮影時は、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力される撮像データに対して加算合成処理を施すことなく、毎秒６０フレームで再生される動画像データを生成する（以下、「フレーム非加算合成モード」と称する。）。そして、制御部１８０は、生成された動画像データをメモリカード２００に記録する。ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力された撮像データに対して加算合成処理等を行わず、全フレームを記録して動画像データを生成するので、１／２倍速の動画像データを実現することができる。
【００１８】
なお、本実施の形態では、ＣＭＯＳイメージセンサ１４０から出力される撮像データは毎秒１２０フレームであるが、これに限らず、毎秒１８０フレーム（１８０ｆｐｓ）、毎秒２４０フレーム（２４０ｆｐｓ）というように、毎秒６０フレームのＮ倍に設定してもよい。この場合、加算合成処理を施すことなく、全フレームを記録して毎秒６０フレームで再生される動画像データを生成すると、１／３倍速、１／４倍速というように１／Ｎ倍速の動画ストリームとなる。
【００１９】
制御部１８０は、デジタルビデオカメラ１００全体を制御する。制御部１８０は半導体素子などで実現できる。制御部１８０はハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１８０は、マイコンなどで実現できる。
【００２０】
バッファ１７０は、画像処理部１６０及び制御部１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００２１】
カードスロット１９０はメモリカード２００を着脱可能に保持する。カードスロット１９０は機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００はフラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納できる。
【００２２】
内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶する。
【００２３】
操作部材２１０はユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、ユーザからの操作を受け付ける十字キーや決定釦等を含む。操作部材２１０は、動画記録開始／停止を指示するための動画記録釦、通常速度の動画記録中にスロー記録を指示するための区間スロー釦、動画像データの動画再生開始／停止を指示するための動画再生釦などを含む。動画記録釦、区間スロー釦及び動画再生釦は、それぞれ、動画記録、スロー記録及び動画再生での開始指示と停止指示とを兼用する釦である。但し、これに限定されず、開始指示の釦と停止指示の釦とを別々に備えてもよい。動画記録釦、区間スロー釦及び動画再生釦は、デジタルビデオカメラ１００の外装に備わるハードキーでもよいし、表示モニタ２２０の画面２２０Ａに表示される釦アイコンがタッチパネル２２０Ｂを介して操作されるソフトキーであってもよい。
【００２４】
表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成された画像データが示す画像や、メモリカード２００から読み出された画像データが示す画像を表示できる画面２２０Ａを有する。表示モニタ２２０は、メモリカード２００に記録された毎秒６０フレームの動画像データを、毎秒６０フレームで再生する。これにより、通常速度撮影時に、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力された撮像データに対して加算合成処理を行って生成された毎秒６０フレームの動画像データは、通常速度で再生される。一方、高速度撮影時に、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力された撮像データに対して加算合成処理を行わず生成された動画像データは、１／２倍速で再生される。
【００２５】
また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も画面２２０Ａに表示できる。表示モニタ２２０の画面２２０Ａ上にはタッチパネル２２０Ｂが配置されている。タッチパネル２２０Ｂはユーザによりタッチされて各種タッチ操作を受け付けることができる。タッチパネル２２０Ｂに対するタッチ操作が示す指示は制御部１８０に通知され各種処理が行われる。
【００２６】
角速度センサ２５０は、手振れ等に起因してデジタルビデオカメラ１００に発生した角速度を検出する。角速度センサ２５０が検出した角速度は制御部１８０に通知される。制御部１８０は、角速度センサ２５０から通知された角速度により、デジタルビデオカメラ１００に発生した角速度に基づく画像のブレを解消するよう手振れ補正レンズ１１２を駆動させることができる。
〔２．デジタルビデオカメラ１００の動作〕
続いて、図２から図４を用いて、デジタルビデオカメラ１００の動画記録動作及び動画再生動作について説明する。
【００２７】
〔２−１．動画記録動作〕
図２及び図４を用いて、デジタルビデオカメラ１００の動画記録動作を説明する。図２は、デジタルビデオカメラ１００のスロー区間を含む動画記録のフローチャートである。また、図４は、ＣＭＯＳイメージセンサ１４０の出力、記録ストリーム及び再生データの関係を示す模式図である。
【００２８】
デジタルビデオカメラ１００の電源がオン（ＯＮ）されると、制御部１８０は、デジタルビデオカメラ１００を構成する各部に必要な電力を供給する。電力の供給を受けて、光学系１１０を構成する各レンズ、ＣＭＯＳイメージセンサ１４０などの各構成は、動作可能な状態に初期設定を完了する。
【００２９】
デジタルビデオカメラ１００は、動画記録を行うための動画記録モードと、動画再生を行うための動画再生モードとを有している。デジタルビデオカメラ１００が動画記録モードに設定されているとき、デジタルビデオカメラ１００の電源のＯＮにともなって、ＣＭＯＳイメージセンサ１４０は被写体像の撮像を開始する。これにより、表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０が生成した撮像データに基づくスルー画像を表示する。ユーザは、表示モニタ２２０に表示されるスルー画像を見ながら、画角等を判断し、動画記録の開始に好適なタイミングで操作部材２１０の動画記録釦を押下する。
【００３０】
図２に示すように、制御部１８０は、動画記録釦が押下されたか否かを監視している（ステップＳ２００）。動画記録釦が押下されるまで、制御部１８０はステップＳ２００の状態で待機する。動画記録釦が押下されると（ステップＳ２００の「Ｙｅｓ」）、制御部１８０は、ＣＭＯＳイメージセンサ１４０の撮像画像に基づく動画像データのメモリカード２００への記録を画像処理部１６０に開始させる（ステップＳ２０１）。メモリカード２００に動画像データを書き込む前に、一旦、動画像データを、バッファ１７０に蓄積しておいてもよい。このとき、バッファ１７０に蓄積された動画像データが、一定量を超えたときに、制御部１８０は、この超えた動画像データをメモリカード２００に書き込むようにしてもよい。
【００３１】
ステップＳ２０１の記録開始を受けて、制御部１８０は、記録する動画像データのフレーム数のカウントを開始する（ステップＳ２０２）。このとき、図４の「記録ストリーム」に示すように、制御部１８０は、最初に記録されるフレームに第１番の番号を付ける。そして、制御部１８０は、この第１番のフレームから記録される順番に従ってフレームに連続の番号を付けていく。従って、例えば、第８１６番の番号が付けられたフレームは、制御部１８０が第８１６番目であるとカウントしたフレームとなる。
【００３２】
ユーザにより区間スロー釦が押下されるまでは、画像処理部１６０は、図４に示すように、ＣＭＯＳイメージセンサ１４０が毎秒１２０フレームで出力するデータに対して加算合成処理を行い（フレーム加算合成モード）、単位時間当たりのフレーム数を１／２にした毎秒６０フレームの動画像データを生成し、メモリカード２００への記録を継続する（ステップＳ２０３）。
【００３３】
ここで、加算合成処理は、本実施の形態では、図４に示すように、ＣＭＯＳイメージセンサ１４０が毎秒１２０フレームで出力する撮像データの連続する２つのフレーム（偶数番目のフレームと奇数番目のフレーム）を、１つのフレームに合成して記録ストリームに記録している。
【００３４】
制御部１８０は、動画像データの記録が継続しているとき、区間スロー釦が押下されたか否かを監視している（ステップＳ２０４）。制御部１８０は、操作部材２１０の区間スロー釦が押下されると（ステップＳ２０４の「Ｙｅｓ」）、スロー区間情報（スロー区間の開始フレーム（図４に示す例では第４番フレーム）の番号）を、記録中の動画像データを管理する管理情報に書き込む（ステップＳ２０５）。この管理情報は、記録された動画像データを再生するときに必要となる情報である。管理情報には、記録日時情報、記録モード情報、スロー区間情報、サムネイル画像などが含まれている。管理情報は、動画像データのメモリカード２００への記録とともに、メモリカード２００に記録される。管理情報のメモリカード２００への記録にあたっては、動画像データの場合と同様に、一旦、バッファ１７０に記録してもよい。このときは、制御部１８０は、スロー区間情報を、バッファ１７０に記録された管理情報に書き込む。そして、制御部１８０は、バッファ１７０に記録された管理情報を定期的にメモリカード２００に書き込むようにしてもよい。
【００３５】
ステップＳ２０４にて、区間スロー釦が押下されたと判断したので、制御部１８０は、フレーム加算合成モードから、フレーム非加算合成モードへとモードを切り替える。そして、画像処理部１６０は、加算合成を行わず、ＣＭＯＳイメージセンサ１４０が出力する撮像データの全フレームに対してＮＲ（Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）処理を実施する（ステップＳ２０６）。すなわち、画像処理部１６０は、フレーム加算合成モードの動画像データ（図４における第１番フレームから第３番フレーム、第１４番フレームから第１６番フレーム）に対してはＮＲ処理を実施しないが、フレーム非加算合成モードの動画像データ（図４における第４番フレームから第１３番フレーム）に対してはＮＲ処理を施す。
【００３６】
ここで、フレーム非加算合成モードでＮＲ処理を行う理由について説明する。フレーム加算合成モードの動画像データは、２つのフレームの動画像データが加算合成されたことにより、非加算合成モードの動画像データと比べてＳ／Ｎ比が改善されている。そのため、加算合成された動画像データと加算合成されていない動画像データとが一連となった動画像データを再生した場合、加算合成された動画像データから加算合成されていない動画像データへと切り替わるつなぎ目で、再生される画像にＳ／Ｎ比の差を原因とした違和感が発生してしまう。そこで、フレーム非加算合成モードの動画像データはＮＲ処理が行われる。これにより、加算合成された動画像データと加算合成されていない動画像データとのＳ／Ｎ比の差を少なくし、両動画像データのつなぎ目での違和感を低減させることができる。
【００３７】
そして、ステップＳ２０７に進み、制御部１８０は、操作部材２１０の区間スロー釦が押下されるまで、図４に示すように、フレーム非加算合成モードによる記録を継続する。
【００３８】
このとき、高速度撮影を行っているため、制御部１８０は、フレーム非加算合成モードでの記録中の音声データを無音としてメモリカード２００に記録してもよいし、高速度撮影に対応した速度の音声を作成してメモリカード２００に記録してもよい。
【００３９】
高速度撮影を行っている間、制御部１８０は、区間スロー釦が押下されたか否かを監視している（ステップＳ２０８）。区間スロー釦が押下された場合（ステップＳ２０８の「Ｙｅｓ」）、制御部１８０は、区間スロー釦が押下されたタイミングに対応したフレームの番号を、スロー区間情報（スロー区間の終了フレーム（図４に示す例では第１３番フレーム）の番号）として、管理情報に書き込む（ステップＳ２０９）。
【００４０】
そして、ステップＳ２０３に戻り、制御部１８０は、フレーム非加算合成モードをフレーム加算合成モードに切り替える。そして、制御部１８０は、次に操作部材２１０の区間スロー釦が押下されるまで、フレーム加算合成モードによる記録を継続する。
【００４１】
記録停止動作は、操作部材２１０の動画記録釦の押下によってなされる。記録停止動作は割り込み動作であり、動画記録釦の押下を受けて、動画記録中の適切なタイミングで実施される。これにより、制御部１８０は、動画記録釦が押下されると、動画像データのメモリカード２００への記録を停止する。
【００４２】
フレーム非加算合成モードによる高速度撮影中（ステップＳ２０７）に、操作部材２１０の動画記録釦が押下された場合は、上述のステップＳ２０８で区間スロー釦が押下された場合と同様に、制御部１８０は、動画記録釦が押下されたタイミングに対応したフレームの番号を、スロー区間情報として、管理情報に書き込む。その後、制御部１８０は、動画像データのメモリカード２００への記録を停止する。
【００４３】
〔２−２．動画再生動作〕
図３及び図４を用いて、デジタルビデオカメラ１００の動画再生動作を説明する。図３は、デジタルビデオカメラ１００のスロー区間を含む動画再生のフローチャートである。
【００４４】
デジタルビデオカメラ１００が動画再生モードに設定されたとき、制御部１８０は、メモリカード２００に記録された管理情報からサムネイル画像を読み出す。これにより、表示モニタ２２０は、読み出されたサムネイル画像の一覧画面を表示する。ユーザは、表示モニタ２２０に表示されるサムネイル画像の一覧画面から任意の１つのサムネイル画像を選択することで、再生対象とする動画像データを決定する。
【００４５】
制御部１８０は、動画再生釦が押下されたか否かを監視している（ステップＳ３００）。制御部１８０は、動画再生釦が押下されると（ステップＳ３００の「Ｙｅｓ」）、選択された再生対象の動画像データの動画ストリームをメモリカード２００から読み出し、画像処理部１６０での再生処理を開始する（ステップＳ３０１）。制御部１８０は、再生する動画ストリームをメモリカード２００から読み出す読出部としての役割を有する。なお、動画再生釦の押下によらず、再生対象とする動画像データの選択により、再生処理を開始してもよい。
【００４６】
続いて、制御部１８０は、再生対象の動画像データを管理する管理情報からスロー区間情報（開始フレーム及び終了フレームの情報）を読み込む（ステップＳ３０２）。これにより、制御部１８０は、再生対象の動画像データが記録されたときに、どのフレーム区間において高速度撮影がなされたのかを把握することができる。換言すると、高速度撮影により記録されたスロー区間の開始フレームの番号と終了フレームの番号とを把握することができる。
【００４７】
ステップＳ３０１の再生開始を受けて、制御部１８０は、再生する動画像データのフレーム数のカウントを開始する（ステップＳ３０３）。このとき、制御部１８０は、図４の「再生データ」に示すように、最初に再生されるフレームに第１番の番号を付ける。そして、制御部１８０は、この第１番フレームから再生される順番に従って連続した番号を付けていく。従って、例えば、第８１６番が付けられたフレームは、制御部１８０が８１６番目であるとカウントしたフレームとなる。
【００４８】
スロー区間における動画像データの再生ではない場合、制御部１８０は、図４に示すように、再生対象の動画像データ（図４における第１番フレームから第３番フレーム）に対してフレーム補間を施すことなく、画像処理部１６０での再生を行う（ステップＳ３０４）。この区間は、スロー区間ではなく通常速度区間であり、等倍速の再生が行われる。
【００４９】
制御部１８０は、管理情報から取得したスロー区間情報（開始フレーム及び終了フレームの番号）と、フレーム数のカウント結果とを受けて、再生対象の動画像データの再生が、スロー区間に到達したか否かを監視している（ステップＳ３０５）。スロー区間に到達していないと判断したときは（ステップＳ３０５の「Ｎｏ」）、制御部１８０は、ステップＳ３０４の再生動作を継続する。
【００５０】
一方、再生対象の動画像データの再生が、スロー区間（図４における第４番フレームから第１３番フレームの区間）に到達したと判断した場合（Ｓ３０５の「Ｙｅｓ」）、画像処理部１６０は、再生対象の動画像データ（６０ｆｐｓ）を構成する各フレームの間に、時系列で前後するフレームに基づいて新たに生成したフレームを補間する処理を施す。例えば、図４に示すように、第４番フレームと第５番フレームとの間に１フレームを補間するために、第４番フレーム及び第５番フレームの動画像データに基づいて、１つのフレームを構成する動画像データが生成される。フレームを補間する方法は、時系列で前後するフレームに基づいて新たにフレームを生成する方法以外の方法を採用してもよい。例えば、各フレームを再生する時間を、２倍、３倍のように単純に倍数で、長くする方法でもよい。また、再生する時間を単純に倍数で長くする方法に加えて、時系列で前後するフレームに基づいて新たにフレームを生成する方法を行ってもよい。
【００５１】
本実施の形態では、再生対象の動画像データを構成する各フレームの間に、時系列で前後するフレームに基づいて新たに生成した１フレームを補間するので、スロー区間における再生対象の動画像データは、再生時に２倍のデータ量になる。そして、上記〔２−１．動画記録動作〕で説明したように、記録ストリームのスロー区間に記録されている動画像データのデータ量は、毎秒１２０フレームであるので、フレーム補間処理により、スロー区間において再生されるデータ量は、その２倍の毎秒２４０フレームになる。表示モニタ２２０は、この毎秒２４０フレームのデータ量を持つ動画像データを、毎秒６０フレームで再生し表示する。その結果、再生される動画は、再生速度が１／４倍速のスローモーションになる。
【００５２】
このように、本実施の形態では、フレーム補間処理を施さない場合に１／２倍速で再生される毎秒１２０フレームで撮影されたスロー区間のフレームに対して、フレーム数を２倍にするフレーム補間処理を施し、１／４倍速のスローモーション再生を行っている。但し、上述のように、フレーム補間処理の方法を変更してデータ量を３倍、４倍にすれば、再生速度はそれぞれ１／６倍速、１／８倍速となる。また、ＣＭＯＳイメージセンサ１４０が出力するフレームレートを毎秒１８０フレーム、毎秒２４０フレームとし、データ量を２倍にするフレーム補間処理を施すと、再生速度はそれぞれ１／６倍速、１／８倍速となる。
【００５３】
また、本実施の形態では、毎秒６０フレームで再生し表示するが、例えば、１２０フレームで再生し表示してもよい。この場合、スロー区間の再生速度は、１／２倍速となる。
【００５４】
ステップＳ３０５に戻り、スロー区間の再生動作を行っている間、制御部１８０は、管理情報から取得したスロー区間情報（開始フレーム及び終了フレームの番号）と、フレーム数のカウント結果とを受けて、再生対象の動画像データが、スロー区間内であるか否かを監視している。スロー区間の動画像データを未だ再生していると判断したときは（ステップＳ３０５の「Ｙｅｓ」）、制御部１８０は、ステップＳ３０６の再生動作を継続する。
【００５５】
一方、スロー区間が終了したと判断したとき（ステップＳ３０５の「Ｎｏ」）、制御部１８０は、再生対象の動画像データを構成する各フレームの間にフレームを補間する処理を終了し、フレーム補間を施さない再生動作に復帰する（ステップＳ３０４）。図４に示す例では、終了フレームである第１３番フレームでスロー区間が終了し、第１４番フレーム以降は通常速度区間となり、等倍速の再生が行われる。
【００５６】
再生停止動作は、操作部材２１０の動画再生釦の押下によってなされる。再生停止動作は割り込み動作であり、動画再生釦の押下を受けて、再生動作中の適切なタイミングで実施される。これにより、制御部１８０は、再生開始後に操作部材２１０の動画再生釦が押下されると、表示モニタ２２０への動画像データの再生を停止する。
【００５７】
〔３．他の実施形態〕
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００５８】
上記では、区間スロー撮影モードにおいて通常速度の動画像データを生成する際に、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０から毎秒１２０フレームで出力される撮像データから連続する２つのフレーム毎に１回の加算合成処理を施して、毎秒６０フレームの動画像データを生成したが、加算合成処理を実施することなく、フレームの間引き処理にて毎秒６０フレームの動画像データを生成してもよい。但し、このときは、スロー区間のフレームと、それ以外の区間のフレームとで、Ｓ／Ｎ比は同等であるため、ＮＲ処理を施さなくてもよい。
【００５９】
上記では、加算合成される動画像データに対してはＮＲ処理を施さず、加算合成されない動画像データに対してはＮＲ処理を施す場合を説明したが、これに限定されない。すなわち、加算合成される動画像データに対しては、第１のレベルのＮＲ処理を施し、加算合成されない動画像データに対しては、第１のレベルよりも高い第２のレベルのＮＲ処理を施すようにしてもよい。夜景を撮影するときなど、被写体画像の照度が不足するような場合は、このようにフレーム加算合成モードとフレーム非加算合成モードとで、ＮＲ処理のレベルを切り分けることも有効である。これにより、加算合成される動画像データと加算合成されない動画像データとのＳ／Ｎ比の差を少なくし、加算合成される動画像データから加算合成されない動画像データへと切り替わるつなぎ目での違和感を低減させることができる。なお、ＮＲ処理のレベルの調整は、例えば帰還係数を調整することで行うことで実現できる。ＮＲ処理は２次元ＮＲ処理、３次元ＮＲ処理など、ノイズ低減する方法であればいずれも適用することができる。
【００６０】
上記では、ＮＴＳＣ信号形式等を想定して、１２０ｆｐｓから６０ｆｐｓへと加算合成した例を示したが、本開示はこれに限定されない。例えば、ＰＡＬ信号形式の場合は１００ｆｐｓから５０ｆｐｓへ１／２に加算合成してもよい。
【００６１】
上記では、ＣＭＯＳイメージセンサ１４０が出力する毎秒１２０フレームの撮像データから、毎秒６０フレームの動画像データを生成する場合を説明したが、これに限定されない。ＣＭＯＳイメージセンサ１４０が出力する毎秒１２０フレームの撮像データから、毎秒３０フレームの画像を生成するようにしてもよい。また、ＣＭＯＳイメージセンサ１４０の出力は毎秒１２０フレームでなくてもよい。要するに、ＣＭＯＳイメージセンサ１４０から出力される第１のフレームレートの撮像データに基づいて、第１のフレームレートのＮ分の１倍（Ｎは整数）の第２のフレームレートの動画像データを生成するようにすればよい。
【００６２】
上記実施の形態では、再生動作時に、制御部１８０は、メモリカード２００から管理情報を取得し、管理情報に含まれるスロー区間情報を把握した。これによって、再生動作において、制御部１８０は、スローモーション再生を実現することができた。しかしながら、スロー区間で記録した動画像データをフレーム補間しながら再生するためには、再生機器が、管理情報にどのようにスロー区間情報が埋め込まれているかを認識し、かつ、フレーム補間の機能を有している必要がある。すなわち、スロー区間情報が把握できず、フレーム補間の機能を有しない機器では、スローモーション再生を実現することができないという問題が生じる。このため、フレーム補間の機能を有しない機器での再生を考慮し、スロー区間にフレーム補完の処理を行った上でその動画像データを記録する機能（トランスコード）によって、このような機器でもスローモーション再生できるような動画像データを生成するようにしてもよい。
【００６３】
上記実施の形態では、制御部１８０は、操作部材２１０の動画記録釦の押下後に区間スロー釦が押下される場合を説明したが、本開示はこれに限定されない。すなわち、制御部１８０は、動画記録釦の押下前に区間スロー釦が押下されていた場合には、最初の第１番のフレームからフレーム非加算合成モードで記録を開始するようにしてもよい。このとき、管理情報に含まれるスロー区間情報が示す開始フレームの番号が第１番となることは言うまでもない。
【００６４】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【００６５】
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００６６】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００６７】
本開示における撮像装置は、デジタルビデオカメラや、デジタルスチルカメラや、カメラ機能付携帯電話や、カメラ機能付スマートフォン等に適用できる。
【符号の説明】
【００６８】
１００    デジタルビデオカメラ（撮像装置）
１１０    光学系
１１１    ズームレンズ
１１２    手振れ補正レンズ
１１３    フォーカスレンズ
１１４    絞り
１２０    レンズ駆動部
１４０    ＣＭＯＳイメージセンサ（撮像センサ）
１５０    Ａ／Ｄコンバータ
１６０    画像処理部
１７０    バッファ
１８０    制御部
１９０    カードスロット
２００    メモリカード
２１０    操作部材
２２０    表示モニタ
２４０    内部メモリ
２５０    角速度センサ
【図１】
2015122734.tif 000003
【図２】
2015122734.tif 000004
【図３】
2015122734.tif 000005
【図４】
2015122734.tif 000006