(57)【要約】【課題】短時間撮影でも、途中で構図が変わる動画を生成すること。【解決手段】撮像装置は、再生時よりも高速のフレームレートで被写体像を撮像する撮像手段１２と、撮像手段１２により撮像された動画像を記憶手段１３に蓄積する記憶制御手段１４と、記憶手段１３に蓄積された動画像から、異なるタイミングで撮像された複数部分の動画像をそれぞれ抽出する抽出手段１４と、抽出手段１４により抽出された各動画像ごとに構図を決定する構図決定手段１４と、抽出手段１４により抽出された各動画像から、構図決定手段１４により決定された構図に含まれる範囲をそれぞれ切り出す切り出し手段１４と、切り出し手段１４による切り出し後の複数の動画像を結合して１つの動画像を生成する結合手段１４と、を備えることを特徴とする。【選択図】図１
2014138388.tif 000002
【特許請求の範囲】
【請求項１】
再生時よりも高速のフレームレートで被写体像を撮像する撮像手段と、
前記撮像手段により撮像された動画像を記憶手段に蓄積する記憶制御手段と、
前記記憶手段に蓄積された動画像から、異なるタイミングで撮像された複数部分の動画像をそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された各動画像ごとに構図を決定する構図決定手段と、
前記抽出手段により抽出された各動画像から、前記構図決定手段により決定された構図に含まれる範囲をそれぞれ切り出す切り出し手段と、
前記切り出し手段による切り出し後の複数の動画像を結合して１つの動画像を生成する結合手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮像手段により撮像された動画像を表示手段に表示させる表示制御手段と、
前記表示手段に表示された動画像上における指示物のタッチ位置を検出するタッチ位置検出手段と、
をさらに備え、
前記構図決定手段は、前記抽出手段により抽出された各動画像ごとに、前記タッチ位置検出手段により検出されたタッチ位置に基づいて構図を決定することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記抽出手段により抽出された各動画像から人物の顔領域を検出する顔検出手段をさらに備え、
前記構図決定手段は、前記抽出手段により抽出された各動画像ごとに、前記タッチ位置検出手段により検出されたタッチ位置と前記顔検出手段により検出された顔領域とに基づいて構図を決定することを特徴とする撮像装置。
【請求項４】
請求項２または３のいずれか一項に記載の撮像装置において、
前記抽出手段は、前記タッチ位置検出手段によりタッチ位置が検出されたタイミングから所定時間分の動画像を、前記記憶手段に蓄積した動画像から抽出することを特徴とする撮像装置。
【請求項５】
請求項２〜４のいずれか一項に記載の撮像装置において、
前記構図決定手段は、前記抽出手段により抽出された各動画像ごとに、前記タッチ位置検出手段により検出されたタッチ位置におけるタッチ時間に基づいて、前記構図に含まれる範囲の大きさを決定することを特徴とする撮像装置。
【請求項６】
請求項１に記載の撮像装置において、
操作部材からの操作信号に基づいて、前記切り出し手段による切り出し後の複数の動画像の中から、少なくとも２つ以上の動画像を選択する選択手段をさらに備え、
前記結合手段は、前記選択手段により選択された動画像を結合して１つの動画像を生成することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記抽出手段により抽出された各動画像から人物の顔領域を検出する顔検出手段をさらに備え、
前記構図決定手段は、前記抽出手段により抽出された各動画像ごとに、前記顔検出手段により検出された顔領域に基づいて構図を決定することを特徴とする撮像装置。
【請求項８】
請求項６または７に記載の撮像装置において、
前記抽出手段により抽出された各動画像から動きが大きい領域を検出する動き検出手段をさらに備え、
前記構図決定手段は、前記抽出手段により抽出された各動画像ごとに、前記動き検出手段により検出された領域に基づいて構図を決定することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
再生時のフレームレートよりも高いフレームレートで動画を高速撮影するデジタルカメラが知られている（特許文献１参照）。このデジタルカメラでは、たとえば６０ｆｐｓのフレームレートで撮影した動画を３０ｆｐｓのフレームレートで再生することにより、動く被写体をゆっくりした動きで視認できるスロー動画を得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１５３７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
また、被写体の一瞬の動きをとらえた動画を撮影するために、１回の操作に応じて短時間の動画を高速撮影してスロー動画を記録する技術が知られている。しかしながらこの技術では、撮影時間が短いため、途中で構図を変えることができないという問題があった。
【課題を解決するための手段】
【０００５】
本発明による撮像装置は、再生時よりも高速のフレームレートで被写体像を撮像する撮像手段と、撮像手段により撮像された動画像を記憶手段に蓄積する記憶制御手段と、記憶手段に蓄積された動画像から、異なるタイミングで撮像された複数部分の動画像をそれぞれ抽出する抽出手段と、抽出手段により抽出された各動画像ごとに構図を決定する構図決定手段と、抽出手段により抽出された各動画像から、構図決定手段により決定された構図に含まれる範囲をそれぞれ切り出す切り出し手段と、切り出し手段による切り出し後の複数の動画像を結合して１つの動画像を生成する結合手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、短時間撮影でも、途中で構図が変わる動画を生成できる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態によるカメラの構成例を説明するブロック図である。
【図２】第１の実施の形態におけるスロー動画撮影モードを説明する図である。
【図３】第１の実施の形態におけるスロー動画撮影モードにおける表示画面を説明する図である。
【図４】第１の実施の形態におけるスロー動画を説明する図である。
【図５】第１の実施の形態におけるスロー動画撮影処理の流れを説明するフローチャートである。
【図６】第２の実施の形態によるカメラの構成例を説明するブロック図である。
【図７】第２の実施の形態におけるスロー動画撮影モードを説明する図である。
【図８】第２の実施の形態におけるスロー動画撮影モードにおける表示画面を説明する図である。
【図９】第２の実施の形態におけるカット選択モードにおける表示画面を説明する図である。
【図１０】第２の実施の形態におけるスロー動画を説明する図である。
【図１１】第２の実施の形態におけるスロー動画撮影処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００８】
−第１の実施の形態−
図面を参照して本発明を実施するための第１の実施の形態について説明する。図１は、第１の実施の形態によるデジタルカメラの構成例を説明するブロック図である。図１において、デジタルカメラは、撮像光学系１１と、撮像素子１２と、フレームバッファメモリ１３と、制御部１４と、タッチセンサー部１５と、液晶表示部１６とを備える。このデジタルカメラには、外部メモリ２０（たとえばメモリーカードなど）が着脱可能である。
【０００９】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮像光学系１１を単レンズとして図示している。
【００１０】
撮像素子１２は、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、被写体像を光電変換して画像信号を生成する。画像信号は、不図示のＡ／Ｄ変換部でデジタル信号に変換され、フレームバッファメモリ１３に一時記憶される。フレームバッファメモリ１３は、撮像された画像信号を蓄積し、蓄積した画像信号に対して順次画像処理および外部メモリ２０への記録を行えるように設けられている。
【００１１】
制御部１４は、ＣＰＵおよびその他の周辺回路等により構成され、撮像装置１全体の制御を行う。また、制御部１４は、画像処理を実行する画像処理部１４ａ、顔認識処理を実行する顔認識処理部１４ｂ、構図決定処理を実行する構図決定処理部１４ｃ、ビデオエンコード処理を実行するビデオエンコード処理部１４ｄとしても機能する。
【００１２】
画像処理部１４ａは、フレームバッファメモリ１３から読み出した画像信号に対して各種の画像処理（画素補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。顔認識処理部１４ｂは、画像処理部１４ａから出力された画像処理後の画像データに対して公知の顔認識処理を行い、画像データに含まれる人物の顔領域を検出する。構図決定処理部１４ｃは、後述するスロー動画撮影処理において、スロー動画の構図を決定する。ビデオエンコード処理部１４ｄは、画像処理部１４ａから出力された画像処理後の画像データに対してデータエンコード処理を行い、得られたデータを外部メモリ２０に記録する。
【００１３】
液晶表示部１６は、制御部１４からの指示に応じてライブビュー画像や操作メニュー画面などを表示する。なお、ライブビュー画像は、撮影指示前に撮像素子１２によって所定の撮像フレームレート（例えば３０ｆｐｓ）で繰り返し取得されるモニタ用画像のことをいう。ライブビュー画像は、撮像フレームレートと同じ表示フレームレートで表示される。したがって、ユーザは、ライブビュー画像によって撮像素子１２で撮像されている画像をリアルタイムで確認することができる。
【００１４】
液晶表示部１６の表示面上には、タッチセンサー部１５が積層されている。タッチセンサー部１５は、ユーザが指示物（例えば指やペンなど）によりタッチセンサー部１５の操作面（すなわち液晶表示部１６の表示画面上）に対してタッチ操作を行うと、この操作面上でのタッチ位置を検出し、このタッチ位置を示す検出信号を制御部１４に出力する。
【００１５】
本実施形態のデジタルカメラは、静止画を撮影する通常の静止画撮影モード、および動画を撮影する通常の動画撮影モードの他に、スロー動画を撮影するスロー動画撮影モードを有する。なお、スロー動画とは、撮像フレームレートよりも低い再生フレームレートで再生される動画である。本実施形態は、このスロー動画撮影モードに特徴を有するので、以下、この点について詳しく説明する。
【００１６】
まず、図２を用いてスロー動画撮影モードの概要について説明する。不図示のモード設定ボタンの操作によってスロー動画撮影モードに設定されると、制御部１４は、上述したライブビュー画像を液晶表示部１６に表示させる。ユーザは、ライブビュー画像を確認しながら、所望の撮影タイミングにおいて、ライブビュー画像上でスロー動画の構図の中心にしたい位置をタッチする操作（１回目のタッチ操作）を行う。
【００１７】
すると制御部１４は、スロー動画の撮影が指示されたことを認識してスロー動画撮影処理を開始し、撮像素子１２に所定の撮像フレームレート（例えば６０ｆｐｓ）で被写体像を撮像させ、取得した画像データを逐次フレームバッファメモリ１３へ蓄積する。このフレームバッファメモリ１３への画像データの蓄積は、１回目のタッチ操作から所定時間（例えば５秒）行われる。
【００１８】
また制御部１４は、１回目のタッチ操作時点から所定時間（例えば１秒）を、記録するスロー動画の第１カットとして設定し、１回目のタッチ位置に基づいて第１カットの構図を決定する（詳しくは後述する）。
【００１９】
その後、ユーザは、第２カットとして記録したい所望のタイミングで、第２カットの構図の中心にしたい位置をタッチする操作（２回目のタッチ操作）を行う。すると１回目のタッチ操作と同様に、制御部１４は、２回目のタッチ操作時点から所定時間（例えば１秒）を第２カットとして設定すると共に、２回目のタッチ位置に基づいて第２カットの構図を決定する。
【００２０】
さらにその後、ユーザは、第３カットとして記録したい所望のタイミングで、第３カットの構図の中心にしたい位置をタッチする操作（３回目のタッチ操作）を行う。すると１、２回目のタッチ操作と同様に、制御部１４は、３回目のタッチ操作時点から所定時間（例えば１秒）を第３カットとして設定すると共に、３回目のタッチ位置に基づいて第３カットの構図を決定する。
【００２１】
制御部１４は、１回目のタッチ操作時点から５秒が経過するとフレームバッファメモリ１３への画像データの蓄積を終了し、当該蓄積した画像データから上記設定した第１カット〜第３カットの動画像を抽出する。そして制御部１４は、抽出した第１カット〜第３カットの動画像をつなぎ合わせることにより、第１カット〜第３カットの動画像を連続して再生する１つの動画像を生成して、外部メモリ２０に記録する。ここで生成される動画像は、第１カット〜第３カットの動画像を撮像フレームレート（例えば６０ｆｐｓ）よりも低い再生フレームレート（例えば３０ｆｐｓ）で再生するスロー動画である。例えば、第１カット〜第３カットがそれぞれ１秒で撮像された動画像である場合は、それぞれ２秒でスロー再生される。なお、制御部１４は、フレームバッファメモリ１３へ蓄積した画像データのうち、第１カット〜第３カットとして設定しなかった部分については、外部メモリ２０に記録せずにフレームバッファメモリ１３から消去する。
【００２２】
このようにスロー動画撮影モードでは、画像の撮影中にユーザの所望に応じた構図のカットを設定して、設定したカットをつなぎ合わせたスロー動画を生成することができる。なお上述では、３つのカット（第１カット〜第３カット）を設定する例について説明したが、カット数は３つに限らず、スロー動画撮影処理中であれば何回でもタッチ操作を行ってカットを設定できるものとする。
【００２３】
次に、タッチ位置に基づいてスロー動画の構図を決定する処理について説明する。図３は、ライブビュー画像５０を表示する液晶表示部１６の表示画面を例示する図であり、図３（Ａ）はライブビュー画像５０のみが表示されている様子を示している。図３（Ｂ）は、１回目のタッチ操作を行った様子を示している。図３（Ｃ）は、２回目のタッチ操作を行った様子を示している。図３（Ｄ）は、３回目のタッチ操作を行った様子を示している。
【００２４】
１回目のタッチ操作が行われると、制御部１４の顔認識処理部１４ｂは、１回目のタッチ操作時点で撮像された画像データに対して顔認識処理を行って当該画像データに含まれる人物の顔領域を検出し、検出結果を制御部１４の構図決定処理部１４ｃに出力する。
【００２５】
構図決定処理部１４ｃは、タッチセンサー部１５から入力されたユーザのタッチ位置が、顔認識処理部１４ｂで検出された顔領域内であるか否かを判断する。構図決定処理部１４ｃは、タッチ位置が顔領域内にある場合、当該顔領域の中心を構図の中心とし且つ当該顔領域がアップとなる構図を、第１カットの構図として決定する。なお、顔領域がアップとなる構図とは、構図全体に対する顔領域の割合が例えば３０％以上となるような構図である。そして構図決定処理部１４ｃは、決定した構図の情報を画像処理部１４ａに出力すると共に、決定した構図を示す表示枠６０をライブビュー画像５０上に表示させる。例えば、図３（Ｂ）では、タッチ位置が左側の人物の顔領域ｆＬ内にあるため、左側の人物の顔領域ｆＬがアップとなる構図が決定されている。
【００２６】
ユーザによって２回目のタッチ操作が行われると、制御部１４の構図決定処理部１４ｃは、１回目のタッチ操作と同様に、タッチセンサー部１５から入力されたユーザのタッチ位置が、顔認識処理部１４ｂで検出される顔領域内であるか否かを判断する。例えば、図３（Ｃ）では、タッチ位置が右側の人物の顔領域ｆＲ内にあるため、構図決定処理部１４ｃは、右側の人物の顔領域ｆＲの中心を構図の中心として、当該顔領域ｆＲがアップとなる構図を第２カットの構図として決定する。構図決定処理部１４ｃは、１回目のタッチ操作と同様に、決定した構図の情報を画像処理部１４ａに出力すると共に、決定した構図を示す表示枠６０をライブビュー画像５０上に表示させる。
【００２７】
ユーザによって３回目のタッチ操作が行われると、制御部１４の構図決定処理部１４ｃは、１、２回目のタッチ操作と同様に、タッチセンサー部１５から入力されたユーザのタッチ位置が、顔認識処理部１４ｂで検出される顔領域内であるか否かを判断する。ここで図３（Ｄ）では、タッチ位置が顔領域外となっている。この場合、構図決定処理部１４ｃは、タッチ位置を構図の中心とし且つ上記検出された顔領域を全て含むような構図を、第３カットの構図として決定する。例えば図３（Ｄ）では、タッチ位置を構図の中心として、左側の人物の顔領域ｆＬと右側の人物の顔領域ｆＲを含む構図が決定されている。構図決定処理部１４ｃは、１、２回目のタッチ操作と同様に、決定した構図の情報を画像処理部１４ａに出力すると共に、決定した構図を示す表示枠６０をライブビュー画像５０上に表示させる。
【００２８】
１回目のタッチ操作時点から５秒が経過してフレームバッファメモリ１３への画像データの蓄積が終了されると、制御部１４の画像処理部１４ａは、フレームバッファメモリ１３から、タッチ操作によって設定された第１カット〜第３カットに対応するフレーム画像をそれぞれ読み出す。そして画像処理部１４ａは、読み出した第１カット〜第３カットに対応するフレーム画像から、構図決定処理部１４ｃで決定された第１カット〜第３カットの構図に含まれる範囲をそれぞれ切り出して、第１カット〜第３カットの動画像を生成する。そして画像処理部１４ａは、第１カット〜第３カットの動画像を連続してスロー再生する１つのスロー動画を生成する。すなわち、図４（Ａ）に示す第１カットの動画像を再生した後、図４（Ｂ）に示す第２カットの動画像を再生し、続けて図４（Ｃ）に示す第３カットの動画像を再生するスロー動画を生成する。
【００２９】
次に上述したスロー動画撮影処理の流れについて、図５のフローチャートを用いて説明する。制御部１４は、スロー動画撮影モードに設定されると、図５に示す処理を開始する。ステップＳ１において、制御部１４は、タッチセンサー部１５に対するタッチ操作が行われたか否かを判定する。タッチ操作が行われた場合は、制御部１４はステップＳ１を肯定判定してステップＳ２へ進む。一方、制御部１４は、タッチ操作が行われていない場合は、タッチ操作が行われるまでステップＳ１の判定処理を繰り返す。
【００３０】
ステップＳ２において、制御部１４は、撮像素子１２により撮像された画像データをフレームバッファメモリ１３へ蓄積する処理を開始して、ステップＳ３へ進む。
【００３１】
ステップＳ３において、制御部１４は、タッチ操作が行われた時点から所定時間分（例えば１秒）を１カットとして設定して、ステップＳ４へ進む。
【００３２】
ステップＳ４において、制御部１４は、ステップＳ３で設定した１カットの構図を、上述したようにタッチ位置に基づいて決定して、ステップＳ５へ進む。
【００３３】
ステップＳ５において、制御部１４は、再度、タッチセンサー部１５に対するタッチ操作が行われたか否かを判定する。タッチ操作が行われた場合は、制御部１４はステップＳ５を肯定判定してステップＳ３に戻り、次のカットの設定を行う。一方、制御部１４は、タッチ操作が行われていない場合は、ステップＳ５を否定判定して、ステップＳ６へ進む。
【００３４】
ステップＳ６において、制御部１４は、１回目のタッチ操作時点から所定時間（例えば５秒）が経過したことにより、フレームバッファメモリ１３への画像データの蓄積が終了したか否かを判定する。蓄積が終了した場合には、制御部１４は、ステップＳ６を肯定判定してステップＳ７へ進む。一方、蓄積が終了していない場合には、制御部１４は、ステップＳ６を否定判定してステップＳ５へ戻る。
【００３５】
ステップＳ７において、制御部１４は、フレームバッファメモリ１３に蓄積した動画像データからステップＳ３で設定した各カットに対応する動画像をそれぞれ抽出する。制御部１４は、これら抽出した動画像からステップＳ４で決定した各カットの構図に含まれる範囲をそれぞれ切り出し、各カットの動画像を生成する。そして制御部１４は、生成した各カットの動画像を結合してスロー動画を生成して、ステップＳ８へ進む。
【００３６】
ステップＳ８において、制御部１４は、ステップＳ７で生成したスロー動画を再生して液晶表示部１６に表示させると共に、当該スロー動画データを外部メモリ２０に記録して、図５の処理を終了する。
【００３７】
以上説明した第１の実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラは、再生時よりも高速のフレームレートで被写体像を撮像する撮像素子１２と、撮像素子１２により撮像された動画像をフレームバッファメモリ１３に蓄積する制御部１４と、フレームバッファメモリ１３に蓄積された動画像から、異なるタイミングで撮像された複数部分の動画像（第１カット〜第３カット）をそれぞれ抽出する制御部１４と、当該抽出した各動画像ごとに構図を決定する構図決定処理部１４ｃと、当該抽出した各動画像から、構図決定処理部１４ｃにより決定された構図に含まれる範囲をそれぞれ切り出す画像処理部１４ａと、当該切り出し後の複数の動画像を結合して１つの動画像を生成する画像処理部１４ａと、を備えるので、短時間で撮影した動画像に基づいて異なる構図でなる複数の動画像を生成して、当該複数の動画像を連続してスロー再生する１つの動画像を生成することができる。したがって、短時間撮影でも、途中で構図が変わる動画を生成できる。
【００３８】
（２）上記（１）のデジタルカメラにおいて、撮像素子１２により撮像された動画像を液晶表示部１６に表示させる制御部１４と、液晶表示部１６に表示された動画像上におけるユーザの指のタッチ位置を検出するタッチセンサー部１５と、をさらに備え、構図決定処理部１４ｃは、上記抽出した各動画像（第１カット〜第３カット）ごとに、タッチセンサー部１５により検出されたタッチ位置に基づいて構図を決定するように構成したので、ユーザが所望する構図のスロー動画を生成することができる。
【００３９】
（３）上記（２）のデジタルカメラにおいて、上記抽出された各動画像（第１カット〜第３カット）から人物の顔領域を検出する顔認識処理部１４ｂをさらに備え、構図決定処理部１４ｃは、上記抽出された各動画像ごとに、タッチセンサー部１５により検出されたタッチ位置と顔認識処理部１４ｂにより検出された顔領域とに基づいて構図を決定するように構成したので、ユーザが所望する人物の顔を含む構図のスロー動画を生成することができる。
【００４０】
（４）上記（２）または（３）のデジタルカメラにおいて、制御部１４は、タッチセンサー部１５によりタッチ位置が検出されたタイミングから所定時間分の動画像を、フレームバッファメモリ１３に蓄積した動画像から抽出するように構成したので、ユーザが所望するタイミングで撮影した動画像を結合してスロー動画を生成することができる。
【００４１】
−第２の実施の形態−
次に、図面を参照して本発明の第２の実施の形態について説明する。第２の実施の形態では、スロー動画撮影処理が第１の実施の形態と異なるので、この点を中心に説明する。図６は、第２の実施の形態によるデジタルカメラの構成例を説明するブロック図である。図６において、第１の実施の形態のデジタルカメラの構成（図１）と同様の箇所は、同一の符号を付して説明を省略する。第２の実施の形態による制御部１４は、さらに、動き検出処理を実行する動き検出処理部１４ｅとしても機能する。動き検出処理部１４ｅは、画像処理部１４ａから出力された画像処理後の画像データに対して動き検出処理を行う。動き検出処理では、フレーム間における画像データの差分を求め、その差分に基づいて被写体の動きが所定値よりも大きい領域を検出する。なお、動き検出処理では、周りの領域と比較して動きが大きい領域を検出するようにしてもよい。
【００４２】
次に、図７を用いて、第２の実施の形態におけるスロー動画撮影モードの概要について説明する。不図示のモード設定ボタンの操作によってスロー動画撮影モードに設定されると、制御部１４は、ライブビュー画像を液晶表示部１６に表示させる。ユーザは、ライブビュー画像を確認しながら、所望の撮影タイミングにおいて、スロー動画の撮影を指示するタッチ操作を行う。
【００４３】
すると制御部１４は、スロー動画撮影処理を開始し、撮像素子１２に所定の撮像フレームレート（例えば６０ｆｐｓ）で被写体像を撮像させ、取得した画像データを逐次フレームバッファメモリ１３へ蓄積する。このフレームバッファメモリ１３への画像データの蓄積は、蓄積開始から所定時間（例えば５秒）行われる。
【００４４】
また制御部１４は、蓄積開始から蓄積開始後１秒までを第１カット、蓄積開始後１秒から２秒までを第２カット、蓄積開始後２秒から３秒までを第３カット、蓄積開始後３秒から４秒までを第４カット、蓄積開始後４秒から５秒までを第５カットとして設定する。制御部１４は、顔認識処理部１４ｂおよび動き検出処理部１４ｅによる検出結果に基づいて、これら第１カット〜第５カットの構図をそれぞれ異なるように自動で決定する（詳しくは後述する）。
【００４５】
そして制御部１４は、フレームバッファメモリ１３へ蓄積した第１カット〜第５カットに対応する動画像から、それぞれ決定した第１カット〜第５カットの構図に含まれる範囲を切り出して第１カット〜第５カットの動画像を生成する。制御部１４は、これら第１カット〜第５カットの動画像をそれぞれ再生して液晶表示部１６に表示させる。
【００４６】
ユーザは、タッチセンサー部１５に対するタッチ操作によって、液晶表示部１６に表示された第１カット〜第５カットの動画像の中から記録したいカットを選択する。図７は、第２カット、第４カットおよび第５カットを選択した例を示している。
【００４７】
制御部１４は、ユーザによって選択された第２カット、第４カットおよび第５カットの動画像をつなぎ合わせることで、第２カット、第４カットおよび第５カットの動画像を連続して再生する１つの動画像を生成して、外部メモリ２０に記録する。なお、ここで生成する動画像は、選択したカットの動画像を撮像フレームレート（例えば６０ｆｐｓ）よりも低い再生フレームレート（例えば３０ｆｐｓ）で再生するスロー動画である。例えば、選択したカットがそれぞれ１秒で撮像された動画像である場合は、それぞれ２秒でスロー再生される。また、制御部１４は、フレームバッファメモリ１３へ蓄積した画像データのうち、選択されなかったカットの部分については、外部メモリ２０に記録せずにフレームバッファメモリ１３から消去する。
【００４８】
次に、図８を用いて第２の実施の形態におけるスロー動画撮影処理を詳しく説明する。図８は、スロー動画撮影モードにおける液晶表示部１６の表示画面を例示する図である。制御部１４は、スロー動画撮影モードに設定されると、図８（Ａ）に示すようにライブビュー画像５０を液晶表示部１６全体に表示させると共に、ライブビュー画像５０の右下に「ＳＴＡＲＴ」ボタン７０を表示させる。この「ＳＴＡＲＴ」ボタン７０は、スロー動画撮影の開始を指示するためのボタンである。
【００４９】
図８（Ｂ）に示すように、ユーザによって「ＳＴＡＲＴ」ボタン７０をタッチする操作が行われると、制御部１４は、スロー動画撮影の開始が指示されたことを認識して、スロー動画撮影処理を開始する。スロー動画撮影処理を開始すると、制御部１４は、図８（Ｃ）に示すように、ライブビュー画像５０の表示領域を画面全体よりも小さくして、上側に移動させる。
【００５０】
また制御部１４の顔認識処理部１４ｂは、上記開始時点で撮像された画像データに含まれる人物の顔領域を検出し、検出結果を制御部１４の構図決定処理部１４ｃに出力する。また制御部１４の動き検出処理部１４ｅは、上記開始時点で撮像された画像データから被写体の動きが大きい領域（以下、動き領域と呼ぶ）を検出し、検出結果を制御部１４の構図決定処理部１４ｃに出力する。
【００５１】
制御部１４の構図決定処理部１４ｃは、顔認識処理部１４ｂによる検出結果と、動き検出処理部１４ｅによる検出結果とに基づいて、第１カットの構図を決定する。本実施形態では、構図決定処理部１４ｃは、以下のルール（１）〜（５）に沿って構図を決定する。
（１）…第１〜第５カットでそれぞれ異なる構図を決定する。
（２）…顔領域が検出された場合には、顔領域の中心を構図の中心として、当該顔領域がアップとなる構図を決定する。複数の顔領域が検出された場合には、いずれかの顔領域を構図決定に用いる。
（３）…動き領域が検出された場合には、動き領域の中心を構図の中心として、当該顔領域がアップとなる構図を決定する。複数の動き領域が検出された場合には、いずれかの動き領域を構図決定に用いる。
（４）…顔領域と動き領域が両方検出された場合には、顔領域を優先して構図決定に用いる。ただし、直前のカットの構図決定に顔領域が用いられていた場合には、動き領域を今回の構図決定に用いる。
（５）…複数の顔領域が検出された場合には、複数の顔領域を全て含む構図を決定する。ただし、ルール（２）〜（４）を優先する。
【００５２】
ここで、例えば図８（Ｄ）に示すように、顔認識処理部１４ｂによって左側の人物の顔領域ｆＬと、右側の人物の顔領域ｆＲとが検出されたとする。すると構図決定処理部１４ｃは、ルール（２）に従って、左側の人物の顔領域ｆＬがアップとなる構図を第１カットの構図として決定する。
【００５３】
画像処理部１４ａは、撮影開始から撮影開始後１秒までに撮像される動画像から、構図決定処理部１４ｃで決定した構図に含まれる範囲を切り出して第１カットの動画像８１を生成し、ライブビュー画像５０の左下の領域に表示させる。なお、第１カットの動画像８１は、スロー動画のフレームレートでスロー再生される。
【００５４】
そして、撮影開始時点から１秒が経過すると、顔認識処理部１４ｂおよび動き検出処理部１４ｅは、この１秒経過時点の画像データに基づいて顔認識処理および動き検出処理を行い、検出結果を構図決定処理部１４ｃに出力する。構図決定処理部１４ｃは、第１カットと同様に、顔認識処理部１４ｂおよび動き検出処理部１４ｅによる検出結果に基づいて第２カットの構図を決定する。
【００５５】
ここで、例えば、図８（Ｅ）に示すように、顔認識処理部１４ｂによって左側の人物の顔領域ｆＬと右側の人物の顔領域ｆＲとが検出されると共に、動き検出処理部１４ｅによって左側の人物の手元の領域ｕＬが動き領域として検出されたとする。第１カットの構図決定では顔領域ｆＬを用いたので、このとき構図決定処理部１４ｃは、ルール（３）および（４）に従って、左側の人物の手元の領域ｕＬがアップとなる構図を第２カットの構図として決定する。
【００５６】
画像処理部１４ａは、撮影開始後１秒から２秒までに撮像される動画像から、構図決定処理部１４ｃで決定した構図に含まれる範囲を切り出して第２カットの動画像８２を生成し、第１カットの動画像８１の右隣に表示させる。なお、第２カットの動画像８２も、スロー動画のフレームレートでスロー再生される。
【００５７】
さらに、撮影開始時点から２秒が経過すると、顔認識処理部１４ｂおよび動き検出処理部１４ｅは、この２秒経過時点の画像データに基づいて顔認識処理および動き検出処理を行い、検出結果を構図決定処理部１４ｃに出力する。構図決定処理部１４ｃは、第１および第２カットと同様に、顔認識処理部１４ｂおよび動き検出処理部１４ｅによる検出結果に基づいて第３カットの構図を決定する。
【００５８】
ここで、例えば、図８（Ｆ）に示すように、顔認識処理部１４ｂによって左側の人物の顔領域ｆＬと右側の人物の顔領域ｆＲとが検出されたとする。左側の人物の顔領域ｆＬは第１カットの構図決定に用いたので、このとき構図決定処理部１４ｃは、ルール（１）および（２）に従って、右側の人物の顔領域ｆＲがアップとなる構図を第３カットの構図として決定する。
【００５９】
画像処理部１４ａは、撮影開始後２秒から３秒までに撮像される動画像から、構図決定処理部１４ｃで決定した構図に含まれる範囲を切り出して第３カットの動画像８３を生成し、第２カットの動画像８２の右隣に表示させる。なお、第３カットの動画像８３も、スロー動画のフレームレートでスロー再生される。
【００６０】
さらに、撮影開始時点から３秒が経過すると、顔認識処理部１４ｂおよび動き検出処理部１４ｅは、この３秒経過時点の画像データに基づいて顔認識処理および動き検出処理を行い、検出結果を構図決定処理部１４ｃに出力する。構図決定処理部１４ｃは、第１〜第３カットと同様に、顔認識処理部１４ｂおよび動き検出処理部１４ｅによる検出結果に基づいて第４カットの構図を決定する。
【００６１】
ここで、例えば、図８（Ｇ）に示すように、顔認識処理部１４ｂによって左側の人物の顔領域ｆＬと右側の人物の顔領域ｆＲとが検出されたとする。左側の人物の顔領域ｆＬおよび右側の人物の顔領域ｆＲはそれぞれ第１および第３カットの構図決定に用いたので、このとき構図決定処理部１４ｃは、ルール（１）および（５）に従って、左側の人物の顔領域ｆＬおよび右側の人物の顔領域ｆＲを両方含む構図を第４カットの構図として決定する。
【００６２】
画像処理部１４ａは、撮影開始後３秒から４秒までに撮像される動画像から、構図決定処理部１４ｃで決定した構図に含まれる範囲を切り出して第４カットの動画像８４を生成し、第３カットの動画像８３の右隣に表示させる。なお、第４カットの動画像８４も、スロー動画のフレームレートでスロー再生される。
【００６３】
さらに、撮影開始時点から４秒が経過すると、顔認識処理部１４ｂおよび動き検出処理部１４ｅは、この４秒経過時点の画像データに基づいて顔認識処理および動き検出処理を行い、検出結果を構図決定処理部１４ｃに出力する。構図決定処理部１４ｃは、第１〜第４カットと同様に、顔認識処理部１４ｂおよび動き検出処理部１４ｅによる検出結果に基づいて第５カットの構図を決定する。
【００６４】
ここで、例えば、図８（Ｈ）に示すように、顔認識処理部１４ｂによって左側の人物の顔領域ｆＬと右側の人物の顔領域ｆＲとが検出されると共に、動き検出処理部１４ｅによって右側の人物の手元の領域ｕＲが動き領域として検出されたとする。第４カットの構図決定では顔領域ｆＬおよびｆＲを用いたので、このとき構図決定処理部１４ｃは、ルール（３）および（４）に従って、右側の人物の手元の領域ｕＲがアップとなる構図を第５カットの構図として決定する。
【００６５】
画像処理部１４ａは、撮影開始後４秒から５秒までに撮像される動画像から、構図決定処理部１４ｃで決定した構図に含まれる範囲を切り出して第５カットの動画像８５を生成し、第４カットの動画像８４の右隣に表示させる。なお、第５カットの動画像８５も、スロー動画のフレームレートでスロー再生される。
【００６６】
このようにして第１〜第５カットの構図を決定し、フレームバッファメモリ１３への画像データの蓄積が終了すると、制御部１４は、カット選択モードとなる。図９は、カット選択モードにおける液晶表示部１６の表示画面を例示する図である。カット選択モードにおいて、ユーザは、スロー動画として記録したいカットを第１〜第５カットの中から選択する。
【００６７】
例えば、図９（Ａ）に示すように、ユーザが第２カットの動画像８２をタッチする操作を行うと、制御部１４は、第２カットの動画像８２が選択されたことを認識して、第２カットの動画像８２の外枠を太くして強調表示する。また、図９（Ｂ）に示すように、ユーザが第４カットの動画像８４をタッチする操作を行うと、制御部１４は、第４カットの動画像８４が選択されたことを認識して、第４カットの動画像８２の外枠を太くして強調表示する。さらに、図９（Ｃ）に示すように、ユーザが第５カットの動画像８５をタッチする操作を行うと、制御部１４は、第５カットの動画像８５が選択されたことを認識して、第５カットの動画像８５の外枠を太くして強調表示する。
【００６８】
このようにユーザによって３つのカットが選択されると、制御部１４は、図９（Ｄ）に示すように、第５カット８５の下側に「ＯＫ」ボタン９０を表示させる。この「ＯＫ」ボタン９０は、選択しているカットでスロー動画を生成することを指示するためのボタンである。ここでユーザによって「ＯＫ」ボタン９０をタッチする操作が行われると、制御部１４の画像処理部１４ａは、ユーザによって選択された３つのカットの動画像（図８では第２カット、第４カットおよび第５カット）を結合して１つのスロー動画を生成する。すなわち、図１０（Ａ）に示す第２カットの動画像を再生した後、図１０（Ｂ）に示す第４カットの動画像を再生し、続けて図１０（Ｃ）に示す第５カットの動画像を再生するスロー動画を生成する。
【００６９】
次に、第２の実施の形態におけるスロー動画撮影処理の流れについて、図１１のフローチャートを用いて説明する。制御部１４は、スロー動画撮影モードに設定されると、上述したようにライブビュー画像５０と「ＳＴＡＲＴ」ボタン７０を液晶表示部１６に表示すると共に、図１１に示す処理を開始する。
【００７０】
ステップＳ１において、制御部１４は、「ＳＴＡＲＴ」ボタン７０をタッチする操作が行われたか否かを判定する。当該操作が行われた場合は、制御部１４は、ステップＳ１１を肯定判定してステップＳ１２へ進む。一方、制御部１４は、当該操作が行われていない場合は、当該操作が行われるまでステップＳ１の判定処理を繰り返す。
【００７１】
ステップＳ１２において、制御部１４は、撮像素子１２により撮像された画像データをフレームバッファメモリ１３へ蓄積する処理を開始して、ステップＳ１３へ進む。
【００７２】
ステップＳ１３において、制御部１４は、上述したように、顔認識処理および動き検出処理の結果に基づいて第１カット〜第５カットの構図を決定して、ステップＳ１４へ進む。
【００７３】
ステップＳ１４において、制御部１４は、フレームバッファメモリ１３への画像データの蓄積開始から所定時間（例えば５秒）が経過すると蓄積を終了させて、ステップＳ１５へ進む。
【００７４】
ステップＳ１５において、制御部１４は、ユーザのタッチセンサー部１５に対するタッチ操作に基づいてスロー動画として記録するカットを選択すると、ステップＳ１６へ進む。
【００７５】
ステップＳ１６において、制御部１４は、ステップＳ１５で選択したカットの動画像を結合してスロー動画を生成して、ステップＳ１７へ進む。
【００７６】
ステップＳ１７において、制御部１４は、ステップＳ１６で生成したスロー動画を再生して液晶表示部１６に表示させると共に、当該スロー動画データを外部メモリ２０に記録して、図１１の処理を終了する。
【００７７】
以上説明した第２の実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラは、再生時よりも高速のフレームレートで被写体像を撮像する撮像素子１２と、撮像素子１２により撮像された動画像をフレームバッファメモリ１３に蓄積する制御部１４と、フレームバッファメモリ１３に蓄積された動画像から、異なるタイミングで撮像された複数部分の動画像（第１カット〜第５カット）をそれぞれ抽出する制御部１４と、当該抽出した各動画像ごとに構図を決定する構図決定処理部１４ｃと、当該抽出した各動画像から、構図決定処理部１４ｃにより決定された構図に含まれる範囲をそれぞれ切り出す画像処理部１４ａと、当該切り出し後の複数の動画像を結合して１つの動画像を生成する画像処理部１４ａと、を備えるので、短時間で撮影した動画像に基づいて異なる構図でなる複数の動画像を生成して、当該複数の動画像を連続してスロー再生する１つの動画像を生成することができる。したがって、短時間撮影でも、途中で構図が変わる動画を生成できる。
【００７８】
（２）上記（１）のデジタルカメラにおいて、タッチセンサー部１５からの検出信号に基づいて、上記切り出し後の複数の動画像（第１カット〜第５カット）の中から、３つの動画像（カット）を選択する制御部１４をさらに備え、画像処理部１４ａは、当該選択された動画像を結合して１つの動画像を生成するように構成したので、ユーザが所望する構図の動画像を結合してスロー動画を生成することができる。
【００７９】
（３）上記（２）のデジタルカメラにおいて、上記抽出された各動画像から人物の顔領域を検出する顔認識処理部１４ｂをさらに備え、構図決定処理部１４ｃは、上記抽出された各動画像ごとに、顔認識処理部１４ｂにより検出された顔領域に基づいて構図を決定するように構成したので、人物の顔を含む構図のスロー動画を生成することができる。
【００８０】
（４）上記（２）または（３）のデジタルカメラにおいて、上記抽出された各動画像から動きが大きい領域を検出する動き検出処理部１４ｅをさらに備え、構図決定処理部１４ｃは、上記抽出された各動画像ごとに、動き検出処理部１４ｅにより検出された領域に基づいて構図を決定するように構成したので、動きの大きい領域を含む構図のスロー動画を生成することができる。
【００８１】
（変形例１）
上述した第１の実施の形態において、さらに、タッチ時間（指がタッチセンサー部１５にタッチされてから離されるまでの時間）に基づいて、スロー動画の構図に含まれる範囲の大きさを決定するようにしてもよい。この場合の構図決定処理部１４ｃは、タッチ時間が長くなるほど、スロー動画の構図に含まれる範囲を大きくする。ユーザは、指をタッチさせている間ライブビュー画像５０上の表示枠６０が大きくなっていくことでスロー動画の構図に含まれる範囲の大きさを認識し、表示枠６０が所望の大きさとなった時点で指を離すようにすることで、スロー動画の構図に含まれる範囲を所望の大きさとすることができる。
【００８２】
（変形例２）
上述した第１の実施の形態では、１本の指のタッチ位置に基づいてスロー動画の構図を決定する例について説明した。しかしながら、複数の指のタッチ位置に基づいてスロー動画の構図を決定するようにしてもよい。この場合の構図決定処理部１４ｃは、タッチセンサー部１５により複数のタッチ位置が検出されると、複数のタッチ位置の中心を構図の中心とし、且つ複数のタッチ位置を含む構図をスロー動画の構図として決定する。
【００８３】
（変形例３）
上述した第１の実施の形態において、さらに、ドラッグ操作（タッチセンサー部１５に指をタッチさせたまま移動させる操作）によって、スロー動画の構図の位置を移動できるようにしてもよい。この場合の構図決定処理部１４ｃは、タッチセンサー部１５に指がタッチされると、タッチ位置を中心とした所定サイズの表示枠６０を表示させる。続けてユーザによりドラッグ操作が行われると、構図決定処理部１４ｃは、当該ドラッグ操作に応じて表示枠６０を移動させる。ユーザが所望の位置でタッチセンサー部１５から指を離すと、構図決定処理部１４ｃは、離した時点において表示枠６０に囲まれた範囲をスロー動画の構図として決定する。
【００８４】
また変形例３において、ドラッグ操作が行われる位置に応じて表示枠６０の大きさを変えるようにしてもよい。この場合の構図決定処理部１４ｃは、ドラッグ操作中に、顔認識処理部１４ｂにより検出された顔領域にタッチ位置が近づいたときは、当該顔領域をアップにする構図となるように表示枠６０の大きさを変更し、顔領域からタッチ位置が遠ざかったときは、当該タッチ位置を中心とし且つ当該顔領域を含む構図となるように表示枠６０の大きさを変更する。
【００８５】
（変形例４）
上述した第１の実施の形態では、１回目のタッチ操作から所定時間が経過すると、スロー動画撮影処理を終了する例について説明した。しかしながら、制御部１４は、所定回数（例えば３回）のタッチ操作が行われると、フレームバッファメモリ１３への画像データの蓄積を終了して、スロー動画撮影処理を終了するようにしてもよい。また制御部１４は、直近のタッチ操作から所定時間が経過すると、フレームバッファメモリ１３への画像データの蓄積を終了して、スロー動画撮影処理を終了するようにしてもよい。
【００８６】
（変形例５）
上述した第１の実施の形態において、１回目のタッチ操作の後、フレームバッファメモリ１３への画像データの蓄積を終了するまでの間に、一度もタッチ操作が行われなかった場合には、スロー動画を生成しないようにしてもよい。すなわちこの場合の制御部１４は、１カットのみではスロー動画を生成せず、少なくとも２カット以上の動画像を結合してスロー動画を生成する。
【００８７】
一方、１回目のタッチ操作の後、フレームバッファメモリ１３への画像データの蓄積を終了するまでの間に、一度もタッチ操作が行われなかった場合にも、スロー動画を生成するようにしてもよい。この場合には、制御部１４は、１回目のタッチ操作から所定時間が経過するまでの第１カットの動画像をスロー動画として記録する。
【００８８】
（変形例６）
上述した第２の実施の形態では、「ＳＴＡＲＴ」ボタン７０に対するタッチ操作から所定時間が経過すると、フレームバッファメモリ１３への画像データの蓄積を終了する例について説明した。しかしながら制御部１４は、タッチセンサー部１５のタッチ操作によってユーザにより終了指示が行われるまでは、フレームバッファメモリ１３への画像データの蓄積を継続するようにしてもよい。この場合、フレームバッファメモリ１３には、所定時間分（たとえば直近５秒分）を一時記憶し、古い画像データから順に上書き消去する。また制御部１４は、１秒ごとに新たなカットの動画像を生成して液晶表示部１６に表示させると共に、古いカットの動画像を消去していく。
【００８９】
（変形例７）
上述した第２の実施の形態では、第１〜第５カットの動画像８１〜８５の中から３カットを選択して結合する例について説明したが、選択するカット数はこれに限らず、少なくとも２カット以上であればよい。
【００９０】
（変形例８）
上述した第２の実施の形態では、上記ルール（１）〜（５）に従って構図を決定する例について説明したが、これに限らず、例えば、上記（１）および（２）のみ、または上記（１）および（３）のみを用いてもよいし、この他のルールを用いてもよい。
【００９１】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
【符号の説明】
【００９２】
１１…撮像光学系、１２…撮像素子、１３…フレームバッファメモリ、１４…制御部、１４ａ…画像処理部、１４ｂ…顔認識処理部、１４ｃ…構図決定処理部、１４ｄ…ビデオエンコード処理部、１４ｅ…動き検出処理部、１５…タッチセンサー部、１６…液晶表示部、２０…外部メモリ
【図１】
2014138388.tif 000003
【図２】
2014138388.tif 000004
【図３】
2014138388.tif 000005
【図４】
2014138388.tif 000006
【図５】
2014138388.tif 000007
【図６】
2014138388.tif 000008
【図７】
2014138388.tif 000009
【図８】
2014138388.tif 000010
【図９】
2014138388.tif 000011
【図１０】
2014138388.tif 000012
【図１１】
2014138388.tif 000013