(57)【特許請求の範囲】
【請求項１】
動画を撮影する撮影手段と、
前記動画を記録する記録手段と、
前記動画の被写体の動き及び前記被写体に含まれる主要被写体の種類に基づいて、前記動画の再生速度を決定する決定手段と、
前記決定手段により決定された再生速度で再生される動画が記録されるように、前記撮影手段及び前記記録手段を制御する制御手段と、
を備える撮像装置であって、
前記決定手段は、前記被写体の動き及び前記主要被写体の種類に加えて、前記撮像装置の動きに基づいて、前記再生速度を決定し、
前記決定手段は、前記動画の全体が通常の速度で再生される通常再生パターン、前記動画の少なくとも一部がスロー再生されるスロー再生パターン、及び前記動画の少なくとも一部が早送り再生される早送り再生パターンのうちのいずれかの再生パターンで前記動画が再生されるように、前記再生速度を決定し、
前記決定手段は、
前記撮像装置の動きがあり、前記被写体の動きがあり、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがあり、前記主要被写体が人物以外である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがあり、前記被写体の中に主要被写体が含まれない場合に、前記通常再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがなく、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがなく、前記主要被写体が人物以外である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがなく、前記被写体の中に主要被写体が含まれない場合に、前記通常再生パターンを固定的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがあり、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがあり、前記主要被写体が人物以外である場合に、前記早送り再生パターンを優先的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがあり、前記被写体の中に主要被写体が含まれない場合に、前記早送り再生パターンを優先的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがなく、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがなく、前記主要被写体が人物以外である場合に、前記通常再生パターンを優先的に選択すること、及び、
前記撮像装置の動きがなく、前記被写体の動きがなく、前記被写体の中に主要被写体が含まれない場合に、前記通常再生パターンを優先的に選択すること、
のうちの少なくとも１つを実行する
ことを特徴とする撮像装置。
【請求項２】
動画を撮影する撮影手段と、
前記動画を記録する記録手段と、
前記動画の被写体の動き及び前記被写体に含まれる主要被写体の種類に基づいて、前記動画の再生速度を決定する決定手段と、
前記決定手段により決定された再生速度で再生される動画が記録されるように、前記撮影手段及び前記記録手段を制御する制御手段と、
を備える撮像装置であって、
前記決定手段は、前記被写体の動き及び前記主要被写体の種類に加えて、前記撮像装置の動きに基づいて、前記再生速度を決定し、
前記決定手段は、前記動画の全体が通常の速度で再生される通常再生パターン、前記動画の少なくとも一部がスロー再生されるスロー再生パターン、及び前記動画の少なくとも一部が早送り再生される早送り再生パターンのうちのいずれかの再生パターンで前記動画が再生されるように、前記再生速度を決定し、
前記決定手段は、前記被写体の動き、前記主要被写体の種類、及び前記撮像装置の動きに基づいて第１の確率、第２の確率、及び第３の確率を決定し、前記第１の確率で前記通常再生パターンを選択し、前記第２の確率で前記スロー再生パターンを選択し、前記第３の確率で前記早送り再生パターンを選択する
ことを特徴とする撮像装置。
【請求項３】
前記決定手段は、前記動画の撮影パラメータに更に基づいて、前記第１の確率、前記第２の確率、及び前記第３の確率を決定する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記決定手段は、前記動画の撮影の焦点距離が閾値以上である場合、前記第３の確率を下げる
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、複数の動画が撮影され、前記複数の動画が１つの結合動画として記録されるように、前記撮影手段及び前記記録手段を制御し、
前記決定手段は、前記結合動画を構成する所定の動画について、前記結合動画における当該所定の動画の位置、及び前記結合動画における先頭の動画の再生パターンのうちの少なくとも一方に更に基づいて、前記第１の確率、前記第２の確率、及び前記第３の確率を決定する
ことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記決定手段は、前記所定の動画について、前記第１の確率、前記第２の確率、及び前記第３の確率のうち、前記結合動画における先頭の動画の再生パターンに対応する確率を上げる
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記決定手段は、前記所定の動画が前記結合動画における先頭の動画である場合、前記所定の動画のための前記第１の確率を上げる
ことを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記決定手段は、前記所定の動画が前記結合動画における末尾の動画である場合、前記所定の動画のための前記第２の確率及び前記第３の確率のうちの少なくとも一方を上げる
ことを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
【請求項９】
動画を撮影する撮影手段と、
前記動画を記録する記録手段と、
前記動画の被写体の動き及び前記被写体に含まれる主要被写体の種類に基づいて、前記動画の再生速度を決定する決定手段と、
前記決定手段により決定された再生速度で再生される動画が記録されるように、前記撮影手段及び前記記録手段を制御する制御手段と、
を備える撮像装置であって、
前記制御手段は、複数の動画が撮影され、前記複数の動画が１つの結合動画として記録されるように、前記撮影手段及び前記記録手段を制御し、
前記決定手段は、前記結合動画を構成する所定の動画について、前記結合動画における当該所定の動画の位置、及び前記結合動画における先頭の動画の再生速度のうちの少なくとも一方に更に基づいて、前記所定の動画の再生速度を決定する
ことを特徴とする撮像装置。
【請求項１０】
前記決定手段は、前記所定の動画が前記結合動画における末尾の動画である場合、前記所定の動画が前記結合動画における先頭の動画である場合よりも、前記所定の動画の再生速度をスロー再生、あるいは、早送り再生にする確率を上げる
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
撮像装置の制御方法であって、
動画を撮影する撮影工程と、
前記動画を記録する記録工程と、
前記動画の被写体の動き及び前記被写体に含まれる主要被写体の種類に基づいて、前記動画の再生速度を決定する決定工程と、
前記決定工程により決定された再生速度で再生される動画が記録されるように、前記撮影工程及び前記記録工程を制御する制御工程と、
を備え、
前記決定工程では、前記被写体の動き及び前記主要被写体の種類に加えて、前記撮像装置の動きに基づいて、前記再生速度を決定し、
前記決定工程では、前記動画の全体が通常の速度で再生される通常再生パターン、前記動画の少なくとも一部がスロー再生されるスロー再生パターン、及び前記動画の少なくとも一部が早送り再生される早送り再生パターンのうちのいずれかの再生パターンで前記動画が再生されるように、前記再生速度を決定し、
前記決定工程では、
前記撮像装置の動きがあり、前記被写体の動きがあり、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがあり、前記主要被写体が人物以外である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがあり、前記被写体の中に主要被写体が含まれない場合に、前記通常再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがなく、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがなく、前記主要被写体が人物以外である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがあり、前記被写体の動きがなく、前記被写体の中に主要被写体が含まれない場合に、前記通常再生パターンを固定的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがあり、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがあり、前記主要被写体が人物以外である場合に、前記早送り再生パターンを優先的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがあり、前記被写体の中に主要被写体が含まれない場合に、前記早送り再生パターンを優先的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがなく、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、
前記撮像装置の動きがなく、前記被写体の動きがなく、前記主要被写体が人物以外である場合に、前記通常再生パターンを優先的に選択すること、及び、
前記撮像装置の動きがなく、前記被写体の動きがなく、前記被写体の中に主要被写体が含まれない場合に、前記通常再生パターンを優先的に選択すること、
のうちの少なくとも１つを実行する
ことを特徴とする制御方法。
【請求項１２】
撮像装置の制御方法であって、
動画を撮影する撮影工程と、
前記動画を記録する記録工程と、
前記動画の被写体の動き及び前記被写体に含まれる主要被写体の種類に基づいて、前記動画の再生速度を決定する決定工程と、
前記決定工程により決定された再生速度で再生される動画が記録されるように、前記撮影工程及び前記記録工程を制御する制御工程と、
を備え、
前記決定工程では、前記被写体の動き及び前記主要被写体の種類に加えて、前記撮像装置の動きに基づいて、前記再生速度を決定し、
前記決定工程では、前記動画の全体が通常の速度で再生される通常再生パターン、前記動画の少なくとも一部がスロー再生されるスロー再生パターン、及び前記動画の少なくとも一部が早送り再生される早送り再生パターンのうちのいずれかの再生パターンで前記動画が再生されるように、前記再生速度を決定し、
前記決定工程では、前記被写体の動き、前記主要被写体の種類、及び前記撮像装置の動きに基づいて第１の確率、第２の確率、及び第３の確率を決定し、前記第１の確率で前記通常再生パターンを選択し、前記第２の確率で前記スロー再生パターンを選択し、前記第３の確率で前記早送り再生パターンを選択する
ことを特徴とする制御方法。
【請求項１３】
撮像装置の制御方法であって、
動画を撮影する撮影工程と、
前記動画を記録する記録工程と、
前記動画の被写体の動き及び前記被写体に含まれる主要被写体の種類に基づいて、前記動画の再生速度を決定する決定工程と、
前記決定工程により決定された再生速度で再生される動画が記録されるように、前記撮影工程及び前記記録工程を制御する制御工程と、
を備え、
前記制御工程では、複数の動画が撮影され、前記複数の動画が１つの結合動画として記録されるように、前記撮影工程及び前記記録工程を制御し、
前記決定工程では、前記結合動画を構成する所定の動画について、前記結合動画における当該所定の動画の位置、及び前記結合動画における先頭の動画の再生速度のうちの少なくとも一方に更に基づいて、前記所定の動画の再生速度を決定する
ことを特徴とする制御方法。
【請求項１４】
コンピュータを、請求項１乃至１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、撮影した動画をインターネット上で共有するという動画共有サイトが発展し、クリエイティブで面白い動画を撮影したいというユーザのニーズが高まっている。しかしながら、動画撮影に慣れていない一般的なユーザにとって、クリエイティブで面白い動画を撮影するということは容易ではない。また、そのようなユーザにとっては、動画に特殊効果を加えたり、動画を結合したりするなどの編集作業が煩雑であることも、面白い動画を生成する上での課題となっている。
【０００３】
面白い動画の生成を容易にするために、スマートフォンアプリを中心に、簡単な操作でユーザに特殊効果を付加した動画撮影を可能とさせる機能が提案されている。例えば、動画に特殊な色・階調変換フィルタ効果を付加する機能や、予め決められた短秒の動画を複数回撮影し、それらを自動的に結合する機能などが提案されている。
【０００４】
また、動画撮影時のカメラ装置の加速度に応じて動画のフレーム数を調整して記録することにより、動画の再生速度を変化させる技術も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２６２１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術は、カメラ装置の加速度を考慮するだけであり、被写体の動きや被写体に含まれる主要被写体の種類などを考慮していない。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、従来は考慮されていなかった条件に基づいて、記録される動画の再生速度を制御することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、動画を撮影する撮影手段と、前記動画を記録する記録手段と、前記動画の被写体の動き及び前記被写体に含まれる主要被写体の種類に基づいて、前記動画の再生速度を決定する決定手段と、前記決定手段により決定された再生速度で再生される動画が記録されるように、前記撮影手段及び前記記録手段を制御する制御手段と、を備える撮像装置であって、前記決定手段は、前記被写体の動き及び前記主要被写体の種類に加えて、前記撮像装置の動きに基づいて、前記再生速度を決定し、前記決定手段は、前記動画の全体が通常の速度で再生される通常再生パターン、前記動画の少なくとも一部がスロー再生されるスロー再生パターン、及び前記動画の少なくとも一部が早送り再生される早送り再生パターンのうちのいずれかの再生パターンで前記動画が再生されるように、前記再生速度を決定し、前記決定手段は、前記撮像装置の動きがあり、前記被写体の動きがあり、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、前記撮像装置の動きがあり、前記被写体の動きがあり、前記主要被写体が人物以外である場合に、前記スロー再生パターンを優先的に選択すること、前記撮像装置の動きがあり、前記被写体の動きがあり、前記被写体の中に主要被写体が含まれない場合に、前記通常再生パターンを優先的に選択すること、前記撮像装置の動きがあり、前記被写体の動きがなく、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、前記撮像装置の動きがあり、前記被写体の動きがなく、前記主要被写体が人物以外である場合に、前記スロー再生パターンを優先的に選択すること、前記撮像装置の動きがあり、前記被写体の動きがなく、前記被写体の中に主要被写体が含まれない場合に、前記通常再生パターンを固定的に選択すること、前記撮像装置の動きがなく、前記被写体の動きがあり、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、前記撮像装置の動きがなく、前記被写体の動きがあり、前記主要被写体が人物以外である場合に、前記早送り再生パターンを優先的に選択すること、前記撮像装置の動きがなく、前記被写体の動きがあり、前記被写体の中に主要被写体が含まれない場合に、前記早送り再生パターンを優先的に選択すること、前記撮像装置の動きがなく、前記被写体の動きがなく、前記主要被写体が人物である場合に、前記スロー再生パターンを優先的に選択すること、前記撮像装置の動きがなく、前記被写体の動きがなく、前記主要被写体が人物以外である場合に、前記通常再生パターンを優先的に選択すること、及び、前記撮像装置の動きがなく、前記被写体の動きがなく、前記被写体の中に主要被写体が含まれない場合に、前記通常再生パターンを優先的に選択すること、のうちの少なくとも１つを実行することを特徴とする撮像装置を提供する。
【０００９】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１０】
本発明によれば、従来は考慮されていなかった条件に基づいて、記録される動画の再生速度を制御することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る撮像装置１００の構成を示すブロック図。
【図２】撮像装置１００が生成する、複数のチャプタを含む結合動画ファイルの概念図。
【図３】テンプレート合成効果の例を示す図。
【図４】可変フレームレート効果の例を示す図。
【図５】各種の特殊効果の分類を示す図。
【図６】撮像装置１００による動画撮影処理を示すフローチャート。
【図７】図６のＳ６０３における特殊効果処理Ａ群の決定処理の詳細を示すフローチャート。
【図８】図７のＳ７０２における特殊効果処理Ａ群の選択アルゴリズムの詳細を示すフローチャート。
【図９】特殊効果処理Ａ群の選択アルゴリズムにおける評価値の更新の概念図。
【図１０】図６のＳ６０４における、特殊効果処理Ｂ群の可変フレームレート効果の決定処理の詳細を示すフローチャート。
【図１１】被写体の動きを検出する方法の概念図。
【図１２】動き判定エリアの概念図。
【図１３】可変フレームレート効果の重みパターンを決定する方法の概念図。
【図１４】可変フレームレート効果の重みパターンの例を示す図。
【図１５】図１０のＳ１００７における処理の詳細を示すフローチャート。
【図１６】可変フレームレート効果決定処理の別の例を示す図。
【図１７】可変フレームレート効果決定処理の更に別の例を示す図。
【図１８】各種の特殊効果が付加された結合動画ファイルを例示する図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１３】
［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の構成を示すブロック図である。図１において、１０１は複数のレンズ群と絞り機構を含む光学系であり、具体的には、測距用レンズ（ＦｏｃｕｓＬｅｎｓ）、ズーム用レンズ（ＺｏｏｍＬｅｎｓ）、及び絞り機構を含む。
【００１４】
１０２はＣＣＤやＣＭＯＳ等からなる撮像素子であり、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含む。撮像素子１０２の表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。被写体像が撮像素子１０２上で結像されると、画像データ（画像信号）が生成され、メモリ１０３に記憶される。
【００１５】
１０３はメモリであり、撮像素子１０２によって生成された画像信号や、撮像装置１００の処理全般に必要なデータなどを保持することができる。１０４は画像処理回路であり、メモリ１０３に保持された画像信号に対して所定の画素補間処理や色変換処理等を行う。画像処理回路１０４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて撮影条件を決定し、システム制御部１０５に撮影条件を通知する。また、画像処理回路１０４は、画像の解析、フィルタ処理、ノイズリダクション処理、合成処理などの各種機能を有し、後述するアルゴリズムに従って撮影シーンに最適な特殊効果を選択する特殊効果処理決定部を含む。
【００１６】
１０５は撮像装置１００全体を制御するシステム制御部である。システム制御部１０５は、画像処理回路１０４が決定した撮影条件で撮影を行うために、シャッター速度、絞り機構、フォーカスレンズ、及びズームレンズの制御を統括する。そのために、システム制御部１０５は、露光量制御部１０６、フォーカスレンズ制御部１０７、及び焦点距離制御部１０８に対して指示を行う。
【００１７】
１０６は露光量制御部であり、光学系１０１の絞り機構、撮像素子１０２の露光時間、及び撮影感度を調整し、適切な露光量制御を行う。１０７はフォーカスレンズ制御部であり、光学系１０１のフォーカスレンズを制御する。１０８は光学系１０１のズーム用レンズを制御する焦点距離制御部であり、システム制御部１０５の指示に従って焦点距離を変更する。
【００１８】
１０９は圧縮回路であり、動画像をＨ．２６４／ＡＶＣに代表される圧縮アルゴリズムに従って圧縮し、ＭＰＥＧやＭＯＶファイル等に変換する。変換後の動画像は、記録媒体１１０に記録される。
【００１９】
１１１は表示部であり、画像処理回路１０４によって生成された撮影画像を、撮像装置１００のＬＣＤや、外部モニタなどに表示する。１１２はユーザの入力を受け付ける操作部材であり、ボタンやタッチパネル等が具備されている。システム制御部１０５は、操作部材１１２により受け付けたユーザ操作に従って、撮像装置１００の動作の決定や変更を行う。
【００２０】
次に、図２乃至図５を参照して、撮像装置１００による動画撮影処理の概要について説明する。撮像装置１００は、動画撮影を複数回行い、各撮影により得られた動画像データを結合して１つの動画像データを生成する。図２において、「チャプタ」は１回の撮影により得られる動画像データを示し、「結合動画ファイル」は複数のチャプタを結合して得られる１つの動画像データを示す。
【００２１】
撮像装置１００は、撮影される各動画（各チャプタ）に対して、例えば以下に列挙するような様々な種類の特殊効果を付加する。
（１）色・階調変換フィルタ効果
（２）テンプレート合成効果
（３）可変フレームレート効果
（４）残像効果
【００２２】
「（１）色・階調変換フィルタ効果」は、画像処理回路１０４によって動画の色味やコントラストを変更することにより、被写体や撮影シーンに合った雰囲気を動画に加える特殊効果である。換言すると、「（１）色・階調変換フィルタ効果」は、色及び階調のうちの少なくとも一方を変換するフィルタの適用制御に対応する。例えば、画像処理回路１０４は、撮影されたカラー動画から、コントラストの高いモノクロ動画を生成することができる。
【００２３】
「（２）テンプレート合成効果」は、画像処理回路１０４によって動画の各フレームに所定のテンプレートデータ（以下、単に「テンプレート」と呼ぶ）を合成する処理により得られる特殊効果である。換言すると、「（２）テンプレート合成効果」は、テンプレートの合成制御に対応する。例えば、画像処理回路１０４によっては、図３の左側に示すようにフレームに飾り枠を合成したり、図３の右側に示すように周辺減光効果を加えたりすることができる。
【００２４】
「（３）可変フレームレート効果」は、動画の全体又は一部をスローモーションにしたり、早送り再生にしたりすることによって、被写体の動きを強調する特殊効果である。換言すると、「（３）可変フレームレート効果」は、動画の再生速度の制御に対応する。この効果の実現方法としては、再生フレームレートＦｐｌａｙのＮ倍のフレームレートＦｒｅｃ（＝Ｎ×Ｆｐｌａｙ）で動画を記録することにより、（１／Ｎ）倍のスロー再生にすることが可能である。反対に、Ｆｐｌａｙと同じフレームレートＦｒｅｃ（＝Ｆｐｌａｙ）で撮影した動画像のフレームを１／Ｎに間引いて再生することにより、Ｎ倍の早送り再生が可能である。このように、再生速度の制御は、撮影フレームレート及び記録フレームレートの制御により実現可能である。また、このような仕組みを用いて、例えば図４（Ｂ）に示すように、再生速度が「通常→スロー→通常」のように変化する動画を生成することができる。具体的には、再生フレームレートＦｐｌａｙ＝３０［ｆｐｓ］の場合、撮像装置１００は、Ｆｒｅｃ＝９０［ｆｐｓ］で数秒間撮影したデータの一部区間を１／３に間引いて記録する。これにより、間引きが行われない区間を１／３倍のスロー再生することができる。このように、動画の少なくとも一部がスロー再生される再生パターンを、「スロー再生パターン」と呼ぶ。また、図４（Ｃ）に示すように、再生速度が「通常→早送り→通常」のように変化する動画を生成することができる。具体的には、再生フレームレートＦｐｌａｙ＝３０［ｆｐｓ］の場合、撮像装置１００は、Ｆｒｅｃ＝３０［ｆｐｓ］で数秒間撮影したデータの一部区間を１／３に間引いて記録する。これにより、間引きが行われた区間を３倍の早送り再生することができる。このように、動画の少なくとも一部が早送り再生される再生パターンを、「早送り再生パターン」と呼ぶ。また、図４（Ａ）に示すように、Ｆｐｌａｙ＝Ｆｒｅｃであり、間引きが行われない場合には、動画全体が通常再生される。このように、動画の全体が通常の速度で再生される再生パターンを、通常再生パターンと呼ぶ。
【００２５】
「（４）残像効果」は、巡回型フィルタを用いて、動く被写体に残像を付加する特殊効果である。換言すると、「（４）残像効果」は、移動する被写体に対する残像の付加制御に対応する。
【００２６】
撮像装置１００は、それぞれの種類の特殊効果について、撮影シーンに基づいて特殊効果の内容を決定する。例えば、撮像装置１００は、「（２）テンプレート合成効果」という種類の特殊効果について、撮影シーンに基づいて、「飾り枠合成」、「周辺減光」、又は「合成なし」を選択する。決定アルゴリズムの詳細については、後述する。
【００２７】
ところで、特殊効果の中には、チャプタ間で特殊効果を統一（共通化）した方が結合動画全体の品位が向上する種類のものもあれば、チャプタ毎（動画毎）に撮影シーンに応じた特殊効果を付加した方が動画の面白さが向上すると期待される種類のものもある。本実施形態では、前者の種類の特殊効果を「特殊効果処理Ａ群」と呼び、後者の種類の特殊効果を「特殊効果処理Ｂ群」と呼ぶ。図５に示すように、本実施形態では、「（１）色・階調変換フィルタ効果」及び「（２）テンプレート合成効果」が「特殊効果処理Ａ群」であるものとし、「（３）可変フレームレート効果」及び「（４）残像効果」が「特殊効果処理Ｂ群」であるものとする。図５から理解できるように、「（２）テンプレート合成効果」のような特定の種類の特殊効果（特殊効果グループ）の中に、「飾り枠合成」や「周辺減光」のような複数の特殊効果が含まれる。
【００２８】
なお、「特殊効果処理Ａ群」と「特殊効果処理Ｂ群」の分類は、図５に示すものに限定されない。また、特殊効果の種類や、各種類の特殊効果について選択可能な特殊効果についても、図５に示すものに限定されない。本実施形態では、「特殊効果処理Ａ群」に分類される少なくとも１種類の特殊効果（第１の特殊効果グループ）と、「特殊効果処理Ｂ群」に分類される少なくとも１種類の特殊効果（第２の特殊効果グループ）とがあればよい。
【００２９】
次に、図６を参照して、撮像装置１００による動画撮影処理の詳細について説明する。なお、本実施形態の各図のフローチャートの各ステップの処理は、特に断らない限り、システム制御部１０５が制御プログラムに従って撮像装置１００の各構成要素を制御することにより実施される。
【００３０】
Ｓ６０１で、撮像装置１００は、撮影シーンの解析を行う。具体的には、撮像装置１００は、撮影対象シーンの明るさ、被写体が人物かどうか、被写体が動いているかどうか、等を解析する。この解析は、加速度センサ（不図示）やジャイロセンサ（不図示）等の各種センサからの情報や、撮像素子１０２により生成された画像データなどに基づいて行われる。画像データに基づく解析は、画像処理回路１０４を用いて行うことができる。
【００３１】
Ｓ６０２で、撮像装置１００は、ユーザによる撮影指示が行われたか否かを判定する。撮影指示が行われるまでは、撮像装置１００は、Ｓ６０１におけるシーン解析を繰り返す。撮影指示が行われると、処理はＳ６０３に進む。
【００３２】
Ｓ６０３で、撮像装置１００は、Ｓ６０１におけるシーン解析結果に基づき、特殊効果処理Ａ群（図５参照）に関して、撮影した動画に付加する特殊効果を決定する。この決定処理の詳細については後述する。
【００３３】
Ｓ６０４で、撮像装置１００は、Ｓ６０１におけるシーン解析結果に基づき、特殊効果処理Ｂ群（図５参照）に関して、撮影した動画に付加する特殊効果を決定する。この決定処理の詳細については後述する。
【００３４】
Ｓ６０３及びＳ６０４の処理により、これから撮影するチャプタに付加する特殊効果が、このチャプタの撮影開始直前に決定される。
【００３５】
Ｓ６０５で、撮像装置１００は、動画の撮像制御を行い、動画の１フレームを取得する。ここでは、撮像装置１００は、Ｓ６０４で決定された可変フレームレート効果の内容に従い、撮像系の駆動周波数・露光量制御を行う。例えば、動画にスロー再生効果を付加する場合、撮像装置１００は、再生フレームレートよりも高い周波数で撮像を行うように撮像素子１０２を制御する。また、動画に早送り再生効果を付加する場合、撮像装置１００は、再生フレームレートと同じ周波数で撮像を行うように撮像素子１０２を制御する。また、撮像装置１００は、絞り、シャッタースピード、感度からなる露光量を、露光量制御部１０６を介して正しく設定する。
【００３６】
Ｓ６０６で、撮像装置１００は、Ｓ６０３において決定した特殊効果処理Ａ群の特殊効果を、Ｓ６０５において取得したフレームに付加する。Ｓ６０７で、撮像装置１００は、Ｓ６０４において決定した特殊効果処理Ｂ群の特殊効果を、Ｓ６０５において取得したフレームに付加する。例えば、撮像装置１００は、Ｓ６０４において決定された可変フレームレート効果に対応する再生速度で再生される動画が記録されるように、撮影フレームレート及び記録フレームレート（間引き）を制御することにより、動画に可変フレームレートを付加する。
【００３７】
なお、特殊効果を付加する順序は、図６に示すものに限定されない。例えば、特殊効果処理Ｂ群の特殊効果を先に付加し、その後、特殊効果処理Ａ群の特殊効果を付加してもよい。或いは、特殊効果処理Ａ群の特殊効果の一部を先に付加し、その後、特殊効果処理Ｂ群の特殊効果を付加し、最後に、特殊効果処理Ａ群の特殊効果の残りを付加してもよい。
【００３８】
Ｓ６０８で、撮像装置１００は、特殊効果が付加されたフレームを圧縮し、結合動画ファイル（図２参照）のフレームとして記録する。なお、撮像装置１００は、任意のタイミングでチャプタの結合を行うことができる。例えば、撮像装置１００は、チャプタ毎に別個の動画ファイルを生成し、所定数の動画ファイルが生成された後に、これらの動画ファイルを結合して結合動画ファイルを生成することができる。或いは、撮像装置１００は、新たなチャプタのフレームを直前のチャプタに追記することにより、結合動画ファイルを生成してもよい。また、図４（Ｂ）及び図４（Ｃ）に示すように間引き記録を行う場合は、撮像装置１００は、現在のフレームが間引き対象のフレームであれば、このフレームは記録せずに破棄する。
【００３９】
Ｓ６０９で、撮像装置１００は、ユーザによる撮影終了指示が行われたか否かを判定する。撮影終了指示が行われるまでは、撮像装置１００はＳ６０５からＳ６０８の処理を繰り返すことにより、現在のチャプタの撮影を継続する。あるいは、撮像装置１００は、動画の撮影が開始されていから所定時間経過するまでＳ６０５からＳ６０８の処理を繰り返し、所定時間経過した場合に動画撮影を終了すると判断する。
【００４０】
撮影終了指示が行われると、処理はＳ６０９からＳ６０１に戻り、次の撮影指示が行われるまで、撮像装置１００はシーン解析を行う。次の撮影指示が行われると、撮像装置１００は、再びＳ６０３以降の処理を実行することにより、次のチャプタの撮影を行う。但し、Ｓ６０３における特殊効果処理Ａ群の決定処理については、２番目以降のチャプタの撮影を行う場合は、最初（先頭）のチャプタと同じ特殊効果が決定される。
【００４１】
また、図示しないが、撮像装置１００は、所定数のチャプタを撮影した後は、別の結合動画ファイルの１番目のチャプタを撮影してもよい。例えば、撮像装置１００は、４つのチャプタからなる結合動画ファイルを生成するように構成されているものとする。この場合、撮像装置１００による４番目のチャプタの撮影を終了して処理がＳ６０９からＳ６０１に戻り、撮影指示が行われると、Ｓ６０３で、撮像装置１００は、次の結合動画ファイルの１番目のチャプタのために、特殊効果処理Ａ群の特殊効果を決定する。
【００４２】
次に、図７乃至図９を参照して、図６のＳ６０３における特殊効果処理Ａ群の決定処理の詳細について説明する。まず、図７のＳ７０１で、撮像装置１００は、現在の撮影対象のチャプタが結合動画ファイルにおける最初（先頭）のチャプタであるか否かを判定する。最初のチャプタの場合、Ｓ７０２で、撮像装置１００は、特殊効果処理Ａ群の選択アルゴリズムを実行する。最初のチャプタでない場合、Ｓ７０３で、撮像装置１００は、以前にＳ７０２において最初のチャプタについて選択したものと同じ特殊効果を選択する。
【００４３】
図７の処理により、特殊効果処理Ａ群については、結合動画ファイル内の各チャプタに付加される特殊効果を統一し、より高品位で一体感のある動画を生成することができる。但し、図示しないが、撮像装置１００は、２番目以降のチャプタであっても、ユーザによるフィルタ効果の変更指示を受信した場合には、ユーザの意思（ユーザ指示）を優先してフィルタを選択することができる。即ち、この場合、撮像装置１００は、ユーザ指示に対応するチャプタに対して、最初のチャプタについてＳ７０２で選択された特殊効果の代わりに、ユーザ指示により選択された特殊効果を付加する。
【００４４】
図８は、図７のＳ７０２における特殊効果処理Ａ群の選択アルゴリズムの詳細を示すフローチャートである。ここでは、特殊効果処理Ａ群に属する種類の特殊効果の一例である「（１）色・階調変換フィルタ効果」について説明するが、他の種類の特殊効果（例えば、「（２）テンプレート合成効果」）についても同様のアルゴリズムを利用可能である。
【００４５】
本実施形態においては、撮像装置１００は、Ｍ種類の色・階調変換フィルタを選択可能なものとする。まず、Ｓ８０１で、撮像装置１００は、以下の式（１）に従い、Ｍ個のフィルタの評価値ｘ［ｍ］を一律に初期値Ｐに設定する。
ｘ［ｍ］＝Ｐ（ｍ＝０，１，２，…，Ｍ−１）・・・（１）
【００４６】
Ｓ８０２で、撮像装置１００は、図６のＳ６０１におけるシーン解析結果（例えば、被写体情報や撮影画像の色分布情報等）に従い、評価値を更新する。例えば、撮像装置１００は、被写体が人物を含む場合に、「人物と相性の良いフィルタの評価値を上げ、人物と相性の悪いフィルタの評価値を下げる」、等の評価値演算処理を、撮影シーンの解析結果に応じて複数回実行する。これにより、図９に示すように、最終的な評価値ｘ［ｍ］は撮影シーンに応じたばらつきを持つ。
【００４７】
その後、Ｓ８０３で、撮像装置１００は、最も評価値の高いフィルタを選択する。或いは、撮像装置１００は、予め定められた閾値よりも評価値の高いフィルタの中からランダムに１つのフィルタを選択する等の方法により、撮影シーンに相性の良いフィルタ効果を選択することが可能である。
【００４８】
次に、図１０乃至図１７を参照して、図６のＳ６０４における特殊効果処理Ｂ群の決定処理の詳細について説明する。ここでは、特殊効果処理Ｂ群に属する種類の特殊効果の一例である「（３）可変フレームレート効果」について説明するが、他の種類の特殊効果（例えば、「（４）残像効果」）についても同様のアルゴリズムを利用可能である。
【００４９】
まず、Ｓ１００１で、撮像装置１００は、図６のＳ６０１におけるシーン解析結果に基づき、撮像装置１００の動き情報を取得する。ユーザが移動被写体を追尾撮影している状態は、花や風景などの被写体を撮影している状態と比べて、撮像装置１００自体の動き量が大きいと予測される。そのため、撮像装置１００は、撮像装置１００に具備された速度センサや加速度センサ等の出力に基づき、撮像装置１００の動きの有無を検出する。撮像装置１００の動きの有無を決定する方法としては、速度センサ等の出力値を所定時間平均し、その平均値が予め決められた閾値Ｔｈ＿Ｇを上回る場合は「動き有り」、閾値以下の場合は「動き無し」とする方法が考えられる。
【００５０】
Ｓ１００２で、撮像装置１００は、図６のＳ６０１におけるシーン解析結果に基づき、被写体種別（被写体に含まれる主要被写体の種類）を検出する。一般的に、パターンマッチングなどの方法によって画面内の顔を検出することが可能であり、顔が見つかった場合は被写体種別を「人物」と定義する。また、画面内の輝度や色の領域分布やエッジ情報から画面内に主要な被写体が存在するかどうかを判定する主要被写体検出アルゴリズムが一般的に知られている。そこで、顔が検出されず、かつ主要被写体検出アルゴリズムによって被写体が検出された場合には、被写体種別を「人物以外の主要被写体有」と定義する。上記いずれの方法によっても被写体が検出されない場合は「主要被写体無」と定義する。
【００５１】
Ｓ１００３で、撮像装置１００は、Ｓ１００２において検出した被写体種別に応じて、被写体の動き情報を取得する。被写体の動きを検出する方法としては、被写体種別が「人物」の場合、例えば図１１（Ａ）に示すように、ある時刻Ｆ（ｔ）のフレームとＦ（ｔ＋α）のフレームの間の顔位置の変化量が閾値Ｔｈ＿Ｆを上回る場合に「被写体動き有」と検出する方法がある。また、被写体種別が「人物以外の主要被写体有」の場合、図１１（Ｂ）に示すように、時刻Ｆ（ｔ）のフレームとＦ（ｔ＋α）のフレームの間の主要被写体領域の重心位置の変化量が閾値Ｔｈ＿Ｍを上回る場合に「被写体動き有」と検出する方法がある。また、被写体種別が「主要被写体無」の場合は、図１１（Ｃ）に示すように、画面内の所定領域に対して、下記の式（２）に従ってフレーム間の輝度差分値の総和Ｓを計算し、総和Ｓが閾値Ｔｈ＿Ｓａｄを上回った場合に「被写体動き有」と検出する方法がある。
Ｓ＝Σ（Ｙ１（ｘ，ｙ）−Ｙ０（ｘ，ｙ））・・・（２）
Ｙ１：フレーム１の輝度
Ｙ０：フレーム０の輝度
【００５２】
次に、Ｓ１００４で、撮像装置１００は、Ｓ１００１及びＳ１００３にて取得した動き情報に基づき、動き検出エリアを判定する。動き検出エリアは、撮像装置１００の動き有・無、及び被写体の動き有・無に応じて、図１２に示す４つのエリアに区分することができる。
【００５３】
Ｓ１００５で、撮像装置１００は、Ｓ１００４におけるエリア判定結果とＳ１００２で検出した被写体種別に応じて、可変フレームレート効果の重みパターンを決定する。ここで、重みパターンとは、図４を参照して説明した通常／スロー／早送りの効果の発生比率を表すものである。重みパターンは、図１３に示すように、エリアと被写体種別に応じて、図１４に示す４つのパターンのいずれかが選択される。各パターンには、「通常」が選択される確率（第１の確率）、「スロー」が選択される確率（第２の確率）、及び「早送り」が選択される確率（第３の確率）が定義されている。そして、例えば「通常優先」のパターンについては、「通常」が優先的に選択されるように、「通常」が選択される確率（第１の確率）が最も高く設定されている。また、「通常固定」のパターンについては、「通常」が固定的に選択されるように、「通常」が選択される確率（第１の確率）が「１００％」に設定されている。
【００５４】
なお、図１３の例では、撮像装置１００は、撮像装置１００の動き、被写体の動き、及び主要被写体の全てに基づいて重みパターンを決定しているが、撮像装置１００は、これらのうちの一部にのみ基づいて重みパターンを決定してもよい。例えば、撮像装置１００は、被写体の動きの有無に応じては、「スロー優先」（被写体の動き有の場合）又は「通常優先」（被写体の動き無の場合）を選択するように構成されてもよい。
【００５５】
Ｓ１００６で、撮像装置１００は、現在の撮影対象のチャプタ番号や過去に選択した可変フレームレート効果の種類、及び撮像装置１００の焦点距離などに基づき、Ｓ１００５において決定された重みパターンを修正する。以下に、Ｓ１００５において「スロー優先」が選択された場合における、重み修正方法の例を４つ挙げる。
【００５６】
（i）現在の撮影対象のチャプタがチャプタ１である場合、「通常」の比率を少し上げてそれ以外の比率を下げる。
（修正前）通常：スロー：早送り＝２０：６０：２０
（修正後）通常：スロー：早送り＝３０：４０：３０
→結合動画ファイルの先頭のチャプタにはなるべく特殊効果を付加しない。
【００５７】
（ii）現在の撮影対象のチャプタが最終チャプタＮである場合、「スロー」と「早送り」の比率を少し上げてそれ以外の比率を下げる。
（修正前）通常：スロー：早送り＝２０：６０：２０
（修正後）通常：スロー：早送り＝１０：６５：２５
→結合動画ファイルの最後（末尾）のチャプタにはなるべく特殊効果を付加する。
【００５８】
（iii）現在の撮影対象のチャプタがチャプタ１以外であり、かつチャプタ１で選択された効果が「スロー」だった場合に、「スロー」の比率を上げてそれ以外の比率を下げる。
（修正前）通常：スロー：早送り＝２０：６０：２０
（修正後）通常：スロー：早送り＝１０：８０：１０
→結合動画ファイル内で同じような特殊効果が選択される確率を上げる。
【００５９】
（iv）撮像装置１００の焦点距離が予め設定された焦点距離ｆ＿Ｔｈ以上（閾値以上）である場合、手振れが動画像に与える影響が大きくなるため、「早送り」の比率を下げてそれ以外の比率を上げる。
（修正前）通常：スロー：早送り＝２０：６０：２０
（修正後）通常：スロー：早送り＝３０：７０：０
以上に示した重みパターンの修正は、複数のチャプタを連結した結合動画ファイル全体として動画を鑑賞した場合に視聴者の満足度を高めることを目的とした工夫である。なお、重みパターンの修正方法は、ここで説明した４種類に限定されず、設計者の思想に従って様々な重みパターンの修正方法が考えられる。より一般的に言えば、撮像装置１００は、可変フレームレート効果について、所定のチャプタに付加する特殊効果を、このチャプタの撮影パラメータ、結合動画ファイルにおけるこのチャプタの位置、及び先頭チャプタに付加される特殊効果を考慮して決定する。なお、撮像装置１００は、これらの要素の全てを考慮する必要はなく、そのうちの一部のみを考慮してもよい。
【００６０】
最後に、Ｓ１００７で、撮像装置１００は、最終的な可変フレームレート効果の内容を決定する。具体的には、図１５のＳ１５０１で、撮像装置１００は、［１，１００］の正規乱数Ｒを発生させ、Ｒ＜Ｔｄであるか否かを判定する。Ｔｄは、「通常」の発生確率である。Ｒ＜Ｔｄの場合、Ｓ１５０２で、撮像装置１００は、可変フレームレート効果として「通常」を選択する。Ｒ≧Ｔｄの場合、Ｓ１５０３で、撮像装置１００は、Ｒ＜Ｔｄ＋Ｔｓであるか否かを判定する。Ｔｓは、「スロー」の発生確率である。Ｒ＜Ｔｄ＋Ｔｓの場合、Ｓ１５０４で、撮像装置１００は、可変フレームレート効果として「スロー」を選択する。Ｒ≧Ｔｄ＋Ｔｓの場合、Ｓ１５０５で、撮像装置１００は、可変フレームレート効果として「早送り」を選択する。
【００６１】
なお、図６及び図１０の記載に従えば、可変フレームレート効果の内容は、撮影開始直前に決定される。しかしながら、撮像装置１００は、他のタイミングで可変フレームレート効果の内容を決定してもよい。例えば、図１６に示すように、撮像装置１００は、撮影中に一定間隔で動き情報を解析し、被写体の動きがあることを検出した場合に、その後一定期間撮像レートを上げることにより、動画に可変フレームレート効果「スロー」を付加することができる。或いは、図１７に示すように、撮像装置１００は、最も高いフレームレートで動画を撮影しておき、撮影後に動画中の被写体動きを解析した上で、動画に所定の内容の可変フレームレート効果を付加することができる。
【００６２】
以上説明した処理により、撮影シーンに応じた各種の特殊効果が付加された結合動画ファイルが生成される。こうして生成される結合動画ファイルの一例を図１８に示す。図１８の結合動画ファイルは、４つのチャプタを含み、各チャプタに４種類の特殊効果が付加されている。特殊効果処理Ａ群に属する種類の特殊効果である「（１）色・階調変換フィルタ効果」及び「（２）テンプレート合成効果」については、各チャプタに共通の特殊効果が付加されている。また、特殊効果処理Ｂ群に属する種類の特殊効果である「（３）可変フレームレート効果」及び「（４）残像効果」については、チャプタ毎に、撮影シーンに応じた特殊効果が付加されている。チャプタ１の残像効果が「なし」であることから理解できるように、特殊効果処理Ｂ群については、必ずしも全てのチャプタに特殊効果が付加されるとは限らない。換言すると、撮像装置１００は、特殊効果処理Ｂ群については、結合動画ファイルを構成する複数のチャプタのうちの１以上のチャプタの各々に対して、チャプタ毎に決定される特殊効果を付加する。これにより、結合動画ファイル全体としての統一感を維持しながらも、撮影シーンに適応的な「面白い」動画を生成することが可能である。
【００６３】
以上説明したように、第１の実施形態によれば、撮像装置１００は、特殊効果処理Ａ群については、各チャプタに共通の特殊効果を付加し、特殊効果処理Ｂ群については、チャプタ毎に決定される特殊効果を付加する。このように、撮像装置１００は、複数の動画に付加する特殊効果を共通化するか否かを、特殊効果の種類に応じて制御するように構成されている。また、撮像装置１００は、被写体の動きや主要被写体の種類などの従来は考慮されていなかった条件に基づいて、動画に可変フレームレート効果を付加する（即ち、記録される動画の再生速度を制御する）ように構成されている。
【００６４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６５】
１００…撮像装置、１０１…光学系、１０２…撮像素子、１０３…メモリ、１０４…画像処理回路、１０５…システム制御部、１０６…露光量制御部、１０７…フォーカスレンズ制御部、１０８…焦点距離制御部、１０９…圧縮回路、１１０…記録媒体、１１１…表示部、１１２…操作部材
【図１】
0006378589.tif 000002
【図２】
0006378589.tif 000003
【図３】
0006378589.tif 000004
【図４】
0006378589.tif 000005
【図５】
0006378589.tif 000006
【図６】
0006378589.tif 000007
【図７】
0006378589.tif 000008
【図８】
0006378589.tif 000009
【図９】
0006378589.tif 000010
【図１０】
0006378589.tif 000011
【図１１】
0006378589.tif 000012
【図１２】
0006378589.tif 000013
【図１３】
0006378589.tif 000014
【図１４】
0006378589.tif 000015
【図１５】
0006378589.tif 000016
【図１６】
0006378589.tif 000017
【図１７】
0006378589.tif 000018
【図１８】
0006378589.tif 000019