(57)【要約】      （修正有）【課題】ポストプロダクション（画像データ編集工程）ではなく、撮影工程（撮像装置）で、好適な動的メタデータが付加された動画データを得る技術を提供する。【解決手段】撮像装置１００は、撮影モードを設定する設定手段と、撮像された動画の特徴量を示すメタデータを生成する生成手段と、生成手段によって生成されたメタデータを、動画を表す動画データに付加する付加手段と、を有する。生成手段は、設定手段によって設定された撮影モードに応じた期間での前記動画の特徴量を示すメタデータを生成する。【選択図】図１
2020141189.tif 000002
【特許請求の範囲】
【請求項１】
撮影モードを設定する設定手段と、
撮像された動画の特徴量を示すメタデータを生成する生成手段と、
前記生成手段によって生成された前記メタデータを、前記動画を表す動画データに付加する付加手段と、
を有し、
前記生成手段は、前記設定手段によって設定された撮影モードに応じた期間での前記動画の特徴量を示す前記メタデータを生成する
ことを特徴とする撮像装置。
【請求項２】
前記特徴量は最大輝度である
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記設定手段によって設定された前記撮影モードが、前記動画の撮影時間よりも前記動画の再生時間が短くなる撮影モードである場合に、前記生成手段は、前記動画の各フレームの特徴量を示すメタデータを生成する
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記設定手段によって設定された前記撮影モードが、複数の静止画を順次撮影する撮影モードである場合に、
前記生成手段は、撮像された静止画の特徴量を示すメタデータを生成する処理を、順次撮影される複数の静止画のそれぞれについて行い、
前記付加手段は、前記生成手段によって生成された前記メタデータを当該メタデータに対応する前記静止画を表す静止画データに付加する処理を、順次撮影される前記複数の静止画のそれぞれについて行う
ことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記設定手段によって設定された前記撮影モードが、前記動画の撮影時間よりも前記動画の再生時間が長くなる撮影モードである場合に、前記生成手段は、前記動画の全体の特徴量を示すメタデータを生成する
ことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記設定手段によって設定された前記撮影モードが、静止画の撮影に連動して、所定期間に撮像された動画を表す動画データを記録する撮影モードである場合に、前記生成手段は、前記所定期間に撮像された前記動画の全体の特徴量を示すメタデータを生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記設定手段によって設定された前記撮影モードが、撮影のフレームレートを変更可能な撮影モードである場合に、前記生成手段は、前記撮影のフレームレートが変更されたタイミングで前記特徴量に対応する前記期間が切り替わるメタデータを生成する
ことを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記設定手段によって設定された前記撮影モードが、前記撮影のフレームレートを変更可能な前記撮影モードである場合に、前記生成手段は、前記撮影のフレームレートが所定のフレームレートよりも低い期間について前記動画の各フレームの特徴量を示す前記メタデータを生成する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記設定手段によって設定された前記撮影モードが、前記撮影のフレームレートを変更
可能な前記撮影モードである場合に、前記生成手段は、前記撮影のフレームレートが所定のフレームレートよりも高い期間において前記動画のシーンが切り替わるタイミングで前記特徴量に対応する前記期間が切り替わる前記メタデータを生成する
ことを特徴とする請求項７または８に記載の撮像装置。
【請求項１０】
前記設定手段によって設定された前記撮影モードが、前記撮影のフレームレートを変更可能な前記撮影モードである場合に、前記生成手段は、前記撮影のフレームレートが所定のフレームレートよりも高い期間において前記所定のフレームレートで前記特徴量に対応する前記期間が切り替わる前記メタデータを生成する
ことを特徴とする請求項７または８に記載の撮像装置。
【請求項１１】
撮影のフレームレートを変更可能な撮影モードで撮影された動画が、当該動画の撮影時間と等しい再生時間で再生される場合に、前記生成手段は、当該動画のシーンが切り替わるタイミングで前記特徴量に対応する前記期間が切り替わるメタデータを再生成する
ことを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
【請求項１２】
撮影のフレームレートを変更可能な撮影モードで撮影された動画が、当該動画の撮影時間と異なる再生時間で再生される場合に、前記生成手段は、
前記撮影のフレームレートが所定のフレームレートである期間において、前記動画のシーンが切り替わるタイミングと、前記撮影のフレームレートが変更されたタイミングとで、前記特徴量に対応する前記期間が切り替わり、且つ、
前記撮影のフレームレートが前記所定のフレームレートでない期間において、前記撮影のフレームレートが変更されたタイミングで前記特徴量に対応する前記期間が切り替わる
メタデータを再生成する
ことを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
【請求項１３】
撮影モードを設定する設定ステップと、
撮像された動画の特徴量を示すメタデータを生成する生成ステップと、
前記生成ステップにおいて生成された前記メタデータを、前記動画を表す動画データに付加する付加ステップと、
を有し、
前記生成ステップでは、前記設定ステップにおいて設定された撮影モードに応じた期間での前記動画の特徴量を示す前記メタデータを生成する
ことを特徴とする撮像装置の制御方法。
【請求項１４】
コンピュータを、請求項１〜１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、動画の各フレーム、各シーン、等の最大輝度を示すメタデータ（動的メタデータ）を用いて、動画の表示方法を順次（例えば、各フレームまたは各シーンで）変更する技術が普及し始めている。具体的には、動的メタデータを用いてトーンカーブ（トーンマップ）を順次変更することで、動画のフレーム、シーン、等の最大輝度に応じたＨＤＲ（ハイダイナミックレンジ）表示を順次変更する技術が普及し始めている。特許文献１には、ポストプロダクションの画像データ編集工程において、動画の各シーンの動的メタデータを生成して動画データに付加する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１５／０１７３１４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示の技術では、ポストプロダクション（画像データ編集工程）が無い場合には、動的メタデータが得られず、トーンカーブを用いたＨＤＲ表示などの表示方法を順次変更することが難しい。
【０００５】
本発明は、ポストプロダクション（画像データ編集工程）ではなく、撮影工程（撮像装置）で、好適な動的メタデータが付加された動画データを得ることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、
撮影モードを設定する設定手段と、
撮像された動画の特徴量を示すメタデータを生成する生成手段と、
前記生成手段によって生成された前記メタデータを、前記動画を表す動画データに付加する付加手段と、
を有し、
前記生成手段は、前記設定手段によって設定された撮影モードに応じた期間での前記動画の特徴量を示す前記メタデータを生成する
ことを特徴とする撮像装置である。
【０００７】
本発明の第２の態様は、
撮影モードを設定する設定ステップと、
撮像された動画の特徴量を示すメタデータを生成する生成ステップと、
前記生成ステップにおいて生成された前記メタデータを、前記動画を表す動画データに付加する付加ステップと、
を有し、
前記生成ステップでは、前記設定ステップにおいて設定された撮影モードに応じた期間での前記動画の特徴量を示す前記メタデータを生成する
ことを特徴とする撮像装置の制御方法である。
【０００８】
本発明の第３の態様は、コンピュータを、上述した撮像装置の各手段として機能させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、ポストプロダクション（画像データ編集工程）ではなく、撮影工程（撮像装置）で、好適な動的メタデータが付加された動画データを得ることができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る撮像装置の構成例を示すブロック図である。
【図２】実施例１に係る撮影処理の一例を示すフローチャートである。
【図３】実施例１に係るタイムラプス撮影モードの一例を示す模式図である。
【図４】実施例１に係る動的メタデータの一例を示す模式図である。
【図５】実施例１に係るスロー撮影モードの一例を示す模式図である。
【図６】実施例１に係る動的メタデータの一例を示す模式図である。
【図７】実施例１に係るトーンカーブの一例を示す模式図である。
【図８】実施例２に係る特殊効果優先モードの一例を示す模式図である。
【図９】実施例２に係る動的メタデータの一例を示す模式図である。
【図１０】実施例２に係る時間優先モードの一例を示す模式図である。
【図１１】実施例２に係る動的メタデータの一例を示す模式図である。
【発明を実施するための形態】
【００１１】
＜実施例１＞
以下、本発明の実施例１について説明する。図１は、本実施例に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、撮像光学系１０１、撮像素子１０２、撮像制御部１０３、特徴量取得部１０４、メタデータ生成部１０５、メタデータ付加部１０６、記憶部１０７、再生部１０８、撮影モード設定部１０９、出力ＩＦ１１０、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、及び、操作部１１４を有する。本実施例において、「撮像」は、被写体を表す画像（静止画または動画）の画像データを生成する処理であり、「撮影」は、撮像を行い、当該撮像により生成された画像データを記憶部１０７に記録する処理である。
【００１２】
撮像光学系１０１は、被写体を表す光学像を撮像素子１０２に結像（形成）する。撮像光学系１０１は、例えば、レンズ群（ズームレンズ、フォーカスレンズ、等）、絞り調整装置、シャッター装置、等を有する。
【００１３】
撮像素子１０２は、被写体を表す静止画（被写体像）を撮像して、当該静止画を表す静止画データを生成したり、被写体を表す動画（被写体像）を撮像して、当該動画を表す動画データを生成したりする。具体的には、撮像素子１０２は、結像された光学像（被写体から撮像光学系１０１を介して入射した光）をアナログ電気信号に変換する光電変換処理を行う。そして、撮像素子１０２は、光電変換処理によって得られたアナログ電気信号をデジタル電気信号（動画の１フレームの画像データ；フレーム画像データ）に変換するＡＤ変換処理（アナログ−デジタル変換処理）をさらに行う。その後、撮像素子１０２は、ＡＤ変換処理によって得られたフレーム画像データを、特徴量取得部１０４とメタデータ付加部１０６へ出力する。撮像素子１０２は、これらの処理を繰り返すことで、動画の複数のフレームにそれぞれ対応する複数のフレーム画像データを順次出力する。
【００１４】
撮像制御部１０３は、撮像装置１００の撮像条件を制御する。本実施例では、撮像制御部１０３は、撮像装置１００（操作部１１４）に対するユーザ操作、撮像装置１００の状態、等に応じて、撮像装置１００の露出（露出条件）を制御する。例えば、撮像制御部１０３は、絞り、撮像素子１０２の電荷蓄積時間、等を制御することにより、露出を制御す
る。具体的には、撮像制御部１０３は、ユーザによって指定されたゲイン値、シャッター速度、絞り値、等に応じて、撮像光学系１０１の状態、撮像素子１０２の処理、等を制御することにより、露出を制御する。さらに、撮像制御部１０３は、撮像装置１００に対するユーザ操作、撮像装置１００の状態、等に応じて、撮像装置１００のフォーカスを制御する。例えば、撮像制御部１０３は、フォーカスレンズの駆動量、駆動方向、等を制御することにより、フォーカスを制御する。具体的には、ＡＦ（オートフォーカス）撮影モードが設定されている場合に、撮像制御部１０３は、フォーカスレンズの位置を所定位置にして、フレーム画像（動画の１フレームの画像）のコントラストの形状（分布）を算出する。そして、撮像制御部１０３は、フレーム画像内の複数の位置のうち、コントラストが最も高い位置を、撮像素子１０２で光束を合焦させる位置（フォーカス位置）としてＡＦ制御を行う。
【００１５】
特徴量取得部１０４は、撮像素子１０２から出力されたフレーム画像データの特徴量（フレーム特徴量）を、当該フレーム画像データから取得する。本実施例では、特徴量取得部１０４は、フレーム画像データによって表された１フレームの画像の最大輝度（フレーム最大輝度）を取得し、取得したフレーム最大輝度をメタデータ生成部１０５へ通知する。本実施例では、特徴量取得部１０４は、撮像された動画の複数のフレームにそれぞれ対応する複数のフレーム最大輝度を順次通知する。
【００１６】
メタデータ生成部１０５は、撮像された動画（撮影される動画）の特徴量を示す動的メタデータを生成する。本実施例では、メタデータ生成部１０５は、特徴量取得部１０４から順次通知された複数のフレーム最大輝度に基づいて、撮像された動画のシーン最大輝度（１シーンの最大輝度）を１つ以上のシーンについて示す動的メタデータを生成する。もしくは、メタデータ生成部１０５は、特徴量取得部１０４から順次通知された複数のフレーム最大輝度に基づいて、撮像された動画の各フレームのフレーム最大輝度を示す動的メタデータを生成する。メタデータ生成部１０５は、生成した動的メタデータをメタデータ付加部１０６へ出力する。
【００１７】
なお、本実施例では、動的メタデータによって示される特徴量が、フレーム最大輝度、シーン最大輝度、等の最大輝度である例を説明するが、特徴量は最大輝度に限られない。例えば、動的メタデータによって示される特徴量は、１フレーム、１シーン、等の他の代表輝度（平均輝度、最小輝度、最頻輝度、中間輝度、等）であってもよい。動的メタデータによって示される特徴量は、１フレーム、１シーン、等の輝度ヒストグラムであってもよい。動的メタデータによって示される特徴量は、１フレーム、１シーン、等の色に関する特徴量であってもよい。動的メタデータによって示される特徴量は、１フレーム、１シーン、等の輝度と色の両方に関する特徴量であってもよい。
【００１８】
メタデータ付加部１０６は、撮像された動画（撮影される動画）を表す動画データに対して、メタデータ生成部１０５から出力された動的メタデータを付加する。撮像された動画（撮影される動画）を表す動画データは、撮像素子１０２から順次出力された複数のフレーム画像データからなる動画データである。例えば、メタデータ付加部１０６は、ＭＰＥＧ−４  ＡＶＣまたはＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）に基づく符号化処理を動画データに施す。そして、メタデータ付加部１０６は、動的メタデータを、ＭＰＥＧ−４  ＡＶＣまたはＨＥＶＣのＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）に付加する。メタデータ付加部１０６は、動的メタデータが付加された後の動画データを、記憶部１０７に記録する。
【００１９】
記憶部１０７は、ＣＦ（コンパクトフラッシュ）カードなどのランダムアクセスの記録媒体であり、メタデータ付加部１０６から出力された動画データ（動的メタデータが付加
された後の動画データ）を記憶する。記憶部１０７は、撮像装置１００から取り外し可能であり、撮像装置１００以外の装置（ＰＣ（パーソナルコンピュータ）など）に装着することが可能である。なお、記憶部１０７は、撮像装置１００に対して着脱不可能な内蔵の記録媒体であってもよい。
【００２０】
再生部１０８は、記憶部１０７に格納されている動画データを再生する。本実施例において、「再生」は、動画データを記憶部１０７から読み出して、出力ＩＦ１１０を介して撮像装置１００の外部へ出力する処理である。
【００２１】
撮影モード設定部１０９は、撮影モードを設定する。本実施例では、撮影モード設定部１０９は、撮像装置１００が有する他の機能ブロックに、不図示の内部バスを介して接続されている。撮影モード設定部１０９は、設定した撮影モードに応じて、撮像装置１００が有する他の機能ブロックの設定値、処理、等を変更する。本実施例では、撮影モード設定部１０９は、設定した撮影モードに応じた期間での動画の特徴量を示す動的メタデータが生成されるように、メタデータ生成部１０５の処理を変更する。これにより、好適な動的メタデータが生成できる。詳細は後述する。撮影モード設定部１０９は、例えば、タイムラプス撮影モード、連続撮影モード、スロー撮影モード、または、動画同時撮影モードを設定する。
【００２２】
タイムラプス撮影モードは、動画の撮影時間よりも当該動画の再生時間が短くなる撮影モードである。例えば、タイムラプス撮影モードは、間欠的な撮影を行う撮影モードであり、実時間よりも速く再生されるタイムラプス動画を撮影するための撮影モードである。タイムラプス撮影モードでは、通常（標準）のフレームレートで撮影した動画からフレームを間引いたような動画が撮影される。タイムラプス撮影モードで撮影した動画では、被写体の時間的変化を短時間で視認することが可能となる。
【００２３】
撮像装置１００は、静止画を撮影したり再生したりすることもできる。例えば、撮像装置１００は、静止画を撮像し、当該静止画を表す静止画データを、メタデータを付加して記憶部１０７に記録することができる。連続撮影モードは、複数の静止画を順次撮影する撮影モードである。再生部１０８は、連続撮影モードで撮影された複数の静止画を順次再生することができる（連続再生）。
【００２４】
スロー撮影モードは、動画の撮影時間よりも当該動画の再生時間が長くなる撮影モードである。例えば、スロー撮影モードは、通常のフレームレートよりも高いフレームレートで撮影を行う撮影モードであり、実時間よりもゆっくり再生されるスロー動画を撮影するための撮影モードである。
【００２５】
動画同時撮影モードは、静止画の撮影に連動して、所定期間に撮像された動画を表す動画データを記録する撮影モードである。例えば、動画同時撮影モードは、現在のタイミングまでの所定時間分の動画がＲＡＭ１１２に格納されるように動画の撮像を行い、静止画を撮影するタイミングで、ＲＡＭ１１２に格納されている動画を静止画と共に記憶部１０７に記録する撮影モードである。動画同時撮影モードを用いることで、静止画だけでなく、静止画を撮影したタイミングまでの所定時間分の動画が確認可能となる。なお、静止画を撮影したタイミングからの動画が確認可能となってもよいし、静止画を撮影したタイミングを跨いだ期間の動画が確認可能となってもよい。
【００２６】
出力ＩＦ１１０は、記憶部１０７に格納されている動画データ（動的メタデータが付加された後の動画データ）を不図示の外部装置へ出力する。例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）規格に準拠した通信プロトコルに従って、動画データをストリーム形式で出力する。なお、動
画データと動的メタデータの伝送方法は特に限定されない。例えば、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ＆  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）  ＳＴ  ２０９４で規定されたパラメータが、動的メタデータとして伝送されてもよい。具体的には、ＨＤＲ１０＋で規定されたＳｃｅｎｅ−ＭａｘＣＬＬ（Ｍａｘｉｍｕｍ  Ｃｏｎｔｅｎｔ  Ｌｉｇｈｔ  Ｌｅｖｅｌ）が動的メタデータとして伝送されてもよい。
【００２７】
ＣＰＵ１１１は、撮像装置１００が有する他の機能ブロックに、不図示の内部バスを介して接続されている。ＣＰＵ１１１は、撮像装置１００の処理を制御する。ＲＡＭ１１２は、撮像装置１００が有する他の機能ブロックに、不図示の内部バスを介して接続されている。ＲＡＭ１１２は、ＣＰＵ１１１のワークエリア、種々のデータを一時的に記憶する一時記憶領域、等として使用される。ＲＯＭ１１３は、撮像装置１００が有する他の機能ブロックに、不図示の内部バスを介して接続されている。ＲＯＭ１１３には、ＣＰＵ１１１の処理に係るファームウェア、ＣＰＵ１１１の処理に係る情報、等が予め記録されている。
【００２８】
操作部１１４は、不図示の内部バスを介してＣＰＵ１１１に接続されている。操作部１１４は、ユーザ操作を受け付ける入力部としての各種操作部材である。操作部１１４は、撮影を開始するための撮影開始ボタン、フォーカス動作のオート制御／マニュアル制御を切り替えるための切替スイッチ、フォーカス調整操作を行うためのフォーカスリング、等を含む。また、操作部１１４は、不図示のタッチパネルと液晶パネルを有し、表示される機能アイコンを各種機能ボタンとして作用させる。機能ボタンは、撮影開始ボタン、ホワイトバランス設定ボタン、ＩＳＯ感度設定ボタン、等を含む。機能ボタンは、撮影モードを選択して設定するための撮影モード選択ボタン、再生を開始するための再生開始ボタン、等も含む。機能ボタンは、撮影フレームレート（撮影のフレームレート）を指定して設定するための設定ボタンも含む。機能ボタンは、再生フレームレート（再生のフレームレート）を指定して設定するための設定ボタンも含む。
【００２９】
図２は、撮像装置１００の撮影処理の一例を示すフローチャートである。特殊撮影モードが設定されている状態で、ＣＰＵ１１１が、操作部１１４に対する撮影開始操作を検知すると、図２の撮影処理が開始する。図２の撮影処理は、ＣＰＵ１１１が撮像装置１００の各機能ブロックを制御することにより実現される。撮影開始操作は、例えば、撮像装置１００の非撮影状態において操作部１１４の撮影開始ボタンを押下するユーザ操作である。特殊撮影モードは、タイムラプス撮影モード、連続撮影モード、スロー撮影モード、動画同時撮影モード、等の総称である。以下では、撮影処理中に撮影モードの変更を許可しないものとする。
【００３０】
まず、タイムラプス撮影モードで撮影する場合について説明する。図３は、タイムラプス撮影モードでの撮影フレームレートと再生フレームレートの関係の一例を示す模式図である。撮影フレームレートと再生フレームレートは、操作部１１４に対するユーザ操作に応じて設定される。本実施例では、撮影フレームレートが０．０５ｆｐｓであり、再生フレームレートが６０ｆｐｓであり、撮影時間が２０時間であるとする。図３に示すように、これらの条件から、再生時間は１分（６０秒＝７２０００秒×０．０５ｆｐｓ÷６０ｆｐｓ）と定められる。
【００３１】
撮影開始操作を行う前に、ユーザは、操作部１１４に対して、タイムラプス撮影モードを設定するための設定操作、撮影フレームレートを設定するための設定操作、及び、再生フレームレートを設定するための設定操作を行う。そして、これらの設定操作に応じた設定がされる。例えば、ユーザが、撮影フレームレートとして０．０５ｆｐｓを指定する設定操作を操作部１１４に対して行うと、ＣＰＵ１１１は、撮像素子１０２が撮像を行う撮
像周期を表す撮像フレームレートとして０．０５ｆｐｓを設定する。さらに、ＣＰＵ１１１は、メタデータ付加部１０６が記憶部１０７へフレーム画像データを書き込む書き込み周期を表す記録フレームレートとしても０．０５ｆｐｓを設定する。なお、撮像フレームレートは記録フレームレートと異なってもよい。例えば、６０ｆｐｓなどの通常のフレームレートを撮像フレームレートとして設定し、０．０５ｆｐｓを記録フレームレートとして設定してもよい。その場合には、撮像された動画が、フレームを間引いて記憶部１０７に記録される（撮影フレームレートは０．０５ｆｐｓとなる）。
【００３２】
図２の撮影処理において、まず、特徴量取得部１０４は、撮像素子１０２から出力されたフレーム画像データのフレーム最大輝度の取得を開始する（ステップＳ２０１）。
【００３３】
次に、ＣＰＵ１１１は、撮像装置１００に設定されている撮影モードがタイムラプス撮影モードであるか否かを判断する（ステップＳ２０２）。撮影モードがタイムラプス撮影モードである場合には（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３へ処理が進められ、撮影モードがタイムラプス撮影モードでない場合には（ステップＳ２０２：Ｎｏ）、ステップＳ２０６へ処理が進められる。ここでは、タイムラプス撮影モードが設定されているものとしたため（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３へ処理が進められる。
【００３４】
ステップＳ２０３にて、メタデータ生成部１０５は、現在のフレーム画像データのフレーム最大輝度を示すメタデータを、当該フレーム画像データのメタデータとして生成する。次に、メタデータ付加部１０６は、メタデータ生成部１０５から出力されたメタデータ（ステップＳ２０３で生成されたメタデータ）を、撮像素子１０２から出力されたフレーム画像データ（現在のフレーム画像データ）に付加する（ステップＳ２０４）。そして、メタデータ付加部１０６は、メタデータが付加された後のフレーム画像データを記憶部１０７に記録する。ステップＳ２０３，Ｓ２０４の処理は撮影中に繰り返される。このため、タイムラプス撮影モードの場合には、撮像された動画（撮影される動画）の各フレームの特徴量（フレーム最大輝度）を示す動的メタデータが生成され、撮像された動画（撮影される動画）を表す動画データに付加される。なお、上述したように、メタデータ付加部１０６は、フレーム画像データの符号化処理を適宜行う。
【００３５】
そして、ＣＰＵ１１１は、操作部１１４に対する撮影終了操作が行われたか否かを判断する（ステップＳ２０５）。撮影終了操作が行われていない場合には（ステップＳ２０５：Ｎｏ）、ステップＳ２０３へ処理が戻される。撮影終了操作が行われるまで、撮影フレームレートでステップＳ２０３〜Ｓ２０５の処理が繰り返される。つまり、撮像された動画（撮影される動画）のフレーム毎にステップＳ２０３〜Ｓ２０５の処理が行われる。撮影終了操作が行われた場合には（ステップＳ２０５：Ｙｅｓ）、図２の撮影処理が終了する。ここでは、撮影開始（図２の撮影処理の開始）から２０時間が経過するまでステップＳ２０３〜Ｓ２０５の処理が繰り返され、２０時間が経過した後に撮影終了操作が行われて撮影処理が終了したとする。
【００３６】
図４は、タイムラプス撮影モードで撮影した動画のフレーム画像データ、フレーム最大輝度、及び、動的メタデータの一例を示す模式図である。撮影時間が２０時間であり且つ撮影フレームレートが０．０５ｆｐｓであるため、３６００枚（＝０．０５ｆｐｓ×７２０００秒）のフレーム画像が撮影される（フレーム画像データｎｏ．１〜ｎｏ．３６００）。実線４０１は、フレーム最大輝度の時間変化を示す。図４に示すように、タイムラプス撮影モードで動画を撮影した場合には、フレーム画像データｎｏ．１〜ｎｏ．３６００のそれぞれに、対応するフレーム最大輝度を示すメタデータが付加される。例えば、フレーム画像データｎｏ．１〜ｎｏ．３には１００ｎｉｔｓを示すメタデータが付加される。そして、フレーム画像データｎｏ．Ｍには３０００ｎｉｔｓを示すメタデータが付加され
、フレーム画像データｎｏ．３６００には１０００ｎｉｔｓを示すメタデータが付加される。つまり、撮像された動画（撮影される動画）の各フレームの特徴量（フレーム最大輝度）を示す動的メタデータが生成され、撮像された動画（撮影される動画）を表す動画データに付加される。
【００３７】
なお、撮影フレームレートと再生フレームレートを設定する例を説明したが、フレームレート（撮影フレームレート、再生フレームレート、等）に関する他のパラメータを設定してもよい。例えば、撮影時間（秒）と、撮影するフレームの数とを設定してもよい。その場合には、撮影するフレーム数を撮影時間で除算することにより、撮影フレームレートが得られる。
【００３８】
なお、連続撮影モードが設定されている場合、具体的には連続撮影（複数の静止画を順次撮影する処理）の後に連続再生（複数の静止画を順次再生する処理）を行う場合に、タイムラプス撮影モードが設定されている場合と同様の撮影処理を適用してもよい。具体的には、メタデータ生成部１０５は、撮像された静止画の特徴量を示すメタデータを生成する処理を、順次撮影される複数の静止画のそれぞれについて行ってもよい。そして、メタデータ付加部１０６は、メタデータ生成部１０５によって生成されたメタデータを当該メタデータに対応する静止画を表す静止画データに付加する処理を、順次撮影される複数の静止画のそれぞれについて行ってもよい。
【００３９】
この場合に、例えば、静止画データは、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）形式で記録される。そして、ＥＸＩＦで定められたメタデータに、静止画の特徴量（最大輝度）が記述される。これらが撮影時の処理である。その後、再生部１０８は、記憶部１０７から複数の静止画データ（複数の静止画）を順次読み出す際に、ＥＸＩＦで定められたメタデータから特徴量（最大輝度）を抽出して、静止画データと共に特徴量を出力ＩＦ１１０へ出力する。出力ＩＦ１１０は、再生部１０８から出力された静止画データをＨＤＭＩ規格に準拠したストリーム形式で外部装置へ出力する。つまり、静止画データが動画データの一部（フレーム画像データ）として出力される。この時、再生部１０８から出力されたメタデータ（特徴量；最大輝度）も、ＳＭＰＴＥ
ＳＴ  ２０９４で規定された動的メタデータの一部（フレーム最大輝度）として外部装置へ出力される。これらが再生時の処理である。
【００４０】
以上の処理によれば、連続撮影の後に連続再生を行う場合においても、動画の各フレームの特徴量（フレーム最大輝度）を示す動的メタデータを生成し、動画データに付加することができる。
【００４１】
次に、スロー撮影モードで撮影する場合について説明する。図５は、スロー撮影モードでの撮影フレームレートと再生フレームレートの関係の一例を示す模式図である。タイムラプス撮影モードで撮影する場合と同様に、撮影フレームレートと再生フレームレートは、操作部１１４に対するユーザ操作に応じて設定される。本実施例では、撮影フレームレートが２４０ｆｐｓであり、再生フレームレートが６０ｆｐｓであり、撮影時間が１秒であるとする。図５に示すように、これらの条件から、再生時間は４秒（＝１秒×２４０ｆｐｓ÷６０ｆｐｓ）と定められる。
【００４２】
図２の撮影処理において、まず、タイムラプス撮影モードで撮影する場合と同様に、ステップＳ２０１，Ｓ２０２の処理が行われる。つまり、ステップＳ２０１にて、特徴量取得部１０４は、撮像素子１０２から出力されたフレーム画像データのフレーム最大輝度の取得を開始する。そして、ステップＳ２０２にて、ＣＰＵ１１１は、撮像装置１００に設定されている撮影モードがタイムラプス撮影モードであるか否かを判断する。ここでは、タイムラプス撮影モードが設定されておらず、スロー撮影モードが設定されているものと
したため（ステップＳ２０２：Ｎｏ）、ステップＳ２０６へ処理が進められる。
【００４３】
ステップＳ２０６にて、ＣＰＵ１１１は、現在のフレーム画像データのフレーム最大輝度が、ＲＡＭ１１２に格納されているフレーム最大輝度（情報）よりも高いか否かを判断する。そして、ＣＰＵ１１１は、高いと判断した場合に、ＲＡＭ１１２に格納されているフレーム最大輝度を、現在のフレーム画像データのフレーム最大輝度で更新する。現在のフレーム画像データが、撮像された動画（撮影される動画）の最初のフレームに対応する場合には、ＣＰＵ１１１は、現在のフレーム画像データのフレーム最大輝度をＲＡＭ１１２に記録する。
【００４４】
そして、ＣＰＵ１１１は、操作部１１４に対する撮影終了操作が行われたか否かを判断する（ステップＳ２０７）。撮影終了操作が行われていない場合には（ステップＳ２０７：Ｎｏ）、ステップＳ２０６へ処理が戻される。撮影終了操作が行われるまで、撮影フレームレートでステップＳ２０６，Ｓ２０７の処理が繰り返される。つまり、撮像された動画（撮影される動画）のフレーム毎にステップＳ２０６，Ｓ２０７の処理が行われる。撮影終了操作が行われた場合には（ステップＳ２０７：Ｙｅｓ）、ステップＳ２０８へ処理が進められる。このため、撮像された動画（撮影される動画）の全体の特徴量（最大輝度）がＲＡＭ１１２に格納された状態、即ち動画の全期間を１シーンとしたシーン最大輝度がＲＡＭ１１２に格納された状態で、ステップＳ２０８へ処理が進められる。ここでは、撮影開始（図２の撮影処理の開始）から１秒が経過するまでステップＳ２０６，Ｓ２０７の処理が繰り返され、１秒が経過した後に撮影終了操作が行われてステップＳ２０８へ処理が進められたとする。
【００４５】
ステップＳ２０８にて、メタデータ生成部１０５は、ＲＡＭ１１２に格納されたフレーム最大輝度（動画の全体の最大輝度；動画の全期間を１シーンとしたシーン最大輝度）を示すメタデータを、動的メタデータとして生成する。
【００４６】
そして、メタデータ付加部１０６は、メタデータ生成部１０５から出力された動的メタデータ（ステップＳ２０８で生成された動的メタデータ）を、撮像素子１０２から出力された動画データに付加する（ステップＳ２０９）。そして、メタデータ付加部１０６は、動的メタデータが付加された後の動画データを記憶部１０７に記録する。その後、撮影処理は終了する。なお、上述したように、メタデータ付加部１０６は、動画データの符号化処理を適宜行う。
【００４７】
図６は、スロー撮影モードで撮影した動画のフレーム画像データ、フレーム最大輝度、及び、動的メタデータの一例を示す模式図である。撮影時間が１秒であり且つ撮影フレームレートが２４０ｆｐｓであるため、２４０枚（＝２４０ｆｐｓ×１秒）のフレーム画像が撮影される（フレーム画像データｎｏ．１〜ｎｏ．２４０）。実線６０１は、フレーム最大輝度の時間変化を示す。図６に示すように、スロー撮影モードで動画を撮影した場合には、複数のフレーム画像データにそれぞれ対応する複数のフレーム最大輝度のうちの最大輝度を示す一意の動的メタデータが、全てのフレーム画像データに対応するように動画データに付加される。具体的には、フレーム画像データｎｏ．Ｎのフレーム最大輝度３０００ｎｉｔｓを示す動的メタデータが、フレーム画像データｎｏ．１〜Ｎｏ．２４０の全てに対応する動的メタデータとして動画データに付加される。つまり、撮像された動画（撮影される動画）の全体の特徴量（最大輝度）を示す動的メタデータが生成され、撮像された動画（撮影される動画）を表す動画データに付加される。
【００４８】
なお、動画同時撮影モードが設定されている場合に、スロー撮影モードが設定されている場合と同様の撮影処理を適用してもよい。但し、動画同時撮影モードの場合には、ステップＳ２０６にて、ＣＰＵ１１１は、現在のタイミングまでの所定時間分の動画データ（
複数のフレーム画像データ）がＲＡＭ１１２に格納されるように、現在のフレーム画像データをＲＡＭ１１２に記録する。さらに、ＣＰＵ１１１は、上記複数のフレーム画像データにそれぞれ対応する複数のフレーム最大輝度がＲＡＭ１１２に格納されるように、現在のフレーム画像データに対応するフレーム最大輝度をＲＡＭ１１２に記録する。ステップＳ２０７にて、ＣＰＵ１１１は、静止画の撮影を行ったか否かを判断する。静止画の撮影は、例えば、静止画撮影ボタンの押下に応じて行われる。そして、ステップＳ２０８にて、メタデータ生成部１０５は、ＲＡＭ１１２に格納された複数のフレーム最大輝度のうちの最大輝度を示すメタデータを、動的メタデータとして生成する。
【００４９】
図７は、本実施例に係る表示装置の表示輝度（表示面の輝度）の上限を１０００ｎｉｔｓとした場合のトーンカーブ（トーンマップ）の一例を示す模式図である。トーンカーブは、表示装置に入力された画像データによって表された輝度（データ輝度）と、表示装置の表示輝度との関係を表す。表示装置は、トーンカーブに従って画像を表示する。本実施例では、撮像装置１００（出力ＩＦ１１０）から出力されたフレーム画像データが表示装置に入力される。表示装置は、撮像装置１００から出力された動的メタデータに従ってトーンカーブを変更する。
【００５０】
トーンカーブ７０１を用いた場合には、データ輝度１０００ｎｉｔｓが表示輝度１０００ｎｉｔｓで表示されるが、１０００ｎｉｔｓよりも高いデータ輝度も表示輝度１０００ｎｉｔｓで表示される。つまり、１０００ｎｉｔ以下のデータ輝度は忠実に表示できるが、１０００ｎｉｔｓよりも高いデータ輝度は高い階調性で表示できず、１０００ｎｉｔｓよりも高いデータ輝度のエリアで階調潰れ（白とび）が発生する。トーンカーブ７０２を用いた場合には、データ輝度１０００ｎｉｔｓを表示輝度８００ｎｉｔｓで表示するような輝度低下が発生するが、１０００ｎｉｔｓよりも高いデータ輝度を高い階調性で表示できる。
【００５１】
上述したように、タイムラプス撮影モードが設定されている場合には、動画の各フレームのフレーム最大輝度を示す動的メタデータが生成される。このため、表示装置では、フレーム毎にトーンカーブが変更される。例えば、図４のフレーム画像データｎｏ．Ｍ（フレーム最大輝度３０００ｎｉｔｓ）を表示する場合には、トーンカーブ７０２が使用される。そして、図４のフレーム画像データｎｏ．３６００（フレーム最大輝度１０００ｎｉｔｓ）を表示する場合には、トーンカーブ７０１が使用される。使用するトーンカーブをトーンカーブ７０２からトーンカーブ７０１に変更することで、上述した輝度低下（特に、１００ｎｉｔｓ以上のデータ輝度からの変化、１０００ｎｉｔｓ近辺のデータ輝度からの低下、等）を抑制することができる。さらに、使用するトーンカーブをトーンカーブ７０１からトーンカーブ７０２に変更することで、１０００ｎｉｔｓよりも高いデータ輝度を高い階調性で表示できるようになる。
【００５２】
一方、スロー撮影モードが設定されている場合には、動画の全期間を１シーンとしたシーン最大輝度を示す動的メタデータが生成される。このため、表示装置では、トーンカーブは変更されない。図６の例では、シーン最大輝度３０００ｎｉｔｓを示す動的メタデータが生成されるため、表示装置ではトーンカーブ７０２が常に使用される。その結果、トーンカーブの変化に起因する輝度変化を抑制できる。スロー撮影モードで撮影された動画では、フレーム間における画像の差が比較的小さい。トーンカーブの変化に起因する輝度変化を抑制することで、画像の差が比較的小さいフレーム間での画像の見えの急激な変化を抑制できる。
【００５３】
以上述べたように、本実施例によれば、撮像装置において、設定された撮影モードに応じた期間での動画の特徴量を示すように動的メタデータが生成され、生成された動的メタデータが動画データに付加される。これにより、ポストプロダクション（画像データ編集
工程）ではなく、撮影工程（撮像装置）で、好適な動的メタデータが付加された動画データを得ることができる。例えば、本実施例で付加された動的メタデータを使用することで、フレーム最大輝度に近い輝度を有する高輝度エリアの輝度低下を抑制してタイムラプス動画を表示することができる。急激な輝度変化を抑制してスロー動画を表示することもできる。
【００５４】
なお、撮影モードは、タイムラプス撮影モード、連続撮影モード、スロー撮影モード、及び、動画同時撮影モードに限られない。例えば、撮影中に撮影フレームレートを変更可能な撮影モードが設定可能であってもよい。そのような撮影モードが設定されている場合には、メタデータ生成部１０５は、撮影フレームレートが変更されたタイミングで特徴量に対応する期間が切り替わる動的メタデータを生成してもよい。つまり、メタデータ生成部１０５は、撮影フレームレートが変更されたタイミングをシーンが切り替わるタイミングとして、各シーン最大輝度を示す動的メタデータを生成してもよい。
【００５５】
さらに、撮影フレームレートが所定のフレームレートよりも低い期間について、シーン最大輝度ではなく、動画の各フレームの特徴量（フレーム最大輝度）が示されるように、メタデータ生成部１０５が動的メタデータを生成してもよい。所定のフレームレートは、例えば、６０ｆｐｓなどの通常のフレームレートである。
【００５６】
また、撮影フレームレートが所定のフレームレートよりも高い期間において動画のシーンが切り替わるタイミングで特徴量に対応する期間が切り替わるように、メタデータ生成部１０５が動的メタデータを生成してもよい。つまり、撮影フレームレートが所定のフレームレートよりも高い期間について各シーン最大輝度が示されるように、メタデータ生成部１０５が動的メタデータを生成してもよい。シーンが切り替わるタイミングは、撮影フレームレートが変更されたタイミングとは異なるタイミングを含んでもよい。例えば、フレーム間でフレーム最大輝度が閾値以上変化するタイミングなどが、シーンが切り替わるタイミングとしてさらに使用されてもよい。
【００５７】
もしくは、撮影フレームレートが所定のフレームレートよりも高い期間において所定のフレームレートで特徴量に対応する期間が切り替わるように、メタデータ生成部１０５が動的メタデータを生成してもよい。つまり、メタデータ生成部１０５は、撮影フレームレートが変更されたタイミングと、所定のフレームレートのタイミングとをシーンが切り替わるタイミングとして、各シーン最大輝度を示す動的メタデータを生成してもよい。
【００５８】
＜実施例２＞
以下、本発明の実施例２について説明する。実施例１では、再生時間（再生フレームレート）が予め定められる例を説明した。実施例２では、再生を行う際に再生時間が変更可能な例を説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。
【００５９】
撮影モード設定部１０９は、可変フレームレート撮影モード（撮影フレームレートが変更可能な撮影モード）を設定できる。可変フレームレートモードが設定されている場合には、操作部１１４に対するユーザ操作に応じて、通常の撮影から特殊撮影への切り替え、特殊撮影から他の特殊撮影への切り替え、特殊撮影から通常の撮影への切り替え、等が行われる。特殊撮影は、特殊撮影モードでの撮影と同じ撮影であり、例えば、タイムラプス撮影モードでの撮影であるタイムラプス撮影、スロー撮影モードでの撮影であるスロー撮影、等である。
【００６０】
再生部１０８は、実施例１で述べた処理の他に、動画のシーンを判断するシーン判断処理、動的メタデータを再生成（更新）する再生成処理、等も行うことができる。シーン判
断処理では、例えば、フレーム間でフレーム最大輝度が閾値以上変化するタイミングが、シーンが切り替わるタイミングとして検出される。さらに、再生部１０８は、操作部１１４に対するユーザ操作に応じて、再生モードを設定できる。本実施例では、再生部１０８は、可変フレームレート撮影モードで撮影された動画を再生する際に、特殊効果優先モードまたは時間優先モードを設定する。特殊効果優先モードと時間優先モードについては後述する。
【００６１】
撮像装置１００の再生モードに応じた動的メタデータの再生成処理について説明する。ここでは、可変フレームレート撮影モードで撮影された動画データを再生するものとし、再生する動画データに、各フレームのフレーム最大輝度を示す動的メタデータが付加されているものとする。
【００６２】
まず、特殊効果優先モードが設定されている場合について説明する。特殊効果優先モードは、特殊撮影の効果を優先した再生を行う再生モードである。特殊効果優先モードが設定されている場合には、可変フレームレート撮影モードで撮影された動画が、当該動画の撮影時間と異なる再生時間で再生される。例えば、スロー撮影の期間については撮影時間よりも長い再生時間で動画が再生され（スロー再生）、タイムラプス撮影の期間については撮影時間よりも短い再生時間で動画が再生される（タイムラプス再生）。
【００６３】
図８は、特殊効果優先モードが設定されている場合の、撮影フレームレート、再生フレームレート、及び、再生状態の関係の一例を示す模式図である。
【００６４】
図８において、可変フレームレート撮影モードで撮影された動画は、通常撮影動画８０１、スロー撮影動画８０２、タイムラプス撮影動画８０３、及び、通常撮影動画８０４からなる。通常撮影動画８０１，８０４は、通常の撮影によって得られた動画であり、通常撮影動画８０１，８０４の撮影フレームレートは６０ｆｐｓである。スロー撮影動画８０２は、スロー撮影によって得られた動画であり、スロー撮影動画８０２の撮影フレームレートは２４０ｆｐｓである。タイムラプス撮影動画８０３は、タイムラプス撮影によって得られた動画であり、タイムラプス撮影動画８０３の撮影フレームレートは３０ｆｐｓである。
【００６５】
特殊効果優先モードが設定されている場合には、通常撮影動画８０１が通常再生され、スロー撮影動画８０２がスロー再生され、タイムラプス撮影動画８０３がタイムラプス再生され、通常撮影動画８０４が通常再生される。図８の例では、再生動画（再生された動画）は、通常再生動画８１１、スロー再生動画８１２、タイムラプス再生動画８１３、及び、通常再生動画８１４からなる。通常再生動画８１１は通常撮影動画８０１に対応し、スロー再生動画８１２はスロー撮影動画８０２に対応し、タイムラプス再生動画８１３はタイムラプス撮影動画８０３に対応し、通常再生動画８１４は通常撮影動画８０４に対応する。そして、再生フレームレートは常に６０ｆｐｓとされる。
【００６６】
図９は、特殊効果優先モードが設定されている場合に再生成された動的メタデータの一例を示す模式図である。ここで、フレーム最大輝度Ｌａとフレーム最大輝度Ｌｂの差、フレーム最大輝度Ｌｄとフレーム最大輝度Ｌｅの差、及び、フレーム最大輝度Ｌｇとフレーム最大輝度Ｌｈの差は、シーンの切り替わりを検出するための上記閾値以上である。特殊効果優先モードが設定されている場合とは、可変フレームレート撮影モードで撮影された動画が、当該動画の撮影時間と異なる再生時間で再生される場合である。
【００６７】
特殊効果優先モードが設定されている場合には、再生部１０８は、以下の条件を満たすように動的メタデータを再生成する。ここで、動画のシーンが切り替わるタイミングは、撮影フレームレートが変更されたタイミングではなく、例えばフレーム最大輝度が閾値以
上変化するタイミングである。撮影フレームレートが変更されたタイミングは、再生状態が切り替わるタイミングである。
・撮影フレームレートが所定のフレームレート（例えば、６０ｆｐｓなどの通常のフレームレート）である期間において、動画のシーンが切り替わるタイミングと、撮影フレームレートが変更されたタイミングとで、特徴量に対応する期間が切り替わる。
・撮影フレームレートが所定のフレームレートでない期間において、撮影フレームレート変更されたタイミングで特徴量に対応する期間が切り替わる。
【００６８】
本実施例では、通常再生の期間について、撮影フレームレートが変更されたタイミングと、フレーム最大輝度が閾値以上変化するタイミングとをシーンが切り替わるタイミングとして、シーン最大輝度が示されるように、動的メタデータが再生成される。具体的には、通常再生動画８１１の期間のうち、再生を開始した時刻０から、フレーム最大輝度が輝度Ｌａから輝度Ｌｂに変化する時刻ｔ１までの期間が、１シーンの期間として検出される。そして、再生成される動的メタデータの一部、具体的には検出されたシーン（時刻０から時刻ｔ１までの期間）に対応するメタデータとして、当該シーンのシーン最大輝度Ｌａを示すメタデータが再生成される。同様に、時刻ｔ１から、再生状態が変化する時刻ｔ２までの期間が、１シーンとして検出され、検出されたシーンに対応するメタデータとして、当該シーンのシーン最大輝度Ｌｃを示すメタデータが再生成される。通常再生動画８１４の期間については、再生状態が変化した時刻ｔ６から、再生を終了する時刻ｔ７までの期間が、１シーンの期間として検出される。そして、検出されたシーン（時刻ｔ６から時刻ｔ７までの期間）に対応するメタデータとして、当該シーンのシーン最大輝度Ｌｉを示すメタデータが再生成される。
【００６９】
そして、特殊再生（スロー再生、タイムラプス再生、等）の期間については、当該期間での動画の全体の特徴量が示されるように、動的メタデータが生成される。つまり、特殊再生の期間については、当該期間を１シーンとしたシーン最大輝度が示されるように、動的メタデータが再生成される。
【００７０】
具体的には、スロー再生動画８１２の期間については、スロー再生を開始した時刻ｔ２から、再生状態が変化する時刻ｔ４までの期間が、１シーンとして検出される。そして、再生成される動的メタデータの一部、具体的には検出されたシーン（時刻ｔ２から時刻ｔ４までの期間）に対応するメタデータとして、当該シーンのシーン最大輝度Ｌｆを示すメタデータが再生成される。通常再生の場合には、フレーム最大輝度が輝度Ｌｄから輝度Ｌｅに変化する時刻ｔ３でメタデータが切り替わるが、スロー再生の場合には時刻ｔ３でメタデータは切り替わらない。
【００７１】
同様に、タイムラプス再生動画８１３の期間については、タイムラプス再生を開始した時刻ｔ４から、再生状態が変化する時刻ｔ６までの期間が、１シーンとして検出される。そして、検出されたシーン（時刻ｔ４から時刻ｔ６までの期間）に対応するメタデータとして、当該シーンのシーン最大輝度Ｌｇを示すメタデータが再生成される。通常再生の場合には、フレーム最大輝度が輝度Ｌｇから輝度Ｌｈに変化する時刻ｔ５でメタデータが切り替わるが、タイムラプス再生の場合には時刻ｔ５でメタデータは切り替わらない。
【００７２】
以上の処理で再生成された動的メタデータを用いることにより、特殊再生中において、トーンカーブが変更されないため、トーンカーブの変化に起因する（急激な）輝度変化を抑制できる。
【００７３】
次に、時間優先モードが設定されている場合について説明する。時間優先モードは、撮影時間を優先した再生を行う再生モードである。時間優先モードが設定されている場合には、可変フレームレート撮影モードで撮影された動画が、当該動画の撮影時間と等しい再
生時間で再生される。
【００７４】
図１０は、時間優先モードが設定されている場合の、撮影フレームレート、再生フレームレート、及び、再生状態の関係の一例を示す模式図である。図８と同様に、可変フレームレート撮影モードで撮影された動画は、通常撮影動画８０１、スロー撮影動画８０２、タイムラプス撮影動画８０３、及び、通常撮影動画８０４からなる。
【００７５】
時間優先モードが設定されている場合には、通常撮影動画８０１が通常再生され、スロー撮影動画８０２が間引き再生され、タイムラプス撮影動画８０３が重複再生され、通常撮影動画８０４が通常再生される。間引き再生では、再生時間が撮影時間と一致するように、フレームが間引かれる。重複再生では、再生時間が撮影時間と一致するように、同じフレームが複数回再生される。図１０の例では、再生動画は、通常再生動画９１１、間引き再生動画９１２、重複再生動画９１３、及び、通常再生動画９１４からなる。通常再生動画９１１は通常撮影動画８０１に対応し、間引き再生動画９１２はスロー撮影動画８０２に対応し、重複再生動画９１３はタイムラプス撮影動画８０３に対応し、通常再生動画９１４は通常撮影動画８０４に対応する。そして、再生フレームレートは常に６０ｆｐｓとされる。
【００７６】
図１１は、時間優先モードが設定されている場合に再生成された動的メタデータの一例を示す模式図である。図９と同様に、フレーム最大輝度Ｌａとフレーム最大輝度Ｌｂの差、フレーム最大輝度Ｌｄとフレーム最大輝度Ｌｅの差、及び、フレーム最大輝度Ｌｇとフレーム最大輝度Ｌｈの差は、シーンの切り替わりを検出するための上記閾値以上である。時間優先モードが設定されている場合とは、可変フレームレート撮影モードで撮影された動画が、当該動画の撮影時間と等しい再生時間で再生される場合である。
【００７７】
時間優先モードが設定されている場合には、再生部１０８は、撮影フレームレートに依らず、動画のシーンが切り替わるタイミングで特徴量に対応する期間が切り替わる動的メタデータを再生成する。ここで、動画のシーンが切り替わるタイミングは、撮影フレームレートが変更されたタイミングではなく、例えばフレーム最大輝度が閾値以上変化するタイミングである。本実施例では、時間優先モードが設定されている場合には、撮影フレームレートが変更されたタイミングは、シーンが切り替わるタイミングとして扱われず、フレーム最大輝度が閾値以上変化するタイミングが、シーンが切り替わるタイミングとして扱われる。即ち、再生動画９１１〜９１４を１つの再生動画として扱って、シーン最大輝度を示す動的メタデータが再生成される。
【００７８】
具体的には、再生を開始した時刻０から、フレーム最大輝度が輝度Ｌａから輝度Ｌｂに変化する時刻ｔ１までの期間が、１シーンの期間として検出される。そして、再生成される動的メタデータの一部、具体的には検出されたシーン（時刻０から時刻ｔ１までの期間）に対応するメタデータとして、当該シーンのシーン最大輝度Ｌａを示すメタデータが再生成される。同様に、時刻ｔ１から、フレーム最大輝度が輝度Ｌｄから輝度Ｌｅに変化する時刻ｔ３までの期間が、１シーンとして検出され、検出されたシーンに対応するメタデータとして、当該シーンのシーン最大輝度Ｌｄを示すメタデータが再生成される。時刻ｔ３から、フレーム最大輝度が輝度Ｌｇから輝度Ｌｈに変化する時刻ｔ５までの期間が、１シーンとして検出され、検出されたシーンに対応するメタデータとして、当該シーンのシーン最大輝度Ｌｇを示すメタデータが再生成される。そして、時刻ｔ５から、再生を終了する時刻ｔ７までの期間が、１シーンとして検出され、検出されたシーンに対応するメタデータとして、当該シーンのシーン最大輝度Ｌｈを示すメタデータが再生成される。このように、フレーム最大輝度が閾値以上変化する時刻ｔ１，ｔ３，ｔ５ではメタデータが切り替わるが、再生状態が変化する時刻ｔ２，ｔ４，ｔ６ではメタデータは切り替わらない。
【００７９】
以上の処理で再生成された動的メタデータを用いることにより、動画のシーンの再生中において、トーンカーブが変更されないため、トーンカーブの変化に起因する輝度変化を抑制できる。
【００８０】
以上述べたように、本実施例によれば、可変フレームレート撮影モードで撮影された動画の再生方法に応じた方法で、動的メタデータが再生成される。これにより、再生方法に適した動的メタデータを使用して好適な輝度での表示が実現可能となる。
【００８１】
なお、実施例１，２（図１）の各機能ブロックは、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能ブロックの機能が、共通のハードウェアによって実現されてもよい。１つの機能ブロックの複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能ブロックの２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能ブロックは、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能ブロックの機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【００８２】
なお、実施例１，２（上述した変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【００８３】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８４】
１００：撮像装置  １０５：メタデータ生成部
１０６：メタデータ付加部  １０９：撮影モード設定部
【図１】
2020141189.tif 000003
【図２】
2020141189.tif 000004
【図３】
2020141189.tif 000005
【図４】
2020141189.tif 000006
【図５】
2020141189.tif 000007
【図６】
2020141189.tif 000008
【図７】
2020141189.tif 000009
【図８】
2020141189.tif 000010
【図９】
2020141189.tif 000011
【図１０】
2020141189.tif 000012
【図１１】
2020141189.tif 000013