(57)【要約】【課題】動画中から適正な露出の静止画を得る。【解決手段】システム制御部５０は、撮影中の動画から、静止画用の測光方式を用いて静止画評価値を取得し、静止画目標値と静止画評価値との差分を露出補正値と決定し、決定した露出補正値をメタ情報に含めて動画中にフレームごとに記録する。システム制御部５０は、選択されたフレームと同一のフレームに記録されたメタ情報を読み出し、メタ情報に含まれる露出補正値を、静止画の露出補正に用いる露出補正値として決定する。そして、システム制御部５０は、決定した露出補正値による露出補正とガンマ特性による階調補正とを合わせた露出変換特性を作成し、フレーム画像に露出変換特性を適応させて、静止画を生成する。【選択図】図５
2019062369.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して動画を取得する撮影手段と、
前記撮影手段による動画の取得中に、前記動画から静止画用の方式を用いて被写体の明るさに関する評価値を取得する取得手段と、
前記取得手段により取得された評価値と被写体の明るさに関する目標値とに基づいて露出補正値を決定する決定手段と、
前記決定手段により決定された露出補正値をメタ情報に含めて前記動画中の対応するフレームごとに記録する記録手段と、
前記動画中のフレームから静止画として切り出すフレームを選択する選択手段と、
前記選択手段により選択されたフレームに記録されたメタ情報から露出補正値を読み出す読出手段と、
前記読出手段により読み出された露出補正値に基づいて、前記選択手段により選択されたフレームの画像の露出を補正して静止画を生成する生成手段と、を有することを特徴とする撮像装置。
【請求項２】
前記決定手段は、前記取得された評価値と前記目標値との差分を前記露出補正値として決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
被写体を撮像して動画を取得する撮影手段と、
前記撮影手段による動画の取得中に、前記動画から静止画用の方式を用いて被写体の明るさに関する評価値を取得する第１の取得手段と、
前記動画のフレームの画像の記録に対するメタ情報の記録のタイミングのずれを示すタイミング情報を取得する第２の取得手段と、
前記第２の取得手段により取得されたタイミング情報を前記動画中に記録すると共に、前記第１の取得手段により取得された評価値を前記メタ情報に含めて前記動画中の対応するフレームごとに記録する記録手段と、
前記動画中のフレームから静止画として切り出すフレームを選択する選択手段と、
前記記録手段により記録されたタイミング情報に基づいて、前記選択手段により選択されたフレームに対応するメタ情報が記録されているフレームを特定し、該特定したフレームに記録されたメタ情報から評価値を読み出す読出手段と、
前記読出手段により読み出された評価値と目標値とに基づいて露出補正値を決定し、該決定した露出補正値に基づいて、前記選択手段により選択されたフレームの画像の露出を補正して静止画を生成する生成手段と、を有することを特徴とする撮像装置。
【請求項４】
前記生成手段は、前記読み出された評価値と前記目標値との差分を前記露出補正値として決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記生成手段は、前記決定した露出補正値によると白飛びが発生すると想定される場合は、白飛びが発生しない値に前記露出補正値を変更することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記タイミング情報は、前記タイミングのずれをフレーム単位で示す情報であることを特徴とする請求項３〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記記録手段は、前記タイミング情報を、前記取得された評価値と共に前記メタ情報に含めて前記動画中にフレームごとに記録することを特徴とする請求項３〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記生成手段は、前記選択されたフレームの画像に対して、前記露出補正値に基づく露出補正に加えて、動画撮影用のガンマ処理とは逆特性のガンマ処理及び静止画用のガンマ処理による階調補正を施すことで、前記静止画を生成することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
被写体を撮像して動画像を取得可能な撮影手段を備えた撮像装置から出力された動画から静止画を切り出し可能な電子機器であって、
前記動画中のフレームから静止画として切り出すフレームを選択する選択手段と、
前記選択手段により選択されたフレームに記録されたメタ情報から露出補正値を読み出す読出手段と、
前記読出手段により読み出された露出補正値に基づいて、前記選択手段により選択されたフレームの画像の露出を補正して静止画を生成する生成手段と、を有し、
前記メタ情報は、前記撮像装置における動画の取得中に、前記動画から静止画用の方式を用いて被写体の明るさに関する評価値と被写体の明るさに関する目標値とに基づく前記露出補正値を含めた情報として前記動画中の対応するフレームごとに記録されることを特徴とする電子機器。
【請求項１０】
動画の取得中に、前記動画から静止画用の方式を用いて被写体の明るさに関する評価値を取得する取得ステップと、
前記取得ステップにより取得された評価値と被写体の明るさに対応する目標値とに基づいて露出補正値を決定する決定ステップと、
前記決定ステップにより決定された露出補正値をメタ情報に含めて前記動画中の対応するフレームごとに記録する記録ステップと、
前記動画中のフレームから静止画として切り出すフレームを選択する選択ステップと、
前記選択ステップにより選択されたフレームに記録されたメタ情報から露出補正値を読み出す読出ステップと、
前記読出ステップにより読み出された露出補正値に基づいて、前記選択ステップにより選択されたフレームの画像の露出を補正して静止画を生成する生成ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１１】
動画の取得中に、前記動画から静止画用の方式を用いて被写体の明るさに関する評価値を取得する第１の取得ステップと、
前記動画のフレームの画像の記録に対するメタ情報の記録のタイミングのずれを示すタイミング情報を取得する第２の取得ステップと、
前記第２の取得ステップにより取得されたタイミング情報を前記動画中に記録すると共に、前記第１の取得ステップにより取得された評価値を前記メタ情報に含めて前記動画中の対応するフレームごとに記録する記録ステップと、
前記動画中のフレームから静止画として切り出すフレームを選択する選択ステップと、
前記記録ステップにより記録されたタイミング情報に基づいて、前記選択ステップにより選択されたフレームに対応するメタ情報が記録されているフレームを特定し、該特定したフレームに記録されたメタ情報から評価値を読み出す読出ステップと、
前記読出ステップにより読み出された評価値と目標値とに基づいて露出補正値を決定し、該決定した露出補正値に基づいて、前記選択ステップにより選択されたフレームの画像の露出を補正して静止画を生成する生成ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１２】
被写体を撮像して動画像を取得可能な撮影手段を備えた撮像装置から出力された動画から静止画を切り出し可能な電子機器の制御方法であって、
前記動画中のフレームから静止画として切り出すフレームを選択する選択ステップと、
前記選択ステップで選択されたフレームに記録されたメタ情報から露出補正値を読み出す読出ステップと、
前記読出ステップで読み出された露出補正値に基づいて、前記選択ステップで選択されたフレームの画像の露出を補正して静止画を生成する生成ステップと、を有し、
前記メタ情報は、前記撮像装置における動画の取得中に、前記動画から静止画用の方式を用いて被写体の明るさに関する評価値と被写体の明るさに関する目標値とに基づく前記露出補正値を含めた情報として前記動画中の対応するフレームごとに記録されることを特徴とする電子機器の制御方法。
【請求項１３】
請求項１０または１１に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
請求項１２に記載の電子機器の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画から静止画を生成する撮像装置及びその制御方法、電子機器のその制御方法、プログラムに関する。
【背景技術】
【０００２】
近年、４Ｋ（水平３８４０画素×垂直２１６０画素）、８Ｋ（水平７６８０画素×垂直４３２０画素）の登場により、動画の１フレーム当たりの解像度が高くなっている。そのため、動画の１フレームを静止画として切り出し、使用することが求められている。従来、予め動画撮影をして記録した動画から静止画を生成する静止画生成装置が提案されている。例えば、動画から抜き出した動画用のガンマが適応された１フレームを静止画用のガンマを適応した画像に変換する静止画生成装置が知られている（特許文献１）。また、動画記録時のホワイトバランス制御値と静止画用のホワイトバランス制御値をフレームごと記録しておき、動画からの静止画切り出し時に静止画用ホワイトバランス制御値に基づいてホワイトバランス補正を行う撮像装置も知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８９４６６号公報
【特許文献２】特開２０１０−１１９１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１、２の装置では、静止画撮影制御と動画撮影制御とで測光方式や目標値が異なることを考慮した静止画の生成ができない。動画撮影制御時には通常、被写体を連続的に捉え、一連の動画の流れの中で露出が急激に変化しないよう制御されるため、静止画撮影制御に比べ測光枠が変化しにくい。これに対して静止画撮影制御時には、画角中から検出した主被写体の領域の測光値が重点的に評価値に反映される。露出目標値に関しても、動画撮影制御では多少の露出変化で被写体が白飛びしてしまわないよう比較的低く設定される。これに対し、静止画撮影制御では、主被写体から重点的に取得した評価値を用い、主被写体として適正露出で撮像する制御が行われるため、通常、露出目標値は動画撮影制御に比べ高く設定される。
【０００５】
このように、従来の装置では、動画から静止画切り出しを行った際の露出は動画撮影制御の露出制御に基づくものであり、静止画として必ずしも最適でない。また、静止画として適正な露出補正を後処理で実施しようとする場合、どの程度、露出を補正すればよいのかがわからず、動画中から適正な露出の静止画を得ることが困難であるという問題があった。
【０００６】
本発明は、動画中から適正な露出の静止画を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明は、被写体を撮像して動画を取得する撮影手段と、前記撮影手段による動画の取得中に、前記動画から静止画用の方式を用いて被写体の明るさに関する評価値を取得する取得手段と、前記取得手段により取得された評価値と被写体の明るさに関する目標値とに基づいて露出補正値を決定する決定手段と、前記決定手段により決定された露出補正値をメタ情報に含めて前記動画中の対応するフレームごとに記録する記録手段と、前記動画中のフレームから静止画として切り出すフレームを選択する選択手段と、前記選択手段により選択されたフレームに記録されたメタ情報から露出補正値を読み出す読出手段と、前記読出手段により読み出された露出補正値に基づいて、前記選択手段により選択されたフレームの画像の露出を補正して静止画を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画中から適正な露出の静止画を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の外観図である。
【図２】カメラの内部構成を示すブロック図である。
【図３】メタ情報記録処理のフローチャートを示す図である。
【図４】静止画用と動画用の各評価値の取得例を示す図である。
【図５】画像とメタ情報の記録の各フレームに対するタイミングチャートである。
【図６】静止画切り出し処理のフローチャートである。
【図７】メタ情報記録処理のフローチャートを示す。
【図８】画像とメタ情報の記録の各フレームに対するタイミングチャートである。
【図９】画像とメタ情報の記録の各フレームに対するタイミングチャートである。
【図１０】静止画切り出し処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態を説明する。
【００１１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の外観図である。この撮像装置として、デジタルビデオカメラ１００を例示する。このカメラ１００において、表示部２８は画像や各種情報を表示する。録画スイッチ６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブルとカメラ１００とを接続するコネクタである。操作部７０は、ユーザからの各種操作を受け付ける各種ボタン、十字キー等の複数の操作部材から成る。電源スイッチ７２は、操作されると電源オンと電源オフとが切り替わる。記録媒体２００は、メモリカードやハードディスク等であり、スロット２０１に格納される。スロット２０１に格納された記録媒体２００は、カメラ１００の本体との通信が可能となる。
【００１２】
図２は、カメラ１００の内部構成を示すブロック図である。撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は入射光量を調整する。ＮＤ１０４は減光用に使用される光学素子である。撮影手段としての撮像部２２はＣＣＤやＣＭＯＳ素子等で構成される撮像素子であり、光学像を電気信号に変換する。撮像部２２は、電子シャッタによる蓄積の制御のほか、アナログゲインや読み出し速度を変更する機能も備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されたアナログ信号をデジタル信号に変換する。バリア１０２は、カメラ１００における撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００１３】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、またはメモリ制御部１５（記録手段）からのデータに対して、所定の画素補間や縮小といったリサイズ処理や、色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。画像処理部２４はまた、撮像した画像データを用いて所定の演算処理を行い、その演算結果をシステム制御部５０へ送信する。システム制御部５０は、送信されてきた演算結果に基づいて、露出制御、測距制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。
【００１４】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって撮像されＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３がアナログ変換し、表示部２８に逐次転送して表示部２８に表示させることで、表示部２８は電子ビューファインダとして機能する。これによりスルー画像表示が実現される。
【００１５】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、例えば、後述する各種フローチャートを実行するためのプログラムのことである。システム制御部５０は、カメラ１００全体を制御し、不揮発性メモリ５６に記録されたプログラムを実行することで、後述する各処理を実現する。システムメモリ５２にはＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。システムタイマ５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する。モード切替スイッチ６０、録画スイッチ６１、操作部７０は、ユーザがシステム制御部５０に各種の動作指示を入力するのに用いられる。
【００１６】
モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。ユーザは、モード切替スイッチ６０で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。なお、ユーザがモード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えることができるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１の操作に応じて、撮像部２２からの信号読み出しから記録媒体２００への動画データの書き込みまでの一連の動作を開始する。
【００１７】
操作部７０における各操作部材は、表示部２８に表示される種々の機能アイコンをユーザが選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。その機能ボタンとしては例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。
【００１８】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、一次電池、二次電池またはＡＣアダプタ等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００１９】
次に、本実施の形態の動作について説明する。概説すると、本実施の形態では、システム制御部５０は、動画像を撮影する制御を行う際に、別途、動画制御時とは異なる静止画用の測光方式を用いて、明るさに関する静止画用の評価値（以下、静止画評価値と称する）を取得する。システム制御部５０は、この静止画評価値と、動画制御用とは異なる明るさに関する静止画目標値との差分を算出し、それを、動画の各フレームに対応する静止画用の露出補正値として決定する。システム制御部５０は、決定した露出補正値を、動画撮影制御によって取得した映像のフレームごとにメタ情報として記録する。さらに、システム制御部５０は、映像撮影後、ユーザの操作によって記録された映像の中から、１フレームを静止画として切り出す。この静止画の切り出しにおいて、システム制御部５０は、撮影時にメタ情報として記録された露出補正値を用いて露出補正を行う。
【００２０】
次に、露出補正値をメタ情報として記録する処理について説明する。図３は、メタ情報記録処理のフローチャートを示す図である。この処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。この処理は、動作撮影が指示されると開始される。図３の処理において、システム制御部５０は、本発明における取得手段、決定手段としての役割を果たす。まず、システム制御部５０は、動画像を撮影するため、動画撮影制御を開始する（ステップＳ１０１）。
【００２１】
図４で、静止画撮影制御と動画撮影制御との測光方法及び目標値の各違いについて説明する。図４（ａ）、（ｂ）、（ｃ）は、静止画用と動画用の各評価値の取得例を示す図である。図４において、実線が動画測光枠、点線が静止画測光枠を示している。図４（ａ）の例では、被写体を撮像しているとき、動画用の評価値（以下、動画評価値と称する）が６７％であり、動画用の評価値の目標値である動画目標値が５０％であるとする。これらの差分は６７−５０＝１７％となる。図３のステップＳ１０２で、システム制御部５０は、撮影中（取得中）の動画から、静止画用の測光方式を用いて、静止画評価値を取得する。例えば、図４（ａ）に示すフレームの撮像データに対し、システム制御部５０は、静止画用の測光方式に従って静止画評価値を取得する。この静止画評価値は、図４（ａ）の被写体に対し静止画測光枠を用いて取得されるかまたは、静止画測光枠で取得された測光値に所定の重み付けをして取得される。ここでは静止画評価値として８２％が取得されたとする。
【００２２】
次に、ステップＳ１０３で、システム制御部５０は、静止画用の目標値である静止画目標値と静止画評価値との差分（静止画目標値−静止画評価値）を算出する。図４（ａ）の例でいえば、静止画目標値を６０％とすると、静止画目標値と静止画評価値との差分は６０−８２＝−２２％となる。次に、ステップＳ１０４で、システム制御部５０は、算出した差分から、露出補正値を決定する。具体的には、システム制御部５０は、差分である−２２％を露出補正値として決定する。なお、差分に所定の係数を乗じたものを露出補正値として決定してもよい。同様にして、図４（ｂ）、（ｃ）の例ではそれぞれ、静止画用の露出補正値として、＋３７％、＋２１％が決定される。次に、ステップＳ１０５で、システム制御部５０は、算出した露出補正値を、算出直後の動画像が格納されるフレームごとのデータ構造にメタ情報として記録する。すなわちシステム制御部５０は、決定された露出補正値をメタ情報に含めて動画中にフレームごとに記録する。その後、図３の処理は終了する。
【００２３】
図５は、画像とメタ情報の記録の各フレームに対するタイミングチャートである。システム制御部５０は、センサ蓄積から得た撮像データを現像し、現像結果の１フレーム分の画像をフレームに（メモリ３２に）記録する。システム制御部５０は、この画像から動画撮影制御、静止画撮影制御の各評価値検波を行い、それらの結果をメタ情報としてフレームデータに記録する。現像結果の画像とその画像から取得されたメタ情報とが映像中の同一フレームに記録される。システム制御部５０は、動画撮影処理においては最新の動画用の露出補正値を用いて次の露出条件を決定し、撮像データを得る。露出補正値のメタ情報への記録処理は繰り返される。
【００２４】
次に、動画からの静止画切り出しとその露出補正の処理を説明する。図６は、静止画切り出し処理のフローチャートである。この処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。この処理は、静止画切り出しが指示されると開始される。図６の処理において、システム制御部５０は、本発明における選択手段、読出手段、生成手段としての役割を果たす。
【００２５】
まず、ステップＳ２０１で、システム制御部５０は、ユーザの指示に従って、動画中のフレームから静止画として切り出すフレームを選択する。その際、例えばユーザは前述の動画記録制御によって撮影された映像を参照し、その中から静止画として切り出す所望の１フレームを選択するよう指示する。ステップＳ２０２では、システム制御部５０は、選択されたフレームと同一のフレームに記録されたメタ情報を読み出し、メタ情報に含まれる露出補正値を、静止画の露出補正に用いる露出補正値として決定する。
【００２６】
次に、ステップＳ２０３では、システム制御部５０は、決定した露出補正値による露出補正とガンマ特性による階調補正とを合わせた露出変換特性を作成する。まず、動画として記録された画像を静止画として適正露出とするために、動画撮影制御内の現像処理で用いられるガンマ特性を一度戻す必要がある。これには動画現像時のガンマ特性の逆ガンマによるガンマ処理が用いられる。また、露出補正には露出補正値が用いられる。さらに、ガンマ特性を戻した画像に対して静止画用のガンマ補正を行う必要がある。そこで、システム制御部５０は、露出補正値、動画撮影用のガンマ逆特性及び静止画用のガンマ特性が反映される露出変換特性を作成する。ステップＳ２０４では、システム制御部５０は、作成した露出変換特性をフレーム画像に適応させて、静止画を生成する。これにより、露出及び階調が適正な静止画が得られる。その後、図６の処理は終了する。なお、これら３つの処理はそれぞれ別々に行っても良いが、それぞれの補正値・変換特性を掛けあわせてルックアップテーブルを作成し、画像にそのルックアップテーブルを適応することで適正な静止画に変換してもよい。
【００２７】
以上のように、システム制御部５０は、動画撮影時に静止画用の露出補正値を取得してそれをメタ情報としてフレームごとに記録する。そして動画からの静止画切り出し時には、システム制御部５０は、選択されたフレームに記録されたメタ情報から露出補正値を読み出し、その露出補正値によって露出補正を行う。その結果、動画として撮影した映像中から静止画を取得する際に、適正な露出を持った静止画を得ることができる。
【００２８】
本実施の形態によれば、システム制御部５０は、動画の撮影中に取得した静止画評価値と静止画目標値とに基づいて露出補正値を決定し、決定された露出補正値をメタ情報に含めて動画中にフレームごとに記録する。そしてシステム制御部５０は、選択されたフレームに記録されたメタ情報から露出補正値を読み出し、読み出された露出補正値に基づいて、選択されたフレームの画像の露出を補正して静止画を生成する。これにより、静止画として適正な露出補正を後処理で実施する際、どの程度、露出を補正すればよいのかがわかるので、動画中から適正な露出の静止画を得ることができる。
【００２９】
（第２の実施の形態）
第１の実施の形態では、メタ情報の記録が画像フレームの記録タイミングに対して遅延なく行えることを想定したシステム構成であった。しかし、撮像システムの処理量や構成による処理の順序制限によって、メタ情報の記録または画像フレームの記録が遅延し、画像フレームの記録フレームとメタ情報の記録フレームが一致しない場合がある。本発明の第２の実施の形態では、メタ情報の記録タイミングと画像フレームの記録タイミングにずれが生じることを想定したシステム構成を説明する。第１の実施の形態に対して、図５に代えて図８及び図９を用い、図３、図６に代えて図７、図１０を用いて、本実施の形態を説明する。
【００３０】
図７は、メタ情報記録処理のフローチャートを示す。この処理の実現及び開始の条件は図３の処理と同様である。システム制御部５０は、ステップＳ３０１、Ｓ３０２では、図３のステップＳ１０１、Ｓ１０２と同様の処理を実行する。ステップＳ３０３では、システム制御部５０は、タイミング遅延量（タイミング情報）を取得する。ここで、タイミング遅延量は、撮像システムの処理時間や構成によって決まる。タイミング遅延量は、動画のフレームの画像の記録に対するメタ情報の記録のタイミングのずれを示す量であり、タイミングのずれをフレーム単位で示す情報であるとする。
【００３１】
図８、図９は、画像とメタ情報の記録の各フレームに対するタイミングチャートである。特に図８は、画像の記録に対してメタ情報の記録が遅延する例を示し、図９は、メタ情報の記録に対して画像の記録が遅延する例を示す。図８の例では、図５の例に比べ、検波タイミングが遅いため、画像データに対しメタ情報が１フレーム遅れて記録される。この場合、タイミング遅延量は「＋１」となる。図９の例では、図５の例に比べ、現像処理が長く、メタ情報に対し画像データが１フレーム遅れて記録される。この場合、タイミング遅延量は「−１」となる。システム制御部５０は、このようなタイミングチャートに従って動作する場合に対応するため、タイミング遅延量を取得し、それを静止画評価値と共にメタ情報として記録しておく。すなわち、図７のステップＳ３０４では、システム制御部５０は、ステップＳ３０２で取得した静止画評価値と、ステップＳ３０３で取得したタイミング遅延量（＋１や−１という情報）とを、メタ情報に含めて動画中にフレームごとに記録する。なお、タイミング遅延量はフレームごとに記録されるとするが、複数のフレームごと、例えばシーンファイルごとに１つ記録されてもよい。その後、図７の処理は終了する。
【００３２】
次に、動画からの静止画切り出しとその露出補正の処理を説明する。図１０は、静止画切り出し処理のフローチャートである。この処理の実現及び開始の条件は図６の処理と同様である。システム制御部５０は、ステップＳ４０１では、図６のステップＳ２０１と同様の処理を実行する。ステップＳ４０２では、システム制御部５０は、対応するフレームを特定し、特定したフレームからメタ情報を取得する。ここで、対応するフレームとは、選択されたフレームに対応するメタ情報が記録されているフレームのことである。すなわち、まず、システム制御部５０は、ステップＳ４０１で選択されたフレームに記録されているメタ情報からタイミング遅延量を取得し、このタイミング遅延量に基づいて対応するフレームを特定する。例えば、タイミング遅延量が「＋１」であれば、選択されたフレームの次の（後の）フレームが、対応するフレームとして特定される（図８）。一方、タイミング遅延量が「−１」であれば、選択されたフレームの前のフレームが、対応するフレームとして特定される（図９）。
【００３３】
次に、ステップＳ４０３で、システム制御部５０は、対応するフレームから取得したメタ情報から静止画評価値を読み出す。次に、ステップＳ４０４で、システム制御部５０は、図３のステップＳ１０３と同様に、取得した静止画評価値と静止画目標値との差分（静止画目標値−静止画評価値）を静止画用の露出補正値として決定する。次に、ステップＳ４０５で、システム制御部５０は、仮に、決定した露出補正値によって露出補正を行った場合に、白飛びが発生するか否かを判別する。具体的には、システム制御部５０は、露出補正値、動画撮影用のガンマ逆特性及び静止画用のガンマ特性が反映される露出変換特性をフレーム画像に適応させて静止画を生成した場合に、画素値が飽和に突き当る画素が発生するかどうかを判定する。その判別の結果、システム制御部５０は、白飛びが発生しない場合は、処理をステップＳ４０７に進める。一方、白飛びが発生する場合は、システム制御部５０は、白飛びが発生しない値に露出補正値を変更してから（ステップＳ４０６）、処理をステップＳ４０７に進める。例えばシステム制御部５０は、白飛びが発生しない限界値（白飛びが発生しない範囲で、ステップＳ４０４で決定した値に最も近い値）に露出補正値を設定する。ステップＳ４０７、Ｓ４０８では、システム制御部５０は、図６のステップＳ２０３、Ｓ２０４と同様の処理を実行し、図１０の処理を終了する。
【００３４】
本実施の形態によれば、システム制御部５０は、タイミング遅延量に基づいて、選択されたフレームに対応するメタ情報が記録されているフレームを特定し、該特定したフレームに記録されたメタ情報から静止画評価値を読み出す。そしてシステム制御部５０は、静止画評価値と静止画目標値とから露出補正値を決定し、露出補正値に基づいて、選択されたフレームの画像の露出を補正して静止画を生成する。これにより、画像データとメタ情報の記録タイミングがずれるシステムにおいても、静止画として適正な露出を持った静止画を得ることができる。よって、動画中から適正な露出の静止画を得ることに関し、第１の実施の形態と同様の効果を奏することができる。
【００３５】
また、システム制御部５０は、一旦決定した露出補正値によると白飛びが発生すると想定される場合は、白飛びが発生しない値に露出補正値を変更するので、白飛びのない静止画を得ることができる。
【００３６】
なお、白飛びが発生しない値に露出補正値を変更する処理は、第１の実施の形態にも適用してもよく、そのためのステップ処理を、例えば、図６のステップＳ２０３の直前に設けてもよい。
【００３７】
なお、図６のステップＳ２０２または図１０のステップＳ４０４で静止画用の露出補正値を決定した際、決定した露出補正値を表示部２８に表示させてユーザに報知してもよい。あるいは、決定した露出補正値を適用した場合の静止画の例を表示部２８に表示させてもよい。そして、表示された露出補正値または静止画を見たユーザが露出補正値の変更を指示できるように構成してもよい。
【００３８】
なお、上述した実施形態では、撮像装置において取得された動画像を用いて、当該撮像装置において静止画像を切り出す構成について説明したが、これに限定されるものではない。例えば、動画像を取得可能な撮像装置は、静止画評価値および（または）露出補正値に関するメタ情報を動画像のフレームに対応づけて記録する。そして撮像装置の外部に設けられた電子機器（外部機器）で、上述したメタ情報に基づいて静止画像を生成する構成であってもよい。
【００３９】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【００４０】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００４１】
２２  撮像部
３２  メモリ
５０  システム制御部
【図１】
2019062369.tif 000003
【図２】
2019062369.tif 000004
【図３】
2019062369.tif 000005
【図４】
2019062369.tif 000006
【図５】
2019062369.tif 000007
【図６】
2019062369.tif 000008
【図７】
2019062369.tif 000009
【図８】
2019062369.tif 000010
【図９】
2019062369.tif 000011
【図１０】
2019062369.tif 000012