(57)【要約】【課題】  露出の異なる複数の画像を合成することによりダイナミックレンジの広いＨＤＲ動画記録中に静止画撮影する場合に、適切なＨＤＲ静止画を記録できる撮像装置を提供すること。【解決手段】  露出条件の異なる複数の画像を合成しダイナミックレンジの広い合成画像を生成し、ＨＤＲ動画として記録可能であり、ＨＤＲ動画記録中に静止画撮影指示があった場合、露出条件の異なる複数の画像を合成しダイナミックレンジの広い合成画像を生成し、ＨＤＲ静止画として記録することが可能な撮像装置であって、ＨＤＲ動画記録中に静止画撮影指示があった場合、静止画撮影指示後に撮像したＨＤＲ動画用の合成画像を生成するのと同一のフレームの組み合わせでＨＤＲ静止画用の合成画像を生成することを特徴とする構成とした。【選択図】  図３
2015056807.tif 000002
【特許請求の範囲】
【請求項１】
露出条件の異なる複数の動画フレームを生成し合成することで高ダイナミックレンジのＨＤＲ動画フレームを生成し、ＨＤＲ動画として記録媒体に記録する処理を行う第１の記録制御手段と、
前記第１の記録制御手段による処理中に静止画撮影指示を受け付ける受付手段と、
前記受付手段が前記第１の記録制御手段による処理中に前記静止画撮影指示を受け付けたことに応じて、前記第１の記録制御手段による処理中に、露出条件の異なる複数の静止画フレームを合成することで高ダイナミックレンジのＨＤＲ静止画フレームを生成し、ＨＤＲ静止画として記録媒体に記録する第２の記録制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記第１の記録制御手段は、第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、前記複数の動画フレームを生成し、
前記第２の記録制御手段は、前記静止画撮影指示を受け付けた後、最初に得られる前記第１の露出条件で撮像されたフレームと、それに続く、前記第２の露出条件で撮像されたフレームとを含む複数のフレームから、前記複数の静止画フレームを生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の記録制御手段は、第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、前記複数の動画フレームを生成し、
前記第２の記録制御手段は、前記静止画撮影指示を受け付けた直後のフレームとそれに続くフレームとを含む複数のフレームから、前記複数の静止画フレームを生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第２の記録制御手段は、前記第１の記録制御手段により複数の動画フレームが生成される都度、対応する複数の静止画フレームを生成し、
前記生成された複数の静止画フレームを一時的に記憶するバッファ手段を更に有し、
前記第２の記録制御手段は、前記受付手段が前記第１の記録制御手段による処理中に前記静止画撮影指示を受け付けた場合、現フレームで生成される静止画フレームと、前記バッファ手段から読み出した直前のフレームの静止画フレームとを、前記複数の静止画フレームとする
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１の記録制御手段により生成された前記ＨＤＲ動画を表示する表示手段を更に有し、
前記第２の記録制御手段は、前記第１の記録制御手段により複数の動画フレームが生成される都度、対応する複数の静止画フレームを生成し、
前記生成された複数の静止画フレームを一時的に記憶するバッファ手段を更に有し、
前記第２の記録制御手段は、前記受付手段が前記第１の記録制御手段による処理中に静止画撮影指示を受け付けた時点で前記表示手段に表示されているＨＤＲ動画の基になった複数の動画フレームに対応する複数の静止画フレームを前記バッファ手段から読み出して合成することで前記ＨＤＲ静止画フレームを生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
撮像装置の制御方法であって、
第１の記録制御手段が、露出条件の異なる複数の動画フレームを生成し合成することで高ダイナミックレンジのＨＤＲ動画フレームを生成し、ＨＤＲ動画として記録媒体に記録する処理を行うステップと、
受付手段が、前記第１の記録制御手段による処理中に静止画撮影指示を受け付けるステップと、
第２の記録制御手段が、前記第１の記録制御手段による処理中に前記静止画撮影指示が受け付けられたことに応じて、前記第１の記録制御手段による処理中に、露出条件の異なる複数の静止画フレームを合成することで高ダイナミックレンジのＨＤＲ静止画フレームを生成し、ＨＤＲ静止画として記録媒体に記録するステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項７】
コンピュータに、請求項６に記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
近年のデジタルカメラなどの撮像装置では、静止画の撮影だけでなく音声付き動画も撮影記録することができるものが多く、１台のデジタルカメラで多様な撮影が可能となっている。さらに最近では、音声付き動画を撮影しながら静止画も撮影可能なものや、連続的に撮像した複数枚の画像を合成することで、これまで撮影できなかったようなシーンを記録可能としたものも存在する。
【０００３】
特許文献１に開示された撮像装置は、撮像素子を全画素読出モードで駆動して得られる一連の画像データを、動画記録画素数に間引いて動画として処理及び記録する。そして、動画撮影中に静止画の撮影が指示されると、画像データを間引かずに静止画として処理及び記録する。これによれば、動画撮影中に動画の撮影を中断することなく、高画質の静止画を撮影できると共に、フレームレートを落とさずに動画を撮影できる。
【０００４】
また、特許文献２では、露光時間を周期的に変化させて撮像した露光量の異なる複数の画像を合成することで、ダイナミックレンジの広い動画を得ることを可能とする撮像装置が開示されている。これによれば、露光時間を長秒・短秒と交互に変更しながら連続撮像して各画像を合成することにより、ダイナミックレンジの広い動画（以下「ＨＤＲ動画」という。）を生成することが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−５７３７８号公報
【特許文献２】特公平７−９７８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、これまでは、ＨＤＲ動画の記録中に静止画撮影指示がなされＨＤＲ静止画記録するような場合の具体的な処理方法については検討されてこなかった。静止画撮影指示がなされるタイミングは動画記録のための連続的な撮像処理に対して非同期であるため、どのフレームを用いてＨＤＲ動画やＨＤＲ静止画を生成するかは、求める性能に応じて様々なバリエーションが考えられる。
【０００７】
そこで、本発明は、露出の異なる複数の画像を合成することによりダイナミックレンジを拡大するＨＤＲ動画の記録中に静止画撮影する場合に、適切なＨＤＲ静止画を記録できる撮像装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面によれば、露出条件の異なる複数の動画フレームを生成し合成することで高ダイナミックレンジのＨＤＲ動画フレームを生成し、ＨＤＲ動画として記録媒体に記録する処理を行う第１の記録制御手段と、前記第１の記録制御手段による処理中に静止画撮影指示を受け付ける受付手段と、前記受付手段が前記第１の記録制御手段による処理中に前記静止画撮影指示を受け付けたことに応じて、前記第１の記録制御手段による処理中に、露出条件の異なる複数の静止画フレームを合成することで高ダイナミックレンジのＨＤＲ静止画フレームを生成し、ＨＤＲ静止画として記録媒体に記録する第２の記録制御手段とを有することを特徴とする撮像装置が提供される。
【発明の効果】
【０００９】
本発明によれば、本発明によれば、露出の異なる複数の画像を合成することによりダイナミックレンジを拡大するＨＤＲ動画の記録中に静止画撮影する場合に、適切なＨＤＲ静止画を記録することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態における撮像装置の外観図。
【図２】実施形態における撮像装置の概略構成ブロック図。
【図３】実施形態における撮像装置の動作タイミング図。
【図４】実施形態における撮像装置の動作フローチャート。
【図５】実施形態における撮像装置の動作タイミング図。
【図６】実施形態における撮像装置の動作フローチャート。
【図７】実施形態における撮像装置の動作タイミング図。
【図８】実施形態における撮像装置の動作フローチャート。
【図９】実施形態における撮像装置の動作タイミング図。
【図１０】実施形態における撮像装置の動作フローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１２】
図１は、本実施形態における撮像装置１０の外観図、図２は、その概略構成ブロック図である。コネクタ１１２は、接続ケーブルと撮像装置１０とをつなぐ。記録媒体２０は、メモリカード又はハードディスク等の記録媒体である。記録媒体スロット２０１は、記録媒体２０を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２０は、撮像装置１０との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。
【００１３】
ＣＰＵ１１（中央処理装置）は、後述する各処理部やデータフローなどを制御する。ＲＯＭ１２には、ＣＰＵ１１の処理手順に係るプログラム（ファームウェア）及び各種情報が格納されている。表示部１３はカラー液晶表示器等で構成され、画像を表示し、グラフィックユーザインタフェースを表示するために用いる。表示部１３は、ＴＶ等の外部表示装置に映像信号を出力する端子も備えている。操作部１４はユーザからの指示を受け付ける、レリーズスイッチＳＷ１／ＳＷ２、動画記録ボタン、各種ボタン、十字キー、コントロールホイール及びダイヤルスイッチなどからなる。
【００１４】
ＤＲＡＭ１５は、ＣＰＵ１１のワークエリアとして使用され、画像データや表示用データ、画像伸張後のデータなどを一時記憶するバッファ機能を有する。通常は、ＤＲＡＭとの間にメモリーコントローラを介しデータの書き込みや読み出しを行うが、ここでは示していない。また、図示しないが、各処理部とＤＲＡＭ１５間には、ＣＰＵ１１とのＲｅａｄ／Ｗｒｉｔｅを介さないＤＭＡ転送を行うためのＤＭＡコントローラを備えている。
【００１５】
記録媒体インタフェース１６は、ＣＰＵ１１からの指示に従い、画像データの記録媒体２０への書き込み及び記録媒体２０からの読み出しを行う。記録媒体２０は、メモリカード、光ディスク又はハードディスク等のランダムアクセス可能な記録媒体からなり、撮像装置１０に着脱自在である。撮像部１７は、レンズ、絞りやシャッター、ＣＣＤセンサーやＣＭＯＳセンサー等の撮像素子からなり、被写体を撮像する。画像処理回路１８は、撮像部１７から入力された画像データに画像処理を行いＹＵＶデータを生成したり、ＹＵＶデータを任意のサイズにリサイズ、回転、色変換する。画像処理回路１８はまた、撮像部１７から入力された複数の画像データや複数のＹＵＶデータを合成して１枚の画像データやＹＵＶデータを生成することもできる。動画圧縮回路１９は、ＹＵＶデータをＨ．２６４形式等の動画像データに圧縮符号化する。静止画圧縮回路２１は、ＹＵＶデータをＪＰＥＧ形式等の静止画像データに圧縮符号化する。ＣＰＵ１１、ＲＯＭ１２、表示部１３、操作部１４、ＤＲＡＭ１５、記録媒体Ｉ／Ｆ１６、撮像部１７、画像処理回路１８、動画圧縮回路１９、静止画圧縮回路２１は、内部バス３０を介して通信する。
【００１６】
＜実施形態１＞
撮像装置１０は、露出条件（例えば、露光時間）を変えて連続的に撮像して得た複数の画像フレームを合成することで高ダイナミックレンジの動画（以下「ＨＤＲ動画」という。）を生成、記録することができる。また、ＨＤＲ動画の記録中に操作部１４の操作による静止画撮影指示を受け付けた場合に、ＨＤＲ動画の記録を継続しながら、露光時間を変えて連続的に撮像した複数の画像フレームを合成することで高ダイナミックレンジの静止画（以下「ＨＤＲ静止画」という。）を撮影することもできる。
【００１７】
図３に、撮像装置１０の動作タイミングの例を示す。撮像部１７は、交互に露出条件（例えば、露光時間）を変えて撮像する。画像処理回路１８は、繰り返し、第１の露出条件で撮像された露出オーバー動画フレーム３０１、第２の露出条件で撮像された露出アンダー動画フレーム３０２を生成する。画像処理回路１８は、１組の露出オーバー／アンダー動画フレームが得られたら、その露出オーバー／アンダー動画フレームを合成し、高ダイナミックレンジのＨＤＲ動画フレーム３０３を生成する。動画圧縮回路１９は、連続するＨＤＲ動画フレームを圧縮符号化し、ＨＤＲ動画として記録媒体２０に記録する。
【００１８】
さらに、ＨＤＲ動画の記録中に操作部１４の操作により静止画撮影指示３０４を受け付けた場合、画像処理回路１８は次の処理を行う。すなわち、画像処理回路１８は、動画フレームを生成しながら、静止画撮影指示３０４から一番近い１組の露出オーバー静止画フレーム３０５、露出アンダー静止画フレーム３０６を生成する。１組の露出オーバー／アンダー静止画フレームが得られたら、画像処理回路１８はその露出オーバー／アンダー静止画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ静止画フレーム３０７を生成する。動画圧縮回路１９は、ＨＤＲ静止画フレーム圧縮符号化し、ＨＤＲ静止画として記録媒体２０に記録する。
【００１９】
図４に、撮像装置１０の動作フローチャートを示す。ＣＰＵ１１が、図４に示す動作を実現するように各部を制御する。すなわち、ＣＰＵ１１は、ＨＤＲ動画フレームの生成及び記録を行う第１の記録制御手段、並びに、ＨＤＲ静止画フレームの生成及び記録を行う第２の記録制御手段として機能する。操作部１４の動画記録ボタン押下によりＨＤＲ動画記録開始指示がなされると、図４に示すフローがスタートする。Ｓ１０１で、ＣＰＵ１１は、ＨＤＲ動画記録の処理中に、受付手段としての操作部１４のレリーズスイッチＳＷ２の操作により、ユーザから静止画撮影指示がなされたかどうかを判定する。静止画撮影指示がなされていないと判定された場合、処理はそのままＳ１０３に進む。静止画撮影指示がなされたと判定された場合、Ｓ１０２で、ＣＰＵ１１は、静止画処理フラグをＴＲＵＥ（例えば、１）に設定し、ＤＲＡＭ１５に記憶する。静止画処理フラグは後続のフローにおいて静止画処理を行うかどうかの判定として使用される。Ｓ１０３で、ＣＰＵ１１は、撮像部１７において適正露出より露出オーバーの画像を撮影する。Ｓ１０４で、ＣＰＵ１１は、Ｓ１０３において撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出オーバー動画フレームを生成しＤＲＡＭ１５に記憶する。
【００２０】
Ｓ１０５で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ１０７に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ１０６に進む。Ｓ１０６では、ＣＰＵ１１は、Ｓ１０３において撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出オーバー静止画フレームを生成しＤＲＡＭ１５に記憶する。
【００２１】
Ｓ１０７で、ＣＰＵ１１は、撮像部１７において適正露出より露出アンダーの画像を撮影する。Ｓ１０８で、ＣＰＵ１１は、Ｓ１０７で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出アンダー動画フレームを生成しＤＲＡＭ１５に記憶する。
【００２２】
Ｓ１０９で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ１１１に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ１１０に進む。Ｓ１１０では、ＣＰＵ１１は、Ｓ１０７で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出アンダー静止画フレームを生成しＤＲＡＭ１５に記憶する。
【００２３】
Ｓ１１１で、ＣＰＵ１１は、Ｓ１０４、Ｓ１０８においてＤＲＡＭ１５に記憶された露出オーバー動画フレーム及び露出アンダー動画フレームを読み出し、画像処理回路１８を用いて合成処理を行い高ダイナミックレンジのＨＤＲ動画フレームを生成する。Ｓ１１２で、ＣＰＵ１１は、動画圧縮回路１９を用いて、Ｓ１１１で生成したＨＤＲ動画フレームをＨ．２６４形式等の動画像データに圧縮符号化する。Ｓ１１３で、ＣＰＵ１１は、Ｓ１１２で圧縮符号化された動画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ１１４で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ１１１で生成したＨＤＲ動画フレームに対して表示サイズへのリサイズ処理等を行い、電子ファインダー表示用データを生成する。Ｓ１１５で、ＣＰＵ１１は、Ｓ１１４で生成した表示用データを表示部１３に表示させる。すなわち、表示部１３のライブビュー表示画像が更新される。
【００２４】
Ｓ１１６で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ１２１に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ１１７に進む。Ｓ１１７では、ＣＰＵ１１は、Ｓ１０６、Ｓ１１０でＤＲＡＭ１５に記憶された露出オーバー静止画フレーム及び露出アンダー静止画フレームを読み出し、画像処理回路１８を用いて合成処理を行い高ダイナミックレンジのＨＤＲ静止画フレームを生成する。Ｓ１１８で、ＣＰＵ１１は、静止画圧縮回路２１を用いて、Ｓ１１７で生成したＨＤＲ静止画フレームをＪＰＥＧ形式の静止画像データに圧縮符号化する。Ｓ１１９で、ＣＰＵ１１は、Ｓ１１８で圧縮符号化された静止画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ１２０で、ＣＰＵ１１は、Ｓ１０１での静止画撮影指示に応じた一連の静止画処理が終了したため、静止画処理フラグをＦＡＬＳＥ（例えば、０）に設定し、ＤＲＡＭ１５に記憶する。
【００２５】
Ｓ１２１で、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、Ｓ１０１に戻り、次の動画フレームの処理を続ける。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、ＨＤＲ動画記録を終了する。
【００２６】
以上の処理をまとめる。本実施形態では、第１の記録制御手段としてのＣＰＵ１１は、露出条件の異なる複数の動画フレームを生成し合成することで高ダイナミックレンジのＨＤＲ動画フレームを生成し、ＨＤＲ動画として記録媒体に記録する処理を行う。撮像装置１０は、このＨＤＲ動画処理の最中に、静止画撮影指示を受け付け可能である。第２の記録制御手段としてのＣＰＵ１１は、静止画撮影指示を受け付けたことに応じて、ＨＤＲ動画の処理中に、ＨＤＲ静止画フレームを生成し、ＨＤＲ静止画として記録媒体に記録する。  本実施形態では、ＣＰＵ１１は、第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、複数の動画フレームを生成する。また、ＣＰＵ１１は、静止画撮影指示を受け付けた後、最初に得られる第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、複数の静止画フレームを生成する。こうして、ＨＤＲ動画記録中に静止画撮影指示を受け付けた場合、ＨＤＲ動画記録を継続しながら、ＨＤＲ動画フレームを生成するのに使用したのと同一の組の露出オーバー／アンダー画像から生成したＨＤＲ静止画を記録することができる。
【００２７】
また、本実施形態では、露出オーバー／アンダー画像をＹＵＶデータへ変換した後で合成してＨＤＲ画像を生成する例で説明したが、撮像部から出力された生データ形式の露出オーバー／アンダー画像を合成してからＹＵＶデータへ変換するようにしてもよい。
【００２８】
また、本実施形態では、露出オーバー／アンダーの２枚の画像を合成してＨＤＲ画像を生成する例で説明したが、露出オーバー／適正／アンダーの３枚の画像を合成して生成するなど合成枚数を増やしてもよい。
【００２９】
＜実施形態２＞
撮像装置１０は、露光時間を変えて連続的に撮像した複数の画像を合成しＨＤＲ動画を生成、記録することができる。また、ＨＤＲ動画の記録中に操作部１４の操作による静止画撮影指示を受け付け、ＨＤＲ動画記録を継続しながらＨＤＲ静止画を撮影することもでき、その際の撮影タイムラグを短くすることができる。
【００３０】
図５に、撮像装置１０の動作タイミングの例を示す。撮像部１７は、交互に露光時間を変えて撮像し、画像処理回路１８は、繰り返し露出オーバー動画フレーム４０１、露出アンダー動画フレーム４０２を生成する。画像処理回路１８は、１組の露出オーバー／アンダー動画フレームが得られたら、その露出オーバー／アンダー動画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ動画フレーム４０３を生成する。動画圧縮回路１９は、連続するＨＤＲ動画フレームを圧縮符号化し、ＨＤＲ動画として記録媒体２０に記録する。
【００３１】
さらに、ＨＤＲ動画の記録中に操作部１４の操作により静止画撮影指示４０４を受け付けた場合、画像処理回路１８は、次の処理を行う。すなわち、画像処理回路１８は、動画フレームを生成しながら、静止画撮影指示４０４を受け付けた次のフレームから露出アンダー静止画フレーム４０５または露出オーバー静止画フレーム４０６を生成する。画像処理回路１８は、さらに次のフレームから露出オーバー静止画フレーム４０６または露出アンダー静止画フレーム４０５を生成する。１組の露出オーバー／アンダー静止画フレームが得られたら、画像処理回路１８は、その露出オーバー／アンダー静止画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ静止画フレーム４０７を生成する。ＨＤＲ静止画フレームは静止画圧縮回路２１により圧縮符号化し、ＨＤＲ静止画として記録媒体２０に記録する。
【００３２】
このように、静止画撮影指示を受け付けたフレームの次とその次のフレームを合成してＨＤＲ静止画フレームを生成して記録する。こうすることで、ＨＤＲ動画フレームを生成するのに使用したのと同一の組にならないことがある代わりに撮影タイムラグを短くすることができる。
【００３３】
図６に、撮像装置１０の動作フローチャートを示す。ＣＰＵ１１が、図６に示す動作を実現するように各部を制御する。操作部１４の動画記録ボタン押下によりＨＤＲ動画記録開始指示がなされると、図６に示すフローがスタートする。Ｓ２０１で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。露出設定は後続のフローにおいて露出オーバー画像を撮影するか露出アンダー画像を撮影するかを判定するために使用される。Ｓ２０２で、ＣＰＵ１１は、操作部１４のレリーズスイッチＳＷ２の操作により、ユーザから静止画撮影指示がなされたかどうかを判定する。静止画撮影指示がなされていないと判定された場合、処理はＳ２０４に進む。静止画撮影指示がなされたと判定された場合、Ｓ２０３で、ＣＰＵ１１は、静止画処理フラグをＴＲＵＥ（例えば、１）に設定し、ＤＲＡＭ１５に記憶する。静止画処理フラグは後続のフローにおいて静止画処理を行うかどうかの判定として使用される。
【００３４】
Ｓ２０４で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている露出設定がオーバー露出に設定されているかアンダー露出に設定されているかを判定する。露出設定がオーバー露出に設定されていると判定された場合、処理はＳ２０５に進み、露出設定がアンダー露出に設定されていると判定された場合、処理はＳ２１０に進む。Ｓ２０５では、ＣＰＵ１１は、撮像部１７において適正露出より露出オーバーの画像を撮影する。Ｓ２０６で、ＣＰＵ１１は、Ｓ２０５で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出オーバー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ２０７で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ２０９に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ２０８に進む。Ｓ２０８では、ＣＰＵ１１は、Ｓ２０５で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出オーバー静止画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ２０９で、ＣＰＵ１１は、次のフレームの露出設定をアンダー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ２１５に進む。
【００３５】
Ｓ２１０では、ＣＰＵ１１は、撮像部１７において適正露出より露出アンダーの画像を撮影する。Ｓ２１１で、ＣＰＵ１１は、Ｓ２１０において撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出アンダー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ２１２で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ２１４に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ２１３に進む。Ｓ２１３では、ＣＰＵ１１は、Ｓ２１０で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出アンダー静止画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ２１４で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ２１５に進む。
【００３６】
Ｓ２１５では、ＣＰＵ１１は、Ｓ２０６、Ｓ２１１で露出オーバー及び露出アンダー動画フレームがＤＲＡＭ１５に記憶され１組の露出オーバー及び露出アンダー動画フレームが揃っているかどうかを判定する。１組の露出オーバー及び露出アンダー動画フレームが揃っていないと判定された場合、処理はＳ２２１に進む。１組の露出オーバー及び露出アンダー動画フレームが揃っていると判定された場合、処理はＳ２１６に進む。
【００３７】
Ｓ２１６では、ＣＰＵ１１は、Ｓ２０６、Ｓ２１１においてＤＲＡＭ１５に記憶された１組の露出オーバー及び露出アンダー動画フレームを読み出して、画像処理回路１８を用いて合成処理を行いダイナミックレンジを拡大したＨＤＲ動画フレームを生成する。Ｓ２１７で、ＣＰＵ１１は、動画圧縮回路１９を用いて、Ｓ２１６で生成したＨＤＲ動画フレームをＨ．２６４形式等の動画像データに圧縮符号化する。Ｓ２１８で、ＣＰＵ１１は、Ｓ２１７で圧縮符号化された動画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ２１９で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ２１６で生成したＨＤＲ動画フレームに対して表示サイズへのリサイズ処理等を行い、電子ファインダー表示用データを生成する。Ｓ２２０で、ＣＰＵ１１は、Ｓ２１９で生成した表示用データを表示部１３に表示させる。すなわち、表示部１３のライブビュー表示画像が更新される。
【００３８】
Ｓ２２１で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ２２７に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ２２２に進む。Ｓ２２２では、ＣＰＵ１１は、Ｓ２０８、Ｓ２１３において露出オーバー及び露出アンダー静止画フレームがＤＲＡＭ１５に記憶され１組の露出オーバー及び露出アンダー静止画フレームが揃っているかどうかを判定する。１組の露出オーバー及び露出アンダー静止画フレームが揃っていないと判定された場合、処理はＳ２２７に進む。１組の露出オーバー及び露出アンダー静止画フレームが揃っていると判定された場合、処理はＳ２２３に進む。
【００３９】
Ｓ２２３で、ＣＰＵ１１は、Ｓ２０８、Ｓ２１３においてＤＲＡＭ１５に記憶された露出オーバー及び露出アンダー静止画フレームを読み出して、画像処理回路１８を用いて合成処理を行いダイナミックレンジを拡大したＨＤＲ静止画フレームを生成する。Ｓ２２４で、ＣＰＵ１１は、静止画圧縮回路２１を用いて、Ｓ２２３で生成したＨＤＲ静止画フレームをＪＰＥＧ形式の静止画像データに圧縮符号化する。Ｓ２２５で、ＣＰＵ１１は、Ｓ２２４で圧縮符号化された静止画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ２２６で、ＣＰＵ１１は、Ｓ２０２での静止画撮影指示に応じた一連の静止画処理が終了したため、静止画処理フラグをＦＡＬＳＥ（例えば、０）に設定し、ＤＲＡＭ１５に記憶する。
【００４０】
Ｓ２２７で、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、Ｓ２０２に戻り、次の動画フレームの処理を続ける。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、ＨＤＲ動画記録を終了する。
【００４１】
以上のように本実施形態では、ＣＰＵ１１は、第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、複数の動画フレームを生成する。また、ＣＰＵ１１は、静止画撮影指示を受け付けた直後のフレームとそれに続くフレームとを含む複数のフレームから、複数の静止画フレームを生成する。これにより、実施形態１の制御処理に比べて、ＨＤＲ静止画フレームの撮影タイムラグを短くすることができる。
【００４２】
また、本実施形態では、露出オーバー／アンダー画像をＹＵＶデータへ変換した後で合成してＨＤＲ画像を生成する例で説明したが、撮像部から出力された生データ形式の露出オーバー／アンダー画像を合成してからＹＵＶデータへ変換するようにしてもよい。
また、本実施形態では、露出オーバー／アンダーの２枚の画像を合成してＨＤＲ画像を生成する例で説明したが、露出オーバー／適正／アンダーの３枚の画像を合成して生成するなど合成枚数を増やしてもよい。
【００４３】
＜実施形態３＞
撮像装置１０は、露光時間を変えて連続的に撮像した複数の画像を合成しＨＤＲ動画を生成、記録することができる。また、ＨＤＲ動画の記録中に操作部１４の操作による静止画撮影指示を受け付け、ＨＤＲ動画記録を継続しながらＨＤＲ静止画を撮影することもでき、その際の撮影タイムラグを短くすることができる。
【００４４】
図７に、撮像装置１０の動作タイミングの例を示す。撮像部１７は、交互に露光時間を変えて撮像し、画像処理回路１８は、繰り返し露出オーバー動画フレーム５０１、露出アンダー動画フレーム５０２を生成する。画像処理回路１８は、１組の露出オーバー／アンダー動画フレームが得られたら、その露出オーバー／アンダー動画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ動画フレーム５０３を生成する。動画圧縮回路１９は、連続するＨＤＲ動画フレームを圧縮符号化し、ＨＤＲ動画として記録媒体２０に記録する。
【００４５】
その際、動画フレームの生成と同時に、繰り返し露出オーバー静止画フレーム５０５、露出アンダー静止画フレーム５０６も生成し、ＤＲＡＭ１５のバッファに記憶する。このときＤＲＡＭ１５には合成処理に最低限必要な、画像２枚分のバッファ容量を確保しておき、生成した露出オーバー静止画フレームと露出アンダー静止画フレームをそれぞれ１枚ずつ記憶できるようにしておく。露出オーバー静止画フレーム又は露出アンダー静止画フレームが新たに生成されると、それまで記憶されていた露出オーバー静止画フレーム又は露出アンダー静止画フレームは上書きされることになる。
【００４６】
さらに、ＨＤＲ動画の記録中に操作部１４の操作により静止画撮影指示５０４を受け付けた場合、画像処理回路１８は次の処理を行う。すなわち、画像処理回路１８は、静止画撮影指示を受け付けたフレームの露出オーバー静止画フレーム又は露出アンダー静止画フレームが生成され１組の静止画フレームが得られるのを待つ。１組の露出オーバー／アンダー静止画フレームが得られたら、画像処理回路１８は、１組の露出オーバー／アンダー静止画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ静止画フレーム５０７を生成する。静止画圧縮回路２１は、ＨＤＲ静止画フレームを圧縮符号化し、ＨＤＲ静止画として記録媒体２０に記録する。
【００４７】
このように、動画フレーム生成と同時に静止画フレームも繰り返し生成しバッファに記憶するようにすることで静止画撮影指示を受け付けたフレームとバッファに記憶されているひとつ前のフレームを合成してＨＤＲ静止画フレームを生成して記録できる。こうすることで、常に静止画フレームも生成するために処理負荷や消費電力の増加するものの撮影タイムラグを短くすることができる。
【００４８】
図８に、撮像装置１０の動作フローチャートを示す。ＣＰＵ１１が、図８に示す動作を実現するように各部を制御する。操作部１４の動画記録ボタン押下によりＨＤＲ動画記録開始指示がなされると、図８に示すフローがスタートする。Ｓ３０１で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。露出設定は後続のフローにおいて露出オーバー画像を撮影するか露出アンダー画像を撮影するかを判定するために使用される。Ｓ３０２で、ＣＰＵ１１は、操作部１４のレリーズスイッチＳＷ２の操作により、ユーザから静止画撮影指示がなされたかどうかを判定する。静止画撮影指示がなされていないと判定された場合、処理はＳ３０４に進む。静止画撮影指示がなされたと判定された場合、Ｓ３０３で、ＣＰＵ１１は、静止画処理フラグをＴＲＵＥ（例えば、１）に設定し、ＤＲＡＭ１５に記憶する。静止画処理フラグは後続のフローにおいて静止画処理を行うかどうかの判定として使用される。Ｓ３０４で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている露出設定がオーバー露出に設定されているかアンダー露出に設定されているかを判定する。露出設定がオーバー露出に設定されていると判定された場合、処理はＳ３０５に進み、露出設定がアンダー露出に設定されていると判定された場合、処理はＳ３０９に進む。Ｓ３０５では、ＣＰＵ１１は、撮像部１７において適正露出より露出オーバーの画像を撮影する。Ｓ３０６で、ＣＰＵ１１は、Ｓ３０５で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出オーバー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ３０７で、ＣＰＵ１１は、Ｓ３０５で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出オーバー静止画フレームを生成しＤＲＡＭ１５のバッファに記憶する。Ｓ３０８で、ＣＰＵ１１は、次のフレームの露出設定をアンダー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ３１３に進む。
【００４９】
Ｓ３０９では、ＣＰＵ１１は、撮像部１７において適正露出より露出アンダーの画像を撮影する。Ｓ３１０で、ＣＰＵ１１は、Ｓ３０９で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出アンダー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ３１１で、ＣＰＵ１１は、Ｓ３０９で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出アンダー静止画フレームを生成しＤＲＡＭ１５のバッファに記憶する。Ｓ３１２で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ３１３に進む。
【００５０】
Ｓ３１３では、ＣＰＵ１１は、ステップＳ３０６、Ｓ３１０で露出オーバー及び露出アンダー動画フレームがＤＲＡＭ１５に記憶され１組の露出オーバー及び露出アンダー動画フレームが揃っているかどうかを判定する。１組の露出オーバー及び露出アンダー動画フレームが揃っていないと判定された場合、処理はＳ３１９に進む。１組の露出オーバー及び露出アンダー動画フレームが揃っていると判定された場合、処理はＳ３１４に進む。Ｓ３１４では、ＣＰＵ１１は、Ｓ３０６、Ｓ３１０においてＤＲＡＭ１５に記憶された１組の露出オーバー及び露出アンダー動画フレームを読み出して、画像処理回路１８を用いて合成処理を行いダイナミックレンジを拡大したＨＤＲ動画フレームを生成する。Ｓ３１５で、ＣＰＵ１１は、動画圧縮回路１９を用いて、Ｓ３１４で生成したＨＤＲ動画フレームをＨ．２６４形式等の動画像データに圧縮符号化する。Ｓ３１６で、ＣＰＵ１１は、ステップＳ３１５で圧縮符号化された動画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ３１７で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ３１５で生成したＨＤＲ動画フレームに対して表示サイズへのリサイズ処理等を行い、電子ファインダー表示用データを生成する。Ｓ３１８で、ＣＰＵ１１は、Ｓ３１７で生成した表示用データを表示部１３に表示させる。すなわち、表示部１３のライブビュー表示画像が更新される。
【００５１】
Ｓ３１９で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ３２４に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ３２０に進む。Ｓ３２０では、ＣＰＵ１１は、Ｓ３０７、Ｓ３１１においてＤＲＡＭ１５のバッファに記憶された露出オーバー及び露出アンダー静止画フレームを読み出し、画像処理回路１８を用いて合成処理を行い高ダイナミックレンジのＨＤＲ静止画フレームを生成する。その際、静止画撮影指示を受けたフレームとバッファに記憶されているひとつ前のフレームを合成に使用する。Ｓ３２１で、ＣＰＵ１１は、静止画圧縮回路２１を用いて、Ｓ３２０で生成したＨＤＲ静止画フレームをＪＰＥＧ形式の静止画像データに圧縮符号化する。Ｓ３２２で、ＣＰＵ１１は、Ｓ３２１で圧縮符号化された静止画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ３２３で、ＣＰＵ１１は、ステップＳ３０２での静止画撮影指示に応じた一連の静止画処理が終了したため、静止画処理フラグをＦＡＬＳＥ（例えば、０）に設定し、ＤＲＡＭ１５に記憶する。
【００５２】
Ｓ３２４で、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、Ｓ３０２に戻り、次の動画フレームの処理を続ける。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、ＨＤＲ動画記録を終了する。
【００５３】
以上のように本実施形態では、ＣＰＵ１１は、複数の動画フレームが生成される都度、対応する複数の静止画フレームを生成する。バッファ手段はこの生成された複数の静止画フレームを一時的に記憶する。ＣＰＵ１１はまた、静止画撮影指示を受け付けた場合、現フレームで生成される静止画フレームと、バッファから読み出した直前のフレームの静止画フレームとを使用する。これにより、処理負荷や消費電力は増加するものの、その際の撮影タイムラグを短くすることができる。
【００５４】
また、本実施形態では、露出オーバー／アンダー画像をＹＵＶデータへ変換した後で合成してＨＤＲ画像を生成する例で説明したが、撮像部から出力された生データ形式の露出オーバー／アンダー画像を合成してからＹＵＶデータへ変換するようにしてもよい。
【００５５】
また、本実施形態では、露出オーバー／アンダーの２枚の画像を合成してＨＤＲ画像を生成する例で説明したが、露出オーバー／適正／アンダーの３枚の画像を合成して生成するなど合成枚数を増やしてもよい。
【００５６】
＜実施形態４＞
撮像装置１０は、露光時間を変えて連続的に撮像した複数の画像を合成しＨＤＲ動画を生成、記録することができる。また、ＨＤＲ動画の記録中に操作部１４の操作による静止画撮影指示を受け付け、ＨＤＲ動画記録を継続しながらＨＤＲ静止画を撮影することもでき、その際の撮影タイムラグをなくすことができる。
【００５７】
図９に、撮像装置１０の動作タイミングの例を示す。撮像部１７は、交互に露光時間を変えて撮像し、画像処理回路１８は、繰り返し露出オーバー動画フレーム６０１、露出アンダー動画フレーム６０２を生成する。画像処理回路１８は、１組の露出オーバー／アンダー動画フレームが得られたら、その露出オーバー／アンダー動画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ動画フレーム６０３を生成する。動画圧縮回路１９は、連続するＨＤＲ動画フレームを圧縮符号化し、ＨＤＲ動画として記録媒体２０に記録する。その際、動画フレームの生成と同時に、繰り返し露出オーバー静止画フレーム６０５、露出アンダー静止画フレーム６０６も生成し、ＤＲＡＭ１５のバッファに記憶する。このときＤＲＡＭ１５には静止画撮影指示があった際に表示部１３に表示しているＨＤＲ合成画像を生成するのに使用した１組の露出オーバー／アンダー静止画フレームまでを記憶しておけるだけのバッファ領域を確保しておく。表示部１３のファインダー表示が更新されたら、表示しているＨＤＲ合成画像を生成するのに使用した１組の露出オーバー／アンダー静止画フレームは不要となるため、新たに生成される露出オーバー／アンダー静止画フレームで上書きしてよい。
【００５８】
さらに、ＨＤＲ動画の記録中に操作部１４の操作により静止画撮影指示６０４を受け付けた場合、画像処理回路１８は、１組の露出オーバー／アンダー静止画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ静止画フレーム６０７を生成する。その時、合成にはバッファに記憶されている、表示部１３に表示しているＨＤＲ合成画像を生成するのに使用した１組の露出オーバー／アンダー静止画フレームを使用する。静止画圧縮回路２１は、ＨＤＲ静止画フレームを圧縮符号化し、ＨＤＲ静止画として記録媒体２０に記録する。
【００５９】
このように、動画フレーム生成と同時に静止画フレームも繰り返し生成しバッファに記憶する。こうすることで、静止画撮影指示を受けた際に表示されているＨＤＲ合成画像を生成したのと同じ１組の露出オーバー／アンダー静止画フレームを合成してＨＤＲ静止画フレームを生成して記録できる。これにより、常に静止画フレームも生成するために処理負荷や消費電力は増加するものの、表示中のＨＤＲ合成画像を生成するのに使用したのと同じフレームまで記憶しておくために必要なバッファ容量も多くなるものの撮影タイムラグをなくすことができる。
【００６０】
図１０に、撮像装置１０の動作フローチャートを示す。ＣＰＵ１１が、図１０に示す動作を実現するように各部を制御する。操作部１４の動画記録ボタン押下によりＨＤＲ動画記録開始指示がなされると、図１０に示すフローがスタートする。Ｓ４０１で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。露出設定は後続のフローにおいて露出オーバー画像を撮影するか露出アンダー画像を撮影するかを判定するために使用される。Ｓ４０２で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている露出設定がオーバー露出に設定されているかアンダー露出に設定されているかを判定する。露出設定がオーバー露出に設定されていると判定された場合、処理はＳ４０３に進み、露出設定がアンダー露出に設定されていると判定された場合、処理はＳ４０７に進む。Ｓ４０３では、ＣＰＵ１１は、撮像部１７において適正露出より露出オーバーの画像を撮影する。Ｓ４０４で、ＣＰＵ１１は、Ｓ４０３で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出オーバー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ４０５で、ＣＰＵ１１は、Ｓ４０３で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出オーバー静止画フレームを生成しＤＲＡＭ１５のバッファに記憶する。Ｓ４０６で、ＣＰＵ１１は、次のフレームの露出設定をアンダー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ４１１に進む。
【００６１】
Ｓ４０７では、ＣＰＵ１１は、撮像部１７において適正露出より露出アンダーの画像を撮影する。Ｓ４０８で、ＣＰＵ１１は、Ｓ４０７で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出アンダー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ４０９で、ＣＰＵ１１は、Ｓ４０７で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出アンダー静止画フレームを生成しＤＲＡＭ１５のバッファに記憶する。Ｓ４１０で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ４１１に進む。
【００６２】
Ｓ４１１では、ＣＰＵ１１は、Ｓ４０４、Ｓ４０８において露出オーバー及び露出アンダー動画フレームがＤＲＡＭ１５に記憶され１組の露出オーバー及び露出アンダー動画フレームが揃っているかどうかを判定する。１組の露出オーバー及び露出アンダー動画フレームが揃っていないと判定された場合、処理はＳ４１７に進む。１組の露出オーバー及び露出アンダー動画フレームが揃っていると判定された場合、処理はＳ４１２に進む。Ｓ４１２では、ＣＰＵ１１は、Ｓ４０４、Ｓ４０８においてＤＲＡＭ１５に記憶された１組の露出オーバー及び露出アンダー動画フレームを読み出して、画像処理回路１８を用いて合成処理を行いダイナミックレンジを拡大したＨＤＲ動画フレームを生成する。Ｓ４１３で、ＣＰＵ１１は、動画圧縮回路１９を用いて、Ｓ４１２で生成したＨＤＲ動画フレームをＨ．２６４形式等の動画像データに圧縮符号化する。Ｓ４１４で、ＣＰＵ１１は、ステップＳ４１３で圧縮符号化された動画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ４１５で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ４１２で生成したＨＤＲ動画フレームに対して表示サイズへのリサイズ処理等を行い、電子ファインダー表示用データを生成する。Ｓ４１６で、ＣＰＵ１１は、Ｓ４１７で生成した表示用データを表示部１３に表示させる。すなわち、表示部１３のライブビュー表示画像が更新される。
【００６３】
Ｓ４１７では、ＣＰＵ１１は、操作部１４のレリーズスイッチＳＷ２の操作により、ユーザから静止画撮影指示がなされたかどうかを判定する。静止画撮影指示がなされていないと判定された場合、処理はＳ４２１に進む。静止画撮影指示がなされたと判定された場合、処理はＳ４１８に進む。Ｓ４１８では、ＣＰＵ１１は、Ｓ４０５、Ｓ４０９においてＤＲＡＭ１５のバッファに記憶された露出オーバー及び露出アンダー静止画フレームを読み出し、画像処理回路１８を用いて合成処理を行い高ダイナミックレンジのＨＤＲ静止画フレームを生成する。その際、静止画撮影指示を受けた時に表示部１３に表示しているＨＤＲ合成画像を生成するのに使用したのと同一の１組の露出オーバー／アンダー静止画フレームを使用する。Ｓ４１９で、ＣＰＵ１１は、静止画圧縮回路２１を用いて、Ｓ４１８で生成したＨＤＲ静止画フレームをＪＰＥＧ形式の静止画像データに圧縮符号化する。Ｓ４２０で、ＣＰＵ１１は、Ｓ４１９で圧縮符号化された静止画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。
【００６４】
Ｓ４２１では、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、Ｓ４０２に戻り、次の動画フレームの処理を続ける。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、ＨＤＲ動画記録を終了する。
【００６５】
以上のように、本実施形態では、静止画撮影指示を受け付けた時点で表示部に表示されているＨＤＲ動画の基になった複数の動画フレームに対応する複数の静止画フレームをバッファから読み出して合成することでＨＤＲ静止画フレームが生成される。こうして、静止画撮影指示を受けた時に表示部１３に表示しているＨＤＲ合成画像を生成するのに使用したのと同一の１組の露出オーバー／アンダー静止画フレームを合成してＨＤＲ静止画フレームを生成して記録できる。これにより、ＨＤＲ動画記録中に静止画撮影指示を受け付けた場合、ＨＤＲ動画記録を継続しながら、ＨＤＲ静止画を記録でき、処理負荷や消費電力が増加するとともに、必要なバッファ容量も多くなる代わりにその際の撮影タイムラグをなくすことができる。
【００６６】
また、本実施形態では、露出オーバー／アンダー画像をＹＵＶデータへ変換した後で合成してＨＤＲ画像を生成する例で説明したが、撮像部から出力された生データ形式の露出オーバー／アンダー画像を合成してからＹＵＶデータへ変換するようにしてもよい。
【００６７】
また、本実施形態では、露出オーバー／アンダーの２枚の画像を合成してＨＤＲ画像を生成する例で説明したが、露出オーバー／適正／アンダーの３枚の画像を合成して生成するなど合成枚数を増やしてもよい。
【００６８】
前述の実施形態１〜４ではそれぞれ、ＨＤＲ動画の生成に対してＨＤＲ静止画の生成のタイミングが異なる。それぞれ、必要なバッファ容量、演算負荷、ＨＤＲ静止画撮影指示からＨＤＲ静止画が生成されるまでのタイムラグは、トレードオフの関係にあるので、いずれかの実施形態による処理に切り替え可能としてもよい。
【００６９】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2015056807.tif 000003
【図２】
2015056807.tif 000004
【図３】
2015056807.tif 000005
【図４】
2015056807.tif 000006
【図５】
2015056807.tif 000007
【図６】
2015056807.tif 000008
【図７】
2015056807.tif 000009
【図８】
2015056807.tif 000010
【図９】
2015056807.tif 000011
【図１０】
2015056807.tif 000012