(57)【要約】【課題】ＨＤＲ動画の記録中に魅力のあるＨＤＲ静止画を生成、又は生成可能なデータを記録することが可能な撮像装置及び撮像方法を提供すること。【解決手段】撮像装置１００は、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部１０２と、それぞれの画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部１０６ａと、それぞれの画像データ群に属する複数の画像データ又は異なる画像データ群に属する複数の画像データに対して第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成する第２の画像処理部１０６ｂとを備える。【選択図】図１
2018042198.tif 000002
【特許請求の範囲】
【請求項１】
ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、
それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部と、
前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能なように、前記複数の静止画用画像データを記録する記録処理部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記複数の静止画用画像データは、可逆圧縮データか非圧縮データであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数の静止画用画像データに第２の合成処理を行ってＨＤＲ静止画ファイルを作成する記録処理部をさらに具備することを特徴とする請求項１に記載の撮像装置。
【請求項４】
ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、
それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部と、
それぞれの前記画像データ群に属する複数の画像データ又は前記画像データ群に属していない複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成する第２の画像処理部と、
を具備することを特徴とする撮像装置。
【請求項５】
前記ＨＤＲ動画データと前記ＨＤＲ静止画データとを関連付けて記録部に記録する記録処理部をさらに具備することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記ＨＤＲ静止画データの生成に用いられた複数の前記画像データをＲＡＷ形式で前記ＨＤＲ静止画データに関連付けて記録部に記録する記録処理部をさらに具備することを特徴とする請求項４に記載の撮像装置。
【請求項７】
画像を表示する表示部と、
画像を表示する外部表示機器と通信するための通信部と、
をさらに具備し、
前記第２の画像処理部は、前記表示部の表示階調数と同等の階調数を有する前記ＨＤＲ静止画データと前記外部表示機器の表示階調数と同等の階調数を有する前記ＨＤＲ静止画データとを生成することを特徴とする請求項４乃至６の何れか１項に記載の撮像装置。
【請求項８】
前記第２の合成処理は、それぞれの前記画像データ群に属する複数の前記画像データ又は異なる前記画像データ群に属する複数の前記画像データのそれぞれのコントラストを強調する処理及び彩度を強調する処理並びに前記ＨＤＲ静止画データのコントラストを強調する処理及び彩度を強調する処理の少なくとも何れかを含むことを特徴とする請求項４乃至７の何れか１項に記載の撮像装置。
【請求項９】
前記ＨＤＲ静止画データは、対応する前記ＨＤＲ動画コマの再生後に再生されるか又は対応する前記ＨＤＲ動画コマに重ねて再生されることを特徴とする請求項４乃至８の何れか１項に記載の撮像装置。
【請求項１０】
ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、
それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部と、
前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能な撮影モードと、前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理と同様の合成処理を施してＨＤＲ静止画データを生成することが可能な撮影モードとを選択可能であることを特徴とする撮像装置。
【請求項１１】
撮像部により、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得することと、
それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成することと、
前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能なように、前記複数の静止画用画像データを記録することと、
を具備することを特徴とする撮像方法。
【請求項１２】
撮像部により、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得することと、
それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成することと、
それぞれの前記画像データ群に属する複数の画像データ又は前記画像データ群に属していない複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することと、
を具備することを特徴とする撮像方法。
【請求項１３】
撮像部により、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得することと、
それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成することと、
前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能な撮影モードと、前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理と同様の合成処理を施してＨＤＲ静止画データを生成することが可能な撮影モードとを選択することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
近年の撮像装置は、有線通信又は無線通信によってテレビジョン受像機（テレビ）と接続できるようになっている。これにより、ユーザは、撮像装置で取得された画像をテレビの大画面で見ることができる。
【０００３】
また、近年のテレビには、本来の仕様よりも広いダイナミックレンジの表示を行うハイダイナミックレンジ（ＨＤＲ）表示に対応しているものも増えてきている。一方で、近年の撮像装置には、露出条件の異なる複数の画像を合成することで本来の撮像装置の仕様よりも広いダイナミックレンジの画像を取得するＨＤＲ画像記録機能を有しているものもある。このようなＨＤＲ画像記録機能を備えた撮像装置は、ＨＤＲ表示に対応したテレビに対する魅力的なコンテンツを提供することができる撮像装置となり得る。
【０００４】
ＨＤＲ画像記録機能を有している撮像装置のうち、例えば特許文献１において提案されている撮像装置は、ＨＤＲ動画記録中において静止画撮影指示があった場合にはＨＤＲ動画記録中に得られた露出条件の異なる複数の画像を合成してＨＤＲ静止画を記録している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−５６８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、特許文献１で生成されるＨＤＲ静止画は、あくまでも動画撮影中に取得された画像データを合成することによって得られるものであって、ＨＤＲ動画と同等の画質である。近年では、記録された動画から静止画を作成する技術も発達しており、動画と静止画が同じような画像データとして得られることに対しては改善が求められていた。
【０００７】
本発明は、前記の事情に鑑みてなされたもので、ＨＤＲ動画の記録中に魅力のあるＨＤＲ静止画を生成、又は生成可能なデータを記録することが可能な撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記の目的を達成するために、本発明の第１の態様の撮像装置は、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部と、前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能なように、前記複数の静止画用画像データを記録する記録処理部とを具備することを特徴とする。
【０００９】
前記の目的を達成するために、本発明の第２の態様の撮像装置は、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部と、それぞれの前記画像データ群に属する複数の画像データ又は前記画像データ群に属していない複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成する第２の画像処理部とを具備することを特徴とする。
【００１０】
前記の目的を達成するために、本発明の第３の態様の撮像装置は、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部と、前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能な撮影モードと、前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理と同様の合成処理を施してＨＤＲ静止画データを生成することが可能な撮影モードとを選択可能であることを特徴とする。
【００１１】
前記の目的を達成するために、本発明の第４の態様の撮像方法は、撮像部により、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得することと、それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成することと、前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能なように、前記複数の静止画用画像データを記録することとを具備することを特徴とする。
【００１２】
前記の目的を達成するために、本発明の第５の態様の撮像方法は、撮像部により、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得することと、それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成することと、それぞれの前記画像データ群に属する複数の画像データ又は前記画像データ群に属していない複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することとを具備することを特徴とする。
【００１３】
前記の目的を達成するために、本発明の第６の態様の撮像方法は、撮像部により、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得することと、それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成することと、前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能な撮影モードと、前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理と同様の合成処理を施してＨＤＲ静止画データを生成することが可能な撮影モードとを選択することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ＨＤＲ動画の記録中に魅力のあるＨＤＲ静止画を生成、又は生成可能なデータを記録することが可能な撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。
【図２Ａ】本発明の一実施形態に係る撮像装置のメインの処理について示すフローチャートである。
【図２Ｂ】本発明の一実施形態に係る撮像装置のメインの処理について示すフローチャートである。
【図３Ａ】動作モードアイコンの表示例を示す図である。
【図３Ｂ】スルー画表示及び撮影モードアイコンの表示例を示す図である。
【図３Ｃ】設定画面の表示例を示す図である。
【図４】効果確認の処理を示すフローチャートである。
【図５Ａ】画像データの一覧表示の例を示す図である。
【図５Ｂ】比較表示の例を示す図である。
【図５Ｃ】拡大表示の例を示す図である。
【図６】ＨＤＲ合成処理の例を示す図である。
【図７】ＨＤＲ静止画記録を伴うＨＤＲ動画撮影の処理を示すタイミングチャートである。
【図８Ａ】撮像装置用ＨＤＲ動画ファイルの構造を示す図である。
【図８Ｂ】撮像装置用ＨＤＲ静止画ファイルの構造を示す図である。
【図９】ＨＤＲ動画データとＨＤＲ静止画データとを１つのファイルに記録する場合のＨＤＲ動画ファイルの構造を示す図である。
【図１０Ａ】その他の処理について示すフローチャートである。
【図１０Ｂ】その他の処理について示すフローチャートである。
【図１１】外部表示機器での画像の再生例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、スマートフォン、カメラ機能付き携帯電話機といった撮像機能を有する各種の機器である。図１に示す撮像装置１００は、撮像部１０２と、記憶部１０４と、画像処理部１０６と、再生部１０８と、表示部１１０と、記録部１１２と、通信部１１４と、操作部１１６と、制御部１１８と、マイク１２０とを有している。ここで、撮像装置１００の各ブロックは、例えばハードウェアとソフトウェアとの組み合わせによって構成されている。撮像装置１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又は複数のソフトウェアによって構成されていてもよい。
【００１７】
撮像部１０２は、撮像光学系１０２ａと、撮像素子１０２ｂと、駆動部１０２ｃとを有している。撮像光学系１０２ａは、絞り及びレンズ等を有し、図示しない被写体からの光束を撮像素子１０２ｂに入射させる。また、撮像光学系１０２ａは、合焦状態を調節するためのフォーカスレンズを含んでいる。撮像素子１０２ｂは、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを含み、対象物を撮像し、対象物に係る画像データ（ＲＡＷデータ）を取得する。撮像素子１０２ｂは、撮影の対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。また、本実施形態における撮像素子１０２ｂは、撮像光学系１０２ａに光軸と直交する平面内で移動可能に構成されていてもよい。駆動部１０２ｃは、制御部１１８による制御に従って、撮像光学系１０２ａのフォーカスレンズをその光軸方向に駆動したり、撮像素子１０２ｂを駆動したりする。
【００１８】
記憶部１０４は、例えばＤＲＡＭであり、撮像部１０２で取得された画像データを一時的に記憶する。
【００１９】
画像処理部１０６は、撮像部１０２で取得されて記憶部１０４に記憶された画像データに対して画像処理を施す。画像処理部１０６は、第１の画像処理部１０６ａと、第２の画像処理部１０６ｂと、記録処理部１０６ｃとを有している。
【００２０】
第１の画像処理部１０６ａは、記憶部１０４に記憶された画像データに対して動画データの生成に係る画像処理を施す。ここで、本実施形態における動画データは、通常動画データ、撮像装置用ＨＤＲ動画データ及びテレビ用ＨＤＲ動画データを含む。通常動画データは、撮像部１０２によって取得された複数の画像データのそれぞれを動画コマとする動画データであって、表示部１１０の表示階調数と同等の階調数（例えば８ビットの階調数）を有する動画データである。ここでの階調数とは、画像データが何ビットのデータで構成されるかを示している。例えば８ビットの階調数では２５６階調の明るさを表現できることになる。撮像装置用ＨＤＲ動画データは、撮像部１０２によって取得された露出条件の異なる複数の画像データを合成することで構成される合成画像データのそれぞれを動画コマとするダイナミックレンジの広い動画データであって、表示部１１０の表示階調数と同等の階調数（例えば８ビットの階調数）を有する動画データである。テレビ用ＨＤＲ動画データは、撮像部１０２によって取得された露出条件の異なる複数の画像データを合成することで構成される合成画像データのそれぞれを動画コマとするダイナミックレンジの広い動画データであって、ＨＤＲ表示可能なテレビ２００の表示階調数と同等の階調数（例えば１０ビットの階調数）を有する動画データである。もちろん、特定のデータ量に画像を収める撮影と、必要に応じて明るさの変化を大きくできる表示では、この階調の考え方は異なるが、明るさの情報量を通常より増やすという意味で、ここでは簡単化のため一律であるように表現している。通常動画データを生成するために、第１の画像処理部１０６ａは、ホワイトバランス補正処理、階調変換、色補正といった動画データを生成するために必要な基本的な画像処理を施す。一方、ＨＤＲ動画データを生成するために、第１の画像処理部１０６ａは、ホワイトバランス補正処理、階調変換、色補正といった動画データを生成するために必要な基本的な画像処理と、露出条件の異なる複数の画像データを合成することによるダイナミックレンジ又は情報量の拡大処理とを含む第１の合成処理を施す。滑らかさが要求されるために、それぞれのコマに逐次適応できる高速の処理である事が必要となる。
【００２１】
第２の画像処理部１０６ｂは、記憶部１０４に記憶された画像データに対して静止画データの生成に係る画像処理を施す。ここで、本実施形態における静止画データは、通常静止画データ、撮像装置用ＨＤＲ静止画データ、及びテレビ用ＨＤＲ静止画データを含む。通常静止画データは、撮像部１０２によって取得された１つの画像データから生成される静止画データであって、表示部１１０の表示階調数と同等の階調数（例えば８ビットの階調数）を有する静止画データである。撮像装置用ＨＤＲ静止画データは、撮像部１０２によって取得された露出条件の異なる複数の画像データを合成することで構成されるダイナミックレンジの広い静止画データであって、表示部１１０の表示階調数と同等の階調数（例えば８ビットの階調数）を有する静止画データである。ここでは、単純化して階調数と書いたが、表示系の特性に応じた調整があるので、必ずしも厳密に階調が同じとは限らず、表示系のダイナミックレンジに相応したデータ量であればよい。テレビ用ＨＤＲ静止画データは、撮像部１０２によって取得された露出条件の異なる複数の画像データを合成することで構成されるダイナミックレンジの広い静止画データであって、ＨＤＲ表示可能なテレビ２００の表示階調数と同等の階調数（例えば１０ビットの階調数）を有する静止画データである。通常静止画データを生成するために、第２の画像処理部１０６ｂは、ホワイトバランス補正処理、階調変換、色補正といった静止画データを生成するために必要な基本的な画像処理を施す。一方、ＨＤＲ静止画データを生成するために、第２の画像処理部１０６ｂは、ホワイトバランス補正処理、階調変換、色補正といった静止画データを生成するために必要な基本的な画像処理と、露出条件の異なる複数の画像データを合成することによるダイナミックレンジの拡大処理とを施す。また、静止画では、絵画のように隅々まで鑑賞されることから、場所に応じて最適化された適応化処理を伴ってもよい。また、プリント時に最適になるような補正を行ってもよい。これらの処理は、限られたコマだけに対応するので、時間がかかる処理でもよい。特に、ＨＤＲ動画撮影中にＨＤＲ静止画を記録するときには、第２の画像処理部１０６ｂは、第１の合成処理とは異なる第２の合成処理を行う。例えば、第２の画像処理部１０６ｂは、第２の合成処理として、露出条件の異なる複数の画像データを合成する際の合成比率をＨＤＲ動画の合成のときとは異ならせたり、合成前又は合成後の画像データのコントラストを強調したり、彩度を強調したり、それらを組み合わせて特定の視覚効果を付与したりといった処理を合成処理と併せて行う。このような第２の合成処理により、ＨＤＲ動画と異なる画像表現のＨＤＲ静止画を生成することができる。動画では画像に的確な動きがあれば細部の階調が気にされない事が多く、見たものがそのままスピーディになめらかに再現されていればよい事が多い。一方、静止画ではあたかも絵画のようにすみずみまで鑑賞に耐える作品となっていることが要求される。このため、静止画の場合には、動画とは異なり、静止画にふさわしい表現のＨＤＲ画像となっている必要がある。特に、動画は刻々と状況が変わる中、なめらかな応答、遷移の画像処理によるコマ表現がこのましいが、この応答、遷移中に撮影した静止画像は、前後のコマに関わらず、それだけでふさわしい表現である必要がある。このような状況を想定すれば、ＨＤＲ動画と異なる表現のＨＤＲ静止画にすることが重要になることは言うまでもない。合成前の画像はそのままに、合成を変えることによって表現を静止画にふさわしくすることができる。また、静止画ではプリントの用途もあるが、印刷機の特性に応じた特性にする等も重要で、そうしたニーズにも対応可能である。
【００２２】
記録処理部１０６ｃは、第１の画像処理部１０６ａ又は第２の画像処理部１０６ｂによって生成された画像データから記録用の画像ファイルを生成するための処理を行う。例えば、記録処理部１０６ｃは、動画データをＨ．２６４方式等の所定の動画圧縮方式で圧縮し、圧縮した動画データに対して所定のタグ情報を付与して動画ファイルを生成する。また、例えば、記録処理部１０６ｃは、静止画データをＪＰＥＧ方式等の所定の静止画圧縮方式で圧縮し、圧縮した静止画データに対して所定のタグ情報を付与して静止画ファイルを生成する。ここで、記録処理部１０６ｃは、静止画ファイルが動画撮影中に生成されたものであるときには、静止画ファイルと動画ファイルとを関連付けるための処理を行う。例えば、記録処理部１０６ｃは、静止画ファイルと動画ファイルとを関連付けるための情報（例えば関連しているファイルのファイル名）をタグ情報として記録する。また、記録処理部１０６ｃは、ＨＤＲ動画撮影中に生成されたＨＤＲ静止画データから静止画ファイルを生成するときには、ＨＤＲ静止画データの合成に用いられた画像データをＲＡＷ形式で記録する。このようなＲＡＷデータを記録することにより、既に記録されているＨＤＲ静止画データとは異なる画像表現のＨＤＲ静止画データを後の編集において生成することができる。これによって、シーンや対象物にふさわしい陰影やコントラスト、色再現によって、あたかも絵画のようにすみずみまで鑑賞に耐える作品となった静止画を得ることができる。特に、動画は刻々と状況が変わる中、なめらかな応答、遷移の画像処理によるコマ表現がこのましい。一方で、動画の撮影中に得られた静止画像は、前後のコマに関わらず、それだけでふさわしい表現である必要がある。このような状況を想定すれば、こうした編集が重要になることは言うまでもない。また、関連付けタグ等によって、動画を鑑賞しながらの静止画の検索などが可能となる。
【００２３】
再生部１０８は、画像処理部１０６で生成された画像データを再生するための処理を行う。再生部１０８は、第１の再生処理部１０８ａと、第２の再生処理部１０８ｂとを有している。
【００２４】
第１の再生処理部１０８ａは、動画データを表示部１１０又はテレビ２００で再生するための処理を行う。例えば、第１の再生処理部１０８ａは、第１の画像処理部１０６ａで生成された動画データを表示部１１０に入力して表示部１１０における画像の表示を行わせる。また、第１の再生処理部１０８ａは、第１の画像処理部１０６ａで生成された動画データを、通信部１１４を介してテレビ２００に送信することでテレビ２００における画像の表示を行わせる。画像データが圧縮されているときには、第１の再生処理部１０８ａは、圧縮されている画像データを伸長することも行う。
【００２５】
第２の再生処理部１０８ｂは、静止画データを表示部１１０又はテレビ２００で再生するための処理を行う。例えば、第２の再生処理部１０８ｂは、第２の画像処理部１０６ｂで生成された静止画データを表示部１１０に入力して表示部１１０における画像の表示を行わせる。また、第２の再生処理部１０８ｂは、第２の画像処理部１０６ｂで生成された静止画データを、通信部１１４を介してテレビ２００に送信することでテレビ２００における画像の表示を行わせる。画像データが圧縮されているときには、第２の再生処理部１０８ｂは、圧縮されている画像データを伸長することも行う。
【００２６】
表示部１１０は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、再生部１０８から入力された画像データに基づく画像等の各種の画像を表示する。
【００２７】
記録部１１２は、例えばフラッシュＲＯＭで構成されている。記録部１１２には、画像処理部１０６の記録処理部１０６ｃで生成された画像ファイルが記録される。また、記録部１１２には、撮像装置１００の制御のために用いられる各種のプログラムが記録されていてもよい。
【００２８】
通信部１１４は、撮像装置１００と外部表示機器であるテレビ２００との通信を仲介するための処理を行う。通信部１１４は、例えばＨＤＭＩ（登録商標）によって撮像装置１００とテレビ２００との通信を仲介する。通信部１１４は、ＷｉＦｉ（登録商標）等の無線通信によって撮像装置１００とテレビ２００との通信を仲介するものであってもよい。さらに、通信部１１４は、外部表示機器以外の機器とも通信できるように構成されていてもよい。
【００２９】
操作部１１６は、ユーザが撮像装置１００の操作をするための操作部材である。操作部１１６は、例えば、レリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタン、タッチパネル等が含まれる。レリーズボタンは、静止画撮影の指示をするための操作部材である。動画ボタンは、動画撮影の開始又は終了を指示するための操作部材である。設定ボタンは、撮像装置１００の設定画面を表示させるための操作部材である。選択キーは、例えば設定画面上での項目の選択や決定をするための操作部材である。電源ボタンは、撮像装置１００の電源をオン又はオフするための操作部材である。タッチパネルは、表示部１１０の表示画面と一体的に設けられており、ユーザの表示画面上でのタッチ操作を検出する。タッチパネルによって前述したレリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタンと同等の操作ができるように構成されていてもよい。さらに、操作部１１６は、前述した以外の他の操作部材を有していてもよい。
【００３０】
制御部１１８は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、撮像装置１００の動作を統括的に制御する。制御部１１８と同等の機能は、ソフトウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。また、制御部１１８の一部の機能は、制御部１１８と別個に設けられていてもよい。
【００３１】
マイク１２０は、入力された音声を電気信号に変換して取得する。
【００３２】
外部表示機器であるテレビ２００は、例えばテレビジョン映像を表示する。また、テレビ２００は、通信部１１４から転送されてきた画像データに基づいて画像を表示する。ここで、テレビ２００は、ＨＤＲ表示を行うことができるように構成されている。テレビ２００におけるＨＤＲ表示の方式は、特定の方式に限らない。
【００３３】
次に、本実施形態に係る撮像装置の動作について説明する。図２Ａ及び図２Ｂは、本実施形態に係る撮像装置のメインの処理について示すフローチャートである。図２Ａ及び図２Ｂの処理は、制御部１１８が主体となって行われる。
【００３４】
図２Ａ及び図２Ｂの処理は、電源がオンされたときに開始される。ステップＳ１において、制御部１１８は、ユーザに撮像装置１００の動作モードを選択させるための動作モードアイコンを表示部１１０に表示させるように再生部１０８に指示する。この指示を受けて、再生部１０８は、例えば、図３Ａに示す撮影アイコン３０１、再生アイコン３０２、通信アイコン３０３を表示させる。撮影アイコン３０１は、ユーザが撮像装置１００の動作モードを撮影モードに切り替える指示をするためのアイコンである。再生アイコン３０２は、ユーザが撮像装置１００の動作モードを再生モードに切り替える指示をするためのアイコンである。通信アイコン３０３は、ユーザが撮像装置１００の動作モードを通信モードに切り替える指示をするためのアイコンである。なお、撮影アイコン３０１、再生アイコン３０２、通信アイコン３０３以外の動作モードに対応したアイコンが表示されてもよい。また、図３Ａに示すようなアイコン表示が行われなくてもよい。この場合、例えば電源オン時には、撮像装置１００は、電源オフの直前の動作モードになるようになっていてもよいし、撮影モード、再生モード、通信モードのうちの予め定められた動作モードになるようになっていてもよい。
【００３５】
ステップＳ２において、制御部１１８は、現在の動作モードが撮影モードであるか否かを判定する。すなわち、ユーザによって何れのアイコンが選択されたかを判定することにより、制御部１１８は、現在の動作モードが撮影モードであるか否かを判定する。ステップＳ１において、撮像装置１００の動作モードが撮影モードであると判定されたときに、処理はステップＳ３に移行する。ステップＳ１において、撮像装置１００の動作モードが撮影モードでないと判定されたときに、処理はステップＳ２４に移行する。
【００３６】
ステップＳ３において、制御部１１８は、スルー画表示のために、撮像部１０２による撮像を行わせて画像データを取得する。ステップＳ４において、制御部１１８は、スルー画表示を行う。スルー画表示として、制御部１１８は、画像処理部１０６による信号処理を実行させる。これを受けて、画像処理部１０６は、撮像部１０２において取得されて記憶部１０４に記憶された画像データに対してスルー画表示のために必要な画像処理（ホワイトバランス補正、階調変換、色補正等）を施してスルー画データを生成する。スルー画データの生成後、再生部１０８は、生成されたスルー画データに基づくスルー画３０４を図３Ｂに示すように表示部１１０に逐次に表示させる。また、再生部１０８は、例えば、図３Ｂに示す設定アイコン３０５、動画撮影アイコン３０６、静止画撮影アイコン３０７、戻るアイコン３０８を例えばスルー画３０４の表示領域とは別の表示領域に表示させる。設定アイコン３０５は、ユーザが設定指示をするためのアイコンである。動画撮影アイコン３０６は、ユーザが動画撮影開始及び終了指示をするためのアイコンである。静止画撮影アイコン３０７は、ユーザが静止画撮影指示をするためのアイコンである。戻るアイコン３０８は、ユーザが撮影モードの終了指示をするためのアイコンである。これらの撮影モード用のアイコンは、スルー画３０４に重ねて表示されてもよい。また、設定アイコン３０５、動画撮影アイコン３０６、静止画撮影アイコン３０７、戻るアイコン３０８以外のアイコンが撮影モード用のアイコンとして表示されてもよい。
【００３７】
ステップＳ５において、制御部１１８は、ユーザによって撮像装置１００に対する設定指示がされたか否かを判定する。例えば、ユーザによって設定アイコン３０５が選択された又は設定ボタンが操作されたときに、設定指示がされたと判定される。ステップＳ５において、設定指示がされたと判定されたときには、処理はステップＳ６に移行する。ステップＳ５において、設定指示がされていないと判定されたときには、処理はステップＳ７に移行する。
【００３８】
ステップＳ６において、制御部１１８は、設定画面を表示させるように再生部１０８に指示する。この指示を受けて、再生部１０８は、例えば図３Ｃに示すような設定画面を表示部１１０に表示させる。設定画面の表示後、制御部１１８は、設定画面上でのユーザの操作に従って各種の設定を変更する。設定画面上での設定の終了後、処理はステップＳ７に移行する。図３Ｃの例では、設定画面上に、撮影設定アイコン３０９、ＨＤＲ設定アイコン３１０、戻るアイコン３１１が表示される。撮影設定アイコン３０９は、ユーザが撮影時の各種の設定を行うためのアイコンである。撮影設定アイコン３０９を選択することにより、ユーザは、撮影時の露出条件の設定（シャッタスピード及び絞りの設定）、撮影時の記録画質の設定等を行うことができる。また、ＨＤＲ設定アイコン３１０は、ユーザがＨＤＲ記録モードに関する各種の設定を行うためのアイコンである。ＨＤＲ設定アイコン３１０を選択することにより、ユーザは、ＨＤＲ記録モードのオン／オフの設定、動画撮影中のＨＤＲ静止画の記録タイミングの設定、ＨＤＲ静止画の合成処理に関する設定をするための効果確認を行うことができる。また、戻るアイコン３１１は、ユーザが設定画面の表示終了を指示するためのアイコンである。
【００３９】
以下、効果確認について説明する。図４は、効果確認の処理を示すフローチャートである。効果確認では、動画撮影中に生成されるＨＤＲ静止画データについての各種の設定を、ユーザが実際にＨＤＲ静止画を確認しながら行うことができる。また、静止画ではプリントの用途もあるが、印刷機の特性に応じた特性にする等も重要で、そうしたニーズにも対応可能である。
【００４０】
ステップＳ１０１において、制御部１１８は、効果確認用の画像データを取得する。撮影モード中の効果確認では、制御部１１８は、露出条件の異なる複数の画像データからなる画像データ群が取得されるように撮像部１０２を制御する。効果確認の処理の実行直後のステップＳ１０１の処理においては、撮像回数及びそれぞれの画像データの露出差は固定値である。例えば、撮像回数は３回であり、ノーマル露出の条件（例えば被写体の露出量を適正露出量とする露出条件）での撮像、オーバー露出の条件（被写体の露出量を適正露出量よりも大きな露出量とする露出条件）での撮像、アンダー露出の条件（被写体の露出量が適正露出量よりも小さな露出量とする露出条件）での撮像が行われるものとする。ノーマル露出、オーバー露出、アンダー露出の露出差は、例えば１段であるとする。
【００４１】
ステップＳ１０２において、制御部１１８は、取得した画像データの一覧を表示部１１０に表示させるように再生部１０８を制御する。この指示を受けて、再生部１０８は、例えば図５Ａに示すように画像データの縮小画像４０１、４０２、４０３を表示部１１０に表示させる。その後、処理はステップＳ１０３に移行する。ここで、縮小画像４０１はノーマル露出の条件での撮像により得られた画像データの縮小画像であり、縮小画像４０２はオーバー露出の条件での撮像により得られた画像データの縮小画像であり、縮小画像４０３はアンダー露出の条件での撮像により得られた画像データの縮小画像である。さらに、再生部１０８は、例えば、調整アイコン４０４、ＨＤＲ効果確認アイコン４０５、戻るアイコン４０６を表示させる。調整アイコン４０４は、ユーザがＨＤＲ合成処理の調整を行うためのアイコンである。ＨＤＲ効果確認アイコン４０５は、ユーザがＨＤＲ合成処理の結果を確認するためのアイコンである。戻るアイコン４０６は、ユーザが効果確認処理の終了を指示するためのアイコンである。
【００４２】
ステップＳ１０３において、制御部１１８は、調整をするか否かを判定する。例えば、ユーザによって調整アイコン４０４が選択されたときに調整をすると判定される。ステップＳ１０３において、調整をすると判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０３において、調整をしないと判定されたときには、処理はステップＳ１０５に移行する。
【００４３】
ステップＳ１０４において、制御部１１８は、ユーザの操作に応じて効果確認におけるＨＤＲ合成処理に関する調整を行う。この調整において、ユーザは、効果確認において行われるＨＤＲ合成処理に用いる画像データの枚数、画像データの露出差等を調整することができる。調整の終了後、処理はステップＳ１０１に戻る。ここで、ＨＤＲ合成処理に用いる画像データの枚数が３枚よりも多くなった場合及び画像データの露出差の変更があった場合等の、調整によって画像データの再取得が必要となったときには、ステップＳ１０１において画像データの再取得が行われ、ステップＳ１０２における表示は更新される。また、ＨＤＲ合成処理に用いる画像データの枚数及び画像データの露出差といった調整の内容は、後のＨＤＲ動画撮影時においても反映されてもよい。
【００４４】
ステップＳ１０５において、制御部１１８は、ユーザによってＨＤＲ合成処理用の画像データが選択されたか否かを判定する。例えば、図５Ａに示す表示が行われているときに、ユーザは、縮小画像４０１、４０２、４０３をタッチすることによってＨＤＲ合成処理用の画像データを選択することができる。ステップＳ１０５においては、ＨＤＲ合成処理に必要な枚数の画像データがユーザによって選択されたときに、ユーザによってＨＤＲ合成処理用の画像データが選択されたと判定される。ステップＳ１０５において、ユーザによってＨＤＲ合成処理用の画像データが選択されたと判定されたときに、処理はステップＳ１０６に移行する。ステップＳ１０５において、ユーザによってＨＤＲ合成処理用の画像データが選択されていないと判定されたときに、処理はステップＳ１０７に移行する。
【００４５】
ステップＳ１０６において、制御部１１８は、効果確認を行うか否かを判定する。例えば、ユーザによってＨＤＲ効果確認アイコン４０５が選択されたときには、効果確認を行うと判定される。ステップＳ１０６において、効果確認を行わないと判定されたときには、処理はステップＳ１０７に移行する。ステップＳ１０６において、効果確認を行うと判定されたときには、処理はステップＳ１０８に移行する。
【００４６】
ステップＳ１０７において、制御部１１８は、ユーザによって戻り指示がされたか否かを判定する。例えば、ユーザによって戻るアイコン４０６が選択されたときには戻り指示がされたと判定される。ステップＳ１０７において、ユーザによって戻り指示がされていないと判定されたときには、処理はステップＳ１０１に戻る。ステップＳ１０７において、ユーザによって戻り指示がされたと判定されたときには、図４の処理は終了する。
【００４７】
ステップＳ１０８において、制御部１１８は、画像処理部１０６の第２の画像処理部１０６ｂに第２の合成処理を実行させる。この指示を受けて、第２の画像処理部１０６ｂは、ユーザによって選択された画像データを合成してＨＤＲ静止画データを生成する。
【００４８】
ステップＳ１０９において、制御部１１８は、比較表示を行うように再生部１０８を制御する。この指示を受けて、再生部１０８は、例えば図５Ｂに示すようにＨＤＲ合成処理に用いられた画像データの縮小画像４０７、４０８と、ＨＤＲ合成処理の結果として得られた画像データの縮小画像４０９とを表示部１１０に一覧表示させる。さらに、再生部１０８は、例えば、反映アイコン４１０、戻るアイコン４１１を表示させる。その後、処理はステップＳ１１０に移行する。ここで、反映アイコン４１０は、ユーザがＨＤＲ合成処理の結果を後の撮影時に反映させる指示をするためのアイコンである。戻るアイコン４１１は、ユーザが図５Ａの画面への戻り指示をするためのアイコンである。
【００４９】
ＨＤＲ合成処理では、露出条件の異なる画像データを合成することでダイナミックレンジの広い画像データを取得することが可能である。このときの画像データの選択の仕方や合成比率の設定の仕方によって合成後の画像データの仕上がりが変わる。
【００５０】
図６に示すようなノーマル露出の画像データ５０１、オーバー露出の画像データ５０２、アンダー露出の画像データ５０３のうちの２枚を合成する例にする。例えば、オーバー露出の画像データ５０２とアンダー露出の画像データ５０３とを用いたＨＤＲ合成処理では、第２の画像処理部１０６ｂは、オーバー露出の画像データ５０２において飽和している空の部分についてはアンダー露出の画像データ５０３の合成比率を高く設定し、アンダー露出の画像データ５０３において黒潰れしている木の部分についてはオーバー露出の画像データ５０２の合成比率を高く設定して合成処理を行う。このような合成処理により、高輝度側と低輝度側とにダイナミックレンジが広げられたＨＤＲ静止画データ５０４が生成される。ＨＤＲ静止画データ５０４では、高輝度部である空の部分及び低輝度部である木の部分の両方の色を同時に再現することができる。ただし、中間階調輝度部である山の部分の色再現はノーマル露出の画像データにおける山の部分の色再現とは異なるものになる。
【００５１】
また、ノーマル露出の画像データ５０１とアンダー露出の画像データ５０３とを用いたＨＤＲ合成処理では、第２の画像処理部１０６ｂは、アンダー露出の画像データ５０３において黒潰れしている山の部分及び木の部分についてはノーマル露出の画像データ５０１の合成比率を高く設定し、ノーマル露出の画像データ５０１において白飛びしている空の部分についてはアンダー露出の画像データ５０３の合成比率を高く設定して合成処理を行う。このような合成処理により、高輝度側にダイナミックレンジが広げられたＨＤＲ静止画データ５０５が生成される。ＨＤＲ静止画データ５０５では、高輝度部である空の部分及び中間輝度部である山の部分といった比較的に明るい部分の色を再現することができる。ただし、低階調部である木の部分は黒潰れしてしまう。
【００５２】
また、ノーマル露出の画像データ５０１とオーバー露出の画像データ５０２とを用いたＨＤＲ合成処理では、第２の画像処理部１０６ｂは、ノーマル露出の画像データ５０１において黒潰れしている木の部分についてはオーバー露出の画像データ５０２の合成比率を高く設定し、オーバー露出の画像データ５０２において白飛びしている山の部分についてはノーマル露出の画像データ５０１の合成比率を高く設定して合成処理を行う。このような合成処理により、低輝度側にダイナミックレンジが広げられたＨＤＲ静止画データ５０６が生成される。ＨＤＲ静止画データ５０６では、低輝度部である木の部分及び中間輝度部である山の部分といった比較的に暗い部分の色を再現することができる。ただし、高輝度部である空の部分については青空が再現されず白飛びしてしまう。
【００５３】
このように、ＨＤＲ合成処理では、画像データの選択の仕方によって合成後の画像データの仕上がりが変化する。さらに、合成比率を変えることでも合成後の画像データの仕上がりが変化する。効果確認において図５Ｂのような比較表示を行うことにより、ユーザは、ＨＤＲ合成処理の前後の画像を比較しながらＨＤＲ静止画に対する合成処理の設定を行うことができる。
【００５４】
ここで、図４の説明に戻る。ステップＳ１１０において、制御部１１８は、ユーザによって何れかの縮小画像が選択されたか否かを判定する。ステップＳ１１０において、ユーザによって何れかの縮小画像が選択されたと判定されたときには、処理はステップＳ１１１に移行する。ステップＳ１１０において、ユーザによって何れかの縮小画像が選択されていないと判定されたときには、処理はステップＳ１１５に移行する。
【００５５】
ステップＳ１１１において、制御部１１８は、選択された縮小画像を拡大表示するように再生部１０８に指示する。この指示を受けて、再生部１０８は、選択された縮小画像に対応した画像データの拡大画像を図５Ｃに示すように拡大して表示部１１０に表示させる。例えば、図５Ｃは、縮小画像４０９の拡大画像４０９ａの表示例を示している。さらに、再生部１０８は、例えば、補正アイコン４１２、戻るアイコン４１３を表示させる。その後、処理はステップＳ１１２に移行する。ここで、補正アイコン４１２は、ユーザがＨＤＲ合成処理の結果に対する補正を指示するためのアイコンである。戻るアイコン４１３は、ユーザが図５Ｂの画面への戻り指示をするためのアイコンである。
【００５６】
ステップＳ１１２において、制御部１１８は、補正をするか否かを判定する。例えば、ユーザによって補正アイコン４１２が選択されたときに補正をすると判定される。ステップＳ１１２において、補正をしないと判定されたときには、処理はステップＳ１１３に移行する。ステップＳ１１２において、補正をすると判定されたときには、処理はステップＳ１１４に移行する。
【００５７】
ステップＳ１１３において、制御部１１８は、ユーザによって戻り指示がされたか否かを判定する。例えば、ユーザによって戻るアイコン４１３が選択されたときには戻り指示がされたと判定される。ステップＳ１１３において、ユーザによって戻り指示がされていないと判定されたときには、処理はステップＳ１１１に戻る。この場合、拡大表示が継続される。ステップＳ１１３において、ユーザによって戻り指示がされたと判定されたときには、処理はステップＳ１０８に戻る。この場合、図５Ｂの表示に戻る。なお、戻るアイコン４１３が選択される前にステップＳ１１４で説明する補正が行われていたときには、図５Ｂの表示の際にも補正の内容が反映される。
【００５８】
ステップＳ１１４において、制御部１１８は、第２の画像処理部１０６ｂに、ユーザの操作に従った補正を実行させる。ここでの補正は、選択された画像データのコントラスト強調、彩度強調、それらの組み合わせによる特殊効果の付与、ＨＤＲ合成処理に用いられる画像データの合成比率の変更等を含む。このような補正により、ＨＤＲ静止画データの仕上がりをＨＤＲ動画データの仕上がりと異ならせることができる。本実施形態では、合成前のそれぞれの画像データに対する補正及び合成後の画像データに対する補正の両方を行うことができる。補正の終了後、処理はステップＳ１１１に戻る。補正が行われたときにはステップＳ１１１において再度の合成処理が行われて表示は更新される。
【００５９】
ステップＳ１１５において、制御部１１８は、補正の内容を反映するか否かを判定する。例えば、ユーザによって反映アイコン４１０が選択されたときに補正の内容を反映すると判定される。ステップＳ１１５において、補正の内容を反映しないと判定されたときに、処理はステップＳ１１６に移行する。ステップＳ１１５において、補正の内容を反映すると判定されたときに、処理はステップＳ１１７に移行する。
【００６０】
ステップＳ１１６において、制御部１１８は、ユーザによって戻り指示がされたか否かを判定する。例えば、ユーザによって戻るアイコン４１１が選択されたときには戻り指示がされたと判定される。ステップＳ１１６において、ユーザによって戻り指示がされていないと判定されたときには、処理はステップＳ１０８に戻る。ステップＳ１１６において、ユーザによって戻り指示がされたと判定されたときには、処理はステップＳ１０１に戻る。この場合、必要に応じて画像データの再取得が行われる。
【００６１】
ステップＳ１１７において、制御部１１８は、補正の内容を例えば記憶部１０４に記憶させる。その後、図４の処理を終了する。ここで記憶された補正の内容は、後のＨＤＲ動画撮影中のＨＤＲ静止画の記録時に反映される。
【００６２】
ここで、図２Ａ及び図２Ｂの説明に戻る。ステップＳ７において、制御部１１８は、動画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって動画撮影アイコン３０６が選択されたとき又は動画ボタンが操作されたときに、動画撮影の開始が指示されたと判定される。ステップＳ７において、動画撮影の開始が指示されたと判定されたときに、処理はステップＳ８に移行する。ステップＳ７において、動画撮影の開始が指示されていないと判定されたときに、処理はステップＳ２０に移行する。
【００６３】
ステップＳ８において、制御部１１８は、ＨＤＲ記録モードがオンになっているか否かを判定する。ステップＳ８において、ＨＤＲ記録モードがオンになっていると判定されたときには、処理はステップＳ９に移行する。ステップＳ８において、ＨＤＲ記録モードがオンになっていないと判定されたときには、処理はステップＳ１５に移行する。ここでは、単純にＨＤＲ記録オン、オフで記載している。この場合、動画ＨＤＲと静止画ＨＤＲをいっかつして設定できるというメリットがあり、設定としてユーザが混乱しにくい。もちろん、静止画と動画で別々にＨＤＲモードを設定可能でもよい。また、この静止画と動画のＨＤＲ処理は、同じであってもよい。つまり、ここでは、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、それぞれの前記画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部と、前記画像データ群のそれぞれに属する複数の画像データに対して前記第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能なモードとを有することを特徴とした撮像装置の技術を重点的に説明しているが、図２Ｂは、このＨＤＲ設定をいっかつしてできるフローとして説明している。
【００６４】
ステップＳ９において、制御部１１８は、ＨＤＲ動画撮影を行う。すなわち、制御部１１８は、ＨＤＲ動画コマを生成できるように露出条件（例えば露出時間）を変更しながら撮像部１０２による撮像を実行する。そして、制御部１１８は、ＨＤＲ動画コマの生成に必要な画像データが記憶部１０４に記憶されたタイミングでＨＤＲ動画コマを生成するように画像処理部１０６に指示する。この指示を受けて、画像処理部１０６の第１の画像処理部１０６ａは、ＨＤＲ動画撮影に伴って記憶部１０４に記憶されている複数の画像データを階調数が表示部１１０の表示階調数（例えば８ビット）となるように合成して撮像装置用ＨＤＲ動画コマを生成するとともに、ＨＤＲ動画撮影に伴って記憶部１０４に記憶されている複数の画像データをテレビ２００の表示階調数（例えば１０ビット）となるように合成してテレビ用ＨＤＲ動画コマを生成する。その後、処理はステップＳ１０に移行する。
【００６５】
ステップＳ１０において、制御部１１８は、動画撮影の終了が指示されたか否かを判定する。例えば、ユーザによって動画撮影アイコン３０６が再度選択されたとき又は動画ボタンが再度操作されたときに、動画撮影の終了が指示されたと判定される。ステップＳ１０において、動画撮影の終了が指示されていないと判定されたときに、処理はステップＳ１１に移行する。ステップＳ１０において、動画撮影の終了が指示されたと判定されたときに、処理はステップＳ１４に移行する。
【００６６】
ステップＳ１１において、制御部１１８は、ＨＤＲ静止画記録をするか否かを判定する。ＨＤＲ静止画記録をするか否かは、ステップＳ６においてなされた設定に応じて判定される。ステップＳ６においてユーザにより設定される動画撮影中のＨＤＲ静止画の記録タイミングとしては、例えばユーザによって静止画記録の指示がされたタイミングだけ、常時（ＨＤＲ動画コマの生成と同時）といった種々のタイミングが考えられる。ステップＳ１１において、ＨＤＲ静止画記録をすると判定されたときには、処理はステップＳ１２に移行する。ステップＳ１１において、ＨＤＲ静止画記録をしないと判定されたときには、処理はステップＳ９に戻る。
【００６７】
ステップＳ１２において、制御部１１８は、画像処理部１０６に撮像装置用ＨＤＲ静止画ファイルの生成を指示する。この指示を受けて、画像処理部１０６の第２の画像処理部１０６ｂは、ＨＤＲ動画撮影に伴って記憶部１０４に記憶されている複数の画像データを階調数が表示部１１０の表示階調数（例えば８ビット）となるように合成して撮像装置用ＨＤＲ静止画データを生成する。その後、記録処理部１０６ｃは、撮像装置用ＨＤＲ静止画データから撮像装置用ＨＤＲ静止画ファイルを生成し、生成した撮像装置用ＨＤＲ静止画ファイルを記録部１１２に記録する。その後、処理はステップＳ１３に移行する。
【００６８】
ステップＳ１３において、制御部１１８は、画像処理部１０６にテレビ用ＨＤＲ静止画ファイルの生成を指示する。この指示を受けて、画像処理部１０６の第２の画像処理部１０６ｂは、ＨＤＲ動画撮影に伴って記憶部１０４に記憶されている複数の画像データをテレビ２００の表示階調数（例えば１０ビット）となるように合成してテレビ用ＨＤＲ静止画データを生成する。その後、記録処理部１０６ｃは、テレビ用ＨＤＲ静止画データからＨＤＲ静止画ファイルを生成し、生成したテレビ用ＨＤＲ静止画ファイルを記録部１１２に記録する。その後、処理はステップＳ９に戻る。
【００６９】
ステップＳ１４において、制御部１１８は、画像処理部１０６にＨＤＲ動画ファイルの生成を指示する。この指示を受けて、画像処理部１０６の記録処理部１０６ｃは、ＨＤＲ動画撮影中に記憶部１０４に記憶されている撮像装置用ＨＤＲ動画コマから撮像装置用ＨＤＲ動画ファイルを生成するとともに、ＨＤＲ動画撮影中に記憶部１０４に記憶されているテレビ用ＨＤＲ動画コマからテレビ用ＨＤＲ動画ファイルを生成し、生成した撮像装置用ＨＤＲ動画ファイル及びテレビ用ＨＤＲ動画ファイルを記録部１１２に記録する。その後、処理はステップＳ３に戻る。
【００７０】
以下、ＨＤＲ静止画記録を伴うＨＤＲ動画撮影の処理について説明する。図７は、ＨＤＲ静止画記録を伴うＨＤＲ動画撮影の処理を示すタイミングチャートである。
【００７１】
ＨＤＲ動画撮影が開始されると、制御部１１８は、ＨＤＲ動画コマを生成するための露出条件の異なる複数の画像データからなる画像データ群が所定の撮像レート（例えば６０ｆｐｓ）で順次に生成されるように撮像部１０２を制御する。画像データ群に含まれる画像データの数及び露出差としては、制御部１１８は、効果確認においてユーザによって設定された値があればその値を用い、ユーザによって設定された値がなければ予め定められた値（例えば１段）を用いる。図７では、ＨＤＲ動画コマの生成にオーバー露出の画像データとアンダー露出の画像データの２枚の画像データが用いられるように予め設定されているとする。この場合、制御部１１８は、オーバー露出の条件での撮像とアンダー露出の条件での撮像が所定の撮像レートで繰り返し行われるように撮像部１０２を制御する。
【００７２】
ＨＤＲ動画撮影の開始後、制御部１１８は、撮像部１０２による２回の撮像が行われる毎に、画像処理部１０６に対してＨＤＲ動画コマの生成を指示する。これを受けて、画像処理部１０６の第１の画像処理部１０６ａは、記憶部１０４に記憶された２枚の画像データに対して第１の合成処理を施してＨＤＲ動画コマ（撮像装置用ＨＤＲ動画コマ及びテレビ用ＨＤＲ動画コマ）を生成する。第１の合成処理では、効果確認の結果として記憶部１０４に記憶された補正内容は使用されない。
【００７３】
ＨＤＲ動画コマの生成後、記録処理部１０６ｃは、生成されたＨＤＲ動画コマを例えば記憶部１０４に記憶する。また、ＨＤＲ動画撮影の終了後に、記録処理部１０６ｃは、生成されたＨＤＲ動画コマからＨＤＲ動画ファイル（撮像装置用ＨＤＲ動画ファイル及びテレビ用ＨＤＲ動画ファイル）を生成し、生成したＨＤＲ動画ファイルを例えば記録部１１２記録する。ここで、図７の例では、ＨＤＲ動画コマは、撮像部１０２による２回の撮像が行われる毎に記録される。したがって、ＨＤＲ動画ファイルの再生時には、図７に示すように、２コマ分の表示期間中においては同一のＨＤＲ動画コマが再生される。
【００７４】
図８Ａは、ＨＤＲ動画ファイルの構造を示す図である。図８Ａに示すように、ＨＤＲ動画ファイル６０１は、ＨＤＲ動画データ６０２と、タグ情報６０３とを有する。
【００７５】
ＨＤＲ動画データ６０２は、圧縮されたＨＤＲ動画コマ６０２ａからなるデータである。撮像装置用ＨＤＲ動画ファイルであれば、ＨＤＲ動画データ６０２は、圧縮された撮像装置用ＨＤＲ動画データであり、テレビ用ＨＤＲ動画ファイルであれば、ＨＤＲ動画データ６０２は、圧縮されたテレビ用ＨＤＲ動画データである。
【００７６】
タグ情報６０３は、ＨＤＲ動画ファイル６０１のファイル名等のファイル情報を有している。また、タグ情報６０３は、それぞれのＨＤＲ動画コマに関連付けされるＨＤＲ静止画ファイルを特定するための情報（例えば、ファイル名）と、ＨＤＲ動画ファイル６０１と関連付けされるＨＤＲ動画ファイルを特定するための情報（例えば、ファイル名）とを含む関連情報６０３ａを有している。撮像装置用ＨＤＲ動画ファイルであれば、関連情報６０３ａは、関連している撮像装置用ＨＤＲ静止画ファイルを特定するための情報と、関連しているテレビ用ＨＤＲ動画ファイルを特定するための情報とを含む。テレビ用ＨＤＲ動画ファイルであれば、関連情報６０３ａは、関連しているテレビ用ＨＤＲ静止画ファイルを特定するための情報と、関連している撮像装置用ＨＤＲ動画ファイルを特定するための情報とを含む。
【００７７】
ＨＤＲ動画撮影中にＨＤＲ静止画記録のタイミングとなったときには、制御部１１８は、画像処理部１０６にＨＤＲ静止画データの生成を指示する。図７は、ＨＤＲ動画コマ１の撮像のタイミングでＨＤＲ静止画記録のタイミングとなった例を示している。この場合、第２の画像処理部１０６ｂは、オーバー露出の画像データ１とアンダー露出の画像データ１とを用いてＨＤＲ静止画データ（撮像装置用ＨＤＲ静止画データ及びテレビ用ＨＤＲ静止画データ）を生成する。ここで、第２の合成処理では、効果確認の結果として記憶部１０４に記憶された補正内容は反映される。したがって、ＨＤＲ静止画コマは、ＨＤＲ動画データとは異なる画像表現の画像データになる。
【００７８】
ＨＤＲ静止画データの生成後、記録処理部１０６ｃは、生成されたＨＤＲ静止画データからＨＤＲ静止画ファイル（撮像装置用ＨＤＲ静止画ファイル及びテレビ用ＨＤＲ静止画ファイル）を生成する。ＨＤＲ静止画ファイルの生成後、記録処理部１０６ｃは、生成されたＨＤＲ静止画ファイルを記録部１１２に記録する。
【００７９】
図８Ｂは、ＨＤＲ静止画ファイルの構造を示す図である。図８Ｂに示すように、ＨＤＲ静止画ファイル６０４は、ＨＤＲ静止画データ６０５と、ＲＡＷデータ６０６と、タグ情報６０７とを有する。このように、ＲＡＷやＴＩＦＦなど、非圧縮、または可逆圧縮の形式で露出条件の異なる画像データを記録しておけば、表示機器の特性や見る人の好みを入力して、それが反映できる合成方法とし、機器の差異や見る人の好みや目的までを考慮した合成が、その再生状況毎に応じてできる。つまり、露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部と、それぞれの画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部で、動画に応じた高速の画像合成を行うことができる一方で、それぞれの画像データ群に属する複数の画像データに対して第１の合成処理とは異なる静止画表現にふさわしい第２の合成処理を施してＨＤＲ静止画データを生成することが可能なようにしている。また、静止画ではプリントの用途もあるが、必要に応じて印刷機の特性に応じた特性にする等も重要で、そうしたニーズにも対応可能である。また、図７に示した、露出の異なるＲＡＷデータ又はＴＩＦＦデータをファイルとして記録すると共に、ＨＤＲ静止画１もファイルとして記録しても良い。
【００８０】
ＨＤＲ静止画データ６０５は、圧縮されたＨＤＲ静止画データである。撮像装置用ＨＤＲ静止画ファイルであれば、ＨＤＲ静止画データ６０５は、圧縮された撮像装置用ＨＤＲ静止画データであり、テレビ用ＨＤＲ静止画ファイルであれば、ＨＤＲ静止画データ６０５は、圧縮されたテレビ用ＨＤＲ静止画データである。
【００８１】
ＲＡＷデータ６０６は、ＨＤＲ静止画データの生成に用いられた画像データをＲＡＷ形式で記録したデータである。ＲＡＷデータ６０６は、画像処理工程の自由度が高く、撮像装置用ＨＤＲ静止画ファイルとテレビ用ＨＤＲ静止画ファイルとで相違はないようにできる。テレビ用の場合、音声がないと楽しめないので、例えば動画記録時に得た音声データ６０５ｂをファイル内に収めるようにしても良い。これによって、このファイルをテレビなどで再生させても、音声と共に画像鑑賞が楽しめる。
【００８２】
タグ情報６０７は、ＨＤＲ静止画ファイル６０４のファイル名等のファイル情報を有している。また、タグ情報６０７は、関連付けされるＨＤＲ動画ファイルを特定するための情報（例えば、ファイル名）と、ＲＡＷデータ６０６にアクセスするためのＲＡＷデータ６０６の位置情報（例えば、ＲＡＷデータ６０６の開始アドレス、ファイルの開始アドレスからＲＡＷデータ６０６の開始アドレスまでのデータ量）とを含む関連情報６０７ａを有している。撮像装置用ＨＤＲ静止画ファイルであれば、関連情報６０７ａは、関連している撮像装置用ＨＤＲ動画ファイルを特定するための情報を含む。テレビ用ＨＤＲ静止画ファイルであれば、関連情報６０７ａは、関連しているテレビ用ＨＤＲ動画ファイルを特定するための情報を含む。
【００８３】
ここで、図８Ｂは、ＨＤＲ静止画ファイル６０４の中にＲＡＷデータ６０６が記録されている例を示している。しかしながら、ＲＡＷデータ６０６は、撮像装置用ＨＤＲ静止画ファイル６０４とは別のＲＡＷファイルに記録されてもよい。この場合、ＲＡＷファイルにも、関連付けされるＨＤＲ動画ファイル及びＨＤＲ静止画ファイルを特定するための情報を持たせる必要がある。
【００８４】
また、図８Ａ及び図８Ｂで示した例では、ＨＤＲ動画データとＨＤＲ静止画データとは別個のファイルに記録される。これに対し、図９に示すように、ＨＤＲ動画データとＨＤＲ静止画データとは１個のファイルに記録されてもよい。図９のＨＤＲ動画ファイル７０１は、撮像装置用ＨＤＲ動画データ７０２と、テレビ用ＨＤＲ動画データ７０３と、撮像装置用ＨＤＲ静止画データ７０４と、テレビ用ＨＤＲ静止画データ７０５と、ＲＡＷデータ７０６と、タグ情報７０７とを有する。タグ情報７０７の関連情報７０７ａには、ファイル内のそれぞれのデータにアクセスするためのそれぞれのデータの位置情報（例えば、それぞれのデータの開始アドレス、ファイルの開始アドレスからそれぞれのデータの開始アドレスまでのデータ量）が記録される。
【００８５】
ここで、図２Ａ及び図２Ｂの説明に戻る。ステップＳ８においてＨＤＲ記録モードがオンになっていないと判定されたときのステップＳ１５において、制御部１１８は、通常動画撮影を行う。すなわち、制御部１１８は、露出条件を変更せずに撮像部１０２による撮像を実行する。そして、制御部１１８は、撮像毎に動画コマを生成するように画像処理部１０６に指示する。この指示を受けて、画像処理部１０６の第１の画像処理部１０６ａは、通常動画撮影に伴って記憶部１０４に記憶されている画像データから通常動画コマを生成する。その後、処理はステップＳ１６に移行する。
【００８６】
ステップＳ１６において、制御部１１８は、動画撮影の終了が指示されたか否かを判定する。例えば、ユーザによって動画撮影アイコン３０６が再度選択されたとき又は動画ボタンが再度操作されたときに、動画撮影の終了が指示されたと判定される。ステップＳ１６において、動画撮影の終了が指示されていないと判定されたときに、処理はステップＳ１７に移行する。ステップＳ１６において、動画撮影の終了が指示されたと判定されたときに、処理はステップＳ１９に移行する。
【００８７】
ステップＳ１７において、制御部１１８は、通常静止画記録をするか否かを判定する。通常静止画記録をするか否かは、ＨＤＲ静止画記録と同様にして判定されてよい。ステップＳ１７において、通常静止画記録をすると判定されたときには、処理はステップＳ１８に移行する。ステップＳ１７において、通常静止画記録をしないと判定されたときには、処理はステップＳ１５に戻る。
【００８８】
ステップＳ１８において、制御部１１８は、画像処理部１０６に通常静止画ファイルの生成を指示する。この指示を受けて、画像処理部１０６の第２の画像処理部１０６ｂは、通常動画撮影に伴って記憶部１０４に記憶された画像データから通常静止画データを生成する。その後、記録処理部１０６ｃは、通常静止画データから通常静止画ファイルを生成し、生成した通常静止画ファイルを記録部１１２に記録する。その後、処理はステップＳ１５に戻る。通常静止画ファイルは、記録される静止画データが通常静止画データである点が図８Ｂで示したＨＤＲ静止画ファイルと異なる。
【００８９】
ステップＳ１９において、制御部１１８は、画像処理部１０６に通常動画ファイルの生成を指示する。この指示を受けて、画像処理部１０６の記録処理部１０６ｃは、通常動画撮影中に記憶部１０４に記憶されている動画コマから通常動画ファイルを生成し、生成した通常動画ファイルを記録部１１２に記録する。その後、処理はステップＳ３に戻る。通常静止画ファイルは、記録される動画データが通常動画データである点が図８Ａで示したＨＤＲ動画ファイルと異なる。
【００９０】
ステップＳ７において動画撮影の開始が指示されていないと判定されたときのステップＳ２０において、制御部１１８は、静止画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって静止画撮影アイコン３０７が選択されたとき又はレリーズボタンが操作されたときに、静止画撮影の開始が指示されたと判定される。ステップＳ２０において、静止画撮影の開始が指示されたと判定されたときに、処理はステップＳ２１に移行する。ステップＳ２０において、静止画撮影の開始が指示されていないと判定されたときに、処理はステップＳ２３に移行する。
【００９１】
ステップＳ２１において、制御部１１８は、通常静止画撮影を行う。すなわち、制御部１１８は、ステップＳ６で設定された露出条件に従って撮像部１０２による１回の撮像を実行する。その後、処理はステップＳ２２に移行する。
【００９２】
ステップＳ２２において、制御部１１８は、静止画データを生成するように画像処理部１０６に指示する。この指示を受けて、画像処理部１０６の第２の画像処理部１０６ｂは、通常静止画撮影によって記憶部１０４に記憶されている画像データから通常静止画データを生成する。通常静止画データの生成後、記録処理部１０６ｃは、生成された通常静止画ファイルを記録部１１２に記録する。その後、処理はステップＳ３に戻る。
【００９３】
ステップＳ２３において、制御部１１８は、ユーザによって戻り指示がされたか否かを判定する。例えば、ユーザによって戻るアイコン３０８が選択されたときには戻り指示がされたと判定される。ステップＳ２３において、ユーザによって戻り指示がされていないと判定されたときには、処理はステップＳ３に戻る。ステップＳ２３において、ユーザによって戻り指示がされたと判定されたときには、処理はステップＳ１に戻る。
【００９４】
ステップＳ２において動作モードが撮影モードでないと判定されたときのステップＳ２４において、制御部１１８は、撮影モード以外のその他の処理を行う。その他の処理の後、処理はステップＳ１に戻る。
【００９５】
図１０Ａ及び図１０Ｂは、その他の処理について示すフローチャートである。ステップＳ２０１において、制御部１１８は、現在の動作モードが再生モードであるか否かを判定する。ステップＳ２０１において、撮像装置１００の動作モードが再生モードでないと判定されたときに、処理はステップＳ２０２に移行する。ステップＳ２０１において、撮像装置１００の動作モードが再生モードであると判定されたときに、処理はステップＳ２０４に移行する。
【００９６】
ステップＳ２０２において、制御部１１８は、現在の動作モードが通信モードであるか否かを判定する。ステップＳ２０２において、撮像装置１００の動作モードが通信モードであると判定されたときに、処理はステップＳ２０３に移行する。ステップＳ２０２において、撮像装置１００の動作モードが通信モードでないと判定されたときに、図１０Ａ及び図１０Ｂの処理は終了する。この場合、処理は図２ＡのステップＳ１に戻る。
【００９７】
ステップＳ２０３において、制御部１１８は、通信モードの処理を行う。通信モードの処理において、制御部１１８は、通信部１１４を制御して、例えば記録部１１２に記録されている画像ファイルを外部機器に送信したり、外部機器に記録されている画像ファイルを受信したりといった処理を行う。通信モードの処理の後、図１０Ａ及び図１０Ｂの処理は終了する。この場合、処理は図２ＡのステップＳ１に戻る。
【００９８】
ステップＳ２０４において、制御部１１８は、記録部１１２に記録されている画像ファイルの一覧を表示させるように再生部１０８を制御する。この指示を受けて、再生部１０８は、例えば記録部１１２に記録されている画像ファイルの一覧を示すサムネイル画像を表示部１１０に表示させる。その後、処理はステップＳ２０５に移行する。
【００９９】
ステップＳ２０５において、制御部１１８は、一覧表示の中からユーザによって動画ファイルが選択されたか否かを判定する。ステップＳ２０５において、ユーザによって動画ファイルが選択されたと判定されたときには、処理はステップＳ２０６に移行する。ステップＳ２０５において、ユーザによって動画ファイルが選択されていないと判定されたときには、処理はステップＳ２１６に移行する。
【０１００】
ステップＳ２０６において、制御部１１８は、撮像装置１００が外部表示機器（例えばテレビ２００）に接続されているか否かを判定する。ステップＳ２０６において、撮像装置１００が外部表示機器に接続されていると判定されたときには、処理はステップＳ２０７に移行する。ステップＳ２０６において、撮像装置１００が外部表示機器に接続されていないと判定されたときには、処理はステップＳ２１３に移行する。
【０１０１】
ステップＳ２０７において、制御部１１８は、選択された動画ファイルに対応した動画コマを外部表示機器に送信するように再生部１０８に指示する。これを受けて、再生部１０８の第１の再生処理部１０８ａは、通信部１１４を介して動画コマを外部表示機器であるテレビ２００に送信する。これにより、外部表示機器であるテレビ２００において、例えば、図１１に示すようにしてＨＤＲ動画の再生が行われる。なお、選択された動画ファイルにテレビ用ＨＤＲ動画ファイルが関連付けられているときには、第１の再生処理部１０８ａは、通信部１１４を介してテレビ用ＨＤＲ動画コマを外部表示機器であるテレビ２００に送信するようにしてもよい。これにより、テレビ２００の仕様に対応したＨＤＲ表示が行われる。さらに、テレビ２００がＨＤＲ表示に対応していないときには第１の再生処理部１０８ａは、通信部１１４を介して撮像装置用ＨＤＲ動画コマを外部表示機器であるテレビ２００に送信してもよい。
【０１０２】
ステップＳ２０８において、制御部１１８は、静止画を再生するタイミングであるか否かを判定する。例えば、再生中の動画コマに関連付けされている静止画データ（ＨＤＲ静止画データ又は通常静止画データ）があるときには、静止画を再生するタイミングであると判定される。ステップＳ２０８において、静止画を再生するタイミングであると判定されたときには、処理はステップＳ２０９に移行する。ステップＳ２０８において、静止画を再生するタイミングでないと判定されたときには、処理はステップＳ２１２に移行する。
【０１０３】
ステップＳ２０９において、制御部１１８は、再生中の動画コマにＨＤＲ静止画データが関連付けられているか否かを判定する。ステップＳ２０９において、再生中の動画コマにＨＤＲ静止画データが関連付けられていると判定されたときには、処理はステップＳ２１０に移行する。ステップＳ２０９において、再生中の動画コマにＨＤＲ静止画データが関連付けられていないと判定されたときには、処理はステップＳ２１１に移行する。
【０１０４】
ステップＳ２１０において、制御部１１８は、再生中の動画コマに関連付けられたＨＤＲ静止画データを外部表示機器に送信するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、通信部１１４を介してＨＤＲ静止画データを外部表示機器であるテレビ２００に送信する。これにより、外部表示機器であるテレビ２００において、ＨＤＲ静止画が再生される。ＨＤＲ静止画は、動画コマの再生終了後に再生されてもよいし、縮小されてから再生中の動画コマに重ねるようにして再生されてもよい。なお、選択された動画ファイルにテレビ用ＨＤＲ動画ファイルが関連付けられているときには、第２の再生処理部１０８ｂは、通信部１１４を介してテレビ用ＨＤＲ静止画データを外部表示機器であるテレビ２００に送信するようにしてもよい。これにより、テレビ２００の仕様に対応したＨＤＲ表示が行われる。さらに、テレビ２００がＨＤＲ表示に対応していないときには第２の再生処理部１０８ｂは、通信部１１４を介して撮像装置用ＨＤＲ静止画データを外部表示機器であるテレビ２００に送信してもよい。
【０１０５】
ステップＳ２１１において、制御部１１８は、再生中の動画コマに関連付けられた通常静止画データを外部表示機器に送信するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、通信部１１４を介して通常静止画データを外部表示機器であるテレビ２００に送信する。これにより、外部表示機器であるテレビ２００において、通常静止画が再生される。なお、通常静止画は、動画コマの再生終了後に再生されてもよいし、縮小されてから再生中の動画コマに重ねるようにして再生されてもよい。
【０１０６】
ステップＳ２１２において、制御部１１８は、動画再生の終了が指示されたか否かを判定する。例えば、図１１に示す戻るアイコン８０１が選択されたときに、動画再生の終了が指示されたと判定される。ステップＳ２１２において、動画再生の終了が指示されていないと判定されたときに、処理はステップＳ２０６に戻る。ステップＳ２１２において、動画再生の終了が指示されたと判定されたときに、処理はステップＳ２０４に戻る。
【０１０７】
ステップＳ２０６において撮像装置１００が外部表示機器に接続されていないと判定されたときのステップＳ２１３において、制御部１１８は、選択された動画ファイルに対応した動画コマを表示部１１０に表示するように再生部１０８に指示する。これを受けて、再生部１０８の第１の再生処理部１０８ａは、動画コマを表示部１１０に表示させる。なお、選択された動画ファイルに撮像装置用ＨＤＲ動画ファイルが関連付けられているときには、第１の再生処理部１０８ａは、撮像装置用ＨＤＲ動画コマを表示部１１０に表示させるようにしてもよい。これにより、表示部１１０の仕様に対応したＨＤＲ表示が行われる。
【０１０８】
ステップＳ２１４において、制御部１１８は、静止画を再生するタイミングであるか否かを判定する。例えば、再生中の動画コマに関連付けされている静止画データがあるときには、静止画を再生するタイミングであると判定される。ステップＳ２１４において、静止画を再生するタイミングであると判定されたときには、処理はステップＳ２１５に移行する。ステップＳ２１４において、静止画を再生するタイミングでないと判定されたときには、処理はステップＳ２１２に移行する。
【０１０９】
ステップＳ２１５において、制御部１１８は、再生中の動画コマに関連付けられた静止画を表示部１１０に表示させるように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、静止画を表示部１１０に表示させる。これにより、表示部１１０において静止画の再生が行われる。なお、選択された動画ファイルに撮像装置用ＨＤＲ静止画ファイルが関連付けられているときには、第２の再生処理部１０８ｂは、撮像装置用ＨＤＲ静止画を表示部１１０に表示させるようにしてもよい。これにより、表示部１１０の仕様に対応したＨＤＲ表示が行われる。
【０１１０】
ステップＳ２０５においてユーザによって動画ファイルが選択されていないと判定されたときのステップＳ２１６において、制御部１１８は、一覧表示の中からユーザによって静止画ファイルが選択されたか否かを判定する。ステップＳ２１６において、ユーザによって静止画ファイルが選択されたと判定されたときには、処理はステップＳ２１７に移行する。ステップＳ２１６において、ユーザによって静止画ファイルが選択されていないと判定されたときには、処理はステップＳ２２３に移行する。
【０１１１】
ステップＳ２１７において、制御部１１８は、撮像装置１００が外部表示機器（例えばテレビ２００）に接続されているか否かを判定する。ステップＳ２１７において、撮像装置１００が外部表示機器に接続されていると判定されたときには、処理はステップＳ２１８に移行する。ステップＳ２１７において、撮像装置１００が外部表示機器に接続されていないと判定されたときには、処理はステップＳ２１９に移行する。
【０１１２】
ステップＳ２１８において、制御部１１８は、選択された静止画ファイルに含まれる静止画データ（ＨＤＲ静止画データ又は通常静止画データ）を外部表示機器に送信するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、通信部１１４を介して静止画データを外部表示機器であるテレビ２００に送信する。これにより、外部表示機器であるテレビ２００において静止画の再生が行われる。
【０１１３】
ステップＳ２１９において、制御部１１８は、選択された静止画ファイルに含まれる静止画データ（ＨＤＲ静止画データ又は通常静止画データ）を表示部１１０に再生するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、静止画を表示部１１０に表示させる。
【０１１４】
ステップＳ２２０において、制御部１１８は、効果確認を行うか否かを判定する。例えば、選択された静止画ファイルにＲＡＷデータが関連付けられており、かつ、静止画の再生中に表示部１１０に表示されるＨＤＲ効果確認アイコンが選択されたときには、効果確認を行うと判定される。ステップＳ２２０において、効果確認を行わないと判定されたときには、処理はステップＳ２２１に移行する。ステップＳ２２０において、効果確認を行うと判定されたときには、処理はステップＳ２２２に移行する。
【０１１５】
ステップＳ２２１において、制御部１１８は、効果確認の処理を行う。効果確認の処理は、前述した図４の処理とほぼ同一である。撮影モード中の効果確認では、効果確認用の画像データは撮像によって取得される。これに対して再生モード中の効果確認では、効果確認用の画像データは、選択された静止画ファイルに関連付けられているＲＡＷデータである。また、再生モード中の効果確認では、選択された静止画ファイルに関連付けられているＲＡＷデータ以外の画像データも効果確認用の画像データとして用いることができる。すなわち、再生モード中の効果確認では、同一の画像データ群に属していない画像データも効果確認用の画像データとして用いることができる。効果確認の終了後、処理はステップＳ２２２に移行する。
【０１１６】
ステップＳ２２２において、制御部１１８は、静止画再生の終了が指示されたか否かを判定する。ステップＳ２２２において、静止画再生の終了が指示されていないと判定されたときに、処理はステップＳ２１７に戻る。ステップＳ２２２において、静止画再生の終了が指示されたと判定されたときに、処理はステップＳ２０４に戻る。
【０１１７】
ステップＳ２２３において、制御部１１８は、再生モードの処理を終了するか否かを判定する。例えば、一覧表示中にユーザによる戻り指示がされたときには再生モードの処理を終了すると判定される。ステップＳ２２３において、再生モードの処理を終了しないと判定されたときには処理はステップＳ２０４に戻る。ステップＳ２２３において、再生モードの処理を終了しないと判定されたときには処理は図１０Ａ及び図１０Ｂの処理は終了する。この場合、処理は図２ＡのステップＳ１に戻る。
【０１１８】
以上説明したように本実施形態では、ＨＤＲ動画撮影中にＨＤＲ静止画を記録するときには、ＨＤＲ動画コマを生成するのとは異なる画像処理によってＨＤＲ静止画データが生成される。これにより、ＨＤＲ動画の再生中に再生されるＨＤＲ静止画の画像表現をＨＤＲ動画とは異ならせることができ、これによってＨＤＲ動画をより魅力的なコンテンツとすることができる。
【０１１９】
また、本実施形態では、ＨＤＲ動画データ及びＨＤＲ静止画データはテレビ用と撮像装置用とでそれぞれ生成される。これにより、撮像装置の表示部１１０の仕様に適した表示とテレビ２００の仕様に適した表示の両方を行うことができる。これは、表示部の特性が別である場合、それぞれの特徴に合わせた表示を可能にする。また、静止画ではプリントの用途もあるが、印刷機の特性に応じた特性にすることにも対応が可能である。
【０１２０】
また、本実施形態ではＨＤＲ動画撮影中にＨＤＲ静止画を記録するときには、ＨＤＲ静止画の生成に用いられた画像データがＲＡＷ形式で記録される。これにより、撮影後において別の効果を有するＨＤＲ静止画を生成することができる。露出条件の異なる複数の画像データからなる画像データ群を順次に取得する撮像部があり、そのそれぞれの画像データ群に属する複数の画像データに対して第１の合成処理を施して複数のＨＤＲ動画コマからなるＨＤＲ動画データを生成する第１の画像処理部と、この画像データ群のそれぞれに属する複数の画像データに対して第１の合成処理とは異なる第２の合成処理を施してＨＤＲ静止画データを生成することが可能なように、複数の静止画用画像データを記録可能な記録部を設けているので、単に出力形態に応じる表現のみならず、その出力機器の特徴や利用者の要望に応じた表現の画像表示ができる。静止画の場合、すみずみまで表示を確認することがあり、こうした自由度があることは好ましい。また、静止画ではプリンタ対応の画像処理も対応可能となる。
【０１２１】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。本実施形態の技術において、ＨＤＲ動画撮影はＨＤＲスルー画表示に置き替えることもできる。この場合、ＨＤＲスルー画表示中のユーザが指示したタイミングで生成されるＨＤＲ静止画に対してＨＤＲ動画コマとは異なる例えばコントラスト強調等を施すようにすることでユーザが望むタイミングで取得される静止画の視認性を向上することができる。つまり、動画は状況変化中、なめらかな応答、遷移の画像処理によるコマ表現がこのましいが、この応答、遷移中に撮影した静止画像は、前後のコマに関わらず、それだけでふさわしい表現、視認性である必要がある。このような状況を想定すれば、動画にも静止画にも利用できる複数コマの合成方法を変えて視認性、画像表現を変更することが重要になることは言うまでもない。表示機器の特性、プリント機器の特性や見る人の好みを入力して、それが反映できる合成方法とし、機器の差異や見る人の好みや目的までを考慮した合成ができるようにしてもよい。このような処理は、例えば内視鏡装置、顕微鏡装置、監視装置といった撮像装置に対しても適用され得る。
【０１２２】
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【０１２３】
また、上述した実施形態による各処理は、コンピュータである制御部１１８に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、制御部１１８は、この外部記憶装置の記録媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。表示結果に対して、手動操作や生体判定等で善し悪しを入力可能にしておき、その結果に応じて、使う人の嗜好を学習させていくような応用ができる。つまり、人工知能と連携した制御を利用してもよい。この場合は、ステップを踏んだプログラムでなくとも同様の効果を得ることができる。
【０１２４】
さらに、前記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【０１２５】
１００  撮像装置、１０２  撮像部、１０２ａ  撮像光学系、１０２ｂ  撮像素子、１０２ｃ  駆動部、１０４  記憶部、１０６  画像処理部、１０６ａ  第１の画像処理部、１０６ｂ  第２の画像処理部、１０６ｃ  記録処理部、１０８  再生部、１０８ａ  第１の再生処理部、１０８ｂ  第２の再生処理部、１１０  表示部、１１２  記録部、１１４  通信部、１１６  操作部、１１８  制御部、１２０  マイク、２００  テレビ。
【図１】
2018042198.tif 000003
【図２Ａ】
2018042198.tif 000004
【図２Ｂ】
2018042198.tif 000005
【図３Ａ】
2018042198.tif 000006
【図３Ｂ】
2018042198.tif 000007
【図３Ｃ】
2018042198.tif 000008
【図４】
2018042198.tif 000009
【図５Ａ】
2018042198.tif 000010
【図５Ｂ】
2018042198.tif 000011
【図５Ｃ】
2018042198.tif 000012
【図６】
2018042198.tif 000013
【図７】
2018042198.tif 000014
【図８Ａ】
2018042198.tif 000015
【図８Ｂ】
2018042198.tif 000016
【図９】
2018042198.tif 000017
【図１０Ａ】
2018042198.tif 000018
【図１０Ｂ】
2018042198.tif 000019
【図１１】
2018042198.tif 000020