(57)【要約】【課題】ライブビュー表示において、シャッタースピードを低速に設定した場合の撮影効果を得ると共に適切な明るさの画像を得る。【解決手段】撮像装置は、撮影時の露光時間を設定する露光時間設定部と、被写体像を撮像する撮像部と、合成処理方法を設定する合成処理設定部と、合成画像を生成する画像合成部と、画像を表示する表示部とを有する。撮像部は、露光及び画像信号の出力を特定の時間間隔で繰り返し、合成処理設定部は、画像合成部が生成する合成画像の明るさを特定の明るさにするための合成処理方法を画像合成部に設定し、画像合成部は、撮像部が繰り返し出力した画像信号に基づく複数の画像を、合成処理設定部が設定した合成処理方法に従って合成することに依り、露光時間設定部が設定した露光時間相当の画像となる合成画像を生成し、表示部は、画像合成部が生成した合成画像に基づく画像を表示する。【選択図】図１
2020010140.tif 000002
【特許請求の範囲】
【請求項１】
撮影時の露光時間を設定する露光時間設定部と、
被写体像を撮像する撮像部と、
合成処理方法を設定する合成処理設定部と、
前記合成処理設定部が設定した合成処理方法に従って合成画像を生成する画像合成部と、
画像を表示する表示部と、
を有し、
前記撮像部は、露光及び画像信号の出力を、特定の時間間隔で繰り返し、
前記合成処理設定部は、前記画像合成部が生成する合成画像の明るさを特定の明るさにするための合成処理方法を前記画像合成部に設定し、
前記画像合成部は、前記撮像部が繰り返し出力した画像信号に基づく複数の画像を、前記合成処理設定部が設定した合成処理方法に従って合成することに依り、前記露光時間設定部が設定した露光時間相当の画像となる合成画像を生成し、
前記表示部は、前記画像合成部が生成した合成画像に基づく画像を表示する、
ことを特徴とする撮像装置。
【請求項２】
前記撮影時の露光時間を入力する露光時間入力部、
を更に有し、
前記露光時間設定部は、前記露光時間入力部が入力した前記撮影時の露光時間を設定する、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮影時の露光時間は、前記特定の時間間隔よりも長い時間である、
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記表示部は、前記画像合成部が生成した合成画像に基づく画像の表示を、前記露光時間設定部が設定した露光時間よりも短い時間間隔で更新する、
ことを特徴とする請求項１乃至３のいずれか１項記載の撮像装置。
【請求項５】
前記画像合成部が合成画像の生成に用いる画像の数は、前記露光時間設定部が設定した露光時間を前記特定の時間間隔で除算した値に基づいて決定される、
ことを特徴とする請求項１乃至４のいずれか１項記載の撮像装置。
【請求項６】
前記合成処理設定部は、前記合成処理方法として、加算合成処理、平均合成処理、及び重み付け加算合成処理のいずれか１つを前記画像合成部に設定する、
ことを特徴とする請求項１乃至５のいずれか１項記載の撮像装置。
【請求項７】
前記合成処理設定部は、被写体輝度、シャッタースピード、絞り、及び撮像感度のうちの少なくとも１つに基づいて決定した合成処理方法を前記画像合成部に設定する、
ことを特徴とする請求項１乃至６のいずれか１項記載の撮像装置。
【請求項８】
絞り及び撮像感度のうちの少なくとも１つを設定する露出設定部、
を更に有することを特徴とする請求項１乃至７のいずれか１項記載の撮像装置。
【請求項９】
前記画像合成部が生成した合成画像に基づく画像を静止画として記録する記録部、
を更に有することを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
【請求項１０】
前記画像合成部が生成した複数の合成画像に基づく画像を動画として記録する記録部、
を更に有することを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
【請求項１１】
画像を記録する記録部、
を更に有し、
前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を行い、
前記記録部は、前記撮像部が出力した画像信号に基づいた静止画を記録する、
ことを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
【請求項１２】
画像を記録する記録部、
を更に有し、
前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を繰り返し、
前記記録部は、前記撮像部が繰り返し出力した画像信号に基づいた動画を記録する、
ことを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
【請求項１３】
前記画像合成部が生成した合成画像に基づく画像を静止画として外部装置へ出力する出力部、
を更に有することを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
【請求項１４】
前記画像合成部が生成した複数の合成画像に基づく画像を動画として外部装置へ出力する出力部、
を更に有することを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
【請求項１５】
画像を外部装置へ出力する出力部、
を更に有し、
前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を行い、
前記出力部は、前記撮像部が出力した画像信号に基づいた静止画を前記外部装置へ出力する、
ことを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
【請求項１６】
画像を外部装置へ出力する出力部、
を更に有し、
前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を繰り返し、
前記出力部は、前記撮像部が繰り返し出力した画像信号に基づいた動画を前記外部装置へ出力する、
ことを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
【請求項１７】
前記画像合成部は、前記複数の画像を、前記合成処理設定部が設定した合成処理方法と前記合成処理設定部が過去に設定した合成処理方法とを組み合わせた合成処理方法に従って合成することに依り、前記合成画像を生成する、
ことを特徴とする請求項１乃至８のいずれか１項記載の撮像装置。
【請求項１８】
撮影時の露光時間を設定する露光時間設定ステップと、
被写体像を撮像する撮像ステップと、
合成処理方法を設定する合成処理設定ステップと、
前記合成処理方法に従って合成画像を生成する画像合成ステップと、
画像を表示する表示ステップと、
を有し、
前記撮像ステップでは、露光及び画像信号の出力を、特定の時間間隔で繰り返し、
前記合成処理設定ステップでは、前記画像合成ステップで生成する合成画像の明るさを特定の明るさにするための合成処理方法を設定し、
前記画像合成ステップでは、前記撮像ステップで繰り消し出力した画像信号に基づく複数の画像を、前記合成処理設定ステップで設定した合成処理方法に従って合成することに依り、前記露光時間設定ステップで設定した露光時間相当の画像となる合成画像を生成し、
前記表示ステップでは、前記画像合成ステップで生成した合成画像に基づく画像を表示する、
ことを特徴とする表示方法。
【請求項１９】
前記撮影時の露光時間を入力する露光時間入力ステップ、
を更に有し、
前記露光時間設定ステップでは、前記露光時間入力ステップで入力した前記撮影時の露光時間を設定する、
ことを特徴とする請求項１８記載の表示方法。
【請求項２０】
前記撮影時の露光時間は、前記特定の時間間隔よりも長い時間である、
ことを特徴とする請求項１８又は１９記載の表示方法。
【請求項２１】
前記表示ステップでは、前記画像合成ステップで生成した合成画像に基づく画像の表示を、前記露光時間設定ステップで設定した露光時間よりも短い時間間隔で更新する、
ことを特徴とする請求項１８乃至２０のいずれか１項記載の表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、及び、その撮像装置において実行される表示方法に関する。
【背景技術】
【０００２】
昨今の撮像装置は、ライブビューと称する機能を有し、撮影前に写真の仕上がりを見ながら撮影時の設定を調整できるものが一般的になっている。ライブビューとは、撮影前に被写体の撮像及び表示を繰り返し行う機能のことである。ライブビューでは、レンズの絞りや露出補正に依る画像の明るさ、ＷＢ（White Balance）等の設定に依る効果を、表示された被写体画像で確認することができる。以下では、ライブビューに依る表示を「ライブビュー表示」とも称し、ライブビューに依り表示される画像を「ライブビュー画像」とも称す。
【０００３】
また、撮像装置において、シャッタースピードの設定に依る効果を撮影前に確認することができるものが知られている。例えば、特許文献１には、撮影レンズに依り結像された被写体像を所定の時間間隔で撮像するとともに、撮像された画像を新しい順に記憶していき、所定の時間間隔ごとに、記憶されている最新の画像から設定されているシャッター速度前の画像までの間の、少なくとも最新画像と設定シャッター速度前の画像とを合成してスルー画像として表示するデジタルカメラが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−７９２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ライブビューでは、ＡＦ（Auto focus）性能や画質を確保するために、絞りや撮像感度等の撮像条件を限定するのが一般的である。特許文献１に開示された手法では、シャッタースピードをシミュレーションした画像をライブビュー表示できるものの、上記撮像条件に依る制約の下では、被写体の輝度に因って適切な明るさの画像を表示できない場合がある。この場合の一例を、図２６を用いて説明する。
【０００６】
図２６は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
なお、プログラム線図は、適正露出を得るためのＢｖ、Ｓｖ、Ａｖ、及びＴｖの関係を示すものである。ここで、Ｂｖは、被写体輝度に対応するＡＰＥＸ（Additive System of Photographic Exposure）値である。Ｓｖは、撮像感度に対応するＡＰＥＸ値である。Ａｖは、絞りに対応するＡＰＥＸ値である。Ｔｖは、シャッタースピードに対応するＡＰＥＸ値である。
【０００７】
この例では、静止画撮影ではＡｖを２から９まで任意に変更可能であるものの、ライブビューではＡｖの上限値が６に制限されるカメラであると仮定する。
この仮定の下、シャッタースピードを、Ｔｖ＝０に対応する１秒に設定して静止画撮影を行う場合は、静止画撮影用のプログラム線図に示したとおり、−９≦Ｂｖ≦４のＢｖ範囲を適正露出で撮影できる。
【０００８】
一方、ライブビューでは、特許文献１の手法に従って複数の画像を例えば加算合成に依り合成してＴｖ＝０相当の合成画像をライブビュー画像として表示すると仮定する。この場合も静止画撮影と同じＢｖ範囲を適正露出で表示したいところであるが、Ａｖの上限値が６に制限されていることから、ライブビュー用のプログラム線図に示したとおり、Ｂｖが−９≦Ｂｖ≦１の範囲しか適正露出で表示できず、Ｂｖが１＜Ｂｖ≦４の範囲は露出オーバーで表示されてしまう。なお、図２６のライブビュー用のプログラム線図に示したＴｖは、合成画像であるライブビュー画像の明るさに対応するＴｖを示している。
【０００９】
本発明は、上記実状に鑑み、ライブビュー表示において、シャッタースピードを低速に設定した場合の撮影効果を得ることができると共に適切な明るさの画像を得ることができる撮像装置及び表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様は、撮影時の露光時間を設定する露光時間設定部と、被写体像を撮像する撮像部と、合成処理方法を設定する合成処理設定部と、前記合成処理設定部が設定した合成処理方法に従って合成画像を生成する画像合成部と、画像を表示する表示部と、を有し、前記撮像部は、露光及び画像信号の出力を、特定の時間間隔で繰り返し、前記合成処理設定部は、前記画像合成部が生成する合成画像の明るさを特定の明るさにするための合成処理方法を前記画像合成部に設定し、前記画像合成部は、前記撮像部が繰り返し出力した画像信号に基づく複数の画像を、前記合成処理設定部が設定した合成処理方法に従って合成することに依り、前記露光時間設定部が設定した露光時間相当の画像となる合成画像を生成し、前記表示部は、前記画像合成部が生成した合成画像に基づく画像を表示する、ことを特徴とする撮像装置である。
【００１１】
本発明の第２の態様は、第１の態様において、前記撮影時の露光時間を入力する露光時間入力部、を更に有し、前記露光時間設定部は、前記露光時間入力部が入力した前記撮影時の露光時間を設定する、ことを特徴とする。
【００１２】
本発明の第３の態様は、第１又は２の態様において、前記撮影時の露光時間は、前記特定の時間間隔よりも長い時間である、ことを特徴とする。
本発明の第４の態様は、第１乃至３のいずれか１つの態様において、前記表示部は、前記画像合成部が生成した合成画像に基づく画像の表示を、前記露光時間設定部が設定した露光時間よりも短い時間間隔で更新する、ことを特徴とする。
【００１３】
本発明の第５の態様は、第１乃至４のいずれか１つの態様において、前記画像合成部が合成画像の生成に用いる画像の数は、前記露光時間設定部が設定した露光時間を前記特定の時間間隔で除算した値に基づいて決定される、ことを特徴とする。
【００１４】
本発明の第６の態様は、第１乃至５のいずれか１つの態様において、前記合成処理設定部は、前記合成処理方法として、加算合成処理、平均合成処理、及び重み付け加算合成処理のいずれか１つを前記画像合成部に設定する、ことを特徴とする。
【００１５】
本発明の第７の態様は、第１乃至６のいずれか１つの態様において、前記合成処理設定部は、被写体輝度、シャッタースピード、絞り、及び撮像感度のうちの少なくとも１つに基づいて決定した合成処理方法を前記画像合成部に設定する、ことを特徴とする。
【００１６】
本発明の第８の態様は、第１乃至７のいずれか１つの態様において、絞り及び撮像感度のうちの少なくとも１つを設定する露出設定部、を更に有することを特徴とする。
本発明の第９の態様は、第１乃至８のいずれか１つの態様において、前記画像合成部が生成した合成画像に基づく画像を静止画として記録する記録部、を更に有することを特徴とする。
【００１７】
本発明の第１０の態様は、第１乃至８のいずれか１つの態様において、前記画像合成部が生成した複数の合成画像に基づく画像を動画として記録する記録部、を更に有することを特徴とする。
【００１８】
本発明の第１１の態様は、第１乃至８のいずれか１つの態様において、画像を記録する記録部、を更に有し、前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を行い、前記記録部は、前記撮像部が出力した画像信号に基づいた静止画を記録する、ことを特徴とする。
【００１９】
本発明の第１２の態様は、第１乃至８のいずれか１つの態様において、画像を記録する記録部、を更に有し、前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を繰り返し、前記記録部は、前記撮像部が繰り返し出力した画像信号に基づいた動画を記録する、ことを特徴とする。
【００２０】
本発明の第１３の態様は、第１乃至８のいずれか１つの態様において、前記画像合成部が生成した合成画像に基づく画像を静止画として外部装置へ出力する出力部、を更に有することを特徴とする。
【００２１】
本発明の第１４の態様は、第１乃至８のいずれか１つの態様において、前記画像合成部が生成した複数の合成画像に基づく画像を動画として外部装置へ出力する出力部、を更に有することを特徴とする。
【００２２】
本発明の第１５の態様は、第１乃至８のいずれか１つの態様において、画像を外部装置へ出力する出力部、を更に有し、前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を行い、前記出力部は、前記撮像部が出力した画像信号に基づいた静止画を前記外部装置へ出力する、ことを特徴とする。
【００２３】
本発明の第１６の態様は、第１乃至８のいずれか１つの態様において、画像を外部装置へ出力する出力部、を更に有し、前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を繰り返し、前記出力部は、前記撮像部が繰り返し出力した画像信号に基づいた動画を前記外部装置へ出力する、ことを特徴とする。
【００２４】
本発明の第１７の態様は、第１乃至８のいずれか１つの態様において、前記画像合成部は、前記複数の画像を、前記合成処理設定部が設定した合成処理方法と前記合成処理設定部が過去に設定した合成処理方法とを組み合わせた合成処理方法に従って合成することに依り、前記合成画像を生成する、ことを特徴とする。
【００２５】
本発明の第１８の態様は、撮影時の露光時間を設定する露光時間設定ステップと、被写体像を撮像する撮像ステップと、合成処理方法を設定する合成処理設定ステップと、前記合成処理方法に従って合成画像を生成する画像合成ステップと、画像を表示する表示ステップと、を有し、前記撮像ステップでは、露光及び画像信号の出力を、特定の時間間隔で繰り返し、前記合成処理設定ステップでは、前記画像合成ステップで生成する合成画像の明るさを特定の明るさにするための合成処理方法を設定し、前記画像合成ステップでは、前記撮像ステップで繰り消し出力した画像信号に基づく複数の画像を、前記合成処理設定ステップで設定した合成処理方法に従って合成することに依り、前記露光時間設定ステップで設定した露光時間相当の画像となる合成画像を生成し、前記表示ステップでは、前記画像合成ステップで生成した合成画像に基づく画像を表示する、ことを特徴とする表示方法である。
【００２６】
本発明の第１９の態様は、第１８の態様において、前記撮影時の露光時間を入力する露光時間入力ステップ、を更に有し、前記露光時間設定ステップでは、前記露光時間入力ステップで入力した前記撮影時の露光時間を設定する、ことを特徴とする。
【００２７】
本発明の第２０の態様は、第１８又は１９の態様において、前記撮影時の露光時間は、前記特定の時間間隔よりも長い時間である、ことを特徴とする。
本発明の第２１の態様は、第１８乃至２０のいずれか１つの態様において、前記表示ステップでは、前記画像合成ステップで生成した合成画像に基づく画像の表示を、前記露光時間設定ステップで設定した露光時間よりも短い時間間隔で更新する、ことを特徴とする。
【発明の効果】
【００２８】
本発明に依れば、ライブビュー表示において、シャッタースピードを低速に設定した場合の撮影効果を得ることができると共に適切な明るさの画像を得ることができる、という効果を奏する。
【図面の簡単な説明】
【００２９】
【図１】第１の実施形態に係る撮像装置であるカメラの構成例を示す図である。
【図２】カメラにおいて実行されるメイン処理の流れを示すフローチャートである。
【図３】第１の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
【図４】図３に示した静止画撮影待機動作処理に従って行われるライブビュー動作のタイミングチャートである。
【図５】図３に示した静止画撮影待機動作処理の実行中における、撮像フレームと合成フレームの関係を示す概念図である。
【図６】ライブビュー更新（Ｓ３１３）で液晶モニター又は電子ビューファインダーに表示されたライブビュー画像の一例を模式的に示す図である。
【図７】第１の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図８】第１の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の他の例を示す図である。
【図９】第１の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の他の例を示す図である。
【図１０】図３に示した静止画撮影待機動作処理の実行中において、長秒時ライブビュー機能がオンに設定されたとき及びオフに設定されたときの、撮像フレームと合成フレームの関係を示す概念図である。
【図１１】図１０に示した概念図において、長秒時ライブビュー機能がオンに設定されたときの動作及びオフに設定されたときの動作を変形したときの概念図である。
【図１２】図３に示した静止画撮影待機動作処理の実行中において、撮影時シャッタースピードが、より低速に変更されたときの、撮像フレームと合成フレームの関係を示す概念図である。
【図１３】第２の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図１４】第２の実施形態に係る、重み付け加算合成処理で使用される重みＷとＢｖの関係の一例を示す図である。
【図１５】第２の実施形態の変形例に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図１６】第２の実施形態の変形例に係る、重み付け加算合成処理で使用される重みＷとＢｖの関係の一例を示す図である。
【図１７】Ｓ３１４で検出された被写体輝度に対応するＢｖの値のフレーム毎の変化の一例を示す図である。
【図１８】第３の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
【図１９】第３の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図２０】第４の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
【図２１】第４の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【図２２】第５の実施形態に係る静止画撮影動作処理（Ｓ２０５）の流れを示すフローチャートである。
【図２３】第５の実施形態に係る、静止画用のプログラム線図と静止画合成用のプログラム線図の一例を示す図である。
【図２４】第６の実施形態に係る動画撮影待機動作処理（Ｓ２０７）の流れを示すフローチャートである。
【図２５】第６の実施形態に係る動画撮影動作処理（Ｓ２０８）の流れを示すフローチャートである。
【図２６】静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら、本発明の実施の形態について説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る撮像装置であるカメラの構成例を示す図である。
【００３１】
図１に示したとおり、カメラ１００は、レンズユニット２００がボディユニット３００に装着された構成を有する。ボディユニット３００は、レンズユニット２００を着脱自在に構成されている。ボディユニット３００へのレンズユニット２００の装着は、ボディユニット３００に設けられたボディ側マウント部３０１とレンズユニット２００に設けられたレンズ側マウント部２０１とが互いに勘合することに依り行われる。これに依り、レンズユニット２００がボディユニット３００に固定されると共に、レンズユニット２００に設けられたレンズ側通信コネクタ２０２とボディユニット３００に設けられたボディ側通信コネクタ３０２とが電気的に接続され、レンズユニット２００とボディユニット３００との間で通信が可能になる。
【００３２】
レンズユニット２００は、撮影レンズ２０３、レンズ駆動回路２０４、絞り２０５、絞り駆動回路２０６、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２０７、及びレンズ制御用マイクロコンピュータ（以下「ＬＣＰＵ」と称す）２０８を含む。
【００３３】
撮影レンズ２０３は、被写体の光学像である被写体像を撮像素子３０６の撮像面に結像する。図１では、説明の便宜上、撮影レンズ２０３を１つのレンズとして示すが、実際には、フォーカスレンズやズームレンズを含む複数のレンズから構成されている。
【００３４】
レンズ駆動回路２０４は、ＬＣＰＵ２０８の制御の下、撮影レンズ２０３に含まれるフォーカスレンズやズームレンズを駆動する。レンズ駆動回路２０４は、ステッピングモータやモータドライバを含んで構成される。モータドライバは、「モータドライブ回路」とも称す。
【００３５】
絞り２０５は、開口面積を変化させることに依り、撮像面に結像される被写体像の光量を調整する。これに依り、露出の調整が行われる。
絞り駆動回路２０６は、ＬＣＰＵ２０８の制御の下、絞り２０５を駆動する。絞り駆動回路２０６は、ステッピングモータやモータドライバを含んで構成される。
【００３６】
ＥＥＰＲＯＭ２０７は、レンズユニット２００の動作を制御するプログラムや、そのプログラムの実行に必要なデータや、レンズユニット２００に関する情報等を記憶する。レンズユニット２００に関する情報は、撮影レンズ２０３の情報を含む。
【００３７】
ＬＣＰＵ２０８は、例えばＣＰＵ（Central Processing Unit）といったプロセッサを含み、ＥＥＰＲＯＭ２０７に記憶されたプログラムを実行する。これに依り、ＬＣＰＵ２０８は、レンズ側通信コネクタ２０２を経由してボディ制御用マイクロコンピュータ（以下「ＢＣＰＵ」と称す）３２７と通信を行い、ＢＣＰＵ３２７の制御の下、レンズユニット２００の各部を制御してレンズユニット２００の全体動作を制御する。なお、ＬＣＰＵ２０８は、例えば、ＡＳＩＣ（application specific integrated circuit）又はＦＰＧＡ（field-programmable gate array）等の専用回路に依り構成されてもよい。
【００３８】
ボディユニット３００は、シャッター３０３、シャッターチャージ機構３０４、シャッター制御回路３０５、撮像素子３０６、撮像素子インターフェース回路（以下「撮像素子Ｉ／Ｆ回路」と称す）３０７、画像処理コントローラ３０８、記録メディア３０９、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３１０、ＦＬＡＳＨ  ＲＯＭ（Read Only Memory）（以下「フラッシュＲＯＭ」と称す）３１１、外部出力端子３１２、液晶モニター３１３、電子ビューファインダー３１４、撮像ステージ３１５、撮像ステージ駆動回路３１６、姿勢変化検出部３１７、防振制御回路３１８、ストロボ３１９、ストロボ駆動回路３２０、電源回路３２１、電池３２２、無線回路３２３、動作表示部３２４、カメラ操作ＳＷ（switch）３２５、ＥＥＰＲＯＭ３２６、及びＢＣＰＵ３２７を含む。
【００３９】
シャッター３０３は、先幕３０３１及び後幕３０３２の開閉動作を行うことに依り、撮像素子３０６の撮像面を露光状態又は遮光状態にする。シャッター３０３は、例えばフォーカルプレーンシャッターである。
【００４０】
シャッターチャージ機構３０４は、ＢＣＰＵ３２７の制御の下、シャッター３０３の先幕３０３１と後幕３０３２を駆動するバネをチャージする。
シャッター制御回路３０５は、ＢＣＰＵ３２７の制御の下、シャッター３０３の動作を制御する。詳しくは、先幕３０３１と後幕３０３２の動作を制御する。
【００４１】
撮像素子３０６は、撮像面に結像された被写体像を電気信号に変換する。すなわち、被写体像を撮像する。撮像素子３０６は、例えばＣＣＤ（charge coupled device）又はＣＭＯＳ（complementary metal oxide semiconductor）等のイメージセンサである。
【００４２】
撮像素子Ｉ／Ｆ回路３０７は、ＢＣＰＵ３２７の制御の下、撮像素子３０６の動作を制御すると共に、撮像素子３０６から出力される画像信号を画像処理コントローラ３０８へ出力する。なお、ＢＣＰＵ３２７に依る撮像素子Ｉ／Ｆ回路３０７の制御は、画像処理コントローラ３０８を経由して行われる。
【００４３】
画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、撮像素子３０６から出力された画像信号に対してγ補正、色変換、デモザイキング等の各種の画像処理を施して画像データ（以下単に「画像」とも称す）を生成する。例えば、ライブビュー用に適した画像処理を施してライブビュー用の画像を生成したり、記録用に適した画像処理を施して記録用の画像を生成したりする。なお、ライブビュー用に適した画像処理や記録用に適した画像処理を現像処理とも称す。また、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、ＢＣＰＵ３２７に依り設定された合成処理方法に従って合成画像データ（以下単に「合成画像」とも称す）を生成する。また、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、生成した合成画像に対し、ライブビュー用に適した画像処理を施してライブビュー用の画像を生成したり、記録用に適した画像処理を施して記録用の画像を生成したりする。また、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、記録メディア３０９に記録された画像に対して伸張処理を含む画像処理を施して再生用の画像を生成する。なお、画像処理コントローラ３０８は、ＡＳＩＣやＦＰＧＡ等の専用回路に依り構成されてもよいし、例えばＣＰＵといったプロセッサを含んで構成されてもよい。
【００４４】
記録メディア３０９は、ボディユニット３００に対して着脱自在なＳＤカード、コンパクトフラッシュ（登録商標）等の不揮発性の記録媒体である。なお、記録メディア３０９は、ボディユニット３００に内蔵されたハードディスクや半導体メモリ等でもよい。記録メディア３０９は、例えば、画像処理コントローラ３０８に依り生成された画像を記録する。
【００４５】
ＳＤＲＡＭ３１０は、画像処理コントローラ３０８のワークエリアとして使用され、例えば、画像処理コントローラ３０８に依る処理中の画像が一時的に格納される。
フラッシュＲＯＭ３１１は、画像処理コントローラ３０８に依る画像処理に必要な各種パラメータ等を記憶する。なお、画像処理コントローラ３０８がプロセッサを含んで構成される場合は、フラッシュＲＯＭ３１１が、そのプロセッサに依り実行されるプログラムや、そのプログラムの実行に必要なデータ等を記憶してもよい。
【００４６】
外部出力端子３１２は、ケーブルを経由して外部装置と接続され、例えば、画像処理コントローラ３０８に依り生成された画像を外部装置へ出力する。
液晶モニター３１３は、画像処理コントローラ３０８に依り生成された画像や各種情報等を表示する。
【００４７】
電子ビューファインダー３１４は、液晶モニター３１３と同様に、画像処理コントローラ３０８に依り生成された画像や各種情報等を表示する。
撮像ステージ３１５は、撮像素子３０６を撮像面に平行な方向へ移動させると共に、撮像素子３０６を、撮像面に直交する軸を回転軸として回転させる駆動機構である。撮像ステージ３１５は、撮像素子３０６を平行移動及び回転させるための複数のアクチュエータを含んで構成される。複数のアクチュエータは、例えばＶＣＭ（Voice Coil Motor）である。
【００４８】
撮像ステージ駆動回路３１６は、ＢＣＰＵ３２７及び防振制御回路３１８の制御の下、撮像ステージ３１５を駆動する。
姿勢変化検出部３１７は、カメラ１００の姿勢変化を検出する。姿勢変化検出部３１７は、Ｙ方向Ｇセンサ３１７１、Ｘ方向Ｇセンサ３１７２、ピッチジャイロセンサ（以下単に「ピッチジャイロ」と称す）３１７３、ヨージャイロセンサ（以下単に「ヨージャイロ」と称す）３１７４、ロールジャイロセンサ（以下単に「ロールジャイロ」と称す）３１７５を含む。なお、本実施形態では、撮影レンズ２０３の光軸方向をＺ方向とし、その光軸方向に直交し且つ互いに直交する２つの方向である水平方向及び垂直方向をＸ方向及びＹ方向とする。
【００４９】
Ｙ方向Ｇセンサ３１７１は、カメラ１００のＹ方向の加速度を検出する。
Ｘ方向Ｇセンサ３１７２は、カメラ１００のＸ方向の加速度を検出する。
ピッチジャイロ３１７３は、カメラ１００のピッチ方向の回転角速度を検出する。ここで、カメラ１００のピッチ方向の回転角速度は、Ｘ方向の軸を回転軸とするカメラ１００の回転角速度でもある。
【００５０】
ヨージャイロ３１７４は、カメラ１００のヨー方向の回転角速度を検出する。ここで、カメラ１００のヨー方向の回転角速度は、Ｙ方向の軸を回転軸とするカメラ１００の回転角速度でもある。
【００５１】
ロールジャイロ３１７５は、カメラ１００のロール方向の回転角速度を検出する。ここで、カメラ１００のロール方向の回転角速度は、Ｚ方向の軸を回転軸とするカメラ１００の回転角速度でもある。
【００５２】
防振制御回路３１８は、ＢＣＰＵ３２７の制御の下、姿勢変化検出部３１７の検出結果であるＹ方向Ｇセンサ３１７１、Ｘ方向Ｇセンサ３１７２、ピッチジャイロ３１７３、ヨージャイロ３１７４、及びロールジャイロ３１７５の各検出結果に基づいて、撮像ステージ駆動回路３１６を制御することに依り、撮像素子３０６の撮像面に結像されている被写体像の像ぶれを打ち消す方向に撮像素子３０６を移動させる。
【００５３】
ストロボ３１９は、露光動作であるシャッター３０３の動作に同期して発光する。ストロボ３１９は、光源として、例えばキセノンランプ又はＬＥＤ（Light Emitting Diode）を含む。
【００５４】
ストロボ駆動回路３２０は、ＢＣＰＵ３２７の制御の下、ストロボ３１９を駆動して発光させる。
電源回路３２１は、ＢＣＰＵ３２７の制御の下、電池３２２の電圧を、カメラ１００の各部の回路が必要とする電圧に変換して供給する。
【００５５】
無線回路３２３は、ＢＣＰＵ３２７の制御の下、図示しない外部装置と無線通信を行い、例えば、画像処理コントローラ３０８に依り生成された画像を外部装置へ出力する。
動作表示部３２４は、カメラ１００の動作状態をユーザに通知するためのＬＥＤを備え、ＢＣＰＵ３２７の制御の下、カメラ１００の動作状態に応じてＬＥＤを点灯又は消灯させる。
【００５６】
カメラ操作ＳＷ３２５は、カメラ１００の電源をオン状態又はオフ状態へ切り換えるための指示入力を受け付ける電源スイッチ（以下「電源ＳＷ」と称す）、撮影指示入力を受け付けるレリーズスイッチ、動作モードを静止画撮影モード、動画撮影モード、又は再生モードへ切り換えるための指示入力を受け付けるモード切換スイッチ、メニュー画面を表示する指示入力を受け付けるメニュースイッチ、メニュー画面上の項目を選択する指示入力を受け付ける選択スイッチ、選択された項目を確定する指示入力を受け付ける確定スイッチ等の各種スイッチを備える。メニュー画面は、液晶モニター３１３又は電子ビューファインダー３１４に表示される。例えば、撮影時のシャッタースピードや露出等の撮影条件は、メニュースイッチ、選択スイッチ、及び確定スイッチの操作に依り、メニュー画面から入力、設定が可能である。なお、撮影時のシャッタースピードは、撮影時の露光時間に対応する。
【００５７】
ＥＥＰＲＯＭ３２６は、カメラ１００の動作を制御するプログラムや、そのプログラムの実行に必要なデータ等を記憶する。
ＢＣＰＵ３２７は、例えばＣＰＵといったプロセッサを含み、ＥＥＰＲＯＭ３２６に記憶されたプログラムを実行する。これに依り、ＢＣＰＵ３２７は、ボディ側通信コネクタ３０２を経由してＬＣＰＵ２０８と通信を行うと共に、カメラ１００の各部を制御してカメラ１００の全体動作を制御する。例えば、カメラ操作ＳＷ３２５の操作に依り入力された撮影時のシャッタースピードや露出等の撮影条件の設定や、画像処理コントローラ３０８に対する合成処理方法の設定は、ＢＣＰＵ３２７に依り行われる。なお、ＢＣＰＵ３２７は、例えば、ＡＳＩＣ又はＦＰＧＡ等の専用回路に依り構成されてもよい。
【００５８】
次に、カメラ１００において実行される処理について説明する。
カメラ１００において実行される処理は、ＢＣＰＵ３２７の制御の下に行われる。
図２は、カメラ１００において実行されるメイン処理の流れを示すフローチャートである。
【００５９】
図２に示したとおり、メイン処理では、まずＳ２０１において、ＢＣＰＵ３２７は、カメラ操作ＳＷ３２５の電源ＳＷに依り、カメラ１００の電源がオン状態にされたか否かを判定する。
【００６０】
Ｓ２０１の判定結果がＮＯの場合は、Ｓ２０１の判定を繰り返す。
一方、Ｓ２０１の判定結果がＹＥＳの場合、Ｓ２０２において、ＢＣＰＵ３２７は、カメラ初期化処理を行う。この処理では、例えば、レンズユニット２００に関する情報をＬＣＰＵ２０８から取得する等の処理が行われる。
【００６１】
Ｓ２０３において、ＢＣＰＵ３２７は、設定されている動作モードが、静止画撮影モード、動画撮影モード、及び再生モードのいずれであるかを判定する。なお、動作モードの切り換えは、カメラ操作ＳＷ３２５のモード切換スイッチに依り行われる。
【００６２】
Ｓ２０３の判定結果が静止画撮影モードである場合、Ｓ２０４において、ＢＣＰＵ３２７は、静止画撮影待機動作処理を行う。この処理の詳細は、図３を用いて後述する。
Ｓ２０４の処理中において静止画撮影指示が為されると、Ｓ２０５において、ＢＣＰＵ３２７は、静止画撮影動作処理を行う。本実施形態では、設定されているシャッタースピード、露出等の撮影条件に従って被写体の静止画を撮影し、その静止画を記録メディア３０９に記録する、という静止画撮影動作を行うための処理が行われる。
【００６３】
Ｓ２０６において、ＢＣＰＵ３２７は、静止画撮影動作が終了したか否かを判定する。
Ｓ２０６の判定結果がＮＯの場合は、Ｓ２０６の判定を繰り返す。
一方、Ｓ２０６の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。
【００６４】
Ｓ２０３の判定結果が動画撮影モードである場合、Ｓ２０７において、ＢＣＰＵ３２７は、動画撮影待機動作処理を行う。本実施形態では、被写体像を撮像して液晶モニター３１３又は電子ビューファインダー３１４に表示する、という動作を繰り返すための処理が行われる。
【００６５】
Ｓ２０７の処理中において動画撮影開始指示が為されと、Ｓ２０８において、ＢＣＰＵ３２７は、動画撮影動作処理を行う。本実施形態では、動画撮影終了指示が為されるまで、設定されているシャッタースピードや露出等の撮影条件に従って被写体の動画を撮影し、その動画を記録メディア３０９に記録する、という動画撮影動作を行うための処理が行われる。
【００６６】
Ｓ２０９において、ＢＣＰＵ３２７は、動画撮影動作が終了したか否かを判定する。
Ｓ２０９の判定結果がＮＯの場合は、Ｓ２０９の判定を繰り返す。
一方、Ｓ２０９の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。
【００６７】
Ｓ２０３の判定結果が再生モードである場合、Ｓ２１０において、ＢＣＰＵ３２７は、再生モード動作処理を行う。この処理では、例えば、記録メディア３０９に記録されている画像データを液晶モニター３１３に表示する、という再生モード動作を行うための処理が行われる。
【００６８】
Ｓ２１１において、ＢＣＰＵ３２７は、再生モード動作が終了したか否かを判定する。
Ｓ２１１の判定結果がＮＯの場合は、Ｓ２１１の判定を繰り返す。
一方、Ｓ２１１の判定結果がＹＥＳの場合は、処理がＳ２１２へ進む。
【００６９】
Ｓ２１２において、ＢＣＰＵ３２７は、カメラ操作ＳＷ３２５の電源ＳＷに依り、カメラ１００の電源がオフ状態にされたか否かを判定する。
Ｓ２１２の判定結果がＮｏの場合は、処理がＳ２０３へ戻る。
【００７０】
一方、Ｓ２１２の判定結果がＹＥＳの場合、Ｓ２１３において、ＢＣＰＵ３２７は、終了処理を行い、そして図２に示したメイン処理が終了する。
図３は、静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
【００７１】
図３に示したとおり、静止画撮影待機動作処理では、まずＳ３０１において、ＢＣＰＵ３２７は、初期化処理を行う。この処理では、バッファクリア処理等が行われる。バッファクリア処理とは、ＳＤＲＡＭ３１０をクリアする処理のことである。
【００７２】
Ｓ３０２において、ＢＣＰＵ３２７は、長秒時フラグを０に設定する。長秒時フラグは、長秒時ライブビュー機能がオフに設定されているときに０に設定され、長秒時ライブビュー機能がオンに設定されているときに１に設定されるフラグである。長秒時ライブビュー機能とは、長秒時の撮影時シャッタースピードに依る効果を撮影前に確認することができる機能のことであり、以下では単に「長秒時ライブビュー」とも称す。ここで想定される長秒時の撮影時シャッタースピードは、ライブビュー用のフレームレートに対応するシャッタースピードよりも低速のシャッタースピードである。例えば、ライブビュー用のフレームレートが１２０フレーム／秒であるとすると、想定される長秒時の撮影時シャッタースピードは、１／１２０よりも低速なシャッタースピードとなる。長秒時ライブビュー機能のオン又はオフは、カメラ操作ＳＷ３２５のメニュースイッチ、選択スイッチ、及び確定スイッチに依りメニュー画面から設定することができる。なお、この機能のオン又はオフは、メニュー画面から設定されるのではなく、専用のスイッチを用いて設定されてもよい。この場合は、カメラ操作ＳＷ３２５が、長秒時ライブビュー機能のオン又はオフを選択するための指示入力を受け付けるスイッチを備えてもよい。あるいは、そのスイッチの押下時のみ、もしくは、レリーズスイッチの半押下時のみ、長秒時ライブビュー機能がオンに設定されてもよい。
【００７３】
Ｓ３０３において、ＢＣＰＵ３２７は、長秒時ライブビュー機能がオンに設定されているか否かを判定する。
Ｓ３０３の判定結果がＹＥＳの場合、Ｓ３０４において、ＢＣＰＵ３２７は、長秒時フラグを１に設定し、処理がＳ３０５へ進む。
【００７４】
一方、Ｓ３０３の判定結果がＮＯの場合は、処理がＳ３０５へ進む。
Ｓ３０５において、ＢＣＰＵ３２７は、ライブビュー用の撮像素子駆動処理を開始する。ライブビュー用の撮像素子駆動処理とは、ライブビュー用のフレームレートに従って、被写体像の撮像及び画像信号の出力を繰り返す処理のことである。
【００７５】
Ｓ３０６において、撮像素子Ｉ／Ｆ回路３０７は、ＢＣＰＵ３２７の制御の下、撮像素子３０６から１フレーム分の画像信号を読み出して画像処理コントローラ３０８へ出力する。これは、撮像素子Ｉ／Ｆ回路３０７が、撮像素子３０６から出力された１フレーム分の画像信号を画像処理コントローラ３０８へ出力することでもある。
【００７６】
Ｓ３０７において、ＢＣＰＵ３２７は、当該Ｓ３０７の処理が、図３に示した静止画撮影待機動作処理の開始後に初めて行われるものであるか否かを判定する。
Ｓ３０７の判定結果がＹＥＳの場合は、処理がＳ３１４へ進む。
【００７７】
一方、Ｓ３０７の判定結果がＮＯの場合、Ｓ３０８において、ＢＣＰＵ３２７は、長秒時フラグが１に設定されているか否かを判定する。
Ｓ３０８の判定結果がＮＯの場合は、処理がＳ３１２へ進む。
【００７８】
一方、Ｓ３０８の判定結果がＹＥＳの場合、Ｓ３０９において、ＢＣＰＵ３２７は、合成枚数を算出する。合成枚数は、後述する画像合成処理（Ｓ３１１）において、合成画像の生成に用いられる画像の数である。合成枚数は、例えば、撮像素子３０６の１フレームの露光時間を、１／（ライブビュー用のフレームレート）とすると、（設定されている撮影時シャッタースピード）／（１／（ライブビュー用のフレームレート））に依り算出される。例えば、設定されている撮影時シャッタースピードが１／１５秒、ライブビュー用のフレームレートが１２０フレーム／秒であるとすると、（１／１５）／（１／１２０）＝８となり、合成枚数が８となる。但し、この算出方法では、算出結果の値が小数点以下を含む場合があり、必ずしも整数値にはならない。そこで、算出結果の値が小数点以下を含む場合は、小数点以下を切り捨て、切り上げ、又は四捨五入する等して、算出結果の値が整数値にされる。あるいは、算出結果の値が整数値にするために、ライブビュー用のフレームレートを変更してもよい。
【００７９】
Ｓ３１０において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、Ｓ３０６で撮像素子３０６から読み出された画像信号に応じた画像を、ＳＤＲＡＭ３１０に格納する、という画像バッファリングを行う。このときにＳＤＲＡＭ３１０に格納された画像を、以下、「バッファリング画像」とも称す。
【００８０】
Ｓ３１１において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、ＳＤＲＡＭ３１０に格納されている合成枚数分のバッファリング画像を後述のＳ３１６で設定される合成処理方法に従って合成することに依り、設定されている撮影時シャッタースピードに対応する露光時間で露光された画像相当の画像となる合成画像を生成する、という画像合成処理を行う。ここで、合成枚数は、Ｓ３０９で算出された合成枚数である。また、設定されている撮影時シャッタースピードに対応する露光時間で露光された画像相当の画像とは、擬似的にシャッタースピードを撮影時シャッタースピードまで延ばした場合の画像のことでもある。
【００８１】
但し、Ｓ３１１において、合成枚数分のバッファリング画像がＳＤＲＡＭ３１０に格納されていない場合、又は、Ｓ３０９で算出された合成枚数が１以下の場合は、合成画像の生成を行わず、処理がＳ３１２へ進む。
【００８２】
Ｓ３１１において合成画像の生成が行われる場合、合成画像の生成に用いられる合成枚数分のバッファリング画像は、ＳＤＲＡＭ３１０に最後に格納されたバッファリング画像をｉ番目に格納されたバッファリング画像とし、Ｓ３０９で算出された合成枚数をＮとすると、ｉ−Ｎ＋１番目からｉ番目までに格納されたＮ個のバッファリング画像となる。また、合成画像の生成は、合成枚数分のバッファリング画像を、ＢＣＰＵ３２７に依り設定された合成処理方法に従って合成することに依り行われるものであるが、その詳細については後述する。
【００８３】
Ｓ３１２において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、現像処理を行う。詳しくは、Ｓ３１１の後のＳ３１２では、Ｓ３１１で生成された合成画像に対して現像処理を行う。但し、Ｓ３１１で合成画像の生成が行われていない場合には、Ｓ３１０でＳＤＲＡＭ３１０に最後に格納されたバッファリング画像に対して現像処理を行う。一方、Ｓ３０８の判定結果がＮＯである場合のＳ３１２では、Ｓ３０６で読み出された画像信号に応じた画像に対して現像処理を行う。なお、Ｓ３１２で現像処理が行われた画像は、ライブビュー画像でもある。
【００８４】
Ｓ３１３において、ＢＣＰＵ３２７は、Ｓ３１２で現像処理が行われた画像を、液晶モニター３１３又は電子ビューファインダー３１４に表示する、或いは、液晶モニター３１３又は電子ビューファインダー３１４に表示されている画像を、Ｓ３１２で現像処理が行われた画像へ置き換える、というライブビュー更新処理を行う。なお、Ｓ３１２で現像処理が行われた画像の表示先又は出力先は、液晶モニター３１３又は電子ビューファインダー３１４に限らず、外部表示装置であってもよい。この場合、その外部表示装置は、外部出力端子３１２に接続された外部表示装置であってもよいし、無線回路３２３を介して無線接続された外部表示装置であってもよい。
【００８５】
Ｓ３１４において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、被写体輝度を検出する。被写体輝度の検出は、例えば、Ｓ３０６で読み出された画像信号に基づいて行われる。
【００８６】
Ｓ３１５において、ＢＣＰＵ３２７は、長秒時フラグが１に設定されているか否かを判定する。
Ｓ３１５の判定結果がＮＯの場合は、処理がＳ３１７へ進む。
【００８７】
一方、Ｓ３１５の判定結果がＹＥＳの場合、Ｓ３１６において、ＢＣＰＵ３２７は、次回の画像合成処理（Ｓ３１１）で用いられる合成処理方法を決定し、画像処理コントローラ３０８に設定する。合成処理方法は、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ３１４で検出された被写体輝度に対応するＢｖの値とに基づいて決定される。ライブビュー用のプログラム線図は、長秒時ライブビューにおいて適正露出を得るためのＢｖ、Ｓｖ、Ａｖ、及びＴｖｂの関係を示すと共に合成処理方法を指定するものである。ここで、Ｔｖｂは、合成画像であるライブビュー画像の明るさに対応するＴｖを示している。ライブビュー用のプログラム線図は、設定可能な撮影時シャッタースピード毎に用意され、例えばフラッシュＲＯＭ３１１に予め記憶されている。あるいは、基準となる撮影時シャッタースピードに対応するプログラム線図のみを記憶しておき、他の撮影時シャッタースピードに対応するプログラム線図は、基準となるプログラム線図に基づいて計算に依り求めてもよい。ライブビュー用のプログラム線図の詳細については後述する。Ｓ３１６の後は、処理がＳ３１７へ進む。
【００８８】
Ｓ３１７において、ＢＣＰＵ３２７は、露出を設定する。詳しくは、Ｓ３１６の後のＳ３１７では、Ｓ３１６で使用したプログラム線図とＢｖの値とに基づいてＡｖ及びＳｖの値を決定し、決定したＡｖ及びＳｖの値に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。絞り２０５の駆動は、決定したＡｖの値をＬＣＰＵ２０８に通知し、そのＡｖの値に基づいてＬＣＰＵ２０８が絞り駆動回路２０６を制御することに依って行われる。また、撮像感度の設定は、決定したＳｖの値に対応する撮像感度を、画像処理コントローラ３０８を経由して撮像素子Ｉ／Ｆ回路３０７に設定し、その設定に応じて撮像素子Ｉ／Ｆ回路３０７が撮像素子３０６を制御することに依って行われる。一方、ＳＳ３１５の判定結果がＮＯの場合のＳ３１７では、例えば、Ｓ３１４で検出された被写体輝度に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。
【００８９】
Ｓ３１８において、ＢＣＰＵ３２７は、静止画撮影指示が為されたか否かを判定する。なお、静止画撮影指示は、レリーズスイッチに依り行うことができる。
Ｓ３１８の判定結果がＮＯの場合は、処理がＳ３０６へ戻る。
【００９０】
一方、Ｓ３１８の判定結果がＹＥＳの場合、Ｓ３１９において、ＢＣＰＵ３２７は、Ｓ３０５で開始したライブビュー用の撮像素子駆動処理を終了し、図３に示した静止画撮影待機動作処理を終了する。
【００９１】
図４は、図３に示した静止画撮影待機動作処理に従って行われるライブビュー動作のタイミングチャートである。但し、このライブビュー動作は、図３に示した静止画撮影待機動作処理において画像合成処理（Ｓ３１１）が繰り返し行われているときの動作を示している。
【００９２】
図４に示したとおり、このライブビュー動作では、ライブビュー用のフレームレートに応じた垂直同期信号ＶＤの立ち上がりに同期して、ライブビュー用のフレームレートに対応する露光時間の露光及び画像信号の出力が行われ、続いて、画像合成処理、現像処理が行われて、その処理結果である画像が表示される、といった一連の処理が繰り返し行われる。ここで、露光は撮像に対応し、処理結果である画像はライブビュー画像に対応し、その表示はライブビュー表示に対応する。
【００９３】
図５は、図３に示した静止画撮影待機動作処理の実行中における、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、合成枚数に変化が無いとし、合成画像を生成する画像合成処理（Ｓ３１１）が繰り返し行われているとする。また、ライブビュー用のフレームレートが１２０フレーム／秒であるとし、撮影時シャッタースピードとして１／１５秒が設定されているとする。この場合は、撮像素子３０６の１フレームの露光時間を１／１２０秒とすると、（１／１５）／（１／１２０）＝８となり、合成枚数が８となる。
【００９４】
図５に示したとおり、この場合は、合成枚数が８となるので、８枚の撮像フレーム画像を用いて表示フレーム画像の生成が行われる。なお、撮像フレーム画像は、バッファリング画像でもある。すなわち、８つのフレームを合成した合成フレームにおいて露光された８つの撮像フレーム画像を用いて、表示フレーム画像の生成が行われる。なお、表示フレーム画像は、現像処理（Ｓ３１２）の処理結果となる画像である。
【００９５】
例えば、Ｎフレーム目の表示フレーム画像は、Ｎ−７フレーム目からＮフレーム目までのフレームを合成した合成フレームにおいて露光された８つの撮像フレーム画像を用いて生成、表示され、Ｎ＋１フレーム目の表示フレーム画像は、Ｎ−６フレーム目からＮ＋１フレーム目までのフレームを合成した合成フレームにおいて露光された８つの撮像フレーム画像を用いて生成、表示され、という方式で合成するフレームをずらしながら、表示フレーム画像の更新が行われる。
【００９６】
図６は、ライブビュー更新（Ｓ３１３）で液晶モニター３１３又は電子ビューファインダー３１４に表示されたライブビュー画像の一例を模式的に示す図である。
図６の左側に示したライブビュー画像は、長秒時ライブビュー機能がオフに設定されているときに表示されたライブビュー画像である。このライブビュー画像は、画像信号に応じた画像に現像処理が行われた画像であり、所謂、通常時のライブビュー画像である。
【００９７】
図６の右側に示したライブビュー画像は、長秒時ライブビュー機能がオンに設定されているときに表示されたライブビュー画像である。このライブビュー画像は、合成画像に現像処理が行われた画像である。
【００９８】
図６に示したとおり、長秒時ライブビュー機能がオンに設定されているときのライブビュー画像に依るライブビュー表示に依れば、長秒時の撮影時シャッタースピードに依る効果を撮影前に確認することができる。
【００９９】
次に、図７を用いて、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）の一例を説明する。
図７は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。なお、図７に示した静止画撮影用のプログラム線図は、図２６に示した静止画撮影用のプログラム線図と同じものである。
【０１００】
この例では、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１秒が設定されているとする。なお、６４フレーム／秒のライブビュー用のフレームレートは、１／６４秒のシャッタースピード、Ｔｖ＝６に相当し、１秒の撮影時シャッタースピードは、Ｔｖ＝０に対応する。
【０１０１】
この例の場合、静止画撮影では、図７の静止画撮影用のプログラム線図に示したとおり、Ｂｖが−９から４までの範囲で適正露出の撮影が可能である。これに対し、長秒時ライブビューでは、合成処理方法として加算合成処理が設定されて合成画像の生成が行われる場合は、図７のライブビュー用のプログラム線図に示したとおり、Ｂｖが−９から１までの範囲でしか適正露出のライブビュー画像が得られない。なお、これについては、図２６を用いて説明したとおりである。
【０１０２】
そこで、合成処理方法設定（Ｓ３１６）では、図７のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【０１０３】
Ｂｖの値が−９≦Ｂｖ≦１のときは、加算合成処理が設定される。
Ｂｖの値が１＜Ｂｖ≦４のときは、平均合成処理が設定される。
平均合成処理では、被写体の動きとして、Ｔｖ＝０相当のスローシャッター効果を得ることができ、ライブビュー用のフレームレートにおける１フレーム分の画像の明るさとしてＴｖ＝６相当の明るさが維持されるため、Ｂｖが１＜Ｂｖ≦４の範囲でも適正露出の画像を得ることができる。
【０１０４】
なお、加算合成処理では、対応する画素毎に画素値の累積加算を行うことに依って合成画像が生成され、平均合成処理では、対応する画素毎に画素値の平均を算出することに依って合成画像が生成される。
【０１０５】
露出設定（Ｓ３１７）では、図７のライブビュー用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
【０１０６】
Ｂｖの値が−９≦Ｂｖ≦−３のときは、Ｓｖ＝−Ｂｖ＋２、Ａｖ＝２に決定される。
Ｂｖの値が−３＜Ｂｖ≦１のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ＋５に決定される。
Ｂｖの値が１＜Ｂｖ≦３のときは、Ｓｖ＝−Ｂｖ＋８、Ａｖ＝２に決定される。
【０１０７】
Ｂｖの値が３＜Ｂｖ≦４のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ−１に決定される。
次に、図８を用いて、撮影時シャッタースピードが変更された場合の、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）の一例を説明する。
【０１０８】
図８は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の他の例を示す図である。
この例では、撮影時シャッタースピードが１秒から１／４秒へ変更されたとする。１／４秒の撮影時シャッタースピードは、Ｔｖ＝２に対応する。この例では、Ｔｖの値が０から２へ２段シフトすることから、図８のプログラム線図に示したとおり、図７に示したプログラム線図に対して、合成処理方法及び露出を決定するＢｖの値もシフトする。
【０１０９】
そこで、合成処理方法設定（Ｓ３１６）では、図８のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【０１１０】
Ｂｖの値が−７≦Ｂｖ≦３のときは、加算合成処理が設定される。
Ｂｖの値が３＜Ｂｖ≦６のときは、平均合成処理が設定される。
露出設定（Ｓ３１７）では、図８のライブビュー用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
【０１１１】
Ｂｖの値が−７≦Ｂｖ≦−１のときは、Ｓｖ＝−Ｂｖ＋４、Ａｖ＝２に決定される。
Ｂｖの値が−１＜Ｂｖ≦３のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ＋３に決定される。
Ｂｖの値が３＜Ｂｖ≦６のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ−１に設定される。
【０１１２】
図７及び図８を用いて説明した、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）では、合成処理方法として加算合成処理を積極的に設定する例を示したが、例えば、長秒時ライブビューの画質を優先する場合には、平均合成処理を積極的に設定した方がよい。ここで、図９を用いて、平均合成処理を積極的に設定する場合の、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）の一例を説明する。
【０１１３】
図９は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の他の例を示す図である。
この例でも、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１秒が設定されているとする。
【０１１４】
この例の場合、合成処理方法設定（Ｓ３１６）では、図９のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【０１１５】
Ｂｖの値が−９≦Ｂｖ＜−３のときは、加算合成処理が設定される。
Ｂｖの値が−３≦Ｂｖ≦４のときは、平均合成処理が設定される。
露出設定（Ｓ３１７）では、図９のライブビュー用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
【０１１６】
Ｂｖの値が−９≦Ｂｖ＜−３のときは、Ｓｖ＝−Ｂｖ＋２、Ａｖ＝２に決定される。
Ｂｖの値が−３≦Ｂｖ＜３のときは、Ｓｖ＝−Ｂｖ＋８、Ａｖ＝２に決定される。
Ｂｖの値が３≦Ｂｖ≦４のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ−１に決定される。
【０１１７】
なお、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）で使用されるライブビュー用のプログラム線図は、図７、図８、及び図９を用いて説明したものに限定されるものではない。
【０１１８】
図１０は、図３に示した静止画撮影待機動作処理の実行中において、長秒時ライブビュー機能がオンに設定されたとき及びオフに設定されたときの、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、長秒時ライブビュー機能がオンに設定されてからオフに設定されるまでの間は、合成枚数に変化が無いとし、画像合成処理（Ｓ３１１）が繰り返し行われるとする。また、このときの合成枚数を４とする。
【０１１９】
図１０に示したとおり、この場合は、長秒時ライブビュー機能がオフに設定されている間は、通常のライブビュー動作が行われる。通常のライブビュー動作とは、Ｓ３０３、Ｓ３０８、及びＳ３１５の判定結果がＮＯの場合の動作である。そして、長秒時ライブビュー機能がオンに設定されると、その時点を示す「開始トリガー」の後、合成枚数分の４つの撮像フレーム画像が揃ったところで、その４つの撮像フレーム画像を用いて表示フレーム画像の生成、表示が行われる。ここで、その４つの撮像フレーム画像は、Ｎ＋２フレーム目からＮ＋５フレーム目までの合成フレームにおいて露光された４つの撮像フレーム画像である。なお、長秒時ライブビュー機能がオンに設定されてから４つの撮像フレーム画像が揃う前までの間は、通常のライブビュー動作と同じ動作が行われる。その後、長秒時ライブビュー機能がオンに設定されている間は、図５に示したものと同様に、合成するフレームをずらしながら、表示フレーム画像の更新が行われる。そして、長秒時ライブビュー機能がオフに設定されると、その時点を示す「終了トリガー」の後、速やかに通常のライブビュー動作に戻る。
【０１２０】
図１１は、図１０に示した概念図において、長秒時ライブビュー機能がオンに設定されたときの動作及びオフに設定されたときの動作を変形したときの概念図である。
図１１に示したとおり、長秒時ライブビュー機能がオンに設定されてから合成枚数分の撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成を行ってもよい。また、長秒時ライブビュー機能がオフに設定されたときは、１フレーム毎に、合成する撮像フレーム画像数を１つずつ減少させながら合成画像となる表示フレーム画像の生成を行ってもよい。
【０１２１】
あるいは、図１０の概念図に示した動作と図１１に示した概念図の動作とを組み合わせてもよい。
図１２は、図３に示した静止画撮影待機動作処理の実行中において、撮影時シャッタースピードが、より低速に変更されたときの、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、画像合成処理（Ｓ３１１）が繰り返し行われているとする。また、撮影時シャッタースピードが、より低速に変更されたことに伴って、合成枚数が４から６へ変更されたとする。
【０１２２】
図１２に示したとおり、この場合は、撮影時シャッタースピードが変更された時点でＳＤＲＡＭ３１０がクリアされ、その後、変更後の合成枚数分の６つの撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成、表示が行われる。その後、長秒時ライブビュー機能がオンに設定されている間は、図５に示したものと同様に、合成するフレームをずらしながら、表示フレーム画像の更新が行われる。
【０１２３】
また、図示はしないが、撮影時シャッタースピードが変更された時点でＳＤＲＡＭ３１０のクリアを行わず、その時点から、変更後の合成枚数分の６つの撮像フレーム画像が揃う前までの間は、１フレーム毎に、合成する撮像フレーム画像数を１つずつ増加させながら合成画像となる表示フレーム画像の生成、表示が行われてもよい。
【０１２４】
また、図示はしないが、撮影時シャッタースピードが、より高速に変更され、それに伴い合成枚数が減少する方向に変更された場合は、撮影時シャッタースピードが変更された時点から、１フレーム毎に、合成する撮像フレーム画像数を、変更後の合成枚数になるまで１つずつ減少させながら合成画像となる表示フレーム画像の生成、表示が行われる。
【０１２５】
以上のとおり、第１の実施形態に依れば、設定されている撮影時シャッタースピードが低速であっても、長秒時ライブビュー機能がオンに設定されていれば、ライブビュー表示において、その撮影時シャッタースピードのよる効果を確認することができると共に適切な明るさのライブビュー画像を表示することもできる。
【０１２６】
なお、本実施形態において、ライブビュー動作中は、画像信号の読み出しが連続的に行われる為、電子シャッターが用いられる。電子シャッターは、撮像素子３０６が有する電子シャッター機能に依り実現され、ＢＣＰＵ３２７の制御の下、撮像素子Ｉ／Ｆ回路３０７に依り制御される。
【０１２７】
また、本実施形態において、ライブビュー動作中の各フレームの非露光時間が長いと、画像合成処理（Ｓ３０７）に依り生成される合成画像が、動体領域において違和感のある画像になってしまう虞がある。そこで、ライブビュー動作中の撮像時シャッタースピードは、合成画像の生成に用いられる複数のバッファリング画像が取得される複数のフレームにおける各フレームの露光時間が不連続となるのを防止するため、上述のとおり１／（ライブビュー用のフレームレート）、又は、それにできるだけ近い値とされる。例えば、ライブビュー用のフレームレートが１２０フレーム／秒である場合は、ライブビュー動作中の撮像時シャッタースピードが１／１２０秒とされる。
【０１２８】
また、本実施形態において、設定されている撮影時シャッタースピードが、例えば１／（ライブビュー用のフレームレート）以上といった高速である場合は、撮影時シャッタースピードを忠実に再現するために、撮像時シャッタースピードを、撮影時シャッタースピードに合わせてもよい。あるいは、撮影時シャッタースピードが高速である場合は、ライブビュー表示において撮影時シャッタースピードに依る見え方の違いがほとんど無いため、ライブビュー表示の見易さを鑑みて、通常時のライブビュー動作と同様に撮像時シャッタースピードを制御してもよい。
＜第２の実施形態＞
【０１２９】
次に、本発明の第２の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【０１３０】
第１の実施形態で説明した、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）では、特定の輝度においてＳｖやＡｖの値がジャンプする場合があった。ライブビュー表示の見栄えやＡＦ性能を考慮すると、ＳｖやＡｖの値を連続的に変化させる方が好ましい。そこで、第２の実施形態では、合成処理方法として更に重み付け加算合成処理を設定可能にすることで、それを可能にした。
【０１３１】
加算合成、平均合成、及び重み付け加算合成の各処理は、次の演算式に依って定義することができる。
加算合成：Ｓ＝Ｉ１＋Ｉ２＋Ｉ３＋…＋ＩＮ
【０１３２】
平均合成：Ｓ＝Ｉ１／Ｎ＋Ｉ２／Ｎ＋Ｉ３／Ｎ＋…＋ＩＮ／Ｎ
重み付け加算合成：Ｓ＝ＷＩ１＋ＷＩ２＋ＷＩ３＋…＋ＷＩＮ
ここで、ＩＫはＫ番目の画像の画素値、Ｓは合成画像の画素値、Ｎは合成フレーム数、Ｗは重みである。
【０１３３】
図１３及び図１４を用いて、第２の実施形態に係る、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）の一例を説明する。
図１３は、第２の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。図１４は、第２の実施形態に係る、重み付け加算合成処理で使用される重みＷとＢｖの関係の一例を示す図である。
【０１３４】
この例では、図７を用いて説明した例と同様に、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１秒が設定されているとする。
【０１３５】
この例において、第２の実施形態に係る合成処理方法設定（Ｓ３１６）では、図１３のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【０１３６】
Ｂｖの値が−９≦Ｂｖ≦−３のときは、加算合成処理が設定される。
Ｂｖの値が−３＜Ｂｖ＜３のときは、重み付け加算合成処理が設定される。但し、このときの重みＷは、図１４に示したとおり、−ｌｏｇ２Ｗ＝Ｂｖ＋３という関係式を満たす値とされる。なお、この関係式は、例えば、図１３に示したライブビュー用のプログラム線図に対応付けられてフラッシュＲＯＭ３１１に記憶されている。
【０１３７】
Ｂｖの値が３≦Ｂｖ≦４のときは、平均合成処理が設定される。
第２の実施形態に係る露出設定（Ｓ３１７）では、図１３のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＳｖ及びＡｖの値が決定される。
【０１３８】
Ｂｖの値が−９≦Ｂｖ≦−３のときは、Ｓｖ＝−Ｂｖ＋２、Ａｖ＝２に決定される。
Ｂｖの値が−３＜Ｂｖ＜３のときは、Ｓｖ＝５、Ａｖ＝２に決定される。
Ｂｖの値が３≦Ｂｖ≦４のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ−１に決定される。
【０１３９】
重み付け加算合成処理では、平均合成処理と同様に、被写体の動きとして、Ｔｖ＝０相当のスローシャッター効果を得ることができる。また、ライブビュー用のフレームレートにおける１フレーム分の画像の明るさは重みＷに依って変化するため、ＳｖやＡｖの値を維持しつつＢｖが−３から３の範囲でも適正露出の画像を得ることが可能になる。
【０１４０】
以上のとおり、第２の実施形態に依れば、第１の実施形態と同様の効果が得られると共に、Ｂｖの値に応じてＳｖやＡｖの値がジャンプすることがないので、ライブビュー表示の見栄えやＡＦ性能に悪影響を及ぼす虞はない。
【０１４１】
なお、第２の実施形態において、例えば、静止画撮影時のシャッタースピード及び絞りに関わらず、常に適切な明るさのライブビュー画像を表示する構成とすることも可能である。これを、図１５及び図１６を用いて説明する。
【０１４２】
図１５は、第２の実施形態の変形例に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。図１６は、第２の実施形態の変形例に係る、重み付け加算合成処理で使用される重みＷとＢｖの関係の一例を示す図である。
【０１４３】
ここで説明する例では、静止画撮影時のシャッタースピード及び絞りを、Ｔｖ＝０に対応するシャッタースピード及びＡｖ＝５に対応する絞りであるとする。
この例において、第２の実施形態の変形例に係る合成処理方法設定（Ｓ３１６）では、図１５のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【０１４４】
Ｂｖの値がＢｖ＜−６のときは、重み付け加算合成処理が設定される。但し、このときの重みＷは、図１６に示したとおり、−ｌｏｇ２Ｗ＝Ｂｖ＋６という関係式を満たす値とされる。
【０１４５】
Ｂｖの値が−６≦Ｂｖ≦０のときは、加算合成処理が設定される。
Ｂｖの値が０＜Ｂｖのときは、重み付け加算合成処理が設定される。但し、このときの重みＷは、図１６に示したとおり、−ｌｏｇ２Ｗ＝Ｂｖという関係式を満たす値とされる。
【０１４６】
なお、図１６に示した関係式は、例えば、図１５に示したライブビュー用のプログラム線図に対応付けられてフラッシュＲＯＭ３１１に記憶されている。
第２の実施形態の変形例に係る露出設定（Ｓ３１７）では、図１５のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＳｖ及びＡｖの値が決定される。
【０１４７】
Ｂｖの値がＢｖ＜−６のときは、Ｓｖ＝１１、Ａｖ＝５に決定される。
Ｂｖの値が−６≦Ｂｖ≦０のときは、Ｓｖ＝−Ｂｖ＋５、Ａｖ＝５に決定される。
Ｂｖの値が０＜Ｂｖのときは、Ｓｖ＝５、Ａｖ＝５に決定される。
【０１４８】
この変形例に依れば、静止画撮影では−６≦Ｂｖ≦０の範囲でしか適正露出が得られないが、ライブビューではＢｖの全範囲で適正露出を得ることができる。加えて、撮影時シャッタースピードだけでなく被写界深度も静止画撮影と同等の画像をライブビュー表示することができる。
【０１４９】
また、第２の実施形態では、ライブビュー動作中に被写体輝度が時間的に変化すると、その変化のたびに画像合成処理（Ｓ３１１）で使用される合成処理方法が変更され、ライブビュー表示が安定しない虞があった。そこで、画像合成処理（Ｓ３１１）では、次に述べるとおり、ライブビュー表示の安定に好適な処理を行ってもよい。
【０１５０】
図１７は、Ｓ３１４で検出された被写体輝度に対応するＢｖの値のフレーム毎の変化の一例を示す図である。ここで、フレームは、ライブビュー用のフレームレートにおけるフレームである。
【０１５１】
図１７に示したとおり、この例では、ｉフレーム目以前はＢｖ＝−４であり、ｉ＋１フレーム目はＢｖ＝０であり、ｉ＋２フレーム目以降はＢｖ＝４である。
この場合、図１３に示したライブビュー用のプログラム線図及び図１４に示した重みＷとＢｖの関係に従って、合成処理方法設定（Ｓ３１６）及び露出設定（Ｓ３１７）が行われるとすると、撮像及び画像合成処理（Ｓ３１１）が次のとおり行われる。
【０１５２】
ｉフレーム目までは、Ｂｖ＝−４であるので、Ｓｖ＝６に対応する感度、Ａｖ＝２に対応する絞りで撮像し、６４枚のバッファリング画像を加算合成する。これを式で表すと、Ｓｉ＝Ｉｉ−６３＋Ｉｉ−６２＋…＋Ｉｉ−１＋Ｉｉとなる。
【０１５３】
ｉ＋１フレーム目では、Ｂｖ＝０であるので、Ｓｖ＝５に対応する感度、Ａｖ＝２に対応する絞りで撮像し、ｉ＋１フレーム目のバッファリング画像のみを重み１／８で重み付け加算合成する。これを式で表すと、Ｓｉ＋１＝Ｉｉ−６２＋Ｉｉ−６１＋…＋Ｉｉ＋（１／８）Ｉｉ＋１となる。
【０１５４】
ｉ＋２フレーム目では、Ｂｖ＝４であるので、Ｓｖ＝５に対応する感度、Ａｖ＝３に対応する絞りで撮像し、ｉ＋２フレーム目のバッファリング画像のみを平均合成する。これを式で表すと、Ｓｉ＋２＝Ｉｉ−６１＋Ｉｉ−６０＋…＋（１／８）Ｉｉ＋１＋Ｉｉ＋２／６４となる。
【０１５５】
ｉ＋３フレーム目では、Ｂｖ＝４であるので、Ｓｖ＝５に対応する感度、Ａｖ＝３に対応する絞りで撮像し、ｉ＋２フレーム目とｉ＋３フレーム目のバッファリング画像のみを平均合成する。これを式で表すと、Ｓｉ＋３＝Ｉｉ−６０＋Ｉｉ−５９＋…＋（１／８）Ｉｉ＋１＋Ｉｉ＋２／６４＋Ｉｉ＋３／６４となる。
【０１５６】
以降、ｉ＋６４フレーム目までは、同様の処理を繰り返す。
ｉ＋６５フレーム目以降は、Ｂｖ＝４であるので、Ｓｖ＝５に対応する感度、Ａｖ＝３に対応する絞りで撮像し、６４枚のバッファリング画像を平均合成する。（Ｓｉ＋６５＝Ｉｉ＋２／６４＋Ｉｉ＋３／６４＋…＋Ｉｉ＋６４／６４＋Ｉｉ＋６５／６４）
【０１５７】
この処理に依り、ライブビュー表示を安定させることができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【０１５８】
図１８は、第３の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
図１８に示したとおり、第３の実施形態に係る静止画撮影待機動作処理は、図３に示した第１の実施形態に係る静止画撮影待機動作処理に対して、Ｓ３１４の後であってＳ３１５の前に感度設定（Ｓ１８０１）が行われると共にＳ３１７の代わりに絞り設定（Ｓ１８０２）が行われる点が異なる。
【０１５９】
感度設定（Ｓ１８０１）では、ＢＣＰＵ３２７が、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ３１４で検出された被写体輝度に対応するＢｖの値とに基づいて、Ｓｖの値を決定し、そのＳｖの値に対応する感度を設定する。
【０１６０】
絞り設定（Ｓ１８０２）では、ＢＣＰＵ３２７が、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ１８０１で決定されたＳｖの値とに基づいて、Ａｖの値を決定し、そのＡｖの値に対応する絞りを設定する。
【０１６１】
また、図１８に示した第３の実施形態に係る静止画撮影待機動作処理において、合成処理方法設定（Ｓ３１６）では、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ１８０１で決定されたＳｖの値とに基づいて、合成処理方法が決定される。
【０１６２】
その他については、第１の実施形態に係る静止画撮影待機動作処理と同様である。
次に、図１９を用いて、第３の実施形態に係る、感度設定（Ｓ１８０１）、合成処理方法設定（Ｓ３１６）、及び絞り設定（Ｓ１８０２）の一例を説明する。
【０１６３】
図１９は、第３の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
この例では、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１／４秒が設定されているとする。
【０１６４】
この例において、感度設定（Ｓ１８０１）では、図１９のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＳｖの値が決定される。
【０１６５】
Ｂｖの値が−７≦Ｂｖ＜−４のときは、Ｓｖ＝−Ｂｖ＋４に決定される。
Ｂｖの値が−４≦Ｂｖ≦０のときは、Ｓｖ＝８に決定される。
Ｂｖの値が０＜Ｂｖ＜３のときは、Ｓｖ＝−Ｂｖ＋８に決定される。
【０１６６】
Ｂｖの値が３≦Ｂｖ≦６のときは、Ｓｖ＝５に決定される。
第３の実施形態に係る合成処理方法設定（Ｓ３１６）では、図１９のライブビュー用のプログラム線図に示したとおり、Ｓ１８０１で決定されたＳｖの値に応じて、次の合成処理方法が設定される。
【０１６７】
Ｓｖの値が５≦Ｓｖ＜８のときは、平均合成処理が設定される。
Ｓｖの値が８≦Ｓｖ≦１１のときは、加算合成処理が設定される。
絞り設定（Ｓ１８０２）では、図１９のライブビュー用のプログラム線図に示したとおり、Ｓ１８０１で決定されたＳｖの値に応じて、次のＡｖの値が決定される。
【０１６８】
Ｓｖの値が５≦Ｓｖ＜８のときは、Ａｖ＝Ｂｖ＋Ｓｖ−６に決定される。
Ｓｖの値が８≦Ｓｖ≦１１のときは、Ａｖ＝Ｂｖ＋Ｓｖ−２に決定される。
以上のとおり、第３の実施形態に依っても、第１の実施形態と同様の効果を得ることができる。
＜第４の実施形態＞
【０１６９】
次に、本発明の第４の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【０１７０】
図２０は、第４の実施形態に係る静止画撮影待機動作処理（Ｓ２０４）の流れを示すフローチャートである。
図２０に示したとおり、第４の実施形態に係る静止画撮影待機動作処理は、図３に示した第１の実施形態に係る静止画撮影待機動作処理に対して、Ｓ３１４の後であってＳ３１５の前に絞り設定（Ｓ２００１）が行われると共にＳ３１７の代わりに感度設定（Ｓ２００２）が行われる点が異なる。
【０１７１】
絞り設定（Ｓ２００１）では、ＢＣＰＵ３２７が、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ３１４で検出された被写体輝度に対応するＢｖの値とに基づいて、Ａｖの値を決定し、そのＡｖの値に対応する絞りを設定する。
【０１７２】
感度設定（Ｓ２００２）では、ＢＣＰＵ３２７が、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ２００１で決定されたＡｖの値とに基づいて、Ｓｖの値を決定し、そのＳｖの値に対応する感度を設定する。
【０１７３】
また、図２０に示した第４の実施形態に係る静止画撮影待機動作処理において、合成処理方法設定（Ｓ３１６）では、設定されている撮影時シャッタースピードに対応するライブビュー用のプログラム線図と、Ｓ２００１で決定されたＡｖの値とに基づいて、合成処理方法が決定される。
【０１７４】
その他については、第１の実施形態に係る静止画撮影待機動作処理と同様である。
次に、図２１を用いて、第４の実施形態に係る、絞り設定（Ｓ２００１）、合成処理方法設定（Ｓ３１６）、及び感度設定（Ｓ２００２）の一例を説明する。
【０１７５】
図２１は、第４の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。
この例では、第３の実施形態と同様に、ライブビュー用のフレームレートが６４フレーム／秒であるとし、撮影時シャッタースピードとして１／４秒が設定されているとする。
【０１７６】
この例において、絞り設定（Ｓ２００１）では、図２１のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するＢｖの値に応じて、次のＡｖの値が決定される。
【０１７７】
Ｂｖの値が−７≦Ｂｖ≦−１のときは、Ａｖ＝２に決定される。
Ｂｖの値が−１＜Ｂｖ＜１のときは、Ａｖ＝Ｂｖ＋３に決定される。
Ｂｖの値が１≦Ｂｖ≦５のときは、Ａｖ＝４に決定される。
【０１７８】
Ｂｖの値が５＜Ｂｖ≦６のときは、Ａｖ＝Ｂｖ−１に決定される。
第４の実施形態に係る合成処理方法設定（Ｓ３１６）では、図２１のライブビュー用のプログラム線図に示したとおり、Ｓ２００１で決定されたＡｖの値に応じて、次の合成処理方法が設定される。
【０１７９】
Ａｖの値が２≦Ａｖ≦４のときは、加算合成処理が設定される。
Ａｖの値が４＜Ａｖ≦５のときは、平均合成処理が設定される。
感度設定（Ｓ２００２）では、図２１のライブビュー用のプログラム線図に示したとおり、Ｓ２００１で決定されたＡｖの値に応じて、次のＳｖの値が決定される。
【０１８０】
Ａｖの値が２≦Ａｖ≦４のときは、Ｓｖ＝Ａｖ−Ｂｖ＋２に決定される。
Ａｖの値が４＜Ａｖ≦５のときは、Ｓｖ＝Ａｖ−Ｂｖ＋６に決定される。
以上のとおり、第４の実施形態に依っても、第１の実施形態と同様の効果を得ることができる。
＜第５の実施形態＞
【０１８１】
次に、本発明の第５の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【０１８２】
第５の実施形態では、画像処理コントローラ３０８が、更に、撮影された静止画を合成する機能を有する。
図２２は、第５の実施形態に係る静止画撮影動作処理（Ｓ２０５）の流れを示すフローチャートである。
【０１８３】
図２２に示したとおり、第５の実施形態に係る静止画撮影動作処理では、まずＳ２２０１において、ＢＣＰＵ３２７は、図３のＳ３０１の初期化処理と同様の処理を行う。
Ｓ２２０２において、ＢＣＰＵ３２７は、合成モードフラグを０に設定する。合成モードフラグは、静止画合成モードが設定されていないときは０に設定され、静止画合成モードが設定されているときは１に設定されるフラグである。静止画合成モードは、複数の静止画を合成して記録するモードである。静止画合成モードの設定は、カメラ操作ＳＷ３２５のメニュースイッチ、選択スイッチ、及び確定スイッチに依りメニュー画面から設定することができる。なお、この設定は、メニュー画面から行われるのではなく、専用のスイッチを用いて行われてもよい。この場合は、カメラ操作ＳＷ３２５が、静止画合成モードを設定するための指示入力を受け付けるスイッチを備えてもよい。
【０１８４】
Ｓ２２０３において、ＢＣＰＵ３２７は、静止画合成モードが設定されているか否かを判定する。
Ｓ２２０３の判定結果がＮＯの場合は、処理がＳ２２０６へ進む。
【０１８５】
一方、Ｓ２２０３の判定結果がＹＥＳの場合、Ｓ２２０４において、ＢＣＰＵ３２７は、合成モードフラグを１に設定する。
Ｓ２２０５において、ＢＣＰＵ３２７は、合成枚数を算出する。合成枚数は、後述するＳ２２１０で合成画像の生成に使用される静止画の数である。合成枚数は、ユーザが設定した総露光時間に基づいて算出される。総露光時間は、合成画像の生成に使用される複数の静止画の総露光時間である。総露光時間の設定は、例えば、カメラ操作ＳＷ３２５の操作に依り行うことができる。合成枚数の算出は、合成枚数をＭとし、設定されている総露光時間に相当するＴｖをＴｖｃとし、ライブビュー用のフレームレートの１フレームにおける露光時間に相当するＴｖをＴｖａとすると、合成枚数Ｍは、次式を用いて算出される。
【０１８６】
Ｍ＝２＾（Ｔｖａ−Ｔｖｃ）、ここで、「＾」は冪乗を示す。
Ｓ２２０６において、ＢＣＰＵ３２７は、露出を設定する。詳しくは、Ｓ２２０３の判定結果がＹＥＳの後のＳ２２０６では、設定されている総露光時間に対応するＴｖであるＴｖｃに対応する静止画合成用のプログラム線図と、Ｓ３１４で最後に検出された被写体輝度に対応するＢｖの値とに基づいてＡｖ及びＳｖの値を決定し、決定したＡｖ及びＳｖの値に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。一方、Ｓ２２０３の判定結果がＮＯの後のＳ２２０６では、Ｓ３１４で最後に検出された被写体輝度に基づいて、絞り２０５の駆動及び撮像感度の設定を行う。
【０１８７】
Ｓ２２０７において、ＢＣＰＵ３２７は、静止画用の撮像素子駆動処理を開始する。
Ｓ２２０８において、撮像素子Ｉ／Ｆ回路３０７は、ＢＣＰＵ３２７の制御の下、撮像素子３０６から画像信号を読み出して画像処理コントローラ３０８へ出力する。画像処理コントローラ３０８は、撮像素子３０６から読み出された画像信号に応じた画像を、ＳＤＲＡＭ３１０に格納する。ここで格納された画像は、静止画に対応する。
【０１８８】
Ｓ２２０９において、ＢＣＰＵ３２７は、合成モードフラグが１に設定されているか否かを判定する。
Ｓ２２０９の判定結果がＮＯの場合は、処理がＳ２２１２へ進む。
【０１８９】
一方、Ｓ２２０９の判定結果がＹＥＳの場合、Ｓ２２１０において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、ＳＤＲＡＭ３１０に格納された合成枚数分の画像を、設定されている合成処理方法に従って合成することに依り、設定されている総露光時間に対応する露光時間で露光された画像相当の合成画像を生成する、という画像合成処理を行う。ここで、合成枚数は、Ｓ２２０５で算出された合成枚数である。設定されている合成処理方法は、設定されている総露光時間に対応するＴｖであるＴｖｃに対応する静止画合成用のプログラム線図と、Ｓ３１４で最後に検出された被写体輝度に対応するＢｖの値とに基づいて決定される。
【０１９０】
但し、Ｓ２２１０において、合成枚数分の画像がＳＤＲＡＭ３１０に格納されていない場合は、合成画像の生成を行わず、処理がＳ２２１１へ進む。
Ｓ２２１１において、ＢＣＰＵ３２７は、撮影終了か否かを判定する。この判定では、Ｓ２２１０において合成画像の生成が行われ場合に判定結果がＹＥＳとなり、そうでない場合は判定結果がＮＯとなる。
【０１９１】
Ｓ２２１１の判定結果がＮＯの場合は、処理がＳ２２０８へ戻る。
一方、Ｓ２２１１の判定結果がＹＥＳの場合、Ｓ２２１２において、ＢＣＰＵ３２７は、静止画用の撮像素子駆動処理を終了する。
【０１９２】
Ｓ２２１３において、ＢＣＰＵ３２７は、現像処理を行う。詳しくは、Ｓ２２０９の判定結果がＹＥＳの後のＳ２２１３では、Ｓ２２１０で生成された合成画像に対して現像処理を行う。一方、Ｓ２２０９の判定結果がＮＯの後のＳ２２１３では、Ｓ２２０８で読み出された画像信号に応じた画像に対して現像処理を行う。
【０１９３】
Ｓ２２１４において、ＢＣＰＵ３２７は、Ｓ２２１３で現像処理が行われた画像を液晶モニター３１３又は電子ビューファインダー３１４に表示する。なお、Ｓ２２１３で現像処理が行われた画像の表示先又は出力先は、液晶モニター３１３又は電子ビューファインダー３１４に限らず、外部表示装置であってもよい。この場合、その外部表示装置は、外部出力端子３１２に接続された外部表示装置であってもよいし、無線回路３２３を介して無線接続された外部表示装置であってもよい。
【０１９４】
Ｓ２２１５において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、Ｓ２２１３で現像処理が行われた画像、又は、Ｓ２２１４で液晶モニター３１３又は電子ビューファインダー３１４に表示された画像を、静止画用の画像として、記録メディア３０９に記録する。なお、静止画用の画像の記録先又は出力先は、記録メディア３０９に限らず、外部記録装置であってもよい。この場合、その外部記録装置は、外部出力端子３１２に接続された外部記録装置であってもよいし、無線回路３２３を介して無線接続された外部記録装置であってもよい。
【０１９５】
Ｓ２２１５の記録が終了すると、図２２に示した静止画撮影動作処理を終了する。
次に、図２３を用いて、画像合成処理（Ｓ２２１０）で使用される合成処理方法の設定及び露出設定（Ｓ２２０６）の一例を説明する。
【０１９６】
図２３は、第５の実施形態に係る、静止画用のプログラム線図と静止画合成用のプログラム線図の一例を示す図である。
画像合成処理（Ｓ２２１０）で使用される合成処理方法の設定では、図２３の静止画合成用のプログラム線図に示したとおり、Ｓ３１４で最後に検出された被写体輝度に対応するＢｖの値に応じて、次の合成処理方法が設定される。
【０１９７】
Ｂｖの値が−７≦Ｂｖ＜−２のときは、加算合成処理が設定される。
Ｂｖの値が−２≦Ｂｖ≦６のときは、平均合成処理が設定される。
露出設定（Ｓ２２０６）では、図２３の静止画合成用のプログラム線図に示したとおり、Ｂｖの値に応じて、次のＳｖ及びＡｖの値が決定され、その値に応じて露出が設定される。
【０１９８】
Ｂｖの値が−７≦Ｂｖ＜−６のときは、Ｓｖ＝−Ｂｖ−１、Ａｖ＝２
Ｂｖの値が−６≦Ｂｖ＜−２のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ＋８
Ｂｖの値が−２≦Ｂｖ＜３のときは、Ｓｖ＝−Ｂｖ＋８、Ａｖ＝２
【０１９９】
Ｂｖの値が３≦Ｂｖ≦６のときは、Ｓｖ＝５、Ａｖ＝Ｂｖ−１
以上のとおり、第５の実施形態に依れば、所望の総露光時間に対応する露光時間で露光された画像相当の静止画を、静止画の合成に依り生成することができる。
＜第６の実施形態＞
【０２００】
次に、本発明の第６の実施形態について説明する。この説明では、第１の実施形態に対して異なる点のみを説明する。また、第１の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
【０２０１】
図２４は、第６の実施形態に係る動画撮影待機動作処理（Ｓ２０７）の流れを示すフローチャートである。
図２４に示した動画撮影待機動作処理の流れは、基本的に、図３に示した第１の実施形態に係る静止画撮影待機動作処理の流れと同じである。
【０２０２】
図２４に示した動画撮影待機動作処理において、Ｓ２４０１乃至Ｓ２４０４における処理は、図３のＳ３０１乃至Ｓ３０４における処理と同じである。なお、Ｓ２４０３では、長秒時動画であるか否かの判定がＢＣＰＵ３２７に依り行われる。この判定では、長秒時ライブビュー機能がオンに設定されている場合は長秒時動画であると判定され、長秒時ライブビュー機能がオフに設定されている場合は長秒時動画でないと判定される。従って、Ｓ２４０３の判定は、実質的に図３のＳ３０３の判定と同じである。
【０２０３】
Ｓ２４０５において、ＢＣＰＵ３２７は、動画用の撮像素子駆動処理を開始する。この動画用の撮像素子駆動処理は、図３のＳ３０５で開始されるライブビュー用の撮像素子駆動処理と実質的に同じである。
【０２０４】
Ｓ２４０６乃至Ｓ２４３１７における処理は、図３のＳ３０６乃至Ｓ３１７における処理と同じである。
Ｓ２４１８において、ＢＣＰＵ３２７は、動画撮影開始指示が為されたか否かを判定する。なお、動画撮影開始指示は、レリーズスイッチに依り行うことができる。
【０２０５】
Ｓ２４１８の判定結果がＮＯの場合は、処理がＳ２４０６へ戻る。
一方、Ｓ２４１８の判定結果がＹＥＳの場合は、図２４に示した動画撮影待機動作処理が終了する。
【０２０６】
図２５は、第６の実施形態に係る動画撮影動作処理（Ｓ２０８）の流れを示すフローチャートである。
図２５に示した動画撮影動作処理において、Ｓ２５０１における処理は、図２４のＳ２４０６における処理と同じである。Ｓ２５０２乃至Ｓ２５０７における処理は、図２４のＳ２４０８乃至Ｓ２４１３における処理と同じである。
【０２０７】
Ｓ２５０８において、画像処理コントローラ３０８は、ＢＣＰＵ３２７の制御の下、Ｓ２５０６で現像処理が行われた画像、又は、Ｓ２５０７で液晶モニター３１３又は電子ビューファインダー３１４に表示された画像を、動画用の画像として、記録メディア３０９に記録する。なお、ここで記録される動画用の画像は、動画の１フレーム分の画像である。動画用の画像の記録先又は出力先は、記録メディア３０９に限らず、外部記録装置であってもよい。この場合、その外部記録装置は、外部出力端子３１２に接続された外部記録装置であってもよいし、無線回路３２３を介して無線接続された外部記録装置であってもよい。
【０２０８】
Ｓ２５０９乃至２５１２における処理は、Ｓ２４１４乃至Ｓ２４１７における処理と同じである。
Ｓ２５１３において、ＢＣＰＵ３２７は、動画撮影終了指示が為されたか否かを判定する。なお、動画撮影終了指示も、レリーズスイッチに依り行うことができる。
【０２０９】
Ｓ２５１３の判定結果がＮＯの場合は、処理がＳ２５０１へ戻る。
一方、Ｓ２５１３の判定結果がＹＥＳの場合、Ｓ２５１４において、ＢＣＰＵ３２７は、Ｓ２４０５で開始した動画用の撮像素子駆動処理を終了し、図２５に示した動画撮影動作処理が終了する。
【０２１０】
なお、第６の実施形態において、Ｓ２４１３及びＳ２５０７で表示されるライブビュー画像のサイズとＳ２５０８で記録される動画用の画像のサイズが異なる場合に、それぞれを別々に生成するのは非効率である。そこで、図２４に示した動画撮影待機動作処理及び図２５に示した動画撮影動作処理において扱う画像のサイズを、記録される動画用の画像サイズに合わせ、Ｓ２４１３及びＳ２５０７においては、画像サイズを縮小させた画像を表示してもよい。あるいは、動画用の画像に高い解像度が求められていない場合には、図２４に示した動画撮影待機動作処理及び図２５に示した動画撮影動作処理において扱う画像のサイズを適度な画像サイズとし、Ｓ２４１３及びＳ２５０７においては、画像サイズをアップコンバートに依り拡大させた画像を表示してもよい。なお、この画像サイズの縮小又は拡大は、例えば、Ｓ２４１２及びＳ２５０６の現像処理の中で行われる。
【０２１１】
以上のとおり、第６の実施形態に依れば、動画撮影待機動作中においてはライブビュー表示を行わせ、動画撮影動作中においてはライブビュー表示と共に、動画記録又は外部装置への動画出力を行わせることができる。ライブビュー表示においては、第１の実施形態と同様の効果が得られることは勿論である。
【０２１２】
以上に説明した各実施形態における合成処理方法の設定、Ｓｖ及びＡｖの値の決定について、以下、補足説明を行う。
まず、Ｔｖに関して、Ｔｖａ、Ｔｖｂ、及びＴｖｃを、次のとおり定義する。
【０２１３】
Ｔｖａ：合成前画像１つの露光時間に対応するＴｖ
Ｔｖｂ：合成後画像の明るさに相当するＴｖ
Ｔｖｃ：合成後画像の総露光時間に対応するＴｖ
【０２１４】
ここで、合成前画像は、撮像フレーム画像である。合成後画像は、合成画像である。合成後画像の総露光時間は、合成後画像の生成に使用された合成前画像の露光時間の合計である。
【０２１５】
合成前後で画像の明るさがＡ倍になった場合、Ｔｖｂ＝Ｔｖａ−ｌｏｇ２Ａと表すことができる。例えば、６４フレームのＴｖａ＝６の合成前画像を加算合成した場合、明るさは６４倍になるので、Ｔｖｂ＝６−ｌｏｇ２６４＝０となる。また、６４フレームのＴｖａ＝６の合成前画像を平均合成した場合、明るさは１倍になるので、Ｔｖｂ＝６−ｌｏｇ２１＝６となる。
【０２１６】
Ｎフレームの合成前画像を合成した場合、合成方法に依らず、Ｔｖｃ＝Ｔｖａ−ｌｏｇ２Ｎ＝Ｔｖｂ+ｌｏｇ２Ａ−ｌｏｇ２Ｎと表すことができる。例えば、６４フレームのＴｖａ＝６の合成前画像を合成した場合は、Ｔｖｃ＝６−ｌｏｇ２６４＝０となる。これについて、加算合成の観点では、６４フレームのＴｖａ＝６の合成前画像を加算合成した場合、明るさは６４倍になるので、Ｔｖｃ＝Ｔｖｂ+ｌｏｇ２６４−ｌｏｇ２６４＝Ｔｖｂ＝０となる。また、平均合成の観点では、６４フレームのＴｖａ＝６の合成前画像を平均合成した場合、明るさは１倍になるので、Ｔｖｃ＝Ｔｖｂ+ｌｏｇ２１−ｌｏｇ２４＝Ｔｖｂ‐６＝０となる。つまり、合成方法に依らず、Ｔｖｃ＝０となる。
【０２１７】
また、Ｔｖ０、Ｔｖａ０、Ｔｖｃ０を、次のとおり定義する。
Ｔｖ０：ユーザが設定した静止画撮影時の露光時間に相当するＴｖ
Ｔｖａ０：ライブビュー１フレームの露光時間に相当するＴｖ
【０２１８】
Ｔｖｃ０：合成に依るライブビュー画像の露光時間に相当するＴｖ
ここで、ユーザが設定した静止画撮影時の露光時間は、撮影時シャッタースピードである。Ｔｖａ０とＴｖ０の関係においては、Ｔｖａ０＞Ｔｖ０の関係がある。長秒時ライブビュー機能がオンに設定されている場合は、合成に依るライブビュー画像の露光時間を静止画撮影時の露光時間と同等とするため、Ｔｖｃ０＝Ｔｖ０の関係がある。加算合成の場合は、Ｔｖｂ＝Ｔｖｃ０の関係がある。平均合成の場合は、Ｔｖｂ＝Ｔｖａ０の関係がある。
【０２１９】
また、カメラ１００は、次の範囲で静止画撮影可能と仮定する。
最大絞り：Ａｖｍｉｎ
最小絞り：Ａｖｍａｘ
【０２２０】
最低感度：Ｓｖｍｉｎ
最高感度：Ｓｖｍａｘ
ここで、最大絞りとは、絞り２０５に依る開口面積を最大にした状態のことであり、この状態に対応するＡｖの値は最小となる。最小絞りとは、絞り２０５に依る開口面積を最小にした状態のことであり、この状態に対応するＡｖの値は最大となる。
【０２２１】
また、静止画撮影で適正露出が得られる輝度範囲は、Ｔｖ＋Ａｖ＝Ｓｖ＋Ｂｖの関係から、次のとおり表される。
最低輝度：Ｂｖｍｉｎ＝Ｔｖ０＋Ａｖｍｉｎ−Ｓｖｍａｘ
【０２２２】
最高輝度：Ｂｖｍａｘ＝Ｔｖ０＋Ａｖｍａｘ−Ｓｖｍｉｎ
これらを前提に、まず、第１の実施形態について補足説明を行う。
ここでは、ライブビューにおける最小絞りに次の制限があると仮定する。
【０２２３】
ライブビューにおける最小絞り：Ａｖｍａｘ’＜Ａｖｍａｘ
加算合成に依り適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（加算）＝Ｔｖｃ０＋Ａｖｍｉｎ−Ｓｖｍａｘ
【０２２４】
最高輝度：Ｂｖｍａｘ（加算）＝Ｔｖｃ０＋Ａｖｍａｘ’−Ｓｖｍｉｎ
ここで、Ｂｖｍｉｎ（加算）＝Ｂｖｍｉｎでもあり、Ｂｖｍａｘ（加算）＜Ｂｖｍａｘでもある。
【０２２５】
平均合成に依り適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（平均）＝Ｔｖａ０＋Ａｖｍｉｎ−Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（平均）＝Ｔｖａ０＋Ａｖｍａｘ’−Ｓｖｍｉｎ
【０２２６】
ここで、Ｂｖｍｉｎ（平均）＞Ｂｖｍｉｎ（加算）でもあり、Ｂｖｍａｘ（平均）＞Ｂｖｍａｘ（加算）でもある。
図７及び図８を用いて説明した例の場合は、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。この設定方法は、加算合成処理を優先した設定方法でもある。
【０２２７】
Ｂｖｍｉｎ≦Ｂｖ≦Ｂｖｍａｘ（加算）：加算合成処理
Ｂｖｍａｘ（加算）＜Ｂｖ≦Ｂｖｍａｘ：平均合成処理
また、図９を用いて説明した例の場合は、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。この設定方法は、平均合成処理を優先した設定方法でもある。
【０２２８】
Ｂｖｍｉｎ≦Ｂｖ＜Ｂｖｍｉｎ（平均）：加算合成処理
Ｂｖｍｉｎ（平均）≦Ｂｖ≦Ｂｖｍａｘ：平均合成処理
Ａｖ、Ｓｖの値は、次の関係式を満たす値に決定される。
【０２２９】
加算合成処理：Ａｖ−Ｓｖ＝Ｂｖ−Ｔｖｃ０
平均合成処理：Ａｖ−Ｓｖ＝Ｂｖ−Ｔｖａ０
この関係式に依ればＡｖとＳｖの値の決め方に自由度があるため、条件を設定して一意に決定する。第１実施形態の場合は、Ｓｖの値が最小となる条件を設定する。
【０２３０】
次に、第２の実施形態について補足説明を行う。
重みＷ、合成枚数Ｎとして重み付け加算合成を行った場合、合成前後で明るさはＮ×Ｗ倍となるため、Ｔｖｂ＝Ｔｖａ０−ｌｏｇ２ＮＷ＝（Ｔｖａ０−ｌｏｇ２Ｎ）−ｌｏｇ２Ｗ＝Ｔｖｃ０−ｌｏｇ２Ｗと表される。
【０２３１】
第２の実施形態では、絞りや感度のジャンプ、即ちＡｖやＳｖのジャンプ、を避けるため、各合成処理において、次のとおり制約が設けられる。
加算合成処理：Ａｖ＝Ａｖｍｉｎ
【０２３２】
重み付け加算合成処理：Ａｖ＝Ａｖｍｉｎ、Ｓｖ＝Ｓｖｍｉｎ、１／Ｎ＜Ｗ＜１
平均合成処理：Ｓｖ＝Ｓｖｍｉｎ
この制約の下、加算合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
【０２３３】
最低輝度：Ｂｖｍｉｎ（加算）＝Ｔｖｃ０＋Ａｖｍｉｎ−Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（加算）＝Ｔｖｃ０＋Ａｖｍｉｎ−Ｓｖｍｉｎ
ここで、Ｂｖｍｉｎ（加算）＝Ｂｖｍｉｎでもある。
【０２３４】
重み付け加算合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（重み付け加算）＝Ｔｖｃ０＋Ａｖｍｉｎ−Ｓｖｍｉｎ
最高輝度：Ｂｖｍａｘ（重み付け加算）＝Ｔｖａ０＋Ａｖｍｉｎ−Ｓｖｍｉｎ
【０２３５】
ここで、Ｂｖｍｉｎ（重み付け加算）＝Ｂｖｍａｘ（加算）でもあり、Ｂｖｍａｘ（重み付け加算）＝Ｂｖｍｉｎ（平均）でもある。
平均合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
【０２３６】
最低輝度：Ｂｖｍｉｎ（平均）＝Ｔｖａ０＋Ａｖｍｉｎ−Ｓｖｍｉｎ
最高輝度：Ｂｖｍａｘ（平均）＝Ｔｖａ０＋Ａｖｍａｘ’−Ｓｖｍｉｎ
図１３及び図１４を用いて説明した例では、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。
【０２３７】
Ｂｖｍｉｎ≦Ｂｖ≦Ｂｖｍａｘ（加算）：加算合成処理
Ｂｖｍａｘ（加算）＜Ｂｖ＜Ｂｖｍｉｎ（平均）：重み付け加算合成処理
Ｂｖｍｉｎ（平均）≦Ｂｖ≦Ｂｖｍａｘ：平均合成処理
【０２３８】
Ａｖ、Ｓｖの値は、次のとおり決定される。
加算合成処理：Ａｖ＝Ａｖｍｉｎ、Ｓｖ＝Ｔｖｃ０＋Ａｖｍｉｎ−Ｂｖ
重み付け加算合成処理：Ａｖ＝Ａｖｍｉｎ、Ｓｖ＝Ｓｖｍｉｎ、但し、重みＷは、ｌｏｇ２Ｗ＝Ｔｖｃ０＋Ａｖｍｉｎ−Ｓｖｍｉｎ−Ｂｖを満たす値
【０２３９】
平均合成処理：Ａｖ＝Ｂｖ＋Ｓｖｍｉｎ−Ｔｖａ０、Ｓｖ＝Ｓｖｍｉｎ
また、図１５及び図１６を用いて説明した例では、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。
【０２４０】
Ｂｖｍｉｎ≦Ｂｖ≦Ｂｖｍａｘ（加算）：加算合成処理
Ｂｖ＜Ｂｖｍｉｎ（加算）、Ｂｖｍａｘ（加算）＜Ｂｖ：重み付け加算合成処理
図１５及び図１６を用いて説明した例は、Ａｖの値が固定の例であり、Ａｖ＝５となる。
【０２４１】
Ｓｖの値は、Ｂｖの値に応じて決定される。
次に、第３の実施形態について補足説明を行う。
第３の実施形態では、Ｓｖの値に依って、次のとおり合成処理方法が設定される。
【０２４２】
Ｓｖ０≦Ｓｖ≦Ｓｖｍａｘ：加算合成処理
Ｓｖｍｉｎ≦Ｓｖ＜Ｓｖ０：平均合成処理
なお、加算合成処理を実施するＳｖの範囲、平均合成処理を実施するＳｖの範囲は、予め決められている。
【０２４３】
この制限の下、Ａｖが決定される。
次に、第４の実施形態について補足説明を行う。
第４の実施形態では、Ａｖの値に依って、次のとおり合成処理方法が設定される。
【０２４４】
Ａｖｍｉｎ≦Ａｖ≦Ａｖ０：加算合成処理
Ａｖ０＜Ａｖ≦Ａｖｍａｘ’：平均合成処理
なお、加算合成処理を実施するＡｖの範囲、平均合成を実施するＡｖの範囲は、予め決められている。
【０２４５】
この制限の下、Ｓｖが決定される。
次に、第５の実施形態について補足説明を行う。
ここでは、Ｔｖ＝Ｔｖ０で撮影した画像をＭ枚平均合成して静止画を生成し記録する場合を仮定する。この場合、合成後の静止画に関するＴｖａ、Ｔｖｂ、Ｔｖｃは、次のとおり表される。
【０２４６】
Ｔｖａ＝Ｔｖ０
Ｔｖｂ＝Ｔｖ０
Ｔｖｃ＝Ｔｖ０−ｌｏｇ２Ｍ
【０２４７】
なお、平均合成では合成前後で明るさが変化しないため、Ｔｖｂ＝Ｔｖ０となる。
静止画合成モードでは、Ｔｖａ、Ｔｖｂ、Ｔｖｃが、次のとおり表される。
Ｔｖａ＝Ｔｖａ０
【０２４８】
加算合成処理の場合のＴｖｂ＝Ｔｖ０−ｌｏｇ２Ｍ
平均合成処理の場合のＴｖｂ＝Ｔｖａ０
Ｔｖｃ＝Ｔｖ０−ｌｏｇ２Ｍ
【０２４９】
このとき、加算合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（加算）＝Ｔｖ０−ｌｏｇ２Ｍ＋Ａｖｍｉｎ−Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（加算）＝Ｔｖ０−ｌｏｇ２Ｍ＋Ａｖｍａｘ’−Ｓｖｍｉｎ
【０２５０】
また、平均合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度：Ｂｖｍｉｎ（平均）＝Ｔｖａ０＋Ａｖｍｉｎ−Ｓｖｍａｘ
最高輝度：Ｂｖｍａｘ（平均）＝Ｔｖａ０＋Ａｖｍａｘ’−Ｓｖｍｉｎ
【０２５１】
図２３を用いて説明した例では、検出された被写体輝度に対応するＢｖの値に依って、次のとおり合成処理方法が設定される。
Ｂｖｍｉｎ≦Ｂｖ≦Ｂｖｍａｘ（加算）：加算合成処理
Ｂｖｍａｘ（加算）＜Ｂｖ≦Ｂｖｍａｘ：平均合成処理
【０２５２】
Ａｖ、Ｓｖの値は、第１の実施形態と同様に決定される。
第６の実施形態については、第１の実施形態と同様に、合成処理方法、Ｓｖの値、及びＡｖの値が決定される。
【０２５３】
なお、以上に説明した各実施形態において、加算合成処理、平均合成処理、及び重み付け加算合成処理の各処理は、例えば、本出願人が過去に出願した特願２０１７−２１８７３３に開示の画像合成処理の手順に従って行われてもよい。この場合、例えば、加算合成処理では、ゲイン値を１として画像の累積加算が行われ、平均合成処理では、ゲイン値を１／合成枚数として画像の累積加算が行われる。
【０２５４】
以上、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０２５５】
１００            カメラ
２００            レンズユニット
２０１            レンズ側マウント部
２０２            レンズ側通信コネクタ
２０３            撮影レンズ
２０４            レンズ駆動回路
２０５            絞り
２０６            絞り駆動回路
２０７            ＥＥＰＲＯＭ
２０８            レンズ制御用マイクロコンピュータ（ＬＣＰＵ）
３００            ボディユニット
３０１            ボディ側マウント部
３０２            ボディ側通信コネクタ
３０３            シャッター
３０４            シャッターチャージ機構
３０５            シャッター制御回路
３０６            撮像素子
３０７            撮像素子インターフェース回路（撮像素子Ｉ／Ｆ回路）
３０８            画像処理コントローラ
３０９            記録メディア
３１０            ＳＤＲＡＭ
３１１            フラッシュＲＯＭ（ＦＲＡＳＨ  ＲＯＭ）
３１２            外部出力端子
３１３            液晶モニター
３１４            電子ビューファインダー
３１５            撮像ステージ
３１６            撮像ステージ駆動回路
３１７            姿勢変化検出部
３１８            防振制御回路
３１９            ストロボ
３２０            ストロボ駆動回路
３２１            電源回路
３２２            電池
３２３            無線回路
３２４            動作表示部
３２５            カメラ操作ＳＷ
３２６            ＥＥＰＲＯＭ
３２７            ボディ制御用マイクロコンピュータ（ＢＣＰＵ）
３０３１          先幕
３０３２          後幕
３１７１          Ｙ方向Ｇセンサ
３１７２          Ｘ方向Ｇセンサ
３１７３          ピッチジャイロセンサ（ピッチジャイロ）
３１７４          ヨージャイロセンサ（ヨージャイロ）
３１７５          ロールジャイロセンサ（ロールジャイロ）
【図１】
2020010140.tif 000003
【図２】
2020010140.tif 000004
【図３】
2020010140.tif 000005
【図４】
2020010140.tif 000006
【図５】
2020010140.tif 000007
【図６】
2020010140.tif 000008
【図７】
2020010140.tif 000009
【図８】
2020010140.tif 000010
【図９】
2020010140.tif 000011
【図１０】
2020010140.tif 000012
【図１１】
2020010140.tif 000013
【図１２】
2020010140.tif 000014
【図１３】
2020010140.tif 000015
【図１４】
2020010140.tif 000016
【図１５】
2020010140.tif 000017
【図１６】
2020010140.tif 000018
【図１７】
2020010140.tif 000019
【図１８】
2020010140.tif 000020
【図１９】
2020010140.tif 000021
【図２０】
2020010140.tif 000022
【図２１】
2020010140.tif 000023
【図２２】
2020010140.tif 000024
【図２３】
2020010140.tif 000025
【図２４】
2020010140.tif 000026
【図２５】
2020010140.tif 000027
【図２６】
2020010140.tif 000028