(57)【要約】【課題】被写体や撮像装置が動いた場合でも深度合成処理を適切に行うことができる撮像装置、画像合成方法、およびプログラムを提供する。【解決手段】最後のフォーカス位置で撮像した画像（Ｆｃ０、Ｆｃ１）に対しては、当該最後に撮像した画像を画像合成時の位置合せの基準にして、過去の撮像画像、又は過去に合成された画像（Ｆ２）と画像合成し、一方、最後のフォーカス位置で撮像した画像以外の撮像画像（Ｆｄ１、Ｆｂ１、Ｆｄ１、Ｆａ１）に対しては、過去の撮像画像、又は過去に合成された画像（ｆ０、ｆ１、ｆ２）を位置合せの基準に画像合成を行う。【選択図】  図８
2018011268.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像面に結像させる撮像用レンズと、
上記撮像面に位置し、上記被写体を撮像して画像データを取得する撮像部と、
撮像回数と当該撮像回数に応じて上記撮像面のフォーカス位置設定を行うフォーカスブラケット設定部と、
上記フォーカスブラケット設定部で設定された複数のフォーカス位置で撮像し、撮像毎に逐次画像合成を行い、上記フォーカスブラケット設定部で設定された上記撮像回数の撮像後に深度合成画像を生成する深度合成制御部と、
上記深度合成制御部で生成された深度合成画像を表示する表示部と、
上記フォーカスブラケット設定によるフォーカス位置の設定、上記深度合成制御部による上記深度合成画像の生成、上記表示部による上記深度合成画像の表示の一連の処理を繰り返し行うライブビュー制御部と、
を具備し、
上記深度合成制御部は、最後のフォーカス位置で撮像した画像に対しては、当該最後に撮像した画像を画像合成時の位置合せの基準にして、過去の撮像画像、又は過去に合成された画像と画像合成し、
一方、上記最後のフォーカス位置で撮像した画像以外の撮像画像に対しては、過去の撮像画像、又は過去に合成された画像を位置合せの基準に画像合成を行うことを特徴とする撮像装置。
【請求項２】
上記フォーカスブラケット設定部は、上記撮像面の最後のフォーカス位置をＡＦのフォーカス位置に設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記深度合成制御部は、
上記最後のフォーカス位置における撮像画像を基準にして、この最後のフォーカス位置の次の位置における撮像画像の位置合わせを行い、
この位置合わせを行った撮像画像と、上記最後のフォーカス位置の次の位置における撮像画像を用いて位置合わせ用深度合成を行い、位置合わせ用深度合成画像を生成する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記深度合成制御部は、
上記位置合わせ用深度合成画像を基準にして、最新の撮影画像の位置合わせを行い、
この位置合わせを行った撮影画像と、上記位置合わせ用深度合成画像を用いて深度合成を行う、
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記深度合成制御部は、
上記最後のフォーカス位置における撮像画像を基準にして上記最後のフォーカス位置の直前に生成された深度合成画像の位置合わせを行い、
この位置合わせを行った深度合成画像と、上記最後のフォーカス位置における撮像画像を用いて、最終的な深度合成画像を生成する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記フォーカスブラケット設定部は、上記最後のフォーカス位置の次の位置を、当該最後のフォーカス位置に隣接するフォーカス位置に設定し、
上記深度合成制御部は、上記最後のフォーカス位置と、この最後のフォーカス位置の次の位置における撮像画像を用いて、位置合わせを行わない、
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
上記フォーカスブラケット設定部で設定された複数のフォーカス位置で撮像し、取得した画像に基づいて合焦レベルを検出する合焦レベル検出部と、
を有し、
上記フォーカスブラケット設定部は、上記撮像面の最後のフォーカス位置を上記合焦レベル検出部によって検出された合焦レベルが高いフォーカス位置に設定することを特徴とする請求項１に記載の撮像装置。
【請求項８】
上記画像データに基づいて焦点状態を示すＡＦレベルを算出するＡＦ処理部を有し、
上記フォーカスブラケット設定部は、先の１周期において上記ＡＦレベルを算出し、その結果に基づいて、深度合成を行うフォーカス位置を設定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項９】
上記画像データに基づいて焦点状態を示すＡＦレベルを算出するＡＦ処理部を有し、
上記深度合成制御部は、上記ＡＦレベルが合焦範囲内でない場合に、深度合成画像を生成しないことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
被写体を撮像面に結像させる撮像用レンズと、
上記撮像面に位置し、上記被写体を撮像して画像データを取得する撮像部と、
を有する撮像装置の画像合成方法において、
撮像回数と当該撮像回数に応じて上記撮像面のフォーカス位置設定を行うフォーカスブラケット設定ステップと、
上記フォーカスブラケット設定ステップで設定された複数のフォーカス位置で撮像し、撮像毎に逐次画像合成を行い、上記フォーカスブラケット設定ステップで設定された上記撮像回数の撮像後に深度合成画像を生成する深度合成制御ステップと、
上記深度合成制御ステップで生成された深度合成画像を表示する表示ステップと、
上記フォーカスブラケット設定ステップにおけるフォーカス位置の設定、上記深度合成制御ステップにおける上記深度合成画像の生成、上記表示ステップにおける上記深度合成画像の表示の一連の処理を繰り返し行うライブビュー制御ステップと、
を有し、
上記深度合成制御ステップは、最後のフォーカス位置で撮像した画像に対しては、当該最後に撮像した画像を画像合成時の位置合せの基準にして、過去の撮像画像、又は過去に合成された画像と画像合成し、
一方、上記最後のフォーカス位置で撮像した画像以外の撮像画像に対しては、過去の撮像画像、又は過去に合成された画像を位置合せの基準に画像合成を行う、
ことを特徴とする画像合成方法。
【請求項１１】
被写体を撮像面に結像させる合焦用レンズと、
上記撮像面に位置し、上記被写体を撮像して画像データを取得する撮像部と、
を有する撮像装置のコンピュータを実行させるためのプログラムにおいて、
撮像回数と当該撮像回数に応じて上記撮像面のフォーカス位置設定を行うフォーカスブラケット設定ステップと、
上記フォーカスブラケット設定ステップで設定された複数のフォーカス位置で撮像し、撮像毎に逐次画像合成を行い、上記フォーカスブラケット設定ステップで設定された上記撮像回数の撮像後に深度合成画像を生成する深度合成制御ステップと、
上記深度合成制御ステップで生成された深度合成画像を表示する表示ステップと、
上記フォーカスブラケット設定ステップにおけるフォーカス位置の設定、上記深度合成制御ステップにおける上記深度合成画像の生成、上記表示ステップにおける上記深度合成画像の表示の一連の処理を繰り返し行うライブビュー制御ステップと、
を有し、
上記深度合成制御ステップは、最後のフォーカス位置で撮像した画像に対しては、当該最後に撮像した画像を画像合成時の位置合せの基準にして、過去の撮像画像、又は過去に合成された画像と画像合成し、
一方、上記最後のフォーカス位置で撮像した画像以外の撮像画像に対しては、過去の撮像画像、又は過去に合成された画像を位置合せの基準に画像合成を行う、
ことを上記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカス位置を変更しながら、複数の画像データを取得し、この複数の画像データを合成する撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
全焦点位置においてピントの合った写真を撮影することは困難である。そこで、撮影によって画像データを取得した後に、さらに焦点位置を移動させて再度撮影を行って画像データを取得し、これを繰り返すことにより、複数の画像データを取得する。そして、取得した複数の画像データを合成することにより、広範囲の被写体距離についてピントの合った画像データを提供することが提案されている（特許文献１参照）。なお、この合成処理を、深度合成処理と称する。
【０００３】
また、深度合成処理によって、焦点深度の深い合成画像を得るために、レリーズ釦の全押しがなされた際のフォーカス位置を基準位置として、まず至近側にフォーカスレンズを移動させ、次いで無限遠側に移動させている（特許文献２参照）。レンズ釦の全押し時のフォーカス位置は、ＡＦによって合焦位置にあり、合焦精度や位置合わせを行うに最適である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２９８７５５号公報
【特許文献２】特開２０１５−１８６０８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述の特許文献１に開示の深度合成処理では、対応する座標の画素毎に合焦画素を判別するため、被写体や撮像装置が動いた場合に正確な合焦画素判別を行うことができず、至近側から無限遠側でのピント合った合成画像を得ることができない。また、特許文献２に開示の深度合成処理では、動画撮影時に深度合成処理を行う場合に、最初に基準画像を取得するために、全焦点画像の画角とユーザが意図する画角にずれ（タイムラグ）が生じてしまう。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、被写体や撮像装置が動いた場合でも深度合成処理を適切に行うことができる撮像装置、画像合成方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係る撮像装置は、被写体を撮像面に結像させる撮像用レンズと、上記撮像面に位置し、上記被写体を撮像して画像データを取得する撮像部と、撮像回数と当該撮像回数に応じて上記撮像面のフォーカス位置設定を行うフォーカスブラケット設定部と、上記フォーカスブラケット設定部で設定された複数のフォーカス位置で撮像し、撮像毎に逐次画像合成を行い、上記フォーカスブラケット設定部で設定された上記撮像回数の撮像後に深度合成画像を生成する深度合成制御部と、上記深度合成制御部で生成された深度合成画像を表示する表示部と、上記フォーカスブラケット設定によるフォーカス位置の設定、上記深度合成制御部による上記深度合成画像の生成、上記表示部による上記深度合成画像の表示の一連の処理を繰り返し行うライブビュー制御部と、を具備し、上記深度合成制御部は、最後のフォーカス位置で撮像した画像に対しては、当該最後に撮像した画像を画像合成時の位置合せの基準にして、過去の撮像画像、又は過去に合成された画像と画像合成し、一方、上記最後のフォーカス位置で撮像した画像以外の撮像画像に対しては、過去の撮像画像、又は過去に合成された画像を位置合せの基準に画像合成を行う。
【０００８】
第２の発明に係る撮像装置は、上記第１の発明において、上記フォーカスブラケット設定部は、上記撮像面の最後のフォーカス位置をＡＦのフォーカス位置に設定する。
第３の発明に係る撮像装置は、上記第１の発明において、上記深度合成制御部は、上記最後のフォーカス位置における撮像画像を基準にして、この最後のフォーカス位置の次の位置における撮像画像の位置合わせを行い、この位置合わせを行った撮像画像と、上記最後のフォーカス位置の次の位置における撮像画像を用いて位置合わせ用深度合成を行い、位置合わせ用深度合成画像を生成する。
【０００９】
第４の発明に係る撮像装置は、上記第１の発明において、上記深度合成制御部は、上記位置合わせ用深度合成画像を基準にして、最新の撮影画像の位置合わせを行い、この位置合わせを行った撮影画像と、上記位置合わせ用深度合成画像を用いて深度合成を行う。
第５の発明に係る撮像装置は、上記第１の発明において、上記深度合成制御部は、上記最後のフォーカス位置における撮像画像を基準にして上記最後のフォーカス位置の直前に生成された深度合成画像の位置合わせを行い、この位置合わせを行った深度合成画像と、上記最後のフォーカス位置における撮像画像を用いて、最終的な深度合成画像を生成する。
【００１０】
第６の発明に係る撮像装置は、上記第１の発明において、上記フォーカスブラケット設定部は、上記最後のフォーカス位置の次の位置を、当該最後のフォーカス位置に隣接するフォーカス位置に設定し、上記深度合成制御部は、上記最後のフォーカス位置と、この最後のフォーカス位置の次の位置における撮像画像を用いて、位置合わせを行わない。
第７の発明に係る撮像装置は、上記第１の発明において、上記フォーカスブラケット設定部で設定された複数のフォーカス位置で撮像し、取得した画像に基づいて合焦レベルを検出する合焦レベル検出部と、を有し、上記フォーカスブラケット設定部は、上記撮像面の最後のフォーカス位置を上記合焦レベル検出部によって検出された合焦レベルが高いフォーカス位置に設定する。
【００１１】
第８の発明に係る撮像装置は、上記第１の発明において、上記画像データに基づいて焦点状態を示すＡＦレベルを算出するＡＦ処理部を有し、上記フォーカスブラケット設定部は、先の１周期において上記ＡＦレベルを算出し、その結果に基づいて、深度合成を行うフォーカス位置を設定する。
第９の発明に係る撮像装置は、上記第１の発明において、上記画像データに基づいて焦点状態を示すＡＦレベルを算出するＡＦ処理部を有し、上記深度合成制御部は、上記ＡＦレベルが合焦範囲内でない場合に、深度合成画像を生成しない。（
【００１２】
第１０の発明に係る画像合成方法は、被写体を撮像面に結像させる撮像用レンズと、上記撮像面に位置し、上記被写体を撮像して画像データを取得する撮像部と、を有する撮像装置の画像合成方法において、撮像回数と当該撮像回数に応じて上記撮像面のフォーカス位置設定を行うフォーカスブラケット設定ステップと、上記フォーカスブラケット設定ステップで設定された複数のフォーカス位置で撮像し、撮像毎に逐次画像合成を行い、上記フォーカスブラケット設定ステップで設定された上記撮像回数の撮像後に深度合成画像を生成する深度合成制御ステップと、上記深度合成制御ステップで生成された深度合成画像を表示する表示ステップと、上記フォーカスブラケット設定ステップにおけるフォーカス位置の設定、上記深度合成制御ステップにおける上記深度合成画像の生成、上記表示ステップにおける上記深度合成画像の表示の一連の処理を繰り返し行うライブビュー制御ステップと、を有し、上記深度合成制御ステップは、最後のフォーカス位置で撮像した画像に対しては、当該最後に撮像した画像を画像合成時の位置合せの基準にして、過去の撮像画像、又は過去に合成された画像と画像合成し、一方、上記最後のフォーカス位置で撮像した画像以外の撮像画像に対しては、過去の撮像画像、又は過去に合成された画像を位置合せの基準に画像合成を行う。
【００１３】
第１１の発明に係るプログラムは、被写体を撮像面に結像させる合焦用レンズと、上記撮像面に位置し、上記被写体を撮像して画像データを取得する撮像部と、を有する撮像装置のコンピュータを実行させるためのプログラムにおいて、撮像回数と当該撮像回数に応じて上記撮像面のフォーカス位置設定を行うフォーカスブラケット設定ステップと、上記フォーカスブラケット設定ステップで設定された複数のフォーカス位置で撮像し、撮像毎に逐次画像合成を行い、上記フォーカスブラケット設定ステップで設定された上記撮像回数の撮像後に深度合成画像を生成する深度合成制御ステップと、上記深度合成制御ステップで生成された深度合成画像を表示する表示ステップと、上記フォーカスブラケット設定ステップにおけるフォーカス位置の設定、上記深度合成制御ステップにおける上記深度合成画像の生成、上記表示ステップにおける上記深度合成画像の表示の一連の処理を繰り返し行うライブビュー制御ステップと、を有し、上記深度合成制御ステップは、最後のフォーカス位置で撮像した画像に対しては、当該最後に撮像した画像を画像合成時の位置合せの基準にして、過去の撮像画像、又は過去に合成された画像と画像合成し、一方、上記最後のフォーカス位置で撮像した画像以外の撮像画像に対しては、過去の撮像画像、又は過去に合成された画像を位置合せの基準に画像合成を行う、ことを上記コンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、被写体や撮像装置が動いた場合でも深度合成処理を適切に行うことができる撮像装置、画像合成方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。
【図３】本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。
【図４】本発明の第１実施形態に係るカメラのライブビュー深度合成の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係るカメラのフォーカスブラケット設定の動作を示すフローチャートである。
【図６】本発明の第１実施形態に係るカメラの深度合成の動作を示すフローチャートである。
【図７】本発明の第１実施形態に係るカメラの深度合成を行う場合のタイミングチャートである。
【図８】本発明の第１実施形態に係るカメラにおいて、撮像を行う毎に取得・生成される撮像画像、位置合せ用深度合成画像、および深度合成画像を示す図である。
【図９】本発明の第２実施形態に係るカメラの深度合成の動作を示すフローチャートである。
【図１０】本発明の第２実施形態に係るカメラの深度合成を行う場合のタイミングチャートである。
【図１１】本発明の第２実施形態に係るカメラにおいて、撮像を行う毎に取得・生成される撮像画像、位置合せ用深度合成画像、および深度合成画像を示す図である。
【図１２】本発明の第３実施形態に係るカメラのライブビュー深度合成の動作を示すフローチャートである。
【図１３】本発明の第３実施形態に係るカメラの深度合成の動作を示すフローチャートである。
【図１４】本発明の第３実施形態に係るカメラの深度合成を行う場合のタイミングチャートである。
【図１５】本発明の第３実施形態に係るカメラにおいて、撮像を行う毎に取得・生成される撮像画像、位置合せ用深度合成画像、および深度合成画像を示す図である。
【図１６】本発明の第４実施形態に係るカメラの深度合成の動作を示すフローチャートである。
【図１７】本発明の第４実施形態に係るカメラの深度合成を行う場合のタイミングチャートである。
【図１８】本発明の第４実施形態に係るカメラにおいて、撮像を行う毎に取得・生成される撮像画像、位置合せ用深度合成画像、および深度合成画像を示す図である。
【図１９】本発明の第４実施形態の変形例に係るカメラの深度合成を行う場合のタイミングチャートである。
【図２０】本発明の第４実施形態の変形例に係るカメラにおいて、撮像を行う毎に取得・生成される撮像画像、位置合せ用深度合成画像、および深度合成画像を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１７】
また、このカメラは、深度合成モードが設定されている場合には、撮影レンズのフォーカス位置を順次移動させ、深度合成用に複数の画像を取得する。深度合成のための位置合わせを行う基準は、最後のフォーカス位置で撮影した場合と、最後以外のフォーカス位置で撮影した場合で、異なる撮像画像（または異なる合成画像）を用いて行う（例えば、図８参照）。
【００１８】
図１は、本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着できるような交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００１９】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。
【００２０】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成され、単焦点レンズまたはズームレンズである。ピント調節用のフォーカスレンズは、被写体を撮像面に結像させる合焦用レンズとして機能する。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制御する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１内のフォーカスレンズを移動させることによりフォーカス位置が制御され、ズームレンズの場合には、焦点距離も制御される。固定焦点位置の顕微鏡装置、例えば、デジタル顕微鏡のようにピント位置を変化させるフォーカスレンズを備えない場合には、被写体を固定しているステージ（不図示）を上下させることや、撮影レンズ２０１を上下させることで撮影レンズと被写体との距離を調節し、合焦位置を移動させるようにする。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。一方、デジタル顕微鏡が備える絞り２０３は開口径が固定である場合が多い。
【００２１】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２２】
マイクロコンピュータ２０７は、フォーカスレンズのフォーカス位置をフォーカス位置検出部（不図示）から取得し、またズームレンズのズーム位置をズーム位置検出部（不図示）から取得する。この取得したフォーカス位置やズーム位置を、カメラ本体１００内のマイクロコンピュータ１２１に送信する。
【００２３】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。マイクロコンピュータ２０７は、これらの種々の情報をカメラ本体１００内のマイクロコンピュータ１２１に送信する。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２４】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２５】
撮像素子１０３には、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。
【００２６】
なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。撮像素子１０３は、撮像面に位置し、被写体を撮像して画像データを取得する撮像部として機能する。
【００２７】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。
【００２８】
アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。
【００２９】
バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、撮影状態推定部１１５、撮影設定部１１７、フォーカス基準位置設定部１１９、マイクロコンピュータ１２１、ＳＤＲＡＭ１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。
【００３０】
画像処理部１０９は、通常の画像処理を行う基本画像処理部１０９ａと、画像合成を行う画像合成部１０９ｂを有する。複数の画像を合成する場合には、基本画像処理部１０９ａ、および画像合成部１０９ｂを使用する。画像処理部１０９は、本実施形態においては、画像処理演算を行う演算回路で構成する専用の画像処理プロセッサである。しかし、この構成に限らず、例えば画像処理演算を画像処理プログラムに基づいて、デジタル信号プロセッサ（ＤＳＰ）等の汎用の信号処理プロセッサに展開する構成であってもよく、一部をＤＳＰ等の汎用信号処理プロセッサやＣＰＵ等で実行するようにしてもよい。
【００３１】
基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタや深度合成等の特殊効果等が設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。
【００３２】
画像合成部１０９ｂは、設定されている合成モード等応じて種々の画像合成を行う。画像合成部１０９ｂは、焦点位置、絞り値等、異なる状態で取得した複数の画像データを用い、画像データの合成を行う。本実施形態においては、後述するように、被写界の深度を深くする深度合成等の合成モードが設定できる。深度合成モードが設定されている場合には、画像合成部１０９ｂは、複数のフォーカス位置で撮影した複数の画像データに対し、位置合わせを行い、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域を合成することで、単写とは異なる被写界深度の画像を生成する。
【００３３】
なお、図示しないが、画像処理部１０９内には、画像圧縮部と画像伸張部が設けられている。画像圧縮部は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。また、画像伸張部は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像伸張部おいて伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。
【００３４】
また、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。また、圧縮方式は、可逆圧縮でも、非可逆圧縮でもよい。
【００３５】
ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００３６】
ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。ＡＦ処理部１１３は、画像データに基づいて焦点状態を示すＡＦレベルを算出するＡＦ処理部として機能する。
【００３７】
撮影状態推定部１１５は、撮影レンズ２０１のフォーカスレンズの合焦位置に基づく被写体距離から、撮影が近接撮影か遠距離撮影かの撮影状態の推定を行う。撮影状態の推定としては、被写体距離以外にも、例えば、撮影モードに基づいて推定してもよい。マクロモード等の近接撮影に適した撮影モードが設定されている場合には近接撮影と推定する。また、フォーカスレンズをスキャンさせながらコントラスト情報を取得し、これから被写体距離を求め、近接撮影か否かを推定してもよい。
【００３８】
撮影設定部１１７は、深度合成用の撮影時における複数のフォーカスレンズ位置を設定し、また撮像素子１０３等の撮像部に対して複数回の撮影の設定を行う。撮像部は撮影設定部１１７の設定に従って複数回の撮像の順番を設定する。撮影設定部１１７は、撮像回数と当該撮像回数に応じて合焦用レンズのフォーカス位置設定を行うフォーカスブラケット設定部として機能する（図４のＳ７１、図５参照）。フォーカスブラケット設定部は、合焦用レンズの最後のフォーカス位置をＡＦのフォーカス位置に設定する（例えば、図７のＦｃ０、Ｆｃ１、Ｆｃ２等参照）。
【００３９】
フォーカス基準位置設定部１１９は、フォーカス基準位置を設定する。このフォーカス基準位置設定部１１９は、深度合成する際の基準となる画像を取得するためのフォーカス基準位置を設定し、本実施形態においては、撮影時のフォーカス位置を基準位置とするが、これに限らず、例えば、ユーザが設定するようにしてもよい。
【００４０】
マイクロコンピュータ１２１は、ＣＰＵ（Central Processing Unit）とその周辺回路を有し、カメラ全体の制御部としての機能を果たし、フラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００４１】
マイクロコンピュータ１２１は、画像合成部１０９ｂと協働して、フォーカスブラケット設定部で設定された複数のフォーカス位置で撮像し、撮像毎に逐次画像合成を行い、フォーカスブラケット設定部で設定された撮像回数の撮像後に深度合成画像を生成する深度合成制御部として機能する（例えば、図３のＳ５４、図４等参照）。また、マイクロコンピュータ１２１は、フォーカスブラケット設定によるフォーカス位置の設定、深度合成制御部による深度合成画像の生成、表示部による上記深度合成画像の表示の一連の処理を繰り返し行うライブビュー制御部として機能する（例えば、図３のＳ５４、図４等参照）。上述の深度合成制御部は、最後のフォーカス位置で撮像した画像に対しては、当該最後に撮像した画像を画像合成時の位置合せの基準にして、過去の撮像画像、又は過去に合成された画像と画像合成し（例えば、図６のＳ１０１Ｎｏ〜Ｓ１１１、Ｓ１１３等参照）、一方、最後のフォーカス位置で撮像した画像以外の撮像画像に対しては、過去の撮像画像、又は過去に合成された画像を位置合せの基準に画像合成を行う（例えば、図６のＳ１０１Ｎｏ〜Ｓ１０７等参照）。
【００４２】
深度合成制御部は、最後のフォーカス位置における撮像画像を基準にして、この最後のフォーカス位置の次の位置における撮像画像の位置合わせを行い、この位置合わせを行った撮像画像と、上記最後のフォーカス位置の次の位置における撮像画像を用いて位置合わせ用深度合成を行い、位置合わせ用深度合成画像を生成する（例えば、図６のＳ９５、Ｓ９７等参照）。
【００４３】
深度合成制御部は、位置合わせ用深度合成画像を基準にして、最新の撮影画像の位置合わせを行い、この位置合わせを行った撮影画像と、上記位置合わせ用深度合成画像を用いて深度合成を行う（例えば、図６のＳ１０３、Ｓ１０５等参照）。また、深度合成制御部は、最後のフォーカス位置における撮像画像を基準にして上記最後のフォーカス位置の直前に生成された深度合成画像の位置合わせを行い、この位置合わせを行った深度合成画像と、上記最後のフォーカス位置における撮像画像を用いて、最終的な深度合成画像を生成する（例えば、図６のＳ１１１、Ｓ１１３等参照）。
【００４４】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、カメラの電源のオン／オフを指示するための操作部材である。電源釦が押されるとカメラの電源はオンとなり、再度、電源釦が押されるとカメラの電源はオフとなる。
【００４５】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４６】
動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。
【００４７】
メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、深度合成等の合成モードがあり、合成モードとしては、これ以外にも、ＨＤＲ合成、超解像合成等のモードを有してもよい。また、深度合成モードを設定した場合に、ライブビュー表示中に深度合成処理を行い、この深度合成処理によって取得した合成画像を表示するライブビュー深度合成モードを設定できる。
【００４８】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。
【００４９】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換えできる揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９等において処理された画像データを一時記憶する。
【００５０】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。記録媒体１３１は、深度合成処理によって生成された合成画像データを記録する。
【００５１】
表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像処理部１０９内の画像伸張部によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することができる。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。また、接眼部を介して表示パネルを観察する所謂電子ビューファインダ（ＥＶＦ）を備えてもよい。
【００５２】
表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。表示パネル１３５は、深度合成制御部で生成された深度合成画像を表示する表示部として機能する。
【００５３】
次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２、図３、および後述する図４乃至図６、図９、図１２、図１３、図１６に示すフローチャートは、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。
【００５４】
操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５、Ｓ３１等参照）。
【００５５】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、選択している画像の編集を行うことができる。
【００５６】
ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。
【００５７】
ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、撮影モードとしては、通常撮影、深度合成等のモードが設定できる。また、深度合成モードが設定されている場合には、ライブビュー表示中に深度合成処理によって生成されたライブビュー深度合成モードの設定を行うことができる。
【００５８】
ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。
【００５９】
ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグの反転を行う（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。
【００６０】
ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。
【００６１】
ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。
【００６２】
一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生できるような状態にし、ファイル書き込みを終了する。
【００６３】
ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、動画記録中か否かの判定を行う（Ｓ３１）。このステップでは、ステップＳ１５と同様に、記録中フラグのオンかオフに基づいて判定する。
【００６４】
ステップＳ３１における判定の結果、動画記録中でない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００６５】
ステップＳ３３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００６６】
また、ステップＳ３５においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のフォーカス位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行い、合焦位置に移動させる。その後、ステップＳ３７へ進む。
【００６７】
ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ４１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００６８】
ステップＳ４１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、撮影を行う（Ｓ４３）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。
【００６９】
また、深度合成モードが設定されている場合には、まず、撮影状態を推定し、この撮影状態の推定結果に基づいて撮影設定を行い（具体的には、深度合成用に撮影するフォーカス位置の設定を行う）、この撮影設定に基づいてフォーカスレンズを移動させ、設定されたフォーカス位置に達すると撮影を行い、複数の画像データを取得する。
【００７０】
ステップＳ４３においては、撮影を行うと画像処理を行う（Ｓ４５）。撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。また、深度合成モードが設定されている場合には、ステップＳ４３において、取得した複数の画像データを用いて深度合成を行う。
【００７１】
画像処理を行うと、次に静止画記録を行う（Ｓ４７）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。静止画記録にあたっては、設定されている形式で記録を行う（記録形式はステップＳ９のカメラ設定において設定ができる）。ＪＰＥＧが設定されている場合には、画像処理済みデータを画像圧縮部においてＪＰＥＧ圧縮して記録する。またＴＩＦＦ形式の場合には、ＲＧＢデータに変換してＲＧＢ形式で記録する。また、ＲＡＷ記録が設定されている場合に、撮影によって取得したＲＡＷデータと合成を行った場合には、合成ＲＡＷデータも記録する。画像データの記録先は、カメラ本体内の記録媒体１３１でもよいし、通信部（不図示）を介して外部の機器へ記録するようにしてもよい。
【００７２】
ステップＳ４１における判定の結果、レリーズ釦２ｎｄでなかった場合、またはステップＳ３１における判定の結果、動画記録中であった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ４１の判定がＮｏであった場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。また、前述のステップＳ３１の判定がＹｅｓであった場合は、動画記録中である。このステップでは、適正露出でライブビュー表示または動画撮影を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。
【００７３】
ＡＥを行うと、次に、ライブビュー（ＬＶ）深度合成か否かを判定する（Ｓ５２）。ユーザは、メニュー画面において、ライブビュー深度合成モードを設定することができるので（ステップＳ９参照）、このステップでは、メニュー画面を通じてライブビュー深度合成モードが設定されたか否かを判定する。
【００７４】
ステップＳ５２における判定の結果、ライブビュー深度合成モードが設定されている場合には、ライブビュー深度合成を行う（Ｓ５４）。ここでは、フォーカスレンズを移動させ、撮像素子１０３への露光を電子シャッタによって制御し、露光後に画像データを読出し、この読み出された画像データを用いて深度合成処理を行う。このライブビュー深度合成の詳しい動作については、図４を用いて後述する。
【００７５】
ステップＳ５２における判定の結果、ライブビュー深度合成モードが設定されていない場合には、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。
【００７６】
電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理を行う（Ｓ５５）。このステップでは、基本画像処理部１０９ａによって、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクションン等の基本画像処理を行う。
【００７７】
ステップＳ５５において基本画像処理を行うと、またはステップＳ５４においてライブビュー深度合成を行うと、次に、ライブビュー表示を行う（Ｓ５７）。このステップでは、ステップＳ５５における基本画像処理された画像データまたはステップＳ５４において生成されたライブビュー深度合成処理された画像データを用いて、表示パネル１３５にライブビュー表示を行う。すなわち、ステップＳ５３またはＳ５４において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。また、ライブビュー深度合成モードが設定されている場合には、出来上がり予想画像を観察することにより構図やフォーカス位置の設定等を行うことができる。
【００７８】
ステップＳ５７においてライブビュー表示を行うと、次に、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。
【００７９】
ステップＳ６１において動画記録を行うと、またはステップＳ５９における判定の結果、動画記録中でない場合、またはステップＳ４５において静止画記録を行うと、またはステップＳ３５において、ＡＥ・ＡＦを行うと、次に、電源オフか否かの判定を行う（Ｓ３７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、このメインフローを終了する。
【００８０】
このように本発明の第１実施形態におけるメインフローにおいては、深度合成モード等、複数の画像データを合成する撮影モードの設定ができ（Ｓ９）、深度合成モードが設定された場合には、レリーズ釦が全押しされると（Ｓ４１Ｙｅｓ）、ステップＳ４３において、フォーカスレンズを移動させ、電子シャッタによって露光時間を制御し、ステップＳ４５において撮像素子１０３から取得した複数の画像データを合成することにより、深度合成画像データを生成し、ステップＳ４７において深度合成された画像データを記録している。
【００８１】
また、ライブビュー深度合成モードが設定されていると、ライブビュー表示中に、フォーカスレンズを移動させ、電子シャッタによって露光時間を制御し、撮像素子１０３から取得した複数の画像データを合成することにより、深度合成画像データを生成し、ステップＳ５７において、この深度合成された画像をライブビュー画像として表示している。
【００８２】
次に、図４に示すフローチャートを用いて、ステップ５４のライブビュー深度合成の詳しい動作について説明する。ライブビュー深度合成のフローが開始すると、まず、フォーカスブラケット設定を行う（Ｓ７１）。ここでは、深度合成用の撮像を行う回数、撮像位置、および撮像順番等を設定する。このフォーカスブラケット設定の詳しい動作については、図５を用いて後述する。
【００８３】
フォーカスブラケット設定を行うと、次に、フォーカス移動を行う（Ｓ７３）。ここでは、ステップＳ７１のフォーカスブラケット設定において設定されたフォーカス位置に、交換レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５がフォーカスレンズを移動させ、フォーカス位置に到達すると、その位置でフォーカスレンズの移動を停止する。
【００８４】
フォーカス移動を行うと、次に、電子シャッタによる撮影を行う（Ｓ７５）。ここでは、ステップＳ５１（図３参照）において算出したシャッタ速度に応じて撮像素子１０３の露光時間を制御する。この露光時間の間、撮像素子１０３の画素は光電変換を行い、露光時間が経過すると画像データを読み出す。
【００８５】
電子シャッタによる撮影を行うと、次に、深度合成を行う（Ｓ７７）。ここでは、ステップＳ７５において読み出された画像データと、それ以前に合成された深度合成画像データを用いて深度合成を行う。この深度合成の詳しい動作については、図６を用いて後述する。
【００８６】
深度合成を行うと、撮影回数分、撮影を行ったか否かを判定する（Ｓ７９）。ここでは、ステップＳ７１において設定された撮影回数だけ撮影を行ったか否かを判定する。この判定の結果、撮影回数分、撮影を行っていない場合には、ステップＳ７３に戻り、次の撮影を行う。一方、撮影回数分、撮影を行っている場合には、このフローを終了し、元のフローに戻る。
【００８７】
次に、図５に示すフローチャートを用いて、ステップ７１（図４参照）のフォーカスブラケット設定の詳しい動作について説明する。フォーカスブラケット設定のフローが開始すると、まず、撮影回数の設定を行う（Ｓ８１）。撮影回数は、撮影設定部１１７によって設定される。ここで設定される撮影回数は、記録媒体１３１やＳＤＲＡＭ１２７等の記録容量などの状況に応じて自動的に決定された回数でよいし、またユーザが設定した回数でもよい。ユーザが設定する場合には、上限値を設計値として定めておいてもよい。
【００８８】
撮影回数を設定すると、次に、フォーカス基準位置の設定を行う（Ｓ８３）。ここでは、フォーカス基準位置設定部１１９が、レリーズ釦が全押しされた際（２ｎｄレリーズ時）のフォーカスレンズの位置をフォーカス基準位置として設定する。なお、これ以外にも、ユーザが手動設定したフォーカス位置等を基準位置としてもよい。
【００８９】
フォーカス基準位置の設定を行うと、次に、フォーカス位置設定を行う（Ｓ８５）。ここでは、深度合成用撮影で使用する複数のフォーカス位置の設定を行う。具体的には、ステップＳ８３において設定したフォーカス基準位置を中心とし、撮影枚数を近接側と遠距離側で同じ撮影枚数になるように設定することが望ましい。フォーカス位置の間隔は、予め定められた固定値でもよく、また被写体距離や焦点距離や絞り値等の撮影条件に応じて変更した値でもよい。
【００９０】
なお、撮影枚数が偶数で、近接側と遠距離側で均一とならない場合には、遠距離側の撮影枚数を増やしておいてもよい。また、フォーカス基準位置が無限遠または無限遠に近く、フォーカス位置を均等に配置できない場合には、近距離側の撮影枚数を多くし、逆にフォーカス基準位置が至近端または至近端に近く、フォーカス位置を均等に配置できない場合には、遠距離側の撮影枚数を多くしてもよい。
【００９１】
フォーカス位置の設定を行うと、次に、撮影順番の設定を行う（Ｓ８７）。撮影は、先に合焦位置で撮影を行った後は、撮影間隔時間を短縮するために、なるべく一方向に順次撮影していくことが望ましい。撮影順番については、図７を用いて後述する。撮影順番の設定を行うと、撮影設定のフローを終了し、元のフローに戻る。
【００９２】
次に、深度合成のフローを説明する前に、図７を用いて、撮影のタイミングとフォーカス位置、および撮影の順番について説明する。図７において、横軸に示す１周期は、撮影設定部１１７において設定される撮影回数であり、図７に示す例では１周期の間に５回、撮影を行う。また、図７の縦軸は、フォーカスレンズ位置を示す。第１実施形態においては、フォーカスレンズの合焦位置は、位置ｃであり、フォーカス位置ａは至近側であり、フォーカス位置ｅは無限遠側である。フォーカスレンズは、位置ａ→位置ｂ→位置ｄ→位置ｅ→位置ｃの順に移動する。前述したように、この例では、０周期の０回目の撮影時には位置ｃであり、１周期の１回目の撮影時には位置ａ、・・・５回目（＝０回目）の撮影時には位置ｃで、撮影を行う。また、それぞれのフォーカス位置で画像データＦｃ０、Ｆａ１、Ｆｂ１、Ｆｄ１、Ｆｅ１、Ｆａ２、・・・が取得される。
【００９３】
次に、図６に示すフローチャートを用いて、ステップ７７（図４参照）の深度合成の詳しい動作について説明する。深度合成のフローが開始すると、まず、基本画像処理を行う（Ｓ９１）。ここでは、基本画像処理部１０９ａが、撮像素子１０３からの画像データに対して、基本画像処理を施す。基本画像処理としては、ＯＢ（オプティカルブラック）減算処理、ＷＢ（ホワイトバランス）補正処理、カラーマトリックス演算処理、ガンマ変換処理、エッジ強調処理、ノイズリダクション処理等を行う。
【００９４】
次に、撮影が１回目か否かの判定を行う（Ｓ９３）。ここで、１回目とは０回目の次の撮影をいう。すなわち、ステップＳ３３において、レリーズ釦が半押しされた際に、ステップＳ３５において画像データが取得され、ＡＥおよびＡＦが行われる。このときの撮影を０回目とし、次に、ステップＳ５１において、画像データが取得されたときの撮影を１回目とする。０回目の次の１回目の撮影の間隔は、撮像素子１０３のフレームレートによって決まる。なお、０回目の撮影のフォーカス位置は、後述する図７および図８において、Ｆｃ０、Ｆｃ１に相当し、１回目の撮影のフォーカス位置は、Ｆａ１、Ｆａ２に相当する。
【００９５】
ステップＳ９３における判定の結果、１回目の場合には、位置合わせ１を行う（Ｓ９５）。０回目と１回目の撮影によって２つの画像データを取得しているので、このステップでは、画像合成部１０９ｂが、２つの画像データを用いて、位置合わせを行う。位置合わせにあたっては、１つの前のフォーカス位置、すなわち０回目の撮影で取得された画像データ（図８の１回目の撮影のＦｃ０参照）を位置合わせの基準とし、１回目の撮影で取得された画像データ（図８の１回目の撮影のＦｅ１参照）の位置を合わせる。
【００９６】
位置合わせ１を行うと、次に、位置合わせ用深度合成１を行う（Ｓ９７）。このステップでは、画像合成部１０９ｂが、位置合わせ後の撮影画像データと（図７のＦａ１、図８の１回目の撮影のＦｅ１）、１つ前のフォーカス位置（図７のＦｃ０、図８の１回目の撮影のＦｃ０）で撮影された画像データを用いて、深度合成を行う。１回目の撮影画像を用いた位置合わせ用深度合成１を行うと、元のフローに戻る。
【００９７】
ステップＳ９３における判定の結果、１回目でない場合には、撮像回数分撮像か否かを判定する（Ｓ１０１）。ここでは、ステップＳ８１（図５参照）で設定された撮影回数の撮影が行われたか否かを判定する。
【００９８】
ステップＳ１０１における判定の結果、撮像回数分撮像が行われていない場合には、位置合わせ２を行う（Ｓ１０３）。位置合わせ２は、画像合成部１０９ｂが、直前に行われた位置合わせ用深度合成画像データを位置合わせの基準として、最新の撮像画像との位置合わせを行う。例えば、図８の２回目の撮影においては、直前の深度合成画像データｆ０を位置合わせの基準とし、最新の画像データＦｄ１と位置合わせを行う。
【００９９】
位置合わせ２を行うと、次に、位置合わせ用深度合成２を行う（Ｓ１０５）。画像合成部１０９ｂが、位置合わせ後の撮影画像データと、直前の位置合わせ用深度合成画像データを用いて、深度合成２の合成処理を行う。例えば、図８の２回目の撮影において、直前の深度合成画像データｆ０と最新の画像データＦｄ１を用いて、深度合成を行い、位置合わせ用深度合成画像データｆ１を生成する。
【０１００】
位置合わせ用深度合成２を行うと、次に、深度合成１を行う（Ｓ１０７）。画像合成部１０９が、位置合わせ後の撮影画像データと、直前の深度合成１で生成された合成画像データを用いて、深度合成１の合成処理を行う。例えば、図８の３回目の撮影において、位置合わせ後の撮影画像データＦｂ１と、直前の深度合成Ｆ０を用いて、深度合成を行う。直前に深度合成が行われていない場合には、１つ前のフォーカス位置で撮影された画像を合成する。例えば、図８の２回目の撮影において、位置合わせ後の撮影画像データ（Ｆｄ１）と、１つ前のフォーカス位置で撮影された画像データ（Ｆｅ１）を用いて、深度合成を行う。深度合成１を行うと、元のフローに戻る、
【０１０１】
ステップＳ１０１における判定の結果、撮像回数分撮像が行われると、位置合わせ３を行う（Ｓ１１１）。位置合わせ３は、画像合成部１０９ｂが、フォーカス基準で撮影された画像データを位置合わせの基準として、直前の深度合成１で生成された画像データの位置合わせを行う。例えば、図８の５回目の撮影において、フォーカス基準で撮影された画像データ（Ｆｃ１）を位置合わせの基準とし、直前の深度合成１で生成された画像データ（Ｆ２）の位置合わせを行う。
【０１０２】
位置合わせ３を行うと、深度合成２を行う（Ｓ１１３）。深度合成２は、画像合成部１０９ｂが、撮影画像の画像データと、位置合わせ後の深度合成の画像データを用いて、深度合成を行う。例えば、図８の５回目の撮影において、撮影画像の画像データ（Ｆｃ１）と、直前の深度合成１で生成された画像データＦ２を用いて、深度合成２を行う。このステップＳ１１３における深度合成２を行うと、元のフローに戻る。設定されている撮影回数分の撮影が行われたことから（図４のＳ７９Ｙｅｓ）、ライブビュー深度合成で生成された画像データに基づいてライブビュー表示がなされる（図３のＳ５７参照）。
【０１０３】
このように、深度合成のフローにおいては、撮影回数分の撮影が行われるまでは、直前の位置合わせ用深度合成画像を位置合わせの基準として、撮影画像の位置合わせを行っている（Ｓ１０３参照）。そして、この位置合わせが行われた撮影画像と、直前の位置合わせ用合成画像を用いて、位置合わせ用深度合成を行っている（Ｓ１０５参照）。さらに、ステップＳ１０３で位置合わせが行われた撮影画像と、直前の深度合成で生成された合成画像を用いて深度合成を行っている。
【０１０４】
また、深度合成のフローにおいては、撮影回数分の撮影が行われると、フォーカス基準位置で撮影された撮影画像を基準として、直前の深度合成で生成された画像の位置合わせを行う（Ｓ１１１参照）。そして、この位置合わせが行われた深度合成画像と、最新の撮影画像を用いて深度合成を行っている（Ｓ１１３参照）。
【０１０５】
このように、深度合成のフローにおいては、位置合わせ用の深度合成を行っている。位置合せ用深度合成により生成された画像には、１周期前のフォーカス基準位置の画像データが入っているため、位置合せ用深度合成画像をそのまま深度合成２に用いるとフォーカス基準位置を２重に合成することになる。すなわち、フォーカス基準位置が、フォーカス位置が移動する毎に移動してしまうことを避けるために、最終的な深度合成を行うまでの深度合成１においては、最初に撮影されたフォーカス基準位置で位置合わせを行うようにしている。撮影回数分の撮影が行われ、最終的な深度合成を行う深度合成２では、再び、フォーカス基準位置で画像データが取得されていることから、この最新の撮影画像を基準位置として位置合わせを行っている。また、位置合せ用深度合成がない場合、フォーカス位置ａ、ｂ（至近側）で最初の位置合せをする必要がる。この場合、どちらのフォーカス位置でも位置合せに必要な情報が十分にとれない可能性がある。位置合せ用深度合成があれば、最初の位置合せはピントのあったフォーカス基準位置ｃと至近側のフォーカス位置ａで行われるため、正確な位置合せが行える。位置合せ用深度合成のみでは、フォーカス基準位置が２重に合成されてしますので、画質に影響を与える可能性がある。
【０１０６】
次に、図９ないし図１１を用いて、本発明の第２実施形態について説明する。本発明の第１実施形態においては、位置合わせ用深度合成処理を行っていた（図６のＳ９７、Ｓ１０５参照）。これに対して、本実施形態においては、フォーカスレンズを図１０に示すように移動させることにより、位置合わせ用深度合成処理を省略している。
【０１０７】
本実施形態における電気的構成は、図１に示したブロック図と同様であることから、詳しい説明を省略する。また本実施形態における動作は図３ないし図６に示したフローチャートの内、図６に示した深度合成のフローチャートを図９に示すフローチャートに置き換える点で相違するので、この相違点を中心に説明する。
【０１０８】
まず、図１０を用いて、本実施形態におけるフォーカス位置の移動の順番について説明する。本実施形態においては、図１０に示すように、０回目の撮影において、合焦位置であるフォーカス位置ｃにフォーカスレンズを移動させ、以後、位置ｄ→位置ｅ→位置ａ→位置ｂ→位置ｃの順にフォーカスレンズを移動させる。この例では、０回目の撮影時には位置ｃであり、１回目の撮影時には位置ｃに近い位置ｄで撮影を行い、以後、位置ｅ、・・・に移動し、５回目（＝０回目）の撮影時には位置ｃで、撮影を行う。また、それぞれのフォーカス位置で画像データＦｃ０、Ｆｄ１、Ｆｅ１、Ｆａ１、Ｆｂ１、Ｆｃ１、・・・が取得される。
【０１０９】
次に、図９に示すフローチャートを用いて、本実施形態における深度合成の動作について説明する。図９に示すフローチャートと、図６に示すフローチャートにおいて、同一の処理を行うステップについては、同一のステップ番号を付し、詳しい説明を省略する。
【０１１０】
図９のフローが開始すると、まず、基本画像処理を行い（Ｓ９１）、１回目の撮影か否かについて判定する（Ｓ９３）。この判定の結果、１回目の撮影の場合には、深度合成のフローを終了し、元のフローに戻る。第１実施形態においては、位置合わせ用深度合成を行っていたが、本実施形態においては、位置合わせ用深度合成を行わないことから、ステップＳ９３において、１回目と判定されると、位置合わせ深度合成を行わず、元のフローに戻る。
【０１１１】
ステップＳ９３における判定の結果、１回目でない場合には、撮像回数分撮像を行ったか否かについて判定する（Ｓ１０１）。この判定の結果、撮像回数分撮像を行っていない場合には、位置合わせ１を行う（Ｓ１０４）。ここでは、画像合成部１０９ｂが、フォーカス基準位置の次のフォーカス位置での撮影画像（=１枚目の画像）又は直前に深度合成１が行われている場合は合成画像を位置合せの基準として、撮影画像の位置合せを行う。
【０１１２】
図１１に示す例では、直前に深度合成１が行われていない２回目の撮影では、直前に行われた深度合成１によって合成された画像データＦｄ１を位置合わせの基準として、最新の撮影画像データＦｅ１の位置合わせを行う。また直前に深度合成１が行われている３回目の撮影では、深度合成画像データＦ０を位置合わせの基準として、最新の撮影画像データＦａ１の位置合わせを行う。
【０１１３】
位置合わせ１を行うと、次に、深度合成１を行う（Ｓ１０７）。ここでは、画像合成部１０９ｂが、位置合せ後の撮影画像と、直前の深度合成１で生成された合成画像を合成する。図８に示す例では、３回目の撮影において、位置合わせ後の撮影画像データＦａ１と、直前の深度合成１で生成された合成画像データＦ０を用いて深度合成を行う。また、直前に深度合成１が行われていない場合には、１つ前のフォーカス位置で撮影された画像を合成する。図８に示す例では、２回目の撮影において、１つ前のフォーカス位置で撮影された画像データＦｄ１と、最新の画像データＦｅ１を用いて深度合成を行う。深度合成を行うと、元のフローに戻る。
【０１１４】
ステップＳ１０１における判定の結果、撮像回数分の撮像を行っている場合には、位置合わせ３を行う（Ｓ１１１）。ここでは、画像合成部１０９ｂが、フォーカス基準位置（図７の位置ｃ）で撮影された撮影画像データを位置合せの基準として、直前の深度合成１で生成された画像データの位置合せを行う。図１１に示す例では、５回目の撮影で取得した画像データＦｃ１を位置合わせの基準として、直前の深度合成１で生成された画像データＦ２の位置合わせを行う。
【０１１５】
位置合わせ３を行うと、次に、深度合成２を行う（Ｓ１１３）。ここでは、画像合成部１０９ｂが、撮影画像と位置合せ後の深度合成画像を合成する。図１１に示す例では、５回目の撮影において、位置合わせを行った撮影画像データＦｃ１と、直前の深度合成画像データＦ２を用いて、深度合成を行う。深度合成２を行うと、元のフローに戻り、ステップＳ５７（図３参照）において、ステップＳ１１３における深度合成２の結果をライブビュー表示する。
【０１１６】
このように、本実施形態において、位置合わせ用深度合成を行わず、位置合わせを行い、深度合成処理を行っている。すなわち、フォーカス位置の移動を図１０に示すように、最初にフォーカス基準位置（位置ｃ）で行い、次のフォーカス位置を隣接する位置ｄとしている。このため、位置ｄでは合焦している可能性が高く、前周期のフォーカス基準位置にあたるフォーカス位置ｃの次のフォーカス位置ｄを最初の位置合せ１（Ｓ１０４）における基準位置とし、正確な位置合せができるようにしている。本実施形態においては、位置合せ用深度合成を行わないことから、処理負荷を軽減することができる。
【０１１７】
本実施形態では、撮影設定部１１７はフォーカスブラケット設定部として機能し、このフォーカスブラケット設定部は、最後のフォーカス位置の次の位置を、当該最後のフォーカス位置に隣接するフォーカス位置に設定する（例えば、図１０参照）。また、マイクロコンピュータ１２１と画像合成部１０９ｂは協働して深度合成制御部として機能し、この深度合成制御部は、最後のフォーカス位置と、この最後のフォーカス位置の次の位置における撮像画像を用いて、位置合わせを行わない（例えば、図１１参照）。
【０１１８】
次に、図１２ないし図１５を用いて、本発明の第３実施形態について説明する。第１実施形態においては、レリーズ釦の半押し（１ｓｔレリーズ）時のフォーカス位置をフォーカス基準位置としていた。しかし、それ以外のフォーカス位置の方がフォーカス基準位置として適している場合（例えば、合焦範囲が広い場合等）がある。そこで、本実施形態においては、１周期分の撮影データそれぞれに対する合焦範囲の大きさを示す合焦レベル値（例えば、コントラスト値）を取得し、合焦レベル値が最大のフォーカス位置を次周期のフォーカス基準位置としてフォーカス基準位置設定時に更新する。１周期分撮影後に更新されたフォーカス基準位置での撮影が必要となるので、表示までの撮影枚数が１周期分＋１枚となる。
【０１１９】
本実施形態における電気的構成は、図１に示したブロック図と同様であることから、詳しい説明を省略する。また本実施形態における動作は図３ないし図６に示したフローチャートの内、図４に示したライブビュー深度合成のフローチャートを図１２に示したライブビュー深度合成のフローチャートに置き換え、図６に示した深度合成のフローチャートを図１３に示すフローチャートに置き換える点で相違するので、この相違点を中心に説明する。
【０１２０】
まず、図１４を用いて、フォーカス位置の移動の順番について説明する。本実施形態においては、最初の１周期においては、図１４に示すように、０回目の撮影において、合焦位置であるフォーカス位置ｃにフォーカスレンズを移動させ、１回目の撮影に入り、以後、位置ａ→位置ｂ→位置ｄ→位置ｅ→位置ｃの順にフォーカスレンズを移動させる。１回目の撮影の最後は、位置ａ〜位置ｅの間で、合焦レベル値が最大となるフォーカス位置に移動させる。図１４に示す例では、最初の１周期での合焦レベル値が最大となるフォーカス位置ｂであるとして、１周期の最後に位置ｂにフォーカスレンズを移動させている。
【０１２１】
次の１周期では、位置ａ→位置ｃ→位置ｄ→位置ｅ→位置ｂの順にフォーカスレンズを移動させる。この周期の最後の撮影は、位置ａ〜位置ｅの間で、合焦レベル値が最大となるフォーカス位置に移動させる。図１４に示す例では、合焦レベル値が最大となるフォーカス位置が位置ｃであるとして、１周期の最後に位置ｃにフォーカスレンズを移動させている。そして、それぞれのフォーカス位置で、最初の１周期では画像データＦｃ０、Ｆａ１、Ｆｂ１、Ｆｄ１、Ｆｅ１、Ｆｃ１、Ｆｄ１の順に画像データを取得する。また、次の１周期では、画像データＦａ２、Ｆｃ２、Ｆｄ２、Ｆｅ２、Ｆｂ２、Ｆｃ２の順に画像データを取得する。
【０１２２】
次に、図１２に示すフローチャートを用いて、ライブビュー深度合成の動作について説明する。ステップＳ７１からＳ７９までは、図４に示したフローチャートと同様であることから詳しい説明を省略する。
【０１２３】
ライブビュー深度合成のフローに入り、ステップＳ７９における判定の結果、撮像回数分撮影を行うと、次に、電子シャッタによる撮影２を行う（Ｓ８０）。後述するように、各フォーカスレンズ位置で合焦レベル値を算出している。このステップでは、この合焦レベル値の中で最大の合焦レベル値に対応するフォーカス位置に、フォーカスレンズを移動させ、この位置で、電子シャッタによる撮影を行い、画像データを取得する。ここで取得した画像データは、ステップＳ１１１（図１３参照）における位置合わせの際に使用する。
【０１２４】
次に、図１３に示すフローチャートを用いて、ステップＳ７７（図１２）の深度合成の動作について説明する。図１３に示すフローチャートと、図６に示すフローチャートにおいて、同一の処理を行うステップについては、同一のステップ番号を付し、詳しい説明を省略する。
【０１２５】
図１３に示すフローに入り、基本画像処理１を行うと（Ｓ９１）、合焦レベル値を取得する（Ｓ９２）。ここでは、ＡＦ処理部１１３が、フォーカス位置毎に取得した画像データを用いて、合焦レベル値を算出する。算出された合焦レベル値は、フォーカス位置に対応付けてメモリに記憶される。
【０１２６】
合焦レベル値を取得すると、次に、１回目の撮影か否かを判定する（Ｓ９３）。この判定は、１周期目におけるレリーズ釦の半押し（１ｓｔレリーズ）時のフォーカス位置の次のフォーカス位置か否かに基づいて判定する。
【０１２７】
ステップＳ９３における判定の結果、１回目の撮影であった場合には、次に、位置合わせ１を行う（Ｓ９５）。ここでは、画像合成部１０９ｂが、１つ前のフォーカス位置で撮影された画像データを位置合せの基準として、撮影画像データの位置合せを行う。例えば、図１５に示す例では、前回の合焦位置で撮影された画像データＦｃ０を基準にして、最新の画像データ（１回目の撮影）Ｆａ１の位置合わせを行う。
【０１２８】
位置合わせ１を行うと、次に、位置合わせ用深度合成１を行う（Ｓ９７）。ここでは、画像合成部１０９ｂが、位置合せ後の撮影画像と１つ前のフォーカス位置で撮影された画像を深度合成する。図１５に示す例では、位置合わせされた画像データＦａ１と、前回の撮影画像データＦｃ０を用いて深度合成処理を行う。１回目の撮影画像を用いた位置合わせ用深度合成１を行うと、元のフローに戻る。
【０１２９】
ステップＳ９３における判定の結果、１回目でない場合には、次に、撮像回数分撮像が行われたか否かについて判定する（Ｓ１０１）。この判定の結果、撮像回数分撮像が行われていない場合には、位置合わせ２を行う（Ｓ１０３）。ここでは、画像合成部１０９ｂが、直前に行われた位置合せ用深度合成画像を用いて位置合せの基準として、撮影画像の位置合せを行う。図１５に示す例では、２回目の撮影において、位置合わせ用の深度合成画像データｆ０を基準として、撮影画像データＦｂ１の位置合わせを行う。
【０１３０】
位置合わせ２を行うと、次に、位置合わせ用深度合成２を行う（Ｓ１０５）。ここでは、画像合成部１０９ｂが、位置合せ後の撮影画像と直前の位置合せ用深度合成画像を合成する。図１５に示す例では、２回目の撮影において、位置合わせ用の深度合成画像データｆ０と撮影画像データＦｂ１を用いて、深度合成処理を行う。
【０１３１】
位置合わせ用深度合成２を行うと、次に、深度合成１を行う（Ｓ１０７）。ここでは、画像合成部１０９ｂが、位置合せ後の撮影画像と、直前の深度合成１で生成された合成画像を合成する。例えば、図１５に示す例では、３回目の撮影において、深度合成画像データＦ０と位置合わせ後の撮影画像データＦｄ１を用いて、深度合成処理を行う。また、直前に深度合成１が行われていない場合、１つ前のフォーカス位置で撮影された画像を合成する。例えば、図１５に示す例では、２回目の撮影において、位置合わせ用の深度合成画像データｆ０と撮影画像データＦｂ１を用いて、深度合成処理を行う。深度合成１を行うと、元のフローに戻る。
【０１３２】
ステップＳ１０１における判定の結果、撮像回数分撮像が行われた場合には、位置合わせ３を行う（Ｓ１１１）。ここでは、画像合成部１０９ｂが、撮影画像（フォーカス基準位置）を位置合せの基準として、直前の深度合成１で生成された画像の位置合せを行う。例えば、図１５に示す例では、１周期の５回目の撮影において、撮影画像データ（フォーカス基準位置）Ｆｃ１を位置合わせの基準として、直前の深度合成１で生成された画像データ（Ｆ２）の位置合わせを行う。
【０１３３】
位置合わせ３を行うと、次に深度合成２を行う（Ｓ１１３）。ここでは、画像合成部１０９ｂが、撮影画像と位置合せ後の深度合成画像を合成する。図１５に示す例では、位置合わせを行った撮影画像データＦｃ１と、深度合成画像データＦ２を用いて、深度合成処理を行う。
【０１３４】
ステップＳ１１３において深度合成２を行うと、元のフローに戻り、ステップＳ５７においてライブビュー表示を行う。なお、次に、ライブビュー深度合成を行う場合には、ステップＳ８０において取得されたピントが合った状態で撮影された撮影画像データを、位置合わせ用の画像データとして用いる。このため、次の周期においても、ピントの合った画像を基準にして位置合わせを行うので、高精度の位置合わせを行うことができる。
【０１３５】
このように、本発明の第３実施形態においては、合焦レベルを検出し、１周期の最後に、合焦レベルの最も高いフォーカス位置にフォーカスレンズを移動させるようにしている。このため、ライブビュー深度合成を繰り返しても、常にピントの合った画像を基準に位置合わせを行うことができ、違和感の少なく深度合成画像を得ることができる。
【０１３６】
本実施形態のＡＦ処理部１１３は、フォーカスブラケット設定部で設定された複数のフォーカス位置で撮像し、取得した画像に基づいて合焦レベルを検出する合焦レベル検出部として機能する。また、撮影設定部１１７は、フォーカスブラケット部として機能し、このフォーカスブラケット部は、合焦用レンズの最後のフォーカス位置を合焦レベル検出部によって検出された合焦レベルが高いフォーカス位置に設定する（例えば、図１２のＳ８０、図１４等参照）
【０１３７】
次に、図１６ないし図１８を用いて、本発明の第４実施形態について説明する。第１ないし第３実施形態においては、ステップＳ７１におけるフォーカスブラケット設定において設定したフォーカス位置で撮影した場合に、被写体の合焦範囲がない場合があるが、このような場合でも深度合成を行っていた。これに対して、第４実施形態においては、合焦範囲がない場合には、深度合成を行わないようにしている。
【０１３８】
本実施形態における電気的構成は、図１に示したブロック図と同様であることから、詳しい説明を省略する。また本実施形態における動作は図３ないし図６に示したフローチャートの内、図６に示した深度合成のフローチャートを図１６に示すフローチャートに置き換える点で相違するので、この相違点を中心に説明する。
【０１３９】
まず、図１７を用いて、フォーカス位置の移動の順番について説明する。本実施形態においては、最初の０周期目においては、図１４に示すように、０回目の撮影において、合焦位置であるフォーカス位置ｃにフォーカスレンズを移動させ、次の１周期の撮影に入り、以後、位置ａ→位置ｂ→位置ｄ→位置ｅ→位置ｃの順にフォーカスレンズを移動させる。
【０１４０】
また、１周期目では、フォーカスレンズを移動し（図４のＳ７３参照）、電子シャッタによる撮影を行い（図４のＳ７５参照）、このとき得られた画像データを用いて、ＡＦ処理部１１３はＡＦレベルを算出する。算出されたＡＦレベルは、フォーカス位置に対応して記憶しておき、この記憶に応じて次の周期のフォーカスブラケット設定（図４のＳ７１）の際に、ＡＦレベルに基づいて合焦範囲外にあるフォーカス位置では、深度合成処理を行わないようにする。
【０１４１】
図１７に示す例では、フォーカスレンズの位置ａおよび位置ｅは先の１周期におけるＡＦレベルの算出の結果、合焦範囲内に入っていない。そこで、次の１周期においては、位置ａ、ｅでは、深度合成のための画像処理を行わない。従って、フォーカスレンズは、位置ｂ→位置ｄ→位置ｃの順に移動する。
【０１４２】
次に、図１６に示すフローチャートを用いて、ステップＳ７７（図４）の深度合成の動作について説明する。図１６に示すフローチャートと、図６に示すフローチャートにおいて、同一の処理を行うステップについては、同一のステップ番号を付し、詳しい説明を省略する。
【０１４３】
図１６に示すフローに入り、基本画像処理１を行うと（Ｓ９１）、合焦範囲に有るか否かを判定する（Ｓ９２ａ）。ここでは、フォーカスブラケット設定において、先の１周期におけるＡＦレベル算出の結果、合焦範囲内に入っている場合には、フォーカス位置として設定されている。このステップでは、フォーカスブラケット設定で設定された結果に従って合焦範囲内に有るか否かを判定する。また、ステップＳ９１の基本画像処理１では、基本画像処理１を行うための画像データを用いて、ＡＦ処理部１１３がＡＦレベルを算出し、このＡＦレベルと閾値を比較し、ＡＦレベルが合焦範囲内に有るか否かを判定しておく。フォーカス位置と判定結果を対にしてメモリ記憶しておき、１周期分の深度画像の生成が終わると、フォーカスブラケット設定（図４のＳ７１）で使用する。
【０１４４】
ステップＳ９２ａにおける判定の結果、合焦範囲内にある場合には、ステップＳ９３以下を実行することにより、深度合成画像データの生成を行う。ステップＳ９３以下は、図６のフローチャートと同じ処理であることから、詳しい説明を省略する。
【０１４５】
一方、ステップＳ９２ａにおける判定の結果、合焦範囲外にある場合には、深度合成のフローを終了し、元のフローに戻る。すなわち、このフォーカス位置においては、深度合成画像データの生成を行わない。
【０１４６】
図１８は、各撮影時における、撮影画像、位置合わせの基準画像、位置合わせ用深度合成画像、深度合成画像を示す。図１８に示す例では、１周期目では、２回目から５回目までの各フォーカス位置において、深度合成画像データを生成し、次の１周期ではフォーカス位置ｂ、ｄ、ｃにおいて、深度合成画像データを生成している。
【０１４７】
このように、本実施形態においては、ＡＦレベルが合焦範囲内でない場合に、深度合成画像を生成しないようにしている（図１６のＳ９３ａＮｏ参照）。すなわち、フォーカスブラケット設定部は、先の１周期においてＡＦレベルを算出し、その結果に基づいて、深度合成を行うフォーカス位置を設定するようにしている。このため、合焦範囲内か否かに応じて撮影／合成枚数を最適化することができ、フレームレートを向上させ、またはフレームレートを維持したまま、処理負荷を減らすことができる。
【０１４８】
なお、本実施形態においては、ＡＦレベルの算出の結果、至近若しくは無限円側で合焦範囲が広範囲に及ぶ場合、撮影するフォーカス位置を増やすことで、より深い深度を獲得するようにしてもよい。また、コントラスト評価値を算出し、これをＡＦレベルとして使用していたが、これに限らず、例えば、位相差ＡＦの際のデフォーカス量をＡＦレベルとして使用してもよい（後述する第４実施形態の変形例においても同様）。
【０１４９】
次に、図１９および図２０を用いて、第４実施形態の変形例について説明する。第４実施形態においては、先の１周期の深度合成の際に、ＡＦレベルを算出し、この算出結果に基づいて、フォーカスブラケットの設定を変更し、次の１周期の深度合成の際にＡＦレベルに応じて深度合成を行うか否かを判定していた。しかし、本変形例においては、基本画像処理を行う際に（図１６のＳ９１）、併せてＡＦレベルの検出を行い、このＡＦレベルの検出結果に基づいて、深度合成のための画像処理を行うか否かについて判定するようにしている。
【０１５０】
図１９は、フォーカス位置制御の例を示す。図１９から分かるように、本変形においては、位置ｃ→位置ａ→位置ｂ→位置ｄ→位置ｅ→位置ｃ→位置ａ→位置ｂ→位置ｄ→位置ｅ→位置ｃの順に、すなわち、全フォーカス位置について、順番に、フォーカスレンズを移動させている。そして、それぞれのフォーカス位置で画像データ（Ｆｃ０、Ｆａ１、Ｆｂ１・・・）を取得している。このように全部のフォーカス位置で画像データを取得しているが、ＡＦレベルが低く、合焦範囲内にない画像データＦａ１、Ｆｅ１については、画像データを取得しても、深度合成処理を行わないようにする。
【０１５１】
図２０は、本変形例における、周期、撮影回数、撮影画像、位置合わせ基準画像、位置合わせ用深度合成画像、深度合成画像の関係を示す図表である。図２０において、２周期の１回目の撮影において、撮影画像Ｆａ２を取得するが、この撮影画像Ｆａ２のＡＦレベルは低いことから深度合成のための画像処理（位置合わせを含む）には使用しない。２回目の撮影画像Ｆｂ２、３回目の撮影画像Ｆｄ２、および５回目の撮影画像Ｆｃ２は、ＡＦレベルが合焦範囲内にあることから深度合成のための画像処理（位置合わせを含む）に使用する。
【０１５２】
このように、本変形例においては、深度合成処理に先立って、ＡＦレベルを判定し、この結果に基づいて深度合成処理を行うか否かを判定している。すなわち、本変形例においては、深度合成制御部は、ＡＦレベルが合焦範囲内でない場合に、深度合成画像を生成しないようにしている。このため、被写体のＡＦレベルが変動しても迅速に対応し、無駄な深度合成処理を行うことがない。
【０１５３】
以上説明したように、本発明の各実施形態や変形例においては、最後のフォーカス位置で撮像した画像に対しては、当該最後に撮像した画像を画像合成時の位置合せの基準にして、過去の撮像画像、又は過去に合成された画像と画像合成し（例えば、図８の１周期の１回目参照）、一方、最後のフォーカス位置で撮像した画像以外の撮像画像に対しては、過去の撮像画像、又は過去に合成された画像を位置合せの基準に画像合成を行う（例えば、図８の１周期の２回目〜５回目参照）。
【０１５４】
すなわち、複数の画像を用いて深度合成する際に、最後の撮像画像以外の場合には、過去の撮像画像等を用いて位置合わせを行うのに対して、最後の撮像画像の場合にはこの最後の撮像画像を用いて位置合わせを行っている。このため、被写体や撮像装置が動いた場合でも深度合成処理を適切に行うことができる。被写体が移動した場合や撮像装置が動くと、撮影画角の中で被写体の位置が変化するが、本実施形態においては、最後に撮像された結果に基づいて、最終的な深度合成画像が生成される。深度合成の途中経過の画像の生成にあたっては、最終画像に反映されないことから、過去の撮像画像を用いても問題がない。
【０１５５】
なお、本発明の各実施形態や変形例においては、撮影状態推定部１１５、撮影設定部１１７、フォーカス基準位置設定部１１９、画像処理部１０９、ＡＥ処理部１１１、ＡＦ処理部１１３を、マイクロコンピュータ１２１とは別体の構成としたが、ハードウエア回路や部品単体の他、マイクロコンピュータ１２１と一体に構成してもよく、別体のＣＰＵとプログラムによってソフトウエア的に構成してもよい。また、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
【０１５６】
また、本発明の各実施形態や変形例においては、カメラが深度合成の画像処理も行っていたが、深度合成用の撮影のみを行い、深度合成のための画像処理はパーソナルコンピュータ、スマートフォン等の画像処理用の機器で行うようにしても勿論かまわない。
【０１５７】
また、本発明の各実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、異なる光学システムを採用する撮影のための機器であれば、本発明を適用することができる。
【０１５８】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定ができることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１５９】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１６０】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１６１】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・画像合成部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・撮影状態推定部、１１７・・・撮影設定部、１１９・・・フォーカス基準位置設定部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ
【図１】
2018011268.tif 000003
【図２】
2018011268.tif 000004
【図３】
2018011268.tif 000005
【図４】
2018011268.tif 000006
【図５】
2018011268.tif 000007
【図６】
2018011268.tif 000008
【図７】
2018011268.tif 000009
【図８】
2018011268.tif 000010
【図９】
2018011268.tif 000011
【図１０】
2018011268.tif 000012
【図１１】
2018011268.tif 000013
【図１２】
2018011268.tif 000014
【図１３】
2018011268.tif 000015
【図１４】
2018011268.tif 000016
【図１５】
2018011268.tif 000017
【図１６】
2018011268.tif 000018
【図１７】
2018011268.tif 000019
【図１８】
2018011268.tif 000020
【図１９】
2018011268.tif 000021
【図２０】
2018011268.tif 000022