(57)【要約】【課題】複数の画像を合成してより深い被写界深度の画像を自動生成する撮像装置を提供する。【解決手段】撮像装置１００は、合焦位置を変化させながら被写体像を撮像して複数の画像データを生成する撮像部１４０と、撮像部により生成された複数の画像データを合成して、複数の画像データの被写界深度より深い被写界深度を有する静止画データを生成する画像処理部１６０と、画像処理部を制御する制御部１８０と、を備える。制御部１８０は、複数の画像データの中の１つの画像データが示す画像から主要被写体を検出し、検出した主要被写体の位置に基づき、複数の画像データを合成する範囲を決定し、決定した範囲内で合焦する画像データを合成して静止画データを生成するように、画像処理部１６０を制御する。【選択図】図１
2018098764.tif 000002
【特許請求の範囲】
【請求項１】
合焦位置を変化させながら被写体像を撮像して複数の画像データを生成する撮像部と、
前記撮像部により生成された前記複数の画像データを合成して、前記複数の画像データそれぞれの被写界深度より深い被写界深度を有する静止画データを生成する画像処理部と、
前記画像処理部を制御する制御部と、を備え、
前記制御部は、
前記複数の画像データの中の１つの画像データが示す画像から主要被写体を検出し、検出した前記主要被写体の位置に基づき、前記複数の画像データを合成する範囲を決定し、前記複数の画像データのうち決定した前記範囲内で合焦する画像データを合成して前記静止画データを生成するように、前記画像処理部を制御する
撮像装置。
【請求項２】
前記制御部は、前記画像に含まれる複数の被写体のそれぞれについて重要度を算出し、算出した前記重要度に基づき前記複数の被写体の中から前記主要被写体を設定する、請求項１記載の撮像装置。
【請求項３】
前記重要度は、前記複数の被写体のそれぞれの前記画像上における面積が大きい程、より高い値に設定される、請求項２記載の撮像装置。
【請求項４】
前記重要度は、前記複数の被写体のそれぞれの位置が前記画像の中心により近い程、より高い値に設定される、請求項２または３に記載の撮像装置。
【請求項５】
前記制御部は、前記画像を複数の領域に分割して識別し、前記複数の領域のうち隣接する第１の領域と第２の領域との前記合焦位置の差が所定値以下である場合に、前記第1の領域と前記第２の領域は、前記複数の被写体のうち、少なくとも一つの同じ被写体を含むと判定する、請求項２に記載の撮像装置。
【請求項６】
前記所定値は、前記合焦位置に応じて異なるように設定される、請求項５に記載の撮像装置。
【請求項７】
前記制御部は、前記主要被写体を検出する際に、前記複数の画像データをそれぞれ特定する情報と、前記複数の画像データのそれぞれにおける合焦された領域を示す情報と、前記複数の画像データのそれぞれを生成する際の前記合焦位置とを対応づけた情報と、を用いて検出する、請求項１記載の撮像装置。
【請求項８】
前記撮像部は前記被写体像を撮像して動画データを生成し、
前記複数の画像データは前記動画データを構成する複数のフレーム画像のデータである、請求項１記載の撮像装置。
【請求項９】
複数の画像データを合成して、前記複数の画像データのそれぞれにおける主要被写体の被写界深度よりも静止画データにおける前記主要被写体の被写界深度の方が深くなるように前記静止画データを生成する、画像合成方法であって、
前記複数の画像データのそれぞれの画像上において、第１の被写体と第２の被写体とが配置される場合に、
前記第１の被写体と前記第２の被写体の前記画像上における面積が異なり、かつ前記第１の被写体と前記第２の被写体の合焦位置が異なり、かつ前記第１の被写体と前記第２の被写体の前記画像上の中心位置が等しいとき、前記第１の被写体と前記第２の被写体のうち、前記画像上における前記面積がより大きい方を前記主要被写体とし、
かつ、
前記第１の被写体と前記第２の被写体の前記画像上における前記面積が等しく、かつ前記第１の被写体と前記第２の被写体の前記合焦位置が異なり、かつ前記第１の被写体と前記第２の被写体の前記画像上の前記中心位置が異なるとき、前記第１の被写体と前記第２の被写体のうち、前記画像の中心により近い方を前記主要被写体とする、
画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の画像を合成し、深い被写界深度の画像を生成する機能を有する撮像装置、および画像合成方法に関する。
【背景技術】
【０００２】
特許文献１は、フォーカスを変えた複数の画像を撮像し、撮像された画像に基づいて、被写界深度を拡大した画像を生成する撮像装置を開示する。特許文献１の撮像装置では、操作者は合焦したい被写体を複数選択し、操作者により選択された被写体それぞれの合焦位置に基づいて画像が撮像される。これらの画像を合成することにより、操作者の意図に沿った合成画像が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０７５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、複数の画像を合成して、より深い被写界深度の画像を自動生成する撮像装置を提供する。また本開示は、複数の画像を合成して、より深い被写界深度の画像を自動生成する画像合成方法を提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様である撮像装置は、合焦位置を変化させながら被写体像を撮像して複数の画像データを生成する撮像部と、前記撮像部により生成された前記複数の画像データを合成して、前記複数の画像データそれぞれの被写界深度より深い被写界深度を有する静止画データを生成する画像処理部と、前記画像処理部を制御する制御部と、を備える。前記制御部は、前記複数の画像データの中の１つの画像データが示す画像から主要被写体を検出し、検出した前記主要被写体の位置に基づき、を含むように前記複数の画像データを合成する範囲を決定し、前記複数の画像データのうち決定した前記範囲内で合焦する画像データを合成して前記静止画データを生成するように、前記画像処理部を制御する。
【０００６】
本開示の他の一態様である画像合成方法は、複数の画像データを合成して、前記複数の画像データのそれぞれにおける主要被写体の被写界深度よりも静止画データにおける前記主要被写体の被写界深度の方が深くなるように前記静止画データを生成する、画像合成方法である。前記画像合成方法では、前記複数の画像データのそれぞれの画像上において、第１の被写体と第２の被写体とを含む場合に、前記第１の被写体と前記第２の被写体の前記画像上における面積が異なり、かつ前記第１の被写体と前記第２の被写体の合焦位置が異なり、かつ前記第１の被写体と前記第２の被写体の前記画像上の中心位置が等しいとき、前記第１の被写体と前記第２の被写体のうち、前記画像上における前記面積がより大きい方を前記主要被写体とする。また前記画像合成方法では、前記第１の被写体と前記第２の被写体の前記画像上における前記面積が等しく、かつ前記第１の被写体と前記第２の被写体の前記合焦位置が異なり、かつ前記第１の被写体と前記第２の被写体の前記画像上の前記中心位置が異なるとき、前記第１の被写体と前記第２の被写体のうち、前記画像の中心により近い方を前記主要被写体とする。
【発明の効果】
【０００７】
本開示の撮像装置および画像合成方法によれば、画像から主要被写体を検出し、その主要被写体の位置に基づいて合成範囲を決定し、決定された合成範囲内で合焦する複数の画像データを合成して、被写界深度の深い画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本開示に係るデジタルカメラの構成を示す図である。
【図２】図２は、デジタルカメラの背面図である。
【図３】図３は、深度合成処理を行うときの処理の流れを示すフローチャートである。
【図４】図４は、マルチフォーカス動画の記録時におけるフォーカスレンズの移動を説明する図である。
【図５】図５は、マルチフォーカス動画のフレーム画像を用いた深度合成の概念を説明する図である。
【図６】図６は、（Ａ）画像領域に設定された複数のＡＦ領域と、（Ｂ）一つのＡＦ領域における、フォーカスレンズの移動に伴うコントラスト値の変化とを説明する図である。
【図７Ａ】図７Ａは、合焦情報テーブルの例を示す図である。
【図７Ｂ】図７Ｂは、合焦情報テーブルの例を示す図である。
【図８】図８は、フォーカスサーチと、マルチフォーカス動画の記録処理と、を示すフローチャートである。
【図９】図９は、マルチフォーカス動画の記録時のフォーカスレンズの移動範囲を説明する図である。
【図１０】図１０は、自動深度合成処理を示すフローチャートである。
【図１１】図１１は、深度合成範囲の設定処理を示すフローチャートである。
【図１２Ａ】図１２Ａは、複数の被写体を含むフレーム画像の例を示す図である。
【図１２Ｂ】図１２Ｂは、ＡＦ領域毎に抽出された複数の被写体の例を説明する図である。
【図１３】図１３は、被写体判定情報テーブルの例を示す図である。
【図１４】図１４は、判定閾値テーブルの例を示す図である。
【図１５Ａ】図１５Ａは、各ＡＦ領域に対する重みの設定例を説明する図である。
【図１５Ｂ】図１５Ｂは、重みテーブルの例を示す図である。
【図１６】図１６は、同一被写体を含むＡＦ領域を検出する処理を示すフローチャートである。
【図１７】図１７は、各ＡＦ領域に含まれる被写体の重要度（累積重要度）を算出する処理を示すフローチャートである。
【図１８】図１８は、被写体重要度テーブルの例を示す図である。
【図１９】図１９は、深度合成範囲の算出処理を示すフローチャートである。
【図２０】図２０は、深度合成範囲の算出処理の具体例を説明するための図である。
【図２１】図２１は、自動で設定された深度合成範囲を説明する図である。
【図２２Ａ】図２２Ａは、面積の異なる複数の被写体を含むフレーム画像の例を示す図である。
【図２２Ｂ】図２２Ｂは、図２２Ａのフレーム画像にＡＦ領域を示す枠を重畳した図である。
【図２３Ａ】図２３Ａは、中心位置の異なる複数の被写体を含むフレーム画像の例を示す図である。
【図２３Ｂ】図２３Ｂは、図２３Ａのフレーム画像にＡＦ領域を示す枠を重畳した図である。
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるものであって、これらによって特許請求の範囲に記載の主題を限定することは意図されていない。
【００１０】
以下、図面を用いて本開示に係る撮像装置の実施の形態を説明する。
【００１１】
（実施の形態１）
［１．構成］
実施の形態１に係るデジタルカメラ（撮像装置の一例）の電気的構成について図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１つ又は複数のレンズからなる光学系１１０により形成された被写体像を、撮像部としてのＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）１４０で撮像する撮像装置である。ＣＣＤ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。
【００１２】
光学系１１０は、フォーカスレンズ１１１、ズームレンズ１１２、及び手振れ補正レンズ１１３を含む。ズームレンズ１１２を光軸に沿って移動させることにより、被写体像の拡大又は縮小をすることができる。また、フォーカスレンズ１１１を光軸に沿って移動させることにより、被写体像のピント（合焦状態）を調整することができる。また、手振れ補正レンズ１１３は、デジタルカメラ１００のブレによる画像のブレを補正する。
【００１３】
レンズ駆動部１２０は、光学系１１０に含まれる各種レンズ（例えばズームレンズ１１２及びフォーカスレンズ１１１）を駆動させる。レンズ駆動部１２０は、例えばズームレンズ１１２を駆動するズームモータ、およびフォーカスレンズ１１１を駆動するフォーカスモータを含む。
【００１４】
絞り部３００は、ユーザの設定に応じて又は自動で開口部の大きさを調整し、開口部を透過する光の量を調整する。
【００１５】
シャッタ１３０は、ＣＣＤ１４０に透過させる光を遮光するための手段である。シャッタ１３０は、光学系１１０及び絞り部３００とともに、被写体像を示す光学情報を制御する。また、光学系１１０及び絞り部３００はレンズ鏡筒内に収納される。
【００１６】
ＣＣＤ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＣＤ１４０は、カラーフィルタと、受光素子と、ＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌｌｅｒ）とを含む。受光素子は、光学系１１０によって集光された光学的信号を電気信号に変換し、画像情報を生成する。ＡＧＣは、受光素子から出力された電気信号を増幅する。
【００１７】
ＡＤＣ（Ａ／Ｄコンバータ：アナログ−デジタル変換器）１５０は、ＣＣＤ１４０で生成されたアナログ画像データをデジタル画像データに変換する。
【００１８】
画像処理部１６０は、ＣＣＤ１４０で生成され、変換されたデジタル画像データに対して、コントローラ１８０の制御を受け、各種処理を施す。画像処理部１６０は、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データを、Ｈ．２６４規格およびＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに基づいて、例えば、画素数４０００×２０００前後の動画の画像データ（４Ｋ動画データ）を生成することができる。画像処理部１６０は、生成した４Ｋ動画データに対して後述する種々の処理を行うことができる。例えば、画像処理部１６０は、生成した４Ｋ動画データを構成するフレーム画像を用いて深度合成（焦点合成）処理を行う（詳細は後述）。
【００１９】
コントローラ１８０は、デジタルカメラ１００の全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。
【００２０】
画像処理部１６０およびコントローラ１８０は、ハードウェアのみで構成されてもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現されてもよい。コントローラ１８０は、マイクロコントローラ、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などで実現される。
【００２１】
バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、強誘電体メモリなどで実現される。
【００２２】
カードスロット１９０は、メモリカード２００をデジタルカメラ１００に装着するための手段である。カードスロット１９０は、機械的及び電気的にメモリカード２００とデジタルカメラ１００を接続可能である。
【００２３】
メモリカード２００は、フラッシュメモリまたは強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。
【００２４】
内蔵メモリ２４０は、フラッシュメモリまたは強誘電体メモリなどで構成される。内蔵メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラムおよびデータ等を記憶している。
【００２５】
操作部材２１０は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、ユーザからの操作を受け付けるボタン、レバー、ダイヤル、タッチパネル、およびスイッチ等の少なくとも一つを含む。また、操作部材２１０は、レンズ鏡筒の外周に設けられたフォーカスリングを含む。フォーカスリングは、フォーカスレンズ１１１を移動させるためにユーザにより回転操作される部材である。
【００２６】
表示モニタ２２０は、ＣＣＤ１４０で生成された画像データが示す画像（スルー画像）、およびメモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。表示モニタ２２０は、液晶表示デバイス、または有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示デバイスで構成される。
【００２７】
ジャイロセンサ２５０は、デジタルカメラ１００のブレ（動き）を検出するセンサである。ジャイロセンサ２５０からの出力信号に基づき手振れ補正動作および静止判定が行われる。
【００２８】
図２は、デジタルカメラ１００の背面を示す図である。図２では、操作部材２１０の例として、レリーズボタン２１１、選択ボタン２１３、決定ボタン２１４、およびタッチパネル２２２が示されている。操作部材２１０は、ユーザによる操作を受け付けると、コントローラ１８０に種々の指示信号を送信する。
【００２９】
レリーズボタン２１１は、二段押下式の押下式ボタンである。レリーズボタン２１１がユーザにより半押し操作されると、コントローラ１８０はオートフォーカス制御（ＡＦ制御）およびオート露出制御（ＡＥ制御）などを実行する。また、レリーズボタン２１１がユーザにより全押し操作されると、コントローラ１８０は、押下操作のタイミングに撮像された画像データを記録画像としてメモリカード２００等に記録する。
【００３０】
選択ボタン２１３は、決定ボタン２１４の上下左右方向にそれぞれ設けられた複数の押下式ボタンである。ユーザは、上下左右方向のいずれかの選択ボタン２１３を押下することにより、カーソルおよび後述する枠を移動させたり、表示モニタ２２０に表示される各種条件項目を選択したりすることができる。
【００３１】
決定ボタン２１４は、押下式ボタンである。デジタルカメラ１００が撮影モードあるいは再生モードにあるときに、決定ボタン２１４がユーザにより押下されると、コントローラ１８０は表示モニタ２２０にメニュー画面を表示する。メニュー画面は、撮影（記録）および再生のための各種条件を設定するための画面である。決定ボタン２１４が各種条件の設定項目が選択されているときに押下されると、コントローラ１８０は、選択された項目の設定を確定する。
【００３２】
タッチパネル２２２は、表示モニタ２２０の表示画面と重畳して配置され、ユーザの指による表示画面上へのタッチ操作を検出する。これにより、ユーザは、表示モニタ２２０に表示された画像に対して領域を指定する等の操作を行える。
【００３３】
［２．動作］
以上のような構成を有するデジタルカメラ１００の動作を説明する。デジタルカメラ１００は、深度合成（焦点合成）機能を有する。深度合成機能とは、それぞれ異なる合焦位置（以下、フォーカスレンズ位置ともいう）で撮影された複数の画像を合成して擬似的に深い被写界深度を有する１つの静止画を生成する機能である。以下、デジタルカメラ１００の深度合成機能を用いた深度合成動作について説明する。
【００３４】
［２−１．深度合成］
図３は、デジタルカメラ１００の深度合成動作を実行する時の処理の流れを説明する図である。デジタルカメラ１００は、深度合成に使用するための複数の静止画を得るために、合焦位置（焦点位置）を変更させながら動画を記録する処理を行う（Ｓ１）。つまりデジタルカメラ１００のコントローラ１８０は、フォーカスレンズ１１１を光軸に沿って移動させながらＣＣＤ１４０に撮像させ、動画データを生成させる。その後、デジタルカメラ１００は、記録した動画に含まれるフレーム画像（静止画）を用いて後述の深度合成処理（Ｓ２）を実行し、深い被写界深度の静止画を生成する。なお、深度合成処理（Ｓ２）は、動画の記録処理（Ｓ１）に続いて連続して実行されてもよい。または、深度合成処理（Ｓ２）は、動画の記録処理（Ｓ１）の完了後、任意のタイミングで、例えば、ユーザにより所定の操作（メニュー画面の操作または操作ボタンによる操作）がなされたときに実行されてもよい。
【００３５】
［２−１−１．深度合成のための動画の記録］
図４〜図７Ａ、図７Ｂを参照して、深度合成に使用するための動画の記録処理（Ｓ１）について説明する。この処理では、それぞれ異なる合焦位置を有する複数の静止画（フレーム画像）を得るために、合焦位置を連続的に変化させながら動画を記録する。以下このようにして記録される動画を「マルチフォーカス動画」という。デジタルカメラ１００においては、このマルチフォーカス動画を記録するための特定の撮影モードを有している。ユーザは、例えばメニュー画面または操作ダイヤルを操作することにより、デジタルカメラ１００をその特定の撮影モードに設定できる。
【００３６】
マルチフォーカス動画は、合焦位置（すなわち、フォーカスレンズ位置）を連続的に変化させながら記録される動画である。マルチフォーカス動画として、例えば、画素数４０００×２０００前後の高解像度の４Ｋ動画が記録される。この４Ｋ動画を構成するフレーム画像に含まれる複数のフレーム画像を用いて深度合成処理が実行される。このようにして深度合成された画像は、４Ｋ動画に基づいているため、高い画質を有している。
【００３７】
マルチフォーカス動画の記録では、図４に示すように至近端側から無限端側（またはその逆）に向かってフォーカスレンズ１１１を移動させながら、すなわち、合焦位置を変化させながら動画撮影を行う。このようにして記録されたマルチフォーカス動画は、図５に示すように、それぞれ異なる合焦位置で記録された複数フレーム画像Ｐｎを含む。深度合成処理において、デジタルカメラ１００により深度合成の範囲が自動で設定される。そして、撮影された複数フレーム画像Ｐｎの中から、自動設定された合成範囲で合焦したフレーム画像（図中、ハッチングされた画像）が選択され、合成される。以下、合成範囲を、深度合成範囲ともいう。合成範囲の自動設定の詳細は後述する。
【００３８】
実施の形態１のデジタルカメラ１００では、オートフォーカス動作に関して、図６の（Ａ）に示すように画像領域４００において複数のＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）領域が設定されている。実施の形態１では４９個（７行×７列）のＡＦ領域が設定されている。ＡＦ領域毎に、各ＡＦ領域を特定するための番号（１〜４９）が付加されている。ＡＦ領域毎に、そのＡＦ領域内の被写体に合焦しているフレーム（以下「合焦フレーム」という）が特定され、特定された合焦フレームに関する情報が合焦情報テーブル（後述）に記録される。なお、デジタルカメラ１００は、マルチフォーカス動画を記録（撮影）する前にフォーカスサーチ動作を行い、各ＡＦ領域の合焦位置を検出して合焦情報テーブルを生成する。
【００３９】
図７Ａ、図７Ｂは、それぞれ合焦情報テーブル６０及び合焦情報テーブル６１のデータ構造を示す図である。合焦情報テーブル６０は、フォーカスサーチ動作において最も至近端側でピントがあったときのフォーカスレンズ位置（Ｐｎｅａｒ）を示す情報（最近合焦レンズ位置）と、最も無限端側でピントがあったときのフォーカスレンズ位置（Ｐｆａｒ）を示す情報（最遠合焦レンズ位置）とを格納する（図７Ａ参照）。さらに、合焦情報テーブル６１は、各ＡＦ領域に対して、各ＡＦ領域に合焦するときのフォーカスレンズ１１１の位置と、各ＡＦ領域において合焦状態を有するフレームのフレーム番号とを対応づけて管理する（図７Ｂ参照）。
【００４０】
例えば、フォーカスサーチ動作において、フォーカスレンズ１１１を移動させながらＡＦ領域毎にコントラスト値を算出する。例えば、図６の（Ａ）に示す第１９ＡＦ領域４１において、図６の（Ｂ）に示すように、フォーカスレンズ位置Ｐにおいてコントラスト値のピークが検出されるとする。その場合、図７Ｂに示す合焦情報テーブル６１の第１９ＡＦ領域の欄には、フォーカスレンズ位置Ｐが記録される。その後、マルチフォーカス動画の記録動作において、フォーカスレンズ位置Ｐのときに撮影されたフレームのフレーム番号（この例では、「５０」）を、フォーカスレンズ１１１の位置（この例では「Ｐ」）と対応させて合焦情報テーブル６１に記録する。合焦情報テーブル６０及び合焦情報テーブル６１は、例えば動画撮影により得られた動画データのヘッダ部に格納される。
【００４１】
図８のフローチャートを参照し、深度合成に使用するためのマルチフォーカス動画の記録処理（Ｓ１）の詳細を説明する。
【００４２】
デジタルカメラ１００において、マルチフォーカス動画を記録するための特定の撮影モードに設定された状態で、ユーザのズームレンズ１１２の操作等により所望の画角が設定される。画角が設定された後、ユーザによりレリーズボタン２１１が半押しされると（Ｓ１１でＹＥＳ）、コントローラ１８０は、画像のＡＦ領域のそれぞれについて合焦位置を検出して合焦情報テーブル６０及び合焦情報テーブル６１を作成するためのフォーカスサーチを行う（Ｓ１２）。
【００４３】
フォーカスサーチでは、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に（またはその逆に）移動させながら、ＡＦ領域毎にコントラスト値を検出する（図６の（Ａ）及び（Ｂ）参照）。
【００４４】
そして、コントローラ１８０は、検出したコントラスト値に基づき合焦情報テーブル６１を作成する。具体的には、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に移動させたときに、ＡＦ領域毎に、複数の画像の中でコントラスト値が最大となるときのフォーカスレンズ１１１の位置を算出し（図６の（Ｂ）参照）、そのフォーカスレンズ１１１の位置を合焦情報テーブル６１（図７Ｂのｃ行参照）に記録する。一のＡＦ領域について、いずれの画像のコントラスト値も所定の閾値よりも低い場合、当該ＡＦ領域については、合焦位置が定まらないとし、合焦情報テーブル６１には合焦位置が不明であることを示す所定の値が記録される。
【００４５】
コントローラ１８０は全ＡＦ領域でフォーカスサーチを実行した後、さらに、フォーカスレンズ１１１を至近端から無限端に移動させたときに算出された合焦位置において、最も至近端に近い合焦位置（Ｐｎｅａｒ）と、最も無限端に近い合焦位置（Ｐｆａｒ）とを合焦情報テーブル６０に記録する（図７Ａのａ行参照）。以上によりフォーカスサーチは終了する。なお、この状態では、合焦情報テーブル６１において未だフレーム番号の情報は含まれていない。
【００４６】
フォーカスサーチ終了後、コントローラ１８０は、ユーザによりレリーズボタン２１１の半押しが継続されているか否かを判断する（Ｓ１３）。
【００４７】
フォーカスサーチ終了後、ユーザによるレリーズボタン２１１の半押しがなされていない場合（Ｓ１３でＮＯ）、コントローラ１８０は、処理をステップＳ１１に戻す。これにより、ユーザがフォーカスサーチをやり直すことができるようになる。
【００４８】
フォーカスサーチ終了後も、ユーザによりレリーズボタン２１１の半押しが継続されている場合（Ｓ１３でＹＥＳ）、コントローラ１８０は引き続きレリーズボタン２１１が全押しされたか否かを判断する（Ｓ１４）。
【００４９】
その後、ユーザによりレリーズボタン２１１が全押しされると（Ｓ１４でＹＥＳ）、マルチフォーカス動画を記録する動画記録動作が開始される（Ｓ１５）。
【００５０】
すなわち、コントローラ１８０は、フォーカスレンズ１１１を至近端側に戻し、図９に示すように、フォーカスレンズ１１１を、最近フォーカスレンズ位置（Ｐｎｅａｒ）から最遠フォーカスレンズ位置（Ｐｆａｒ）まで移動させながら動画（マルチフォーカス動画）を記録する（Ｓ１５）。動画記録時のフォーカスレンズ１１１の移動範囲を、フォーカスサーチで得られた範囲（Ｐｎｅａｒ〜Ｐｆａｒ）に制限することにより、合焦が得られない範囲においての動画記録が行われなくなる。その結果、動画記録にかかる時間を短縮できる。なお、動画記録は、動画データ用の所定のフォーマットに従い動画が記録される。例えば、ＭＰ４規格（Ｈ．２６４／ＭＰＥＧ‐４  ＡＶＣ方式）に従い動画が記録される。動画記録実行中、表示モニタ２２０には、例えば、動画記録中であることを示すアイコンまたはメッセージ等を表示してもよい。
【００５１】
また、コントローラ１８０は、動画記録中、各ＡＦ領域について、フォーカスレンズ１１１の位置と、動画を構成する各フレームのフレーム番号との対応づけを行う。すなわち、各ＡＦ領域について、合焦情報テーブル６１のフォーカスレンズ位置（図７Ｂのｃ行参照）が示すフォーカスレンズ位置で撮影されたフレームの番号を特定し、フォーカスレンズ位置と対応づけて合焦情報テーブル６１に記録する。これにより、合焦情報テーブル６１において各ＡＦ領域に対してフレーム番号の対応づけがなされる（図７Ｂのｂ行参照）。
【００５２】
動画の記録実行中、表示モニタ２２０には記録中の画像が表示されるが、その際、画像における合焦領域に対して、合焦領域をユーザに認識させるための強調表示を行ってもよい。この強調表示を行うことで、ユーザは画像において合焦された領域を容易に把握することが可能になる。
【００５３】
図８に戻り、動画の記録（Ｓ１５）が終了すると、ヘッダ部に合焦情報テーブル６０及び合焦情報テーブル６１が記録された動画データをメモリカード２００に記録する（Ｓ１６）。これにより動画（マルチフォーカス動画）の記録処理（Ｓ１）が終了する。
【００５４】
動画記録（Ｓ１）の終了後、深度合成処理（Ｓ２）が実行される。
【００５５】
［２−１−２．深度合成処理］
以下、深度合成処理（Ｓ２）を説明する。図１０は、深度合成処理を示すフローチャートである。深度合成処理では、コントローラ１８０は、まず、動画データを構成するフレーム画像を用いた深度合成処理における深度合成範囲（合成範囲）を自動設定し（Ｓ２１）、設定された合成範囲に基づき合成処理を行う（Ｓ２２）。以下、各処理（Ｓ２１、Ｓ２２）について説明する。
【００５６】
［２−１−２−１．深度合成範囲の設定］
図１１〜図２１を参照し、深度合成範囲の自動設定について説明する。
【００５７】
図１１は、深度合成範囲の設定処理を示すフローチャートである。深度合成範囲の設定処理において、コントローラ１８０は、まず、合焦情報テーブル６１を参照して、ＡＦ領域毎に、各ＡＦ領域に含まれる被写体を特定する（Ｓ３１）。すなわち、各ＡＦ領域が、画像中に含まれる複数の被写体のうちのいずれの被写体を含むかを特定する。例えば、マルチフォーカス動画を構成するフレーム画像が図１２Ａに示すように複数の被写体を含む場合、ＡＦ領域毎にそのＡＦ領域に含まれる被写体を特定する。次に、コントローラ１８０は、ＡＦ領域毎に、被写体の重要度を特定する（Ｓ３２）。ここで、被写体の重要度は被写体の画像中の位置に応じて設定される。次にコントローラ１８０は、被写体毎の累積重要度を算出する（Ｓ３３）。累積重要度の算出方法については、後述する。次に、コントローラ１８０は深度合成の合成範囲を設定する（Ｓ３４）。具体的には、コントローラ１８０は、被写体の累積重要度に基づき主要な被写体（以下、主要被写体という）を決定し、決定された主要被写体が合成範囲の中心となるように合成範囲を設定する。以下、上記の各処理（Ｓ３１〜Ｓ３４）について具体的に説明する。
【００５８】
最初に、各処理（Ｓ３１〜Ｓ３４）において使用する、被写体判定情報テーブルと、判定閾値テーブルと、重みテーブルとについて説明する。
【００５９】
図１３は、被写体判定情報テーブル７０の構成例を示す図である。被写体判定情報テーブル７０は、各ＡＦ領域が、画像中に含まれる複数の被写体のうちのどの被写体（被写体の全部あるいは一部分）を含んでいるかを管理する情報である。図１３に示すように、被写体判定情報テーブル７０は、ＡＦ領域のフォーカスレンズ位置と、ＡＦ領域を示すＡＦ領域番号と、ＡＦ領域に含まれる被写体を示す被写体番号と、ＡＦ領域に含まれる被写体の重要度を示す重要度とを互いに関連づけて管理する。被写体判定情報テーブル７０において、各データはフォーカスレンズ位置の順にソートされている。
【００６０】
図１３は、図１２Ａに示すようにフレーム画像が複数の被写体１〜被写体８を含む場合の、被写体判定情報テーブル７０の例を示している。被写体１は、図１２Ａに示すフレーム画像上における右下の花を示す。被写体２は、画像上において、被写体１の花よりも上側に配置された花を示す。被写体３は、画像上における中央の人物を示す。被写体４は、画像上における左下の花を示す。被写体５は、画像上における左側の人物を示す。被写体６は、画像上における右上の木々を示す。被写体７は、画像上における上側の空を示す。被写体８は、画像上における左上の雲を示す。図１３に示す被写体番号１は、被写体１を示す。被写体番号２〜被写体番号８も同様に、被写体２〜被写体８とそれぞれ対応している。
【００６１】
図１４は、判定閾値テーブル７２の構成例を説明する図である。判定閾値テーブル７２は、同一被写体であるか否かを判定するときのフォーカスレンズ位置の差（閾値）をフォーカスレンズ位置の所定範囲毎に管理する。判定閾値は、フォーカスレンズ位置の所定範囲毎に異なるよう設定されている。例えば、フォーカスレンズ位置が０以上１００未満のときは、判定閾値は１０に設定される。すなわち、隣接する２つのＡＦ領域について、それぞれの領域のフォーカスレンズ位置がいずれも０〜１００未満の範囲にある場合に、それらのＡＦ領域のフォーカスレンズ位置の差が１０（判定閾値）以内であれば、それら２つのＡＦ領域の被写体は同じ被写体であると判定し、同一の被写体番号を付与する。判定閾値は、フォーカスレンズ位置の値が大きくなるほど（無限端に近くなるほど）、より大きな値に設定されている。また、所定範囲について、フォーカスレンズ位置がより無限端に近くなるほど、その幅が大きくなるように設定されている。このように設定することより、フォーカスレンズが至近端に近い位置にある場合、２つの領域においてフォーカスレンズ位置に少しでも差があれば、２つの領域の被写体は、別の被写体であると判定される。一方で、フォーカスレンズが無限端に近い位置にある場合、２つの領域においてフォーカスレンズ位置の差が大きくても、２つの領域の被写体は同一の被写体であると判定される。
【００６２】
図１５Ａ及び図１５Ｂを参照して重みテーブルについて説明する。重みテーブルは、各ＡＦ領域に含まれる被写体の重要度（重み）をＡＦ領域毎に管理するテーブルである。実施の形態１では、図１５Ａに示すように、ＡＦ領域毎に、被写体の重要度を示す重みを設定している。特に、図１５Ａの例では、重み（重要度）は、画像の中心により近いほど、その値がより大きくなるように設定されている。これは、通常、撮影者が重要であると考える被写体は画像の中央の領域に配置されることが多いと考えられるからである。図１５Ｂは、図１５Ａに示すように重みがＡＦ領域毎に設定された場合の重みテーブル７４の構成を示す図である。重みの設定の仕方は図１５Ａに示す態様に限定されるものではない。
【００６３】
図１６のフローチャートを参照して、図１１のフローチャートにおけるＡＦ領域毎の被写体の算出処理（ステップＳ３１）を具体的に説明する。コントローラ１８０は、まず、合焦情報テーブル６１を参照し、被写体判定情報テーブル７０において、「フォーカスレンズ位置（合焦位置）」と「ＡＦ領域番号」とに値を格納する（Ｓ４１）。その際、コントローラ１８０は、合焦情報テーブル６１のデータを、フォーカスレンズ位置（合焦位置）の小さい順（昇順）に並べ換えて、被写体判定情報テーブル７０の“フォーカスレンズ位置（合焦位置）”と“ＡＦ領域番号”にそれぞれの値を格納する。
【００６４】
このため、コントローラ１８０は、合焦情報テーブル６１（図７Ｂ参照）からフォーカスレンズ位置順（昇順）にデータを読み出し、被写体判定情報テーブル７０において、フォーカスレンズ位置と対応づけてＡＦ領域番号を格納していく。ステップＳ４１の処理の完了時点では、被写体判定情報テーブル７０は未だ被写体番号と重要度が格納されておらず、未完成である。
【００６５】
次に、コントローラ１８０は、被写体判定情報テーブル７０において被写体番号を格納するための処理を行う（Ｓ４２〜Ｓ５０）。コントローラ１８０は、まず、カウンタｉ及び変数「被写体Ｎｏ」のそれぞれを「１」に初期化する（Ｓ４２）。
【００６６】
次に、コントローラ１８０は、被写体判定情報テーブル７０におけるｉ番目のフォーカスレンズ位置（合焦位置）の値を、変数「基準位置」に設定する（Ｓ４３）。
【００６７】
次に、コントローラ１８０は、判定閾値テーブル７２を参照して、同一被写体であるか否かを判定する際の判定基準となる閾値を取得する（Ｓ４４）。実施の形態１では、コントローラ１８０は、同一被写体であるか否かを、フォーカスレンズ位置に基づいて判断する。具体的には、ある一つの被写体の合焦位置と、その被写体に隣接する他の被写体の合焦位置との差が閾値以下である場合、それらの被写体は同一の被写体であると判定する。このときの閾値が判定閾値テーブル７２により提供される。前述のように、判定閾値テーブル７２において、閾値は、フォーカスレンズ位置の所定の範囲毎に設定されている。
【００６８】
コントローラ１８０は、被写体判定情報テーブル７０におけるｉ番目のフォーカスレンズ位置（合焦位置）の値を、変数「現在位置」に設定する（Ｓ４５）。次に、コントローラ１８０は、現在位置と基準位置の差が閾値以下であるか否かを判定する（Ｓ４６）。
【００６９】
現在位置と基準位置の差が閾値以下である場合（Ｓ４６でＹＥＳ）、コントローラ１８０は、被写体判定情報テーブル７０におけるｉ番目の被写体番号の値に、被写体Ｎｏの値を設定する（Ｓ４７）。これは、現在位置と基準位置の差分が閾値未満である場合、現在位置にある被写体と基準位置にある被写体は、互いのフォーカスレンズ位置が近いため、同一被写体であると判断できるからである。
【００７０】
そしてカウンタｉの値を１だけインクリメントする（Ｓ４８）。その後、ステップＳ４９でカウンタｉの値が４９以下か否かを判断する。カウンタｉの値が４９以下の場合（ステップＳ４９でＹＥＳ）は、ステップＳ４５に戻る。カウンタｉの値が４９を超える場合（ステップＳ４９でＮＯ）は、処理を終了する。
【００７１】
一方、ステップＳ４６で、現在位置と基準位置の差分が閾値より大きい場合（Ｓ４６でＮＯ）、コントローラ１８０は、被写体Ｎｏを１だけインクリメントし（Ｓ５０）、ステップＳ４３に戻る。
【００７２】
以上の処理により被写体判定情報テーブル７０において、フォーカスレンズ位置（合焦位置）、ＡＦ領域番号、および被写体番号が設定される。これにより、図１２Ｂに示すように、ＡＦ領域毎のフォーカスレンズ位置に基づいてフレーム画像から複数の被写体１〜被写体８が具体的に抽出される。しかし、この時点では、被写体判定情報テーブル７０において重要度は未だ設定されていない。
【００７３】
次に、図１７のフローチャートを参照して、図１１のフローチャートにおける、各ＡＦ領域に含まれる被写体の重要度の特定処理（ステップＳ３２）と被写体毎の累積重要度の算出処理（ステップＳ３３）とを具体的に説明する。
【００７４】
コントローラ１８０はまず、被写体判定情報テーブル７０の「重要度」を設定する（Ｓ５１）。具体的には、コントローラ１８０は、重みテーブル７４から各ＡＦ領域の「重み」を取得し、被写体判定情報テーブル７０における“重要度”に格納する。これにより、図１３に示すように、すべての値が格納された被写体判定情報テーブル７０が完成される。ステップＳ５１が、図１１のステップＳ３２の詳細なステップである。
【００７５】
次に、コントローラ１８０は、被写体毎の累積重要度を算出するための処理を行う（Ｓ５２〜Ｓ６０）。そのため、コントローラ１８０は、まず、カウンタｉを「１」に、変数「累積重要度」を「０」に初期化する（Ｓ５２）。
【００７６】
その後、コントローラ１８０は、被写体判定情報テーブル７０におけるｉ番目のフォーカスレンズ位置（合焦位置）に対応する「被写体番号」の値を、変数「基準被写体Ｎｏ」に設定する（Ｓ５３）。さらに、コントローラ１８０は、ｉ番目のフォーカスレンズ位置（合焦位置）に対応する「被写体番号」の値を、変数「現在被写体Ｎｏ」に設定する（Ｓ５４）。
【００７７】
次に、コントローラ１８０は、基準被写体Ｎｏと現在被写体Ｎｏとを比較する（Ｓ５５）。基準被写体Ｎｏと現在被写体Ｎｏとが等しい場合（Ｓ５５でＹＥＳ）、コントローラ１８０は、変数「累積重要度」の値に、被写体判定情報テーブル７０のｉ番目のフォーカスレンズ位置に対応する重要度の値を加算する（Ｓ５６）。つまり、ステップＳ５６では、被写体判定情報テーブル７０において同じ被写体番号を有するＡＦ領域に対して、重要度が合算される。このように同じ被写体番号を有するＡＦ領域の重要度を合算することにより、画像上における面積の大きい被写体ほど、累積重要度が高い値を有することになる。また、各ＡＦ領域の重要度について、画像内の被写体の位置に基づいて重みづけられた値を用いている。このように、実施の形態１では、被写体の累積重要度を、被写体の画像上における面積および位置に基づいて設定している。
【００７８】
その後、コントローラ１１は、カウンタｉを１だけインクリメントし（Ｓ５７）、カウンタｉが４９以下か否かを判断する（Ｓ５８）。カウンタｉの値が４９以下の場合（ステップＳ５８でＹＥＳ）、ステップＳ５４に戻る。カウンタｉの値が４９を超える場合（ステップＳ５８でＮＯ）、処理を終了する。
【００７９】
一方、基準被写体Ｎｏと現在被写体Ｎｏとが等しくない場合（Ｓ５５でＮＯ）、コントローラ１８０は、変数「基準被写体Ｎｏ」が示す値（被写体番号）と、変数「累積重要度」の現在の値とを対応づけて、被写体毎の累積重要度を管理する被写体重要度テーブルに格納する（Ｓ５９）。図１８は、被写体重要度テーブルの構成例を示す図である。被写体重要度テーブル７６は、被写体番号と、累積重要度とを対応付けて管理する。
【００８０】
その後、変数「累積重要度」の値を０にリセットし（Ｓ６０）、ステップＳ５３に戻る。これにより、累積重要度が算出される対象が、被写体判定情報テーブル７０において次の被写体番号が示す被写体に移行する。
【００８１】
上記の処理を繰り返すことで、被写体判定情報テーブル７０に記録された被写体番号が示す全ての被写体のそれぞれに対して累積重要度が算出され、算出結果が被写体重要度テーブル７６に格納される。これらのステップＳ５２〜Ｓ６０は、図１１のステップＳ３３の詳細なステップである。
【００８２】
以上のようにして記録した被写体重要度テーブル７６を参照し、深度合成処理において使用する画像の範囲を設定する。図１９は、図１１のフローチャートにおける、深度合成範囲の算出処理（ステップＳ３４）の詳細な処理を示すフローチャートである。本処理では、深度合成処理において使用する画像の範囲を設定する。
【００８３】
コントローラ１８０は、被写体重要度テーブル７６を参照し、最も高い累積重要度に対応する被写体番号を取得する（Ｓ６１）。例えば、図１８に示す例では、コントローラ１８０は、最も高い累積重要度「１０１」に対応する被写体番号「３」を取得する。このように、最も高い累積重要度に対応する被写体番号を特定することで、ユーザが重要であると考える主要被写体を検出している。
【００８４】
次に、コントローラ１８０は、被写体判定情報テーブル７０を参照し、取得した被写体番号（すなわち、主要被写体）に対応づけられたフォーカスレンズ位置（合焦位置）の中で、最も至近端側にあるフォーカスレンズ位置（以下「最近フォーカス位置」という）と、最も無限端側のフォーカスレンズ位置（以下「最遠フォーカス位置」という）とを取得する（Ｓ６２）。例えば、最も高い累積重要度に対応する被写体番号として「３」が取得された場合（すなわち、「被写体３」が主要被写体として検出された場合）、被写体判定情報テーブル７０（図１３）から、被写体番号「３」に対応づけられたフォーカスレンズ位置の中で、最近フォーカス位置として「４００」が、最遠フォーカス位置として「４７０」が取得される。
【００８５】
次に、コントローラ１８０は、最近フォーカス位置と最遠フォーカス位置から、合成範囲の中心となるフォーカスレンズ位置（以下「合成範囲の中心位置」という）を算出する（Ｓ６３）。具体的には、コントローラ１８０は、最近フォーカス位置と最遠フォーカス位置の中間値に最も近いフォーカスレンズ位置を被写体判定情報テーブル７０から取得する。なお、被写体判定情報テーブル７０において、中間値に最も近いフォーカスレンズ位置の候補が、中間値よりも至近端側及び無限端側の双方にある場合、ＡＦ領域の数が多い方を、中間値に最も近いフォーカスレンズ位置とする。つまり、中間値に最も近い至近端側のフォーカスレンズ位置が記録されたＡＦ領域の数と、中間値に最も近い無限端側のフォーカスレンズ位置が記録されたＡＦ領域の数とを比較して、数が多い方に対応するフォーカスレンズ位置を、中間値に最も近いフォーカスレンズ位置として設定する。なお、中間値に最も近いフォーカスレンズ位置を、ＡＦ領域の数によらず、単純に至近端側および無限遠側のいずれかにおいて最も近いフォーカスレンズ位置に決めてもよい。そして、コントローラ１８０は、中間値に最も近いフォーカスレンズ位置を合成範囲の中心位置に設定する。
【００８６】
例えば、図１３に示す被写体判定情報テーブル７０から、被写体番号「３」に対応づけられた最至近端側のフォーカスレンズ位置として「４００」が、最無限端側のフォーカスレンズ位置として「４７０」が取得された場合、その中間値は「４３５」と算出される。この場合、中間値「４３５」に最も近いフォーカスレンズ位置の候補として、至近端側のフォーカスレンズ位置「４３０」と無限遠側のフォーカスレンズ位置「４４０」がある。フォーカスレンズ位置が「４３０」となるＡＦ領域としては、ＡＦ領域番号「１１」を持つ領域の１つのみである。これに対し、フォーカスレンズ位置が「４４０」となるＡＦ領域として、ＡＦ領域番号「１７」、「１９」、および「３２」を持つ３つの領域がある。よって、フォーカスレンズ位置が「４４０」となるＡＦ領域の方が、フォーカスレンズ位置が「４３０」となるＡＦ領域よりも数が多いため、中間値に最も近いフォーカスレンズ位置は「４４０」となる。このようにして、被写体判定情報テーブル７０において中間値「４３５」に最も近いフォーカスレンズ位置として「４４０」が算出される。このフォーカスレンズ位置「４４０」が合成範囲の中心位置として設定される。
【００８７】
図１９に戻り、次に、コントローラ１８０は、合成範囲の中心位置に基づき深度の合成範囲を設定する（Ｓ６４）。具体的には、コントローラ１８０は、合成範囲の中心位置におけるフォーカスレンズ位置から至近端側へ所定値だけ離れた位置を、合成範囲として設定可能な範囲（以下、設定可能範囲という）の下限として算出する。さらに、コントローラ１８０は、合成範囲の中心位置におけるフォーカスレンズ位置から無限端側へフォーカスレンズ位置が所定値だけ離れた位置を設定可能範囲の上限として算出する。
【００８８】
ここで、前述の所定値は、画像を合成したときに合成画像が破綻しないような距離に設定される。一つの画像において隣接する２つの領域を深度の合成範囲とする場合に、２つの領域間のフォーカスレンズ位置（合焦位置）の差が大きいと、不自然な合成画像が得られる場合がある。これは、２つの領域間のフォーカスレンズ位置（合焦位置）の差が大きいと、それぞれの領域での合焦状態（ボケ方）が大きく異なるためである。つまり、それらの２つの領域を結合したときに境界近傍でつながり具合が滑らかにならないためである。そこで、実施の形態１では、深度合成する際に、フォーカスレンズ位置（合焦位置）の差が所定値より大きい領域間で合成がなされないよう、合成範囲に対応するフォーカスレンズ位置の範囲を制限する。
【００８９】
そして、コントローラ１８０は、被写体判定情報テーブル７０を参照し、合成範囲として設定可能な範囲内に対応する、至近端に最も近いフォーカスレンズ位置（以下「合成範囲の始点位置」という）を特定する。また、コントローラ１８０は、被写体判定情報テーブル７０を参照し、合成範囲として設定可能な範囲内に対応する、無限端に最も近いフォーカスレンズ位置（以下「合成範囲の終点位置」という）を特定する。これにより、主要被写体を中心とした所定範囲が合成範囲として設定される。
【００９０】
図２０を参照し、上述した合成範囲の設定処理を、具体例を用いて説明する。合成範囲の中心のフォーカスレンズ位置(合焦位置)が「４４０」、破綻を起こさないための所定値が「３００」である場合の例を説明する。この場合、合成範囲として設定可能な範囲の下限として「１４０」（＝４４０−３００）が、合成範囲として設定可能な範囲の上限として「７４０」（＝４４０＋３００）が算出される。被写体判定情報テーブル７０を参照すると、設定可能範囲（１４０から７４０の間の範囲）において、最近フォーカスレンズ位置として「１５０」が、最遠フォーカスレンズ位置として「６４０」が特定される。よって、深度合成処理の合成範囲として、１５０から６４０のフォーカスレンズ位置（合焦位置）の範囲が設定される。
【００９１】
図２１の（Ａ）〜（Ｃ）は、主要被写体に対して設定される深度合成処理の合成範囲を説明する図である。例えば、実施の形態１では、被写体３が主要被写体として特定されている。この場合、図２１の（Ａ）に示すように、被写体３を中心として合成範囲が設定される。図１２Ｂに示す被写体２が主要被写体である場合は、図２１の（Ｂ）に示すように、被写体２を中心として合成範囲が設定される。図１２Ｂに示す被写体４が主要被写体である場合は、図２１の（Ｃ）に示すように、被写体４を中心として合成範囲が設定される。図２１の（Ａ）〜（Ｃ）において、非合成域とは、深度合成したときに画像が破綻する可能性が高い領域である。すなわち、合成範囲の領域と非合成域との境界では、フォーカスレンズ位置（合焦位置）の差が非常に大きくなり、深度合成したときに不自然な画像が生成される可能性が高い。このため、実施の形態１では、至近端側および無限端側それぞれにおいて、合成範囲の中心位置におけるフォーカスレンズ位置からフォーカスレンズ位置が所定値以上離れた領域を、合成処理には使用しない非合成域として設定している。
【００９２】
［２−１−２−２．合成処理］
以上のようにして深度合成処理の合成範囲（すなわち、始点位置と終点位置）が設定されると、合成範囲内で合焦するフレーム画像が深度合成され、合成画像が生成される。このため、コントローラ１８０は、図７Ｂに示す合焦情報テーブル６１を参照して、合成範囲の始点位置（フォーカスレンズ位置）と、合成範囲の終点位置（フォーカスレンズ位置）のそれぞれに対応するフレーム番号を特定する。コントローラ１８０は、特定した２つのフレーム番号が示すフレーム画像と、それらの間にあるフレーム画像との全部または一部のフレーム画像を用いて深度合成処理を行う。深度合成処理については公知の技術が使用できる。
【００９３】
［３．効果等］
以上のように、実施の形態１のデジタルカメラ１００（撮像装置の一例）は、合焦位置を変化させながら被写体像を撮像して複数の画像データを生成するＣＣＤ１４０（撮像部の一例）と、ＣＣＤ１４０により生成された複数のフレーム画像データ（複数の画像データの一例）を合成して複数の画像データの被写界深度より深い被写界深度を有する静止画データを生成する画像処理部１６０（画像処理部の一例）と、画像処理部１６０を制御するコントローラ１８０（制御部の一例）と、を備える。コントローラ１８０は、複数のフレーム画像データの中の１つのフレーム画像データが示す画像から主要被写体を検出し、検出した主要被写体の位置を基準に、複数の画像データを合成する範囲を決定し、前記複数の画像データのうち決定した範囲内で合焦する画像データを合成して静止画データを生成するように、画像処理部１６０を制御する。
【００９４】
以上の構成を有するデジタルカメラ１００は、画像から主要被写体を自動で検出し、主要被写体を中心として深度合成範囲を設定し、設定した範囲内で合焦する画像データを用いて深度合成処理を実施する。このため、ユーザは、深度合成範囲の指定などの作業を省略でき、合成時の画像破綻が発生しない範囲で、最も被写界深度の深い画像を手軽に得ることができる。
【００９５】
また実施の形態１では、デジタルカメラ１００において、コントローラ１８０は、１つのフレーム画像データが示す画像に含まれる複数の被写体のそれぞれについて重要度（例えば図１８に示す累積重要度）を算出し、算出した重要度に基づき複数の被写体の中から主要被写体を設定する。これにより、主要被写体を中心とした合成画像を生成できるため、ユーザがより重要と考える被写体を中心に合焦した画像が得られる。
【００９６】
重要度（累積重要度）は、被写体の画像上における面積、位置、および種類等のうちいずれか一つのパラメータに基づいて算出されてもよく、複数のパラメータに基づいて算出されてもよい。実施の形態１では、重要度は、被写体の画像上における面積が大きい程、より高い値に設定される。さらに実施の形態１では、重要度は、被写体の位置が画像の中心により近い程、より高い値に設定される。このように被写体の画像上における面積と位置の双方に基づき重要度を設定することで、ユーザがより重要と考える被写体を中心に合焦した画像がより効率よく得られる。
【００９７】
また実施の形態１では、コントローラ１８０は、画像を複数のＡＦ領域（領域の一例）に分割して識別する。そしてコントローラ１８０は、複数の領域のうち、隣接する２つの領域（例えば第１の領域と第２の領域）の合焦位置の差が図１４に示す判定閾値（所定値の一例）以下である場合に、隣接する２つの領域は、少なくとも一つの同じ被写体を含むと判定する。このようにしてコントローラ１８０は被写体の異同を判定することできる。
【００９８】
また実施の形態１では、判定閾値は、合焦位置に応じて異なるように設定される（判定閾値テーブル７２参照）。例えば、合焦位置が至近端に近いほど、判定閾値はより小さく設定され、合焦位置が至近端から遠ざかるほど（すなわち無限端に近いほど）、判定閾値はより大きく設定されてもよい（図１４参照）。至近側で異なる合焦位置で撮影した画像は画像のぼけ量が多いため、画像合成時に破綻する可能性が高い。このため、至近側では判定閾値はより小さく設定される。一方、遠側の合焦位置で撮影した画像は、画像全体にフォーカスが合うため、画像合成時に破綻する可能性が低い。このため、遠側では、判定閾値は大きく設定される。この判定閾値は撮影に利用するレンズに応じて変更されても良い。
【００９９】
また実施の形態１では、コントローラ１８０は、主要被写体を検出する際に、フレーム番号（複数の画像データをそれぞれ特定する情報の一例）と、複数の画像データのそれぞれにおける合焦されたＡＦ領域を示す情報と、複数の画像データのそれぞれを生成する際のフォーカスレンズ位置（合焦位置）とを対応づけた合焦情報テーブル６１とを用いて主要被写体を検出する。合焦情報テーブル６１を参照することで、フォーカスレンズ位置（合焦位置）と、フレーム画像との対応づけが可能となる。
【０１００】
また実施の形態１では、ＣＣＤ１４０（撮像部の一例）は、被写体像を撮像して動画データを生成する。複数の画像データは、動画データを構成する複数のフレーム画像のデータである。これにより実施の形態１では、短時間で複数の画像データを得ることができ、合成処理に要する時間を短縮できる。
【０１０１】
［４．主要被写体の自動設定における具体例］
実施の形態１では、深度合成範囲を設定する際、主要被写体を設定する。そして実施の形態１では、主要被写体を設定する際に、被写体の面積と位置とに基づいて重要度を算出し、この重要度に基づいて主要被写体を設定している。以下、この主要被写体の設定について、他の具体例を用いて説明する。
【０１０２】
図２２Ａは、複数の被写体を含むフレーム画像の例を示す図である。これらの被写体の画像上における面積は、互いに異なる。図２２Ｂは図２２Ａのフレーム画像にＡＦ領域を示す枠を重畳した図である。
【０１０３】
図２２Ａでは、画像上において、被写体としてトンネル８１と自動車８２が配置されている。画像上において、トンネル８１の面積は自動車８２の面積よりも大きい。例えば図２２Ｂに示すように、トンネル８１の面積は、領域９１の大きさに相当し、１８個のＡＦ領域分である。自動車８２の面積は、領域９２の大きさに相当し、１個のＡＦ領域分である。また画像上において、トンネル８１と自動車８２の合焦位置は充分に異なる。合焦位置が充分に異なるとは、合成すると画像破綻が生じる範囲として予め定められた範囲以上に離れていることを意味する。そしてトンネル８１の合焦位置は至近端側により近く、自動車８２の合焦位置は無限端側により近い。またトンネル８１と自動車８２の画像上における中心位置はいずれも画像の中央であり、等しい。
【０１０４】
以上のような図２２Ａの画像が撮像された場合、実施の形態１のデジタルカメラ１００は、画像上における面積がより大きいトンネル８１を主要被写体とする。そしてこのトンネル８１を中心に、深度合成範囲を設定する。
【０１０５】
図２３Ａは、中心位置の異なる複数の被写体を含むフレーム画像の例を示す図である。図２３Ｂは図２２Ａのフレーム画像にＡＦ領域を示す枠を重畳した図である。
【０１０６】
図２３Ａでは、画像上において、被写体として大型船８３と小型船８４とが配置されている。大型船８３の画像上における面積と小型船８４の画像上における面積とは等しい。例えば図２３Ｂに示すように、大型船８３の面積は、領域９３の大きさに相当し、８個のＡＦ領域分である。小型船８４の面積は、領域９４の大きさに相当し、８個のＡＦ領域分である。また画像上において、大型船８３と小型船８４の合焦位置は充分に異なる。充分に異なるとは、前述のとおり、合成すると画像破綻が生じる範囲として予め定められた範囲以上に離れていることを意味する。また大型船８３と小型船８４の画像上における中心位置は異なる。大型船８３は画像上における左端に位置し、小型船８４は大型船８３より画像の中心に近い位置に位置する。
【０１０７】
図２３Ａの画像が撮像された場合、実施の形態１のデジタルカメラ１００は、画像上における中心位置がより画像の中心に近い小型船８４を主要被写体とする。そしてこの小型船８４を中心に、深度合成範囲を設定する。
【０１０８】
以上のように、実施の形態１のデジタルカメラ（撮像装置の一例）を別の側面で表現すれば、デジタルカメラは、複数の画像データを合成して、複数の画像データのそれぞれにおける主要被写体の被写界深度よりも静止画データにおける主要被写体の被写界深度の方が深くなるように静止画データを生成する。デジタルカメラは、複数の画像データのそれぞれの画像上において、第１の被写体と第２の被写体とが配置される場合に、第１の被写体と第２の被写体の画像上における面積が異なり、かつ第１の被写体と第２の被写体の合焦位置が異なり、かつ第１の被写体と第２の被写体の画像上の中心位置が等しいとき、第１の被写体と第２の被写体のうち、画像上における面積がより大きい方を主要被写体とする。またこのデジタルカメラは、複数の画像データのそれぞれの画像上において、第１の被写体と第２の被写体とが配置される場合に、第１の被写体と第２の被写体の画像上における面積が等しく、かつ第１の被写体と第２の被写体の合焦位置が異なり、かつ第１の被写体と第２の被写体の画像上の中心位置が異なるとき、第１の被写体と第２の被写体のうち、画像の中心により近い方を主要被写体とする。
【０１０９】
実施の形態１のデジタルカメラ１００は、深度の合成範囲を自動で設定するにあたり、ユーザがより重要と考える被写体を中心に合成範囲を設定できる。よって、ユーザの求める被写界深度の深い画像を手軽に得ることが出来る。
【０１１０】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【０１１１】
（１）上記の実施の形態１では、マルチフォーカス動画を構成するフレーム画像を用いて深度合成を行ったが、動画を構成するフレーム画像ではなく、連写撮影により生成された複数の静止画を用いて深度合成を行ってもよい。
【０１１２】
（２）上記の実施の形態１においては、被写体の画像上における面積および画像内の位置の双方に基づき被写体の重要度（累積重要度）を設定したが、いずれか一方の条件に基づき重要度を設定してもよい。または、被写体の画像上における面積および画像内の位置に加えて又はそれらに代えて、他の条件に基づき重要度を設定してもよい。例えば、被写体の種類に応じて重要度を設定してもよい。具体的には、被写体が人の顔である場合に重要度が高くなるように設定し、そうでない場合に重要度が低くなるように設定してもよい。さらには、被写体の合焦位置に応じて重要度を設定してもよい。具体的には、最も至近端側で合焦する被写体の重要度が高くなるように設定してもよい。また実施の形態１においては、主要被写体の中心を深度合成範囲の中心としたが、主要被写体の中心を深度合成範囲の始点または終点としてもよい。例えば最も至近端側の合焦位置を始点とし、深度合成範囲を定めてもよい。
【０１１３】
（３）上記の実施の形態１に開示した思想は、レンズ交換式カメラ及びレンズ一体型カメラの双方の種類のデジタルカメラに対して適用できる。
【０１１４】
（４）上記の実施の形態１では、撮像装置の一例としてデジタルカメラを用いて説明したが、撮像装置はこれに限定されない。本開示の思想は、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。
【０１１５】
（５）上記の実施の形態では、撮像部としての撮像素子をＣＣＤで構成したが、撮像素子はこれに限定されない。撮像素子はＮＭＯＳ（ｎ‐Ｃｈａｎｎｅｌ  Ｍｅｔａｌ‐Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサで構成してもよい。
【０１１６】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面または詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１７】
本開示は、動画を撮影できる撮像装置に対して適用可能である。具体的には、デジタルカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。
【符号の説明】
【０１１８】
６０    合焦情報テーブル
６１    合焦情報テーブル
７０    被写体判定情報テーブル
７２    判定閾値テーブル
７４    重みテーブル
８１    トンネル
８２    自動車
８３    大型船
８４    小型船
９１    領域
９２    領域
９３    領域
９４    領域
１００    デジタルカメラ（撮像装置）
１１０    光学系
１１１    フォーカスレンズ
１１２    ズームレンズ
１１３    手振れ補正レンズ
１２０    レンズ駆動部
１３０    シャッタ
１４０    ＣＣＤ（撮像部）
１５０    Ａ／Ｄコンバータ
１６０    画像処理部
１７０    バッファ
１８０    コントローラ（制御部）
１９０    カードスロット
２００    メモリカード
２１０    操作部材
２２０    表示モニタ
２４０    内蔵メモリ
３００    絞り部
４００    画像領域
【図１】
2018098764.tif 000003
【図２】
2018098764.tif 000004
【図３】
2018098764.tif 000005
【図４】
2018098764.tif 000006
【図５】
2018098764.tif 000007
【図６】
2018098764.tif 000008
【図７Ａ】
2018098764.tif 000009
【図７Ｂ】
2018098764.tif 000010
【図８】
2018098764.tif 000011
【図９】
2018098764.tif 000012
【図１０】
2018098764.tif 000013
【図１１】
2018098764.tif 000014
【図１２Ａ】
2018098764.tif 000015
【図１２Ｂ】
2018098764.tif 000016
【図１３】
2018098764.tif 000017
【図１４】
2018098764.tif 000018
【図１５Ａ】
2018098764.tif 000019
【図１５Ｂ】
2018098764.tif 000020
【図１６】
2018098764.tif 000021
【図１７】
2018098764.tif 000022
【図１８】
2018098764.tif 000023
【図１９】
2018098764.tif 000024
【図２０】
2018098764.tif 000025
【図２１】
2018098764.tif 000026
【図２２Ａ】
2018098764.tif 000027
【図２２Ｂ】
2018098764.tif 000028
【図２３Ａ】
2018098764.tif 000029
【図２３Ｂ】
2018098764.tif 000030