(57)【要約】【課題】複数の画像を合成してより深い被写界深度の画像を生成する撮像装置を提供する。【解決手段】撮像装置は、合焦位置を変化させながら被写体像を撮像して複数の画像データを生成する撮像部と、生成された複数の画像データを合成して被写界深度のより深い静止画データを生成する画像処理部と、静止画データの生成において、合成対象の２つの画像データが示す画像間の位置合わせを行った後、２つの画像データを合成するように画像処理部を制御する制御部とを備える。制御部は位置合わせが成功した場合、２つの画像データを合成する。制御部は位置合わせが失敗した場合（Ｓ１４８でＮＯ）、２つの画像データの生成時におけるフォーカスレンズ位置の差が所定値未満の場合（Ｓ１４９でＮＯ）、２つの画像データを合成しないが、フォーカスレンズ位置の差が所定値以上の場合（Ｓ１４９でＹＥＳ）、２つの画像データを合成するよう、画像処理部を制御する。【選択図】図１６
2018046543.tif 000002
【特許請求の範囲】
【請求項１】
合焦位置を変化させながら被写体像を撮像して複数の画像データを生成する撮像部と、
前記撮像部により生成された複数の画像データを合成して被写界深度のより深い静止画データを生成する画像処理部と、
前記静止画データの生成において、合成対象の２つの画像データが示す画像間の位置合わせを行った後、前記２つの画像データを合成するように、前記画像処理部を制御する制御部と、を備え、
前記制御部は、
前記位置合わせが成功した場合、前記２つの画像データを合成するように、前記画像処理部を制御し、
前記位置合わせが失敗した場合、前記２つの画像データの生成時における前記合焦位置の差が所定値未満である場合は前記２つの画像データを合成しないように、前記合焦位置の差が所定値以上である場合は前記２つの画像データを合成するように、前記画像処理部を制御する、撮像装置。
【請求項２】
各画像データを特定する情報と、各画像データにおける合焦された領域を示す情報と、各画像データ生成時の前記合焦位置と、を対応づけた情報を有する、請求項１記載の撮像装置。
【請求項３】
前記複数の画像データが生成されたときに前記撮像装置が静止していたか否かを示すフラグ情報が、前記撮像装置が静止していないことを示す場合に、前記制御部は、前記合成対象の２つの画像データが示す画像間の位置合わせを行う、請求項１記載の撮像装置。
【請求項４】
前記フラグ情報が、前記撮像装置が静止していたことを示す場合、前記制御部は、前記合成対象の２つの画像データが示す画像間の位置合わせを行わずに、前記２つの画像データの合成処理を行う、請求項３記載の撮像装置。
【請求項５】
前記複数の画像データは動画データを構成する複数のフレーム画像のデータである、請求項１記載の撮像装置。
【請求項６】
撮像装置により生成される合焦位置の異なる複数の画像データを合成して被写界深度のより深い静止画データを生成する画像処理部と、
前記静止画データの生成において、合成対象の２つの画像データが示す画像間の位置合わせを行った後、前記２つの画像データを合成するように、前記画像処理部を制御する制御部と、を備え、
前記制御部は、
前記位置合わせが成功した場合、前記２つの画像データを合成するように、前記画像処理部を制御し、
前記位置合わせが失敗した場合、前記２つの画像データの生成時における前記合焦位置の差が所定値未満である場合は前記２つの画像データを合成しないように、前記合焦位置の差が所定値以上である場合は前記２つの画像データを合成するように、前記画像処理部を制御する、画像処理装置。
【請求項７】
各画像データを特定する情報と、各画像データにおける合焦された領域を示す情報と、各画像データ生成時の合焦位置と、を対応づけた情報を、前記撮像装置から取得する、請求項６記載の画像処理装置。
【請求項８】
前記複数の画像データが生成されたときに前記撮像装置が静止していたか否かを示すフラグ情報が、前記撮像装置が静止していないことを示す場合に、前記制御部は前記合成対象の２つの画像データが示す画像間の位置合わせを行う、請求項６記載の画像処理装置。
【請求項９】
前記フラグ情報が、前記撮像装置が静止していたことを示す場合、前記制御部は、前記合成対象の２つの画像データが示す画像間の位置合わせを行わずに、前記２つの画像データの合成処理を行う、請求項８記載の画像処理装置。
【請求項１０】
前記複数の画像データは、動画データを構成する複数のフレーム画像のデータである、請求項６記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の画像を合成し、深い被写界深度の画像を生成する機能を有する画像処理装置及び撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、フォーカスを変えた複数の画像を撮像し、撮像した画像より被写界深度を拡大した画像を複数の画像から生成する撮像装置を開示する。特許文献１の撮像装置では、操作者は合焦したい被写体を複数選択し、操作者により選択された被写体のフォーカス位置に基づいて画像が撮像される。これにより、操作者の意図に沿ったフォーカス位置で合焦した合成画像が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０７５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は複数の画像を合成してより深い被写界深度の画像を生成する画像処理装置及び撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様において撮像装置が提供される。撮像装置は、合焦位置を変化させながら被写体像を撮像して複数の画像データを生成する撮像部と、撮像部により生成された複数の画像データを合成して被写界深度のより深い静止画データを生成する画像処理部と、静止画データの生成において、合成対象の２つの画像データが示す画像間の位置合わせを行った後、２つの画像データを合成するように、画像処理部を制御する制御部と、を備える。制御部は、位置合わせが成功した場合、２つの画像データを合成するように画像処理部を制御する。制御部は、位置合わせが失敗した場合、２つの画像データの生成時における合焦位置の差が所定値未満の場合は、２つの画像データを合成しないように、合焦位置の差が所定値以上である場合は２つの画像データを合成するように、画像処理部を制御する。
【０００６】
本開示の別の態様において画像処理装置が提供される。画像処理装置は、撮像装置により生成される合焦位置の異なる複数の画像データを合成して被写界深度のより深い静止画データを生成する画像処理部と、静止画データの生成において、合成対象の２つの画像データが示す画像間の位置合わせを行った後、２つの画像データを合成するように、画像処理部を制御する制御部と、を備える。制御部は、位置合わせが成功した場合、２つの画像データを合成するように、画像処理部を制御する。制御部は、位置合わせが失敗した場合、２つの画像データの生成時における合焦位置の差が所定値未満である場合は２つの画像データを合成しないように、合焦位置の差が所定値以上である場合は２つの画像データを合成するように、画像処理部を制御する。
【発明の効果】
【０００７】
本開示の画像処理装置及び撮像装置によれば、２つの画像が合成される際に、位置合わせが失敗した場合であっても、２つの画像の撮影時のフォーカスレンズ位置の差が所定値以上離れているときには、合成処理を行う。これにより、画像間の位置合わせができない場合であっても、被写界深度のより深い画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本開示に係るデジタルカメラの構成を示す図
【図２】デジタルカメラの背面図
【図３】深度合成処理を行うとき処理の流れを示すフローチャート
【図４】マルチフォーカス動画の記録時におけるフォーカスレンズの移動を説明した図
【図５】マルチフォーカス動画のフレーム画像を用いた深度合成の概念を説明した図
【図６】（Ａ）画像領域に設定された複数のＡＦ領域を説明した図、（Ｂ）一つのＡＦ領域における、フォーカスレンズの移動に伴うコントラスト値の変化を説明した図
【図７】合焦情報テーブルの例を示した図
【図８】フォーカスセレクト動画の記録処理を示すフローチャート
【図９】マルチフォーカス動画の記録時のフォーカスレンズの移動範囲を説明した図
【図１０】深度合成処理を示すフローチャート
【図１１Ａ】プレビュー画像の例を示した図
【図１１Ｂ】深度合成を実施するか否かをユーザに確認するための画面の例を示した図
【図１１Ｃ】深度合成範囲を指定するための範囲指定画面の表示例を示した図
【図１２】合成対象の画像における被写体の例を示した図
【図１３】合成処理のための画像の位置合わせを説明するための図
【図１４】位置合わせ／合成処理と合焦位置との関係を説明するための図
【図１５】合成処理を示すフローチャート
【図１６】位置合わせ／合成処理を示すフローチャート
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるものであって、これらによって特許請求の範囲に記載の主題を限定することは意図されていない。
【００１０】
以下、図面を用いて本開示に係る撮像装置の実施の形態を説明する。
【００１１】
（実施の形態１）
［１．構成］
実施の形態１に係るデジタルカメラ（撮像装置の一例）の電気的構成について図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＣＤ１４０で撮像する撮像装置である。ＣＣＤ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。
【００１２】
光学系１１０は、フォーカスレンズ１１１及びズームレンズ１１２を含む。ズームレンズ１１２を光軸に沿って移動させることにより、被写体像の拡大又は縮小をすることができる。また、フォーカスレンズ１１１を光軸に沿って移動させることにより、被写体像のピント（合焦状態）を調整することができる。また、光学系１１０は、デジタルカメラ１００のブレによる画像のブレを補正するための手振れ補正レンズ１１３を含む。
【００１３】
レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動させる。レンズ駆動部１２０は、例えばズームレンズ１１２を駆動するズームモータや、フォーカスレンズ１１１を駆動するフォーカスモータを含む。
【００１４】
絞り部３００は、ユーザの設定に応じて又は自動で開口部の大きさを調整し、開口部を透過する光の量を調整する。
【００１５】
シャッタ部１３０は、ＣＣＤ１４０に透過させる光を遮光するための手段である。シャッタ部１３０は、光学系１１０及び絞り部３００とともに、被写体像を示す光学情報を制御する。また、光学系１１０及び絞り部３００はレンズ鏡筒（図示せず）内に収納される。
【００１６】
ＣＣＤ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＣＤ１４０は、カラーフィルタと、受光素子と、ＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌｌｅｒ）とを含む。受光素子は、光学系１１０によって集光された光学的信号を電気信号に変換し、画像情報を生成する。ＡＧＣは、受光素子から出力された電気信号を増幅する。ＣＣＤ１４０は撮像部の一例である。
【００１７】
ＡＤＣ（Ａ／Ｄコンバータ：アナログ−デジタル変換器）１５０は、ＣＣＤ１４０で生成されたアナログ画像データをデジタル画像データに変換する。
【００１８】
画像処理部１６０は、ＣＣＤ１４０で生成され、変換されたデジタル画像データに対して、コントローラ１８０の制御を受け、各種処理を施す。画像処理部１６０は、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに基づいて、例えば、画素数４０００×２０００前後の動画の画像データ（４Ｋ動画データ）を生成することができる。画像処理部１６０は、生成した４Ｋ動画データに対して後述する種々の処理を行うことができる。例えば、画像処理部１６０は、生成した４Ｋ動画データを構成するフレーム画像を用いて深度合成（焦点合成）処理を行う（詳細は後述）。
【００１９】
コントローラ１８０は、デジタルカメラ１００の全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は制御部の一例である。
【００２０】
画像処理部１６０やコントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ、ＦＰＧＡなどで実現できる。
【００２１】
バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、強誘電体メモリなどで実現できる。
【００２２】
カードスロット１９０は、メモリカード２００をデジタルカメラ１００に装着するための手段である。カードスロット１９０は、機械的及び電気的にメモリカード２００とデジタルカメラ１００を接続可能である。
【００２３】
メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。
【００２４】
内蔵メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内蔵メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラムやデータ等を記憶している。
【００２５】
操作部材２１０は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、ユーザからの操作を受け付けるボタン、レバー、ダイヤル、タッチパネル、スイッチ等を含む。また、操作部材２１０は、レンズ鏡筒の外周に設けられたフォーカスリングを含む。フォーカスリングは、フォーカスレンズ１１１を移動させるためにユーザにより回転操作される部材である。
【００２６】
表示モニタ２２０は、ＣＣＤ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。表示モニタ２２０は、液晶表示デバイスや有機ＥＬ表示デバイスで構成される。表示モニタ２２０は表示部の一例である。
【００２７】
ジャイロセンサ２５０は、デジタルカメラ１００のブレ（動き）を検出するセンサである。ジャイロセンサ２５０からの出力信号に基づき手振れ補正動作や静止判定が行われる。
【００２８】
図２は、デジタルカメラ１００の背面を示した図である。図２では、操作部材２１０の例として、レリーズボタン２１１、選択ボタン２１３、決定ボタン２１４、タッチパネル２２２が示されている。操作部材２１０は、ユーザによる操作を受け付けると、コントローラ１８０に種々の指示信号を送信する。
【００２９】
レリーズボタン２１１は、二段押下式の押下式ボタンである。レリーズボタン２１１がユーザにより半押し操作されると、コントローラ１８０はオートフォーカス制御（ＡＦ制御）やオート露出制御（ＡＥ制御）などを実行する。また、レリーズボタン２１１がユーザにより全押し操作されると、コントローラ１８０は、押下操作のタイミングに撮像された画像データを記録画像としてメモリカード２００等に記録する。
【００３０】
選択ボタン２１３は、上下左右方向に設けられた押下式ボタンである。ユーザは、上下左右方向のいずれかの選択ボタン２１３を押下することにより、カーソルや後述する枠を移動したり、表示モニタ２２０に表示される各種条件項目を選択したりすることができる。
【００３１】
決定ボタン２１４は、押下式ボタンである。デジタルカメラ１００が撮影モードあるいは再生モードにあるときに、決定ボタン２１４がユーザにより押下されると、コントローラ１８０は表示モニタ２２０にメニュー画面を表示する。メニュー画面は、撮影/再生のための各種条件を設定するための画面である。決定ボタン２１４が各種条件の設定項目が選択されているときに押下されると、コントローラ１８０は、選択された項目の設定を確定する。
【００３２】
タッチパネル２２２は、表示モニタ２２０の表示画面と重畳して配置され、ユーザの指による表示画面上へのタッチ操作を検出する。これにより、ユーザは、表示モニタ２２０に表示された画像に対する領域の指定等の操作を行える。タッチパネル２２２は、操作部の一例である。
【００３３】
［２．動作］
以上のような構成を有するデジタルカメラ１００の動作を説明する。デジタルカメラ１００は、それぞれ異なる合焦位置（フォーカスレンズ位置）で撮影された複数の画像を合成して擬似的に深い被写界深度を有する１つの静止画を生成する深度合成（焦点合成）機能を有する。深度合成機能を有する点でデジタルカメラ１００は画像処理装置の一例である。以下、デジタルカメラ１００の深度合成機能に関する動作について説明する。
【００３４】
［２−１．深度合成］
図３は、デジタルカメラ１００の深度合成機能を実行する時の処理の流れを説明した図である。デジタルカメラ１００は、深度合成に使用するための複数の静止画を得るために、合焦位置（焦点位置）を変更しながら動画を記録する処理を行う（Ｓ１）。その後、デジタルカメラ１００は、記録した動画に含まれるフレーム画像（静止画）を用いて深度合成処理（Ｓ２）を実行し、深い被写界深度の静止画を生成する。なお、深度合成処理（Ｓ２）は、動画の記録処理（Ｓ１）に続いて連続して実行されてもよいし、動画の記録処理（Ｓ１）の完了後の任意のタイミングで実行されてもよい。
【００３５】
［２−１−１．深度合成のための動画の記録］
図４〜図７を参照して、深度合成に使用するための動画の記録処理（Ｓ１）について説明する。この処理では、異なる合焦位置を有する複数の静止画（フレーム画像）を得るために、合焦位置を連続的に変化させながら動画を記録する。以下このようにして記録される動画を「マルチフォーカス動画」という。デジタルカメラ１００においては、このマルチフォーカス動画を記録するための特定の撮影モードを有している。ユーザは、例えばメニューや操作ダイヤルを操作することにより、デジタルカメラ１００をその特定の撮影モードに設定できる。
【００３６】
マルチフォーカス動画は、合焦位置を連続的に変化させながら記録される動画である。マルチフォーカス動画として、例えば、画素数４０００×２０００前後の高解像度の４Ｋ動画が記録される。この４Ｋ動画を構成するフレーム画像においてユーザ指定に基づき選択された複数のフレーム画像を用いて、深度合成処理が実行される。このようにして深度合成された画像は４Ｋ動画に基づいているため高い画質を有している。
【００３７】
マルチフォーカス動画の記録では、図４に示すように至近端側から無限端側（またはその逆）に向かってフォーカスレンズ１１１を移動させながら、すなわち、合焦位置を変化させながら動画撮影を行う。このようにして記録されたマルチフォーカス動画は、図５に示すように、それぞれ異なる合焦位置で記録された複数フレーム画像Ｐｎを含む。深度合成処理において、このようにして撮影された複数フレーム画像Ｐｎの中から、ユーザにより指定された被写体の範囲に該当するフレーム画像（図５中、ハッチングされた画像）が選択され、合成される（詳細は後述）。
【００３８】
本実施の形態のデジタルカメラ１００では、オートフォーカス動作に関して、図６の（Ａ）に示すように画像領域４００において複数のＡＦ領域が設定されている。本実施の形態では４９個（７行×７列）のＡＦ領域が設定されている。ＡＦ領域毎に、そのＡＦ領域内の被写体に合焦しているフレーム（以下「合焦フレーム」という）が求められ、求められた合焦フレームに関する情報が合焦情報テーブルに記録される。デジタルカメラ１００は、マルチフォーカス動画を記録（撮影）する前にフォーカスサーチ動作を行い、各ＡＦ領域の合焦フレームを検出して合焦情報テーブルを生成する。
【００３９】
図７は、合焦情報テーブルのデータ構造を示した図である。合焦情報テーブル６０は、図７の（Ａ）に示すように、フォーカスサーチ動作及び動画記録動作におけるフォーカスレンズ１１１の駆動範囲を示す情報を含む。具体的には、合焦情報テーブル６０は、フォーカスレンズ１１１の駆動範囲を示す情報として、最も至近端側のフォーカスレンズ位置（Pnear）を示す情報（最近合焦レンズ位置）と、最も無限端側のフォーカスレンズ位置（Pfar）を示す情報（最遠合焦レンズ位置）とを格納する。さらに、合焦情報テーブル６０は、図７の（Ｂ）に示すように、各ＡＦ領域に対して、各ＡＦ領域に対するフォーカスレンズ位置（各ＡＦ領域にて合焦するときのフォーカスレンズ１１１の位置：合焦位置）と、各ＡＦ領域において合焦状態を有するフレームのフレーム番号とを対応づけて管理する。
【００４０】
例えば、フォーカスレンズ１１１を移動させながらＡＦ領域毎にコントラスト値を求める。このとき、図６の（Ａ）に示す第１９ＡＦ領域４１について、図６の（Ｂ）に示すように、フォーカスレンズ位置Ｐにおいてコントラスト値のピークが検出された場合、そのフォーカスレンズ位置Ｐのときに撮影されたフレーム（この例では、第５０フレーム）を、第１９ＡＦ領域４１に対する合焦フレームとする。そして、合焦情報テーブル６０において、第１９ＡＦ領域に対して、合焦フレームのフレーム番号として「５０」が、フォーカスレンズ１１１の位置として「Ｐ」が記録される。合焦情報テーブル６０は、例えば動画撮影により得られた動画データのヘッダ部に格納される。
【００４１】
図８のフローチャートを参照し、深度合成に使用するための動画の記録処理（Ｓ１）の詳細を説明する。
【００４２】
デジタルカメラ１００において、マルチフォーカス動画を記録するための特定の撮影モードに設定された状態で、ズームレンズ１１２の操作等により所望の画角を設定した後、ユーザによりレリーズボタン２１１が半押しされると（Ｓ１１でＹＥＳ）、コントローラ１８０は、画像のＡＦ領域のそれぞれについて合焦位置を検出して合焦情報テーブル６０を作成するためのフォーカスサーチを行う（Ｓ１２）。
【００４３】
フォーカスサーチでは、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に（またはその逆に）移動させながら、ＡＦ領域毎にコントラスト値を検出する（図６参照）。
【００４４】
そして、コントローラ１８０は、検出したコントラスト値に基づき合焦情報テーブル６０を作成する。具体的には、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に移動させたときに、ＡＦ領域毎に、複数の画像の中でコントラスト値が最大となる（図６の（Ｂ）参照）ときのフォーカスレンズ１１１の位置を求め、そのフォーカスレンズ１１１の位置を合焦情報テーブル６０（図７の（Ｂ）のｃ欄参照）に記録する。一のＡＦ領域について、いずれの画像のコントラスト値も所定の閾値よりも低い場合、当該ＡＦ領域については、合焦位置が定まらないとし、合焦情報テーブル６０には合焦位置が不明であることを示す所定の値が記録される。
【００４５】
コントローラ１８０は全ＡＦ領域のサーチ後、さらに、フォーカスレンズ１１１を至近端から無限端に移動させたときに求まった合焦位置において、最も至近端に近い合焦位置（Pnear）と、最も無限端に近い合焦位置（Pfar）とを合焦情報テーブル６０に記録する（図７の（Ａ）のａ欄参照）。以上によりフォーカスサーチは終了する。なお、この状態では、合焦情報テーブル６０において未だフレーム番号（図７の（Ｂ）のｂ欄参照）の情報は含まれていない。
【００４６】
図８に戻り、フォーカスサーチ終了後、コントローラ１８０は、ユーザによりレリーズボタン２１１の半押しが継続されているか否かを判断する（Ｓ１３）。
【００４７】
フォーカスサーチ終了後、ユーザによるレリーズボタン２１１の半押しがなされていない場合（Ｓ１３でＮＯ）、コントローラ１８０は、処理をステップＳ１１に戻す。これにより、ユーザがフォーカスサーチをやり直すことができるようになる。
【００４８】
フォーカスサーチ終了後も、ユーザによりレリーズボタン２１１の半押しが継続されている場合（Ｓ１３でＹＥＳ）、コントローラ１８０は引き続きレリーズボタン２１１が全押しされたか否かを判断する（Ｓ１４）。
【００４９】
その後、ユーザによりレリーズボタン２１１が全押しされると（Ｓ１４でＹＥＳ）、マルチフォーカス動画を記録する画像撮影動作が開始される（Ｓ１５）。
【００５０】
すなわち、コントローラ１８０は、フォーカスレンズ１１１を最近合焦レンズ位置（Pnear）に戻し、図９に示すように、最遠合焦レンズ位置（Pfar）まで移動させながら動画（マルチフォーカス動画）を記録する（Ｓ１５）。動画記録時のフォーカスレンズ１１１の移動範囲をこのような範囲（Pnear〜Pfar）に制限することにより、合焦が得られない範囲においての動画記録が行われなくなり、動画記録にかかる時間を短縮できる。なお、動画記録は、動画データ用の所定のフォーマットに従い動画が記録される。例えば、ＭＰ４規格（H.264/MPEG-4 AVC方式）に従い動画が記録される。動画記録実行中、表示モニタ２２０には、例えば、動画記録中であることを示すアイコンやメッセージ等を表示してもよい。
【００５１】
また、コントローラ１８０は、動画記録中、フォーカスレンズ１１１の位置と、動画を構成する各フレームのフレーム番号との対応づけを行う。これにより、合焦情報テーブル６０において各ＡＦ領域に対してフレーム番号の対応づけがなされる（図７の（Ｂ）のｂ欄参照）。
【００５２】
動画記録実行中、表示モニタ２２０には記録中の画像が表示されるが、その際、画像における合焦領域に対して、合焦領域をユーザに認識させるための強調表示を行ってもよい。この強調表示を行うことで、ユーザは画像において合焦された領域を容易に把握することが可能になる。
【００５３】
図８に戻り、動画記録（Ｓ１５）が終了すると、ヘッダ部に合焦情報テーブル６０が記録された動画データをメモリカード２００に記録する（Ｓ１６）。これにより動画（マルチフォーカス動画）の記録処理（図３のＳ１）が終了する。
【００５４】
動画記録（Ｓ１）の終了後、ユーザの指示にしたがい深度合成処理（Ｓ２）が実行される。
【００５５】
［２−１−２．深度合成処理］
以下、深度合成処理（Ｓ２）を説明する。図１０は、深度合成処理を示すフローチャートである。深度合成処理では、コントローラ１８０はまず、ユーザ指定に基づいて深度合成範囲を設定し（Ｓ２１）、その後、設定された範囲に基づき合成処理を行う（Ｓ２２）。以下、各処理（Ｓ２１、Ｓ２２）について説明する。
【００５６】
［２−１−２−１．深度合成範囲の設定］
最初に、ユーザによる深度合成範囲の指定のための操作について説明する。
【００５７】
マルチフォーカス動画の記録が完了すると、その直後に、図１１Ａに示すように、記録した画像を確認するためのプレビュー画像３０（静止画）が表示モニタ２２０に表示される。プレビュー画像３０は、記録したマルチフォーカス動画を構成する複数のフレーム画像の中の１つの画像である。このプレビュー画像３０が表示された状態で、ユーザにより所定の操作（例えば、タッチパネルへのタッチ操作、所定のボタンの操作）が実施されると、図１１Ｂに示すように、プレビュー画像３０上に、深度合成を行うか否かをユーザに確認するためのダイアログボックス３５が表示される。なお、ダイアログボックス３５は、記録済みの画像を選択して再生するための再生画面上で、マルチフォーカス動画を代表する静止画（一つのフレーム画像）が表示されているときにユーザにより所定の操作が実施されたときにも表示されてもよい。
【００５８】
このダイアログボックス３５において「ＹＥＳ」が選択されると、コントローラ１８０は、ユーザが合焦させたい被写体の範囲（領域）を指定するための範囲指定画面を表示モニタ２２０に表示する。
【００５９】
図１１Ｃは範囲指定画面４０の例を示した図である。範囲指定画面４０上には、プレビュー画像３０、すなわち、マルチフォーカス動画を構成するフレーム画像の中の１つのフレーム画像（被写体の画像）と、それに重畳して複数の画像領域（以下単に「領域」という）を示す領域枠４５とが表示される。領域枠４５は４９個（７行×７列）の領域を定義する。領域枠４５が示す各領域は図６の（Ａ）に示す各ＡＦ領域に対応している。ユーザは、範囲指定画面４０上でタッチ操作により２つの領域（合成範囲の始点及び終点）を指定することにより、合焦させたい被写体の範囲（換言すれば、深度合成範囲）を指定することができる。なお、領域枠４５は表示モニタ２２０上に表示されなくてもよい。
【００６０】
範囲指定画面４０上でユーザにより２つの領域が指定されると、深度合成範囲に対応する領域に対して強調表示５１がなされる。例えば、図１１Ｃに示すように、範囲指定画面４０上において、指定された領域（１）（図６の（Ａ）に示す第２ＡＦ領域に対応）と、指定された領域（２）（図６の（Ａ）に示す第４２ＡＦ領域に対応）と、領域（１）に対応するＡＦ領域の合焦位置と領域（２）に対応するＡＦ領域の合焦位置との間に合焦位置を有するＡＦ領域に対応する領域群とに対して、深度合成範囲（すなわち、ユーザが合焦させたい範囲）を示す強調表示５１が施される。このような強調表示５１によりユーザは、自身が設定した合焦したい範囲（深度合成範囲）を容易に認識することができる。ユーザは、「ＳＥＴ」ボタン６１をタッチすることで、または、カメラ背面の決定ボタン２１４を押下することにより、範囲指定画面４０上で指定した深度合成範囲を確定することができる。
【００６１】
［２−１−２−２．合成処理］
コントローラ１８０は、図１１Ｃに示すように範囲指定画面４０上で深度合成範囲として特定された領域について、合焦情報テーブル６０を参照して、各領域に合焦位置を有するフレームのフレーム番号を特定する。そして、コントローラ１８０は、特定したフレーム番号に対応するフレーム画像を用いて深度合成処理を実行するように画像処理部１６０を制御する。画像処理部１６０はコントローラ１８０からの指示を受けて深度合成処理を実行する。
【００６２】
深度合成する場合、合成対象のフレーム画像に撮影された被写体の位置は、合成対象の全てのフレーム画像間で同一である必要がある。各フレーム画像に含まれる被写体の位置がずれていると、合成画像において被写体の輪郭が複数現れ、明らかに失敗画像となる。特に、本実施の形態のように、動画を構成するフレーム画像を用いて深度合成する場合、動画記録中の手ブレや被写体の移動により、被写体の位置が変動する場合がある。このため、深度合成における合成対象のフレーム画像の位置を合わせることが必要である。
【００６３】
図１２〜図１４を用いて、深度合成における画像の位置合わせの課題を説明する。ここで、図１２に示すように２台の車両７０、７２を被写体として撮影した場合を想定する。２つの被写体のうちの被写体７０がデジタルカメラ１００に近い位置に位置し、被写体７２がデジタルカメラ１００から遠い位置に位置するとする。つまり、被写体７０が被写体７２よりもデジタルカメラ１００側に位置しているとする。
【００６４】
図１３は、図１２に示すような２つの被写体７０、７２を被写体として撮影したマルチフォーカス動画を構成する一部のフレーム画像を用いて深度合成する場合の位置合わせを説明するための図である。図１３では、フォーカスレンズ１１１を至近端側から無限端側に移動させて連続して撮影された４つのフレーム画像５００ａ〜５００ｄを用いて合成する場合を想定している。図１３に示すように、１枚目のフレーム画像は、領域Ｒ１が合焦領域であり、２枚目のフレーム画像では、領域Ｒ２が合焦領域であり、３枚目のフレーム画像では、領域Ｒ３が合焦領域であり、４枚目のフレーム画像では、領域Ｒ４が合焦領域であるとする。
【００６５】
最初に、１枚目のフレーム画像５００ａと２枚目のフレーム画像５００ｂを合成する。この場合、１枚目のフレーム画像５００ａに対して２枚目のフレーム画像５００ｂの位置合わせを行った後、双方の画像を合成する。画像の位置合わせには、画像のエッジ情報が必要である。このとき、１枚目のフレーム画像５００ａにおける領域Ｒ２に対応する領域と、２枚目のフレーム画像５００ｂにおける領域Ｒ１に対応する領域とは、厳密には合焦していない。しかし、１枚目のフレーム画像５００ａの領域Ｒ１と、２枚目のフレーム画像５００ｂにおける領域Ｒ１に対応する領域とは、同じ被写体を含み、且つ、それらの合焦位置はあまり離れていない。同様に、２枚目のフレーム画像５００ｂの領域Ｒ２と、１枚目のフレーム画像５００ａにおける領域Ｒ２に対応する領域とは、同じ被写体を含み、且つ、それらの合焦位置はあまり離れていない。よって、１枚目のフレーム画像５００ａにおける領域Ｒ２に対応する領域と、２枚目のフレーム画像５００ｂにおける領域Ｒ１に対応する領域はともに合焦していない領域であるが、ある程度のレベルのエッジ情報を有する。このため、領域Ｒ１、Ｒ２について、フレーム画像５００ａ、５００ｂの双方からある程度のレベルのエッジ情報を取得できる。よって、このエッジ情報に基づき１枚目のフレーム画像５００ａと２枚目のフレーム画像５００ｂの位置合わせが可能となる（位置合わせ（１）：成功）。そして、１枚目のフレーム画像５００ａに対して２枚目のフレーム画像５００ｂを、位置合わせを行って合成する。これにより、被写体７０の領域Ｒ１と領域Ｒ２において合焦している合成画像５１０ａが生成される。
【００６６】
続いて、合成画像５１０ａと３枚目のフレーム画像５００ｃとを合成する。これにより、さらに被写体７０の領域Ｒ３が合成された合成画像５１０ｂが生成される。この場合も、領域Ｒ１〜Ｒ３において、合成画像５１０ａと３枚目のフレーム画像５００ｃは、同じ被写体を含み、かつ、近い合焦位置を有する。よって、領域Ｒ１〜Ｒ３について、合成画像５１０ａと３枚目のフレーム画像５００ｃ双方からエッジ情報を取得でき、合成画像５１０ａと３枚目のフレーム画像５００ｃの位置合わせを行うことができる（位置合わせ（２）：成功）。
【００６７】
最後に、合成画像５１０ｂと４枚目のフレーム画像５００ｄとを合成する必要があるが、合成画像５１０ｂに対する４枚目のフレーム画像５００ｄの位置合わせを行うことができない。この理由を以下に説明する。合成画像５１０ｂは、近い方の被写体７０が合焦しているが、遠い方の被写体７２は合焦していない。一方、４枚目のフレーム画像５００ｄは、近い方の被写体７０は合焦していないが、遠い方の被写体７２は合焦している。すなわち、４枚目のフレーム画像５００ｄと合成画像５１０ｂの間では、被写体７０、７２に関して、合焦している画像（ピントが合っている画像）と、合焦していない画像（ピントが合っていない画像）との比較になる。被写体７０に対しては、合成画像５１０ｂからは、位置合わせに有効なエッジ情報が得られるが、４枚目のフレーム画像５００ｄからは有効なエッジ情報が得られない。また、被写体７２に対しては、４枚目のフレーム画像５００ｄからは、位置合わせに有効なエッジ情報が得られるが、合成画像５１０ｂからは有効なエッジ情報が得られない。このように、４枚目のフレーム画像５００ｄと合成画像５１０ｂの間では、同じ被写体に対して一方は合焦するが、他方は合焦しない。このような場合、４枚目のフレーム画像５００ｄと合成画像５１０ｂの間でエッジ情報に基づく位置合わせを行うことができない（位置合わせ（３）：失敗）。
【００６８】
以上のように、位置合わせを行う２つの画像の双方が、同じ被写体に対する合焦領域（またはコントラスト値が比較的高い領域）を有していない場合、位置合わせを行うことができない。そして位置合わせが失敗した場合にその後の合成処理を行わないとすると、ユーザが所望する深度での合成画像が得ることができないという問題がある。例えば、図１３の例において、位置合わせが失敗したために、４枚目のフレーム画像５００ｄの合成処理を行わない場合、合成画像５１０ｂに示すように、被写体７２について合焦した画像を生成することができない。このため、ユーザが望む被写界深度の画像を得ることができない。
【００６９】
本実施の形態のように動画を構成するフレーム画像から深度合成する場合に、上述のような状況が起こり、このような状況は、合成する２つの画像の合焦位置が比較的離れている場合に起こり得ると考えられる。さらに、合焦している画像に対して合焦していない画像を合成しても、合成後の画像の解像度に対しては実質上影響がない。
【００７０】
そこで、本実施の形態のデジタルカメラ１００は、２つの画像間で位置合わせが失敗した場合であっても、２つの画像の合焦位置（フォーカスレンズ位置）の差が所定の閾値以上である場合は、位置合わせをせずに画像合成を行うようにしている。即ち、図１３に示すように、４枚目のフレーム画像５００ｄと合成画像５１０ｂの間で位置合わせ（３）に失敗した場合であっても、２つの画像の合焦位置の差が所定の閾値以上である場合は、４枚目のフレーム画像５００ｄと合成画像５１０ｂの間で深度合成処理を行うことにより、合成画像５１０ｃを得ることができる。
【００７１】
図１４は、位置合わせ／合成処理と合焦位置との関係を説明するための図である。図１４は、１枚目のフレーム画像５００ａの領域Ｒ１の合焦位置は１００であり、２枚目のフレーム画像５００ｂにおける領域Ｒ２の合焦位置が１１０であり、３枚目のフレーム画像５００ｃにおける領域Ｒ３の合焦位置が１２０であり、４枚目のフレーム画像５００ｄにおける領域Ｒ４の合焦位置が２００である場合を例示している。また、２つの画像の位置合わせに失敗した場合であっても、２つの画像の間で深度合成処理を行う場合の合焦位置の差の閾値を５０に設定している。この場合、図１３に示したように、合成画像５１０ｂと４枚目のフレーム画像５００ｄの領域Ｒ４との間でエッジ情報に基づく位置合わせを行うことができない場合であっても、領域Ｒ４の合焦位置は２００であり合成画像５１０ｂの領域Ｒ４の合焦位置に最も近い合焦位置は１２０であって、合焦位置の差（８０）は閾値（５０）以上であるため、合成画像５１０ｂと領域Ｒ４とが合成される。
【００７２】
これに対して、仮に、１枚目のフレーム画像５００ａの領域Ｒ１と２枚目のフレーム画像５００ｂの領域Ｒ２との間でエッジ情報に基づく位置合わせを行うことができない場合、領域Ｒ１と領域Ｒ２との間で深度合成処理は行われない。領域Ｒ１の合焦位置が１００であり領域Ｒ２の合焦位置が１１０であって、合焦位置の差（１０）は閾値（５０）未満であるからである。合焦位置が比較的近い２つの画像を位置合わせに失敗した状態で合成すると、２つの画像の結合部分で位置合わせができていないため、その部分で合成画像に違和感が生じやすくなる。合焦位置の差の閾値は、合成画像にこのような違和感が生じないレベルで適宜設定することができる。
【００７３】
以下、図１５及び図１６のフローチャートを参照して、図１０のフローチャートにおける合成処理（Ｓ２２）の詳細について説明する。
【００７４】
図１５は、図１０のフローチャートにおける合成処理（Ｓ２２）の詳細を示すフローチャートである。まず、コントローラ１８０は、先に設定された深度合成範囲に基づき、合成対象となるフレーム画像のフレーム番号と、合成対象となるフレーム画像の枚数を特定する（Ｓ４１）。具体的には、範囲指定画面４０上で深度合成範囲として特定された領域について、合焦情報テーブル６０を参照して、各領域に合焦位置を有するフレームのフレーム番号を特定する。例えば、図５に示すように範囲指定画面４０上で指定された２つの領域に対応するＡＦ領域に合焦位置を有するフレーム画像が、第ｊ番目と第ｊ＋ｍ番目のフレームの画像である場合、コントローラ１８０は、合焦情報テーブル６０を参照して、フレーム番号としてｊ，ｊ＋１，・・・、ｊ＋ｍを求める。
【００７５】
次に、コントローラ１８０は制御に使用する各変数を初期化する（Ｓ４２）。具体的には、処理したフレーム画像の枚数を示す処理枚数Ｎｐに１が設定され、合成処理された回数を示す合成回数Ｎｃに０が設定され、処理すべきフレーム画像の総数を示す画像枚数Ｎｉに、ステップＳ４１で求めた合成対象となるフレーム画像の枚数が設定される。処理枚数Ｎｐは、合成対象となるフレーム画像の全てに対して後述の位置あわせ／合成処理（図１５のＳ４８）が実行されると、１だけインクリメントされる。合成回数Ｎｃは、画像の合成処理が実施される毎に１だけインクリメントされる。
【００７６】
次に、コントローラ１８０は、マルチフォーカス動画から、合成対象の中の１枚目のフレーム画像の画像データを取り出し、バッファ１７０に格納する（Ｓ４３）。例えば、合成対象のフレーム画像群の中で最も至近端に近い画像の画像データが取り出され、「画像Ａ」として、バッファ１７０に格納される。
【００７７】
次に、コントローラ１８０は、合成対象であるフレーム画像の全てが処理されたか否かを判断する（Ｓ４４）。具体的には、コントローラ１８０は、処理枚数Ｎｐが画像枚数Ｎｉ以上であるか否かを判断する（Ｓ４４）。
【００７８】
合成対象であるフレーム画像の全てが処理されていない場合、すなわち、処理枚数Ｎｐが画像枚数Ｎｉ未満である場合（Ｓ４４でＮＯ）、コントローラ１８０は、マルチフォーカス動画から、次の合成対象のフレーム画像の画像データを取り出し、「画像Ｂ」として、バッファ１７０に格納する（Ｓ４７）。そして、コントローラ１８０は、バッファ１７０に格納した画像Ａと画像Ｂについて位置合わせ及び合成処理を実行する（Ｓ４８）。位置合わせ及び合成処理の詳細は後述する。位置合わせ及び合成処理の後、制御はステップＳ４４に戻る。
【００７９】
合成対象であるフレーム画像の全てが処理されている場合、すなわち、処理枚数Ｎｐが画像枚数Ｎｉ以上である場合（Ｓ４４でＹＥＳ）、コントローラ１８０は、合成処理が少なくとも１回行われたか否かを判断する（Ｓ４５）。具体的には、コントローラ１８０は、合成回数Ｎｃが１以上であるは否かを判断する（Ｓ４５）。合成処理が行われなかった場合、すなわち、合成回数Ｎｃが１未満であった場合（Ｓ４５でＮＯ）、コントローラ１８０はエラー表示を行う（Ｓ４９）。例えば、表示モニタ２２０に、深度合成処理が実施されなかったことを示すメッセージを表示する。一方、合成処理が行われた場合、すなわち、合成回数Ｎｃが１以上であった場合（Ｓ４５でＹＥＳ）、コントローラ１８０は、バッファ１７０に格納された画像Ａの画像データを、深度合成画像として、メモリカード２００に保存する（Ｓ４６）。
【００８０】
以上の方法により、合成対象のフレーム画像を用いた深度合成処理が実施される。
【００８１】
図１６は、図１５のフローチャートにおける位置合わせ／合成処理（Ｓ４８）の詳細を示すフローチャートである。図１６のフローチャートを参照し、位置合わせ／合成処理（Ｓ４８）の詳細を説明する。
【００８２】
コントローラ１８０は、バッファ１７０に格納された画像Ａと画像Ｂのそれぞれからエッジ情報を検出する（Ｓ１４１）。その後、コントローラ１８０は、マルチフォーカス動画の記録時に、デジタルカメラ１００が静止していたか否かを判定する（Ｓ１４２）。この判定は、マルチフォーカス動画の動画データに含まれる静止判定フラグに基づき行われる。静止判定フラグは、デジタルカメラ１００が静止している否かを示すフラグである。静止判定フラグは、ジャイロセンサ２５０の出力信号に基づき設定され、デジタルカメラ１００の動きが所定値よりも小さいときに「静止」を示す値に設定され、デジタルカメラ１００の動きが所定値以上のときに「静止していないこと」を示す値に設定される。例えば、デジタルカメラ１００が三脚に固定されている場合、ジャイロセンサ２５０によりデジタルカメラ１００の動きが検出されないことから、静止判定フラグは「静止」を示す値に設定される。静止判定フラグはマルチフォーカス動画の記録時に設定され、例えば、動画記録開始時のデジタルカメラ１００の状態に基づき、動画データ全体として１つのフラグが設定されてもよいし、フレーム画像の撮影毎のデジタルカメラ１００の状態に基づきフレーム毎に設定されてもよい。
【００８３】
デジタルカメラ１００が静止していたと判定した場合（Ｓ１４２でＹＥＳ）、コントローラ１８０は、画像Ａと画像Ｂの合成処理を行うように画像処理部１６０を制御する（Ｓ１４３）。デジタルカメラ１００が静止している場合、画像間の位置ずれはないと考えられるため、この場合、画像間の位置合わせは行わない。なお、合成処理においては、合成画像の各画素に対して、２つの画像Ａ、Ｂ間においてコントラスト値の高い方の画素が選択されて設定される。
【００８４】
一方、デジタルカメラ１００が静止していなかったと判定した場合（Ｓ１４２でＮＯ）、コントローラ１８０は、画像Ａと画像Ｂの位置合わせを行う（Ｓ１４７）。具体的には、コントローラ１８０は、画像Ａと画像Ｂのそれぞれから抽出したエッジ情報を用いて画像Ａに対する画像Ｂの位置ずれ量を検出する。すなわち、コントローラ１８０は、エッジ情報に基づき画像Ａと画像Ｂを比較しながら、画像Ａに対して画像ＢがＸ方向、Ｙ方向にどれだけずれているか、また、どれだけ回転しているかを検出する。さらに、合焦位置を変化させて撮影した場合、画像に写る被写体の大きさが変わる場合があるため、コントローラ１８０は画像全体の拡大・縮小率も検出する。そして、これらのずれ量（Ｘ方向ずれ、Ｙ方向ずれ、回転角、拡大／縮小率）が検出されたときに、位置合わせが「成功」したとする。
【００８５】
このとき、位置合わせが成功した場合は（Ｓ１４８でＹＥＳ）、コントローラ１８０は、ステップＳ１４３に進み、画像Ａに対して画像Ｂの位置合わせがなされた状態で画像Ａと画像Ｂの合成処理を行う。図１３、１４に示す例では、１枚目のフレーム画像５００ａと２枚目のフレーム画像５００ｂとの位置合わせ及び合成画像５１０ａと３枚目のフレーム画像５００ｃとの位置合わせはいずれも成功しているので、それぞれ合成処理が行われる。
【００８６】
しかしながら、位置合わせが失敗した場合（Ｓ１４８でＮＯ）、コントローラ１８０は、画像Ａと画像Ｂ間の合焦位置の差が閾値以上であるか否かを判断する（Ｓ１４９）。これは、画像Ａと画像Ｂに含まれる被写体について、画像Ａ及び画像Ｂの一方はピントがあっているが、他方はピントが合っていない状況であるか否かを判断している。なお、画像Ａが複数の合焦位置を有する場合、コントローラ１８０は、各合焦位置について合焦位置の差を算出し、最小の差が閾値以上であるか否かを判定する。合焦位置の差が閾値未満である場合（Ｓ１４９でＮＯ）、コントローラ１８０は、画像の合成処理を行わずに、処理枚数Ｎｐを１だけインクリメントし、処理を終了する。
【００８７】
一方、合焦位置の差が閾値以上である場合（Ｓ１４９でＹＥＳ）、コントローラ１８０は、ステップＳ１４３に進み、画像Ａに対して画像Ｂの位置合わせがなされた状態で画像Ａと画像Ｂの合成処理を行うように画像処理部１６０を制御する。図１３、１４に示す例では、合成画像５１０ｂと４枚目のフレーム画像５００ｄとの位置合わせは失敗しているが、合焦位置の差（８０）が閾値（５０）以上であるので、合成処理が行われる。なお、仮に、合焦位置の差（８０）を超える閾値（例えば１００）が設定されている場合、合焦位置の差（８０）は閾値（１００）未満であるので、合成画像５１０ｂと４枚目のフレーム画像５００ｄとの合成処理は行われない。
【００８８】
画像合成処理の後、コントローラ１８０は、画像Ａと画像Ｂの合成画像の画像データを、新たに画像Ａとしてバッファ１７０に格納する（Ｓ１４４）。すなわち、コントローラ１８０は、バッファ１７０上の画像Ａを、合成画像の画像データにより更新する。
【００８９】
その後、コントローラ１８０は、合成回数Ｎｃ及び処理枚数Ｎｐをそれぞれ１だけインクリメントし（Ｓ１４５、Ｓ１４６）、本処理を終了する。
【００９０】
以上のように、本実施の形態では、画像間の位置合わせに失敗した場合でも、画像間の合焦位置の距離の差が閾値以上ある場合は、画像合成を行う。これにより、画像間の位置合わせができない場合であっても、被写界深度のより深い画像を得ることができる。
【００９１】
［３．効果、等］
本実施形態のデジタルカメラ１００は、合焦位置を変化させながら被写体像を撮像して複数の画像データ（動画を構成するフレーム画像のデータ）を生成するＣＣＤ１４０と、ＣＣＤ１４０により生成された複数の画像データを合成して被写界深度のより深い静止画データを生成する画像処理部１６０（画像処理部の一例）と、静止画データの生成において、合成対象の２つの画像データが示す画像間の位置合わせを行った後、２つの画像データを合成するように画像処理部１６０を制御するコントローラ１８０と、を備える。コントローラ１８０は、位置合わせが成功した場合（Ｓ１４８でＹＥＳ）、２つの画像データを合成するように、画像処理部１６０を制御する（Ｓ１４３）。位置合わせが失敗した場合（Ｓ１４８でＮＯ）、２つの画像データの生成時におけるフォーカスレンズ位置の差が閾値（所定値の一例）未満である場合は（Ｓ１４９でＮＯ）、２つの画像データを合成しないが、フォーカスレンズ位置の差が閾値以上である場合は（Ｓ１４９でＹＥＳ）、２つの画像データを合成するように、画像処理部１６０を制御する。
【００９２】
以上の制御により、画像間の位置合わせに失敗した場合でも、画像間の合焦位置の距離の差が閾値以上ある場合は、画像合成を行う。これにより、画像間の位置合わせができない場合であっても、被写界深度のより深い画像を得ることができる。
【００９３】
また、デジタルカメラ１００は、フレーム番号（各画像データを特定する情報の例）と、ＡＦ領域（各画像データにおける合焦された領域を示す情報の一例）と、各フレーム画像のデータ生成時のフォーカスレンズ位置とを対応づけた合焦情報テーブル６０をさらに備える。この合焦情報テーブル６０を参照することで、各ＡＦ領域（画像の一部の領域）に合焦するフレームのフレーム番号を特定したり、各フレーム画像に対するフォーカスレンズ位置を特定したりすることができる。
【００９４】
また、デジタルカメラ１００は、複数のフレーム画像のデータが生成されたときにデジタルカメラ１００が静止していたか否かを示すフラグ情報をさらに備える。フラグ情報がデジタルカメラ１００が静止していなかったことを示す場合に（Ｓ１４２でＮＯ）、コントローラ１８０は、合成対象の２つの画像データが示す画像間の位置合わせを行う（Ｓ１４７）。デジタルカメラ１００が静止していなかった場合、手ブレ等によりフレーム画像間の位置ずれが発生している可能性が高い。よって、デジタルカメラ１００が静止していなかった場合に、位置合わせを行うことで、品質の高い合成画像が得られる。
【００９５】
また、フラグ情報がデジタルカメラ１００が静止していたことを示す場合（Ｓ１４２でＹＥＳ）、コントローラ１８０は、合成対象の２つの画像データが示す画像間の位置合わせを行わずに、２つの画像データの合成処理を行う（Ｓ１４３）。デジタルカメラ１００が静止していた場合、手ブレ等によりフレーム画像間の位置ずれが発生する可能性が低いので、この場合、位置合わせを行わないようにすることで処理負荷を低減でき、処理時間を短縮できる。
【００９６】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００９７】
上記の実施の形態では、位置合わせが失敗したときに、合成対象の２つの画像が撮像されたときのフォーカスレンズ位置（合焦位置）の差に基づき合成処理を行うか否かの判断を行ったが、その判断指標は、フォーカスレンズ位置（合焦位置）の差に限定されない。例えば、２つの画像において合焦している被写体までの距離の差に基づき判断してもよい。
【００９８】
上記の実施の形態では、撮像部であるＣＣＤ１４０で生成されたフレーム画像を用いて、撮像装置であるデジタルカメラ１００の画像処理部１６０において深度合成処理を行ったが、深度合成処理はデジタルカメラ１００の内部で行わなくてもよい。たとえば、撮像装置の撮像部で生成されたフレーム画像の画像データを、画像処理部を備えるサーバやＰＣ（パーソナルコンピュータ）に送信し、その画像処理部で深度合成処理を行ってもよい。この場合、サーバやＰＣは画像処理装置として機能する。
【００９９】
上記の実施の形態では、マルチフォーカス動画を構成するフレーム画像を用いて深度合成を行ったが、動画を構成するフレーム画像ではなく、連写撮影により生成された複数の静止画を用いて深度合成を行ってもよい。
【０１００】
上記の実施の形態に開示した思想は、レンズ交換式カメラ及びレンズ一体型カメラの双方の種類のデジタルカメラに対して適用できる。
【０１０１】
上記の実施の形態では、撮像装置の一例としてデジタルカメラを用いて説明したが、撮像装置はこれに限定されない。本開示の思想は、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。
【０１０２】
上記の実施の形態では、撮像素子をＣＣＤで構成したが、撮像素子はこれに限定されない。撮像素子はＮＭＯＳイメージセンサやＣＭＯＳイメージセンサで構成してもよい。
【０１０３】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１０４】
本開示は、動画を撮影できる撮像装置に対して適用可能である。具体的には、デジタルカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。
【符号の説明】
【０１０５】
４０    範囲指定画面
４５    領域枠
５１    強調表示
６０    合焦情報テーブル
１００    デジタルカメラ
１１０    光学系
１１１    フォーカスレンズ
１１２    ズームレンズ
１１３    手振れ補正レンズ
１２０    レンズ駆動部
１３０    シャッタ部
１４０    ＣＣＤ
１５０    Ａ／Ｄコンバータ
１６０    画像処理部
１７０    バッファ
１８０    コントローラ
１９０    カードスロット
２００    メモリカード
２１０    操作部材
２２０    表示モニタ
２４０    内蔵メモリ
２５０    ジャイロセンサ
３００    絞り部
【図１】
2018046543.tif 000003
【図２】
2018046543.tif 000004
【図３】
2018046543.tif 000005
【図４】
2018046543.tif 000006
【図５】
2018046543.tif 000007
【図６】
2018046543.tif 000008
【図７】
2018046543.tif 000009
【図８】
2018046543.tif 000010
【図９】
2018046543.tif 000011
【図１０】
2018046543.tif 000012
【図１１Ａ】
2018046543.tif 000013
【図１１Ｂ】
2018046543.tif 000014
【図１１Ｃ】
2018046543.tif 000015
【図１２】
2018046543.tif 000016
【図１３】
2018046543.tif 000017
【図１４】
2018046543.tif 000018
【図１５】
2018046543.tif 000019
【図１６】
2018046543.tif 000020