(57)【要約】      （修正有）【課題】光学系のフォーカスレンズ位置を変化させたときに撮像面に結像される被写体像の像倍率が変化する場合でも、高品位なより深い被写界深度の合成画像を生成可能な撮像装置を提供する。【解決手段】撮像装置は、フォーカスレンズ位置を光軸に沿って変化させたときに撮像面に結像される被写体像の像倍率が変化する光学系を有し、光学系のフォーカスレンズ位置を異なる複数の位置に設定してそれぞれの位置において撮像素子に被写体像を撮像させることで複数の画像データを生成させ、生成された複数の画像データに基づいて被写界深度のより深い静止画データを生成する制御部を備える。制御部は、像倍率に基づいて、各画像データが示す撮像画像上における被写体像の大きさが複数の画像データ間で互いに同じになるように、各撮像画像の大きさを変倍し、変倍した複数の画像データに基づいて被写界深度のより深い静止画データを生成する。【選択図】図１６
2018046535.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像データを生成する撮像素子と、
前記撮像素子の撮像面に被写体像を結像させるとともに、フォーカスレンズ位置を光軸に沿って変化させたときに前記撮像面に結像される被写体像の像倍率が変化する光学系と、
前記光学系のフォーカスレンズ位置を異なる複数の位置に設定してそれぞれの位置において撮像素子に被写体像を撮像させることで複数の画像データを生成させ、生成された複数の画像データに基づいて被写界深度のより深い静止画データを生成する制御部と、を備え、
前記制御部は、前記静止画データを生成する際、前記複数の画像データのそれぞれについて、撮像時のフォーカスレンズ位置に基づいて前記光学系の入射瞳位置を求め、求めた入射瞳位置に基づいて前記被写体像の像倍率変化率を求め、求めた像倍率変化率に基づいて、各画像データが示す撮像画像上における被写体像の大きさが前記複数の画像データ間で互いに同じになるように、各撮像画像の大きさを変倍し、
前記変倍した複数の画像データに基づいて被写界深度のより深い静止画データを生成する、
撮像装置。
【請求項２】
被写体像を撮像して画像データを生成する撮像素子と、
前記撮像素子の撮像面に被写体像を結像させるとともに、フォーカスレンズ位置を光軸に沿って変化させたときに前記撮像面に結像される被写体像の像倍率が変化する光学系と、
前記光学系のフォーカスレンズ位置を異なる複数の位置に設定してそれぞれの位置において撮像素子に被写体像を撮像させることで複数の画像データを生成させ、生成された複数の画像データに基づいて被写界深度のより深い静止画データを生成する制御部と、を備え、
前記制御部は、前記静止画データを生成する際、前記複数の画像データのそれぞれについて、撮像時のフォーカスレンズ位置に基づいて前記光学系の画角を求め、求めた画角に基づいて前記被写体像の像倍率変化率を求め、求めた像倍率変化率に基づいて、各画像データが示す撮像画像上における被写体像の大きさが前記複数の画像データ間で互いに同じになるように、各撮像画像の大きさを変倍し、
前記変倍した複数の画像データに基づいて被写界深度のより深い静止画データを生成する、
撮像装置。
【請求項３】
前記制御部は、前記複数の画像データを変倍する際、像倍率変化率が最も大きい画像データを基準として、残りの画像データを拡大方向に変倍する、
請求項１または請求項２に記載の撮像装置。
【請求項４】
前記制御部は、前記複数の画像データを変倍する際、像倍率変化率が最も小さい画像データを基準として、残りの画像データを縮小方向に変倍する、
請求項１または請求項２に記載の撮像装置。
【請求項５】
被写体として、第１のフォーカスレンズ位置で合焦する第１の被写体と、第２のフォーカスレンズ位置で合焦する第２の被写体とが存在する場合、前記制御部は、前記第１のフォーカスレンズ位置と前記第２のフォーカスレンズ位置との中間のフォーカスレンズ位置を基準として、前記像倍率変化率を求める、
請求項１または請求項２に記載の撮像装置。
【請求項６】
当該撮像装置は、カメラ本体と、前記光学系としての、前記カメラ本体に着脱可能な交換レンズとを有し、
前記カメラ本体は、前記制御部と、記憶部とを備え、
前記記憶部は、各交換レンズについて、フォーカスレンズ位置を所定範囲内で変化させたときにおける像倍率変化率が所定値以上であるか否かを示す像倍率変化の大きさを示す情報を格納しており、
前記制御部は、前記カメラ本体に装着されている交換レンズについての像倍率変化の大きさを示す情報を取得し、当該情報が、像倍率変化率が所定値以上であることを示している場合に、前記複数の画像データに対する変倍の処理を行う、
請求項１〜５のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の画像を合成し、深い被写界深度の画像を生成する機能を有する撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、フォーカスを変えた複数の画像を撮像し、撮像した画像より被写界深度を拡大した画像を複数の画像から生成する撮像装置を開示する。特許文献１の撮像装置では、操作者は合焦したい被写体を複数選択し、操作者により選択された被写体のフォーカス位置に基づいて画像が撮像される。これにより、操作者の意図に沿ったフォーカス位置で合焦した合成画像が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０７５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像装置の光学系には、フォーカスレンズ位置を変更すると撮像素子の撮像面に結像される被写体像の像倍率が変化するものがある。像倍率が異なる複数の画像を合成すると、合成画像中における被写体に輪郭のがたつき等が生じ、合成画像の品位が低下する。
【０００５】
本開示は、光学系のフォーカスレンズ位置を変化させたときに撮像面に結像される被写体像の像倍率が変化する場合でも、高品位なより深い被写界深度の合成画像を生成可能な撮像装置を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様において撮像装置が提供される。撮像装置は、被写体像を撮像して画像データを生成する撮像素子と、撮像素子の撮像面に被写体像を結像させるとともに、フォーカスレンズ位置を光軸に沿って変化させたときに撮像面に結像される被写体像の像倍率が変化する光学系を有する。また、撮像装置は、光学系のフォーカスレンズ位置を異なる複数の位置に設定してそれぞれの位置において撮像素子に被写体像を撮像させることで複数の画像データを生成させ、生成された複数の画像データに基づいて被写界深度のより深い静止画データを生成する制御部を備える。制御部は、静止画データを生成する際、複数の画像データのそれぞれについて、撮像時のフォーカスレンズ位置に基づいて光学系の入射瞳位置を求め、求めた入射瞳位置に基づいて被写体像の像倍率を求め、求めた像倍率に基づいて、各画像データが示す撮像画像上における被写体像の大きさが複数の画像データ間で互いに同じになるように、各撮像画像の大きさを変倍し、変倍した複数の画像データに基づいて被写界深度のより深い静止画データを生成する。
【０００７】
本開示の一態様において撮像装置が提供される。撮像装置は、被写体像を撮像して画像データを生成する撮像素子と、撮像素子の撮像面に被写体像を結像させるとともに、フォーカスレンズ位置を光軸に沿って変化させたときに撮像面に結像される被写体像の像倍率が変化する光学系を有する。また、撮像装置は、光学系のフォーカスレンズ位置を異なる複数の位置に設定してそれぞれの位置において撮像素子に被写体像を撮像させることで複数の画像データを生成させ、生成された複数の画像データに基づいて被写界深度のより深い静止画データを生成する制御部を備える。制御部は、静止画データを生成する際、複数の画像データのそれぞれについて、撮像時のフォーカスレンズ位置に基づいて光学系の画角を求め、求めた画角に基づいて被写体像の像倍率を求め、求めた像倍率に基づいて、各画像データが示す撮像画像上における被写体像の大きさが複数の画像データ間で互いに同じになるように、各撮像画像の大きさを変倍し、変倍した複数の画像データに基づいて被写界深度のより深い静止画データを生成する。
【発明の効果】
【０００８】
本開示の撮像装置によれば、各画像データが示す撮像画像上における被写体像の大きさが複数の画像データ間で互いに同じとなるように、各画像データが示す撮像画像の大きさが変倍され、変倍された複数の画像データに基づいて被写界深度のより深い静止画データが生成される。よって、光学系のフォーカスレンズ位置を変化させたときに撮像面に結像される被写体像の像倍率が変化する場合でも、高品位なより深い被写界深度の合成画像を生成できる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１におけるデジタルカメラの構成を示す図
【図２】デジタルカメラの背面図
【図３】深度合成処理を行うとき処理の流れを示すフローチャート
【図４】マルチフォーカス動画の記録時におけるフォーカスレンズの移動を説明した図
【図５】マルチフォーカス動画のフレーム画像を用いた深度合成の概念を説明した図
【図６】（Ａ）画像領域に設定された複数のＡＦ領域を説明した図、（Ｂ）一つのＡＦ領域における、フォーカスレンズの移動に伴うコントラスト値の変化を説明した図
【図７】合焦情報テーブルの例を示した図
【図８】フォーカスセレクト動画の記録処理を示すフローチャート
【図９】マルチフォーカス動画の記録時のフォーカスレンズの移動範囲を説明した図
【図１０Ａ】深度合成処理を示すフローチャート
【図１０Ｂ】プレビュー画像の例を示した図
【図１０Ｃ】深度合成を実施するか否かをユーザに確認するための画面の例を示した図
【図１１】深度合成範囲を指定するための範囲指定画面の表示例を示した図
【図１２】ユーザによる領域の指定に応じて設定される深度合成範囲の変化を説明した図
【図１３】フォーカスレンズ位置に応じて像倍率が変化することを説明した図
【図１４】像倍率の変化による撮像画像中の被写体の大きさの変化を説明した図
【図１５Ａ】像倍率の変化を考慮した合成処理の概要を示すフローチャート
【図１５Ｂ】像倍率変化率の計算処理を示すフローチャート
【図１６】像倍率変化率の計算原理を説明した図
【図１７】像倍率変化率算出情報テーブルの例を示した図
【図１８Ａ】像倍率変化を考慮した合成処理の概念を説明した図
【図１８Ｂ】フレーム画像を拡大方向に変倍することを説明した図
【図１８Ｃ】フレーム画像を縮小方向に変倍することを説明した図
【図１９Ａ】フレーム画像内に２個の主要な被写体が存在している例を示した図
【図１９Ｂ】実施の形態２におけるデジタルカメラ１００での深度合成処理において、深度合成範囲内の異なる２個の焦点位置にそれぞれ合焦被写体が存在するときの合成処理の概念を説明した図
【図２０】実施の形態３におけるデジタルカメラの構成を示す図
【図２１】レンズの種類により像倍率変化率が異なることを説明した図
【図２２】変倍処理対象レンズテーブルの例を示した図
【図２３】実施の形態３における合成処理を示すフローチャート
【図２４】実施の形態３における像倍率変化率算出情報テーブルの例を示した図
【図２５】主光線、上側光線及び下側光線による画角の例を示した図
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるものであって、これらによって特許請求の範囲に記載の主題を限定することは意図されていない。
【００１１】
以下、図面を用いて本開示に係る撮像装置の実施の形態を説明する。
【００１２】
（実施の形態１）
［１．デジタルカメラの構成］
実施の形態１に係るデジタルカメラ（撮像装置の一例）の電気的構成について図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＣＤ１４０で撮像する撮像装置である。ＣＣＤ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。
【００１３】
光学系１１０は、フォーカスレンズ１１１及び絞り部３００を含む。絞り部３００は、ユーザの設定に応じて又は自動で開口部の大きさを調整し、開口部を透過する光の量および被写界深度を調整する。また、ズームレンズ１１２を光軸に沿って移動させることにより、被写体像の拡大又は縮小をすることができる。また、フォーカスレンズ１１１を光軸に沿って移動させることにより、被写体像のピント（合焦状態）を調整することができる。また、光学系１１０は、デジタルカメラ１００のブレによる画像のブレを補正するための像振れ補正レンズ１１３を含む。
【００１４】
レンズ駆動部１２０は、光学系１１０に含まれる各種光学部材を駆動させる。レンズ駆動部１２０は、例えばズームレンズ１１２を駆動するズームモータや、フォーカスレンズ１１１を駆動するフォーカスモータ、絞り部３００の開口部の光量を制御する絞りモータを含む。
【００１５】
シャッタ部１３０は、ＣＣＤ１４０に透過させる光を遮光するための手段である。シャッタ部１３０は、光学系１１０及び絞り部３００とともに、被写体像を示す光学情報を制御する。また、光学系１１０及び絞り部３００はレンズ鏡筒（図示せず）内に収納される。
【００１６】
ＣＣＤ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＣＤ１４０は、カラーフィルタと、受光素子と、ＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌｌｅｒ）とを含む。受光素子は、光学系１１０によって集光された光学的信号を電気信号に変換し、画像情報を生成する。ＡＧＣは、受光素子から出力された電気信号を増幅する。
【００１７】
ＡＤＣ（Ａ／Ｄコンバータ：アナログ−デジタル変換器）１５０は、ＣＣＤ１４０で生成されたアナログ画像データをデジタル画像データに変換する。
【００１８】
画像処理部１６０は、ＣＣＤ１４０で生成され、変換されたデジタル画像データに対して、コントローラ１８０の制御を受け、各種処理を施す。画像処理部１６０は、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに基づいて、例えば、画素数４０００×２０００前後の動画の画像データ（４Ｋ動画データ）を生成することができる。画像処理部１６０は、生成した４Ｋ動画データに対して後述する種々の処理を行うことができる。例えば、画像処理部１６０は、生成した４Ｋ動画データを構成するフレーム画像を用いて深度合成（焦点合成）処理を行う（詳細は後述）。
【００１９】
コントローラ１８０は、デジタルカメラ１００の全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。
【００２０】
画像処理部１６０やコントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ、ＦＰＧＡなどで実現できる。
【００２１】
バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、強誘電体メモリなどで実現できる。
【００２２】
カードスロット１９０は、メモリカード２００をデジタルカメラ１００に装着するための手段である。カードスロット１９０は、機械的及び電気的にメモリカード２００とデジタルカメラ１００を接続可能である。
【００２３】
メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。
【００２４】
内蔵メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内蔵メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラムやデータ等を記憶している。
【００２５】
操作部材２１０は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、ユーザからの操作を受け付けるボタン、レバー、ダイヤル、タッチパネル、スイッチ等を含む。また、操作部材２１０は、レンズ鏡筒の外周に設けられたフォーカスリングを含む。フォーカスリングは、フォーカスレンズ１１１を移動させるためにユーザにより回転操作される部材である。
【００２６】
表示モニタ２２０は、ＣＣＤ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。表示モニタ２２０は、液晶表示デバイスや有機ＥＬ表示デバイスで構成される。
【００２７】
図２は、デジタルカメラ１００の背面を示した図である。図２では、操作部材２１０の例として、レリーズボタン２１１、選択ボタン２１３、決定ボタン２１４、タッチパネル２２２が示されている。操作部材２１０は、ユーザによる操作を受け付けると、コントローラ１８０に種々の指示信号を送信する。
【００２８】
レリーズボタン２１１は、二段押下式の押下式ボタンである。レリーズボタン２１１がユーザにより半押し操作されると、コントローラ１８０はオートフォーカス制御（ＡＦ制御）やオート露出制御（ＡＥ制御）などを実行する。また、レリーズボタン２１１がユーザにより全押し操作されると、コントローラ１８０は、押下操作のタイミングに撮像された画像データを記録画像としてメモリカード２００等に記録する。
【００２９】
選択ボタン２１３は、上下左右方向に設けられた押下式ボタンである。ユーザは、上下左右方向のいずれかの選択ボタン２１３を押下することにより、カーソルや後述する枠を移動したり、表示モニタ２２０に表示される各種条件項目を選択したりすることができる。
【００３０】
決定ボタン２１４は、押下式ボタンである。デジタルカメラ１００が撮影モードあるいは再生モードにあるときに、決定ボタン２１４がユーザにより押下されると、コントローラ１８０は表示モニタ２２０にメニュー画面を表示する。メニュー画面は、撮影/再生のための各種条件を設定するための画面である。決定ボタン２１４が各種条件の設定項目が選択されているときに押下されると、コントローラ１８０は、選択された項目の設定を確定する。
【００３１】
タッチパネル２２２は、表示モニタ２２０の表示画面と重畳して配置され、ユーザの指による表示画面上へのタッチ操作を検出する。これにより、ユーザは、表示モニタ２２０に表示された画像に対する領域の指定等の操作を行える。
【００３２】
［２．動作］
以上のような構成を有するデジタルカメラ１００の動作を説明する。デジタルカメラ１００は、それぞれ異なる合焦位置で撮影された複数の画像を合成して擬似的に深い被写界深度を有する１つの静止画を生成する深度合成（焦点合成）機能を有する。以下、デジタルカメラ１００の深度合成機能に関する動作について説明する。
【００３３】
［２−１．深度合成］
図３は、デジタルカメラ１００の深度合成機能を実行する時の処理の流れを説明した図である。デジタルカメラ１００は、深度合成に使用するための複数の静止画を得るために、合焦位置を変更しながら動画を記録する処理を行う（Ｓ１）。その後、デジタルカメラ１００は、記録した動画に含まれるフレーム画像（静止画）を用いて深度合成処理（Ｓ２）を実行し、深い被写界深度の静止画を生成する。なお、深度合成処理（Ｓ２）は、動画の記録処理（Ｓ１）に続いて連続して実行されてもよいし、動画の記録処理（Ｓ１）の完了後の任意のタイミングで実行されてもよい。
【００３４】
［２−１−１．深度合成のための動画の記録］
図４〜図７を参照して、深度合成に使用するための動画の記録処理（Ｓ１）について説明する。この処理では、異なる合焦位置を有する複数の静止画（フレーム画像）を得るために、合焦位置を連続的に変化させながら動画を記録する。以下このようにして記録される動画を「マルチフォーカス動画」という。デジタルカメラ１００においては、このマルチフォーカス動画を記録するための特定の撮影モードを有している。ユーザは、例えばメニューや操作ダイヤルを操作することにより、デジタルカメラ１００をその特定の撮影モードに設定できる。
【００３５】
マルチフォーカス動画は、合焦位置を連続的に変化させながら記録される動画である。マルチフォーカス動画として、例えば、画素数４０００×２０００前後の高解像度の４Ｋ動画が記録される。この４Ｋ動画を構成するフレーム画像においてユーザ指定に基づき選択された複数のフレーム画像を用いて、深度合成処理が実行される。このようにして深度合成された画像は４Ｋ動画に基づいているため高い画質を有している。
【００３６】
マルチフォーカス動画の記録では、図４に示すように至近端側から無限端側（またはその逆）に向かってフォーカスレンズ１１１を移動させながら、すなわち、合焦位置を変化させながら動画撮影を行う。このようにして記録されたマルチフォーカス動画は、図５に示すように、それぞれ異なる合焦位置で記録された複数フレーム画像Ｐｎを含む。深度合成処理において、このようにして撮影された複数フレーム画像Ｐｎの中から、ユーザにより指定された被写体の範囲に該当するフレーム画像（図中、ハッチングされた画像）が選択され、合成される（詳細は後述）。
【００３７】
本実施形態のデジタルカメラ１００では、オートフォーカス動作に関して、図６（Ａ）に示すように画像領域４００において複数のＡＦ領域が設定されている。本実施の形態では４９個（７行×７列）のＡＦ領域が設定されている。ＡＦ領域毎に、そのＡＦ領域内の被写体に合焦しているフレーム（以下「合焦フレーム」という）を求められ、求められた合焦フレームに関する情報が合焦情報テーブルに記録される。デジタルカメラ１００は、マルチフォーカス動画を記録（撮影）する前にフォーカスサーチ動作を行い、各ＡＦ領域の合焦フレームを検出して合焦情報テーブルを生成する。
【００３８】
図７（Ａ）、（Ｂ）は、合焦情報テーブルのデータ構造を示した図である。合焦情報テーブル６０は、フォーカスサーチ動作及び動画記録動作におけるフォーカスレンズ１１１の駆動範囲を示す情報を含む。具体的には、合焦情報テーブル６０は、フォーカスレンズ１１１の駆動範囲を示す情報として、最も至近端側のフォーカスレンズ位置（Pnear）を示す情報（最近合焦レンズ位置）と、最も無限端側のフォーカスレンズ位置（Pfar）を示す情報（最遠合焦レンズ位置）とを格納する。さらに、合焦情報テーブル６０は、各ＡＦ領域に対して、各ＡＦ領域に対するフォーカス位置（各ＡＦ領域にて合焦するときのフォーカスレンズ１１１の位置）と、各ＡＦ領域において合焦状態を有するフレームのフレーム番号とを対応づけて管理する。
【００３９】
例えば、フォーカスレンズ１１１を移動させながらＡＦ領域毎にコントラスト値を求める。このとき、図６（Ａ）に示す第１９ＡＦ領域４１について、図６（Ｂ）に示すように、フォーカスレンズ位置Ｐにおいてコントラスト値のピークが検出された場合、そのフォーカスレンズ位置Ｐのときに撮影されたフレーム（この例では、第５０フレーム）を、第１９ＡＦ領域４１に対する合焦フレームとする。そして、合焦情報テーブル６０において、第１９ＡＦ領域に対して、合焦フレームのフレーム番号として「５０」が、フォーカスレンズ１１１の位置として「Ｐ」が記録される。合焦情報テーブル６０は、例えば動画撮影により得られた動画データのヘッダ部に格納される。
【００４０】
図８のフローチャートを参照し、深度合成に使用するための動画の記録処理（Ｓ１）の詳細を説明する。
【００４１】
デジタルカメラ１００において、マルチフォーカス動画の記録するための特定の撮影モードに設定された状態で、ズームレンズ１１２の操作等により所望の画角を設定した後、ユーザによりレリーズボタン２１１が半押しされると（Ｓ１１でＹＥＳ）、コントローラ１８０は、画像のＡＦ領域のそれぞれについて合焦位置を検出して合焦情報テーブル６０を作成するためのフォーカスサーチを行う（Ｓ１２）。
【００４２】
フォーカスサーチでは、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に（またはその逆に）移動させながら、ＡＦ領域毎にコントラスト値を検出する（図６（Ａ）、（Ｂ）参照）。
【００４３】
そして、コントローラ１８０は、検出したコントラスト値に基づき合焦情報テーブル６０を作成する。具体的には、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に移動させたときに、ＡＦ領域毎に、複数の画像の中でコントラスト値が最大となる（図６（Ｂ）参照）ときのフォーカスレンズ１１１の位置を求め、そのフォーカスレンズ１１１の位置を合焦情報テーブル６０（図７（Ｂ）のｃ参照）に記録する。一のＡＦ領域について、いずれの画像のコントラスト値も所定の閾値よりも低い場合、当該ＡＦ領域については、合焦位置が定まらないとし、合焦情報テーブル６０には合焦位置が不明であることを示す所定の値が記録される。
【００４４】
コントローラ１８０は全範囲のサーチ後、さらに、フォーカスレンズ１１１を至近端から無限端に移動させたときに求まった合焦位置において、最も至近端に近い合焦位置（Pnear）と、最も無限端に近い合焦位置（Pfar）とを合焦情報テーブル６０に記録する（図７（Ａ）のａ参照）。以上によりフォーカスサーチは終了する。なお、この状態では、合焦情報テーブル６０において未だフレーム番号の情報は含まれていない。
【００４５】
フォーカスサーチ終了後、コントローラ１８０は、ユーザによりレリーズボタン２１１の半押しが継続されているか否かを判断する（Ｓ１３）。
【００４６】
フォーカスサーチ終了後、ユーザによるレリーズボタン２１１の半押しがなされていない場合（Ｓ１３でＹＥＳ）、コントローラ１８０は、処理をステップＳ１１に戻す。これにより、ユーザがフォーカスサーチをやり直すことができるようになる。
【００４７】
フォーカスサーチ終了後も、ユーザによりレリーズボタン２１１の半押しが継続されている場合（Ｓ１３でＹＥＳ）、コントローラ１８０は引き続きレリーズボタン２１１が全押しされたか否かを判断する（Ｓ１４）。
【００４８】
その後、ユーザによりレリーズボタン２１１が全押しされると（Ｓ１４でＹＥＳ）、マルチフォーカス動画を記録する画像撮影動作が開始される（Ｓ１５）。
【００４９】
すなわち、コントローラ１８０は、フォーカスレンズ１１１を最近合焦レンズ位置（Pnear）に戻し、図９に示すように、最遠合焦レンズ位置（Pfar）まで移動させながら動画（マルチフォーカス動画）を記録する（Ｓ１５）。動画記録時のフォーカスレンズ１１１の移動範囲をこのような範囲（Pnear〜Pfar）に制限することにより、合焦が得られない範囲においての動画記録が行われなくなり、動画記録にかかる時間を短縮できる。なお、動画記録は、動画データ用の所定のフォーマットに従い動画が記録される。例えば、ＭＰ４規格（H.264/MPEG-4 AVC方式）に従い動画が記録される。動画記録実行中、表示モニタ２２０には、例えば、動画記録中であることを示すアイコンやメッセージ等を表示してもよい。
【００５０】
また、コントローラ１８０は、動画記録中、フォーカスレンズ１１１の位置と、動画を構成する各フレームのフレーム番号との対応づけを行う。これにより、合焦情報テーブル６０において各ＡＦ領域に対してフレーム番号の対応づけがなされる（図７（Ｂ）のｂ参照）。
【００５１】
動画記録実行中、表示モニタ２２０には記録中の画像が表示されるが、その際、画像における合焦領域に対して、合焦領域をユーザに認識させるための強調表示を行ってもよい。この強調表示を行うことで、ユーザは画像において合焦された領域を容易に把握することが可能になる。
【００５２】
図８に戻り、動画記録（Ｓ１５）が終了すると、ヘッダ部に合焦情報テーブル６０が記録された動画データをメモリカード２００に記録する（Ｓ１６）。これにより動画（マルチフォーカス動画）の記録処理（Ｓ１）が終了する。
【００５３】
動画記録（Ｓ１）の終了後、ユーザの指示にしたがい深度合成処理（Ｓ２）が実行される。
【００５４】
［２−１−２．深度合成処理］
以下、深度合成処理（Ｓ２）を説明する。図１０Ａは、深度合成処理を示すフローチャートである。深度合成処理では、コントローラ１８０はまず、ユーザ指定に基づいて深度合成範囲を設定し（Ｓ２１）、その後、設定された範囲に基づき合成処理を行う（Ｓ２２）。以下、各処理（Ｓ２１、Ｓ２２）について説明する。
【００５５】
［２−１−２−１．深度合成範囲の設定］
最初に、図１０Ｂ、図１０Ｃ、図１１及び図１２を参照し、ユーザによる深度合成範囲の指定のための操作について説明する。
【００５６】
マルチフォーカス動画の記録が完了すると、その直後に、図１０Ｂに示すように、記録した画像を確認するためのプレビュー画像３０（静止画）が表示モニタ２２０に表示される。プレビュー画像３０は、記録したマルチフォーカス動画を構成する複数のフレーム画像の中の１つの画像である。このプレビュー画像３０が表示された状態で、ユーザにより所定の操作（例えば、タッチパネルへのタッチ操作、所定のボタンの操作）が実施されると、図１０Ｃに示すように、プレビュー画像３０上に、深度合成を行うか否かをユーザに確認するためのダイアログボックス３５が表示される。なお、ダイアログボックス３５は、記録済みの画像を選択して再生するための再生画面上で、マルチフォーカス動画を代表する静止画（一つのフレーム画像）が表示されているときにユーザにより所定の操作が実施されたときにも表示されてもよい。
【００５７】
このダイアログボックス３５において「ＹＥＳ」が選択されると、コントローラ１８０は、ユーザが合焦させたい被写体の範囲（領域）を指定するための範囲指定画面を表示モニタ２２０に表示する。
【００５８】
図１１は範囲指定画面４０の例を示した図である。範囲指定画面４０上には、プレビュー画像３０、すなわち、マルチフォーカス動画を構成するフレーム画像の中の１つのフレーム画像（被写体の画像）と、それに重畳して複数の画像領域（以下単に「領域」という）を示す領域枠４５とが表示される。領域枠４５は４９個（７行×７列）の領域を定義する。領域枠４５が示す各領域は図６（Ａ）に示す各ＡＦ領域に対応している。ユーザは、範囲指定画面４０上でタッチ操作により２つの領域（合成範囲の始点及び終点）を指定することにより、合焦させたい被写体の範囲（換言すれば、深度合成範囲）を指定することができる。なお、領域枠４５は表示モニタ２２０上に表示されなくてもよい。
【００５９】
範囲指定画面４０上でユーザにより２つの領域が指定されると、深度合成範囲に対応する領域に対して強調表示５１がなされる。例えば、図１１に示すように、範囲指定画面４０上において、指定された領域（１）と、指定された領域（２）と、領域（１）に対応するＡＦ領域の合焦位置と領域（２）に対応するＡＦ領域の合焦位置との間に合焦位置を有するＡＦ領域に対応する領域群とに対して、深度合成範囲（すなわち、ユーザが合焦させたい範囲）を示す強調表示５１が施される。このような強調表示５１によりユーザは、自身が設定した合焦したい範囲（深度合成範囲）を容易に認識することができる。ユーザは、「ＳＥＴ」ボタン６１をタッチすることで、または、カメラ背面の決定ボタン２１４を押下することにより、範囲指定画面４０上で指定した深度合成範囲を確定することができる。
【００６０】
［２−１−２−２．合成処理］
図１０のフローチャートにおける合成処理（Ｓ２２）について説明する。コントローラ１８０は、深度合成範囲として特定された領域について、合焦情報テーブル６０を参照して、各領域に合焦位置を有するフレームのフレーム番号を特定する。そして、コントローラ１８０は、特定したフレーム番号に対応するフレーム画像を用いて深度合成処理を実行するように画像処理部１６０を制御する。画像処理部１６０はコントローラ１８０からの指示を受けて深度合成処理を実行する。
【００６１】
ここで、本実施形態のデジタルカメラ１００の光学系１１０では、フォーカスレンズ位置が変化すると、画角が変化し、ＣＣＤ１４０の撮像面上に形成される被写体像の大きさが変化する。つまり像倍率が変化する。図１３は、フォーカスレンズ位置に応じて像倍率が変化することを説明した図である。図１３にでは、フォーカスレンズ位置が至近端側に近いほど、像倍率が大きくなる場合を例示している。
【００６２】
図１４は、図１３のような像倍率変化を示す光学系における、像倍率の変化による撮像画像中の被写体の大きさの変化を説明した図である。図１４（ａ）は、フォーカスレンズ位置が深度合成範囲において最も至近端側のフォーカスレンズ位置Prn（図１３参照）にあるときにＣＣＤ１４０の撮像面上に形成された被写体像Ｓを示し、図１４（ｂ）図は、フォーカスレンズ位置が深度合成範囲において最も無限端側のフォーカスレンズ位置Prf（図１３参照）にあるときにＣＣＤ１４０の撮像面上に形成された被写体像Ｓを示す。図１４の例では、無限端側のフォーカスレンズ位置Prfにおいて、至近端側のフォーカスレンズ位置Prnにおけるよりも、画角が大きくなって被写体像Ｓの像倍率（大きさ）が小さくなっている。
【００６３】
像倍率が異なるフレーム画像を利用して深度合成を行うと、生成された合成画像に含まれる被写体に輪郭のがたつき等が生じ、良好な品質が得られない。この課題に対処するため、本実施形態では、深度合成した静止画データを生成する際、各フレーム画像における像倍率を考慮して合成画像を生成する。
【００６４】
図１５Ａは、像倍率の変化を考慮した合成処理の概要を示すフローチャートである。
【００６５】
コントローラ１８０は、深度合成範囲に含まれるフレーム画像のそれぞれについて像倍率変化率を計算する（Ｓ５１）。像倍率変化率の計算の詳細については後述する。コントローラ１８０は、深度合成範囲に含まれる複数のフレーム画像のそれぞれを、各フレーム画像の像倍率変化率に基づいて、全てのフレーム画像において被写体像の大きさが同じとなるように変倍し（Ｓ５２）、これらの変倍したフレーム画像を用いて深度合成処理を行うように画像処理部１６０を制御する（Ｓ５３）。
【００６６】
［２−１−２−２−１．像倍率変化率の計算］
ステップＳ５１における像倍率変化率の計算について図１６を参照して詳しく説明する。図１６は、像倍率変化率の計算原理を説明する図である。
【００６７】
図１６（ａ）は、合焦している被写体（基準被写体）がどのような大きさで撮像面に結像されるかについて説明した図である。この基準被写体そのものの高さをｈ、物体面の高さをｙ０、フォーカスレンズ位置Ｐ０のときの撮像面からフォーカスレンズまでの距離（以下「フォーカスレンズ距離」という）をＬ０、撮像面からの絞り面および入射瞳位置までの距離をＩ０としたときに、撮像面上の基準被写体の高さをＨ０とする。なお、物体面の高さｙ０は、物体側において撮像面の高さ（撮像面の上端と下端との距離）に対応する高さである。物体面の高さｙ０は、ＣＣＤ１４０の横幅（高さ）Ｗを、フォーカスレンズ位置Ｐ０に対応する横倍率β０で除算することで、ｙ０＝Ｗ／β０により求めることができる。また、入射瞳位置と物体面ｙ０の上端とを結んだ直線と、入射瞳位置と物体面ｙ０の下端とを結んだ直線とがなす角度が画角θ０となる。入射瞳位置は、光学的に定められる入射瞳の位置であり、本図の例では、入射瞳位置が絞りの中心位置にある場合を示している。なお、図１６（ａ）、（ｂ）では、説明の簡略化のため、光軸方向においてレンズの前面側（物体側）に絞りが配置されているような光学系に簡易化して記載しているが、本開示は、このような配置に限定されず、入射瞳を有するどのような光学系にも適用可能である。
【００６８】
図１６（ｂ）は、図１６（ａ）に示す基準被写体に合焦している状態から、フォーカスレンズを移動させたときに基準被写体がどのような大きさで撮像面に投影されるかについて説明した図である。図１６（ｂ）においては、基準被写体にはピントが合っていない状態となる。基準被写体そのものの高さは、図１６（ａ）と同じｈであるものとする。フォーカスレンズを図１６（ａ）の距離Ｌ０に対応する位置Ｐ０から図１６（ｂ）の距離Ｌに対応する位置Ｐへ移動（繰り込み）させると、画角がθ０からθに変化するとともに、ピントが合う物体面が移動する。移動後の物体面を仮想物体面とすると、その仮想物体面の高さはｙになる。仮想物体面の高さｙは、ＣＣＤ１４０の幅Ｗを、フォーカスレンズ位置によって変化する横倍率βで除算して求める。また、説明の簡略化のため、フォーカスレンズが上記Ｌの距離の位置に移動すると、絞り面および入射瞳位置も移動し、撮像面からの絞り面および入射瞳位置までの距離がＩに変化したものとする。なお、撮像面からフォーカスレンズまでの距離Ｉ、撮像面から入射瞳位置までの距離Ｘ、及び仮想物体面の高さｙを求めるための横倍率βは、図１７に示すように、内蔵メモリ２４０上の像倍率変化率算出情報テーブルで関連付けられている。
【００６９】
図１６（ａ）においては、物体面の高さがｙ０だったが、図１６（ｂ）においては、図１６（ａ）における物体面の高さｙ０がｙ０´に変わる。フォーカスレンズを距離Ｌ０の位置から距離Ｌの位置へ移動させても物体面側での基準被写体の高さはｈのまま変わらないので、撮像面上の被写体像は、Ｈ＝ｙ０／ｙ０´×Ｈ０で求められる大きさ（高さ）に変化する。なお、図１６（ｂ）の例では、撮像面上の被写体像は小さくなる。
【００７０】
図１６（ａ）および図１６（ｂ）において、撮影距離Ｘ０およびＸの値はフォーカスレンズ位置に対応して決まる。本実施形態では、撮影距離Ｘ０およびＸは、像倍率変化率算出情報テーブルからフォーカスレンズ位置に基づいて求めることができる。
【００７１】
フォーカス移動後における、入射瞳位置と仮想物体面との間の距離Ａは、Ａ＝Ｘ−Ｉにより計算することができ、入射瞳位置と前の物体面との間の距離Ｂは、Ｂ＝Ｘ０−Ｉで計算することができる。そして、前の物体面における物体面の高さｙ０´は、ｙ０´＝Ｂ／Ａ×ｙにより計算することができる。図１６（ｂ）における仮想物体面の高さｙは、ＣＣＤ１４０の横幅Ｗを、図１６（ｂ）におけるフォーカスレンズ位置に対応する横倍率βで除算することで、ｙ＝Ｗ／βにより求めることができる。
【００７２】
ここで、像倍率変化率Ｚは、Ｚ＝Ｈ／Ｈ０であるので、これを以上の説明内容に基づいて下記のように変形すると、像倍率変化率Ｚを求めるための下記の数式１を得ることができる。そして、この数式１に、基準被写体についての像倍率変化率Ｚは、像倍率変化率算出情報テーブルから取得した値を代入することで像倍率変化率Ｚを求めることができる。
Ｚ＝Ｈ／Ｈ０
＝ｙ０／ｙ０´
＝ｙ０／（（Ｂ／Ａ）＊ｙ）
＝（W／β０）／（（Ｂ／Ａ）＊（W／β））
＝（Ａ／Ｂ）＊（β／β０）
＝（（Ｘ−Ｉ）／（Ｘ０−Ｉ））＊（β／β０）
（式１）  Ｚ＝（（Ｘ−Ｉ）／（Ｘ０−Ｉ））＊（β／β０）
【００７３】
図１７は、像倍率変化率算出情報テーブルの例を示した図である。像倍率変化率算出情報テーブルは、内蔵メモリ２４０に予め格納されている。像倍率変化率算出情報テーブルには、フォーカスモータによりフォーカスレンズを設定可能な複数の位置（フォーカスレンズ位置Ｐ）のそれぞれに対応付けて、撮像面と入射瞳位置との間の距離Ｉ、及び撮像面と物体面（合焦する物体面）との間の距離Ｘが記録されている。例えば、フォーカスレンズ位置ＰがＰ１であるときは、撮像面と入射瞳位置との間の距離Ｉ、及び撮像面と物体面との間の距離Ｘとして、Ｉ１、及びＸ１が記録され、フォーカスレンズ位置ＰがＰ２であるときは、撮像面と入射瞳位置との間の距離Ｉ、及び撮像面と物体面との間の距離Ｘとして、Ｉ２及びＸ２が記録されている。あるフォーカスレンズ位置Ｐで合焦した場合、そのフォーカスレンズ位置Ｐに基づいて得られる撮像面と物体面との間の距離Ｘの位置に合焦被写体が存在していることを認識できる。換言すれば、撮像面から合焦被写体までの距離を認識することができる。入射瞳位置は、光学系１１０に含まれるレンズ及び絞り３００の構成とフォーカスレンズ位置に応じて定まる。そのため、撮像面と入射瞳位置との間の距離Ｉについても、光学系１１０に含まれるレンズ及び絞り３００の構成とフォーカスレンズ位置に応じて定まり、フォーカスレンズ位置に応じて予め求めた値が像倍率変化率算出情報テーブルに格納されている。また、撮像面と物体面との間の距離Ｘ、及び横倍率βについても、光学系１１０に含まれるレンズの構成とフォーカスレンズ位置に応じて定まるものであり、フォーカスレンズ位置に応じて予め求めた値が像倍率変化率算出情報テーブルに格納されている。
【００７４】
図１５Ｂは、上述した像倍率変化率の計算処理についてのフローチャートである。コントローラ１８０は、深度合成範囲に含まれる複数のフレーム画像のそれぞれについて、フォーカスレンズ位置Ｐの情報を取得する（Ｓ６１）。各フレーム画像におけるフォーカスレンズ位置Ｐの情報は、各フレーム画像のヘッダ部に格納されており、本ステップにおいて、コントローラ１８０は、各フレーム画像のヘッダ部からフォーカスレンズ位置Ｐの情報を読み出す。
【００７５】
コントローラ１８０は、深度合成範囲に含まれる複数のフレーム画像の各々について、ステップＳ６１で取得した各フレーム画像のフォーカスレンズ位置Ｐの情報に基づいて、像倍率変化率算出情報テーブルから入射瞳位置Ｉ、物体面までの距離Ｘ、及び横倍率βを取得する（Ｓ６２）。
【００７６】
コントローラ１８０は、基準被写体を設定する（Ｓ６３）。コントローラ１８０は、例えば、ユーザによって設定された深度合成範囲内に含まれるフレーム画像における主要な被写体であって、深度合成範囲内のいずれかのフレーム画像で合焦している被写体を基準被写体として設定する（Ｓ６３）。被写体の認識は、顔認識等の公知の物体認識技術を用いればよい。当該被写体について合焦しているか否かは、合焦情報テーブルを参照することで判断できる。
【００７７】
コントローラ１８０は、深度合成範囲内で基準被写体に合焦しているフレーム画像についての物体面までの距離Ｘ及び横倍率βを、それぞれＸ０及びβ０と設定する（Ｓ６４）。
【００７８】
コントローラ１８０は、基準被写体に合焦しているフレーム画像のＸ０、β０と、深度合成範囲内の各フレーム画像のＩ、Ｘ、βとに基づいて、各フレーム画像について像倍率変化率を計算する。
【００７９】
［２−１−２−２−２．フレーム画像の変倍処理］
図１５ＡのステップＳ５２におけるフレーム画像の変倍処理の方法について図１８Ａ、図１８Ｂ、図１８Ｃを参照して説明する。図１８Ａは、像倍率変化を考慮した合成処理の概念を説明した図である。なお、図１８Ａでは、フォーカスレンズ位置が至近端側に近くなるほど像倍率変化率が大きくなる場合を例示している。また、ＣＣＤ１４０の撮像面から被写体（物体面）までの距離に応じて、被写体像の像倍率変化率の曲線の傾きは異なったものとなるが、本実施形態では、ＣＣＤ１４０の撮像面から光軸方向においてある距離の位置に存在する１個の合焦被写体（基準被写体）について、深度合成範囲内に含まれる各フレームの像倍率変化率を求める。ここで、合焦被写体（基準被写体）の像倍率変化率が大きくなることは、合焦被写体（基準被写体）の像倍率が大きくなることでもある。
【００８０】
そして、深度合成範囲内に含まれる複数のフレーム画像のうち最も大きい像倍率変化率（像倍率）のフレーム画像を基準として、残りのフレーム画像の各々を、各々の像倍率変化率に応じて拡大する。図１８Ａの場合、深度合成範囲内に含まれる複数のフレーム画像のうち最も大きい像倍率変化率のフレーム画像は、深度合成範囲内において最も至近端側のフォーカスレンズ位置Prnに対応するフレーム画像であり、その像倍率変化率はZrnである。そこで、図１８Ｂに示すように、このフォーカスレンズ位置Prnに対応するフレーム画像Ｆｒを基準として、残りのフレーム画像Ｆｒの各々を、各々を撮像したときのフォーカスレンズ位置Ｐjにおける像倍率変化率Zjに応じた変倍率Ｅjに基づいて拡大する。
【００８１】
深度合成範囲内に含まれるフレーム画像の変倍率Ｅjは数式２で求めることができる。
（式２）  Ej＝Zrn／Zj  
【００８２】
これにより、深度合成範囲内に含まれる複数のフレーム画像における被写体像の高さ（大きさ）を同じにすることができる。
【００８３】
上記の変倍処理によると、基準とするフレーム画像よりも小さい像倍率のフレーム画像、換言すれば、基準とするフレーム画像よりも画角が大きいフレーム画像を拡大するので、基準とするフレーム画像以外のフレーム画像には、基準とするフレーム画像中の全ての被写体が含まれている。そのため、深度合成処理を行う場合に、画像内容の不足が生じにくく、品位のよい合成画像を生成することができる。
【００８４】
なお、深度合成範囲内に含まれる複数のフレーム画像のうち最も小さい像倍率変化率のフレーム画像を基準として、残りのフレーム画像の各々を、各々の像倍率変化率に応じて縮小してもよい。図１８Ａの場合、深度合成範囲内に含まれる複数のフレーム画像のうち最も小さい像倍率のフレーム画像は、深度合成範囲内において最も無限端側のフォーカスレンズ位置Prfに対応するフレーム画像であり、その像倍率変化率はZrfである。そこで、図１８Ｃに示すように、このフォーカスレンズ位置Prfに対応するフレーム画像Ｆｒを基準として、残りのフレーム画像Ｆｒの各々を、各々を撮像したときのフレーム画像の像倍率変化率Ｚjに応じた変倍率で縮小する。
【００８５】
この場合の深度合成範囲内に含まれるフレーム画像の変倍率Ｅjは数式３で求めることができる。
（式３）  Ej＝Zrf／Zj
【００８６】
この変倍処理によると、フレーム画像を縮小して合成するので、画像の解像度が低下しにくい。そのため、品位のよい深度合成画像を生成することができる。
【００８７】
［２−１−２−２−３．合成処理］
図１５ＡのステップＳ５３において、コントローラ１８０は、変倍処理することで撮像画像上における被写体の大きさ（高さ）がほぼ同じとなった複数の変倍フレーム画像を利用して、深度のより深い合成画像を生成する。そのため、生成された合成画像に含まれる被写体に輪郭のがたつき等が生じることが抑制され、合成画像において良好な品質が得られる。
【００８８】
［３．効果、等］
本実施形態のデジタルカメラ１００（撮像装置の一例）は、被写体像を撮像して画像データを生成するＣＣＤ１４０（撮像素子の一例）と、ＣＣＤ１４０の撮像面に被写体像を結像させるとともに、フォーカスレンズ位置を光軸に沿って変化させたときに撮像面に結像される被写体像の像倍率が変化する光学系１１０を有する。また、デジタルカメラ１００は、光学系１１０のフォーカスレンズ位置を異なる複数の位置に設定してそれぞれの位置においてＣＣＤ１４０に被写体像を撮像させることで複数の画像データを生成させ、生成された複数の画像データに基づいて被写界深度のより深い静止画データを生成する画像処理部１６０及びコントローラ１８０（制御部の一例）を備える。コントローラ１８０は、静止画データを生成する際、複数の画像データのそれぞれについて、撮像時のフォーカスレンズ位置に基づいて光学系１１０の入射瞳位置を求め、求めた入射瞳位置に基づいて被写体像の像倍率変化率を求め、求めた像倍率変化率に基づいて、各画像データが示す撮像画像上における被写体像の大きさが複数の画像データ間で互いに同じになるように、各撮像画像の大きさを変倍し、変倍した複数の画像データに基づいて被写界深度のより深い静止画データを生成するように画像処理部１６０を制御する。
【００８９】
本開示のデジタルカメラ１００によれば、各画像データが示す撮像画像上における被写体像の大きさが複数の画像データ間で互いに同じとなるように、各画像データが示す撮像画像の大きさが変倍され、変倍された複数の画像データに基づいて被写界深度のより深い静止画データが生成される。よって、光学系１１０のフォーカスレンズ位置を変化させたときに撮像面に結像される被写体像の像倍率が変化する場合でも、高品位なより深い被写界深度の合成画像を生成できる。
【００９０】
また、コントローラ１８０は、複数の画像データを変倍する際、像倍率変化率が最も大きい画像データを基準として、残りの画像データを拡大方向に変倍する。これによれば、基準の画像データに含まれている画像内容は、拡大方向に変倍対象の画像に含まれていることとなる。そのため、深度合成処理において必要な画像内容に不足が生じにくく、品位のよい深度合成画像を生成することができる。
【００９１】
また、コントローラ１８０は、複数の画像データを変倍する際、像倍率変化率が最も小さい画像データを基準として、残りの画像データを縮小方向に変倍してもよい。これによれば、深度合成画像の解像度が低下しにくい。そのため、品位のよい深度合成画像を生成することができる。
【００９２】
（実施形態１の変形例）
上記の説明では、図１７の像倍率変化率算出情報テーブルにおいて横倍率βを規定し、横倍率βを用いて像倍率変化Ｚ（＝Ｈ／Ｈ０）を求めた。しかし、図１７の像倍率変化率算出情報テーブルにおいて横倍率βに代えて画角θを規定することで、画角θを用いて像倍率変化Ｚ（＝Ｈ／Ｈ０）を求めてもよい。この場合、図１５ＢのフローチャートのステップＳ６２、Ｓ６４、Ｓ６５において、横倍率β及びβ０に代えて、図１７の像倍率変化率算出情報テーブルに規定された画角θ及びθ０とする。
本変形例において、図１６の物体面の高さｙ０は、画角θ０を用いて、
ｙ０／２＝（Ｘ０−Ｉ０）＊ｔａｎ（θ０／２）
と求められる。
また、物体面の高さｙ０´は、画角θを用いて、
ｙ０´／２＝（（Ｘ０−Ｉ）／（Ｘ−Ｉ））＊ｙ／２
と求められる。
ここで、
ｙ／２＝（Ｘ−Ｉ）＊ｔａｎ（θ／２）
であるので、
ｙ０´／２＝（Ｘ０−Ｉ）＊ｔａｎ（θ／２）
と求められる。したがって、像倍率変化率Ｚは画角を用いて次のように求めることができる。
Ｚ＝Ｈ／Ｈ０
＝ｙ０／ｙ０´
＝（（Ｘ０−Ｉ０）＊ｔａｎ（θ０／２））／（（Ｘ０−Ｉ）＊ｔａｎ（θ／２））
（式１ａ）  Ｚ＝（（Ｘ０−Ｉ０）＊ｔａｎ（θ０／２））／（（Ｘ０−Ｉ）＊ｔａｎ（θ／２））
【００９３】
以上のように、本変形例のデジタルカメラ１００（撮像装置の一例）は、被写体像を撮像して画像データを生成するＣＣＤ１４０（撮像素子の一例）と、ＣＣＤ１４０の撮像面に被写体像を結像させるとともに、フォーカスレンズ位置を光軸に沿って変化させたときに撮像面に結像される被写体像の像倍率が変化する光学系１１０を有する。また、デジタルカメラ１００は、光学系１１０のフォーカスレンズ位置を異なる複数の位置に設定してそれぞれの位置においてＣＣＤ１４０に被写体像を撮像させることで複数の画像データを生成させ、生成された複数の画像データに基づいて被写界深度のより深い静止画データを生成する画像処理部１６０及びコントローラ１８０（制御部の一例）を備える。コントローラ１８０は、静止画データを生成する際、複数の画像データのそれぞれについて、撮像時のフォーカスレンズ位置に基づいて光学系１１０の画角を求め、求めた画角に基づいて被写体像の像倍率変化率を求め、求めた像倍率変化率に基づいて、各画像データが示す撮像画像上における被写体像の大きさが複数の画像データ間で互いに同じになるように、各撮像画像の大きさを変倍し、変倍した複数の画像データに基づいて被写界深度のより深い静止画データを生成するように画像処理部１６０を制御する。
【００９４】
本変形例においても同様に、光学系１１０のフォーカスレンズ位置を変化させたときに撮像面に結像される被写体像の像倍率が変化する場合でも、高品位なより深い被写界深度の合成画像を生成できる。
【００９５】
（実施の形態２）
実施の形態２に係るデジタルカメラ（撮像装置の一例）における深度合成処理について図１９Ａ、図１９Ｂを参照して説明する。
【００９６】
実施形態１におけるフレーム画像の変倍処理では、ＣＣＤ１４０の撮像面から光軸方向においてある距離の位置に存在している代表的な１個の合焦被写体に関して像倍率変化率を求めて、変倍処理を行った。しかし、図１９Ａに示すように、フレーム画像内に基準被写体となり得る２つの合焦被写体Ｓ１、Ｓ２が存在し、かつこれらの被写体Ｓ１、Ｓ２に対する合焦位置（フォーカスレンズ位置）が異なる場合がある。本実施形態では、このような場合においても品位のよい合成画像を生成可能な変倍方法を提供する。
【００９７】
図１９Ｂは、実施の形態２におけるデジタルカメラ１００での深度合成処理において、深度合成範囲内の異なる２個の焦点位置にそれぞれ合焦被写体Ｓ１、Ｓ２が存在するときの合成処理の概念を説明した図である。本実施形態では、深度合成範囲内に合焦距離が異なる２つの合焦被写体Ｓ１、Ｓ２が存在するものとしているため、それぞれに対応して２本の像倍率変化曲線が存在する。図１９Ｂにおいて、近側の被写体Ｓ１は深度合成範囲の最至近端側のフォーカスレンズ位置Prnで合焦し、遠側の被写体Ｓ２は最無限端側のフォーカスレンズ位置Prfで合焦している。深度合成範囲内には、異なるフォーカスレンズ位置で撮像された複数枚のフレーム画像が存在する。この場合、深度合成処理を、最至近端側のフォーカスレンズ位置Prnと、最無限端側のフォーカスレンズ位置Prfとの中間のフォーカスレンズ位置Pmidを基準とする仮想的な像倍率変化曲線を求める。すなわち、像倍率変化曲線をあらわす数式１の撮影距離Ｘ０、横倍率β０として、フォーカスレンズ位置Pmidに対応する撮影距離Ｘmid、横倍率βmidを用いる。これは、図１６及びステップＳ６３で説明した基準被写体として、フォーカスレンズ位置Pmidに当該フォーカスレンズ位置Pmidで合焦する被写体が存在するものと仮定し、当該仮想的な被写体を基準被写体として設定することを意味する。そして、この仮想的な像倍率変化曲線に基づいて、深度合成範囲内の各フレーム画像の像倍率変化率を求める。例えば、深度合成範囲内に、異なるフォーカスレンズ位置で撮像された９枚のフレーム画像が存在する場合、中間のフォーカスレンズ位置Pmidは、５枚目のフレーム画像のフォーカスレンズ位置となる。そして、実施の形態１で説明した方法を用いて、最至近端側のフォーカスレンズ位置Prnに対応するフレーム画像を基準として、深度合成範囲内の残りのフレーム画像の各々を、各々のフレーム画像の像倍率変化率Ziに応じて拡大方向に変倍する。なお、最無限端側のフォーカスレンズ位置Prfに対応するフレーム画像を基準として、深度合成範囲内の残りのフレーム画像の各々を、各々のフレーム画像の像倍率変化率Ziに応じて縮小方向に変倍してもよい。
【００９８】
本実施形態のデジタルカメラ１００（撮像装置の一例）では、被写体として、第１のフォーカスレンズ位置Ｐｒｎで合焦する第１の被写体Ｓ１と、第２のフォーカスレンズ位置Ｐｒｆで合焦する第２の被写体Ｓ２とが存在する場合、コントローラ１８０（制御部）は、第１のフォーカスレンズ位置Ｐｒｎと第２のフォーカスレンズ位置Ｐｒｆとの中間のフォーカスレンズ位置Ｐｍｉｄを基準として像倍率変化率を求める。これにより、異なるフォーカスレンズ位置で合焦する２つの被写体Ｓ１、Ｓ２が存在する場合において、両方の被写体Ｓ１、Ｓ２における像倍率の差による合成時の誤差を極力抑制できる。そのため、品位のよい合成画像を生成できる。
【００９９】
なお、実際の撮影環境では、深度合成範囲内に代表的な合焦被写体が１個だけ存在する場合や、上述のように合焦被写体が２個存在する場合があるが、深度合成範囲内に代表的な合焦被写体が１個だけ存在する場合は、当該１個の合焦被写体に関して実施の形態１同様の方法で像倍率変化率を求めて、変倍処理を行えばよい。また、２個の被写体が存在する場合は、当該実施の形態２で説明した方法により像倍率変化率を求めて、変倍処理を行えばよい。この場合において、深度合成範囲内の異なる距離の位置に存在する合焦被写体の数は、顔認識や物体認識等の画像認識技術を用いて求めることができる。
【０１００】
（実施の形態３）
［１．デジタルカメラの構成］
実施の形態３に係るデジタルカメラ（撮像装置の一例）の電気的構成について図２０を用いて説明する。図２０は、デジタルカメラ１００の構成を示すブロック図である。本実施の形態のデジタルカメラ１００は、レンズ交換可能な一眼タイプのデジタルカメラであり、カメラ本体１００Ａと交換レンズ１００Ｂとを含む。
【０１０１】
カメラ本体１００Ａは、実施の形態１におけるデジタルカメラ１００と同様のシャッタ部１３０、ＣＣＤ１４０、Ａ／Ｄコンバータ１５０、画像処理部１６０、バッファ１７０、カードスロット１９０、メモリカード２００、操作部材２１０、表示モニタ２２０、及び内蔵メモリ２４０を有する。また、カメラ本体１００Ａは、カメラ本体コントローラ１８０Ａ、及び通信Ｉ／Ｆを有する。カメラ本体コントローラ１８０Ａは、カメラ本体１００Ａの動作を制御するとともに、交換レンズ１００Ｂのレンズコントローラ４１０と通信インタフェース２５０，４３０を介して通信を行い、交換レンズ１００Ｂの動作を制御する。
【０１０２】
交換レンズ１００Ｂは、実施の形態１におけるデジタルカメラ１００と同様の光学系１１０、レンズ駆動部１２０、及び絞り３００を有する。また、交換レンズ１００Ｂは、レンズコントローラ４１０、内蔵メモリ４２０、及び通信インタフェース２５０を有する。レンズコントローラ４１０は、カメラ本体コントローラ１８０Ａと通信インタフェース２５０，４３０を介して通信を行って、レンズ駆動部１２０を制御する。
【０１０３】
カメラ本体コントローラ１８０Ａは、カメラ本体１００Ａに装着されている交換レンズ１００Ｂの像倍率変化の大きさを示す情報に基づいて、深度合成処理の際に深度合成範囲内のフレーム画像に変倍処理を行うか否かを決定する。交換レンズ１００Ｂの像倍率変化の大きさを示す情報とは、フォーカスレンズを、移動可能な最も至近端側のフォーカスレンズ位置から、移動可能な最も無限端側のフォーカスレンズ位置まで移動させたときに、像倍率変化率が所定値Zp以上となるか否かを示す情報である。像倍率変化率（像倍率）は、被写体が存在する位置までの距離に応じて変化するため、所定値Zpは、例えば、像倍率変化率が最大となる被写体位置に基づいて設定する。
【０１０４】
図２１は、交換レンズの種類により像倍率変化率が異なることを説明した図である。像倍率の変化（像倍率変化率）は、ＣＣＤ１４０の撮像面上に等倍の被写体像を形成可能なマクロレンズにおいて特に大きい。また、望遠レンズにおいても像倍率の変化が大きくなる場合がある。そこで、像倍率変化率の最大値が所定値Zp以上となるレンズを、深度合成処理時に変倍処理を行うべきレンズとする。所定値Zpは、例えば１．２である。像倍率変化率の最大値が１．２以下であれば、変倍処理を行わずに深度合成処理を行っても、合成画像において破綻が生じにくく、見栄えのよい画像が得られやすいからである。
【０１０５】
カメラ本体１００Ａの内蔵メモリ２４０には、深度合成処理時に変倍処理を行うべき交換レンズ１００Ｂの品番を記録した変倍処理対象レンズテーブルが格納されている。変倍処理対象レンズテーブルに登録されている交換レンズ１００Ｂの品番は、交換レンズ１００Ｂの像倍率変化の大きさを示す情報の一例である。図２２は、変倍処理対象レンズテーブルの例を示した図である。図２２の例では、変倍処理対象レンズの品番として、一例として、H-H001A、H-H002A、H-H003Aが記録されている。また、カメラ本体１００Ａの内蔵メモリ２４０には、図２４に示すように、これらの変倍処理対象レンズ用の像倍率変化率算出情報テーブルがそれぞれ格納されている。これらの像倍率変化率算出情報テーブルにはそれぞれ、各交換レンズについて、実施形態１の図１７の像倍率変化率算出情報テーブルと同様の情報が格納されている。
【０１０６】
また、交換レンズ１００Ｂの内蔵メモリ４２０には、自己の品番を示すデータが格納されている。カメラ本体コントローラ１８０Ａは、交換レンズ１００Ｂが装着されたときに、装着された交換レンズ１００Ｂの品番をレンズコントローラ４１０を介して取得する。カメラ本体コントローラ１８０Ａは、深度合成処理時、装着されている交換レンズ１００Ｂの品番が変倍処理対象レンズテーブルに登録されている場合、フレーム画像に対して変倍処理を行う。
【０１０７】
図２４は、実施の形態３における合成処理を示すフローチャートである。本実施形態では、合成処理の開始時、装着された交換レンズ１００Ｂが変倍処理対象レンズであるか否かを変倍処理対象レンズテーブルを参照して判断する（Ｓ５０）。そして、装着された交換レンズ１００Ｂが変倍処理対象レンズである場合（Ｓ５０でＹＥＳ）、装着されているレンズの品番に対応する像倍率変化率算出情報テーブルを読み込んで、実施形態１と同様のステップＳ５１〜Ｓ５３の処理を行う。
【０１０８】
以上のように、本実施形態のデジタルカメラ１００（撮像装置の一例）は、カメラ本体と、光学系１１０としての、カメラ本体１００Ａに着脱可能な交換レンズ１００Ｂとを有する。カメラ本体１００Ａは、コントローラ１８０（制御部）と、内蔵メモリ２４０（記憶部）とを備える。内蔵メモリ２４０は、各交換レンズ１００Ｂについて、フォーカスレンズ位置を所定範囲内で変化させたときにおける像倍率変化率が所定値Zp以上であるか否かを示す像倍率変化の大きさを示す情報を格納している。コントローラ１８０は、カメラ本体１００Ａに装着されている交換レンズ１００Ｂについての像倍率変化の大きさを示す情報を取得し、当該情報が、像倍率変化率が所定値Zp以上であることを示している場合に、複数の画像データに対する変倍の処理を行う。これにより、像倍率変化の大きい交換レンズについてのみ像倍率の変化を考慮した合成処理を行うことで、デジタルカメラ１００における画像データに対する変倍処理や深度合成処理の負荷を軽減することができる。
【０１０９】
本実施形態においても、実施形態１の変形例同様に、像倍率変化率算出情報テーブルにおいて横倍率βに代えて画角θを規定することで、画角θを用いて像倍率変化Ｚ（＝Ｈ／Ｈ０）を求めてもよいことは言うまでもない。
【０１１０】
（実施の形態４）
撮像装置において利用される実際の光学系では、歪曲収差等の収差が存在する。特に、歪曲収差は、ＣＣＤ１４０の撮像面上に形成される被写体像の像倍率（像高）を大きくしたり、小さくしたりする。そのため、実施の形態１〜３における変倍処理において、さらに、歪曲収差等の収差による像倍率の変化を考慮して、合成対象のフレーム画像の変倍を行ってもよい。
【０１１１】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【０１１２】
（１）上記の実施の形態３では、像倍率変化率算出情報テーブルは、カメラ本体１００Ａの内蔵メモリ２４０に格納されていたが、交換レンズ１００Ｂの内蔵メモリ４２０に格納されてもよい。この場合、カメラ本体１００Ａに交換レンズ１００Ｂが装着されたとき、あるいは深度合成処理を行うとき等に、カメラ本体１００Ａのカメラ本体コントローラ１８０Ａが、装着された交換レンズ１００Ｂの内蔵メモリ４２０から、像倍率変化率算出情報テーブルの内容を取得するようにすればよい。
【０１１３】
（２）上記の実施の形態３では、交換レンズ１００Ｂの像倍率変化の大きさを示す情報は、変倍処理対象レンズテーブルに、深度合成処理時に変倍処理を行うべき交換レンズ１００Ｂの品番として記録されており、カメラ本体コントローラ１８０Ａは、交換レンズ１００Ｂから取得した品番を示す情報に基づいて、交換レンズ１００Ｂが、変倍処理を行うべき交換レンズであるか否かを判断する。しかし、交換レンズ１００Ｂの像倍率変化の大きさを示す情報は、例えば、深度合成処理時に変倍処理を行うべき交換レンズ１００Ｂであることを示すフラグであってもよく、当該フラグを交換レンズ１００Ｂの内蔵メモリ４２０に格納しておいてもよい。この場合、カメラ本体１００Ａに交換レンズ１００Ｂが装着されたとき、あるいは深度合成処理を行うとき等に、カメラ本体コントローラ１８０Ａが、交換レンズ１００Ｂの内蔵メモリ４２０からフラグを取得し、フラグに基づいて、交換レンズ１００Ｂが変倍処理を行うべき交換レンズであるか否かを判断してもよい。
【０１１４】
（３）上記の実施形態では、マルチフォーカス動画を構成するフレーム画像を用いて深度合成を行ったが、動画を構成するフレーム画像ではなく、連写撮影により生成された複数の静止画を用いて深度合成を行ってもよい。
【０１１５】
（４）上記の実施形態では、撮像装置の一例としてデジタルカメラを用いて説明したが、撮像装置はこれに限定されない。本開示の思想は、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。
【０１１６】
（５）上記の実施形態では、撮像素子をＣＣＤで構成したが、撮像素子はこれに限定されない。撮像素子はＮＭＯＳイメージセンサやＣＭＯＳイメージセンサで構成してもよい。
（６）上記の実施形態では、図１６に示したように、主光線による入射瞳位置で決まる画角について説明したが、画角はこれに限定されない。複雑さを許容すれば、図２５に示すように、上側光線による上側光線を用いた入射瞳位置相当で決まる画角θUでも、下側光線による下側光線を用いた入射瞳位置相当で決まる画角θLをもとに像倍率を求めてもよい。また、主光線、上側光線、下側光線のそれぞれの光線の範囲内で決まる画角（θU〜θL）でもよい。
【０１１７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１８】
本開示は、静止画または動画を撮影できる撮像装置に対して適用可能である。具体的には、デジタルカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ、監視カメラ等の静止画または動画が撮影できる種々の撮像装置に対して適用することができる。
【符号の説明】
【０１１９】
１００  デジタルカメラ
１００Ａ  カメラ本体
１００Ｂ  交換レンズ
１１０  光学系
１１１  フォーカスレンズ
１１２  ズームレンズ
１１３  像振れ補正レンズ
１２０  レンズ駆動部
１３０  シャッタ部
１４０  ＣＣＤ
１５０  Ａ／Ｄコンバータ
１６０  画像処理部
１７０  バッファ
１８０  コントローラ
１８０Ａ  カメラ本体コントローラ
１９０  カードスロット
２００  メモリカード
２１０  操作部材
２２０  表示モニタ
２４０  内蔵メモリ
２５０  通信インタフェース
３００  絞り部
４１０  レンズコントローラ
４２０  内蔵メモリ
４３０  通信インタフェース
【図１】
2018046535.tif 000003
【図２】
2018046535.tif 000004
【図３】
2018046535.tif 000005
【図４】
2018046535.tif 000006
【図５】
2018046535.tif 000007
【図６】
2018046535.tif 000008
【図７】
2018046535.tif 000009
【図８】
2018046535.tif 000010
【図９】
2018046535.tif 000011
【図１０Ａ】
2018046535.tif 000012
【図１０Ｂ】
2018046535.tif 000013
【図１０Ｃ】
2018046535.tif 000014
【図１１】
2018046535.tif 000015
【図１２】
2018046535.tif 000016
【図１３】
2018046535.tif 000017
【図１４】
2018046535.tif 000018
【図１５Ａ】
2018046535.tif 000019
【図１５Ｂ】
2018046535.tif 000020
【図１６】
2018046535.tif 000021
【図１７】
2018046535.tif 000022
【図１８Ａ】
2018046535.tif 000023
【図１８Ｂ】
2018046535.tif 000024
【図１８Ｃ】
2018046535.tif 000025
【図１９Ａ】
2018046535.tif 000026
【図１９Ｂ】
2018046535.tif 000027
【図２０】
2018046535.tif 000028
【図２１】
2018046535.tif 000029
【図２２】
2018046535.tif 000030
【図２３】
2018046535.tif 000031
【図２４】
2018046535.tif 000032
【図２５】
2018046535.tif 000033