(57)【要約】【課題】表示や記憶に最適な画像を出力することが可能な撮像装置を提供する。【解決手段】撮像装置は、撮像光学系を透過した被写体からの光を撮像し信号を出力する撮像部と、撮像部での撮像により出力された信号から撮像光学系の光軸方向の複数の位置における被写体の複数の画像を生成し、生成された被写体の複数の画像のうちの一部の画像から表示部に表示する表示画像を生成する画像生成部と、撮像光学系の合焦位置を調整するフォーカスレンズの移動させる駆動部を制御する制御部と、を有し、制御部は、フォーカスレンズの移動後の画像生成部が前記被写体の画像を生成できる撮像光学系の光軸方向の位置の範囲に表示画像を生成した一部の画像の位置が含まれるようにフォーカスレンズを移動させる駆動部を制御する。【選択図】図１
2017181938.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を透過した被写体からの光を撮像し信号を出力する撮像部と、
前記撮像部での撮像により出力された前記信号から前記撮像光学系の光軸方向の複数の位置における前記被写体の複数の画像を生成し、生成された前記被写体の複数の画像のうちの一部の画像から表示部に表示する表示画像を生成する画像生成部と、
前記撮像光学系の合焦位置を調整するフォーカスレンズの移動させる駆動部を制御する制御部と、
を有し、
前記制御部は、前記フォーカスレンズの移動後の前記画像生成部が前記被写体の画像を生成できる前記撮像光学系の光軸方向の位置の範囲に前記表示画像を生成した前記一部の画像の位置が含まれるように前記フォーカスレンズを移動させる駆動部を制御する撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記画像生成部により生成された前記被写体の複数の画像のうちの少なくとも一部の画像のコントラストを検出する検出部を有し、
前記制御部は、前記検出部で検出された前記画像のコントラストに基づいて前記駆動部を制御する請求項１記載の撮像装置。
【請求項３】
請求項２記載の撮像装置において、
前記検出部により検出された前記被写体の複数の画像のうちの少なくとも一部の画像のコントラストから焦点評価値を演算する演算部を有し、
前記画像生成部は、前記被写体の複数の画像のうちの前記焦点評価値が閾値以上である少なくとも一部の画像から前記表示部に表示する前記表示画像を生成する撮像装置。
【請求項４】
請求項３記載の撮像装置において、
前記制御部は、前記演算部で演算された前記焦点評価値に基づいて、前記フォーカスレンズが移動する前記撮像光学系の光軸の方向を設定して前記駆動部を制御する撮像装置。
【請求項５】
請求項３または４に記載の撮像装置において、
前記画像生成部は、前記被写体の複数の画像のうちの前記焦点評価値が最大である画像から前記表示画像を生成する撮像装置。
【請求項６】
請求項１から５の何れか一項に記載の撮像装置において、
前記駆動部に駆動されて前記フォーカスレンズが移動した後に、
前記撮像部による、前記撮像及び前記信号の出力と、
前記画像生成部による、前記信号からの前記被写体の複数の画像の生成および前記表示画像の生成と、
前記制御部による前記駆動部の制御による、前記表示画像を生成した前記一部の画像の位置が、前記フォーカスレンズの移動後の前記範囲に含まれるような前記フォーカスレンズの移動と、
を繰り返して行う撮像装置。
【請求項７】
請求項１から６の何れか一項に記載の撮像装置において、
前記表示画像を表示する前記表示部を有する撮像装置。
【請求項８】
請求項１から７の何れか一項に記載の撮像装置において、
前記撮像部により出力された前記信号を記録媒体に記録する記録制御部を有する撮像装置。
【請求項９】
請求項１から８の何れか一項に記載の撮像装置において、
前記撮像部は、複数のマイクロレンズと、前記マイクロレンズを通過した前記被写体からの光を受光する前記マイクロレンズ毎に複数設けられた受光部とを有し、前記複数の受光部から前記信号が出力され、
前記画像生成部は、１回の撮像により前記撮像部から出力された前記信号により前記被写体の複数の画像を生成する撮像装置。
【請求項１０】
請求項３から請求項５までのいずれか一項に記載の撮像装置において、
前記画像生成部は、前記信号から前記撮像光学系の光軸方向の第１の間隔の位置毎に前記被写体の複数の画像を生成し、その後、前記焦点評価値により、前記信号から前記第１の間隔より狭い第２の間隔の位置毎に前記被写体の複数の画像を生成する撮像装置。
【請求項１１】
請求項１から請求項８までのいずれか一項に記載の撮像装置において、
前記撮像部は、前記撮像光学系が有するフォーカスレンズがそれぞれ異なる位置にあるときに前記被写体からの光を撮像することにより、前記光軸方向の複数の位置における前記被写体の複数の画像にそれぞれ対応する複数の信号を出力し、
前記画像生成部は、前記複数の信号によりそれぞれ前記被写体の複数の画像を生成する撮像装置。
【請求項１２】
請求項１１に記載の撮像装置において、
前記撮像部による撮像に際し、前記撮像光学系の開口径を第１開口径と前記第１開口径より小さい第２開口径との間で切り替える切替部を有する撮像装置。
【請求項１３】
請求項１２に記載の撮像装置において、
前記画像生成部は、前記撮像光学系の開口径が前記第２開口径であるときの信号による画像から前記表示画像を生成しない撮像装置。
【請求項１４】
請求項１から請求項１３までのいずれか一項に記載の撮像装置において、
前記画像生成部は、前記撮像光学系の光学特性により前記信号から前記被写体の複数の画像を生成する前記撮像光学系の光軸方向の位置の範囲を設定する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
コントラストＡＦを行うリフォーカスカメラが知られている（特許文献１）。コントラストＡＦではウォブリングを行うことによりスルー画の画面が変動するという問題がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１６１７８５号公報
【発明の概要】
【０００４】
本発明の第１の態様によると、撮像装置は、撮像光学系を透過した被写体からの光を撮像し信号を出力する撮像部と、撮像部での撮像により出力された信号から撮像光学系の光軸方向の複数の位置における被写体の複数の画像を生成し、生成された被写体の複数の画像のうちの一部の画像から表示部に表示する表示画像を生成する画像生成部と、撮像光学系の合焦位置を調整するフォーカスレンズの移動させる駆動部を制御する制御部と、を有し、制御部は、フォーカスレンズの移動後の画像生成部が前記被写体の画像を生成できる撮像光学系の光軸方向の位置の範囲に表示画像を生成した一部の画像の位置が含まれるようにフォーカスレンズを移動させる駆動部を制御する。
【図面の簡単な説明】
【０００５】
【図１】撮像装置の構成を模式的に示す断面図
【図２】撮像素子の構成を模式的に示す斜視図
【図３】合成対象の像面上の光点からの光束と撮像素子とを模式的に示した断面図
【図４】撮像画面に配置された焦点検出領域を示す平面図
【図５】動画撮影処理のフローチャート
【図６】１フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図
【図７】２フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図
【図８】３フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図
【図９】４フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図
【図１０】５フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図
【図１１】動画撮影処理のフローチャート
【発明を実施するための形態】
【０００６】
（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置１の構成を模式的に示す断面図である。撮像装置１は、撮像光学系１１、撮像素子１２、表示部１３、制御部（画像生成部、検出部、演算部、記録制御部）１４、ＲＯＭ１５、および絞り１７を備える。
【０００７】
撮像光学系１１は、レンズ１１ａおよびフォーカスレンズ１１ｂを含み、被写体像を結像させる。フォーカスレンズ１１ｂは、不図示のアクチュエータにより光軸Ｏの方向に駆動可能に構成される。なお、図１では撮像光学系１１がレンズ１１ａおよびフォーカスレンズ１１ｂから構成されるように簡略化して図示しているが、撮像光学系１１が他のレンズを含んでもよいし、撮像光学系１１が複数のフォーカスレンズ１１ｂから構成されるようにしてもよい。
【０００８】
撮像光学系１１の開口は、絞り１７により規制される。絞り１７は、いわゆる虹彩絞りである。絞り１７は、不図示のアクチュエータにより開口径を変位可能に構成される。なお、図１では絞り１７がレンズ１１ｂの後ろ側に設けられているが、絞り１７はレンズ１１ａとレンズ１１ｂとの間や、レンズ１１ａの前側など、種々の位置に設けることができる。
【０００９】
撮像素子１２は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子である。撮像素子１２は、撮像光学系１１を通過した被写体光を光電変換した光電変換信号（撮像信号）を出力する。表示部１３は、例えば液晶パネル等による表示画面を有する表示装置である。表示部１３は、例えば撮像した画像や設定メニュー等を表示する。ＲＯＭ１５は、不揮発性の記憶媒体である。ＲＯＭ１５には、制御プログラムなどの種々のデータが記憶されている。
【００１０】
制御部１４は、ＣＰＵおよび周辺回路等を含む。制御部１４は、ＲＯＭ１５から制御プログラムを読み込んで実行することにより、撮像装置１の各部を制御する。なお、制御プログラムを読み込んで実行する制御部１４の代わりに、同等の機能を電子回路等により構成した制御部を用いてもよい。
【００１１】
撮像装置１は、メモリカード１６を着脱可能な不図示の着脱機構を有する。メモリカード１６は、可搬性の記憶媒体である。制御部１４は、撮像素子１２により出力された撮像信号に基づく動画像データ（後述）を、メモリカード１６に記憶する。
【００１２】
図２は、撮像素子１２の構成を模式的に示す斜視図である。撮像素子１２は、マイクロレンズアレイ１２１および受光素子アレイ１２２を有する。マイクロレンズアレイ１２１は、複数のマイクロレンズ１２３を有する。複数のマイクロレンズ１２３は、円形形状を有し、二次元状に正方配列される。受光素子アレイ１２２は、複数の受光素子１２４を有する。複数の受光素子１２４は、受光素子アレイ１２２の受光面に二次元状に正方配列される。
【００１３】
撮像光学系１１（図１）を通過した被写体からの光線は、複数のマイクロレンズ１２３のいずれかを通過して、複数の受光素子１２４のいずれかに入射する。受光素子１２４は、マイクロレンズ１２３の焦点位置近傍に配置される。換言すると、受光素子１２４は、マイクロレンズ１２３の主平面からマイクロレンズ１２３の焦点距離ｆだけ離れた位置の近傍に配置される。
【００１４】
複数の受光素子１２４と複数のマイクロレンズ１２３には、互いに対応関係が存在する。具体的には、１つのマイクロレンズ１２３により被覆される領域１２５に配置された複数の受光素子１２４には、そのマイクロレンズ１２３を通過した光束のみが入射する。
【００１５】
（画像合成処理の説明）
制御部１４が実行する画像合成処理について説明する。本実施の形態における画像合成処理は、撮像素子１２により出力された撮像信号から、光軸方向の所定範囲内における任意像面の画像（いわゆるリフォーカス画像）を合成する機能である。リフォーカス画像の合成方法の例を、図３を参照して説明する。
【００１６】
図３は、合成対象の像面Ｓ上の光点Ｐからの光束と撮像素子１２とを模式的に示した断面図である。図３において、合成対象の像面Ｓ上に設けた光点Ｐを考える。この光点Ｐから撮像素子１２に向かう光の広がり角θは、撮像光学系１１の瞳の大きさ（すなわち撮像光学系１１の絞り値）により規定される。マイクロレンズ１２３の絞り値は撮像光学系１１の絞り値と同じかそれより小さくなるように構成されている。従って、この光点Ｐから出射し、あるマイクロレンズ１２３に入射した光束は、そのマイクロレンズ１２３により被覆されている領域の外には広がらない。
【００１７】
ここで、図３に示すように、光点Ｐからの光束が５つのマイクロレンズ１２３（１）〜１２３（５）に入射するとすれば、これらのマイクロレンズ１２３（１）〜１２３（５）に入射した光束３０（１）〜３０（５）の受光面上における入射光量（受光素子１２４（１）〜１２４（５）の光電変換出力）を積算することにより、光点Ｐからの瞳に制限された全入射光量が得られる。すなわち、合成対象の像面Ｓ上の光点Ｐ（合成対象の画素）の光量が得られることになる。
【００１８】
制御部１４は、指定された像面Ｓ上に複数の光点Ｐを設定し、各光点Ｐについて、その光点Ｐからの光束が入射するマイクロレンズ１２３を特定する。制御部１４は、特定した各マイクロレンズ１２３について、光点Ｐからの光束がどの受光素子１２４に入射するかを特定する。制御部１４は、特定した受光素子１２４の光電変換出力を積算することにより、光点Ｐの画素値を算出する。
【００１９】
以上の処理によって、合成対象として指定された像面Ｓの画像が合成される。制御部１４は、１回の撮像によって撮像素子１２から出力される撮像信号に対して、複数の異なる像面の画像を合成することができる。すなわち、１回の撮像結果から複数像面の画像を得ることができる。
【００２０】
ところで、以上の処理により一定の解像度を保ったまま好適に合成可能な像面の位置には、一定の制約がある。例えば、マイクロレンズ１２３の頂点近傍の像面を合成すると、他の位置の像面を合成した場合に比べて、解像度が低下することが知られている。このように、合成可能な像面位置には制約がある。以下の説明では、解像度よく合成可能な像面の範囲を合成可能範囲と称し、ある像面が合成可能範囲から外れていることを、その像面が合成不可能であると表記する。
【００２１】
フォーカスレンズ１１ｂが光軸方向に移動すると、合成可能範囲はそれに合わせて移動する。また、絞り１７を絞り込み、開口径を小さくすると、合成可能範囲は前後に広がる。つまり、ある時点において合成不可能な像面も、フォーカスレンズ１１ｂを移動させたり、絞り１７を絞り込むことで、合成可能にすることができる。
【００２２】
（焦点検出処理の説明）
図４は、撮像画面４０に配置された焦点検出領域４１を示す平面図である。撮像画面４０には、計１３個の焦点検出領域４１が配置されている。制御部１４は、各々の焦点検出領域４１について、後述する焦点評価値を演算する（焦点検出を行う）ことができる。なお、図４に示した焦点検出領域４１のサイズ、個数および位置は一例であり、より大きな（または小さな）焦点検出領域４１やより多数の（または少数の）焦点検出領域４１を設けてもよいし、図４に示した位置とは別の位置に焦点検出領域４１を設けてもよい。以下、中央の焦点検出領域４１ａに注目して焦点検出等の処理を説明するが、説明する内容を複数の焦点検出領域４１に適用することは当然に可能である。
【００２３】
焦点検出処理において、制御部１４は、合成可能範囲内の複数の像面の画像を、前述した画像合成処理によって合成する。制御部１４は、合成した複数の画像の各々について、焦点検出領域４１ａ内のコントラスト量を算出する。本実施の形態では、算出されるコントラスト量（例えば画像が鮮鋭であるほど大きくなる量）を焦点評価値として扱う。以上の処理によって、合成可能範囲内の各像面位置における焦点評価値が得られる。
【００２４】
焦点検出処理において、合成可能範囲内のどの位置の像面を合成するかは適宜決定することができる。例えば、合成可能範囲の一端から他端まで、微小な間隔で多数の像面を合成して焦点評価値を算出すれば、計算量（計算時間）が大きくなるが、焦点評価値の分布（変化）を詳細に得ることができる。また、合成可能範囲の一端から他端まで、大きな間隔を空けてごく少数の像面を合成して焦点評価値を算出すれば、少ない計算量（計算時間）で、焦点評価値の大まかな分布を知ることができる。合成可能範囲の限定的な一部分において、微小な間隔で多数の像面を合成して焦点評価値を算出すれば、比較的少ない計算量（計算時間）で、限定的な一部分における詳細な焦点評価値を得ることができる。
【００２５】
（動画撮影処理の説明）
撮像装置１は、動画撮影機能を有する。ユーザが所定の動画撮影開始操作（例えば録画ボタンの押下など）を行うと、制御部１４は、動画撮影処理の実行を開始する。動画撮影処理において、制御部１４は、所定間隔（例えば６０分の１秒）ごとに、撮像素子１２に被写体像を撮像させる。制御部１４は、撮像素子１２により出力された撮像信号に基づき合成された、特定の像面の画像を、表示部１３に表示する。制御部１４は、その特定の像面の画像を、動画像データの１フレームとして、メモリカード１６に記憶する。
【００２６】
図５は、動画撮影処理のフローチャートである。ユーザが所定の動画撮影開始操作を行うと、制御部１４は、図５に示す処理の実行を開始する。ステップＳ１０において、制御部１４は、撮像素子１２に被写体像を撮像させる。ステップＳ２０において、制御部１４は、ステップＳ１０で撮像素子１２により出力された撮像信号に基づき、合成可能範囲内の複数位置の像面の画像を合成する。
【００２７】
ステップＳ３０において、制御部１４は、ステップＳ２０で合成された複数の像面の画像の各々について、焦点検出領域４１ａの焦点評価値を演算する。ステップＳ４０において、制御部１４は、ステップＳ３０で演算された像面ごとの焦点評価値から最大の値を探し、その最大の値に対応する像面を特定する。つまりここで特定された像面は、複数の像面のうち最大のコントラストを有する像面である。換言すると、特定された像面は、複数の像面のうち最も見映えがよい画像である。
【００２８】
ステップＳ４５において、制御部１４は、ステップＳ４０で見つかった最大の焦点評価値が、極大値であるか否かを判定する。焦点評価値が極大値であるとは、すなわち、その前後の像面位置における焦点評価値が、最大の焦点評価値よりも低いということである。なお、「その前後の像面位置」の少なくとも一方が合成可能範囲外である場合、その焦点評価値は不明なので、最大の焦点評価値は極大値ではないと判定される。
【００２９】
最大の焦点評価値が極大値ではなかった場合（ステップＳ４５でＮＯの場合）、制御部１４は処理をステップＳ５０に進める。ステップＳ５０において、制御部１４は、合成可能範囲がステップＳ４０で特定された像面の方向（後述する）に向かって移動するように、フォーカスレンズ１１ｂを駆動する。制御部１４は、特定された像面が合成可能範囲から外れないように（合成可能範囲内に含まれるように）、フォーカスレンズ１１ｂを駆動する。その後、制御部１４は、処理をステップＳ６０に進める。他方、ステップＳ４５において、最大の焦点評価値が極大値であった場合（ステップＳ４５でＹＥＳの場合）、制御部１４は処理をステップＳ６０に進める。
【００３０】
ステップＳ６０において、制御部１４は、ステップＳ４０で特定された像面の画像を表示部１３に表示する。つまり制御部１４は、最も見栄えがよい画像を、いわゆるスルー画（ライブビュー画像）として表示する。ステップ７０において、制御部１４は、ステップＳ４０で特定された像面の画像を、動画像データの１フレームとして、メモリカード１６に記憶する。
【００３１】
ステップＳ８０において、制御部１４は、ユーザによって所定の動画撮影終了操作（例えば録画ボタンの再押下など）が為されたか否かを判定する。動画撮影終了操作が為されていなかった場合、制御部１４は処理をステップＳ１０に進める。他方、動画撮影終了操作が為されていた場合、制御部１４は動画撮影処理を終了する。
【００３２】
以上で説明した動画撮影処理におけるフォーカスレンズ１１ｂの駆動方法について、図６〜図８を参照してより詳細に説明する。
【００３３】
図６は、１フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図６の横軸は像面位置を、縦軸は焦点評価値をそれぞれ示している。なお、説明の便宜上、図６ではｘ１〜ｘ１４の計１４個の像面位置のみが存在するものとしている。また、図６の横軸は左方向が至近側の像面位置であり、右方向側が無限遠側の像面位置であり、例えば、像面位置ｘ１、ｘ３、ｘ５に注目すると、像面位置ｘ３に対して像面位置ｘ５は無限遠側にあり、像面位置ｘ３に対して像面位置ｘ１は至近側にある。図７および図８についても同様である。
【００３４】
図６では、全ての像面位置ｘ１〜ｘ１４に対応する焦点評価値を図示しているが、実際に制御部１４が演算可能な焦点評価値は、現在のフォーカスレンズ１１ｂの位置に対応する合成可能範囲６０ａに含まれる像面位置ｘ１〜ｘ５の焦点評価値のみである。
【００３５】
制御部１４は、現在の合成可能範囲６０ａに含まれる５つの像面位置ｘ１〜ｘ５に対応する５つの画像を合成する（図５のステップＳ２０）。制御部１４は、それら５つの像面位置ｘ１〜ｘ５の画像から焦点評価値を演算する（図５のステップＳ３０）。制御部１４は、現在の合成可能範囲６０ａ内で最大の焦点評価値を有している位置が像面位置ｘ５であることを特定する（図５のステップＳ４０）。
【００３６】
合成可能範囲６０ａの中央の位置の像面位置ｘ３の焦点評価値は極大値ではなく、合成可能範囲６０ａ内では右端の像面位置ｘ５で焦点評価値が最大となっているので、制御部１４は、像面位置ｘ５の方向に向かって（無限遠側に向かって）合成可能範囲６０ａが移動するように、かつ、像面位置ｘ５が新たな合成可能範囲から外れないように、フォーカスレンズ１１ｂを駆動する（図５のステップＳ５０）。具体的には、図６では合成可能範囲６０ａに含まれる像面位置が５つであり、合成可能範囲６０ａ内では右端の像面位置ｘ５で焦点評価値が最大となっているので、合成可能範囲の像面位置が無限遠側に４つずれるようにフォーカスレンズ１１ｂを駆動する。
【００３７】
図６の時点で、合成可能範囲６０ａ内で焦点評価値は像面位置ｘ５において最大となっている。結果として、制御部１４は、焦点評価値が極大となる像面位置ｘ７に合成可能範囲６０ａが近づくようにフォーカスレンズ１１ｂを駆動する。
【００３８】
制御部１４は、合成可能範囲６０ａ内で最大の焦点評価値を有していた像面位置ｘ５の合成画像を、表示部１３に表示する（図５のステップＳ６０）。制御部１４は、合成可能範囲６０ａ内で最大の焦点評価値を有していた像面位置ｘ５の合成画像を、メモリカード１６に記憶する（図５のステップＳ７０）。
【００３９】
図７は、２フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図６の時点からフォーカスレンズ１１ｂが駆動されたことに伴い、現在の合成可能範囲６０ｂは、前回の合成可能範囲６０ａの位置から、像面位置ｘ５〜ｘ９を含む位置に移動している。図６の時点から被写体が移動しておらず、像面位置ｘ１〜ｘ１４の全域で、焦点評価値は変化していない。
【００４０】
制御部１４は、現在の合成可能範囲６０ｂに含まれる５つの像面位置ｘ５〜ｘ９に対応する５つの画像を合成する（図５のステップＳ２０）。制御部１４は、それら５つの像面位置ｘ５〜ｘ９の画像から焦点評価値を演算する（図５のステップＳ３０）。制御部１４は、現在の合成可能範囲６０ｂ内で最大の焦点評価値を有している位置が像面位置ｘ７であることを特定する（図５のステップＳ４０）。像面位置ｘ７の焦点評価値は極大値なので、制御部１４は、フォーカスレンズ１１ｂを駆動しない。
【００４１】
制御部１４は、最大の焦点評価値を有していた像面位置ｘ７の合成画像を、表示部１３に表示する（図５のステップＳ６０）。制御部１４は、最大の焦点評価値を有していた像面位置ｘ７の合成画像を、メモリカード１６に記憶する（図５のステップＳ７０）。
【００４２】
図８は、３フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図７の時点から被写体が移動したことにより、焦点評価値は、像面位置ｘ９で極大となるように変化している。
【００４３】
制御部１４は、現在の合成可能範囲６０ｃに含まれる５つの像面位置ｘ５〜ｘ９に対応する５つの画像を合成する（図５のステップＳ２０）。制御部１４は、それら５つの像面位置ｘ５〜ｘ９の画像から焦点評価値を演算する（図５のステップＳ３０）。制御部１４は、現在の合成可能範囲６０ｃ内で最大の焦点評価値を有している位置が像面位置ｘ９であることを特定する（図５のステップＳ４０）。
【００４４】
像面位置ｘ９の焦点評価値は合成可能範囲６０ｃ内では極大値ではないので、制御部１４は、像面位置ｘ９の方向に向かって（無限遠側に向かって）合成可能範囲６０ｃが移動するように、かつ、像面位置ｘ９が新たな合成可能範囲から外れないように、フォーカスレンズ１１ｂを駆動する（図５のステップＳ５０）。
【００４５】
図８の時点で、焦点評価値は像面位置ｘ１３において極大となっている。結果として、制御部１４は、焦点評価値が極大となる像面位置ｘ１３に合成可能範囲６０ｃが近づくようにフォーカスレンズ１１ｂを駆動する。
【００４６】
制御部１４は、最大の焦点評価値を有していた像面位置ｘ９の合成画像を、表示部１３に表示する（図５のステップＳ６０）。制御部１４は、最大の焦点評価値を有していた像面位置ｘ９の合成画像を、メモリカード１６に記憶する（図５のステップＳ７０）。
【００４７】
図９は、４フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図８の時点から被写体が移動しておらず、像面位置ｘ１〜ｘ１４の全域で、焦点評価値は変化していない。現在の合成可能範囲６０ｄは、破線で図示した前回の合成可能範囲６０ｃから無限遠側に向かって移動している。前述の通り、現在の合成可能範囲６０ｄに、前回の合成可能範囲６０ｃ内で最大の焦点評価値を有していた像面位置ｘ９が含まれるように、フォーカスレンズ１１ｂが駆動される（合成可能範囲が移動される）。
【００４８】
制御部１４は、現在の合成可能範囲６０ｄに含まれる５つの像面位置ｘ９〜ｘ１３に対応する５つの画像を合成する（図５のステップＳ２０）。制御部１４は、それら５つの像面位置ｘ９〜ｘ１３の画像から焦点評価値を演算する（図５のステップＳ３０）。制御部１４は、現在の合成可能範囲６０ｄ内で最大の焦点評価値を有している位置が像面位置ｘ９であることを特定する（図５のステップＳ４０）。
【００４９】
像面位置ｘ９の焦点評価値は合成可能範囲６０ｄ内では極大値ではないので、制御部１４は、像面位置ｘ９の方向に向かって（無限遠側に向かって）合成可能範囲６０ｄが移動するように、かつ、像面位置ｘ９が新たな合成可能範囲から外れないように、フォーカスレンズ１１ｂを駆動する（図５のステップＳ５０）。
【００５０】
制御部１４は、前回（図８の時点で）取得した像面位置ｘ５〜ｘ９の焦点評価値と、今回（図９の時点で）取得した像面位置ｘ９〜ｘ１３の焦点評価値とから、像面位置ｘ９の焦点評価値が極大であると推定する。この場合は、前回（図８の時点で）合成可能範囲６０ｃ内の右端（ｘ９）で焦点評価値が最大であり、今回（図９の時点で）合成可能範囲６０ｄ内の左端（ｘ９）で焦点評価値が最大であるので、像面位置ｘ９の焦点評価値が極大であると推定する。制御部１４は、新たな合成可能範囲（次回の合成可能範囲）において、焦点評価値が極大と推定される像面位置ｘ９が中央に位置するように、フォーカスレンズ１１ｂを駆動する。具体的には、合成可能範囲の像面位置が至近側に２つずれるように、フォーカスレンズ１１ｂを駆動する。
【００５１】
制御部１４は、最大の焦点評価値を有していた像面位置ｘ９の合成画像を、表示部１３に表示する（図５のステップＳ６０）。制御部１４は、最大の焦点評価値を有していた像面位置ｘ９の合成画像を、メモリカード１６に記憶する（図５のステップＳ７０）。
【００５２】
３フレーム目から４フレーム目にかけて、前回の合成可能範囲６０ｃ内で最大の焦点評価値を有していた像面位置ｘ９が、新たな合成可能範囲に含まれるようにフォーカスレンズ１１ｂを駆動しなかった場合、４フレーム目の時点での合成可能範囲は、例えば図９に破線で示す合成可能範囲６０ｘのようになる。この合成可能範囲６０ｘは、像面位置ｘ１０〜ｘ１４を含む。合成可能範囲６０ｘには像面位置ｘ９が含まれないので、合成可能範囲６０ｄに比べて、表示や記憶に用いられる合成画像の鮮鋭さが低下することになる。
【００５３】
図１０は、５フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図９の時点からフォーカスレンズ１１ｂが駆動されたことに伴い、現在の合成可能範囲６０ｅは、前回の合成可能範囲６０ｄの位置から、像面位置ｘ７〜ｘ１１を含む位置に移動している。ここでは制御部１４が推定した通りに像面位置ｘ９において焦点評価値が極大になっており、合成可能範囲６０ｅの中央にその像面位置ｘ９が位置している。
【００５４】
以上のように、制御部１４は、現在の合成可能範囲内の像面位置のうち、最大の焦点評価値に対応する像面位置が新たな合成可能範囲内に常に含まれるように、フォーカスレンズ１１ｂを駆動する。制御部１４は、合成可能範囲内の各像面位置に対応する画像のうち、もっともピント状態のよい（コントラストが高い）画像を表示および記憶する。
【００５５】
上述した実施の形態によれば、次の作用効果が得られる。
（１）制御部１４は、撮像素子１２により出力された撮像信号により、撮像光学系１１の光軸方向の合成可能範囲内における複数の像面の焦点評価値を演算して、焦点評価値が最大である像面による画像を出力する。このようにしたので、表示や記憶に最適な画像を出力することができる。
【００５６】
（２）制御部１４は、撮像光学系１１が有するフォーカスレンズ１１ｂを、焦点評価値が最大である像面の方向に駆動させる。このようにしたので、駆動方向を決める際に、フォーカスレンズ１１ｂが逆方向に駆動されることがなく、スムーズに焦点調節を行うことができる。
【００５７】
（３）制御部１４は、撮像信号により複数の像面の画像を作成（合成）し、作成したそれら複数の像面の画像から焦点評価値を演算する。このようにしたので、複数の像面位置における焦点評価値を精度よく演算することができる。
【００５８】
（４）表示部１３は、制御部１４により出力された焦点評価値が最大である像面による画像を表示する。このようにしたので、フォーカスレンズ１１ｂの駆動中であっても、常にピントが合った画像をライブビュー表示することができる。
【００５９】
（５）制御部１４は、焦点評価値が最大である像面による画像をメモリカード１６に記憶する。このようにしたので、フォーカスレンズ１１ｂの駆動中であっても、常にピントが合った動画を記憶することができる。
【００６０】
（６）制御部１４は、撮像素子１２による撮像と、焦点評価値の演算と、フォーカスレンズ１１ｂの駆動と、を繰り返し行う。このようにしたので、動画撮影中に被写体の光軸方向の位置が変化しても、その被写体にピントが合った状態を維持することができる。
【００６１】
（７）撮像素子１２は、複数のマイクロレンズ１２３と、複数のマイクロレンズ１２３を介して入射光を受光し受光信号を出力する複数の受光素子１２４とを有し、複数の受光素子１２４が出力した受光信号を撮像信号として出力する。制御部１４は、１回の撮像により撮像素子１２から出力された撮像信号により、複数の像面の画像を作成する。このようにしたので、いわゆるウォブリング動作を行うことなしに、複数の像面位置における焦点評価値および画像を得ることができる。
【００６２】
（第２の実施の形態）
第２の実施の形態に係る撮像装置は、第１の実施の形態に係る撮像装置１と同様の構成を有しているが、図２に示す撮像素子１２から、マイクロレンズアレイ１２１が取り除かれている。つまり第２の実施の形態に係る撮像装置は、画像合成機能を有しておらず、撮像素子１２からの撮像信号は、単一の像面に対応する画像信号である。以下、本実施の形態に係る動画撮影処理について説明する。
【００６３】
なお、本実施の形態において、撮像素子１２は、表示および記憶されるフレームレートよりも高いフレームレートで撮像が行えるものとする。例えば、６０分の１秒ごとに１フレームが表示および記憶される場合、撮像素子１２は３００分の１秒ごとに１回の撮像が行えるものとする。
【００６４】
図１１は、動画撮影処理のフローチャートである。ユーザが所定の動画撮影開始操作を行うと、制御部１４は、図１１に示す処理の実行を開始する。ステップＳ１００において、制御部１４は、所定方向へのフォーカスレンズ１１ｂの駆動を開始する。ここで制御部１４は、あらかじめ定められた駆動量だけフォーカスレンズ１１ｂを駆動させる。
【００６５】
ステップＳ１１０において、制御部１４は、３００分の１秒ごとに撮像素子１２に被写体像を撮像させる。ステップＳ１２０において、制御部１４は、ステップＳ１１０で撮像素子１２により出力された撮像信号に基づき、焦点評価値を演算する。すなわち制御部１４は、現在のフォーカスレンズ１１ｂの位置に対応する像面位置の焦点評価値を演算する。
【００６６】
ステップＳ１３０において、制御部１４は、フォーカスレンズ１１ｂの駆動が完了したか否かを判定する。あらかじめ定められた駆動量ぶんの駆動が完了していた場合、制御部１４は、処理をステップＳ４０に進める。駆動が完了していない場合、制御部１４は処理をステップＳ１１０に進める。
【００６７】
ステップＳ４０から先の処理は、第１の実施の形態と同様である。すなわち制御部１４は、フォーカスレンズ１１ｂを駆動しながら撮像した、複数の像面位置に対応する画像について、焦点評価値が最大となる像面位置を特定し、必要に応じてフォーカスレンズ１１ｂを駆動させたり、その像面位置の画像を表示したり記憶したりする。ステップＳ１００からステップＳ７０までが６０分の１秒ごとに行われる。
【００６８】
以上のように、本実施の形態では、リフォーカス可能範囲内の複数の像面位置における画像を合成するのではなく、フォーカスレンズ１１ｂを動かしながら、その移動範囲に対応する所定範囲内の複数の像面位置における画像を撮像する。
【００６９】
上述した実施の形態によれば、次の作用効果が得られる。
（１）制御部１４は、撮像素子１２により出力された撮像信号により、撮像光学系１１の光軸方向の所定範囲内における複数の像面の焦点評価値を演算して、焦点評価値が最大である像面による画像を出力する。このようにしたので、表示や記憶に最適な画像を出力することができる。
【００７０】
（２）制御部１４は、撮像光学系１１が有するフォーカスレンズ１１ｂを、焦点評価値が最大である像面の方向に駆動させる。このようにしたので、駆動方向を決める際に、フォーカスレンズ１１ｂが逆方向に駆動されることがなく、スムーズに焦点調節を行うことができる。
【００７１】
（３）制御部１４は、撮像信号により複数の像面の画像を作成し、作成したそれら複数の像面の画像から焦点評価値を演算する。このようにしたので、複数の像面位置における焦点評価値を精度よく演算することができる。
【００７２】
（４）表示部１３は、制御部１４により出力された焦点評価値が最大である像面による画像を表示する。このようにしたので、フォーカスレンズ１１ｂの駆動中であっても、常にピントが合った画像をライブビュー表示することができる。
【００７３】
（５）制御部１４は、焦点評価値が最大である像面による画像をメモリカード１６に記憶する。このようにしたので、フォーカスレンズ１１ｂの駆動中であっても、常にピントが合った動画を記憶することができる。
【００７４】
（６）制御部１４は、撮像素子１２による撮像と、焦点評価値の演算と、フォーカスレンズ１１ｂの駆動と、を繰り返し行う。このようにしたので、動画撮影中に被写体が移動しても、その被写体にピントが合った状態を維持することができる。
【００７５】
（７）撮像素子１２は、撮像光学系１１が有するフォーカスレンズ１１ｂがそれぞれ異なる位置にあるときに被写体像を撮像することにより、複数の像面の画像にそれぞれ対応する複数の撮像信号を出力する。制御部１４は、それら複数の撮像信号により複数の像面の画像を作成する。このようにしたので、リフォーカスを行うための特別な部材を設けることなく、表示や記憶に最適な画像を出力することができる。
【００７６】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【００７７】
（変形例１）
絞り１７を絞り込むと、被写界深度が深くなり、合成可能範囲は広くなる。そこで、第１の実施の形態において、フレーム間で絞り１７の開閉を交互に繰り返すようにしてもよい。このようにすると、絞り１７を絞り込んだフレームにおいては、合成可能範囲（すなわち焦点評価値の検出可能範囲）が広がり、絞り１７を開放したフレームにおいては、リフォーカス画像の画質が向上する。すなわち、検出範囲の広域化と画質とを両立させることができる。
【００７８】
また、焦点評価値が極大となる像面位置が見つからない場合に、絞り１７を絞り込むようにしてもよい。このようにすることで、焦点評価値が極大となる像面位置をより確実に特定することができるようになる。
【００７９】
いずれの場合であっても、絞り１７を絞り込むと、その分だけ撮像信号の信号レベルは低下し、画像が暗くなるおそれがある。この場合には、撮像素子１２の感度（出力ゲイン）を上げたり、リフォーカス画像に対してデジタル補正を施すことにより、画像の明るさを確保することが可能である。
【００８０】
第２の実施の形態では、絞り１７を絞り込むことで、フォーカスレンズ１１ｂの駆動範囲内における各像面の画像が、より被写界深度の深い画像になる。これにより、フォーカスレンズ１１ｂの駆動範囲自体は変化しないものの、その駆動範囲内における各像面の画像は、よりピークの検出しやすい鮮鋭な画像になる。つまり、第２の実施の形態でも、絞り１７を絞り込むことで、焦点評価値が極大となる像面位置をより確実に特定することができるようになる。従って、上述した第１の実施の形態における変形例は、第２の実施の形態にも同様に適用することができる。
【００８１】
第２の実施の形態では、更に、連続して撮像される複数のフレームのうちの一部で絞り１７を絞り込んで撮影してもよい。例えば、図１１のステップＳ１００〜Ｓ１３０において、５回の撮像が行われるとき、そのうちの１回で絞り１７を絞り込む。絞り１７を絞り込んで行われるこの１回の撮像による画像は、焦点評価値を演算するためにのみ用い、記憶や表示には用いない。このようにすると、表示されたり記憶されたりする画像の画質を落とさずに、次回のレンズ位置をより広範囲から選択することができる。
【００８２】
（変形例２）
第２の実施の形態において、撮像装置１がレンズ交換可能なカメラである場合には、装着中の交換レンズの特性に応じて絞り１７の絞り値を変化させてもよい。例えば、装着中の交換レンズから、フォーカスレンズ１１ｂの駆動スピードなど、単位時間あたりの撮像可能像面数を決定するための情報を取得する。フォーカスレンズ１１ｂの重量が大きい交換レンズや、フォーカスレンズ１１ｂを駆動させるアクチュエータの出力が低い交換レンズは、駆動スピードが低い。すなわち、単位時間あたりの撮像可能像面数が少ない。そのような交換レンズが装着されている場合には、絞り１７を絞り込む。逆に、駆動スピードが速い（単位時間あたりの撮像可能像面数が多い）交換レンズが装着されている場合には、絞り１７を開放する。このようにすることで、レンズ特性に応じて適切な焦点調節を行うことができる。
【００８３】
なお、第１の実施の形態でも同様に、交換レンズの特性に応じて絞り１７の絞り値や合成する像面の数などを変化させてもよい。
【００８４】
（変形例３）
第１の実施の形態において、合成可能範囲内の像面の画像を合成する順序は、上述したものと異なっていてもよい。例えば、まず合成可能範囲の一端から他端まで、大きな間隔を空けてごく少数の像面を合成する。これにより、合成可能範囲内における焦点評価値の大まかな分布を把握する。その後、合成可能範囲の全体から、焦点評価値が高い一部分を特定し、その一部分において、微小な間隔で多数の像面位置の画像を合成して焦点評価値を算出する。このようにすることで、より効率的に焦点評価値が高い像面位置を検出することができる。
【００８５】
（変形例４）
上述した各実施の形態において、出力画像（表示や記憶に用いられる画像）は、焦点評価値を演算するために合成されたり撮像された画像そのものでなくてもよい。例えば複数の像面の画像を合成した画像であったり、２つの像面の間の像面の画像を、その２つの像面の画像から内挿して作成した画像であってもよい。
【００８６】
（変形例５）
上述した各実施の形態では、焦点評価値が最大となる像面の画像を、出力画像（表示や記憶に用いられる画像）としていたが、これとは異なる像面の画像を出力画像としてもよい。例えば、鑑賞に堪えうる最低限の品質となる焦点評価値の下限値を定めておき、その下限値を上回る焦点評価値が演算された像面の画像から任意の画像を選択して出力画像としてもよい。もしくは、各像面について演算された焦点評価値の中央値（または平均値や最頻値）を基準として、それを上回る焦点評価値が演算された像面の画像から任意の画像を選択して出力画像としてもよい。
【００８７】
（変形例６）
第２の実施の形態において、複数の像面の焦点評価値に大きな差がない（焦点評価値の差が所定のしきい値未満である）場合には、後から撮像された像面を表示や記憶の対象として優先的に採用するようにしてもよい。このようにするのは、時間的に後から撮像された像面の画像ほど、より最新の被写体を捉えた画像であるためである。
【００８８】
（変形例７）
第１の実施の形態において、メモリカード１６に記憶する画像は、合成画像ではなく撮像素子１２からの撮像信号（すなわち合成前の原画像）であってもよい。このようにすることで、撮影後に動画内の各フレームのピント位置を変更することができるようになる。
【００８９】
（変形例８）
上述した各実施の形態において、コントラスト検出方式とは異なる方式の焦点検出方式を採用してもよい。
【００９０】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００９１】
１…撮像装置、１１…撮像光学系、１１ｂ…フォーカスレンズ、１２…撮像素子、１３…表示部、１４…制御部、１５…ＲＯＭ、１６…メモリカード、１７…絞り
【図１】
2017181938.tif 000003
【図２】
2017181938.tif 000004
【図３】
2017181938.tif 000005
【図４】
2017181938.tif 000006
【図５】
2017181938.tif 000007
【図６】
2017181938.tif 000008
【図７】
2017181938.tif 000009
【図８】
2017181938.tif 000010
【図９】
2017181938.tif 000011
【図１０】
2017181938.tif 000012
【図１１】
2017181938.tif 000013