(57)【要約】【課題】  合成画像のための焦点位置の異なる画像を撮像する際に、被写体の動きや手振れなどで期待していた画像を撮れず、意図していた合成画像が得られない可能がある。【解決手段】  撮像装置は、異なる焦点位置で複数の画像を撮像する撮像手段と、前記複数の画像に対して評価を行う評価手段と、前記評価手段が選んだ前記複数の画像のうちの一部の画像を用いて合成を行う合成手段と、を有し、前記撮像手段が、前記複数の画像のうち、前記評価手段が選んでいなかった画像が撮像された焦点位置において、再撮像を行い、前記合成手段が、前記合成において、前記撮像手段が前記再撮像で得られた画像も用いる。【選択図】  図３
2020188324.tif 000002
【特許請求の範囲】
【請求項１】
異なる焦点位置で複数の画像を撮像する撮像手段と、
前記複数の画像に対して評価を行う評価手段と、
前記評価手段が選んだ前記複数の画像のうちの一部の画像を用いて合成を行う合成手段と、を有し、
前記撮像手段が、前記複数の画像のうち、前記評価手段が選んでいなかった画像が撮像された焦点位置において、再撮像を行い、
前記合成手段が、前記合成において、前記撮像手段が前記再撮像で得られた画像も用いることを特徴とする撮像装置。
【請求項２】
前記複数の画像は、すくなくとも一部の画角が重なることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成手段が、前記合成に用いる画像のそれぞれの合焦している領域を切り出して合成を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記合成手段が、前記合成で合成画像を作成し、前記合成画像の被写界深度が、前記複数の画像のいずれかの画像の被写界深度よりも深いことを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
【請求項５】
前記評価手段は、前記複数の画像の合焦評価を行うことを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
【請求項６】
前記評価手段は、前記複数の画像のぶれの評価を行うことを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像手段が前記複数の画像を撮像しながら、前記評価手段が前記評価を行うことを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像手段が同じ前記焦点位置で前記撮像を行う回数の上限を定めることを特徴とする請求項１ないし７のいずれか１記載の撮像装置。
【請求項９】
異なる焦点位置で複数の画像を撮像する撮像ステップと、
前記複数の画像に対して評価を行う評価ステップと、
前記評価ステップにおいて選んだ前記複数の画像のうちの一部の画像を用いて合成を行う合成ステップと、を有し、
前記撮像ステップにおいては、前記複数の画像のうち、前記評価ステップにおいて選んでいなかった画像が撮像された焦点位置において、再撮像を行い、
前記合成ステップにおいては、前記合成において、前記撮像ステップにおいて前記再撮像で得られた画像も用いることを特徴とする撮像方法。
【請求項１０】
画像処理装置をコンピュータに動作させるコンピュータのプログラムであって、
異なる焦点位置で複数の画像を撮像する撮像ステップと、
前記複数の画像に対して評価を行う評価ステップと、
前記評価ステップにおいて選んだ前記複数の画像のうちの一部の画像を用いて合成を行う合成ステップと、を行わせ、
前記撮像ステップにおいては、前記複数の画像のうち、前記評価ステップにおいて選んでいなかった画像が撮像された焦点位置において、再撮像を行い、
前記合成ステップにおいては、前記合成において、前記撮像ステップにおいて前記再撮像で得られた画像も用いることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点位置の異なる複数の画像を撮像する撮像装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの画像処理装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる、画角の重なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０―２９０３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像を撮像した後で撮像した画像を用いて合成画像を作成するという方法では、例えば手振れなどで、撮像した画像が所望の画像でない場合、合成画像が生成されない限り撮像者が認識できない可能性がある。さらに、撮像した画像が所望の画像でないとき、合成画像を作り直すために、最初から改めて撮像しなければならない。
【０００５】
本発明は、上記の課題を鑑みてなされたものであり、深度合成のための撮像を行うとき、撮像した画像が所望の画像でないとき、自動的に認識および再撮像を行う撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本願発明は、異なる焦点位置で複数の画像を撮像する撮像手段と、前記複数の画像に対して評価を行う評価手段と、前記評価手段が選んだ前記複数の画像のうちの一部の画像を用いて合成を行う合成手段と、を有し、前記撮像手段が、前記複数の画像のうち、前記評価手段が選んでいなかった画像が撮像された焦点位置において、再撮像を行い、前記合成手段が、前記合成において、前記撮像手段が前記再撮像で得られた画像も用いる撮像装置を提供する。
【発明の効果】
【０００７】
本発明の構成によれば、深度合成を行うとき、撮像した画像が所望の画像でないとき、合成画像ができる前に、撮像した画像が所望の画像でないことを認識する撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態における撮像画像を説明するための図である。
【図３】第１の実施形態における深度合成の処理を説明するためのフローチャートである。
【図４】第１の実施形態における焦点位置の決定を説明するための図である。
【図５】第２の実施形態における深度合成の処理を説明するためのフローチャートである。
【図６】第３の実施形態における深度合成の処理を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１０】
（第１の実施形態）
図１は、本実施形態における撮像装置の構成を示すブロック図である。なお、各機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアに実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。もしくは、ハードウェアとソフトウェアが組み合わされて実現されてもよい。したがって、以下の説明において異なる機能ブロックが動作の主体として記載されている場合であっても、同じハードウェアが主体として実現される場合がある。
【００１１】
撮像レンズ１０１は、複数のレンズ群からなる撮像レンズであり、ズームレンズやフォーカスレンズ、シフトレンズを内部に備えている。
【００１２】
シャッター１０２は、絞り機能を備えるシャッターであり、撮像素子１０３に光を通す時間を調節する。
【００１３】
撮像素子１０３は、光電変換素子を有する画素が複数、二次元上に配列された構成を有する撮像素子である。撮像レンズ１０１により結像された被写体光学像を各画素で電気信号に光電変換する。
【００１４】
Ａ／Ｄ変換器１０４は、アナログ信号をデジタル信号に変換する変換器であり、撮像素子１０３から出力されるアナログ信号をデジタル信号に変換し、画素単位の画像データを出力する。
【００１５】
画像処理部１０５は、画像データに対して、所定の画素補完、拡縮といったリサイズ処理やＡＷＢといった色変換処理、画像データの符号化処理、複数の画像を１つの画像に合成する合成処理を行う。
【００１６】
画像評価部１０６は、画像データを評価方法によって評価することで評価値を算出し、評価値が閾値以上であれば成功、閾値以下であれば失敗と判定する。評価方法として、合焦状態を算出する合焦値算出方法や被写体のぶれを算出する被写体ぶれ算出方法などが挙げられる。
【００１７】
Ａ／Ｄ変換器１０４から出力された画像データは、画像処理部１０５を及びメモリ制御部１０７を介してメモリ１１０に書き込まれる。そのため、メモリ１１０は所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。
【００１８】
また、メモリ１１０は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１０８はメモリ１１０に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。こうして、メモリ１１０に書き込まれた表示用の画像データはＤ／Ａ変換器１０８を介して表示部１０９により表示される。表示部１０９は、ＬＣＤなどの表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１０４によって一度Ａ／Ｄ変換されてメモリ１１０に蓄積されたデジタル信号を、Ｄ／Ａ変換器１０８においてアナログ変換し、表示部１０９に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。
【００１９】
不揮発性メモリ１１２は、電気的に消去・記録可能なメモリであり、たとえばＥＥＰＲＯＭが用いられる。不揮発性メモリ１１２には、システム制御部１１１の動作用定数やプログラムが記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２０】
システム制御部１１１は、撮像装置１００の全体を制御する制御部である。不揮発性メモリ１１２に記録されたプログラムを実行することで本実施形態の各処理を実現する。また、メモリ１１０、Ｄ／Ａ変換器１０８、表示部１０９を制御することにより表示制御も行う。
【００２１】
操作部１１３は、ユーザ操作を受け付け、システム制御部１１１に各種動作指示を入力するための操作手段である。
【００２２】
電源制御部１１４は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などで構成され、電池の装着の有無、電池の種類、電池の残量の検出を行う。また、電源制御部１１４はその検出結果及びシステム制御部１１１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間各部へ提供する。
【００２３】
電源部１１５は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプターからなる。
【００２４】
モード切替スイッチ１１６は、システム制御部１１１の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮像モード、オートシーン判別モード、マニュアルモード、撮像シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。また、本提案で対象としている異なる焦点位置での連続撮像するモードも静止画記録モードに含まれる。モード切り替えスイッチ１１６で、静止画記録モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ１１６で静止画記録モードに一旦切り換えた後に、静止画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮像モードにも複数のモードが含まれていてもよい。
【００２５】
シャッターボタン１１７は、操作途中、いわゆる半押し（撮像準備指示）で第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。また、シャッターボタン１１７は、操作完了、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１１１は、第２シャッタースイッチ信号ＳＷ２によりシャッター１０２の駆動から記録媒体１２１にデータを書き込むまでの一連の撮像処理の動作を開始する。
【００２６】
システムタイマー１１８は、各種制御に用いる時間や、内蔵された時計の時間を計測する時計部である。
【００２７】
システムメモリ１１９は、システム制御部１１１の動作用の定数、変数、不揮発性メモリ１１２から読み出したプログラムを展開するためのメモリであり、ＲＡＭが用いられる。
【００２８】
録媒体Ｉ／Ｆ部１２０は、記録媒体１２１と撮像装置１００とを接続するインターフェースである。
【００２９】
記録媒体１２１は、撮像された映像を記録するためのメモリカードやハードディスク、ＵＳＢメモリ等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３０】
図２は、本実施形態における撮像画像を説明するための図である。
【００３１】
図２（ａ）ないし図２（ｅ）は、それぞれ被写体２０１ないし２０３が写る画像２１０ないし２５０を示している。
【００３２】
画像２１０は、被写界深度を深くして撮像された画像の例である。画像２１０において、被写体２０１ないし２０３はすべて合焦であることが示されている。
【００３３】
画像２２０は、被写体２０１に合焦し、被写体２０２と２０３とに合焦していない画像である。
【００３４】
画像２３０は、被写体２０２に合焦し、被写体２０１と２０３とに合焦していない画像である。
【００３５】
画像２４０は、被写体２０３に合焦し、被写体２０１と２０２とに合焦していない画像である。
【００３６】
画像２５０は、被写体２０３に合焦し、被写体２０１と２０２とに合焦していない画像であるが、被写体２０３が動いている様子を示している。
【００３７】
深度合成のための撮像では、もともと、撮像者が被写界深度を浅くして、画像２２０、２３０、２４０を撮像し、それぞれ合焦している部分を抽出して合成し、画像２１０のようにすべての被写体に合焦している画像を生成する。しかし、もし画像２４０を撮像するとき、被写体２０３が動いてしまうとすると、画像２５０のような画像を撮像してしまう。画像２５０のままで深度合成に用いると、合成画像においても、被写体２０３が動いているように写される。なおかつ、深度合成の撮像中、大量の画像を連写しているので、撮像者が意図してなかった画像が撮像されたことに気づかないことが多い。撮像者が、合成画像が出来上がるまでに意図していた画像を撮れなかったことがわからずにそのまま合成に進んでしまい、無駄な作業が発生する。
【００３８】
本実施形態では、以上のような課題を解決するために、システム制御部１１１が画像に対して評価を行うようにする。以下では、図を用いながら本実施形態について詳細に説明する。
【００３９】
図３は、本実施形態における深度合成の処理を説明するためのフローチャートである。
【００４０】
ステップＳ３０１で、シャッターボタン１１７のＳＷ１が押されたら次のステップに進む。
【００４１】
ステップＳ３０２で、システム制御部１１１は撮像レンズ１０１に含まれるフォーカスレンズを移動させ焦点位置を変化させながら、測距を行う。このとき、レンズの移動量を小さくするためにフォーカスレンズは至近端から望遠端、あるいはその逆に連続して移動させる。ここで、システム制御部１１１は、被写体に合焦する基準となる焦点位置を決める。
【００４２】
ステップ３０３で、システム制御部１１１はステップＳ３０２で決めた基準となる焦点位置の両側に、複数の画像の撮像に用いる複数の異なる焦点位置を決定する。焦点位置は等間隔に決定してよい。メモリ１１０は決定した撮像位置を記憶する。
【００４３】
ステップＳ３０４で、シャッターボタン１１７のＳＷ２が押されたら次のステップに進む。
【００４４】
ステップＳ３０５で、システム制御部１１１はステップ３０３でメモリ１１０に記憶した焦点位置を読み出し、読み出した焦点位置に合焦するようフォーカスレンズを移動させる。
【００４５】
ステップＳ３０６で、システム制御部１１１はシャッター１０２、撮像素子１０３を駆動させ静止画の撮像を行う。同時に、画像処理部１０５が撮像した静止画に対して現像処理を行う。
【００４６】
ステップＳ３０７で、画像評価部１０６はステップＳ３０６で現像された静止画に対して、評価値の算出を行う。画像評価部１０６は、あらかじめ焦点位置の決定のために使用した範囲のものを使用し、評価値を算出する。
【００４７】
評価値の算出方法としては、たとえば、合焦評価を行う。合焦の程度のよい画像は、より高い評価値を与えられる。合焦評価の方法としては、たとえば、特開２０１７−９９４２号公報に記載の、角画素に入射した像の相関を計算する相関計算手段によってデフォーカス量を算出し、画像についてエリアごとのデフォーカスマップを生成し、相関計算により合焦評価を行う。
【００４８】
また、評価値の算出方法のもう１つの方法として、ぶれ評価があげられる。ぶれの程度の低い画像に、より高い評価値を与えられる。たとえば、特開２００８−２２３００号公報に、被写体領域のサイズや位置の変化による被写体の動きによる被写体ぶれを算出すると記載されている。このような公知の方法を用いてぶれ評価を行い、評価値として算出することができる。また、被写体領域サイズの変化によって映り込み評価を行い、評価値として算出することも可能である。
【００４９】
ステップＳ３０８で、システム制御部１１１はステップ３０７で算出した評価値があらかじめ定めた閾値より高いかどうか判定する。評価値が閾値より高い場合はステップＳ３０９に進み、評価値が閾値以下な場合はステップ３０６に戻り、再び撮像を行う。
【００５０】
ステップＳ３０９で、システム制御部１１１は全ての撮像位置で撮像を行ったかどうか判定する。撮像を行っていない撮像位置がまだ存在する場合はステップＳ３０５に戻り、撮像を行っていない焦点位置にフォーカスレンズを移動させる。また、全ての撮像位置で撮像を行った場合はステップＳ３１０に進む。
【００５１】
ステップＳ３１０で、画像処理部１０５は、評価値が閾値より高い画像を用いて合成画像を作成する。
【００５２】
深度合成の方法の一例について説明する。まず、システム制御部１１１は、合成の対象となる２つの画像の位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、システム制御部１１１は、片方の画像に、複数のブロックを設定する。システム制御部１１１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、システム制御部１１１は、もう片方の画像に、設定したそれぞれのブロックと同じ位置に、該ブロックよりも広い範囲を、探索範囲を設定する。最後に、システム制御部１１１は、もう片方の画像のそれぞれの探索範囲に、最初に設定したブロックとの輝度の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部１１１は、最初に設定したブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。システム制御部１１１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。
【００５３】
次に、システム制御部１１１は位置のずれ量から変換係数を算出する。システム制御部１１１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。
【００５４】
たとえば、システム制御部１１１は、（式１）に示した式を用いて変形を行うことができる。
【００５５】
【数１】
2020188324.tif 000003
【００５６】
（式１）では、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。
【００５７】
次に、画像処理部１０５は、位置合わせを行った後のそれぞれの画像に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０５は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）
【００５８】
次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）ないし（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。
【００５９】
【数２】
2020188324.tif 000004
【００６０】
【数３】
2020188324.tif 000005
【００６１】
【数４】
2020188324.tif 000006
【００６２】
また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。
【００６３】
次に、画像処理部１０５は、合成マップを生成する。合成マップの生成方法としては、画像処理部１０５は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の最も高い画素の合成比率を１００％とし、同じ位置にあるほかの画素の合成比率を０％とする。画像処理部１０５は、こうした合成比率の設定を、画像のすべての位置に対して行う。
【００６４】
最後に、画像処理部１０５は、合成マップに従い画素の置き換えを行い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成マップに対して所定の画素数（タップ数）を持つフィルタをかけ、隣接画素間で合成比率が急激に変化しないようにする。
【００６５】
なお、本実施形態における焦点位置の決定（ステップＳ３０２ないしステップＳ３０３にあたる処理）は、以下のような実施方法でもよい。
【００６６】
図４は、本実施形態における焦点位置の決定を説明するための図である。図４（ａ）では、画像処理部１０５は、撮像画像の画面４００を複数のブロックに分割する。撮像素子１０３は、複数の焦点位置でプレ撮像を行う。画像処理部１０５は、プレ撮像で取得した画像のコントラスト値を計算する。さらに、画像処理部１０５は、それぞれのブロックに対して、コントラスト値と焦点位置との関係を計算する。図４（ｂ）では、ブロック４１のコントラスト値と焦点位置との関係を示す。図４（ｂ）のグラフから、焦点位置Ｐではコントラスト値が最も高いとわかる。システム制御部１１１は、焦点位置Ｐにあたる位置を、ステップＳ３０６での撮像のときの焦点位置として設定する。画像処理部１０５は、同様な処理を、画面４００のそれぞれのブロックに対して行い、その結果、全画像に合焦する合成画像が得られる。
【００６７】
また、同じ焦点位置で何回も撮像して閾値よりも高い評価値を有する画像を得られなく、次のステップに進めないことを防ぐため、ここで、ステップＳ３０６ないしステップＳ３０８のループ処理の回数の上限を設けてもよい。上限の回数を超えて処理した場合、該焦点位置での撮像を行わないようにする。または、上限の回数を超えて処理した場合、撮像した画像のうち、最も評価値の高い画像を合成に用いる。
【００６８】
以上のような方法で深度合成の画像を作成すると、評価値の低い画像を合成画像に用いることが避けられ、かつ、合成画像を作成する前に撮り直すことができる。こうして、無駄な撮像作業を避けることができる。
【００６９】
（第２の実施形態）
第２の実施形態は、第１の実施形態と異なり、設定していた焦点位置で確実に撮像されたかどうかを判断する。以下では、第１の実施形態との違いを中心に、第２の実施形態について説明する。
【００７０】
図５は、第２の実施形態における深度合成の処理を説明するためのフローチャートである。
【００７１】
図５のステップＳ５０１ないしステップＳ５０６での処理は、第１の実施形態のステップＳ３０１ないしステップＳ３０６と同様である。
【００７２】
ステップＳ５０７で、システム制御部１１１は、ステップＳ５０６で実際に撮像した焦点位置は、ステップＳ５０３で決定された焦点位置と同じであるかどうかを判断する。手振れなどの影響で、実際にステップＳ５０６で撮像するとき、設定した焦点位置とずれた位置で撮像する可能性もある。設定していない焦点位置で撮像することを防ぐため、ステップＳ５０７で設定した焦点位置で撮像されていないと判断された場合、ステップＳ５０８に進み、焦点位置を移動し、撮像素子１０３が再びステップＳ５０６で撮像する。
【００７３】
ステップＳ５０９ないしステップＳ５１２での処理は、第１の実施形態でのステップＳ３０７ないしステップＳ３１０と同様である。
【００７４】
第２の実施形態によれば、設定していた焦点位置で撮像できなかった場合、改めて焦点位置を移動させ撮像することができる。
【００７５】
（第３の実施形態）
第３の実施形態では、第１の実施形態と異なり、設定したすべての焦点位置での撮像が終わってから評価値の算出を行うようにする。以下では、図を用いながら第３の実施形態について説明する。
【００７６】
図６は、第３の実施形態における深度合成の処理を説明するためのフローチャートである。
【００７７】
ステップＳ６０１ないしステップＳ６０６での処理は、第１の実施形態のステップＳ３０１ないしステップＳ３０６と同様である。
【００７８】
ステップＳ６０７では、システム制御部１１１は、設定したすべての撮像位置で撮像されたかどうかを判断する。まだ撮像していない撮像位置があればステップＳ６０５に戻り、すべての撮像位置での撮像が終わればステップＳ６０８に進む。
【００７９】
ステップＳ６０８では、画像評価部１０６は、ステップＳ６０７ですべての撮像位置で撮像されたと判断する前にステップＳ６０６で撮像されたすべての画像のうち、評価値がまだ算出されていないいずれかの画像に対して評価値を算出する。
【００８０】
ステップＳ６０９で、システム制御部１１１は、ステップＳ６０８で算出した評価値と閾値との比較を行う。評価値が閾値より高ければ、ステップＳ６１１に進む。ステップＳ６１１で、システム制御部１１１は、すべての撮像済みの画像の評価値が判断されたのであれば、ステップＳ６１２に進み、逆であればステップＳ６０８に戻る。一方で、ステップＳ６０９でシステム制御部１１１が、閾値よりも評価値が小さいと判断すれば、該評価値を持つ画像が対応する焦点位置を、システム制御部１１１が再撮像位置として記憶する。
【００８１】
ステップＳ６１２で、システム制御部１１１が、再撮像位置が存在するかどうかを判断する。再撮像位置がまだ存在していれば、ステップＳ６０５に戻る。再撮像位置が存在していなければ、ステップＳ６１３に進む。
【００８２】
ステップＳ６１２でシステム制御部１１１は、再撮像位置が存在すると判断し、ステップＳ６０５に戻る場合、以下のような処理を行う。フローがステップＳ６０５に戻ると、システム制御部１１１は、焦点位置を再撮像位置のいずれかに移動させ、撮像素子１０３が撮像を行う。ステップＳ６０５ないしステップＳ６０７のループで、すべての再撮像位置において撮像を行う。次に、ステップＳ６０８に進み、ステップＳ６０８ないしステップＳ６１１のループで、再撮像位置で撮像した画像の評価値を算出し、閾値より小さい評価値が対応する焦点位置を再び再撮像位置として記憶する。こうしてステップＳ６０５ないしステップＳ６１２での処理を繰り返し行うことにより、ステップＳ６０３で決定されたすべての焦点位置で閾値より高い評価値を有する画像を得ることができる。
【００８３】
ステップＳ６１３で、第１の実施形態のステップＳ３１０と同様に、画像処理部１０５は、合成画像を作成する。
【００８４】
本実施形態では、画像の撮像が終わってから評価値の算出を行うように実施する。評価値の算出は、場合により負荷が大きく、時間がかかることもあると考えられる。本実施形態での実施方法では、評価値の算出のステップを後にずらすことにより、評価値の算出による時間的遅延を低減することを図る。
【００８５】
さらに、本実施形態では、１枚目の画像を撮像してから、同時に評価値の算出を始め、処理の迅速化を図ることもできる。
【００８６】
（そのほかの実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。
【００８７】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８８】
１００  撮像装置
１０１  撮像レンズ
１０２  シャッター
１０３  撮像素子
１０４  Ａ／Ｄ変換器
１０５  画像処理部
１０６  画像評価部
１０７  メモリ制御部
１０８  Ｄ／Ａ変換器
１０９  表示部
１１０  メモリ
１１１  システム制御部
１１２  不揮発性メモリ
１１３  操作部
１１４  電源制御部
１１５  電源部
１１６  モード切替スイッチ
１１７  シャッターボタン
１１８  システムタイマー
１１９  システムメモリ
１２０  記録媒体Ｉ／Ｆ
１２１  記録媒体
【図１】
2020188324.tif 000007
【図２】
2020188324.tif 000008
【図３】
2020188324.tif 000009
【図４】
2020188324.tif 000010
【図５】
2020188324.tif 000011
【図６】
2020188324.tif 000012