(57)【要約】      （修正有）【課題】深度合成を行うとき、画像処理による位置合わせの精度への影響を抑える画像処理装置を提供する。【解決手段】画像処理装置は、合焦位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像に対して位置合わせのための係数を算出する算出手段と、複数の画像に対して画像処理を行う処理手段と、位置合わせのための係数を用いて、画像処理を行った後の複数の画像に対して合成を行い、合成画像を生成する生成手段と、を有する。合成画像の被写界深度は、複数の画像の被写界深度よりも深い。【選択図】図２
2020160773.tif 000002
【特許請求の範囲】
【請求項１】
合焦位置の異なり、かつ、少なくとも一部の画角が重なる複数の画像に対して位置合わせのための係数を算出する算出手段と、
前記複数の画像に対して画像処理を行う処理手段と、
前記位置合わせのための係数を用いて、前記画像処理を行った後の前記複数の画像に対して合成を行い、合成画像を生成する生成手段と、を有し、
前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深いことを特徴とする画像処理装置。
【請求項２】
前記画像処理は、明るさ補正とシャープネス処理との少なくともいずれかであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記画像処理を行った後の前記複数の画像の合焦領域を抽出して前記合成画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記画像処理を行った後の前記複数の画像のそれぞれの、同じ位置にある領域のうち、最もコントラスト値の高い前記領域を、前記合焦領域とすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記画像処理を行う前の前記複数の画像のそれぞれの、同じ位置にある領域のうち、最もコントラスト値の高い前記領域が対応する前記画像処理を行った後の前記複数の画像の領域を、前記合焦領域とすることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記複数の画像は、光軸方向で異なることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記位置合わせのための係数は、射影変換の係数であることを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段が、前記位置合わせのための係数を用いて、前記画像処理を行った後の前記複数の画像に対して位置合わせを行ってから、前記合成を行うことを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
【請求項９】
合焦位置の異なり、かつ、少なくとも一部の画角が重なる複数の画像を撮像する撮像手段と、
前記複数の画像に対して位置合わせのための係数を算出する算出手段と、
前記複数の画像に対して画像処理を行う処理手段と、
前記位置合わせのための係数を用いて、前記画像処理を行った後の前記複数の画像に対して合成を行い、合成画像を生成する生成手段と、を有し、
前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深いことを特徴とする撮像装置。
【請求項１０】
合焦位置の異なり、かつ、少なくとも一部の画角が重なる複数の画像に対して位置合わせのための係数を算出する算出ステップと、
前記複数の画像に対して画像処理を行う処理ステップと、
前記位置合わせのための係数を用いて、前記画像処理を行った後の前記複数の画像に対して合成を行い、合成画像を生成する生成ステップと、を有し、
前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深いことを特徴とする画像処理方法。
【請求項１１】
画像処理装置をコンピュータに動作させるコンピュータのプログラムであって、
合焦位置の異なり、かつ、少なくとも一部の画角が重なる複数の画像に対して位置合わせのための係数を算出する算出ステップと、
前記複数の画像に対して画像処理を行う処理ステップと、
前記位置合わせのための係数を用いて、前記画像処理を行った後の前記複数の画像に対して合成を行い、合成画像を生成する生成ステップと、を行わせ、
前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深いことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像に対して位置合わせを行う画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの画像処理装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。
【０００３】
特許文献１に記載の方法で深度合成を行うと、以下の方法が考えられる。先に、撮像した画像に対して、ホワイトバランスなどの明るさ補正、シャープネスの調整など、一般的な画像処理を行う。次に、深度合成のための合成処理を行う。深度合成のための合成処理のために、画像の位置合わせが必要である。位置合わせのために、位置合わせの対象である画像から位置合わせのための係数などを算出する方法があげられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０―２９０３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像処理を行った後の画像を使って位置合わせのための係数を算出すると、画像処理の影響で、位置合わせのための係数が正しく算出できない可能性がある。
【０００６】
本発明は、上記の課題を鑑みてなされたものであり、深度合成を行うとき、画像処理による位置合わせの精度への影響を抑える画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本願発明は、合焦位置の異なり、かつ、少なくとも一部の画角が重なる複数の画像に対して位置合わせのための係数を算出する算出手段と、前記複数の画像に対して画像処理を行う処理手段と、前記位置合わせのための係数を用いて、前記画像処理を行った後の前記複数の画像に対して合成を行い、合成画像を生成する生成手段と、を有し、前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深いことを特徴とする画像処理装置を提供する。
【発明の効果】
【０００８】
本発明の構成によれば、深度合成を行うとき、撮像画像に対する画像処理が位置合わせの精度への影響を抑える画像処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。
【図２】第１の実施形態における画像合成の処理を説明するためのフローチャートである。
【図３】第１の実施形態における位置合わせの係数の算出を説明するためのフローチャートである。
【図４】第１の実施形態におけるシャープネス処理を説明するための図である。
【図５】第１の実施形態における深度合成について説明するためのフローチャートである。
【図６】第２の実施形態における画像合成の処理を説明するためのフローチャートである。
【図７】第２の実施形態における深度合成について説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１１】
（第１の実施形態）
図１は、本実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。
【００１２】
制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。
【００１３】
駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。
【００１４】
光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。
【００１５】
撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。
【００１６】
ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１７】
画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。
【００１８】
画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。
【００１９】
表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。
【００２０】
内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。
【００２１】
操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。
【００２２】
図２は、本実施形態における画像合成の処理を説明するためのフローチャートである。
【００２３】
ステップＳ２０１で、撮像部１０４は、光学系１０３を通して被写体を撮像し、制御部１０１が撮像した画像とともに、画像を撮像したときの合焦位置を内蔵メモリ１０９または外接の記録装置に保存する。制御部１０１の制御のもとで、自動的に光軸方向での合焦位置を変えてもよく、ユーザが手動で合焦位置を変えてもよい。なお、本実施形態では、駆動部１０２が光学系１０３に設けるレンズを駆動させることで合焦位置を変えるが、これに限らず、たとえば、複数のデジタルカメラを用いて、それぞれのデジタルカメラを異なる位置で合焦させた状態で撮像するようにしてもよい。ただし、複数のデジタルカメラを用いる場合、複数のデジタルカメラで得られた画像間の視差が大きくならないように、それぞれのデジタルカメラの光軸を近づけるように工夫する必要がある。
【００２４】
ステップＳ２０２で、画像処理部１０７は、位置合わせの対象画像、つまりステップＳ２０１で撮像した画像に対して、位置合わせのための係数を算出する。位置合わせの必要性について簡単に述べる。合焦位置を変更しながら撮像した場合でも、例えば手持ちで撮像した場合や、例えば三脚等で固定して撮像した場合でも、光学的な現象なども含め、被写体の位置が画面内で異なる位置になってしまう可能性がある。同じ被写体が異なる位置にあると後段の合成処理において所望の結果が得られないため、あらかじめ同じ被写体が同じ位置に来るように画像の移動、拡大・縮小・回転などを行い、位置を合わせる事が必要となる。
【００２５】
ステップＳ２０２での処理の詳細については後述する。
【００２６】
ステップＳ２０３で、画像処理部１０７は、画像処理を行う。ステップＳ２０３でいう画像処理は、主に、明るさやシャープネスなどの画像処理を指す。たとえば、画像全体の明るさを一律に変更する画像処理や、画像全体の解像感を向上させるシャープネス処理などがあげられる。
【００２７】
ステップＳ２０３での処理の詳細について後述する。
【００２８】
ステップＳ２０４で、画像処理部１０７は、ステップＳ２０３での画像処理を済んだ画像に対して、位置合わせを行う。ステップＳ２０４での処理の詳細は、後述する。
【００２９】
ステップＳ２０５で、画像処理部１０７は、位置合わせした後の画像に対して、深度合成の処理を行う。本実施形態では、画像処理部１０７は、位置合わせの後のそれぞれの画像の同じ位置から、最もコントラスト値の高いところを抽出して合成画像を作成する。ステップＳ２０５での処理の詳細については後述する。
【００３０】
図３は、本実施形態における位置合わせの係数の算出を説明するためのフローチャートである。
【００３１】
制御部１０１が、ステップＳ３０１で、内蔵メモリ１０９などに記録されている基準画像を選択する。基準画像は、たとえば、処理対象である複数の画像のうち、撮像時刻が最も早い画像、または画角の最も広い画像としてよい。次に、制御部１０１は、ステップＳ３０２で、内蔵メモリ１０９などに記録されている画像のうち、基準画像以外の画像から位置合わせの処理の対象である対象画像を選択する。
【００３２】
次に、ステップＳ３０３で、画像処理部１０７は、基準画像と処理画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、画像処理部１０７、片方の画像に、複数のブロックを設定する。画像処理部１０７は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、画像処理部１０７は、もう片方の画像に、設定したそれぞれのブロックと同じ位置に、該ブロックよりも広い範囲を、探索範囲として設定する。最後に、画像処理部１０７は、もう片方の画像のそれぞれの探索範囲に、最初に設定したブロックとの輝度の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。画像処理部１０７は、最初に設定したブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。画像処理部１０７は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。
【００３３】
次に、ステップＳ３０４で、画像処理部１０７は、ステップＳ３０３で算出したずれ量から、位置合わせの係数を算出する。位置合わせの係数の一例としては、射影変換係数があげられる。ただし、位置合わせの係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した係数を用いてもよい。
【００３４】
たとえば、画像処理部１０７は、（式１）に示した式を用いて変形を行うことができる。
【００３５】
【数１】
2020160773.tif 000003
【００３６】
（式１）では、（ｘ´，ｙ´）は位置合わせを行った後の座標を示し、（ｘ，ｙ）は位置合わせを行う前の座標を示す。行列ＡはステップＳ３０４で算出された係数を示す。
【００３７】
ステップＳ３０５で、制御部１０１は、すべての画像を位置合わせの処理をしたかどうかについて判断する。すべての画像を処理した場合は、フローを終了する。まだ処理していない画像があれば、ステップＳ３０２に戻り、改めて処理していない画像から対象画像を選択する。
【００３８】
次に、本実施形態における画像処理について詳しく説明する。たとえば、ここでの画像処理が明るさの補正とシャープネス処理である場合、制御部１０１は、各々の画像に対して、明るさの補正とシャープネス処理とを行うかどうか設定する。
【００３９】
図４は、本実施形態におけるシャープネス処理を説明するための図である。
【００４０】
図４では、画像４０１の任意の画素７０２の上下左右の画素７０３ないし７０６を示している。画像処理部１０７は、画素７０２に対して、（式２）に示した鮮鋭化フィルタを用いることができる。
【００４１】
【数２】
2020160773.tif 000004
【００４２】
ただし、Ａ’（ｘ，ｙ）はフィルタをかけた後の座標（ｘ，ｙ）の値を意味する。
【００４３】
上記のような鮮鋭化フィルタを適用することで、画像の解像感を向上させることができる。実際の画像処理では、異なる鮮鋭化フィルタをエッジの強度に応じて用意され、制御部１０１は、状況に応じてそのうちから選択して使用する。ほかには、アンシャープマスクと呼ばれる、縮小画像を用いた鮮鋭化処理など、鮮鋭化が可能であればその手法は問わない。
【００４４】
ステップＳ２０４での位置合わせについて詳しく説明する。画像処理部１０７は、ステップＳ２０３での画像処理が済んだ画像から基準画像を選択し、画像処理が済んだほかの画像を基準画像に対して位置合わせを行う。ここの基準画像は、画角の最も広い画像を選ぶのは好ましい。もし基準画像が画角の最も広い画像でなければ、基準画像よりも画角の広い画像を位置合わせるとき、基準画像に含まれていない画角の部分を削除する必要がある。
【００４５】
ステップＳ２０５での深度合成の処理について説明する。本実施形態における深度合成の処理において必要なコントラスト値に関する情報は、エッジマップを使って生成する。
【００４６】
図５は、本実施形態における深度合成について説明するためのフローチャートである。
【００４７】
ステップＳ５０１で、画像処理部１０７は、それぞれの位置合わせ済みの画像のエッジマップを算出する。たとえば、画像処理部１０７は、下記の（式３）を用いてエッジマップを生成することができる。
【００４８】
【数３】
2020160773.tif 000005
【００４９】
ただし、Ａ’（ｘ，ｙ）は生成したエッジマップにおける座標（ｘ，ｙ）の値を意味する。
【００５０】
次に、ステップＳ５０２で、画像処理部１０７は、ステップＳ５０１で算出したエッジマップから、画像のコントラスト値を算出する。エッジマップからコントラスト値を求める方法はいくつかあげられるが、ここでは単純に注目している部分領域のエッジマップの値の総和を比較する方法を用いる。ここでいう部分領域は、複数の画素からなる画像上の領域を指す。処理の便宜上、ここでの部分領域が矩形のほうが好ましい。
【００５１】
次に、ステップＳ５０３で、画像処理部１０７は、ステップＳ５０２で算出したそれぞれの画像において、同じ位置の部分領域を比較する。
【００５２】
次にステップＳ５０４で、画像処理部１０７は、ステップＳ５０３での比較で得られた最もコントラスト値の高い部分領域を合成画像に用いることを決定する。
【００５３】
次にステップＳ５０５で、制御部１０１は、画像のすべての領域が処理されているか判断する。すべての領域が処理されていれば、ステップＳ５０６に進み、まだ処理していない領域があれば、ステップＳ５０３に戻る。
【００５４】
ステップＳ５０６で、画像処理部１０７は、ステップＳ５０４で合成画像に用いると決定した領域を合成画像の対応する位置に置き換えることで、合成画像を生成する。また、ここで置き換えを行うとき、境界部がなだらかに変化するように、適宜平滑化処理を行うのは好ましい。
【００５５】
ステップＳ２０５での処理では、ほかにも、コントラスト値の算出方法があげられる。たとえば、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式４）を用いて輝度Ｙを算出する。
Ｙ  ＝  ０．２９９Ｓｒ  ＋  ０．５８７Ｓｇ  ＋  ０．１１４Ｓｂ・・・（式４）
【００５６】
次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式５）乃至（式７）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。
【００５７】
【数４】
2020160773.tif 000006
【００５８】
【数５】
2020160773.tif 000007
【００５９】
【数６】
2020160773.tif 000008
【００６０】
第１の実施形態によれば、ステップＳ２０３での画像処理を行う前に、位置合わせの係数を算出する。従来の深度合成では、位置合わせの係数の算出が画像処理の後に行われ、以下の課題が生じる。たとえば、シャープネスなどの画像処理を適用した場合、適用するパラメータやアルゴリズムによって、偽解像のような本来の被写体には存在しないエッジが検出される場合がある。また、高周波を強調するようなシャープネス処理により、ノイズのような被写体ではないエッジがエッジマップの主成分となってしまうことがある。そのような場合において位置合わせ係数を算出すると、対応点を探る過程で、偽解像などの影響で違いが大きくなり、代わりに別の点が対応点として認識されてしまうことがある。
【００６１】
本実施形態では、画像処理の前に位置合わせの係数の算出を行うことで、画像処理による位置合わせの精度の影響を防ぐことができる。
【００６２】
（第２の実施形態）
以下では第２の実施形態について説明する。第１の実施形態では、画像処理の後に、コントラスト値の算出を含む合成画像の生成のための処理を行う。ただし、場合により、画像処理がコントラスト値の算出の精度に影響を与える可能性もある。たとえば、複数の画像のうち、特定の画像のみシャープネスを極端に強く適用した場合に、合焦していないボケ領域も強調してしまい、合焦している画像よりも、ボケを強調した画像のコントラスト値が高いと判定してしまう可能性がある。本来であれば、特定の画像のシャープネスを調整し、深度合成を行った場合には、合焦している領域の解像感を向上したいのであって、手前や奥のボケ画像にシャープネスを適用した画像を合成結果として得たいわけではない。本実施形態は、このような状況を想定し、画像処理前と画像処理後との両方の画像に対して位置合わせを行う。
【００６３】
以下では、図を用いて第２の実施形態について詳細に説明する。なお、第１の実施形態と同様なところについて省略する。
【００６４】
図６は、本実施形態における画像合成の処理を説明するためのフローチャートである。
【００６５】
ステップＳ６０１での処理は第１の実施形態でのステップＳ２０１と同様である。
【００６６】
ステップＳ６０２での処理は第１の実施形態でのステップＳ２０２と同様である。
【００６７】
ステップＳ６０３では、画像処理部１０７は、後述するステップＳ６０４での画像処理の前の画像に対して、位置合わせを行う。ここで画像処理前の位置合わせを行った後の画像を、検出用画像と呼ぶ。検出用画像は、合成画像に用いる部分領域の選定に用いる。
【００６８】
ステップＳ６０４での処理は第１の実施形態でのステップＳ２０３と同様である。
【００６９】
ステップＳ６０５で、画像処理部１０７は、ステップＳ６０４で画像処理が行われた後の画像に対して、位置合わせを行う。ここで画像処理後の位置合わせを行った後の画像を、素材画像と呼ぶ。素材画像は、実際に合成画像に置き換えられる画像である。
【００７０】
ステップＳ６０６で、画像処理部１０７は、深度合成の処理を行う。図７は、本実施形態における深度合成の処理を説明するためのフローチャートである。以下では、ステップＳ６０６での処理について詳細に説明する。
【００７１】
ステップＳ７０１で、画像処理部１０７は、検出用画像のエッジマップを算出する。具体的な算出方法は、第１の実施形態と同様でよい。
【００７２】
ステップＳ７０２で、画像処理部１０７は、検出用画像のコントラスト値を算出する。具体的な算出方法は、第１の実施形態と同様でよい。
【００７３】
ステップＳ７０３で、制御部１０１は、複数の検出用画像において同じ位置にある部分領域のコントラスト値を比較し、最もコントラスト値の高い部分領域を持つ画像を特定する。
【００７４】
ステップＳ７０４で、制御部１０１は、ステップＳ７０３で特定した部分領域に相当する素材画像の領域を決定する。ここで決定した素材画像の領域は、合成画像の生成に用いる。
【００７５】
ステップＳ７０５で、制御部１０１は、画像のすべての領域が処理されているか判断する。すべての領域が処理されていれば、ステップＳ７０６に進み、まだ処理していない領域があれば、ステップＳ７０３に戻る。
【００７６】
ステップＳ７０６で、画像処理部１０７は、ステップＳ７０４で決定した素材画像の領域を用いて合成画像を生成する。
【００７７】
第２の実施形態によれば、部分領域の選定を、画像処理の前の画像を用いて行うことで、画像処理によるコントラスト値の算出の精度に影響を下げることができる。
【００７８】
なお、以上に説明した実施形態では、撮像から合成までの処理は、同一の装置内において行われるが、これに限るわけではない。たとえば、図２のフローチャートにおけるステップＳ２０１での処理を１つの撮像装置などを用いて実行し、ステップＳ２０２以降のステップを、ＰＣやサーバーといった別の画像処理装置を用いて実行するようにしてもよい。このような構成においては、ステップＳ２０１で撮像するときに、合焦位置の情報を撮像画像とともに保存する必要があり、撮像後に、撮像装置から画像とともに合焦位置の情報を画像処理装置に送信する。
【００７９】
（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。
【００８０】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８１】
１００  デジタルカメラ
１０１  制御部
１０２  駆動部
１０３  光学系
１０４  撮像部
１０５  ＲＯＭ
１０６  ＲＡＭ
１０７  画像処理部
１０８  表示部
１０９  内蔵メモリ
１１０  操作部
【図１】
2020160773.tif 000009
【図２】
2020160773.tif 000010
【図３】
2020160773.tif 000011
【図４】
2020160773.tif 000012
【図５】
2020160773.tif 000013
【図６】
2020160773.tif 000014
【図７】
2020160773.tif 000015