(57)【要約】【課題】  深度合成において合成画像のエッジ部にボケが出ることがある。【解決手段】  画像処理装置は、少なくとも一部の画角が重なる、ピント位置の異なる複数の画像からコントラストを検出する検出手段と、前記コントラストを調整する調整手段と、前記調整手段が調整した後の前記コントラストに基づいて合成比率を設定する設定手段と、前記設定手段が設定した合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を作成する合成手段と、を有し、前記調整手段は、前記複数の画像のうち、被写体に合焦している画像の前記コントラストを広げ、前記設定手段は、前記複数の画像のそれぞれ対応する位置のコントラストに応じて、該対応する位置に対して前記合成を行うときの前記合成比率を設定する。【選択図】  図７
2019212969.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一部の画角が重なる、ピント位置の異なる複数の画像からコントラストを検出する検出手段と、
前記コントラストを調整する調整手段と、
前記調整手段が調整した後の前記コントラストに基づいて合成比率を設定する設定手段と、
前記設定手段が設定した合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、を有し、
前記調整手段は、前記複数の画像のうち、被写体に合焦している画像の前記コントラストを広げ、
前記設定手段は、前記複数の画像のそれぞれ対応する位置のコントラストに応じて、該対応する位置に対して前記合成を行うときの前記合成比率を設定することを特徴とする画像処理装置。
【請求項２】
前記合成手段が、前記調整手段が調整した後の前記コントラストに基づいて生成した合成画像は、前記調整手段が調整せずに前記コントラストに基づいて生成した合成画像より、前記被写体のエッジボケが狭いことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整手段が前記複数の画像を調整し、調整した後の前記被写体に合焦している画像のエッジボケのコントラストは、調整した後の前記被写体に合焦していない画像のエッジボケの対応する位置のコントラストよりも高いことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記対応する位置は、前記複数の画像を画角が一致するように位置合わせした後、同じ位置になることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記設定手段は、前記複数の画像のそれぞれにおいて対応する位置のコントラストのうち、より高いコントラストに対してより大きい合成比率を設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記調整手段は、異なる参照範囲を持つ複数のフィルタを用いて前記コントラストを調整することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記調整手段は、前記異なる参照範囲を持つ複数のフィルタを用いて前記画像のコントラストにかけてから、ゲインをかけて統合した後のコントラストを調整した後のコントラストとすることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記調整手段は、前記フィルタの参照範囲に応じて該フィルタをかけた後のコントラストにかける前記ゲインを変更することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記調整手段が第１の参照範囲を持つ前記フィルタをかけた後のコントラストにかける前記ゲインが、前記調整手段が前記第１の参照範囲よりも狭い第２の参照範囲を持つ前記フィルタをかけた後のコントラストにかける前記ゲインよりも大きいことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記調整手段は、前記画像に対して複数の並行する縮小拡大処理を行って前記コントラストを調整することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項１１】
前記複数の並行する縮小拡大処理で用いられる縮小率と拡大率とは逆数であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記調整手段は、前記画像に対して前記縮小拡大処理を行った後にゲインをかけて統合した後のコントラストを調整した後のコントラストとすることを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
前記調整手段が第１の拡大率を有する拡大処理をした画像にかけたゲインは、前記調整手段が前記第１の拡大率よりも小さい第２の拡大率を有する拡大処理をした画像にかけたゲインよりも大きいことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記調整手段は、撮像条件に応じて前記ゲインを決め、
前記撮像条件は、絞り値と合焦範囲と被写体距離との少なくとも１つを含むことを特徴とする請求項７乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記調整手段は、前記絞り値が大きいほど前記ゲインを小さくすることを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記調整手段は、前記合焦範囲が狭いほど前記ゲインを小さくすることを特徴とする請求項１４または１５に記載の画像処理装置。
【請求項１７】
前記合焦範囲は、前記複数の画像のピント位置のうち、最至近側と最無限遠側とのピント位置の間の範囲であることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記調整手段は、前記被写体距離が遠いほど前記ゲインを小さくすることを特徴とする請求項１４乃至１７のいずれか１項に記載の画像処理装置。
【請求項１９】
前記被写体距離は、視差量から算出されることを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
少なくとも一部の画角が重なる、ピント位置の異なる複数の画像を撮像する撮像手段と、
前記複数の画像からコントラストを検出する検出手段と、
前記コントラストを調整する調整手段と、
前記調整手段が調整した後の前記コントラストに基づいて合成比率を設定する設定手段と、
前記設定手段が設定した合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、を有し、
前記調整手段は、前記複数の画像のうち、被写体に合焦している画像の前記コントラストを広げ、
前記設定手段は、前記複数の画像のそれぞれ対応する位置のコントラストに応じて、該対応する位置に対して前記合成を行うときの前記合成比率を設定することを特徴とする撮像装置。
【請求項２１】
少なくとも一部の画角が重なる、ピント位置の異なる複数の画像からコントラストを検出する検出ステップと、
前記コントラストを調整する調整ステップと、
前記調整ステップにおいて調整した後の前記コントラストに基づいて合成比率を設定する設定ステップと、
前記設定ステップにおいて設定した合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成ステップと、を行わせ、
前記調整ステップにおいては、前記複数の画像のうち、被写体に合焦している画像の前記コントラストを広げ、
前記設定ステップにおいては、前記複数の画像のそれぞれ対応する位置のコントラストに応じて、該対応する位置に対して前記合成を行うときの前記合成比率を設定することを特徴とする画像処理方法。
【請求項２２】
画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
少なくとも一部の画角が重なる、ピント位置の異なる複数の画像からコントラストを検出する検出ステップと、
前記コントラストを調整する調整ステップと、
前記調整ステップにおいて調整した後の前記コントラストに基づいて合成比率を設定する設定ステップと、
前記設定ステップにおいて設定した合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成ステップと、を有し、
前記調整ステップにおいては、前記複数の画像のうち、被写体に合焦している画像の前記コントラストを広げ、
前記設定ステップにおいては、前記複数の画像のそれぞれ対応する位置のコントラストに応じて、該対応する位置に対して前記合成を行うときの前記合成比率を設定することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピント位置の異なる複数の画像を合成する画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどを用いて距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。そこで、特許文献１では、それぞれの画像の同じ位置にある領域の中で、コントラスト値の最も高い領域を合焦領域とする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２１６５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述したような深度合成の方法を用いると、合成画像のエッジ部においてぼけ領域が出る場合がある。
【０００５】
図１２は、深度合成のための撮像を行う一例を説明するための図である。図１２に示した場合では、デジタルカメラ１００は、白地の背景の前にあるＸ型の被写体に対して、ピント位置１２０１乃至１２０５で５枚の画像１２１０ａから１２５０ａを撮像し、撮像した画像に対して合成を行い、合成画像１２００ａを生成したものとする。画像１２１０ａはピント位置１２０１で撮像されたものであり、画像１２２０ａから１２５０ａはピント位置１２０２から１２０５に対応するものとする。画像１２１０ａから１２５０ａに位置合わせが行われた後、画素１２１１から１２５１は同じ位置にあり、画素１２１２から１２５２は同じ位置にあるとする。特許文献１に開示された技術を用いて合成画像を作成すると、画素１２１２から１２５２の中から最もコントラスト値の高いものを選んで合成画像の同じ位置に使う。そこで、撮像装置は、画素１２３２を合成画像１２００ａに使うことが図示されている。しかしながら、撮像装置は、同様な方法で画素１２１２から１２５１の中から最もコントラスト値の高いものを選んで合成画像の同じ位置に使うと、画素１２３１のコントラスト値よりも、画素１２１２または画素１２５２のコントラスト値が高くなる。そのため、画素１２１２または画素１２５２を選んで合成画像に使ってしまう。その結果、図示されているように、合成画像１２００ａには、エッジ部の周辺にボケが生じてしまう。
【０００６】
なお、画像１２１０ｂ乃至１２５０ｂは、デジタルカメラ１００の絞りがさらに開放して撮像して得られた画像で、合成画像１２００ｂは、画像１２１０ｂ乃至１２５０ｂから作成された合成画像を示している。合成画像１２００ｂは、合成画像１２００ａよりさらにボケが広がっている。
【０００７】
本発明は、上記の課題を鑑みてなされたものであり、ピント位置の異なる複数の画像を用いて合成した画像に含まれるぼけを低減することができる画像処理装置を提供するものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本願発明は、少なくとも一部の画角が重なる、ピント位置の異なる複数の画像からコントラストを検出する検出手段と、前記コントラストを調整する調整手段と、前記調整手段が調整した後の前記コントラストに基づいて合成比率を設定する設定手段と、前記設定手段が設定した合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を作成する合成手段と、を有し、前記調整手段は、前記複数の画像のうち、被写体に合焦している画像の前記コントラストを広げ、前記設定手段は、前記複数の画像のそれぞれ対応する位置のコントラストに応じて、該対応する位置に対して前記合成を行うときの前記合成比率を設定する画像処理装置を提供する。
【発明の効果】
【０００９】
本発明の構成によれば、ピント位置の異なる複数の画像を撮像して合成した画像に含まれるボケを低減することができる画像処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。
【図２】本発明の第１の実施形態における合成画像の生成について説明するためのフローチャートである。
【図３】本発明の第１の実施形態における撮像について説明するためのフローチャートである。
【図４】本発明の第１の実施形態における位置合わせについて説明するためのフローチャートである。
【図５】本発明の第１の実施形態における画像の合成について説明するためのフローチャートである。
【図６】本発明の第１の実施形態における合成マップの生成について説明するためのフローチャートである。
【図７】本発明の第１の実施形態における合成マップの生成について説明するためのブロック図である。
【図８】本発明の第１の実施形態におけるコントラスト値を説明するための図である。
【図９】本発明の第１の実施形態におけるゲインを説明するための図である。
【図１０】本発明の第２の実施形態における合成マップの生成について説明するためのフローチャートである。
【図１１】本発明の第２の実施形態における合成マップの生成について説明するためのブロック図である。
【図１２】深度合成のための撮像を行う一例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１２】
（第１の実施形態）
図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。
【００１３】
制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。
【００１４】
駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。
【００１５】
光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。
【００１６】
撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。
【００１７】
ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１８】
画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。
【００１９】
画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。
【００２０】
表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。
【００２１】
内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。
【００２２】
操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。
【００２３】
図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ２０１では、撮像部１０４は、ピント位置の異なる複数の画像を撮像する。ステップＳ２０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した複数の画像に対して画角が一致するように位置合わせを行う。ステップＳ２０３で、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、合成画像を生成する。以下では、それぞれのステップについて詳細に説明する。
【００２４】
図３は、本実施形態におけるステップＳ２０１での撮像について説明するためのフローチャートである。
【００２５】
ステップＳ３０１で、制御部１０１は、ピント位置の設定を行う。たとえば、ユーザは表示部１０８が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。同時に、制御部１０１は、設定したピント位置において、距離順に撮像順番を決める。
【００２６】
ステップＳ３０２で、撮像部１０４は、ステップＳ３０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。
【００２７】
ステップＳ３０３で、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、図３に示したフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ３０２に戻る。
【００２８】
図４は、本実施形態におけるステップＳ２０２での位置合わせについて説明するためのフローチャートである。
【００２９】
ステップＳ４０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。
【００３０】
ステップＳ４０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ４０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。
【００３１】
ステップＳ４０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ４０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。
【００３２】
ステップＳ４０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。
【００３３】
ステップＳ４０５で、画像処理部１０７は、ステップＳ４０４で算出した変換係数を用いて対象画像に対して変換を行う。
【００３４】
たとえば、制御部１０１は、（式１）に示した式を用いて変形を行うことができる。
【００３５】
【数１】
2019212969.tif 000003
【００３６】
（式１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。
【００３７】
ステップＳ４０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、このフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ４０２に戻る。
【００３８】
図５は、本実施形態におけるステップＳ２０３での画像の合成について説明するためのフローチャートである。
【００３９】
ステップ５０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ  ＝  ０．２９９Ｓｒ  ＋  ０．５８７Ｓｇ  ＋  ０．１１４Ｓｂ・・・（式２）
【００４０】
次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）乃至（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。
【００４１】
【数２】
2019212969.tif 000004
【００４２】
【数３】
2019212969.tif 000005
【００４３】
【数４】
2019212969.tif 000006
【００４４】
また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。
【００４５】
ステップＳ５０２で、画像処理部１０７は合成マップを生成する。合成マップの具体的な生成方法は後述する。
【００４６】
ステップＳ５０３では、画像処理部１０７は、ステップＳ５０２で算出した合成マップに従い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成マップに対して所定の画素数（タップ数）を持つフィルタをかけ、隣接画素間で合成比率が急激に変化しないようにする。
【００４７】
以下では、ステップＳ５０２での合成マップの生成について詳細に説明する。
【００４８】
図６は、本実施形態におけるステップＳ５０２での合成マップの生成について説明するためのフローチャットである。図７は、本実施形態におけるステップＳ５０２での合成マップの生成について説明するためのブロック図である。
【００４９】
ステップＳ６０１で、画像処理部１０７は、ステップＳ５０１で算出したコントラスト値に対してフィルタ処理を行う。たとえば、前述したコントラスト値の算出における３×３の画素を１つのブロックとして、画像に存在する各々のブロックに対して、フィルタをかける。フィルタの種類としては、コントラスト値の最大値を出力するＭＡＸフィルタや平均値フィルタなどが挙げられる。なおかつ、ステップＳ６０１で、画像処理部１０７は、タップ数の異なるフィルタをかける。ここで説明の便宜上、Ｎ［０］、Ｎ［１］の２種類のフィルタをかけることとするが、フィルタの数は２つに限らない。Ｎ［０］のフィルタのタップ数は、Ｎ［１］よりも少ないとする。つまり、Ｎ［０］のフィルタの参照範囲は、Ｎ［１］よりも狭い。Ｎ［０］のフィルタを、スルー出力（入力と出力が同じ信号）にする形態でも良いものとする。
【００５０】
図７は、本実施形態におけるステップＳ５０２での合成マップの生成について説明するためのブロック図である。図７において、コントラスト値７０１（Ｃｍ（ｘ，ｙ））は、座標（ｘ，ｙ）のコントラスト値を意味する。コントラスト値はブロックごとに算出された場合、座標（ｘ，ｙ）が位置するブロックのコントラスト値を座標（ｘ，ｙ）のコントラスト値とする。画像処理部１０７は、Ｃｍ（ｘ，ｙ）に対してフィルタ７１１（Ｎ［０］）とフィルタ７１２（Ｎ［１］）とのそれぞれをかける。このような処理で、画像におけるボケを周辺に広げることができる。ボケ画像においてエッジボケが発生している所のコントラスト値よりも、ジャスピン画像のボケが広がった部分においてコントラスト値が高くなることが期待できる。後述する評価値の算出で、ジャスピン画像の部分の評価値が高く算出すると考えられ、合成において、ボケ画像よりジャスピン画像が選ばれることが期待できる。
【００５１】
ステップＳ６０２で、画像処理部１０７は、ステップＳ６０１でフィルタをかけて得られた結果に対して、ゲインＧａｉｎ（ｋ）をかける。たとえば、図７では、画像処理部１０７は、フィルタ７１１（Ｎ［０］）をかけた後の結果に対して、ゲインＧａｉｎ（０）をかけ、フィルタ７１２（Ｎ［１］）をかけた後の結果に対して、ゲインＧａｉｎ（１）をかける。
【００５２】
図８は、本実施形態におけるコントラスト値を説明するための図である。以下では、図８を用いてフィルタをかける前後のコントラスト値について簡単に説明する。
【００５３】
図８（ａ）と図８（ｂ）に示したような一様な模様を有する被写体を撮像する場合について考える。図８（ａ）は被写体に合焦しているときの撮像画像を示し、図８（ｂ）は被写体に合焦していないときの撮像画像を示している。簡略のため、図８（ａ）と図８（ｂ）に示した被写体の中心を通るｘ軸におけるコントラスト値を、一次元的に分析する。
【００５４】
図８（ｃ）は、図８（ａ）に示している合焦している被写体のコントラスト値とｘ軸座標との関係を示し、図８（ｄ）は、図８（ｂ）に示している合焦していない被写体のコントラスト値とｘ軸座標との関係を示す。図８（ａ）では、被写体に一様な模様があるので、図８（ｃ）では、ｘ座標が被写体内にあたるとき、コントラスト値が一様の値を示す。一方で、図８（ｂ）のように被写体がボケると、ｘ座標が被写体内にあたるときのコントラスト値が図８（ａ）と比べて下がる。図８（ｂ）では、被写体の周りにボケが出るので、図８（ｄ）でのコントラスト値が、図８（ｃ）のように両側に急激に下がらず、緩やかに減少している様子を示す。
【００５５】
図８（ｃ）と図８（ｄ）とを比較すると、範囲８０１のうちでは、図８（ｃ）に示すコントラスト値が図８（ｄ）よりも高く、範囲８０１の外では、図８（ｃ）に示すコントラスト値が図８（ｄ）よりも低いことがわかる。背景で述べた従来技術を用いて図８（ａ）と図８（ｂ）とに対して深度合成を行うと、範囲８０１の外にあたる部分は、図８（ｂ）のボケが合成画像に使われてしまう。
【００５６】
図８（ｅ）と図８（ｆ）とのそれぞれは、図８（ｃ）と図８（ｄ）とにフィルタをかけた後のコントラスト値を示すグラフである。図８（ｅ）と図８（ｆ）とは、図８（ｃ）と図８（ｄ）と比べてグラフの形がさらに両側に広がるのがわかる。もともと、図８（ｃ）に示す合焦画像、被写体のコントラスト値は、図８（ｄ）に示すボケ画像よりも高く、それにフィルタをかけた後も、ボケ画像よりも広い範囲で高い。図８（ｅ）と図８（ｆ）とを比較すると、範囲８０２のうちでは、図８（ｅ）に示すコントラスト値が図８（ｆ）よりも高く、範囲８０２の外では、図８（ｅ）に示すコントラスト値が図８（ｆ）よりも低いことがわかる。図８（ｅ）と図８（ｆ）とのコントラスト値に基づいて深度合成を行うと、範囲８０２の外にあたる部分は、図８（ｂ）のボケが合成画像に使われてしまう。ただし、範囲８０２は範囲８０１より広いので、ここで述べた評価値の算出で得られる合成画像のボケは、前述背景の従来技術で得られる合成画像のボケより少ない。同様に、さらにタップ数の多いフィルタを適用すると、さらにボケの少ない合成画像が得られる。本実施形態では、このように異なるタップ数のフィルタをかけてさらにゲインをかけてコントラスト値を調整した結果を評価値として算出し、合成比率を算出する。
【００５７】
図９は、本実施形態におけるゲインを説明するための図である。図９の各々のグラフは、撮像条件とＧａｉｎ（ｋ）との関係を示している。たとえば、図９（ａ）において、撮像条件の１つである絞り値とゲイン量とは負相関があることが示されている。背景における図１２で説明したように、絞りが広く開放するほどボケが広くなり、被写体の周辺（ボケ部分）において同じ位置でのコントラスト値が高くなる。しかも、同じピント位置で撮像した画像でも、絞りが開放するほどボケ画像のエッジボケが広がり、ボケ部分の同じ位置でのコントラスト値が高くなる。ボケ画像のエッジボケが後述する合成において選ばれないように、ジャスピン画像が広がったエッジボケをより高くする必要がある。そのため、図９（ａ）のように、絞りが開放するほどゲインを大きくすることで、フィルタをかけた後のジャスピン画像が広げたボケのコントラスト値をボケ画像の同じ位置のコントラスト値よりも高くし、ジャスピン画像が後述する合成において選ばれやすくする。特に、タップ数が大きいフィルタほど、ジャスピン画像のフィルタをかけた後のボケがより広くなるので、タップ数の大きいフィルタほど、ゲインを大きくする。これで、ジャスピン画像が広がったボケの部分が後述する合成において確実に選ばれるようにすることができる。たとえば、図９（ａ）において、タップ数の大きいフィルタにおいて、ｇｍａｘを大きくする。
【００５８】
絞り値以外、合焦範囲または被写体距離に応じてゲインを変更してもよい。図９（ｂ）および図９（ｃ）は、合焦範囲および被写体距離とＧａｉｎ（ｋ）との関係を示している。合焦範囲が大きいほど、エッジボケが広くなるので、デフォーカス量とＧａｉｎ（ｋ）とは正相関がある。なお、ここでいう合焦範囲とは、最至近側から最無限遠側のピント位置の差を指す。同様に、被写体距離が近いほど、エッジボケが広がるので、被写体距離とＧａｉｎ（ｋ）とは負相関がある。なお、絞り値の説明と同様に、タップ数の大きいフィルタほど、ゲインを大きくすることができる。
【００５９】
なお、これらの条件を単独で用いるだけでなく、複数の条件を組み合わせてゲインを制御しても良い。例えば、開放側で合焦範囲が大きい場合は、同じ絞り値で合焦範囲が小さい場合よりもエッジボケの広がりが大きくなる。そのため、図９（ｄ）に示すように、ピント移動量×（１／Ｆ値）を新たな条件として定義し、その値が大きい（開放側で合焦範囲が大きい）場合、Ｇａｉｎ［ｋ］を大きくするように制御する。
【００６０】
ここでは、前述した被写体距離の算出方法について簡単に説明する。被写体距離の算出は、公知技術を用いてよく、たとえば、画像の像ずれ量（視差量）から算出することができる。または、ピント位置の異なる画像から被写体距離を算出するＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ（ＤＦＤ）方式を用いてもよい。被写体距離を算出できる方法であれば、これらに限定されるものではない。
【００６１】
ステップＳ６０３で、画像処理部１０７は、ステップＳ６０２でゲインをかけたコントラスト値を統合してｍ枚目の画像の評価値Ｅｍ（ｘ，ｙ）を生成する。統合の方法は、ゲインをかけたコントラスト値の加算や加算平均などがあげられるが、それらの方法に限らない。
【００６２】
ステップＳ６０４で、すべての画像に対してステップＳ６０１乃至Ｓ６０３での処理を行ったかどうかについて判断し、すべての画像が処理済みならステップＳ６０５に進む。
【００６３】
ステップＳ６０５では、ステップＳ６０３で算出した評価値に基づいて、画像処理部１０７は、合成比率を決める。具体的に、ｍ枚目の画像のうち、同じ座標（ｘ，ｙ）に位置する画素のうち、最もコントラスト値の高い座標に１００％の合成比率を与える。
【００６４】
もしくは、画像処理部１０７は、下記の（式６）に従い、合成マップを生成する。
【００６５】
【数５】
2019212969.tif 000007
【００６６】
ただし、（式６）では、Ｍは画像の枚数を示し、（ｘ，ｙ）は座標を示す。さらに、ステップＳ５０３で、（式６）の計算結果を用いて下記の（式７）に代入して合成画像を生成する。
【００６７】
【数６】
2019212969.tif 000008
【００６８】
ただし、（式７）では、Ｉｋ（ｘ，ｙ）は、ｋ枚目の画像の座標（ｘ，ｙ）の画素値を示し、Ｏ（ｘ，ｙ）は合成画像の座標（ｘ，ｙ）の画素値を示す。
【００６９】
また、（式６）の計算において、適宜に変形してもよい。たとえば、（式６）の分母の計算のとき、Ｅｍ（ｘ，ｙ）の値が所定値以下のものは０とみなしてよい。また、（式６）の右側の計算結果が所定値以上になれば、Ａｍを１００％とみなしてもよい。
【００７０】
第１の実施形態によれば、算出したコントラスト値に対してタップ数の異なるフィルタをかけた出力に対して、ゲインをかけて統合した評価値を用いて合成を行うことで、エッジボケを低減した合成画像を生成することができる。
【００７１】
（第２の実施形態）
第１の実施形態では、コントラスト値を周辺画素まで広げる処理をタップ数の異なるフィルタで実現したが、第２の実施形態では、多重解像度画像を用いてコントラスト値を周辺画素まで広げる。以下では、第２の実施形態について、第１の実施形態と異なる所を中心に説明する。なお、第１の実施形態と同様な所は省略する。
【００７２】
第２の実施形態のフローは、第１の実施形態の図２乃至図５と同様である。しかし、第２の実施形態におけるステップＳ５０２での合成マップの生成は、第１の実施形態と異なる。
【００７３】
図１０は、第２の実施形態におけるステップＳ５０２での合成マップの生成について説明するためのフローチャートである。図１１は、第２の実施形態におけるステップＳ５０２での合成マップの生成について説明するためのブロック図である。
【００７４】
ステップＳ１００１では、画像処理部１０７は、ステップＳ５０１で算出したコントラスト値に対して、縮小率が異なる縮小部１１１１（縮小率１／Ｌ［０］）、１１１２で縮小処理（縮小率１／Ｌ［１］）を行う。縮小部１１１１の出力は拡大部１１２１（拡大率Ｌ［０］）、縮小部１１１２の出力は拡大部１１２２（拡大率Ｌ［１］）で拡大処理を行う。Ｌ［１］はＬ［０］より数値が大きいことを示す。また、図１１は２個の縮小部と２個の拡大部を例にしているが、その数に制約はないものとする。また、縮小部１１１１、拡大部１１２１をスルー出力（入力と出力が同じ信号）にする形態でも良いものとする。このように、逆数である縮小率と拡大率を用いることで、１つの縮小拡大処理を経て画像が元のサイズに戻れる。
【００７５】
前述した並行する縮小拡大処理により、第１の実施形態と同様に、検出したコントラスト値を、その周辺領域に広げることができる。したがって、エッジボケが発生している画素のコントラスト値よりも、ジャスピン画像のコントラスト値が高くなり、ジャスピン画像が出力しやすくなる。
【００７６】
また、縮小や拡大の方法に関してはニアレストネイバー、バイリニア、バイキュービック等を用いることが可能だが、算出したコントラスト値を周辺画素に広げることができれば、これらの方法以外でも良い。
【００７７】
ステップＳ１００３以降の処理（ゲインをかける処理から合成画像を生成する処理まで）は第１の実施形態と同様であるため省略する。
【００７８】
第１の実施形態によれば、多重解像度画像を用いた処理を経て、ゲインをかけて統合した評価値を用いて合成を行うことで、エッジボケを低減した合成画像を生成することができる。
【００７９】
（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、深度合成の機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。
【００８０】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８１】
１００  デジタルカメラ
１０１  制御部
１０２  駆動部
１０３  光学系
１０４  撮像部
１０５  ＲＯＭ
１０６  ＲＡＭ
１０７  画像処理部
１０８  表示部
１０９  内蔵メモリ
１１０  操作部
【図１】
2019212969.tif 000009
【図２】
2019212969.tif 000010
【図３】
2019212969.tif 000011
【図４】
2019212969.tif 000012
【図５】
2019212969.tif 000013
【図６】
2019212969.tif 000014
【図７】
2019212969.tif 000015
【図８】
2019212969.tif 000016
【図９】
2019212969.tif 000017
【図１０】
2019212969.tif 000018
【図１１】
2019212969.tif 000019
【図１２】
2019212969.tif 000020