(57)【要約】【課題】  深度合成において合成画像の粗を減らすために一様にぼかすと、画像のディティールを保てない。【解決手段】  画像処理装置は、複数の画像のコントラスト値に基づいて各々の領域の合成比率を算出する算出手段と、前記合成比率に対して調整を行う調整手段と、前記調整手段が前記調整を行った後の合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、を有し、前記調整手段が前記調整で、前記画像において、隣り合う前記領域の合成比率の関係を、滑らかにし、前記調整において、第１のコントラスト値をもつ第１の領域に対する前記調整の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記調整の度合いよりも、強いことを特徴とする。【選択図】  図７
2020021175.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像のコントラスト値に基づいて各々の領域の合成比率を算出する算出手段と、
前記合成比率に対して調整を行う調整手段と、
前記調整手段が前記調整を行った後の合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、を有し、
前記調整手段が前記調整で、前記画像において、隣り合う前記領域の合成比率の関係を、滑らかにし、
前記調整において、第１のコントラスト値をもつ第１の領域に対する前記調整の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記調整の度合いよりも、強いことを特徴とする画像処理装置。
【請求項２】
前記調整手段が前記調整を行った後は、前記画像において、隣り合う前記領域の合成比率のうち、より高い前記合成比率をより低い前記合成比率をもつ領域に広がり、
前記調整において、前記第１の領域が、前記第２の領域よりも、該領域の前記合成比率が広めに広がることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像は、少なくとも一部の画角が重なることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記算出手段は、前記複数の画像のそれぞれ対応する位置のコントラスト値のうち、より高いコントラスト値に対してより大きい合成比率を設定することを特徴とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記調整手段は、前記複数の画像のそれぞれ対応する位置の前記合成比率に対して、正規化を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記対応する位置は、前記複数の画像を画角が一致するように位置合わせした後、同じ位置になることを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記調整手段は、前記合成比率に、異なる参照範囲を持つ複数のフィルタをかけてからさらに所定の統合比率をかけて得られた値に対して統合することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記調整手段は、前記フィルタの参照範囲に基づいて該フィルタをかけた後の前記合成比率にかける前記統合比率を決め、
該フィルタをかけた領域のコントラスト値が低いかつ該フィルタの参照範囲が狭いほど、前記統合比率がより低く、
該フィルタをかけた領域のコントラスト値が低いかつ該フィルタの参照範囲が広いほど、前記統合比率がより高いことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
ピント位置の異なる複数の画像を撮像する撮像手段と、
前記複数の画像のコントラスト値に基づいて各々の領域の合成比率を算出する算出手段と、
前記合成比率に対して調整を行う調整手段と、
前記調整手段が前記調整を行った後の合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、を有し、
前記調整手段が前記調整で、前記画像において、隣り合う前記領域の合成比率の関係を、滑らかにし、
前記調整において、第１のコントラスト値をもつ第１の領域に対する前記調整の度合い、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記調整の度合いよりも、強いことを特徴とする撮像装置。
【請求項１０】
複数の画像のコントラスト値に基づいて各々の領域の合成比率を算出する算出ステップと、
前記合成比率に対して調整を行う調整ステップと、
前記調整ステップにおいて前記調整を行った後の合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成ステップと、を有し、
前記調整ステップにおいて前記調整で、前記画像において、隣り合う前記領域の合成比率の関係を、滑らかにし、
前記調整において、第１のコントラスト値をもつ第１の領域に対する前記調整の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記調整の度合いよりも、強いことを特徴とする画像処理装置の制御方法。
【請求項１１】
画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
複数の画像のコントラスト値に基づいて各々の領域の合成比率を算出する算出ステップと、
前記合成比率に対して調整を行う調整ステップと、
前記調整ステップにおいて前記調整を行った後の合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成ステップと、を行わせ、
前記調整ステップにおいて前記調整をで、前記画像において、隣り合う前記領域の合成比率の関係を、滑らかにし、
前記調整において、第１のコントラスト値をもつ第１の領域に対する前記調整の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記調整の度合いよりも、強いことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピント位置の異なる複数の画像を合成する画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどを用いて距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２１６５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述したような深度合成の方法を用いると、被写体の境界では合成比率がバタつき、合成境界が目立ってしまい、合成画像に粗がでてしまうことがある。これに対して、合成画像を全面的にぼかすことで前述した課題が解消されると期待されているが、ディティールを表現したい部分があるとその部分のディティールが失われてしまうことがある。
【０００５】
本発明は、上記の課題を鑑みてなされたものであり、ピント位置の異なる複数の画像を用いて合成した画像において、被写体のディティールと隣接画素間の合成比率を滑らかに切り替えこととが両立できる画像処理装置を提供するものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本願発明は、複数の画像のコントラスト値に基づいて各々の領域の合成比率を算出する算出手段と、前記合成比率に対して調整を行う調整手段と、前記調整手段が前記調整を行った後の合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、を有し、前記調整手段が前記調整で、前記画像において、隣り合う前記領域の合成比率の関係を、滑らかにし、前記調整において、第１のコントラスト値をもつ第１の領域に対する前記調整の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記調整の度合いよりも、強い画像処理装置を提供する。
【発明の効果】
【０００７】
本発明の構成によれば、ピント位置の異なる複数の画像を撮像して合成した画像において、被写体のディティールを保ったままで隣接画素間の合成比率の変化を滑らかにする画像処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。
【図２】本発明の実施形態における合成画像の生成について説明するためのフローチャートである。
【図３】本発明の実施形態における撮像について説明するためのフローチャートである。
【図４】本発明の実施形態における位置合わせについて説明するためのフローチャートである。
【図５】本発明の実施形態における画像の合成について説明するためのフローチャートである。
【図６】本発明の実施形態における合成マップの生成について説明するためのフローチャートである。
【図７】本発明の実施形態における合成比率の統合について説明するためのブロック図である。
【図８】本発明の実施形態における統合比率αとコントラスト値Ｃ（ｘ，ｙ）との関係の一例を示すグラフである。
【発明を実施するための形態】
【０００９】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１０】
図１は本発明の実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。
【００１１】
制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。
【００１２】
駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。
【００１３】
光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。
【００１４】
撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。
【００１５】
ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１６】
画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。
【００１７】
画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。
【００１８】
表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。
【００１９】
内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。
【００２０】
操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。
【００２１】
図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ２０１では、撮像部１０４は、ピント位置の異なる複数の画像を撮像する。ステップＳ２０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した複数の画像に対して画角が一致するように位置合わせを行う。ステップＳ２０３で、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、合成画像を生成する。以下では、それぞれのステップについて詳細に説明する。
【００２２】
図３は、本実施形態におけるステップＳ２０１での撮像について説明するためのフローチャートである。
【００２３】
ステップＳ３０１で、制御部１０１は、ピント位置の設定を行う。たとえば、ユーザは表示部１０８が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。同時に、制御部１０１は、設定したピント位置において、距離順に撮像順番を決める。
【００２４】
ステップＳ３０２で、撮像部１０４は、ステップＳ３０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。
【００２５】
ステップＳ３０３で、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、図３に示したフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ３０２に戻る。
【００２６】
また、上記のような撮像方法は、光学系１０３や撮像部１０４を複数有する多眼カメラなどを用いて、より少ない撮像回数で実施してもよい。
【００２７】
図４は、本実施形態におけるステップＳ２０２での位置合わせについて説明するためのフローチャートである。
【００２８】
ステップＳ４０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。
【００２９】
ステップＳ４０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ４０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。
【００３０】
ステップＳ４０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲として設定する。制御部１０１は、対象画像のそれぞれの探索範囲において、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ４０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。
【００３１】
ステップＳ４０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。
【００３２】
ステップＳ４０５で、画像処理部１０７は、ステップＳ４０４で算出した変換係数を用いて対象画像に対して変換を行う。
【００３３】
たとえば、制御部１０１は、（式１）に示した式を用いて変形を行うことができる。
【００３４】
【数１】
2020021175.tif 000003
【００３５】
（式１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。
【００３６】
ステップＳ４０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、このフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ４０２に戻る。
【００３７】
図５は、本実施形態におけるステップＳ２０３での画像の合成について説明するためのフローチャートである。
【００３８】
ステップ５０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）
【００３９】
次に、注目画素を含む３×３の画素範囲の輝度Ｙの行列Ｌに、下記の（式３）乃至（式５）に示したように、ソーベルフィルタを用いて、注目画素におけるコントラスト値Ｉを算出する。
【００４０】
【数２】
2020021175.tif 000004
【００４１】
【数３】
2020021175.tif 000005
【００４２】
【数４】
2020021175.tif 000006
【００４３】
また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。
【００４４】
ステップＳ５０２で、画像処理部１０７は合成マップを生成する。画像処理部１０７は、位置合わせした後のそれぞれの画像の同じ位置にある画素のコントラスト値を比較し、合成比率を算出する。
【００４５】
たとえば、同じ位置にある画素のうち、最もコントラスト値の高いものに、１００％の合成比率を与える。
【００４６】
また、下記の（式６）を用いて、Ｍ枚の画像のうちのｍ番目の画像の座標（ｘ，ｙ）に位置する画素の合成比率を算出することができる。
【００４７】
【数５】
2020021175.tif 000007
【００４８】
ステップＳ５０３で、画像処理部１０７は、ステップＳ５０２で算出した合成マップを補正する。
【００４９】
図６は、ステップＳ５０２での合成マップの補正を説明するためのフローチャートである。
【００５０】
ステップＳ６０１で、画像処理部１０７は、ステップＳ５０２で算出した各画素に対応する合成比率に対してフィルタ処理を行う。フィルタの種類としては、タップ数にて規定される参照範囲内の合成比率の最大値を出力するＭＡＸフィルタや平均値フィルタなどが挙げられる。なおかつ、ステップＳ６０１で、画像処理部１０７は、合成比率に対してタップ数の異なるフィルタを別々にかけて、合成比率を平滑化した複数のデータを得る。ここで説明の便宜上、Ｎ［０］、Ｎ［１］の２種類の平滑化の度合いの異なるフィルタをかけることとするが、フィルタの数は２つに限らない。Ｎ［０］のフィルタのタップ数は、Ｎ［１］よりも少ないとする。つまり、Ｎ［０］のフィルタの参照範囲は、Ｎ［１］よりも狭い。Ｎ［０］のフィルタを、スルー出力（入力と出力が同じ信号）にする形態でも良いものとする。画像処理部１０７がフィルタをかけることによって、ステップＳ５０２で算出した合成比率を周辺に広げることができる。合成比率が画素間で急激に変化する場合、画像処理部１０７がフィルタをかけることによって、画素間の合成比率の変化を滑らかにすることができる。
【００５１】
次に、ステップＳ６０２で、画像処理部１０７は、ステップＳ６０１で複数のフィルタをかけた後の合成比率を統合する。
【００５２】
図７は、本実施形態における合成比率の統合について説明するためのブロック図である。画像処理部１０７は、合成比率Ａｍ（ｘ，ｙ）に対して、フィルタＮ［０］およびＮ［１］のそれぞれをかける。次に、画像処理部１０７は、２種類のフィルタをかけた後の合成比率をコントラスト値に基づいて統合する。統合では、コントラスト値の高い領域ほどタップ数の少ないフィルタをかけた後の合成比率の統合比率を高くし、コントラスト値の低い領域ほどタップ数の多いフィルタをかけた後の合成比率の統合比率を高くする。タップ数の多いフィルタほど、かけた後の画面がよりぼけるので、コントラスト値の高い領域にタップ数の少ないフィルタをかけた後の合成比率の統合比率を高くすることによって、コントラスト値の高い領域のディティールを保てる。一方、コントラスト値の低いほどタップ数の多いフィルタをかけた後の合成比率の統合比率を高くすることによって、コントラスト値の低い領域において合成した後の粗を抑制することが期待できる。
【００５３】
ここでの統合比率と領域コントラスト値およびタップ数の関係は、表１に示す。
【００５４】
【表１】
2020021175.tif 000008
【００５５】
一例としては、フィルタＮ［０］をかけた後の合成比率をＡｍ０（ｘ，ｙ）とし、フィルタＮ［１］をかけた後の合成比率をＡｍ１（ｘ，ｙ）とすると、下記の（式７）により補正された合成比率をＢｍ（ｘ，ｙ）が算出できる。
Ｂｍ（ｘ，ｙ）＝（１−α）×Ａｍ０（ｘ，ｙ）＋α×Ａｍ１（ｘ，ｙ）・・・（式７）
【００５６】
（式７）に使われる比率αは統合比率であり、コントラスト値Ｃ（ｘ，ｙ）から算出することができる。なお、ここでのコントラスト値Ｃ（ｘ，ｙ）は、複数枚の画像の座標（ｘ，ｙ）のコントラスト値の最大値や、加算値、加重平均値のいずれかを用いてよい。
【００５７】
図８は、本実施形態における統合比率αとコントラスト値Ｃ（ｘ，ｙ）との関係の一例を示すグラフである。
【００５８】
次に、ステップＳ６０３で、制御部１０１は、すべての画像を処理したかどうかについて判断する。処理を済んでいない画像があれば、ステップＳ６０１に戻り、画像処理部１０７が未処理の画像に対してフィルタの処理を行う。
【００５９】
最後に、ステップＳ６０４に進み、画像処理部１０７が合成比率の再算出を行う。ここで、画像処理部１０７が、補正された合成比率Ｂｍ（ｘ，ｙ）に対して正規化を行い、最終的に合成画像の生成に用いる合成比率Ｂｍ’（ｘ，ｙ）を算出する。具体的に、下記の（式８）に従い算出する。
【００６０】
【数６】
2020021175.tif 000009
【００６１】
ただし、（式８）では、Ｍは画像の枚数を示し、（ｘ，ｙ）は座標を示す。（式８）に示したような正規化を行うことで、位置合わせした後の同じ座標の合成比率Ｂｍ’（ｘ，ｙ）の和が１になる。
【００６２】
ステップＳ５０４で、画像処理部１０７は下記の（式９）に従い、合成画像を生成する。
【００６３】
【数７】
2020021175.tif 000010
【００６４】
ただし、（式７）では、Ｉｋ（ｘ，ｙ）は、ｋ枚目の画像の座標（ｘ，ｙ）の画素値を示し、Ｏ（ｘ，ｙ）は合成画像の座標（ｘ，ｙ）の画素値を示す。
【００６５】
本実施形態によれば、深度合成の画像を生成するとき、合成画像の粗を減らすとともに、画像のディティールを保つことができる。
【００６６】
（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、深度合成の機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。
【００６７】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６８】
１００  デジタルカメラ
１０１  制御部
１０２  駆動部
１０３  光学系
１０４  撮像部
１０５  ＲＯＭ
１０６  ＲＡＭ
１０７  画像処理部
１０８  表示部
１０９  内蔵メモリ
１１０  操作部
【図１】
2020021175.tif 000011
【図２】
2020021175.tif 000012
【図３】
2020021175.tif 000013
【図４】
2020021175.tif 000014
【図５】
2020021175.tif 000015
【図６】
2020021175.tif 000016
【図７】
2020021175.tif 000017
【図８】
2020021175.tif 000018