(57)【要約】      （修正有）【課題】デジタルカメラ等のレンズの焦点距離の短いカメラで撮影した画像からでも焦点深度の浅い画像を得、主被写体を浮き上がらせ、強調する。【解決手段】同一のシーンに対し、全被写体に焦点が合った画像と絞り値が明るい主被写体にのみ焦点が合った焦点深度の浅い画像を取得し、画像間での被写体の対応付けをして位置合わせと色合わせをし、ぼけ関数を推定して、主被写体を強調し、周辺部をぼかした、より焦点深度の浅い画像を生成する。【選択図】        図１
2004310504.tif 000002
【特許請求の範囲】
【請求項１】
同一シーンに対して、全被写体に焦点の合った第一の画像と、主被写体に焦点の合った前記第一の画像よりも焦点深度の浅い第二の画像と、前記第二の画像の主被写体以外の領域におけるぼけ関数とから、前記第二の画像よりも焦点深度の浅い画像を生成することを特徴とする画像処理方法。
【請求項２】
前記第一の画像および第二の画像の間で被写体の同一部分が画像中で同一位置に配置されるよう画像の幾何学変換による位置合わせを行い、前記位置合わせ後の画像から、焦点深度の浅い画像を生成することを特徴とする請求項１の画像処理方法。
【請求項３】
前記第一の画像および第二の画像の間で被写体の同一部分の画像の色成分が一致するよう画像の色補正による色合わせを行い、前記色合わせ後の画像から、焦点深度の浅い画像を生成することを特徴とする請求項１の画像処理方法。
【請求項４】
前記画像処理方法によって生成された焦点深度の浅い画像と、前記生成された画像の主被写体以外の領域におけるぼけ関数とを再び入力として、焦点深度の浅い画像を生成することを特徴とする請求項１の画像処理方法。
【請求項５】
請求項１ないし請求項４の画像処理方法をプログラムとして記録した媒体。
【請求項６】
同一シーンに対して、主被写体に焦点合わせを行い、全被写体に焦点の合った第一の画像と、主被写体に焦点の合った前記第一の画像よりも焦点深度の浅い第二の画像とを、絞り値を変えて短時間で連写するモードを持つ撮影手段と、前記第二の画像の撮影条件から前記第二の画像の主被写体以外の領域におけるぼけ関数を推定する手段と、前記第一の画像と、前記第二の画像と、前記ぼけ関数推定手段で推定したぼけ関数とから、前記第二の画像よりも焦点深度の浅い画像を生成する手段を備えた画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラで撮影した複数の画像を処理して、焦点深度の浅い画像を生成し、ぼけ効果を利用して被写体像を強調する方法に関するものである。
【０００２】
【従来の技術】
従来、被写体像を背景から浮き上がらせたような焦点深度の浅い画像により被写体を強調した画像を得るには、例えば、３５ｍｍ銀塩フィルム用一眼レフカメラに３００ｍｍ等の望遠レンズを装着して撮影を行っていた。しかしながら、焦点距離の長い望遠系のレンズは一般にレンズが大きくなる、高価である等の問題がある。したがって、５０ｍｍ程度の標準レンズを使って撮影した画像においても焦点深度を浅くして被写体像を背景から浮き上がらせて撮影したいという要望がある。また、特に、デジタルカメラ等の撮影像面のサイズが小さい場合には、撮影レンズの焦点距離を長くすると撮影する画像の視野角が小さくなりすぎるので、現実的ではない。例えば、市販のキャノン製デジタルカメラＰｏｗｅｒＳｈｏｔＡ５０の撮影レンズの焦点距離は望遠端で１０．８ｍｍであり、この程度の焦点距離で撮影した画像においても焦点深度を浅くして被写体像を背景から浮き上がらせて強調したい。
【０００３】
このような要望から、近年、カメラで撮影した画像をデジタル画像データとしてコンピュータに取り込み、デジタル処理により、画像の背景部分のみ低域強調フィルタによりぼかして、焦点深度の浅い画像の生成が行われている。しかしながら、このような焦点深度の浅い画像を生成するには、画像から低域強調処理を行う背景部分を切り出す必要があり、被写体の輪郭が複雑な場合には、切り出し作業が煩雑であるという問題があった。
【０００４】
一方、カメラで撮影した複数の画像を処理して、異なる焦点深度の画像を生成する手法として、“Ｆｏｃｕｓｅｄ  Ｉｍａｇｅ  Ｒｅｃｏｖｅｒｙ  ｆｒｏｍＴｗｏ  Ｄｅｆｏｃｕｓｅｄ  Ｉｍａｇｅｓ  Ｒｅｃｏｒｄｅｄ  ｗｉｔｈ  Ｄｉｆｆｅｒｅｎｔ  Ｃａｍｅｒａ  Ｓｅｔｔｉｎｇｓ”（Ｓｕｂｂａｒａｏ  ｅｔａｌ．，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．４，Ｎｏ．１２，ｐｐ．１６１３−１６２７）、“複数画像からの全焦点画像の再構成”（児玉ら：電子情報通信学会論文誌Ｄ−ＩＩ，ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．９，ｐｐ．２２９８−２３０７）、等が公表されているが、いずれも、異なる位置にピントの合った複数の画像から画像の全領域でピントの合った焦点深度の深い画像を合成するものであり、焦点深度の浅い画像を生成する手法については、記載されていなかった。
【０００５】
【発明が解決しようとする課題】
本出願に係る第１の発明の目的は、前記問題点を解決し、焦点距離の短いレンズで撮影した画像においても、画像から背景部分を切り出すようなわずらわしい作業を行わずに、容易に焦点深度の浅い画像を得ることである。
【０００６】
また、本出願に係る第２の発明の目的は、撮影した複数の画像の間に被写体の位置ずれが生じても、本出願に係る第１の発明の目的を達成することである。
【０００７】
また、本出願に係る第３の発明の目的は、撮影した複数の画像の間に色成分のずれが生じても、本出願に係る第１の発明の目的を達成することである。
【０００８】
また、本出願に係る第４の発明の目的は、本出願に係る第１の発明において、さらに焦点深度の浅い画像を得ることである。
【０００９】
また、本出願に係る第５の発明の目的は、本出願に係る第１ないし第４の発明を汎用のコンピュータの処理プログラムとして提供することである。
【００１０】
また、本出願に係る第６の発明の目的は、本出願に係る第１の発明を容易に実行する装置を提供することである。
【００１１】
【課題を解決するための手段】
本発明では、距離が無限遠に近似できる背景（遠景）の前に人物等の主被写体（近景）が位置するシーンを撮影の対象とする。
【００１２】
絞りを絞ってシーンの全被写体にピントを合わせて撮影した画像をＩ０、画像Ｉ０のうち、主被写体に相当かる画像成分をＳ１、背景に相当する画像成分をＳ２とすると、
Ｉ０＝Ｓ１＋Ｓ２                      （式１）
となる。また、絞りを開けて主被写体にピントを合わせて撮影した画像をＩ１とすると、
Ｉ１＝Ｓ１＋ｈ＊Ｓ２                    （式２）
（但し、ｈは背景画像のピントずれによる劣化関数、＊はコンボリューション演算）
と表せる。Ｉ０、Ｉ１  ２つの画像を処理の入力画像とする。
【００１３】
さらに、仮想的に絞り径を大きくして撮影した場合、
Ｉ２＝Ｓ１＋（ｈ＊ｈ）＊Ｓ２              （式３）
のような背景画像が（ｈ＊ｈ）で表せる劣化関数により、ぼかされた画像を考えることができる。画像Ｉ２は、ピントの合った主被写体に対して、背景が画像Ｉ１よりさらにぼけた焦点深度の浅い画像にほかならない。（式１）〜（式３）より、
Ｉ２＝Ｉ１＋ｈ＊（Ｉ１−Ｉ０）            （式４）
が導出され、絞り値の異なる２つの画像から焦点深度の浅い画像を生成することができる。この時、絞り値以外の撮影パラメータは同一である。ここで、劣化関数ｈとしては、円状の明るさ一様の分布関数を考えることができる。劣化関数の半径ｐは、画像Ｉ１の撮影条件のうち、カメラの焦点距離をｆ、絞り値Ｆ、距離ｚの被写体にピントを合わせた場合、
ｐ＝ｆ２／（２Ｆ（ｚ−ｆ））          （式５）
であり、カメラの撮影パラメータより推定することができる。
【００１４】
さらに絞り径を大きくして撮影した画像を求める場合は、
Ｉ４＝Ｓ１＋（ｈ＊ｈ＊ｈ＊ｈ）＊Ｓ２        （式６）
なる画像Ｉ４を、
Ｉ４＝Ｉ２＋（ｈ＊ｈ）＊（Ｉ２−Ｉ０）    （式７）
より求めることができる。（式７）は（式４）でＩ１→Ｉ２、ｈ→（ｈ＊ｈ）とした場合である。すなわち、（式４）の処理の入力画像、劣化関数を更新して反復することにより、さらに大きな焦点効果が期待できる。
【００１５】
（式４）に示す処理の代わりに、入力画像Ｉ０、Ｉ１、劣化関数ｈをそれぞれＪ０、Ｊ１、Ｈにフーリエ変換して、
Ｊ２＝Ｊ１＋Ｈ（Ｊ１−Ｊ０）          （式８）
を求め、逆フーリエ変換により、合成画像Ｉ２を求めてもよい。反復処理による効果も同様に成り立つ。
【００１６】
以上説明した作用により、
前記本出願に係る第１の発明の目的を達成するため、本出願に係る第１の発明の画像処理方法は、同一シーンに対して、全被写体に焦点の合った第一の画像と、主被写体に焦点の合った前記第一の画像よりも焦点深度の浅い第二の画像と、前記第二の画像の主被写体以外の領域におけるぼけ関数とから、前記第二の画像よりも焦点深度の浅い画像を生成するようにした。
【００１７】
また、前記本出願に係る第２の発明の目的を達成するため、本出願に係る第２の発明の画像処理方法は、本出願に係る第１の発明の画像処理方法において、前記第一の画像および第二の画像の間で被写体の同一部分が画像中で同一位置に配置されるよう画像の幾何学変換による位置合わせを行い、前記位置合わせ後の画像から、焦点深度の浅い画像を生成するようにした。
【００１８】
また、前記本出願に係る第３の発明の目的を達成するため、本出願に係る第３の発明の画像処理方法は、本出願に係る第１の発明の画像処理方法において、前記第一の画像および第二の画像の間で被写体の同一部分の画像の色成分が一致するよう画像の色補正による色合わせを行い、前記色合わせ後の画像から、焦点深度の浅い画像を生成するようにした。
【００１９】
また、前記本出願に係る第４の発明の目的を達成するため、本出願に係る第４の発明の画像処理方法は、本出願に係る第１の発明の画像処理方法において、前記画像処理方法によって生成された焦点深度の浅い画像と、前記生成された画像の主被写体以外の領域におけるぼけ関数とを再び入力として、焦点深度の浅い画像を生成するようにした。
【００２０】
また、前記本出願に係る第５の発明の目的を達成するため、本出願に係る第５の発明の媒体は、本出願に係る第１の発明ないし第４の発明の画像処理方法を処理プログラムとして記録した。
【００２１】
また、前記本出願に係る第６の発明の目的を達成するため、本出願に係る第６の発明の画像処理装置は、同一シーンに対して、主被写体に焦点合わせを行い、全被写体に焦点の合った第一の画像と、主被写体に焦点の合った前記第一の画像よりも焦点深度の浅い第二の画像とを、絞り値を変えて短時間で連写するモードを持つ撮影手段と、前記第二の画像の撮影条件から前記第二の画像の主被写体以外の領域におけるぼけ関数を推定する手段と、前記第一の画像と、前記第二の画像と、前記ぼけ関数推定手段で推定したぼけ関数とから、前記第二の画像よりも焦点深度の浅い画像を生成する手段を備えた。
【００２２】
【発明の実施の形態】
（第１の実施例）
本発明の第１の実施例を図面を参照して説明する。以下、カメラで絞り値を変えて２枚の被写体画像を撮影し、その２枚の画像にデジタル画像処理を施し、焦点深度の浅い画像を生成する方法について述べる。
【００２３】
図１に本実施例における画像処理方法のアルゴリズムを示す。
【００２４】
ｓ１でまず、絞り値を変えた２枚の被写体画像を取得する。撮影はデジタルカメラで同一の被写体に対して絞り値を１つは主被写体にピントを合わせ絞り値を開放または比較的明るい絞り値（例えば、Ｆ２．８程度）で（画像Ｉ１）、もう１つはそのままピント位置を固定して、パンフォーカスの状態に絞り込んで（例えば、Ｆ１１程度に）（画像Ｉ０）行う。このとき、デジタルカメラの絞り値以外のパラメータ（例えば、撮影レンズの焦点距離やピント位置、ホワイトバランスなどの画像データ形成のための画像信号処理等）は、できるだけ変えないで２回の撮影を行うことが望ましい。これは、以下に行う画像処理で絞り値以外のパラメータが同一のものとして処理を行うためである。但し、絞り値を変えるとデジタルカメラのイメージセンサに到達する単位時間当たりの光量が変わるので、同一被写体が同一の輝度レベルとして画像が取得されるように露光時間等を調整することが望ましい。また、被写体が動く場合も想定すると絞り値の異なる２枚の画像の撮影はできるだけ短い撮影時間間隔で行うのが望ましく、絞り値の異なる画像の撮影が連写モードで行えるカメラで撮影するのが理想的である。これらの撮影された画像はデジタルカメラの記録媒体に記録される。記録媒体はデジタルカメラから着脱可能であり、汎用のコンピュータにインターフェースを介して接続することで、コンピュータのハードディスク等の記録媒体に画像データを書き込む。
【００２５】
ｓ２以降では、あらかじめコンピュータのメモリに格納しておいた本発明の画像処理アルゴリズムを遂行する処理プログラムを実行することにより、ｓ１で撮影し、コンピュータに取り込んだ絞り値の異なる２枚の画像データ（画像Ｉ０とＩ１）から被写界深度の浅い画像を生成する。
【００２６】
ｓ２では、２つの画像間での被写体の同一部分の対応付けを行う。画像間の対応付けを行う方法としては、一方の画像の任意の点を中心とした所定の領域をテンプレートとして、他方の画像の同一画像領域を探索するテンプレートマッチング法がある。このテンプレートマッチングによる対応付けを画像中の全点または、所定の点に対して行う。また、あらかじめ２つの画像中から特徴となるような点を抽出しておき、それぞれ抽出された特徴点を特徴点近傍の画像の画素値等の性質を基に対応付けを行う特徴点マッチングの手法を用いてもよい。
【００２７】
次のｓ３では、ｓ２で対応付けられた複数の対応点の情報を基に２つの画像の対応する点が画像中で同一位置に配置されるよう、画像の幾何学変換による位置合わせを行う。この時、２つの画像の撮影時間の間隔が比較的短く、被写体が静止物体である場合には、撮影時のカメラの微小な動きによる画像の位置ずれのみ考慮すればよく、カメラの動きモデルを仮定して、そのパラメータを推定して、画像の位置合わせを行う。カメラの動きモデルとしては、カメラの３軸方向の移動、回転の６パラメータモデルや、画像の水平、垂直方向の移動のみ考慮した２パラメータモデル等を用いる。対応付けの結果からカメラの動きモデルを推定して、一方の画像（ここでは画像Ｉ１）に対して推定したモデルに基づいた幾何学的変換を行なう。これらの幾何学変換を画像の小領域ごとに行って、位置合わせをすれば、さらに位置合わせの精度が向上できる。
【００２８】
次に、ｓ４では、画像の位置合わせを行った２つの画像の色合わせを行う。位置合わせ後の２つの画像の各小領域における画像の平均色成分が一致するように２つの画像の色補正テーブルを作成し、一方の画像の画素値（ここでは画像Ｉ１）を色補正テーブルに基づいて補正する。色合わせはここで述べたテーブル変換による方法以外にも、例えば、多項式により補正式をＲ、Ｇ、Ｂ各色成分で求め、その補正式に基づいた補正を行うようにしてもよい。ｓ４の処理では、画像の明るさ成分の補正も同時に行うことは、画像のＲ、Ｇ、Ｂ各色成分が明るさ成分を表すことより自明である。
【００２９】
次に、ｓ５では、ぼけ関数の推定を行う。ぼけ関数の推定は、ぼけパラメータｐを（式５）で示したように撮影時のカメラの焦点距離ｆ、画像Ｉ１撮影時の絞り値Ｆ、カメラのピントが合っている主被写体の距離ｚより求めることにより行う。そして、ぼけパラメータｐを画像データの画素数の単位に変換し、それを半径とした円状の一様分布特性を示すぼけフィルタを劣化関数ｈとして作成する。
【００３０】
次に、ｓ６では、被写体強調画像を生成する。入力画像Ｉ０と画像の幾何学変換、色補正後のＩ１、ｓ５で作成したぼけフィルタｈを用いて（式４）に従い、画像Ｉ２を生成する。
【００３１】
次に、ｓ７では、Ｓ６で生成した画像Ｉ２をコンピュータのディスプレイ等に表示する。
【００３２】
次に、ｓ８では、ユーザが表示された画像を見て、被写体の強調が十分かを判断し、所望の画像が得られた場合は処理を終了する。また、さらに強調処理を繰り返す場合は処理をｓ９に移す。
【００３３】
ｓ９では、ｓ６の処理に対する入力データの更新を行う。（式４）の入力画像Ｉ１をｓ６で生成された出力画像Ｉ２に更新する。また、劣化関数ｈを劣化関数（ｈ＊ｈ）に更新する。すなわち、
Ｉ２→Ｉ１，ｈ＊ｈ→ｈ                            （式９）
の更新を行う。そして処理をｓ６に移す。
【００３４】
以上述べたアルゴリズムにより、ぼけ効果を利用した所望の被写体強調画像を得ることができる。
【００３５】
（第２の実施例）
本発明の第２の実施例の画像処理方法のアルゴリズムは図１に示したものに準じており、第１の実施例と共通である。本実施例の特徴は、ｓ６での被写体強調画像の生成処理を（式８）に従って、入力画像のフーリエ変換画像に対して行うことにある。以下、その処理について簡単に説明する。
【００３６】
ｓ１でまず、絞り値を変えた２枚の被写体画像を取得する。この時、入力画像Ｉ０、Ｉ１のフーリエ変換Ｊ０、Ｊ１も求めておく。
【００３７】
ｓ２では、２つの画像間での被写体の同一部分の対応付けを行う。
【００３８】
次のｓ３では、ｓ２で対応付けられた複数の対応点の情報を基に２つの画像の対応する点が画像中で同一位置に配置されるよう、画像の幾何学変換による位置合わせを行う。
【００３９】
次に、ｓ４では、画像の位置合わせを行った２つの画像の色合わせを行う。
【００４０】
次に、ｓ５では、ぼけ関数の推定を行う。そして、推定したぼけパラメータｐを画像データの画素数の単位に変換し、それを半径とした円状の一様分布特性を示す劣化関数ｈのフーリエ変換Ｈを作成する。
【００４１】
次に、ｓ６では、被写体強調画像を生成する。入力画像Ｉ０のフーリエ変換Ｊ０と画像の幾何学変換、色補正後のＩ１のフーリエ変換Ｊ１、ｓ５で作成したぼけフィルタＨを用いて（式８）に従い、Ｊ２を求め、その逆フーリエ変換により画像Ｉ２を生成する。
【００４２】
次に、ｓ７では、ｓ６で生成した画像Ｉ２をコンピュータのディスプレイ等に表示する。
【００４３】
次に、ｓ８では、ユーザが表示された画像を見て、被写体の強調が十分かを判断し、所望の画像が得られた場合は処理を終了する。また、さらに強調処理を繰り返す場合は処理をｓ９に移す。
【００４４】
ｓ９では、ｓ６の処理に対する入力データの更新を行う。（式８）のＪ１をｓ６で求めたＪ２に更新する。また、ＨをＨ２に更新する。すなわち、
Ｊ２→Ｊ１，Ｈ２→Ｈ                            （式１０）
の更新を行う。そして処理をｓ６に移す。
【００４５】
本実施例では、本発明の第１の実施例と同等の効果が得られる。また、本実施例では、画像データを直接処理せず、フーリエ変換後に処理を行っているので、ぼけ関数のサイズが大きい場合に（式４）に示した画像のコンボリューション演算にかかる計算量を削減する効果が期待できる。
【００４６】
以上の実施例において、ｓ３で画像の幾何学変換による位置合わせを行っているが、この処理は同一被写体を絞り値以外同条件で撮影された画像においては行う必要がないが、現実には、２回の撮影の間にカメラや被写体が動くため、理想的な条件での撮影を再現するために行うものである。実際、２つの画像の位置ずれが生じているにもかかわらず、この処理を行わない場合には、主被写体と背景とのエッジ部分に不自然なぼけが生じる。また、ｓ６で理想的な処理を行うためには、サブピクセル精度で位置合わせを行う必要があり、そのためｓ２での対応づけもサブピクセルの精度で行うことが要求される。第１の実施例のｓ３の処理で説明した位置合わせ手法を必要精度に応じて使い分けるべきである。
【００４７】
また、ｓ４で画像の色合わせを行っているが、この処理は同一被写体を絞り値以外同条件で撮影された画像においては行う必要がないが、現実には、２回の撮影の間で同一被写体部分の画像の画素値が異なるため、理想的な条件での撮影を再現するために行うものである。実際、２つの画像の色ずれが生じているにもかかわらず、この処理を行わない場合には、ｓ６での処理を繰り返すごとに色ずれが強調されてしまう。
【００４８】
また、以上の実施例においては、入力画像が２枚の場合について、処理を説明したが、２枚以上の画像を使っても、同様な処理を行える。
【００４９】
次に、以上の実施例を実行するための装置の概略を図面を参照して説明する。
【００５０】
図２に本発明の画像処理装置の概要を示す。
【００５１】
１００は被写体、１０１は撮影手段、１０２はデータ入力手段、１０３はぼけ関数推定手段、１０４は画像生成手段、１０５は表示手段である。
【００５２】
ユーザは撮影手段１０１により、被写体１００の画像を複数取得する。撮影手段１０１はデジタルカメラとデジタルカメラの撮影を制御するカメラ制御手段等によって構成され、カメラ制御手段は撮影時に被写体１００に自動的に焦点合わせを行い、絞り値を最も絞った状態と開放で２枚の画像を連続して撮影するようデジタルカメラの制御を行う。デジタルカメラが前記のカメラ制御手段を備えていてもよい。
【００５３】
撮影後、ユーザはデータ入力手段１０２により撮影した複数の画像を画像生成手段１０４に送るよう指示する。また、データ入力手段１０２からぼけ関数推定手段１０３に必要な撮影パラメータ（撮影時のカメラの焦点距離、絞り値、被写体距離）を入力する。ぼけ関数推定手段１０３は図１のｓ５の処理を行う。また、画像生成手段１０４は図１のｓ２、ｓ３、ｓ４、ｓ６の処理を行う。ぼけ関数推定手段１０３、画像生成手段１０４は同一の汎用のコンピュータにより構成される。また、データ入力手段１０２はコンピュータにつながるキーボードで構成される。また、表示手段１０５はコンピュータにつながるＣＲＴディスプレイで構成される。ユーザは表示手段１０５に表示された生成後の画像を見て、処理を繰り返すかを判断し、データ入力手段１０２からその指示を画像生成手段に送る。
【００５４】
以上述べた構成により、容易にぼけ効果を利用した所望の被写体強調画像を得る装置を提供することができる。
【００５５】
【発明の効果】
以上説明したように、本出願に係る第１の発明によれば、同一シーンに対して、全被写体に焦点の合った第一の画像と、主被写体に焦点の合った前記第一の画像よりも焦点深度の浅い第二の画像と、前記第二の画像の主被写体以外の領域におけるぼけ関数とから、前記第二の画像よりも焦点深度の浅い画像を生成するようにしたので、焦点距離の短いレンズで撮影した画像においても、画像から背景部分を切り出すようなわずらわしい作業を行わずに、容易に焦点深度の浅い画像を得ることができる。
【００５６】
また、本出願に係る第２の発明によれば、本出願に係る第１の発明において、前記第一の画像および第二の画像の間で被写体の同一部分が画像中で同一位置に配置されるよう画像の幾何学変換による位置合わせを行い、前記位置合わせ後の画像から、焦点深度の浅い画像を生成するようにしたので、撮影した複数の画像の間に被写体の位置ずれが生じても、本出願に係る第１の発明の目的を達成することができる。
【００５７】
また、本出願に係る第３の発明によれば、本出願に係る第１の発明において、前記第一の画像および第二の画像の間で被写体の同一部分の画像の色成分が一致するよう画像の色補正による色合わせを行い、前記色合わせ後の画像から、焦点深度の浅い画像を生成するようにしたので、撮影した複数の画像の間に色成分のずれが生じても、本出願に係る第１の発明の目的を達成することができる。
【００５８】
また、本出願に係る第４の発明によれば、本出願に係る第１の発明において、前記画像処理方法によって生成された焦点深度の浅い画像と、前記生成された画像の主被写体以外の領域におけるぼけ関数とを再び入力として、焦点深度の浅い画像を生成するようにしたので、本出願に係る第１の発明において、さらに焦点深度の浅い画像を得ることができる。
【００５９】
また、本出願に係る第５の発明によれば、本出願に係る第１ないし第４の発明をプログラムとして媒体に記録したので、コンピュータの処理プログラムにより本出願に係る第１ないし第４の発明を実施することができる。
【００６０】
また、本出願に係る第６の発明によれば、同一シーンに対して、主被写体に焦点合わせを行い、全被写体に焦点の合った第一の画像と、主被写体に焦点の合った前記第一の画像よりも焦点深度の浅い第二の画像とを、絞り値を変えて短時間で連写するモードを持つ撮影手段と、前記第二の画像の撮影条件から前記第二の画像の主被写体以外の領域におけるぼけ関数を推定する手段と、前記第一の画像と、前記第二の画像と、前記ぼけ関数推定手段で推定したぼけ関数とから、前記第二の画像よりも焦点深度の浅い画像を生成する手段を備えるようにしたので、本出願に係る第１の発明を容易に実行する装置を提供できる。
【図面の簡単な説明】
【図１】本発明の画像処理方法のアルゴリズムを示す図。
【図２】本発明の画像処理装置の概要を示す図。
【図１】
2004310504.tif 000003
【図２】
2004310504.tif 000004