(57)【要約】  被写体の光学像を結像して画像を作成する撮像系（１４）と、主要被写体に合焦する基準画像、および合焦位置が異なる画像を撮像させる撮像制御部（１３）と、撮像された複数枚の画像からぼけ強調画像を作成する画像合成部（２０）と、を有し、撮像制御部（１３）は、合焦距離が主要被写体の合焦距離を挟む対画像であって、主要被写体の錯乱円の直径ｄが等しいｎ対の対画像を、｜ｄｋ−１−ｄｋ｜≦｜ｄｋ−ｄｋ＋１｜となるように撮像させるぼけ強調画像処理装置。
2016199209.tif 000002
【特許請求の範囲】
【請求項１】
主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系と、
上記撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御部と、
上記撮像制御部の制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成部と、
を有し、
上記撮像制御部は、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄｋ−１−ｄｋ｜≦｜ｄｋ−ｄｋ＋１｜
となるように制御することを特徴とするぼけ強調画像処理装置。
【請求項２】
上記画像合成部は、
上記基準画像を構成する各画素の奥行きを算出する奥行き算出部と、
上記奥行き算出部により算出された奥行きを上記複数枚の画像の合焦距離と比較して、上記合焦距離が上記奥行きと上記主要被写体側に最も近い画像を選択し、選択した画像を含む上記対画像の内の、上記選択した画像と相対する画像における対象画素に対してぼかし処理を行いぼかし画像を作成することを、複数の画素に対して行うことにより複数枚のぼかし画像を作成するぼかし部と、
を有し、上記ぼかし部によって作成された複数枚のぼかし画像を合成して上記ぼけ強調画像を作成することを特徴とする請求項１に記載のぼけ強調画像処理装置。
【請求項３】
上記画像合成部は、
上記基準画像を構成する各画素の奥行きを算出する奥行き算出部と、
上記各画素において、算出された上記奥行きに合焦するレンズ繰出位置が、主要被写体に合焦するレンズ繰出位置から離れるにつれて大きくなる重みで、奥行きが奥にある画素のフィルタ重みを大きくしたフィルタにより上記基準画像に対してぼかし処理を行い、ぼかし基準画像を作成する基準画像ぼかし部と、
上記基準画像における合焦領域からの画像上の距離が近い画素において、上記ぼかし基準画像の合成重みを大きくする合成重み算出部と、
をさらに備え、
上記合成重み算出部により算出された合成重みを用いて、上記ぼかし基準画像と、上記基準画像とは異なる画像と、を合成することを特徴とする請求項１に記載のぼけ強調画像処理装置。
【請求項４】
上記奥行き算出部は、
上記複数枚の画像の同一画素におけるコントラストを比較して、最もコントラストが大きい画像の合焦距離を該画素の推定奥行きとする奥行き推定部と、
上記複数枚の画像の同一画素におけるコントラストの分布に基づいて、上記推定奥行きの信頼度を算出する推定奥行き信頼度算出部と、
上記推定奥行きの信頼度が低い画素の奥行きを、信頼度が高い近傍の画素の推定奥行きに置き換える奥行き補正部と、
をさらに備えたことを特徴とする請求項２に記載のぼけ強調画像処理装置。
【請求項５】
上記奥行き算出部は、
上記複数枚の画像の同一画素におけるコントラストを比較して、最もコントラストが大きい画像の合焦距離を該画素の推定奥行きとする奥行き推定部と、
上記複数枚の画像の同一画素におけるコントラストの分布に基づいて、上記推定奥行きの信頼度を算出する推定奥行き信頼度算出部と、
上記推定奥行きの信頼度が低い画素の奥行きを、信頼度が高い近傍の画素の推定奥行きに置き換える奥行き補正部と、
をさらに備えたことを特徴とする請求項３に記載のぼけ強調画像処理装置。
【請求項６】
上記撮像制御部は、上記複数枚の画像の中に、無限遠の合焦距離で撮影された画像が含まれるように上記撮像系を制御することを特徴とする請求項１に記載のぼけ強調画像処理装置。
【請求項７】
合焦距離が上記基準画像の合焦距離よりも大きい画像に対して、合焦距離が上記主要被写体の合焦距離に近い順にｋ＝−１，−２，…，−ｎとしたときに、上記撮像制御部は、上記直径ｄｋが比Ｒを用いた次の関係
ｄｋ＝ｄｋ−１／Ｒ
を満たすように、上記撮像系を制御することを特徴とする請求項１に記載のぼけ強調画像処理装置。
【請求項８】
コンピュータに、
主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御ステップと、
上記撮像制御ステップの制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成ステップと、
を実行させるためのぼけ強調画像処理プログラムであって、
上記撮像制御ステップは、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄｋ−１−ｄｋ｜≦｜ｄｋ−ｄｋ＋１｜
となるように制御するステップであることを特徴とするぼけ強調画像処理プログラム。
【請求項９】
主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御ステップと、
上記撮像制御ステップの制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成ステップと、
を含むぼけ強調画像処理方法であって、
上記撮像制御ステップは、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄｋ−１−ｄｋ｜≦｜ｄｋ−ｄｋ＋１｜
となるように制御するステップであることを特徴とするぼけ強調画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる合焦距離で撮影した複数枚の画像を合成することにより、ぼけを強調した画像を作成するぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法に関する。
【背景技術】
【０００２】
焦点位置を変化させて異なる合焦距離で撮影した複数枚の画像から、主要被写体の前景および背景のぼけを強調した（その結果、主要被写体が引き立つようにした）ぼけ強調画像を画像処理によって作成する技術が従来より提案されている。【０００３】
例えば、日本国特開２００８−２７１２４１号公報には、第１の方法として、異なる合焦距離で撮影した複数枚の画像の、対応する画素のコントラストを比較することにより画素毎のぼかし量を算出し、主要被写体に最も合焦した画像に対してぼかし処理を行うことでぼけ強調画像を作成する方法が記載されている。この方法を用いた場合には、ぼかし処理により、ぼけが滑らかに変化するぼけ強調画像が得られる。【０００４】
また、日本国特開２０１４−１５０４９８号公報には、撮像により作成された入力画像に、撮影光学系の特性と撮影条件とを用いて輝度調整やぼけ形状の調整を行った後に、ぼけが大きいレンズの光学系を再現するフィルタ処理を行うことにより実際のレンズで撮影した画像のぼけと等しい形状のぼけ強調画像を作成する方法が記載されている。この方法を用いた場合には、原理上、実際のレンズで撮影した画像と等しいぼけをもつぼけ強調画像を作成することができる。【０００５】
一方、上述した日本国特開２００８−２７１２４１号公報には、第２の方法として、異なる合焦距離で撮影した複数枚の画像の、対応する画素のコントラストをそれぞれ算出して、主要被写体が合焦するよう撮影された画像でのコントラストが最大の画素は主要被写体が合焦する画像の画素を選択し、主要被写体以外が焦点位置となる合焦距離で撮影された画像でのコントラストが最大の画素は、画素のコントラストが最大の合焦距離と主要被写体に関して対称となる合焦距離で撮影された画像の画素を選択して画像合成することでぼけ強調画像を作成する方法が記載されている。この方法を用いた場合には、実際のレンズでぼかした画像を利用するために、理想的なぼけ形状のぼけ強調画像を得ることができる。【０００６】
しかしながら、上記日本国特開２００８−２７１２４１号公報に記載されたような、ぼかし処理によってぼけ強調画像を作成する第１の方法では、ぼけの形状が実際のレンズで撮影された画像と異なってしまい、自然な画像にならないことがある。【０００７】
また、上記日本国特開２０１４−１５０４９８号公報に記載された方法では、実際のレンズで撮影した画像と等しい自然なぼけをもつぼけ強調画像を得るためには、レンズの光学特性を非常に高い精度で特定する必要があり、かつ、十分に高い精度で演算を行う必要があるために、演算時間が長くなり、処理負荷も大きくなってしまう。【０００８】
さらに、上記日本国特開２００８−２７１２４１号公報に記載されたような、合成によりぼけ強調画像を作成する第２の方法では、ぼけが連続的に変化する自然な合成画像を作成するためには、合焦距離を細かいステップで変化させた各焦点位置で画像を撮影する必要があるために、撮影枚数が多くなってしまう。そして、撮影枚数が多くなると、画像を記憶するために大容量のメモリが必要となり、処理時間が長くなり、最も古い画像と最も新しい画像との時間差が大きくなるために被写体の動きが大きくなって多重像が発生してしまう。【０００９】
本発明は上記事情に鑑みてなされたものであり、自然なぼけをもつぼけ強調画像を比較的少ない枚数の画像に基づいて得ることができるぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法を提供することを目的としている。
【発明の開示】
【課題を解決するための手段】
【００１０】
本発明のある態様によるぼけ強調画像処理装置は、主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系と、上記撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御部と、上記撮像制御部の制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成部と、を有し、上記撮像制御部は、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄｋ−１−ｄｋ｜≦｜ｄｋ−ｄｋ＋１｜
となるように制御する。【００１１】
本発明のある態様によるぼけ強調画像処理プログラムは、コンピュータに、主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御ステップと、上記撮像制御ステップの制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成ステップと、を実行させるためのぼけ強調画像処理プログラムであって、上記撮像制御ステップは、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄｋ−１−ｄｋ｜≦｜ｄｋ−ｄｋ＋１｜
となるように制御するステップである。【００１２】
本発明のある態様によるぼけ強調画像処理方法は、主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御ステップと、上記撮像制御ステップの制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成ステップと、を含むぼけ強調画像処理方法であって、上記撮像制御ステップは、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄｋ−１−ｄｋ｜≦｜ｄｋ−ｄｋ＋１｜
となるように制御するステップである。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１において、レンズに関する基本的な用語を説明するための図。
【図３】上記実施形態１において、撮像装置がレンズ交換式のデジタルカメラである場合の焦点調整機構の構成例を示す図。
【図４】上記実施形態１において、ぼけ強調画像を作成するために取得される複数枚の画像の焦点位置の例を示す図。
【図５】上記実施形態１において、主要被写体の錯乱円の直径ｄとレンズ繰出量δとの関係を説明するための図。
【図６】上記実施形態１において、主要被写体の合焦距離Ｌが、大きいＦＲの場合、中程度ＭＤの場合、小さいＮＲの場合のそれぞれにおいて、ぼけ強調画像を作成するために取得される各画像のレンズ繰出量δの例を示す線図。
【図７】上記実施形態１の重み算出部において算出される画像合成用の重みの例を示す線図。
【図８】本発明の実施形態２における撮像装置の構成を示すブロック図。
【図９】上記実施形態２に関連して、上記図７に示す重みで画像合成を行ったときに発生するぼけの様子を示す図。
【図１０】上記実施形態２において、推定レンズ繰出量δｅｓｔ（ｉ）を挟み込んでレンズ繰出量δが隣接する２つの動き補正画像と主要被写体の錯乱円直径が等しく、レンズ繰出量がδ０に対してδｅｓｔ（ｉ）と反対側にある２つの動き補正画像の内の、ぼけが小さい方の動き補正画像をぼかし処理して画像合成を行う様子を示す図。
【図１１】上記実施形態２において、基準画像でぼけが小さい領域だけにぼかし処理を行うときの、画像合成用の重みの例を示す線図。
【図１２】本発明の実施形態３において、画像合成により主要被写体の輪郭が背景ににじむ状態が発生する様子を説明するための図。
【図１３】上記実施形態３において、フィルタを適用する領域内の画素に対して、推定レンズ繰出量が基準レンズ繰出量から離れるにつれて重みを大きくする例を示す線図。
【図１４】上記実施形態３において、フィルタを適用する領域内の各画素の推定レンズ繰出量が、領域中心画素の推定レンズ繰出量よりも小さいときに重みを大きくする例を示す線図。
【図１５】上記実施形態３において、動き補正画像に対して設定される初期重みを示す線図。
【図１６】上記実施形態３において、画素から主要被写体までの距離に応じて決定される係数を示す線図。
【図１７】上記実施形態３において、ぼかし基準画像における主要被写体の輪郭から所定半径の領域を示す図。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。【００１５】
［実施形態１］
図１から図７は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。【００１６】
本実施形態は、ぼけ強調画像処理装置を撮像装置（さらに具体的には、後述する図３に示すように、レンズ交換式のデジタルカメラ）に適用したものとなっている。【００１７】
この撮像装置は、撮像部１０と、画像合成部２０と、を備えている。【００１８】
撮像部１０は、焦点位置の調整（焦点調整）を行って画像を撮影するものであり、レンズ１１および撮像素子１２を有する撮像系１４と、この撮像系１４を制御する撮像制御部１３と、を備えている。【００１９】
レンズ１１は、被写体の光学像を撮像素子１２上に結像する撮像光学系である。【００２０】
撮像素子１２は、レンズ１１により結像された被写体の光学像を光電変換して、電気的な画像を作成し出力する。【００２１】
撮像制御部１３は、ぼけ強調画像を作成するのに適した複数の焦点位置（この焦点位置は、後述する図２に示す合焦距離Ｌを用いて表しても良いし、後で数式１８を参照して説明するようにレンズ繰出量δを用いて表しても構わない）を算出して、撮像素子１２に対してレンズ１１を光軸Ｏ方向に沿って前後に駆動することにより、算出された焦点位置への調整を行う。そして、撮像制御部１３は、各焦点位置において撮像素子１２を制御し撮像を行わせることにより、複数枚の画像を取得させる。ここに、撮像制御部１３は、撮像素子１２から取得した画像に基づいて撮像制御を行う。【００２２】
ここで、図２は、レンズ１１に関する基本的な用語を説明するための図である。【００２３】
無限遠の被写体からの光線がレンズ１１により結像されて合焦する結像面に撮像素子１２をおいたときに、レンズ１１から撮像素子１２までの光軸Ｏに沿った距離が焦点距離ｆである。【００２４】
また、レンズ１１から撮像素子１２までの光軸Ｏに沿った距離を変更することにより、焦点調整が行われる。このとき、レンズ１１から撮像素子１２までの光軸Ｏに沿った距離が焦点距離ｆよりも大きくなるほど、撮像素子１２上に結像される光学像において合焦している被写体までの光軸Ｏに沿った距離（合焦距離Ｌ）が短くなる。【００２５】
また、合焦距離Ｌの被写体の光学像が結像する位置に撮像素子１２があるとき、レンズ１１から撮像素子１２までの光軸Ｏに沿った距離から、レンズ１１の焦点距離ｆを差し引いた距離を、レンズ繰出量δ（ここに、レンズ繰出量は奥行きに一対一に対応する）と呼ぶ。【００２６】
このとき、レンズの公式は、次の数式１に示すように書くことができる。【００２７】
［数１］
2016199209.tif 000003
なお、デジタルカメラ等の撮像装置においては、被写体が特に近距離にある場合を除いて、Ｌ≫（ｆ＋δ）が成り立つことが多い。従って、合焦距離Ｌを、撮像装置から合焦する被写体までの距離と考えることができる。【００２８】
図３は、撮像装置がレンズ交換式のデジタルカメラである場合の焦点調整機構の構成例を示す図である。【００２９】
この図３に示すデジタルカメラは、カメラ本体４０と、このカメラ本体４０に対してレンズマウント等を介して着脱自在な交換レンズ３０と、を備えている。ここに、カメラ本体４０に交換レンズ３０が装着されたときには、カメラ本体４０と交換レンズ３０とは通信接点５０を介して通信することができる。ここに、通信接点５０は、交換レンズ３０側に設けられた通信接点、およびカメラ本体４０に設けられた通信接点を含んで構成されている。【００３０】
交換レンズ３０は、絞り３１と、撮影レンズ３２と、絞り駆動機構３３と、光学系駆動機構３４と、レンズＣＰＵ３５と、エンコーダ３６と、を備えている。【００３１】
図１に示したレンズ１１は、この図３に示す構成例においては、絞り３１と撮影レンズ３２とを含む部分が該当する。【００３２】
絞り３１は、撮影レンズ３２を通過する光の範囲を、絞り開口の大きさを変化させることによって制御するものである。【００３３】
撮影レンズ３２は、１枚以上（一般的には複数枚）の光学レンズを組み合わせて構成されていて、例えばフォーカスレンズを含み、焦点調整できるように構成されている。【００３４】
絞り駆動機構３３は、レンズＣＰＵ３５の制御に基づき、絞り３１を駆動して絞り開口の大きさを調節する。【００３５】
光学系駆動機構３４は、レンズＣＰＵ３５の制御に基づき、撮影レンズ３２の例えばフォーカスレンズを光軸Ｏ方向に移動させることで、焦点調整を行う。【００３６】
エンコーダ３６は、カメラ本体４０の後述するボディＣＰＵ４７から送信されたデータ（命令も含む）を通信接点５０を介して受信し、一定の規則に基づいて別の形式に変換し、レンズＣＰＵ３５へ出力する。【００３７】
レンズＣＰＵ３５は、エンコーダ３６を介してボディＣＰＵ４７から受信したデータに基づいて、交換レンズ３０内の各部を制御するレンズ制御部である。【００３８】
カメラ本体４０は、シャッタ４１と、撮像素子４２と、シャッタ駆動回路４３と、撮像素子駆動回路４４と、入出力回路４５と、通信回路４６と、ボディＣＰＵ４７と、を備えている。【００３９】
シャッタ４１は、絞り３１および撮影レンズ３２を通過する光束が撮像素子４２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカニカルシャッタとなっている。【００４０】
撮像素子４２は、図１に示した撮像素子１２に対応するものであり、例えば２次元状に配列された複数の画素を有し、撮像素子駆動回路４４を介したボディＣＰＵ４７の制御に基づき、絞り３１、撮影レンズ３２、および開状態のシャッタ４１を介して結像された被写体の光学像を光電変換して画像を作成するものである。【００４１】
シャッタ駆動回路４３は、入出力回路４５を介してボディＣＰＵ４７から受信した命令に基づき、シャッタ４１を閉状態から開状態へ移行して露光を開始し、所定の露光時間が経過した時点でシャッタ４１を開状態から閉状態へ移行して露光を終了するように、シャッタ４１を駆動する。【００４２】
撮像素子駆動回路４４は、入出力回路４５を介してボディＣＰＵ４７から受信した命令に基づき、撮像素子４２の撮像動作を制御して露光および読み出しを行わせる。【００４３】
入出力回路４５は、シャッタ駆動回路４３、撮像素子駆動回路４４、通信回路４６、およびボディＣＰＵ４７における信号の入出力を制御する。【００４４】
通信回路４６は、通信接点５０と、入出力回路４５と、ボディＣＰＵ４７との間に接続されていて、カメラ本体４０側と交換レンズ３０側との通信を行う。例えば、ボディＣＰＵ４７からレンズＣＰＵ３５への命令は、この通信回路４６を介して通信接点５０側へ送信される。【００４５】
ボディＣＰＵ４７は、所定の処理プログラムに従ってカメラ本体４０内の各部を制御するシーケンスコントローラであり、上述したレンズＣＰＵ３５へ命令を送信することで、交換レンズ３０も制御するようになっており、撮像装置全体を統括的に制御する制御部である。【００４６】
ここに、図１に示した撮像制御部１３は、上述したような、絞り駆動機構３３、光学系駆動機構３４、レンズＣＰＵ３５、エンコーダ３６、通信接点５０、シャッタ４１、シャッタ駆動回路４３、撮像素子駆動回路４４、入出力回路４５、通信回路４６、ボディＣＰＵ４７等を含んでいる。【００４７】
この図３に示すデジタルカメラで取得された画像からぼけ強調画像を作成する合成処理は、デジタルカメラ内で行っても構わないし、記録媒体あるいは通信回線を介して外部の機器（例えばパーソナルコンピュータ等）へ出力し、外部の機器で行っても良い。従って、図３には図１の画像合成部２０に対応する構成を明示的に記載していない。【００４８】
次に、図４は、ぼけ強調画像を作成するために取得される複数枚の画像の焦点位置の例を示す図である。【００４９】
この図４に示すような、ぼけ強調画像を作成するのに適した複数枚の画像の焦点位置は、撮像制御部１３によって算出されるようになっている。ここに、図４には、一例として、焦点位置が異なる５枚の画像ｌ２〜ｌ−２を取得する例（撮影枚数Ｎ＝５となる例）を示している。【００５０】
まず、撮像素子１２およびレンズ１１の各構成や配置によって決定される画角内には、様々な被写体が存在するが、その中のユーザが狙いとする被写体が主要被写体である。具体的に、図４には、撮像部１０に対して、例えば中程度の距離にある被写体ＯＢＪ０、近い距離にある近接被写体ＯＢＪ１、やや遠い距離にある遠方被写体ＯＢＪ２、実質的に無限遠の距離にある無限遠被写体ＯＢＪ３が画角内に存在している。そして、例えば、被写体ＯＢＪ０を主要被写体としている。【００５１】
この主要被写体は、撮像装置においては、例えばユーザがフォーカスエリアを用いて合焦させた（例えば、撮像装置のレリーズボタンを半押ししてフォーカスロックした）被写体、あるいは撮像装置が顔認識処理を行って主要被写体であると推定した被写体などとして認識される。【００５２】
撮像制御部１３は、まず、公知のコントラストＡＦ、位相差ＡＦ、あるいはユーザによるマニュアルフォーカスなどにより、主要被写体が合焦するようにレンズ１１を駆動して焦点調整する。例えば、コントラストＡＦを用いた場合には、主要被写体のコントラストが最も高くなるように焦点調整が行われる。【００５３】
そして、撮像制御部１３は、主要被写体が合焦する焦点位置で撮像素子１２に撮像を行わせ、画像Ｉ０を取得する。そして、この主要被写体が合焦する焦点位置において撮像された画像Ｉ０を、基準画像と呼ぶことにする。【００５４】
次に、撮像制御部１３は、決定された基準画像Ｉ０の焦点位置に応じて、撮像装置から無限遠の距離にある被写体（図４に示す例では、無限遠被写体ＯＢＪ３）の、基準画像Ｉ０における錯乱円の直径を算出する。この錯乱円の直径は、基準画像Ｉ０の焦点位置と、レンズ１１の焦点距離ｆと、絞り開口の直径Ｄ（図５参照）と、撮像素子１２のサイズおよび画素数と、に基づいて算出される。【００５５】
続いて、撮像制御部１３は、基準画像Ｉ０における無限遠被写体の錯乱円の直径が大きいほど撮影される画像の枚数が多くなるように、撮影枚数Ｎを算出する。ここに、撮像制御部１３が算出する撮影枚数Ｎは３以上の奇数であり、Ｎ＝２ｎ＋１（ｎは自然数）として表される。【００５６】
これらＮ枚の画像の内の、１枚は基準画像Ｉ０であり、ｎ枚は焦点位置が撮像部１０に対して主要被写体より遠く、合焦距離Ｌが基準画像Ｉ０よりも大きい画像であり、ｎ枚は焦点位置が撮像部１０に対して主要被写体より近く、合焦距離Ｌが基準画像Ｉ０よりも小さい画像である。【００５７】
以下では、撮影される画像を、合焦距離Ｌが大きい順に、Ｉ−ｎ，…，Ｉ−１，Ｉ０，Ｉ１，…，Ｉｎと記載することにする（ｎ＝２の場合を示す図４参照）。【００５８】
この記載法によれば、添え字が０である画像が基準画像Ｉ０、添え字が負である画像が基準画像Ｉ０よりも合焦距離Ｌが大きい画像、添え字が正である撮影画像が基準画像Ｉ０よりも合焦距離Ｌが小さい画像である。【００５９】
また、画像Ｉｋ（ｋは−ｎ〜ｎの何れか）における主要被写体の錯乱円の直径をｄｋとする。ここで、ｄ０は主要被写体に合焦する基準画像Ｉ０における主要被写体の錯乱円の直径であるために、許容錯乱円の直径以下となるが、ほぼ０であると見なして良いために、特に必要がない限りｄ０＝０であるとして扱うものとする。【００６０】
次に、図５は、主要被写体の錯乱円の直径ｄとレンズ繰出量δとの関係を説明するための図である。【００６１】
図５に示すように、主要被写体に合焦するときのレンズ繰出量（基準レンズ繰出量）をδ０とし、例えば、レンズ繰出量δが基準レンズ繰出量δ０よりも小さい場合の主要被写体の錯乱円の直径ｄを考える。レンズ１１における絞り開口の直径をＤとし、絞り開口を通過して撮像素子１２上に結像する光線の光軸Ｏに対する最大角度をθとすると、錯乱円の直径ｄは次の数式２により表される。【００６２】
［数２］
2016199209.tif 000004
一方、数式２の右辺に表れるｔａｎθは、次の数式３により与えられる。【００６３】
［数３］
2016199209.tif 000005
従って、数式２および数式３からｔａｎθを消去して、レンズ繰出量δを与える式として整理すれば、次の数式４を得る。【００６４】
［数４］
2016199209.tif 000006
また、レンズ繰出量δが基準レンズ繰出量δ０よりも大きい場合には、数式２における（δ０−δ）が（δ−δ０）に置き換わるだけであるので、レンズ繰出量δを与える式として次の数式５を得る。【００６５】
［数５］
2016199209.tif 000007
従って、数式４および数式５をまとめれば、主要被写体の錯乱円の直径がｄとなるためのレンズ繰出量δは、次の数式６に示すように表される。【００６６】
［数６］
2016199209.tif 000008
こうして、画像Ｉｋを撮影するときのレンズ繰出量δｋは、画像Ｉｋの合焦距離Ｌが、基準画像Ｉ０の合焦距離Ｌ（以下、基準合焦距離Ｌ０という）よりも大きい場合（−ｎ≦ｋ＜０）と、基準合焦距離Ｌ０以下である場合（０≦ｋ≦ｎ）と、に分けて記載すれば、次の数式７に示すようになる。【００６７】
［数７］
2016199209.tif 000009
この数式７の右辺に示す各量の内で、レンズ１１の焦点距離ｆおよび絞り開口の直径Ｄは、撮影時における撮影レンズ３２および絞り３１の状態からそれぞれ決定される。また、主要被写体に合焦するときの基準レンズ繰出量δ０は、上述したように、ＡＦ処理、あるいはマニュアルフォーカスなどにより決定される。【００６８】
従って、画像Ｉｋを撮影するときのレンズ繰出量δｋを求めるためには、画像Ｉｋに対応する主要被写体の錯乱円の直径ｄｋを決定すれば良い。【００６９】
この主要被写体の錯乱円の直径ｄｋの算出方法について、合焦距離Ｌが基準合焦距離Ｌ０よりも大きい第１の場合と、小さい第２の場合とに分けて、以下に説明する。【００７０】
まず、第１の場合、つまり、合焦距離Ｌが基準合焦距離Ｌ０よりも大きいｎ枚の画像Ｉ−１〜Ｉ−ｎにおける主要被写体の錯乱円の直径ｄ−１〜ｄ−ｎについて考える。【００７１】
このときまず、合焦距離Ｌが基準合焦距離Ｌ０よりも大きいｎ枚の画像中の、最も合焦距離Ｌが大きい画像Ｉ−ｎの合焦距離Ｌを無限遠に設定する。この合焦距離Ｌが無限遠の画像Ｉ−ｎを撮影するときには撮像素子１２はレンズ１１から焦点距離ｆの位置にあるために、レンズ繰出量δ−ｎ＝０となり、錯乱円の直径ｄ−ｎは、次の数式８に示すようになる。【００７２】
［数８］
2016199209.tif 000010
合焦距離Ｌが基準合焦距離Ｌ０よりも大きい残りのｎ−１枚の画像は、合焦距離Ｌが基準合焦距離Ｌ０に近い画像ほど（つまり、主要被写体の錯乱円の直径ｄが小さい画像ほど）、合焦距離Ｌが隣接する画像同士の主要被写体の錯乱円の直径ｄの差分絶対値が小さくなるように、すなわち、次の数式９の条件を満たすように、錯乱円の直径ｄｋを算出する。【００７３】
［数９］
｜ｄ０−ｄ−１｜
≦｜ｄ−１−ｄ−２｜
≦…
≦｜ｄ−（ｎ−１）−ｄ−ｎ｜
このような錯乱円の直径ｄｋの具体例としては、公比ＲをＲ≧２．０であるパラメータとして、錯乱円の直径ｄｋが等比数列をなすようにすることが挙げられる。【００７４】
より具体的に、ｄ−ｎを基準として、ｄ−（ｎ−１）からｄ−１までを、
ｄ−（ｎ−１）＝ｄ−ｎ／Ｒ
ｄ−（ｎ−２）＝ｄ−（ｎ−１）／Ｒ
・・・
ｄ−１＝ｄ−２／Ｒ
のように順に算出すること、つまり、ｄｋ（ｋ＝−（ｎ−１），−（ｎ−２），…，−１）を次の数式１０に示すような漸化式を用いて算出する方法が挙げられる。【００７５】
［数１０］
ｄｋ＝ｄｋ−１／Ｒ
あるいは、数式１０に示した漸化式に替えて、次の数式１１によりｄｋを算出しても構わない。【００７６】
［数１１］
ｄｋ＝ｄ−ｎ／Ｒｎ＋ｋ
なお、公比Ｒが２．０未満の数、例えば１．９であっても、撮影枚数Ｎを低減する効果を奏することはできる。従って、数式９に示した条件式の内の、最初の不等式、
｜ｄ０−ｄ−１｜
≦｜ｄ−１−ｄ−２｜
については満たさなくても構わないという条件緩和を行えば、公比Ｒ＞１とすることもできる。【００７７】
上述では公比Ｒをパラメータ（つまり、与えられた既知の値）として用いて、主要被写体の錯乱円の直径ｄｋを求めたが、パラメータに設定するのは公比Ｒに限るものではない。【００７８】
例えば、ｄ−１をパラメータ（つまり、与えられた既知の値）として用いるようにしても良い。この場合にはまず、公比Ｒを次の数式１２に示すように算出する。【００７９】
［数１２］
2016199209.tif 000011
ここに、ｄ−１＜ｄ−ｎであるために、算出された公比Ｒは、Ｒ＞１．０となる。なお、より好ましくは、Ｒ≧２．０となるように、パラメータｄ−１を与えると良い。【００８０】
そして、パラメータｄ−１と算出された公比Ｒとを用いて、ｋ＝−２，−３，…，−（ｎ−１）における錯乱円の直径ｄｋ（ｄ−ｎは既に既知であるために、算出を省略した）を、
ｄ−２＝Ｒ×ｄ−１
ｄ−３＝Ｒ×ｄ−２
・・・
ｄ−（ｎ−１）＝Ｒ×ｄ−（ｎ−２）
のように順に算出する方法、ひいては、次の数式１３に示すように算出する方法を用いても良い。【００８１】
［数１３］
ｄｋ＝Ｒ−ｋ−１×ｄ−１
あるいは、錯乱円の直径ｄ−ｎを基準として、数式１２により算出された公比Ｒを用いて、ｋ＝−（ｎ−１），−（ｎ−２），…，−２における錯乱円の直径ｄｋを、
ｄ−（ｎ−１）＝ｄ−ｎ／Ｒ
ｄ−（ｎ−２）＝ｄ−（ｎ−１）／Ｒ
・・・
ｄ−２＝ｄ−３／Ｒ
のように順に算出する方法、ひいては、次の数式１４に示すように算出する方法を用いても構わない。【００８２】
［数１４］
ｄｋ＝ｄ−ｎ／Ｒｎ＋ｋ
次に、第２の場合、つまり、合焦距離Ｌが基準合焦距離Ｌ０よりも小さいｎ枚の画像Ｉ１〜Ｉｎにおける主要被写体の錯乱円の直径ｄ１〜ｄｎについて考える。【００８３】
このときには、合焦距離Ｌが基準合焦距離Ｌ０よりも小さいｎ枚の画像（Ｉ１〜Ｉｎ）の主要被写体の錯乱円の直径ｄ１〜ｄｎが、上述した合焦距離Ｌが基準合焦距離Ｌ０よりも大きいｎ枚の画像Ｉ−１〜Ｉ−ｎにおける主要被写体の錯乱円の直径ｄ−１〜ｄ−ｎとそれぞれ等しくなるように、撮像制御部１３が設定する。【００８４】
すなわち、撮像制御部１３は、ｋ＝１，２，…，ｎに対して、次の数式１５に示すように設定する。【００８５】
［数１５］
ｄｋ＝ｄ−ｋ
ここに、主要被写体の合焦距離である基準合焦距離Ｌ０よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、主要被写体の光学像の錯乱円の直径ｄが等しい２つの画像が、対画像である。【００８６】
従って、数式９の条件を、合焦距離Ｌが基準合焦距離Ｌ０よりも小さいｎ枚の画像Ｉ１〜Ｉｎにおける条件に言い換えれば、撮像制御部１３は、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄｋ（ここに、ｋ＝１，…，ｎ）と表したときに、（ｎ−１）以下の任意のｋに対して、
｜ｄｋ−１−ｄｋ｜≦｜ｄｋ−ｄｋ＋１｜
となるように制御していることになる。あるいは、上述した条件緩和の下では、この式が２以上（ｎ−１）以下の任意のｋ（つまり、ｋ＝２，…，ｎ−１）に対して成立すれば良い。【００８７】
こうして、Ｎ枚の撮影画像Ｉ−ｎ〜Ｉｎにおける主要被写体の錯乱円の直径ｄ−ｎ〜ｄｎを求めたら、撮像制御部１３はさらに、上述した数式７に基づいて、レンズ繰出量δ−ｎ〜δｎを算出する。【００８８】
図６は、主要被写体の合焦距離Ｌが、大きいＦＲの場合、中程度ＭＤの場合、小さいＮＲの場合のそれぞれにおいて、ぼけ強調画像を作成するために取得される各画像のレンズ繰出量δの例を示す線図である。【００８９】
まず、主要被写体を被写体ＯＢＪ２に設定した場合、つまり、主要被写体の合焦距離Ｌが大きいＦＲの場合には、δ−１〜δ１の３つのレンズ繰出量が設定されている。【００９０】
また、主要被写体を被写体ＯＢＪ０に設定した場合、つまり、主要被写体の合焦距離Ｌが中程度ＭＤの場合には、δ−２〜δ２の５つのレンズ繰出量が設定されている。【００９１】
そして、主要被写体を被写体ＯＢＪ１に設定した場合、つまり、主要被写体の合焦距離Ｌが小さいＮＲの場合には、δ−３〜δ３の７つのレンズ繰出量が設定されている。【００９２】
ここに、合焦距離Ｌが無限遠となる画像Ｉを撮像するためのレンズ繰出量δは０であるから、ＦＲの場合にはδ−１＝０、ＭＤの場合にはδ−２＝０、ＮＲの場合にはδ−３＝０となる。【００９３】
また、主要被写体の合焦距離Ｌが小さいほど、レンズ繰出量δのダイナミックレンジが次のように大きくなる。【００９４】
「ＦＲの場合の｜δ１｜」
＜「ＭＤの場合の｜δ２｜」
＜「ＮＲの場合の｜δ３｜」
さらに、レンズ繰出量δのダイナミックレンジが大きい程、設定されるレンズ繰出量δの数が大きくなっているのは、次の理由による。【００９５】
すなわち、異なる合焦距離Ｌで撮影した画像の画素値を混合して合成するときに、画素値を混合する画像の何れかでぼけが小さい画素ほど、ぼけが急激に変化するのが目立ち、不自然な画像が生成され易い。【００９６】
そこで、ぼけが小さい領域では、細かいステップで焦点調整を行って錯乱円の直径ｄの差が小さい画像を取得し、錯乱円の直径ｄの差が小さい画像同士を合成することで、合成によるぼけ量の変化を小さくして、合成画像が不自然となることを防ぐようにしている。【００９７】
一方、ぼけが大きい領域では、錯乱円の直径ｄの差が大きい画像同士で画素値を混合して合成しても、ぼけ量の変化が目立ち難く、合成画像が不自然になり難い。従って、大きなステップで焦点調整を行って撮影枚数Ｎを少なくするようにしている。【００９８】
さらに、上述したように、主要被写体の錯乱円の直径ｄｋが一定の公比Ｒで変化する等比数列をなすようにした場合は、合成によるぼけ量変化を許容範囲に抑えた条件の下で、撮影枚数Ｎを効果的に低減することができる。【００９９】
その後、撮像制御部１３は、算出したレンズ繰出量δ−ｎ〜δｎに基づきレンズ１１を駆動して、撮像素子１２にＮ枚の画像Ｉ−ｎ〜Ｉｎを撮影させる。【０１００】
こうして撮像部１０によって取得されたＮ枚の画像は、画像合成部２０に入力されて、画像合成処理が行われ、ぼけ強調画像が作成される。【０１０１】
図１に示したように、画像合成部２０は、動き補正部２１と、コントラスト算出部２２と、重み算出部２３と、混合部２４と、を備えている。【０１０２】
画像合成部２０に画像が入力されると、まず、動き補正部２１が、基準画像Ｉ０以外の画像の、基準画像Ｉ０に対する動きを算出する。【０１０３】
具体的に、動き補正部２１は、基準画像Ｉ０の各画素に対する、基準画像Ｉ０以外の画像の動きベクトルを、例えば、ブロックマッチング、あるいは勾配法などにより算出する。この動きベクトルの算出は、基準画像Ｉ０以外の全ての画像Ｉ−ｎ〜Ｉ−１，Ｉ１〜Ｉｎに対して行われる。【０１０４】
さらに、動き補正部２１は、算出した動きベクトルに基づいて動き補正を行い、全ての画像における対応画素の座標が一致するように（具体的には、基準画像Ｉ０における各画素の座標に、基準画像Ｉ０以外の画像における対応各画素の座標が一致するように）画像を変形する。この動き補正により、撮像画像Ｉ−ｎ〜Ｉｎから、動き補正画像Ｉ−ｎ’〜Ｉｎ’が作成される。なお、動きベクトルを算出する基準として基準画像Ｉ０を用いているために、基準画像Ｉ０は動き補正を行う必要がなく、Ｉ０’＝Ｉ０となる。【０１０５】
次に、コントラスト算出部２２が、動き補正画像Ｉ−ｎ’〜Ｉｎ’のそれぞれに対して、画像を構成する各画素のコントラストを算出する。【０１０６】
このコントラストとしては、高周波成分の絶対値などが挙げられる。例えば、ある画素を着目画素として、着目画素を中心とした所定サイズの画素領域（例えば、３×３画素領域、あるいは５×５画素領域など）にラプラシアンフィルタなどのハイパスフィルタを作用させ、着目画素位置においてフィルタ処理の結果として得られた高周波成分の絶対値をさらに取ることで、着目画素のコントラストが算出される。【０１０７】
そして、処理対象画像における着目画素の位置を、例えばラスタスキャン順に移動させながらフィルタ処理および絶対値処理を行うことにより、処理対象画像における全画素のコントラストを得ることができる。【０１０８】
このようなコントラストの算出を、全ての動き補正画像Ｉ−ｎ’〜Ｉｎ’に対して行う。【０１０９】
続いて、重み算出部２３が、動き補正画像Ｉ−ｎ’〜Ｉｎ’を合成してぼけ強調画像を作成するための重みｗ−ｎ〜ｗｎを算出する。この重みｗ−ｎ〜ｗｎは、基準画像Ｉ０（上述したように、動き補正基準画像Ｉ０’と等しい）において合焦している被写体は合焦しているままとし、合焦している被写体の前景および背景におけるぼけが強調されるような重みとして算出される。【０１１０】
対応する画素位置が一致している動き補正画像Ｉ−ｎ’〜Ｉｎ’における、ある画素位置の画素をｉとして表すものとする。【０１１１】
そして、全ての動き補正画像Ｉ−ｎ’〜Ｉｎ’の中で、ある画素ｉのコントラストが最大となる動き補正画像がＩｋ’であるものとする。【０１１２】
このとき、全ての動き補正画像Ｉ−ｎ’〜Ｉｎ’における画素ｉに対する重みｗ−ｎ（ｉ）〜ｗｎ（ｉ）を設定する第１の重み設定方法は、動き補正画像Ｉ−ｋ’における画素ｉの重みｗ−ｋ（ｉ）を１に設定し、それ以外の動き補正画像における画素ｉの重みｗ−ｎ（ｉ）〜ｗ−（ｋ＋１）（ｉ），ｗ−（ｋ−１）（ｉ）〜ｗｎ（ｉ）を全て０に設定することである。【０１１３】
この第１の重み設定方法は、ある画素ｉのコントラストが最大となる動き補正画像Ｉｋ’と動き補正基準画像Ｉ０’を挟んで順序ｋが対称となる順序−ｋの動き補正画像Ｉ−ｋ’を、合成後のぼけ強調画像における画素ｉを取得する画像として選択することを意味している。【０１１４】
また、上述した第１の重み設定方法では、全ての動き補正画像Ｉ−ｎ’〜Ｉｎ’の中から１つの動き補正画像を、画素ｉのコントラスト最大値を与える動き補正画像であると近似した（つまり、画素ｉの奥行きが、全ての動き補正画像Ｉ−ｎ’〜Ｉｎ’の何れか１つの画像における画素ｉの奥行きに一致するという近似を行った）。しかし、より精密には、画素ｉのコントラスト最大値を与えるのは、順序ｋが隣接する２つの動き補正画像の中間（両端も含む）であると考えられる。【０１１５】
そこで、より精密化を図った第２の重み設定方法は、例えば、以下のようになる。【０１１６】
画素ｉのコントラストが最大となる動き補正画像がＩｋ’であるときには、画素ｉの真の合焦距離Ｌ（画素ｉに結像した光線を発した被写体までの合焦距離Ｌ）に対応するレンズ繰出量は、δｋに一致するか、δｋとδｋ−１との間にあるか、またはδｋとδｋ＋１との間にある。【０１１７】
そこで重み算出部２３は、この画素ｉの真の合焦距離Ｌに対応するレンズ繰出量の推定値をδｅｓｔ（ｉ）とおいて、この推定レンズ繰出量δｅｓｔ（ｉ）を、動き補正画像Ｉｋ’における画素ｉのコントラストおよびレンズ繰出量δｋと、動き補正画像Ｉｋ−１’における画素ｉのコントラストおよびレンズ繰出量δｋ−１と、動き補正画像Ｉｋ＋１’における画素ｉのコントラストおよびレンズ繰出量δｋ＋１と、に基づいて、例えば最小二乗法によるフィッティングやその他の適宜のフィッティングにより算出する。【０１１８】
こうして算出した画素ｉの真の合焦距離Ｌに対応するレンズ繰出量の推定値である推定レンズ繰出量δｅｓｔ（ｉ）は、δｋとδｋ＋ｍ（ｍ＝１または−１）との間にあるために、これらの内分比に基づき、つまり、｜δｋ＋ｍ−δｅｓｔ（ｉ）｜と｜δｅｓｔ（ｉ）−δｋ｜の比に基づき、動き補正画像Ｉ−ｋ’における画素ｉの重みｗ−ｋ（ｉ）と動き補正画像Ｉ−（ｋ＋ｍ）’における画素ｉの重みｗ−（ｋ＋ｍ）（ｉ）とを次の数式１６に示すように算出すると共に、これら動き補正画像Ｉ−ｋ’および動き補正画像Ｉ−（ｋ＋ｍ）’以外の動き補正画像における画素ｉの重みを０に設定する。【０１１９】
［数１６］
2016199209.tif 000012
このような第２の重み設定方法により設定される重みの、Ｎ＝５の場合の例を図７に示す。ここに、図７は、重み算出部２３において算出される画像合成用の重みの例を示す線図である。【０１２０】
この第２の重み設定方法を用いることにより、画像Ｉｎの合焦距離Ｌから画像Ｉ−ｎの合焦距離Ｌの間の、任意の合焦距離Ｌにある被写体のぼけをより正確に再現して、ぼけが連続的に変化する合成画像を作成することができる。【０１２１】
その後、混合部２４が、重み算出部２３により算出された重みｗ−ｎ（ｉ）〜ｗｎ（ｉ）を用いてＮ枚の動き補正画像Ｉ−ｎ’〜Ｉｎ’の画素値を混合してＩ−ｎ’〜Ｉｎ’を合成し、１枚の合成画像を作成する。【０１２２】
ここに、重みｗ−ｎ（ｉ）〜ｗｎ（ｉ）は、Ｎ枚の動き補正画像Ｉ−ｎ’〜Ｉｎ’のそれぞれにおける全画素に対して算出され、Ｎ枚の重みマップｗ−ｎ〜ｗｎとして作成されている。【０１２３】
そして、この混合部２４が合成処理を行うに際しては、Ｎ枚の動き補正画像Ｉ−ｎ’〜Ｉｎ’およびＮ枚の重みマップｗ−ｎ〜ｗｎのそれぞれを多重解像度分解して、解像度毎に合成し、合成後に多重解像度画像の再構築を行うことで、画像を合成する際の境界をより目立ち難くするようにしている。【０１２４】
具体的に、混合部２４は、画像Ｉ−ｎ’〜Ｉｎ’については、ラプラシアンピラミッドを作成することにより多重解像度分解する。また、混合部２４は、重みマップｗ−ｎ〜ｗｎについては、ガウシアンピラミッドを作成することにより多重解像度分解する。【０１２５】
すなわち、混合部２４は、画像Ｉｋ’からｌｅｖ段のラプラシアンピラミッドを作成して、画像Ｉｋ’と同解像度の成分Ｉｋ’（１）から、最も低解像度の成分Ｉｋ’（ｌｅｖ）までの各成分を得る。このとき、成分Ｉｋ’（ｌｅｖ）は、最も低解像度である解像度に動き補正画像Ｉｋ’を縮小した画像であり、その他の成分Ｉｋ’（１）〜Ｉｋ’（ｌｅｖ−１）は各解像度での高周波成分である。【０１２６】
同様に、混合部２４は、重みマップｗｋからｌｅｖ段のガウシアンピラミッドを作成して、重みマップｗｋと同解像度の成分ｗｋ（１）から、最も低解像度の成分ｗｋ（ｌｅｖ）までの各成分を得る。このとき、成分ｗｋ（１）〜ｗｋ（ｌｅｖ）は各解像度に縮小した重みマップである。【０１２７】
そして、混合部２４は、多重解像度のｍ階層目の合成を、成分Ｉ−ｎ’（ｍ）〜Ｉｎ’（ｍ）と、各対応する成分ｗ−ｎ（ｍ）〜ｗｎ（ｍ）の重みとを用いて、次の数式１７に示すように行い、ｍ階層目の合成結果ＩＢｌｅｎｄ（ｍ）を得る。【０１２８】
［数１７］
2016199209.tif 000013
ここで、ＩＢｌｅｎｄ（ｌｅｖ）はＩｋ’（ｌｅｖ）の解像度での合成結果であり、ＩＢｌｅｎｄ（１）〜ＩＢｌｅｎｄ（ｌｅｖ−１）は合成画像の各解像度での高周波成分である。【０１２９】
こうして算出された各成分ＩＢｌｅｎｄ（１）〜ＩＢｌｅｎｄ（ｌｅｖ）は、ラプラシアンピラミッドとなっているために、ＩＢｌｅｎｄ（１）〜ＩＢｌｅｎｄ（ｌｅｖ）に対してラプラシアンピラミッドの再構築処理を行うことで、多重解像度合成による合成画像を得る。【０１３０】
画像合成部２０は、このようにして混合部２４により合成した画像を、ぼけ強調画像として出力する。【０１３１】
このような実施形態１によれば、主要被写体の光学像の錯乱円の直径ｄが、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄｋ−１−ｄｋ｜≦｜ｄｋ−ｄｋ＋１｜
を満たすように撮像を行っているために、自然なぼけをもつぼけ強調画像を比較的少ない枚数の画像に基づいて得ることができる。【０１３２】
このときさらに、合焦距離が基準合焦距離よりも大きい画像に対して錯乱円の直径ｄｋが比Ｒを用いた次の関係
ｄｋ＝ｄｋ−１／Ｒ
を満たすようにすることで、撮影枚数をより有効に低減することができる。【０１３３】
そして、撮影する複数枚の画像の中に、無限遠の合焦距離で撮影された画像が含まれるようにしたために、主要被写体より遠くの任意の奥行きにある画素のぼけを適切に作成することができる。【０１３４】
こうして、ぼけ強調画像を作成する際に、基準画像から離れるにつれて主要被写体の錯乱円の直径ｄの増加量が大きくなるように焦点調整を行うことで、なるべく少ない撮影枚数で、ぼけの大きなレンズで撮影した画像とぼけの形状、大きさがほぼ同等であるぼけ強調画像を作成することができる。【０１３５】
［実施形態２］
図８から図１１は本発明の実施形態２を示したものであり、図８は撮像装置の構成を示すブロック図である。【０１３６】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。【０１３７】
上述した実施形態１では、ぼけ量が離散的に異なる動き補正画像Ｉ−ｎ’〜Ｉｎ’の画素を用いて混合部２４により画像合成を行っていた。しかし、この画像合成を図７に示す重みで行った場合には、例えば図９に示すように、画素値を混合した領域において、ぼけが小さい画像の輪郭が残ったままぼけが大きい画像の大きさで輪郭が広がり、芯がある不自然なぼけが発生してしまう。【０１３８】
ここに、図９は、図７に示す重みで画像合成を行ったときに発生するぼけの様子を示す図である。【０１３９】
そこで、本実施形態は、動き補正画像Ｉ−ｎ’〜Ｉｎ’にさらにぼかし処理を行って得られたぼかし画像Ｉ−ｎ”〜Ｉｎ”を用いて混合部２４により画像合成を行うようにしたものとなっている。【０１４０】
まず、本実施形態の画像合成部２０は、図８に示すように、上述した実施形態１の画像合成部２０の構成に加えてさらに、基準画像を構成する各画素の奥行きを算出する奥行き算出部２５と、ぼかし部２６と、を備えている。【０１４１】
動き補正部２１により作成された動き補正画像Ｉ−ｎ’〜Ｉｎ’は、コントラスト算出部２２に加えてさらに、奥行き算出部２５とぼかし部２６とへ出力される。【０１４２】
奥行き算出部２５は、奥行き推定部として機能するようになっており、まず、コントラスト算出部２２と同様に動き補正画像Ｉ−ｎ’〜Ｉｎ’の各画素のコントラストを算出する（あるいは、コントラスト算出部２２から動き補正画像Ｉ−ｎ’〜Ｉｎ’の各画素のコントラストを取得しても構わない）。このとき、全ての動き補正画像Ｉ−ｎ’〜Ｉｎ’の中で、ある画素ｉのコントラストが最大となる動き補正画像（つまり、Ｎ枚の動き補正画像における画素ｉの高周波成分を比較して、最も高周波成分の絶対値が大きい動き補正画像）がＩｋ’であるものとする。【０１４３】
すると、奥行き算出部２５は、重み算出部２３が上述した第２の重み設定方法を用いる場合に推定したレンズ繰出量δｅｓｔ（ｉ）を、上述と同様の方法を用いて推定する（あるいは、重み算出部２３により既に推定されている場合には、重み算出部２３から取得するようにしても構わない）。【０１４４】
ここで、レンズ繰出量がδであるときの合焦距離Ｌは、数式１に示したレンズの公式を変形することによって得られ、次の数式１８に示すようになる。【０１４５】
［数１８］
2016199209.tif 000014
この数式１８によればレンズ繰出量δから合焦距離Ｌが一意に決まるために、各画素の推定レンズ繰出量δｅｓｔ（ｉ）を算出すれば、画素毎の奥行きに対応する推定合焦距離Ｌｅｓｔ（ｉ）（上述した真の合焦距離Ｌの推定値）が得られることになる。【０１４６】
ぼかし部２６は、奥行き算出部２５により算出された奥行きに対応する推定合焦距離Ｌｅｓｔ（ｉ）を複数枚の画像の合焦距離と比較して、推定合焦距離Ｌｅｓｔ（ｉ）を挟んだ合焦距離の２つの画像の内の、合焦距離が推定合焦距離Ｌｅｓｔ（ｉ）よりも主要被写体側にある動き補正画像をまず選択する。さらに、ぼかし部２６は、選択した動き補正画像に対して、基準画像Ｉ０’を挟んで順序が対称となる動き補正画像（選択した動き補正画像と相対する動き補正画像）をさらに選択し、選択した順序が対称となる動き補正画像における対象画素に対してぼかし処理を行いぼかし画像を作成する。ぼかし部２６は、このような処理を、複数の画素に対して行うことにより、複数枚のぼかし画像を作成する。【０１４７】
具体的に、ぼかし部２６は、奥行き算出部２５により算出された画素ｉの推定レンズ繰出量δｅｓｔ（ｉ）に基づいて、推定レンズ繰出量δｅｓｔ（ｉ）を挟み込んでレンズ繰出量δが隣接する２つの動き補正画像と主要被写体の錯乱円直径が等しく、レンズ繰出量がδ０に対してδｅｓｔ（ｉ）と反対側にある２つの動き補正画像の内の、画素ｉのぼけが小さい方の画像にぼかし処理を行う。【０１４８】
すなわち、ぼかし部２６は、δ０≦δｅｓｔ（ｉ）である場合には、δｋ≦δｅｓｔ（ｉ）＜δｋ＋１（０≦ｋ≦（ｎ−１））となるｋと順序が対称となる−ｋの動き補正画像Ｉ−ｋ’を選択し、δｅｓｔ（ｉ）＝δｎである場合には、Ｉ−ｎ’をＩ−ｋ’として選択する。【０１４９】
また、ぼかし部２６は、δｅｓｔ（ｉ）＜δ０である場合には、δｋ−１＜δｅｓｔ（ｉ）≦δｋ（−（ｎ−１）≦ｋ≦０）となるｋと順序が対称となる−ｋの動き補正画像Ｉ−ｋ’を選択し、δｅｓｔ（ｉ）＝δ−ｎである場合には、Ｉｎ’をＩ−ｋ’として選択する。【０１５０】
さらに、ぼかし部２６は、選択した動き補正画像Ｉ−ｋ’における画素ｉのぼけ量が、δｅｓｔ（ｉ）−δ0＝δ0−δｔａｒｇｅｔ（ｉ）となるレンズ繰出量δｔａｒｇｅｔ（ｉ）で撮影したときの画素ｉのぼけ量と同じ大きさになるように、動き補正画像Ｉ−ｋ’における画素ｉを中心とした所定サイズ（例えば、３×３画素、あるいは５×５画素などであるが、ぼけの大きさに応じてサイズを変化させることになる）のぼかしフィルタを掛けてぼかし処理を行い、画素ｉがぼかされたぼかし画像Ｉ−ｋ”を作成する。【０１５１】
このとき、ぼかし部２６は、ぼかし処理を行うぼかしフィルタの大きさを与える直径ｂｒｅｂｌｕｒ（ｉ）を、次のように算出する。【０１５２】
まず、ぼかし部２６は、レンズ繰出量δをδｔａｒｇｅｔ（ｉ）およびδ−ｋとして撮影したときの画素ｉの錯乱円直径ｂｔａｒｇｅｔ（ｉ）およびｂ−ｋ（ｉ）を、次の数式１９を用いて算出する。【０１５３】
［数１９］
2016199209.tif 000015
ここに、数式１９は、レンズ繰出量をδとしてδｅｓｔ（ｉ）で合焦する画素ｉを撮影したときの、画素ｉのぼけ量としての錯乱円直径ｂ（ｉ）を与える式である。【０１５４】
さらに、ぼかし部２６は、算出したｂｔａｒｇｅｔ（ｉ）およびｂ−ｋ（ｉ）を用いて、次の数式２０によりｂｒｅｂｌｕｒ（ｉ）を算出する。【０１５５】
［数２０］
2016199209.tif 000016
こうして、ぼかし部２６は、算出したｂｒｅｂｌｕｒ（ｉ）の直径をもつぼかしフィルタで動き補正画像Ｉ−ｋ’をぼかすことにより、レンズ繰出量をδｔａｒｇｅｔ（ｉ）として撮影したときの画素ｉのぼけ量と同じ大きさのぼけ量を有するぼかし画像Ｉ−ｋ”を作成することができる。【０１５６】
ここで、ｂｒｅｂｌｕｒ（ｉ）の直径をもつぼかしフィルタにより動き補正画像Ｉ−ｋ’をぼかしたときのぼけ量と、レンズ繰出量をδｔａｒｇｅｔ（ｉ）として撮影したときの画素ｉのぼけ量とが厳密に等しい大きさとなるためには、画像Ｉ−ｋ’のぼけ形状がぼかしフィルタと同じガウシアンぼけでなくてはならない（すなわち、ぼかしフィルタとしてガウシアンを想定している）が、この条件が厳密に成立しない場合でも、数式２０で算出した直径をもつぼかしフィルタでぼかし処理を行えば、ぼけ量の大きさを近似的に等しくすることができる。【０１５７】
重み算出部２３は、ぼかし部２６により作成されたぼかし画像Ｉ−ｋ”における画素ｉに対して重み１を与え、その他の画像における画素ｉに対して重み０を与えるように、重みを設定する。【０１５８】
こうして混合部２４は、算出されたぼかし画像および重みを用いて、上述した実施形態１と同様に画像合成処理を行い、合成画像を作成する。【０１５９】
図１０は、推定レンズ繰出量δｅｓｔ（ｉ）を挟み込んでレンズ繰出量δが隣接する２つの動き補正画像と主要被写体の錯乱円直径が等しく、レンズ繰出量がδ０に対してδｅｓｔ（ｉ）と反対側にある２つの動き補正画像の内の、ぼけが小さい方の動き補正画像をぼかし処理して画像合成を行う様子を示す図である。【０１６０】
図１０に示す例においては、２つの動き補正画像Ｉ−ｐ’，Ｉ−ｐ−１’の内の、ぼけが小さい方の例えば動き補正画像Ｉ−ｐ’に対して、ぼけが大きくなるほど大きくぼかすようにぼかし処理してぼかし画像Ｉ−ｐ”を作成し、ぼけが大きい方の動き補正画像Ｉ−ｐ−１’と合成して、ぼけ強調画像ＳＩを作成している。【０１６１】
ところで、図９を参照して説明したような画素値を混合したことによるぼけの芯や、ぼけ量が異なる画像を合成したことによるぼけの不連続な変化は、ぼけが小さい領域において目立ち易い。【０１６２】
このとき、ぼけが小さい領域では、ぼけ量の不連続性を補正するためにかけるフィルタサイズが小さいために、フィルタ処理を短い時間で行うことができる。【０１６３】
これに対して、ぼけが大きい領域では、ぼけ量の不連続性を補正するためにかけるフィルタサイズが大きくなるために、フィルタ処理に要する時間が長くなるだけでなく、さらに、実際のレンズ１１で撮影した画像のぼけと、フィルタ処理を含む画像処理で最終的に得られた画像のぼけと、の形状の違いが顕著になる。そして、ぼけが大きい領域では、ぼけの芯やぼけの不連続な変化が比較的目立たない。【０１６４】
そこで、ぼけ量の変化を補正するためのフィルタ処理を、画像全体に対して行うのに代えて、基準画像でぼけが小さい領域だけに対して行うようにすると、処理時間を短縮しながら、実際のレンズ１１で撮影した画像のぼけとの形状の違いが生じるのを実効的に軽減することができて良い。【０１６５】
図１１は、基準画像でぼけが小さい領域だけにぼかし処理を行うときの、画像合成用の重みの例を示す線図である。この図１１には、Ｎ＝５の場合の例を示している。【０１６６】
例えば、この図１１に示すように、基準画像Ｉ０における、ぼけ量が小さい領域（錯乱円の直径ｄに対応するレンズ繰出量がδ−１以上かつδ１以下の領域）のみに対して、動き補正基準画像Ｉ０’（基準画像Ｉ０と等しい）にぼかし処理を行ってぼかし基準画像Ｉ０”としてから重み１を与えて合成処理し、基準画像Ｉ０におけるぼけ量が大きい領域（錯乱円の直径ｄに対応するレンズ繰出量がδ−１未満またはδ１よりも大きい領域）については、上述した実施形態１と同様に画素値を混合することでぼけ強調画像を得るようにすると良い。【０１６７】
このような、基準画像でぼけ量が小さい領域のみに対してぼかし処理を行うようにすることで、ぼけの芯やぼけの不連続な変化を目立たないようにして、自然なぼけ強調画像を得ることができる。【０１６８】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、２枚の画像におけるある画素の画素値を混合しようとする際に、該画素のぼけが小さい方の画像にぼかし処理を行ってぼけが大きい方の画像にぼけの大きさを近づけてから画素値の混合を行うようにしたために、ぼけの芯が発生するのを軽減することができる。【０１６９】
また、基準画像でぼけが小さい領域だけにぼかし処理を行うようにした場合には、処理負荷を軽減し、かつ処理時間を短縮しながら、視覚的にあまり不自然でないぼけ強調画像を得ることができる。【０１７０】
合焦距離が奥行きと主要被写体側に最も近い画像から、基準画像Ｉ０を挟んで順序が対称となる動き補正画像を選択し、選択した画像における対象画素に対してぼかし処理を行いぼかし画像を作成するようにしたために、対象画素の奥行きに応じたぼかし画像を得ることができる。【０１７１】
こうして、画像を合成する境界で、ぼけの大きさが等しくなるようにフィルタ処理を行った画像を合成することで、画像を合成してもぼけの芯がないぼけ強調画像を作成することができる。【０１７２】
［実施形態３］
図１２から図１７は本発明の実施形態３を示したものである。本実施形態の撮像装置の構成は上述した実施形態２の図８に示した構成と同様であるので改めての図示を省略して適宜引用するが、本実施形態の撮像装置は作用が異なるものとなっている。【０１７３】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。【０１７４】
本実施形態では、奥行き算出部２５、ぼかし部２６、重み算出部２３、および混合部２４の作用が、上述した実施形態１または実施形態２と異なっている。【０１７５】
例えば、上述した実施形態１では、動き補正部２１により動き補正を行った動き補正画像Ｉ−ｎ’〜Ｉｎ’を混合部２４により混合した。【０１７６】
これに対して本実施形態３では、ぼかし部２６により、動き補正基準画像Ｉ０’（上述したように、動き補正基準画像Ｉ０’は基準画像Ｉ０と等しい）に対してぼかし処理を行ったぼかし基準画像Ｉ０”を作成し、作成したぼかし基準画像Ｉ０”を混合部２４により背景画像と合成するようにしている。従って、ぼかし部２６は、基準画像ぼかし部として機能する。【０１７７】
さらに、上述した実施形態１では、真の合焦距離Ｌが主要被写体の基準合焦距離Ｌ０よりも大きい背景に対して、基準合焦距離Ｌ０よりも小さい合焦距離Ｌで取得された画像に重みを付けて合成することにより、ぼけ強調画像を作成していた（図７参照）。【０１７８】
しかし、基準合焦距離Ｌ０よりも小さい合焦距離Ｌで取得された画像は、主要被写体の輪郭がぼけて広がっているために、この画像の画素値を混合して作成したぼけ強調画像では、主要被写体のぼけが背景にじみ出してしまう。【０１７９】
ここに、図１２は、画像合成により、主要被写体の輪郭が背景ににじむ状態が発生する様子を説明するための図である。【０１８０】
図示のように、主要被写体である被写体ＯＢＪ０に合焦した基準画像Ｉ０中の被写体ＯＢＪ０に重み付けを行い、基準合焦距離Ｌ０よりも小さい合焦距離Ｌで取得された動き補正画像Ｉｋ’（図１２に示す例では動き補正画像Ｉｎ’）中の無限遠被写体ＯＢＪ３に重み付けを行って、混合し画像合成したぼけ強調画像ＳＩには、主要被写体である被写体ＯＢＪ０の輪郭のにじみＢＬが発生している。【０１８１】
そこで、本実施形態は、主要被写体の輪郭近傍における合成時の重みを調整することで、こうしたにじみＢＬの発生を抑制するようにしたものとなっている。【０１８２】
奥行き算出部２５は、上述した実施形態２と同様に、コントラストが最大となる動き補正画像がＩｋ’である画素ｉに対して、動き補正画像Ｉｋ−１’，Ｉｋ’，Ｉｋ＋１’のコントラストに基づいて、画素ｉの被写体の真の合焦距離Ｌに対応すると推定される推定レンズ繰出量δｅｓｔ（ｉ）を算出する。【０１８３】
ここで、本実施形態における奥行き算出部２５は、推定奥行き信頼度算出部として機能して、算出した推定レンズ繰出量δｅｓｔ（ｉ）の信頼度を評価し、奥行き補正部として機能して、信頼度に応じて推定レンズ繰出量δｅｓｔ（ｉ）の補間を行うようになっている。なお、以下に説明する推定奥行き信頼度算出部および奥行き補正部の機能は、上述した実施形態２に対して適用しても構わない。【０１８４】
まず、信頼度は、例えば複数枚の画像の同一画素における高周波成分の分布に基づく、次のような評価法を用いる。【０１８５】
第１の信頼度評価法は、全ての動き補正画像Ｉ−ｎ’〜Ｉｎ’において、画素ｉのコントラストが所定値よりも小さいときに、算出された推定レンズ繰出量δｅｓｔ（ｉ）の信頼度が低いと評価する方法である。このときさらに、信頼度を、高い／低いの２値評価するだけでなく、画素ｉの最も高いコントラストの値の大小に応じて、信頼度の評価値を決定すると良い。【０１８６】
被写体にエッジ等のコントラストが存在する場合には、全ての動き補正画像Ｉ−ｎ’〜Ｉｎ’の何れかにおいて、高いコントラストが得られるはずである。従って、何れの画像でも高いコントラストが得られない場合には、算出された推定レンズ繰出量δｅｓｔ（ｉ）は、画素ｉの被写体の真の合焦距離Ｌに対応するレンズ繰出量δＧｒｏｕｎｄＴｒｕｔｈと大きく異なる場合が多いと考えられる。【０１８７】
また、第２の信頼度評価法は、次のような方法である。画素ｉの最も高いコントラストが得られる動き補正画像がＩｋ１’であり、画素ｉの２番目に高いコントラストが得られる動き補正画像がＩｋ２’であるものとする。このとき、｜ｋ１−ｋ２｜≠１であれば、コントラストの極大値が２つあると推定される。従って、この場合に、算出された推定レンズ繰出量δｅｓｔ（ｉ）の信頼度が低いと評価する方法である。【０１８８】
ここでは信頼度評価法の例を２つ挙げたが、その他の信頼度評価法を用いても構わない。【０１８９】
そして、推定レンズ繰出量δｅｓｔ（ｉ）の信頼度が低いと評価された場合には、画素ｉにおける推定レンズ繰出量δｅｓｔ（ｉ）の補間を行う。【０１９０】
第１の補間法は、画素ｉの近傍において信頼度が高いと評価された（２値評価でない場合には、信頼度が最も高いと評価された）１つの画素ｊの推定レンズ繰出量δｅｓｔ’（ｊ）で、画素ｉの推定レンズ繰出量δｅｓｔ（ｉ）を置き換える方法である。【０１９１】
また、第２の補間法は、画素ｉの近傍において信頼度が高いと評価された複数の画素の推定レンズ繰出量を重み付け平均した推定レンズ繰出量δｅｓｔ’（ｉ）で、画素ｉの推定レンズ繰出量δｅｓｔ（ｉ）を置き換える方法である。このときの重みとしては、例えば、画素ｉと近傍画素との空間距離が近いほど大きな重みを与えても良い。あるいは、信頼度が２値評価でない場合には、信頼度の高さに応じた重みを与えるようにしても構わない。さらに、空間距離の近さと信頼度の高さとの両方に応じた重みを与えるようにしても良いし、その他の重み付けを採用しても構わない。【０１９２】
その他の重み付けの一例としては、画素ｉの画素値との画素値差分が小さい近傍画素の重みを重くする方法が挙げられる。画像中に複数の被写体が存在する場合に、同一被写体を構成する画素同士は画素値の相関性が高い（つまり、画素値差分が小さい）（これに対して、異なる被写体同士を比較すると、画素値が大きく異なることが多い）。そして、画像を被写体毎の領域に分割したときに、分割された１つの被写体領域内の各画素における合焦距離Ｌは概略一定であると考えられる。そこで、画素値が画素ｉの画素値に近い近傍画素の重みを大きくして、近傍画素の推定レンズ繰出量を重み付け平均した推定レンズ繰出量δｅｓｔ’（ｉ）を画素ｉの推定レンズ繰出量に置き換えることを、被写体領域内の各画素について行うことにより、被写体領域毎にほぼ一定のレンズ繰出量δを得ることができる。これによって、被写体領域毎に、ほぼ一定の強さでぼけを強調することができ、被写体領域内のぼけ強調度が各画素に異なってしまう状態となるのを低減することができる。【０１９３】
次に、ぼかし部２６は、奥行き算出部２５により算出された画素ｉの推定レンズ繰出量δｅｓｔ’（ｉ）に基づいて、次の数式２１に示すような錯乱円直径ｂｅｓｔ（ｉ）を算出する。【０１９４】
［数２１］
2016199209.tif 000017
ここで算出した錯乱円直径ｂｅｓｔ（ｉ）は、基準画像Ｉ０において、画素ｉに結像する被写体の像が広がっている範囲の直径を示している。【０１９５】
そこで、ぼかし部２６は、基準画像ぼかし部として機能して、基準画像Ｉ０の各画素において、錯乱円直径ｂｅｓｔ（ｉ）に比例した半径ｒｆｉｌｔ（ｉ）＝κ×ｂｅｓｔ（ｉ）（κは比例定数）を持つフィルタＦｉｌｔにより動き補正基準画像Ｉ０’に対するフィルタ処理を行い、基準画像Ｉ０の画素毎のぼけ量に応じてぼけを強調したぼかし基準画像Ｉ０”を作成する。【０１９６】
ここで、フィルタＦｉｌｔは、画素ｉとの距離がｒｆｉｌｔ（ｉ）以下である画素の集合Ｎｉに属する画素ｊのフィルタ重みをｗｆｉｌｔ（ｉ，ｊ）として、次の数式２２
［数２２］
2016199209.tif 000018
により、基準画像Ｉ０における画素ｊの画素値Ｉ０’（ｊ）を重み付け平均して、ぼかし基準画像Ｉ０”における画素ｉの画素値Ｉ０”（ｉ）を得るフィルタである。【０１９７】
なお、比例定数κは、奥行きが無限遠である画素、すなわち推定レンズ繰出量δｅｓｔ’（ｉ）＝０となる画素ｉでのぼかし基準画像Ｉ０”（ｉ）の錯乱円直径ｄが、合焦距離Ｌを最も短くして撮影した画像を動き補正した動き補正画像Ｉｎ’における、対応する画素ｉの錯乱円直径ｄと等しくなるように値を算出する。【０１９８】
ここで、画素の集合Νｉに属する画素ｊのフィルタ重みｗｆｉｌｔ（ｉ，ｊ）を、図１３に示すように、推定レンズ繰出量δｅｓｔ’（ｊ）が基準レンズ繰出量δ０から離れるにつれて（例えば比例して）大きくなるように算出することで、背景領域の画素に対するフィルタＦｉｌｔが主要被写体の画素値を混合することを防ぎ、ぼかし基準画像Ｉ０”において主要被写体の色が背景ににじみ出すのを防ぐことができる。ここに図１３は、フィルタを適用する領域内の画素に対して、推定レンズ繰出量が基準レンズ繰出量から離れるにつれて重みを大きくする例を示す線図である。【０１９９】
また、フィルタ重みｗｆｉｌｔ（ｉ，ｊ）の別の例として、図１４に示すように、画素ｉに対するフィルタＦｉｌｔでは、画素ｉの推定レンズ繰出量δｅｓｔ’（ｉ）よりも推定レンズ繰出量δｅｓｔ’（ｊ）が小さい（つまり、画素ｉよりも奥側にある）画素ｊのフィルタ重みｗｆｉｌｔ（ｉ，ｊ）を大きくし、画素ｉの推定レンズ繰出量δｅｓｔ’（ｉ）よりも推定レンズ繰出量δｅｓｔ’（ｊ）が大きい（つまり、画素ｉよりも手前側にある）画素ｊのフィルタ重みｗｆｉｌｔ（ｉ，ｊ）を小さくするように、フィルタ重みｗｆｉｌｔ（ｉ，ｊ）を設定しても良い。ここに図１４は、フィルタを適用する領域内の各画素の推定レンズ繰出量が、領域中心画素の推定レンズ繰出量よりも小さいときに重みを大きくする例を示す線図である。これにより、主要被写体の色が背景ににじみ出すことを防ぐだけでなく、主要被写体と背景の中間の距離にある被写体の色が背景ににじみ出すことも防ぐことができる。【０２００】
なお、図１３に示した重み下限値εは、画素の集合Ｎｉに属する全ての画素ｊに対して、推定レンズ繰出量δｅｓｔ’（ｊ）が基準レンズ繰出量δ０に等しい（δｅｓｔ’（ｊ）＝δ０）ときに、数式２２の分母が０にならないようにするための微小な値である。【０２０１】
また、図１４に示したレンズ繰出量幅δｍａｒｇｉｎは、推定レンズ繰出量δｅｓｔ’（ｉ）の算出誤差に相当する値をパラメータとして与えたものである。【０２０２】
重み算出部２３は、合成重み算出部として機能して、基準画像Ｉ０における主要被写体の輪郭から半径Ｒｔｈ（図１７参照）画素以内にある画素において、ぼかし基準画像Ｉ０”の合成重みを大きくするように、基準画像Ｉ０以外の動き補正画像Ｉ−ｎ’〜Ｉ−１’，Ｉ１’〜Ｉｎ’の合成重みと、ぼかし基準画像Ｉ０”の合成重みと、を算出する。図１７は、ぼかし基準画像における主要被写体の輪郭から所定半径の領域を示す図である。【０２０３】
ここに、半径Ｒｔｈは、画像Ｉｎにおける主要被写体（例えば被写体ＯＢＪ０）の錯乱円半径ｄｎ／２に相当する画素数を設定すると良い。例えば重みｗｋ（ｉ）（−ｎ≦ｋ≦ｎ）を以下のように算出すると、主要被写体から半径Ｒｔｈ画素以内にある画素において、ぼかし基準画像Ｉ０”の合成重みを大きくし、主要被写体から半径Ｒｔｈ画素より離れた画素での合成重みを小さくすることができる。【０２０４】
まず、推定レンズ繰出量δｅｓｔ’（ｊ）が、基準レンズ繰出量δ０からパラメータとして定めるδｄｅｐｔｈの範囲にある画素ｊ、すなわち、次の数式２３に示す条件を満たす画素ｊを主要被写体を構成する画素（基準画像Ｉ０における合焦領域を構成する画素）とし、主要被写体画素全体の集合をΜとする。【０２０５】
［数２３］
2016199209.tif 000019
次に、画素ｉから主要被写体までの距離ＲＭａｉｎＯｂｊｅｃｔ（ｉ）を、画素ｉと、ｊ∈Μである画素ｊとの、画像上の距離の最小値とする。【０２０６】
さらに図１５に示すように、画素ｉの推定レンズ繰出量δｅｓｔ’（ｉ）に応じて、動き補正画像Ｉ−ｎ’〜Ｉ−１’，Ｉ１’〜Ｉｎ’の画素ｉに対する初期重みｗｋ’（ｉ）（−ｎ≦ｋ≦ｎ、ただしｋ≠０）を算出する。ここに、図１５は、動き補正画像に対して設定される初期重みを示す線図である。【０２０７】
その後、Ｒｔｈ’≧Ｒｔｈを満たすパラメータＲｔｈ’を用いて、画素ｉから主要被写体までの距離ＲＭａｉｎＯｂｊｅｃｔ（ｉ）によって決まる係数α（ｉ）を図１６に示すように求める。ここに、図１６は、画素から主要被写体までの距離に応じて決定される係数を示す線図である。【０２０８】
そして、求めた係数α（ｉ）を上述した初期重みｗｋ’（ｉ）に乗算して、動き補正画像Ｉ−ｎ’〜Ｉ−１’，Ｉ１’〜Ｉｎ’の画素ｉに対する重みｗｋ（ｉ）（−ｎ≦ｋ≦ｎ、ただしｋ≠０）を算出する。【０２０９】
また、ぼかし基準画像Ｉ０”については、合成する全画像の重みの和が１となるように、重みｗ０（ｉ）を算出する。【０２１０】
これらをまとめると、次の数式２４に示すように重みｗｋ（ｉ）（−ｎ≦ｋ≦ｎ）を算出することになる。【０２１１】
［数２４］
2016199209.tif 000020
混合部２４は、算出された重みｗｋ（ｉ）（−ｎ≦ｋ≦ｎ）を用いて、基準画像以外の動き補正画像Ｉ−ｎ’〜Ｉ−１’，Ｉ１’〜Ｉｎ’と、ぼかし基準画像Ｉ０”とを合成して、ぼけ強調画像を作成する。【０２１２】
数式２４により算出した重みｗｋ（ｉ）を用いて画像を合成することにより、背景領域内における主要被写体の近傍ではぼかし基準画像Ｉ０”の重みが大きくなり、主要被写体の色が背景ににじみ出さないように基準画像をぼかしたぼかし基準画像Ｉ０”の画素を使用して合成が行われることになる。これにより、図１７に示すように、主要被写体の色がぼけ強調画像の背景ににじみ出すのを防ぐことができる。【０２１３】
本実施形態では、背景の一部のみをぼかし処理してぼけ強調画像を作成し、背景の大部分の領域では撮影された画像を合成してぼけを強調するために、背景の大部分の領域において、ぼけが大きなレンズで撮影したかのような自然な玉ぼけを作成することができる。【０２１４】
また、ぼかし基準画像Ｉ０”を作成する際に、重みｗ０（ｉ）≠０である画素ｉでのみフィルタ処理を行うことにより、画像を大きくぼかす領域を最小限にすることができ、処理時間を短縮することができる。【０２１５】
このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、各画素において、算出された奥行きに合焦するレンズ繰出位置が、主要被写体に合焦するレンズ繰出位置から離れるにつれて大きくなる重みで、奥行きが奥にある画素のフィルタ重みを大きくしたフィルタにより基準画像に対してぼかし処理を行ってぼかし基準画像を作成し、基準画像における合焦領域からの画像上の距離が近い画素において、ぼかし基準画像の合成重みを大きくし、算出した合成重みを用いて、ぼかし基準画像と、基準画像とは異なる画像と、を合成するようにしたために、主要被写体の輪郭が背景ににじみ出すのを抑制することができる。【０２１６】
つまり、主要被写体色が背景ににじみ出さないようにフィルタ処理したぼかし基準画像を主要被写体近傍の画素値として合成することで、ぼけ強調画像で主要被写体色が背景ににじみ出すことを防ぐことができる。【０２１７】
なお、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。【０２１８】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。
【図１】
2016199209.tif 000021
【図２】
2016199209.tif 000022
【図３】
2016199209.tif 000023
【図４】
2016199209.tif 000024
【図５】
2016199209.tif 000025
【図６】
2016199209.tif 000026
【図７】
2016199209.tif 000027
【図８】
2016199209.tif 000028
【図９】
2016199209.tif 000029
【図１０】
2016199209.tif 000030
【図１１】
2016199209.tif 000031
【図１２】
2016199209.tif 000032
【図１３】
2016199209.tif 000033
【図１４】
2016199209.tif 000034
【図１５】
2016199209.tif 000035
【図１６】
2016199209.tif 000036
【図１７】
2016199209.tif 000037
【国際調査報告】
2016199209.tif 000038
2016199209.tif 000039