(57)【要約】【課題】ぼけコントロール画像を作成する画像処理方法において、少ない枚数の画像を用いても、ぼかし量の段数を多く確保できるようにする。【解決手段】合焦位置を変えて撮影したｎ枚の画像から、対応点画素に関する鮮鋭度を各画像毎に求め、ｎ通りの鮮鋭度の大小関係に基づいてその対応点画素をグループ分けし、各グループに属する対応点画素に対して、各グループ固有の強調度でぼかし処理を行う画像処理方法において、相異なる合焦位置で撮影された２つの画像に関して、一方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域jp=0と、他方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域jp=2とに加えて、それらの中間的な鮮鋭度領域jp=1を設定して、それらの領域をグループとする。そして前記２つの画像の対応点画素の鮮鋭度の大小関係に基づいて、該対応点画素を前記鮮鋭度領域jp=0、jp=1、jp=2のいずれかに所属させてグループ分けを行う。【選択図】図４
2011211523.tif 000002
【特許請求の範囲】
【請求項１】
互いに合焦位置を変えて同一被写体を撮影したｎ枚（２≦ｎ）の画像から、画像内位置が一致している対応点画素に関する鮮鋭度を各画像毎に求め、
それらｎ通りの鮮鋭度の大小関係に基づいてその対応点画素を、予め定められた複数のグループのうちの１つに所属させるグループ分けを行い、
各グループに属する対応点画素に対して、各グループに固有の強調度でぼかし処理を行う画像処理方法において、
相異なる合焦位置で撮影された２つの画像に関して、一方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域と、他方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域とに加えて、それらの中間的な鮮鋭度領域を設定して、それらの領域を前記グループとし、
前記２つの画像の対応点画素の鮮鋭度の大小関係に基づいて、該対応点画素を前記複数の鮮鋭度領域のいずれかに所属させて前記グループ分けを行うことを特徴とする画像処理方法。
【請求項２】
前記ｎ枚の画像の対応点画素の鮮鋭度に基づいて、それらの画像における平坦部を検出し、
この検出された平坦部に含まれる対応点画素は、前記中間的な鮮鋭度領域に所属させて前記グループ分けを行うことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記ｎ枚の画像のうち主要被写体に合焦して撮影された画像の代表的輝度値が低いほど、前記中間的な鮮鋭度領域をより広く設定することを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
前記ｎ枚の画像を撮影したときの撮影感度が高いほど、前記中間的な鮮鋭度領域をより広く設定することを特徴とする請求項１から３いずれか１項記載の画像処理方法。
【請求項５】
前記ｎ枚の画像の対応点画素の鮮鋭度に基づいて、それらの画像における平坦部を検出し、
この検出された平坦部に対しては、前記ぼかし処理を行う前に平滑化処理を行うことを特徴とする請求項１から４いずれか１項記載の画像処理方法。
【請求項６】
互いに合焦位置を変えて同一被写体をｎ枚（２≦ｎ）撮影する機能を備えた撮影装置において、
前記ｎ枚の画像から、画像内位置が一致している対応点画素に関する鮮鋭度を各画像毎に求め、
それらｎ通りの鮮鋭度の大小関係に基づいてその対応点画素を、予め定められた複数のグループのうちの１つに所属させるグループ分けを行い、
各グループに属する対応点画素に対して、各グループに固有の強調度でぼかし処理を行う画像処理機能を備えるとともに、
隣り合う２つの合焦位置で撮影された２つの画像に関して、一方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域と、他方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域とに加えて、それらの中間的な鮮鋭度領域を設定して、それらの領域を前記グループとし、
前記２つの画像の対応点画素の鮮鋭度の大小関係に基づいて、該対応点画素を前記複数の鮮鋭度領域のいずれかに所属させて前記グループ分けを行う機能を有することを特徴とする撮影装置。
【請求項７】
互いに合焦位置を変えて同一被写体を所定枚数撮影する際に、合焦ポイントの数がその枚数に達していない場合は、それらの合焦ポイントの中間位置で撮影する機能を備えたことを特徴とする請求項６記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法、特に詳細には、ぼけ強調画像やぼけコントロール画像を作成するための画像処理方法に関するものである。
【０００２】
また本発明は、上述のような画像処理方法を実施する撮影装置に関するものである。
【背景技術】
【０００３】
従来、例えば特許文献１や２に示されているように、写真等の画像において、ある領域のぼけを強調したぼけ強調画像や、いくつかの領域のぼけ量を領域毎に変化させたぼけコントロール画像を作成する技術が公知となっている。このような技術によれば、例えば主要被写体にはぼけを与えず、背景や前景部分にはおおきなぼけ量を与えて、主要被写体が鮮やかに浮き出たような印象を与えるぼけコントロール画像を作成することができる。
【０００４】
上述のぼけ強調画像やぼけコントロール画像は、特許文献１にも記載があるように、合焦位置を変えながら同一被写体を撮影する、いわゆるフォーカスブラケット撮影によって得られる複数枚の画像を用いて作成されることが多い。このフォーカスブラケット撮影によれば、画像のある部分では合焦して鮮鋭度が高くなっている画像と、その部分では合焦していないで鮮鋭度が低くなっている画像が得られるので、その鮮鋭度が低くなっている部分を利用してぼけ画像を作成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２７１２４０号公報
【特許文献２】特開２００２−８４４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のぼけ強調画像やぼけコントロール画像においては、ぼかし量の段数が少ないと、不自然なぼかし境界が発生したり、画像の平坦部においてノイズの影響を受けてぼかしムラが発生したりすることがある。
【０００７】
このような問題を防止するためには、ぼかし量の段数を多く確保することが必要になる。フォーカスブラケット撮影によって得られる複数枚の画像において、画像の各部分における鮮鋭度の違いの数は、本質的に撮影枚数と同じになるので、ぼかし量の段数を多く確保しようとすると、必然的に多くの枚数の画像を撮影して、それを画像処理にかけることが必要になる。しかし、多くの枚数の画像を撮影し、またそれら多くの画像を画像処理にかけると、ぼけコントロール画像の作成に長い時間が必要になる。
【０００８】
本発明は上記の事情に鑑みてなされたものであり、少ない枚数の画像を用いて、ぼかし量の段数をより多く確保できる画像処理方法を提供することを目的とする。
【０００９】
また本発明は、上述のような画像処理方法を実施する撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明による画像処理方法は、
互いに合焦位置を変えて同一被写体を撮影したｎ枚（２≦ｎ）の画像から、画像内位置が一致している対応点画素に関する鮮鋭度を各画像毎に求め、
それらｎ通りの鮮鋭度の大小関係に基づいてその対応点画素を、予め定められた複数のグループのうちの１つに所属させるグループ分けを行い、
各グループに属する対応点画素に対して、各グループに固有の強調度でぼかし処理を行う画像処理方法において、
相異なる合焦位置で撮影された２つの画像に関して、一方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域と、他方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域とに加えて、それらの中間的な鮮鋭度領域を設定して、それらの領域を前記グループとし、
前記２つの画像の対応点画素の鮮鋭度の大小関係に基づいて、該対応点画素を前記複数の鮮鋭度領域のいずれかに所属させて前記グループ分けを行うことを特徴とするものである。
【００１１】
なお本発明の画像処理方法においては、全ての対応点画素を上記鮮鋭度の大小関係に基づいてグループ分けする必要はなく、一部の対応点画素はその他の基準に従ってグループ分けするようにしてもよい。すなわち、例えばｎ枚の画像の対応点画素の鮮鋭度に基づいて、それらの画像における平坦部を検出し、この検出された平坦部に含まれる対応点画素は、前記中間的な鮮鋭度領域に所属させてグループ分けを行うようにしてもよい。
【００１２】
また、本発明の画像処理方法においては、前記ｎ枚の画像のうち主要被写体に合焦して撮影された画像の代表的輝度値が低いほど、前記中間的な鮮鋭度領域をより広く設定することが望ましい。
【００１３】
また、本発明の画像処理方法においては、前記ｎ枚の画像を撮影したときの撮影感度が高いほど、前記中間的な鮮鋭度領域をより広く設定することが望ましい。
【００１４】
さらに本発明の画像処理方法においては、前記ｎ枚の画像の対応点画素の鮮鋭度に基づいて、それらの画像における平坦部を検出し、この検出された平坦部に対しては、ぼかし処理を行う前に平滑化処理を行うことが望ましい。
【００１５】
また本発明は、上述の画像処理方法を実施できる撮影装置を提供するものであり、この撮影装置は、
互いに合焦位置を変えて同一被写体をｎ枚（２≦ｎ）撮影する機能を備えた撮影装置において、
前記ｎ枚の画像から、画像内位置が一致している対応点画素に関する鮮鋭度を各画像毎に求め、
それらｎ通りの鮮鋭度の大小関係に基づいてその対応点画素を、予め定められた複数のグループのうちの１つに所属させるグループ分けを行い、
各グループに属する対応点画素に対して、各グループに固有の強調度でぼかし処理を行う画像処理機能を備えるとともに、
隣り合う２つの合焦位置で撮影された２つの画像に関して、一方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域と、他方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域とに加えて、それらの中間的な鮮鋭度領域を設定して、それらの領域を前記グループとし、
前記２つの画像の対応点画素の鮮鋭度の大小関係に基づいて、該対応点画素を前記複数の鮮鋭度領域のいずれかに所属させて前記グループ分けを行う機能を有することを特徴とするものである。
【００１６】
この本発明による撮影装置においては、互いに合焦位置を変えて同一被写体を所定枚数撮影する際に、合焦ポイントの数がその枚数に達していない場合は、それらの合焦ポイントの中間位置で撮影する機能を備えていることが望ましい。
【発明の効果】
【００１７】
本発明の画像処理方法によれば、
互いに合焦位置を変えて同一被写体を撮影したｎ枚（２≦ｎ）の画像から、画像内位置が一致している対応点画素に関する鮮鋭度を各画像毎に求め、
それらｎ通りの鮮鋭度の大小関係に基づいてその対応点画素を、予め定められた複数のグループのうちの１つに所属させるグループ分けを行い、
各グループに属する対応点画素に対して、各グループに固有の強調度でぼかし処理を行うに当たり、
相異なる合焦位置で撮影された２つの画像に関して、一方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域と、他方の画像中の対応点画素が主に含まれるようになる鮮鋭度領域とに加えて、それらの中間的な鮮鋭度領域を設定して、それらの領域を前記グループとし、
前記２つの画像の対応点画素の鮮鋭度の大小関係に基づいて、該対応点画素を前記複数の鮮鋭度領域のいずれかに所属させて前記グループ分けを行うようにしたので、上記中間的な鮮鋭度領域を設定した分、画像枚数よりも多いぼかし量段数を設定可能となる。
【００１８】
このようにしてぼかし量段数を多く確保できれば、ぼかし量の段数が少ないために不自然なぼかし境界が発生したり、画像の平坦部においてノイズの影響を受けてぼかしムラが発生したりすることを防止可能となる。
【００１９】
なお、本発明の画像処理方法において特に、ｎ枚の画像のうち主要被写体に合焦して撮影された画像の代表的輝度値が低いほど、前記中間的な鮮鋭度領域をより広く設定するようにした場合は、以下の効果が得られる。すなわち、輝度値が全体的に低めである場合は画像にノイズが発生しやすく、画像の平坦部においてノイズの影響でぼかしムラが生じやすいが、中間的な鮮鋭度領域をより広く設定することにより、ノイズの影響によるグループ分けの誤判定が抑制されるので、このぼかしムラを低減可能となる。
【００２０】
また、本発明の画像処理方法において特に、ｎ枚の画像を撮影したときの撮影感度が高いほど、前記中間的な鮮鋭度領域をより広く設定するようにした場合も、上記ぼかしムラを低減できる。すなわち、高感度で撮影された入力画像は、低感度で撮影された入力画像と比べればノイズが発生しやすいものとなっている。そこで、入力される画像が高感度で撮影されたものである場合は、上記の輝度値が全体的に低めである場合と同様に、中間的な鮮鋭度領域をより広く設定することにより、ノイズの影響によるグループ分けの誤判定が抑制されるので、上記ぼかしムラを低減可能となる。
【００２１】
さらに、本発明の画像処理方法において特に、ｎ枚の画像の対応点画素の鮮鋭度に基づいて、それらの画像における平坦部を検出し、この検出された平坦部に対しては、前記ぼ
かし処理を行う前に平滑化処理を行うようにした場合は、以下の効果も得ることができる。すなわち、画像の平坦部にはノイズが発生しやすいが、このように平坦部についてはぼかし処理の前に平滑化処理を行っておけばノイズが低減されるので、ノイズの影響で発生するぼかしムラを除去することができる。
【００２２】
他方、前述の通りの構成を有する本発明の撮影装置によれば、本発明の画像処理方法を実施することができる。
【００２３】
そしてこの本発明の撮影装置が特に、互いに合焦位置を変えて同一被写体を所定枚数撮影する際に、合焦ポイントの数がその枚数に達していない場合は、それらの合焦ポイントの中間位置で撮影する機能を備えていれば、合焦ポイントが少なくても撮影枚数を多く確保できる。こうして撮影枚数が多くなればぼかし量の段数を多く確保できるので、ぼかし量の段数が少ないために不自然なぼかし境界が発生したり、画像の平坦部においてノイズの影響を受けてぼかしムラが発生したりすることを防止可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態による画像処理方法を実施する撮影装置を示す概略構成図
【図２】図１の装置においてなされる画像処理の流れを示すフローチャート
【図３】図２に示す処理の一部を詳しく示すフローチャート
【図４】図３に示す処理に適用される画素の仕分け領域を説明する概念図
【図５】図３に示す処理に適用される画素の仕分け領域を説明する概念図
【図６】図３に示す処理に適用される画素の仕分け領域を説明する概念図
【図７】上記測定装置に用いられる微小流路型センサチップを示す斜視図
【図８】図２のセンサチップにおける生体物質検出時の状態を説明する図
【図９】図１の測定装置における連通路内部圧力の変化特性例を示すグラフ
【図１０】図１の測定装置における測定演算値の例を示すグラフ
【図１１】図１の測定装置における測定演算値の例を示すグラフ
【図１２】図１の装置においてなされ得る別の画像処理の流れを示すフローチャート
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明の一実施形態による画像処理方法を実施する撮影装置１を示すものである。この撮影装置１は例えばデジタルカメラとして形成されたものであり、ズームレンズ１１、フォーカスレンズ１２および絞り１３等を備えた撮影レンズ系１０と、この撮影レンズ系１０によって結ばれた被写体の像を撮像するＣＣＤ等からなる撮像素子１４と、この撮像素子１４の出力信号を処理する信号処理手段１５と、この信号処理手段１５が出力する画像信号を画像処理する画像処理手段１６と、この画像処理手段１６が出力する画像信号に基づいて、撮影された被写体像を表示するモニタ１７と、上記各要素１１〜１７の動作を制御する制御手段１８とを有している。
【００２６】
画像処理手段１６は、ぼかしコントロールがなされた画像や、その他の処理がなされた画像をモニタ１７に表示するために設けられたものであり、ぼかし処理をする際にはこの画像処理手段１６において、図２に示す処理がなされる。以下、この処理について説明する。
【００２７】
ぼかし処理が開始すると次にステップＳ１において、複数画像について画素毎に鮮鋭度を算出する処理がなされる。この複数画像としては、図１に示すフォーカスレンズ１２を操作して合焦位置を変えながら撮影する、いわゆるフォーカスブラケット撮影がなされた２枚、あるいは３枚の画像が用いられる。
【００２８】
次にステップＳ２において、上記の算出された鮮鋭度に基づいて、画像中に平坦部つまり鮮鋭度の変化が著しく低い領域が有るか否かが判定される。平坦部有りと判定された場合は次にステップＳ３において、それらの画像のうちの基準画像（主要被写体に合焦した画像）の平坦部を平滑化する処理がなされ、次にステップＳ４において、後に行われるぼかし処理におけるぼかし量を所定の固定値に設定する処理がなされる。
【００２９】
一方、ステップＳ２において平坦部無しと判定された場合は、次にステップＳ５において鮮鋭面算出によるグループ分け処理がなされる。なお、この処理については後に詳しく説明する。そして、次にステップＳ６において、後述するようにグループ分けされた画素に対するグループ固有のぼかし量（強調度）が算出される。次にステップＳ７において、算出されたグループ固有のぼかし量により、各グループの画素がぼかし処理される。
【００３０】
ここで、上記固有のぼかし量の設定次第で、例えばカメラからの距離が中間的な位置にある主要被写体にはぼかしを入れず、そして主要被写体よりも近くつまりカメラ側に有った前景や、反対に主要被写体よりも遠くに有った背景は大きくぼかして、主要被写体だけが鮮明に浮き出たような画像等を形成することができる。この技術は、いわゆるぼかしコントロールとして従来知られているものである。このとき、平坦部の画素については、上記固定のぼかし量でぼかし処理がなされる。
【００３１】
なお、画像の平坦部にはノイズが発生しやすいが、このように平坦部についてはぼかし処理の前に上記平滑化処理を行っておくことによりノイズが低減されるので、ノイズの影響で発生するぼかしムラを除去することができる。
【００３２】
なお本実施形態においては、ステップＳ２において画像中に平坦部が有るか無いかを判定し、平坦部有りと判定された場合は次にステップＳ３、ステップＳ４の処理を行うようにしているが、図１２に示すようにこれらのステップＳ２〜Ｓ４の処理は行なわず、平坦部の有り無しに関わらずステップＳ１からステップＳ５のグループ分け処理に移るようにしてもよい。
【００３３】
次に、図２に示したステップＳ５においてなされる処理について、その詳しい処理の流れを示す図３を参照して説明する。
【００３４】
本実施形態では図１の画像処理手段１６に、互いに合焦位置を変えて同一被写体を撮影した２枚または３枚の画像についての画像信号が入力されることを前提としている。そしてグループ分けをするために画像処理手段１６は、図４〜６に概念的に示す仕分け領域を記憶している。ここで図３〜６に示すsa［ｎ］は、画像番号ｎの画像における各画素の鮮鋭度を示している。なお、ｎの数が小さいほどNear側の画像、つまり撮影装置１により近い側に合焦させて撮影された画像を示す。
【００３５】
ここで、対応点画素鮮鋭度sa［０］がｍで、鮮鋭度sa［１］がｎであるとしたとき、それらを図４においてプロットすると図中の点Ｑとなる。
【００３６】
図４に示す仕分け領域は、画像処理手段１６に２枚の画像が入力される場合に用いられるもので、傾きがＲ１、Ｒ２である２本の直線で領域が３つに分けられており、前者の直線の下側はNear鮮鋭領域、後者の直線の上側はFar鮮鋭領域、そしてそれらの間の領域は仮想面領域とされている。ここで、これらの領域をNear側から順にjp＝０、jp＝１、jp＝２という番号で規定する。
【００３７】
また図５および図６に示す仕分け領域は、画像処理手段１６に３枚の画像が入力される場合に用いられるものである。より詳しくは、図５のものは３枚の画像における対応点画素（画像内位置が一致している画素）がNear側ほど鮮鋭、つまり撮影装置１により近い側に合焦させて撮影された画像ほどより高鮮鋭度となっている場合に使用され、図６のものは３枚の画像における対応点画素がFar側ほど鮮鋭、つまり撮影装置１からより遠い側に合焦させて撮影された画像ほどより高鮮鋭度となっている場合に使用される。
【００３８】
そして図５および図６に示す仕分け領域は、傾きがＲ３、Ｒ４、Ｒ５、Ｒ６である４本の直線で領域が５つに分けられており、傾きＲ３の直線の下側はNear鮮鋭領域、傾きＲ４の直線と傾きＲ５の直線との間の領域（図５の縦軸は図６の横軸となる）はCenter鮮鋭領域、傾きＲ６の直線の上側はFar鮮鋭領域とされている。そしてNear鮮鋭領域とCenter鮮鋭領域との間は仮想面領域とされ、Center鮮鋭領域とFar鮮鋭領域との間も仮想面領域とされている。なおこれらの領域をNear側から順にjp＝０、jp＝１、jp＝２、jp＝３、jp＝４という番号で規定する。
【００３９】
図３の処理が開始するとまずステップＳ１１において、入力される画像枚数Ｎが２枚であるか否かが判定される。２枚と判定された場合は次にステップＳ１２において、対応点画素鮮鋭度sa［０］に対する対応点画素鮮鋭度sa［１］の比つまり（sa［１］／sa［０］）の値と、傾きＲ１とが比較される。この比較の結果、（sa［１］／sa［０］）≦Ｒ１であった場合、その対応点画素はjp＝０のNear鮮鋭領域に属するものとして仕分けされる（ステップＳ１３）。
【００４０】
その一方、（sa［１］／sa［０］）≦Ｒ１ではない場合は、次にステップＳ１４において、（sa［１］／sa［０］）の値と傾きＲ２とが比較される。ここで、（sa［１］／sa［０］）≧Ｒ２であった場合、その対応点画素はjp＝２のFar鮮鋭領域に属するものとして仕分けされる（ステップＳ１５）。それに対して（sa［１］／sa［０］）≧Ｒ２ではない場合、その対応点画素はjp＝１の仮想面領域に属するものとして仕分けされる（ステップＳ１６）。
【００４１】
以上の処理は対応点画素の全てについて行われ、各対応点画素が３つの領域のいずれかに択一的に属するものとして仕分けされる。なお、２枚の画像間の対応点画素を決定するためには、それらの画像の一方あるいは双方を拡大・伸縮して位置合わせしたり、双方の画像における画素値等に基づいて画素を対応付ける処理が必要になるが、それらは公知の方法によって行えばよい。
【００４２】
以上の通りの３つのグループに分けられた対応点画素に対して、次に図２のステップＳ６において、グループ毎に固有のぼかし量が算出される。次にステップＳ７において、算出されたグループ固有のぼかし量により、各グループの対応点画素がぼかし処理される。なお、ステップＳ７においてなされるぼかし処理には、従来から公知の処理を適用することができる。本発明はぼかし処理そのものとは直接的に関わらないので、その詳しい説明は省略する。
【００４３】
以上の通り本例では、Near画像中の対応点画素が主に含まれるようになるNear鮮鋭領域（jp＝０）と、Far画像中の対応点画素が主に含まれるようになるFar鮮鋭領域（jp＝２）とに加えて、それらの中間的な仮想面領域（jp＝１）を設定して、それらにより対応点画素をグループ分けするようにしたので、互いに合焦位置を変えて同一被写体を撮影した画像は２枚だけ用いながら、対応点画素を３つのグループに仕分け可能となっている。このようにしてぼかし量（強調度）の段数を３段に増やすことができれば、ぼかし量の段数が少ないためにぼかしコントロール画像において不自然なぼかし領域が発生したり、画像の平坦部でノイズの影響を受けてぼかしムラが発生したりすることを防止可能となる。
【００４４】
なお、上記Near鮮鋭領域（jp＝０）とFar鮮鋭領域（jp＝２）との間に、仮想面領域を２つ以上設けて、ぼかし量の段数を４段以上に増やすことも可能である。
【００４５】
また、先に説明した図２の処理において、ステップＳ２により画像中に平坦部が有ると判定された場合は、その平坦部に含まれる対応点画素ついては、鮮鋭度に関係無く自動的に上記中間的な仮想面領域（jp＝１）に仕分けするようにしてもよい。
【００４６】
次に図３に戻って、３枚の画像が用いられる場合について説明する。この場合はステップＳ１１において、入力される画像枚数Ｎが２枚ではない、つまり３枚と判定されるので、次にステップＳ１７において、対応点画素鮮鋭度sa［０］と対応点画素鮮鋭度sa［２］とが比較される。ここでsa［０］＜sa［２］と判定された場合つまり、対応点画素がNear側ほどより鮮鋭と判定された場合は次にステップＳ１８の処理が、そうでない場合は次にステップＳ２３の処理がなされる。
【００４７】
ステップＳ１８〜２２においては、前述したステップＳ１２〜１６におけるのと同様の処理が比較対象を傾きＲ３、Ｒ４として行われ、またステップＳ２３〜２７においては、前述したステップＳ１２〜１６におけるのと同様の処理が比較対象を対応点画素鮮鋭度sa［１］、sa［２］および傾きＲ５、Ｒ６として行われる。それにより各対応点画素が、図５および図６に示した番号jp＝０、jp＝１、jp＝２、jp＝３、jp＝４で示す５つの領域のいずれかに仕分けされるようになる。
【００４８】
以上の通りの５つのグループに関して、２画像入力の場合と同様に図２のステップＳ６において、グループ毎に固有のぼかし量が算出される。次にステップＳ７において、算出されたグループ固有のぼかし量により、各グループの対応点画素がぼかし処理される。
【００４９】
以上の通りこの場合は、Near画像中の対応点画素が主に含まれるようになるNear鮮鋭領域（jp＝０）と、Far画像中の対応点画素が主に含まれるようになるFar鮮鋭領域（jp＝４）と、Near画像とFar画像との間のCenter鮮鋭領域（jp＝２）とに加えて、それらの中間的な仮想面領域を２つ（jp＝１およびjp＝３）を設定して、それらにより対応点画素をグループ分けするようにしたので、互いに合焦位置を変えて同一被写体を撮影した画像は３枚だけ用いながら、対応点画素を５つのグループに仕分け可能となっている。このようにしてぼかし量の段数を５段に増やすことができれば、ぼかし量の段数が少ないためにぼかしコントロール画像において不自然なぼかし領域が発生したり、画像の平坦部でノイズの影響を受けてぼかしムラが発生したりすることを防止可能となる。
【００５０】
なお、上記２つの仮想面領域（jp＝１およびjp＝３）のうち一方だけを設けて、ぼかし量の段数を４段にしてもよく、その場合も、３枚の画像を利用してそのままぼかし量の段数を３段にするのと比べれば、上述した効果を同様に得ることができる。
【００５１】
また、上に述べた仮想面領域の広さは、入力される画像の条件に応じて適宜変更することが望ましい。例えば２画像入力の場合の図４の仮想面領域（jp＝１）について考えれば、入力画像の輝度値（例えば全画素の平均値等）が全体的に高めである場合は図７に示すように比較的狭く、そして該輝度値が全体的に低めである場合は図８に示すように比較的広くすることが望ましい。すなわち、輝度値が全体的に低めである場合は画像にノイズが発生しやすく、画像の平坦部においてノイズの影響でぼかしムラが生じやすいが、仮想面領域を広めに設定することにより、このぼかしムラを低減可能となる。
【００５２】
また、高感度で撮影された入力画像は、低感度で撮影された入力画像と比べればノイズが発生しやすいものとなっている。そこで、入力される画像が低感度で撮影されたものである場合は仮想面領域を図７に示すように比較的狭く、入力される画像が高感度で撮影されたものである場合は図８に示すように比較的広くすることが望ましい。そうすることによりこの場合も、ノイズの影響で発生しやすいぼかしムラを低減可能となる。
【００５３】
なお図１に示したカメラなどの撮影装置１においては、互いに合焦位置を変えて同一被写体を所定枚数撮影する際に、装置としては画像を例えば３枚撮影可能であるのに、被写体の状況によってはその枚数だけの適切な合焦ポイントが存在しないこともある。図９〜１１はこのことを、図１に示したようなフォーカスレンズ１２の位置と、それを用いたＡＦ（自動焦点合わせ）処理のときに検出される合焦評価値との関係で表して示すものである。
【００５４】
図９に示すのは、主要被写体、背景および前景の全てに対して例えば撮影装置１のＡＦ機構が高い合焦評価値を与えて、それらを全て適正な合焦ポイント（ピント位置）で撮影可能となっている場合を示している。それに対して図１０の例では主要被写体の合焦ポイントが背景側に有るため、背景の合焦ポイントが無い状態となっている。また図１１の例では主要被写体の合焦ポイントが前景側に有るため、前景の合焦ポイントが無い状態となっている。
【００５５】
そこで図１に示される撮影装置１は、図１０に示されるような状況では、たとえ合焦評価値が低くても２つの合焦ポイントの中間撮影位置（前景の合焦ポイントと主要被写体の合焦ポイントとの間）で撮影するように構成することが望ましい。あるいは撮影装置１を、図１１に示されるような状況では、たとえ合焦評価値が低くても２つの合焦ポイントの中間撮影位置（背景の合焦ポイントと主要被写体の合焦ポイントとの間）で撮影するように構成することが望ましい。
【００５６】
このようにすれば、合焦ポイントが少ないことから画像処理手段に入力する画像数が少なくなって、結局、ぼかし量の段数が少なくなってしまうことを回避できる。
【符号の説明】
【００５７】
１    撮影装置
１０    撮影レンズ系
１１    ズームレンズ
１２    フォーカスレンズ
１４    撮像素子
１５    信号処理手段
１６    画像処理手段
１８    制御手段
【図１】
2011211523.tif 000003
【図２】
2011211523.tif 000004
【図３】
2011211523.tif 000005
【図４】
2011211523.tif 000006
【図５】
2011211523.tif 000007
【図６】
2011211523.tif 000008
【図７】
2011211523.tif 000009
【図８】
2011211523.tif 000010
【図９】
2011211523.tif 000011
【図１０】
2011211523.tif 000012
【図１１】
2011211523.tif 000013
【図１２】
2011211523.tif 000014