(57)【要約】【課題】所望のぼけ量を得ることができるボカシ画像形成装置を提供する。【解決手段】本発明のボカシ画像形成装置（１０）は、合焦に関する撮影条件を互いに異ならせて同一の撮影エリアを撮影して得られた画像である複数の画像を基に、前記撮影エリアを分割した複数領域の距離情報をそれぞれ推測する距離情報推測手段（２４）と、前記推測された前記距離情報を基に、前記複数領域に加えるボカシ量を決定するボカシ量決定手段（２５）と、前記複数領域のそれぞれに対して、前記ボカシ量に応じたボカシ処理を加えるボカシ手段（２２）と、を有すること、を特徴とする。【選択図】図３
2011010194.tif 000002
【特許請求の範囲】
【請求項１】
合焦に関する撮影条件を互いに異ならせて同一の撮影エリアを撮影して得られた画像である複数の画像を基に、前記撮影エリアを分割した複数領域の距離情報をそれぞれ推測する距離情報推測手段と、
前記推測された前記距離情報を基に、前記複数領域に加えるボカシ量を決定するボカシ量決定手段と、
前記複数領域のそれぞれに対して、前記ボカシ量に応じたボカシ処理を加えるボカシ手段と、を有すること、
を特徴とするボカシ画像形成装置。
【請求項２】
請求項１に記載のボカシ画像形成装置であって、
前記複数の画像を取得する画像取得手段と、
取得された前記複数の画像において、前記ボカシ量の基準となる基準画像及び該基準画像とは異なる１枚以上の参照画像を選択する画像選択手段と、
前記距離情報推測手段は、前記基準画像と前記参照画像と該両画像各々の撮影条件に基づいて、前記基準画像の焦点面に対する前記複数領域の前記距離情報をそれぞれ推測し、
前記ボカシ量決定手段は、前記推測された前記距離情報を基に、前記基準画像における前記複数領域のそれぞれに加えるボカシ量を決定し、
前記ボカシ手段は、前記基準画像における前記複数領域に対して、前記決定されたボカシ量を加えるボカシ画像処理を行うこと、
を特徴とするボカシ画像形成装置。
【請求項３】
請求項１に記載のボカシ画像形成装置であって、
前記複数の画像を取得する画像取得手段と、
取得された前記複数の画像において、前記ボカシ量の基準となる基準画像及び該基準画像とは異なる複数の参照画像を選択する画像選択手段と、
前記距離情報推測手段は、前記基準画像と前記参照画像と該両画像各々の撮影条件に基づいて、前記基準画像の焦点面に対する前記複数領域の前記距離情報をそれぞれ推測し、
前記ボカシ量決定手段は、前記推測された前記距離情報を基に、前記複数の領域のうちの、前記複数の参照画像上でそれぞれ合焦状態にある互いに異なる領域それぞれに加えるボカシ量を決定し、
前記ボカシ手段は、前記複数の参照画像それぞれに対して前記ボカシ量に応じたボカシ画像処理が加えられた前記複数領域を、前記基準画像上で位置的に対応する前記複数領域に置き換える合成処理を前記基準画像に対して行うことを特徴とするボカシ画像形成装置。
【請求項４】
請求項１から３のいずれか１項に記載のボカシ画像形成装置であって、
前記合焦に関する撮影条件は、前記複数の画像を得る際に用いられた撮影レンズの焦点位置であり、
前記複数領域の距離は、前記焦点位置が異なる複数の画像の中から、前記複数の領域それぞれが合焦している画像をそれぞれ求め、それら各画像を得た際の前記焦点位置から求めること、
を特徴とするボカシ画像形成装置。
【請求項５】
請求項１から３のいずれか１項に記載のボカシ画像形成装置であって、
前記合焦に関する撮影条件は被写界深度であり、
前記複数領域の距離は、前記被写界深度が異なる複数の画像の中から、前記複数領域それぞれが合焦している画像をそれぞれ求め、それら各画像を得た際の前記被写界深度より求められること、
を特徴とするボカシ画像形成装置。
【請求項６】
請求項２から５までのいずれか１項に記載のボカシ画像形成装置であって、
前記基準画像は、主要被写体に合焦している画像であり、
該主要被写体は、焦点検出動作時に、合焦領域を表示する領域表示が撮影画面上で重畳表示されている領域にある物体であること、
を特徴とするボカシ画像形成装置。
【請求項７】
請求項２から５までのいずれか１項に記載のボカシ画像形成装置であって、
前記基準画像は、主要被写体に合焦している画像であり、
該主要被写体は、前記基準画像を取得する際の焦点検出動作時において合焦度合いが最も高い物体であること、
を特徴とするボカシ画像形成装置。
【請求項８】
請求項６または７に記載のボカシ画像形成装置であって、
前記画像取得手段は、前記合焦に関する撮影条件を、前記主要被写体に合焦している際の撮影条件近傍から該撮影条件を一方向に変化させつつ連続撮影を行うことにより、前記複数画像を取得することを特徴とするボカシ画像形成装置。
【請求項９】
請求項８に記載のボカシ画像形成装置であって、
前記画像取得手段は、前記主要被写体に合焦している撮影条件の近傍の条件であって、且つ該撮影条件を前記一方向とは逆方向に変化させた撮影条件から、該撮影条件を一方向に変化させつつ前記連続撮影を行うことを特徴とするボカシ画像形成装置。
【請求項１０】
請求項６または７に記載のボカシ画像形成装置であって、
前記画像取得手段は、前記合焦に関する撮影条件を、前記主要被写体に合焦しているか否かとは無関係に決められている所定の撮影条件から、該撮影条件を一方向に変化させつつ連続撮影を行うことにより、前記複数画像を取得することを特徴とするボカシ画像形成装置。
【請求項１１】
請求項１〜１０に記載のボカシ画像形成装置を備えたカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ボカシ画像形成装置及びそれを備えたカメラに関するものである。
【背景技術】
【０００２】
一般に、撮像素子が小さいカメラで撮影した画像では、撮像素子が大きいカメラで撮影された画像の様に被写界深度が浅い画像を撮影することが困難である。このため、撮影条件の異なる複数枚の画像から、両者を合成してデジタルボカシを付加する手法が知られている（例えば、特許文献１参照）。また、被写界深度の異なる画像の比較から主要被写体以外の領域のボケ関数を推測し、より焦点深度の浅い画像を作成する手法も知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６５８０５号公報
【特許文献２】特開２００４−３１０５０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、画像合成を用いる特許文献１等の手法では、被写体に応じた領域分割が困難であり、一様なブロックで分割すると、境界部に違和感がある合成画になる。また、撮影された画像以上にぼかすことはできない。さらに焦点位置を変えることで画像の像倍率が変わってしまうため、合成したときに違和感のある画像になる場合がある。
一方、ボカシ関数を推測して１枚の画像をぼかす特許文献２の手法では、ボカシ関数を作用させる回数を変更することでぼけ量を調節するため、ぼけ量の微調整が困難である。さらに、選択した基準画像においてぼかしたい部分がほぼ合焦状態にある場合には、ボカシ関数を作用させる回数を増やしても、満足できるぼけ量を得ることができない。
【０００５】
本発明の課題は、所望のぼけ量を得ることができるボカシ画像形成装置及びそれを備えたカメラを提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
請求項１に記載の発明は、合焦に関する撮影条件を互いに異ならせて同一の撮影エリアを撮影して得られた画像である複数の画像を基に、前記撮影エリアを分割した複数領域の距離情報をそれぞれ推測する距離情報推測手段（２４）と、前記推測された前記距離情報を基に、前記複数領域に加えるボカシ量を決定するボカシ量決定手段（２５）と、前記複数領域のそれぞれに対して、前記ボカシ量に応じたボカシ処理を加えるボカシ手段（２２）と、を有すること、を特徴とするボカシ画像形成装置（１０）である。
請求項２に記載の発明は、請求項１に記載のボカシ画像形成装置（１０）であって、前記複数の画像を取得する画像取得手段（１１，１２，１５）と、取得された前記複数の画像において、前記ボカシ量の基準となる基準画像及び該基準画像とは異なる１枚以上の参照画像を選択する画像選択手段（２３）と、前記距離情報推測手段（２４）は、前記基準画像と前記参照画像と該両画像各々の撮影条件に基づいて、前記基準画像の焦点面に対する前記複数領域の前記距離情報をそれぞれ推測し、前記ボカシ量決定手段（２５）は、前記推測された前記距離情報を基に、前記基準画像における前記複数領域のそれぞれに加えるボカシ量を決定し、前記ボカシ手段（２２）は、前記基準画像における前記複数領域に対して、前記決定されたボカシ量を加えるボカシ画像処理を行うこと、を特徴とするボカシ画像形成装置（１０）である。
請求項３に記載の発明は、請求項１に記載のボカシ画像形成装置（１０）であって、前記複数の画像を取得する画像取得手段（１１，１２，１５）と、取得された前記複数の画像において、前記ボカシ量の基準となる基準画像及び該基準画像とは異なる複数の参照画像を選択する画像選択手段（２３）と、前記距離情報推測手段（２４）は、前記基準画像と前記参照画像と該両画像各々の撮影条件に基づいて、前記基準画像の焦点面に対する前記複数領域の前記距離情報をそれぞれ推測し、前記ボカシ量決定手段（２５）は、前記推測された前記距離情報を基に、前記複数の領域のうちの、前記複数の参照画像上でそれぞれ合焦状態にある互いに異なる領域それぞれに加えるボカシ量を決定し、前記ボカシ手段（２２）は、前記複数の参照画像それぞれに対して前記ボカシ量に応じたボカシ画像処理が加えられた前記複数領域を、前記基準画像上で位置的に対応する前記複数領域に置き換える合成処理を前記基準画像に対して行うことを特徴とするボカシ画像形成装置（１０）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載のボカシ画像形成装置（１０）であって、前記合焦に関する撮影条件は、前記複数の画像を得る際に用いられた撮影レンズの焦点位置であり、前記複数領域の距離は、前記焦点位置が異なる複数の画像の中から、前記複数の領域それぞれが合焦している画像をそれぞれ求め、それら各画像を得た際の前記焦点位置から求めること、を特徴とするボカシ画像形成装置（１０）である。
請求項５に記載の発明は、請求項１から３のいずれか１項に記載のボカシ画像形成装置（１０）であって、前記合焦に関する撮影条件は被写界深度であり、前記複数領域の距離は、前記被写界深度が異なる複数の画像の中から、前記複数領域それぞれが合焦している画像をそれぞれ求め、それら各画像を得た際の前記被写界深度より求められること、を特徴とするボカシ画像形成装置（１０）である。
請求項６に記載の発明は、請求項２から５までのいずれか１項に記載のボカシ画像形成装置（１０）であって、前記基準画像は、主要被写体に合焦している画像であり、該主要被写体は、焦点検出動作時に、合焦領域を表示する領域表示が撮影画面上で重畳表示されている領域にある物体であること、を特徴とするボカシ画像形成装置（１０）である。
請求項７に記載の発明は、請求項２から５までのいずれか１項に記載のボカシ画像形成装置（１０）であって、前記基準画像は、主要被写体に合焦している画像であり、該主要被写体は、前記基準画像を取得する際の焦点検出動作時において合焦度合いが最も高い物体であること、を特徴とするボカシ画像形成装置（１０）である。
請求項８に記載の発明は、求項６または７に記載のボカシ画像形成装置（１０）であって、前記画像取得手段（１１，１２，１５）は、前記合焦に関する撮影条件を、前記主要被写体に合焦している際の撮影条件近傍から該撮影条件を一方向に変化させつつ連続撮影を行うことにより、前記複数画像を取得することを特徴とするボカシ画像形成装置（１０）である。
請求項９に記載の発明は、請求項８に記載のボカシ画像形成装置（１０）であって、前記画像取得手段（１１，１２，１５）は、前記主要被写体に合焦している撮影条件の近傍の条件であって、且つ該撮影条件を前記一方向とは逆方向に変化させた撮影条件から、該撮影条件を一方向に変化させつつ前記連続撮影を行うことを特徴とするボカシ画像形成装置（１０）である。
請求項１０に記載の発明は、請求項６または７に記載のボカシ画像形成装置（１０）であって、前記画像取得手段（１１，１２，１５）は、前記合焦に関する撮影条件を、前記主要被写体に合焦しているか否かとは無関係に決められている所定の撮影条件から、該撮影条件を一方向に変化させつつ連続撮影を行うことにより、前記複数画像を取得することを特徴とするボカシ画像形成装置（１０）である。
請求項１１に記載の発明は、請求項１〜１０に記載のボカシ画像形成装置（１０）を備えたカメラである。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【発明の効果】
【０００８】
本発明によれば、所望のぼけ量を得ることができるボカシ画像形成装置を提供することができる。
【発明を実施するための形態】
【０００９】
（第１実施形態）
以下、図面等を参照して、本発明の第１実施形態について説明する。
図１は、本発明の一実施形態であるボカシ画像形成装置を備えるカメラ１０の概略構成を示すブロック図である。
カメラ１０は、撮像レンズ１１と、レンズ駆動部１２と、絞り１３と、絞り駆動部１４と、撮像素子１５と、ＡＦＥ（アナログフロントエンド回路）１６と、表示部１７と、操作部１８と、画像記録部１９と、カメラ１０の動作を統括的に制御する制御部２０と、を備えている。
【００１０】
撮像レンズ１１は、合焦レンズ群を含む複数のレンズ群によって構成されている。なお、図１では撮像レンズ１１を１枚のレンズとして簡略化して示してある。この撮像レンズ１１の焦点位置は、レンズ駆動部１２による合焦レンズ群の移動操作によって、光軸ＯＡ方向に調整される。
レンズ駆動部１２は、制御部２０によって制御駆動され、合焦レンズ群の位置情報は制御情報として制御部２０に出力される。制御部２０は、合焦レンズの位置（上記位置情報）に基づいて、その状態において合焦している被写体までの距離（後述する合焦距離情報）を推測することができる。
【００１１】
絞り１３は、撮像素子１５に入射する単位時間当たりの光量を調節する。この絞り１３の開口量は、制御部２０（撮影制御部２１）の指示に応じて絞り駆動部１４によって調整される。
撮像素子１５は、撮像レンズ１１によって結像される被写体像を電気信号に変換して画像信号を生成する。この撮像素子１５から出力された画像信号はＡＦＥ１６に入力される。
【００１２】
ＡＦＥ１６は、撮像素子１５の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１６では、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。このＡＦＥ１６から出力されたデジタルの画像信号は、制御部２０に入力される。
【００１３】
表示部１７は、電子カメラ１０の背面に設けられた液晶パネル（図示せず）を備えている。表示部１７は、制御部２０によって制御され、液晶パネルに、カメラ１０における各種機能の設定をする機能設定メニューや、使用者が操作部１８を介して入力したシャッター速度，絞り及び露光補正情報等の撮影に係る設定情報及び、撮像素子１５によって測定された測光情報等を表示する。また、撮影画像やそのヒストグラム及び撮影情報等も液晶パネルに表示する。
【００１４】
操作部１８は、図示しないが、メインスイッチ、シャッターボタン及び複数の操作ボタン類等を備え、使用者によって操作され、その操作情報を制御部２０に出力する。
【００１５】
画像記録部１９は、着脱可能なリムーバブルメモリ等によって構成されており、制御部２０の画像処理部２２によって画像処理された撮影画像を記録する。
【００１６】
制御部２０は、マイクロコンピュータ等によって構成されており、図示しないメモリに予め格納保持しているプログラムに従って当該カメラ１０の各部を統合的に制御し、撮影及び画像素処理等の各処理を実行する。
また、制御部２０は、表示部１７を制御して、種々の情報及び撮影画像等を液晶パネルに表示させる。
【００１７】
撮影制御部２１は、操作部１８のシャッターボタンの押圧（レリーズスイッチ操作）によって、オートフォーカス制御（ＡＦ制御）と、露出制御（ＡＥ制御）とを行い、撮像素子１５に結像した被写体像を電気信号に変換する撮影制御を行う。
ＡＦ制御は、撮像素子１５によって撮像された画像のデータを用いて、公知のコントラスト検出方式によるＡＦ演算処理を行い、レンズ駆動部１２によって撮像レンズ１１の合焦レンズ群を、撮影画面内の合焦させたいエリア（主要被写体が存在するエリア）に対応する撮像素子１５内の画素からの画像信号のコントラスト値が最大となるように移動操作し、撮像レンズ１１による被写体像を撮像素子１５に結像させる。
【００１８】
ＡＥ制御は、撮像素子１５の出力に基づいて被写体光の輝度を測定（測光）し、この測光結果に基づいて演算処理を行って、露光時間（撮像素子１５が被写体光を蓄積する時間）と、絞り１３による絞り値との組み合わせを決定する。そして、絞り駆動部１４によって絞り１３を所定の絞り値に設定すると共に、撮像素子１５を電気的に制御して所定時間の露光を行う。
【００１９】
画像処理部２２は、ＡＦＥ１６にてＡ／Ｄ変換された撮像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整等の各種画像補正及び各色の画像データに対して補間処理を行う。また、画像処理部２２は、後述する背景ボカシモード時において、所定領域の画像をぼかす画像処理等を行う。
【００２０】
なお、制御部２０は、上記説明した以外に、画像選択部２３と、距離情報推測部２４と、ボカシ量設定部２５とを有している。これらの機能部は、後述する撮影モードの１つである背景ボカシモード時において、ボカシ画像を生成する際に機能する。つまり、制御部２０は、ボカシ画像形成装置としても機能する。この背景ボカシモード時における各部の作用については、後に詳述する。
【００２１】
上記のように構成されたカメラ１０は、撮影に際して、使用者（撮影者）による操作部１８の操作に基づく制御部２０の制御によって、撮像部１１が撮像素子１５に結像した被写体像を電気信号に変換して制御部２０に出力する。そして、この電気信号から制御部２０（画像処理部２１）は画像データを形成し、画像記録部１９に記録する。
【００２２】
ここで、カメラ１０は、複数の設定の異なる撮影モードを備えている。撮影モードには、撮影条件にかかるシャッター速度優先モード及び絞り優先モード等の他に、撮影後の画像に制御部２０が自動的に予め定められた画像処理を行う撮像処理モードを有する。このような撮像処理モードの一つとして、背景ボカシモードを備えている。
【００２３】
背面ボカシモードでは、撮影者の意図した主要被写体に合焦した画像（以下、基準画像と称する）を撮影すると同時に、主要被写体から合焦位置をずらした画像（以下、参照画像と称する）を複数自動的に撮影する。そして、基準画像と、複数の参照画像とに基づいて、主要被写体から主要被写体以外の被写体（以下、周囲被写体と称する）までの距離を推測し、主要被写体を基準とした距離マップ（即ち、主要被写体から各周囲被写体までの距離をマップ状に示すもの）を作成し、その距離マップに基づいた（主要被写体までの距離に応じた）ボカシ量で基準画像における周辺被写体の画像をぼかした「背面ボカシ画像」を形成する。
ここで、背景ボカシモードでは、主要被写体や周囲被写体を個々に区別する必要は無い。撮像素子１５内の画素毎（画素の座標毎）に、「合焦しているとみなせるエリア(そのフレームの画像信号において、コントラスト値が最大及び最大近傍となるエリア、又はコントラスト値が合焦とみなせる値として予め決められた所定値以上となるエリア)」を特定するだけで、各画素毎に主要被写体までの距離（距離差）を当てはめることができる。これについて詳述すると、基準画像を撮影した際に、その基準画像において、既述した「合焦しているとみなせるエリア」の画素（以下、合焦画素と称す）を識別する。同様にして各参照画像においても、それぞれ合焦画素を識別する。このようにすることで、撮像素子１５内の撮影画像を出力する全ての画素に対して、どの参照画像または基準画像において合焦画素となるかを識別することができる。各参照画像を撮影したときの撮影距離と、基準画像を撮影したときの撮影距離との差は、各撮影時（基準画像と複数の参照画像それぞれの撮影時）の合焦距離情報の差分を算出することで求めることが出来るので、これに基づいて基準画像の合焦画素に対する各参照画像の合焦画素の距離差が得られる。この得られた距離差に基づいて、各画素毎の距離マップを（基準画像の合焦画素を基準とした距離マップ）を作成することが出来る。その後は上述したように、この距離マップを使って、距離差に応じたボカシ処理を画素毎に適用すれば良い。
なお、背景ボカシモードを含む撮影及び撮像処理モードの設定は、操作部１８の操作ボタンを操作することで行う。
【００２４】
つぎに、前述した図１に加えて図２から図４を参照しつつ、背景ボカシモード時における、制御部２０の各部の作用を説明する。なお以下では、説明を容易にするために、画面内に存在する被写体は、主要被写体Ｍと周囲被写体Ｐ１〜Ｐ４のみであるものとして説明する。
図２は、主要被写体Ｍと周囲被写体Ｐ１〜Ｐ４の距離関係を概念的に示す説明図である。図３は、背景ボカシモード時における制御部２０の各部（撮影制御部２１、画像処理部２２、画像選択部２３、距離情報推測部２４、ボカシ量設定部２５）による処理の流れを示すフローチャートである。図４は、背面ボカシ画像の説明図であって、（Ａ）は処理前の基本画像、（Ｂ）は背面ボカシ処理後の背面ボカシ画像を概念的に示す。
【００２５】
撮影制御部２１は、背景ボカシモード時において、指定されたＡＦエリアに位置する被写体（主要被写体Ｍ）に合焦させた基準画像を撮影すると略同時に（厳密にはその撮影の前、又はその後に引き続いて連続的に撮影する）、レンズ駆動部１２を制御駆動して合焦位置を高速に変化させつつ複数枚の参照画像の撮影を行う。
参照画像の撮影は、例えば、主要被写体Ｍに合焦した位置の近傍から、撮像レンズ１１の合焦レンズ群を無限遠側に高速に移動させつつ予め定められた所定の等間隔ごとに行う。これにより、主要被写体Ｍに合焦した基準画像と、この基準画像とは合焦位置がそれぞれ異なる複数の画像（参照画像）を得る。
【００２６】
なお、参照画像の撮影方法は、この例に限定されるものではない。
例えば、主要被写体Ｍへの合焦位置の無限遠側付近から、撮像レンズ１１の合焦レンズ群を最短撮影距離側に移動させてもよい。
また、主要被写体Ｍに合焦した位置の近傍から、撮像レンズ１１の合焦レンズ群を至近側に一旦移動させた後、無限遠側に移動させつつ予め定められた所定の等間隔ごとに行ってもよい。
さらに、主要被写体Ｍに対する合焦状態（合焦位置）とは無関係に、撮像レンズ１１の合焦レンズ群を、最短撮影距離側から無限遠側に、または、無限遠側から最短撮影距離側に移動させて撮影してもよい。
また、参照画像の取得間隔及び枚数等は、撮影時点における当該カメラ１０の状態（バッテリやメモリの残量等）に応じて、制御部２０が適宜変更するようになっていてもよい。
【００２７】
画像処理部２２は、通常の画像形成の際における画像処理の他に、後述するボカシ量設定部２５によって設定されたパラメータに基づいて、基準画像における周辺被写体Ｐ１〜Ｐ４の画像をぼかす画像処理を行う。画像をぼかす画像処理は、例えば、画像情報にガウス型のボカシフィルターをかけることで行う。
【００２８】
画像選択部２３は、基準画像と、この基準画像と比較する参照画像を選択して、距離情報推測部２４に出力する。参照画像の選択は、複数の参照画像から撮影時の合焦距離情報に沿って順番に、または、複数の参照画像の中から所定の条件で選択した参照画像を撮影時の合焦距離情報に沿って順番に行う。
【００２９】
距離情報推測部２４は、まず各参照画像における特徴量に基づいて各参照画像における合焦画素（前述）を特定する。本実施形態では上述したように特徴量としてコントラスト値を用いて合焦画素を求める。
なお本実施形態では説明を簡単にするために、周囲被写体Ｐ１〜Ｐ４はそれぞれ、一周囲被写体は同一距離に存在しているものと見做す（厳密には各被写体は光軸方向に凹凸が存在すると思われるが、ここではそこまでは考えずに、例えば周囲被写体Ｐ２の家全体が、主要被写体である人Ｍから距離Ｄ２の位置に存在しているものと見做す）。このため各周囲被写体における合焦画素は、１つの参照画像に収まるものとする（各被写体の合焦画素は、複数の参照画像間に跨らないものとする）。
既述したように、基準画像と各参照画像それぞれにおける各撮影時の合焦距離情報を用いて、主要被写体Ｍ（主要被写体の合焦画素）に対して周囲被写体Ｐ１〜Ｐ４（各周囲被写体の合焦画素）が無限遠側または最短撮影距離側のどちら側にどの程度離間しているか（主要被写体Ｍから周囲被写体Ｐ１〜Ｐ４までの距離）、を推測する。以下、この主要被写体Ｍから周囲被写体Ｐ１〜Ｐ４までの距離のことを、「対主要被写体間距離Ｄ１〜Ｄ４」と称する。
そして、上述した対主要被写体間距離Ｄ１〜Ｄ４に基づいて、周囲被写体Ｐ１〜Ｐ４の画像毎（周囲被写体Ｐ１〜Ｐ４に対応する画素毎）に距離マップ（主要被写体までの距離差を画素（周囲被写体エリア）毎に示すマップ）を作成する。
【００３０】
ここで、対主要被写体間距離Ｄ１〜Ｄ４を推測により求める場合は、参照画像が一枚であってもある程度は可能である。しかし、複数枚の参照画像を用いることで、対主要被写体間距離Ｄ１〜Ｄ４を高い精度で推測することが可能となる。前述した撮影制御部２１における参照画像の取得は、この距離情報推測部２４による対主要被写体間距離Ｄ１〜Ｄ４の推測に必要十分な撮影間隔及び枚数で行えばよいが、撮影制御部２１が撮影した多数の画像の中から、画像選択部２３が、必要に応じて適当なものを適宜数選択するように構成してもよい。
【００３１】
なお、対主要被写体間距離Ｄ１〜Ｄ４の推測は、個々の画素ごとに行った場合、処理画像は自然なものとなるが、制御部２０における処理負担が増大する。この処理負担を軽減するための、所定数の画素ごとに分割した範囲を、一画素の代わりの一単位として、上記処理を行うこともできる。この場合、分割範囲が大きくなると、境界においてぼけ具合が非連続となる可能性もあるが、制御部２０の処理負担は軽くなる。このため、画素分割の程度と処理負担の程度とのバランスより、画素分割の程度が決定される。
【００３２】
ボカシ量設定部２５は、上述した距離マップに基づいてボカシ量を設定する。これにより、周囲被写体Ｐ１〜Ｐ４の画像（画素）に対して、その対主要被写体間距離Ｄ１〜Ｄ４に応じたボカシ量が設定される。この際に、対主要被写体間距離が大きい程、ボカシ量が大きくなるようにボカシ量を設定する。
【００３３】
このような関係となる対主要被写体間距離Ｄ１〜Ｄ４に対するボカシ量の設定は、例えば、対主要被写体間距離Ｄ１〜Ｄ４とボカシ量との対応関係（パラメータ）を定めたＬＵＴ（ｌｏｏｋ−ｕｐ  Ｔａｂｌｅ）を作成して図示しないメモリに格納保持しておき、そのＬＵＴを参照することで行うことができる。ＬＵＴは、一種類に限らず、パラメータが異なる複数種類のものを用意し、それらのＬＵＴの中から撮影者が操作部１８を操作することで好みのものを選択し得るように構成すれば、より撮影者の要求に即した画像作成が可能となる。なお、操作部１８を操作してＬＵＴを選択する際には、Ｆ値を指標とすれば、解り易い。すなわち、例えば、Ｆ２．８相当のボカシ量、Ｆ４相当のボケ具合等と表示する。
【００３４】
つぎに、背景ボカシモード時における制御部２０（撮影制御部２１、画像処理部２２、画像選択部２３、距離情報推測部２４、ボカシ量設定部２５）による処理の流れを、図３に示すフローチャートに沿って説明する。なお、以下の説明においては、「ステップ」を「Ｓ」とも表記する。
【００３５】
背景ボカシモード時において、シャッターボタンが押圧されて撮影が指令されると、撮影制御部２１が、指定されたＡＦエリアに位置する被写体に合焦させて基準画像の撮影を行い、同時に、合焦位置を変化させて複数枚の参照画像の撮影を行う（Ｓ０１）。ここで、基準画像は、例えば、前述したように、撮影者がＡＦエリアに位置する撮影者が意図した被写体（主要被写体Ｍ）に合焦した画像である。つまり、視点を変えると合焦している被写体が主要被写体Ｍである。
【００３６】
ついで、画像選択部２３が、基準画像を選択すると共に、複数の参照画像を全て順番に、または、複数の参照画像の中から所定の条件で選択した参照画像を順番に、距離情報推測部２４に出力する（Ｓ０２）。
ステップ０２において画像選択部２３が選択した基準画像と参照画像が入力された距離情報推測部２４は、入力された各参照画像のコントラスト情報と、基準画像と各参照画像それぞれにおける各撮影時の合焦距離情報とを用い、主要被写体Ｍから周囲被写体Ｐ１〜Ｐ４までの距離（対主要被写体間距離Ｄ１〜Ｄ４）を推測し、各画素毎の距離マップを作成する（Ｓ０３）。
【００３７】
ついで、ボカシ量設定部２５が、ステップ０３において距離情報推測部２４が推測した、対主要被写体間距離Ｄ１〜Ｄ４に応じる距離マップに基づいて、画素毎のボカシ量（周囲被写体Ｐ１〜Ｐ４に対するボカシ量）のパラメータを設定する（Ｓ０４）。
【００３８】
その後、画像処理部２２が、ステップ０４においてボカシ量設定部２５が設定した各画素（周囲被写体Ｐ１〜Ｐ４）に対するボカシ量のパラメータに基づいて、基準画像の周辺被写体Ｐ１〜Ｐ４の部分の画像をぼかす画像処理を施す（Ｓ０５）。すなわち、基準画像の周囲被写体Ｐ１〜Ｐ４を描く画素の画像情報に対して、ボカシ量設定部２５によって設定されたパラメータに応じた強度のフィルターをかけ、周囲被写体Ｐ１〜Ｐ４がぼけた画像を形成する。
【００３９】
これにより、基準画像とは異なる、主要被写体Ｍの周囲の周囲被写体Ｐ１〜Ｐ４が距離に応じてぼけた（対主要被写体間距離Ｄ１〜Ｄ４が大きい周囲被写体Ｐ１〜Ｐ４程、ぼけ量が大きい）、背景ボカシ画像が形成される。
【００４０】
このように形成された背景ボカシ画像は、基準画像が例えば図４（Ａ）に示すように近景から遠景までほとんど合焦したパンフォーカスの画像であっても、図４（Ｂ）に示すように、あたかも明るい（Ｆ値の小さい）大口径レンズを用いて絞り開放付近で撮影したかのような画像となる。すなわち、被写界深度が浅く、主要被写体Ｍ以外の周囲被写体Ｐ１〜Ｐ４がぼけた画像となり、撮影者の意図する主要被写体Ｍを浮き上がらせた奥行きのある映像表現が可能となる。周囲被写体Ｐ１〜Ｐ４のボカシ量は、対主要被写体間距離Ｄ１〜Ｄ４に応じて変化するため、極めて自然なボケ具合が得られる。また、ボカシ量のパラメータを選択可能に構成することで、撮影者がその意図によってボケの程度を調整した画像を得ることができる。
【００４１】
（第２実施形態）
つぎに、背景ボカシモード時における、制御部２０による背景ボカシ処理の異なる第２実施形態を説明する。第２実施形態に係るカメラ１０及びその制御部２０の各部の構成は、前述の実施形態と同様であるため、その説明は省略する。
【００４２】
第２実施形態における背面ボカシモードでは、基準画像と、複数の参照画像とを用い、参照画像の中から上述した第１実施形態と同様の手法で特定された周囲被写体Ｐ１〜Ｐ４に合焦する画素が出力する画像を、対主要被写体間距離Ｄ１〜Ｄ４に応じた量でぼかし、そのぼかした周囲被写体Ｐ１〜Ｐ４の画像を基準画像に合成することで、主要被写体Ｍからの距離に応じて周辺被写体Ｐ１〜Ｐ４をぼかした背面ボカシ画像を形成するものである。
【００４３】
図５は、第２実施形態における背景ボカシモード時における制御部２０の各機能部（撮影制御部２１、画像処理部２２、画像選択部２３、距離情報推測部２４、ボカシ量設定部２５）による処理の流れを示すフローチャートである。この図５に示すフローチャートに沿って、本実施形態を説明する。
【００４４】
背景ボカシモード時において、シャッターボタンが押圧されて撮影が指令されると、撮影制御部２１が、指定されたＡＦエリアに位置する被写体に合焦させて基準画像の撮影を行い、さらに、合焦位置を変化させて複数枚の参照画像の撮影を行う（Ｓ１１）。
ついで、画像選択部２３が、複数の参照画像を全て順番に、または、複数の参照画像の中から所定の条件で選択した参照画像を順番に、距離情報推測部２４に出力する（Ｓ１２）。
【００４５】
距離情報推測部２４は、ステップ１２において画像選択部２３が選択した参照画像を用い、その各参照画像において合焦していると見做せる画素（各周囲被写体Ｐ１〜Ｐ４部分）を特定し、当該周囲被写体Ｐ１〜Ｐ４にそれぞれ合焦している画素が備える画像（周囲被写体合焦画像）を選択する。そして、その周囲被写体合焦画像の撮影時の合焦距離情報と、基準画像の合焦距離情報とに基づいて、カメラ１０から周囲被写体Ｐ１〜Ｐ４までの距離（被写体距離ｄ１〜ｄ４）を推測すると共に、主要被写体Ｍに合焦した基準画像に基づいてカメラ１０から主要被写体Ｍ間での距離ＤＭを推測し、両者から演算によって対主要被写体間距離Ｄ１〜Ｄ４を得て、これに基づいて第１実施形態と同様な距離マップを作成する（Ｓ１３）。
【００４６】
ボカシ量設定部２５は、ステップ１３において距離情報推測部２４が推測した対主要被写体間距離Ｄ１〜Ｄ４に応じて作成した距離マップに基づいて、周囲被写体Ｐ１〜Ｐ４に合焦する画素の出力画像に対するボカシ量のパラメータを設定する（Ｓ１４）。
【００４７】
その後、画像処理部２２が、ステップ１３において距離情報推測部２４が選択した周囲被写体合焦画像から、合焦した周囲被写体Ｐ１〜Ｐ４の画像部分を取り出し、この周囲被写体Ｐ１〜Ｐ４の画像に、ステップ１４においてボカシ量設定部２５によって設定された周囲被写体Ｐ１〜Ｐ４に対するボカシ量のパラメータに応じた強度のフィルターをかけ、ボカシ処理された周囲被写体Ｐ１〜Ｐ４の画像を形成する（Ｓ１５）。
そして、そのボカシ処理された周囲被写体Ｐ１〜Ｐ４の画像を、基本画像の対応する周囲被写体Ｐ１〜Ｐ４の画像と入れ替えて合成する（Ｓ１６）。
【００４８】
これにより、基準画像とは異なる、主要被写体Ｍの周囲の周囲被写体Ｐ１〜Ｐ４が距離に応じてぼけた背景ボカシ画像が形成される。
このように形成された背景ボカシ画像は、前述した第１実施形態と同様に、あたかも明るい（Ｆ値の小さい）大口径レンズを用いて絞り開放付近で撮影したかのような、被写界深度が浅く、主要被写体の周囲がぼけた画像となる。
【００４９】
第２実施形態では、合焦した周囲被写体像Ｐ１〜Ｐ４に対して、対主要被写体間距離Ｄ１〜Ｄ４（距離マップ）に応じてぼかした画像を形成し、それらを組み合わせることで主要被写体Ｍには合焦すると共に周囲被写体Ｐ１〜Ｐ４は対主要被写体間距離Ｄ１〜Ｄ４に応じてぼけた背景ボカシ画像を形成する。このため、ぼけ量を実際のレンズによるピント外れのボケに近似させた設定が容易となる。
【００５０】
以上、本実施形態によると、以下の効果を有する。
（１）主要被写体に合焦した基準画像を撮影すると同時に、主要被写体から合焦位置をずらした参照画像を複数撮影し、基準画像と参照画像とに基づいて、主要被写体から周囲被写体までの距離を推測し、その距離に応じたボカシ量で基準画像における周辺被写体の画像をぼかすことで、主要被写体の周囲の周囲被写体が距離に応じてぼけた背景ボカシ画像を形成することができる。
これにより、撮像素子１５のサイズが小さく、撮像レンズ１１の焦点距離が短く暗い（開放Ｆ値の大きい）カメラ１０であっても、あたかも明るい（開放Ｆ値の小さい）大口径レンズを用いて絞り開放付近で撮影したかのような、被写界深度が浅く、主要被写体の周囲がぼけた画像を得ることができ、主要被写体Ｍを浮き上がらせた奥行きのある映像表現が可能となる。
【００５１】
（２）周囲被写体のボカシ量は、対主要被写体間距離に応じて変化するため、極めて自然なボケ具合が得られる。
（３）ボカシ量のパラメータを選択可能に構成することで、撮影者がその意図によってボケの程度を調整した画像を得ることができる。
【００５２】
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上記実施形態では、撮影制御部２１が合焦位置を変化させて撮影した複数枚の参照画像に基づいて、距離情報推測部２４が周囲被写体Ｐ１〜Ｐ４までの距離（対主要被写体間距離Ｄ１〜Ｄ４）を推測する例を説明した。しかし、参照画像の取得と、取得した参照画像に基づく対主要被写体間距離Ｄ１〜Ｄ４の推測は、この構成に限るものではなく、例えば、異なる絞り値で撮影した画像を参照画像とする構成としてもよい。すなわち、撮影制御部２１は、主要被写体Ｍに対する合焦位置は変化させずに絞り値を変化させて複数枚の参照画像を撮影し、距離情報推測部２４は、絞り値によって変化する被写界深度に基づいて、周囲被写体Ｐ１〜Ｐ４に合焦した参照画像の絞り値から、対主要被写体間距離Ｄ１〜Ｄ４を推測する構成としてもよい。
【００５３】
（２）また、上記実施形態では、撮影制御部２１が、ＡＦエリアに位置する主要被写体Ｍに合焦させて撮影した画像を基準画像とし、この基準画像に対して画像処理部２２が画像処理（ボカシ処理）する例を説明した。しかし、基準画像は、連続して撮影した画像（実施形態における参照画像）の中から選択するように構成してもよい。例えば、連続して撮影した画像の中で、ＡＦエリア内におけるピント評価値が最も高い画像を基本画像として自動的に選択するように構成してもよく、連続して撮影した画像の中から撮影者が操作部１８を操作して基本画像をマニュアルで選択可能に構成してもよい。基本画像を撮影者がマニュアルで選択可能に構成する場合には、表示部１７に連続して撮影した画像をサムネイル形式で表示すると共に、合焦位置及び合焦領域を画面中にハイライト表示する等とすれば、解り易く操作性よく構成できる。
【００５４】
（３）また、上記実施形態では、距離情報推測部２４が、対主要被写体間距離Ｄ１〜Ｄ４の推定に用いる特徴量として、コントラスト値を用いる例を説明したが、特徴量としては例えばエッジ量を用いる構成としてもよい。この場合、参照画像毎にピークと見做せるエッジ画素（予め決められたエッジ量以上のエッジ量が得られる画素、あるいは最大エッジ量およびその近傍のエッジ量が得られる画素）で囲まれた領域を同一被写体（上述した周囲被写体の１つ）と見做すようにして、その囲まれた画素に対して同一の距離情報を持つような距離マップを生成するように処理するのが望ましい。
（４）さらに、上記実施形態では、ボカシ量設定部２５は、予め定められたＬＵＴ（ｌｏｏｋ−ｕｐ  Ｔａｂｌｅ）を参照することでボカシ量のパラメータを設定する例を説明したが、ボカシ量のパラメータの設定は、この例に限らず、例えば、予め定めた関数から演算して設定するように構成してもよいものである。
（５）なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【図面の簡単な説明】
【００５５】
【図１】本発明の一実施形態である画像形成装置を備えるカメラの概略構成を示すブロック図である。
【図２】主要被写体Ｍと周囲被写体の距離関係を概念的に示す説明図である。
【図３】背景ボカシモード時における制御部による処理の流れを示すフローチャートである。
【図４】背面ボカシ画像の説明図であって、（Ａ）は処理前の基本画像、（Ｂ）は背面ボカシ処理後の背面ボカシ画像を示す。
【図５】第２実施形態における背景ボカシモード時における制御部による処理の流れを示すフローチャートである。
【符号の説明】
【００５６】
１０：カメラ１０、１１：撮像レンズ１１、１３：絞り、１５：撮像素子、１８：操作部、２０：制御部、２１：撮影制御部、２２：画像処理部、２３：画像選択部、２４：距離情報推測部、２５：ボカシ量設定部、Ｍ：主要被写体、Ｐ１〜Ｐ４：周囲被写体、Ｄ１〜Ｄ４：対主要被写体間距離
【図１】
2011010194.tif 000003
【図２】
2011010194.tif 000004
【図３】
2011010194.tif 000005
【図４】
2011010194.tif 000006
【図５】
2011010194.tif 000007