(57)【要約】【課題】煩雑な操作を行うことなく背景をぼかした撮影を行いたいユーザが容易に背景ぼかし画像を得ることができるようにする。【解決手段】被写体に合焦した状態で得られた第１の画像と被写体を除く背景に合焦した状態で得られた第２の画像に応じて被写体領域および背景領域を判別し、領域判別結果に応じて第１の画像又は第２の画像における背景にぼかし処理を施して背景ぼかし画像を生成する。そして、第１の画像と背景ぼかし画像とを合成して背景ぼかし画像を生成する。この際、被写界深度に応じて領域の判別が可能であるか否かを判定し、領域の判別が不可であると焦点距離を領域の判別が可能である焦点距離に変更して、当該変更後の焦点距離によって第１の画像および第２の画像を得る。【選択図】図２
2014131188.tif 000002
【特許請求の範囲】
【請求項１】
合焦位置を変化させて複数枚の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置であって、
被写体に合焦した状態で得られた第１の画像と前記被写体を除く前記背景に合焦した状態で得られた第２の画像に応じて前記被写体の領域および前記背景の領域を判別して領域判別結果を出力する判別手段と、
前記領域判別結果に応じて前記第１の画像又は前記第２の画像における背景にぼかし処理を施して背景ぼかし画像を生成するぼかし処理手段と、
前記第１の画像と前記背景ぼかし画像とを合成して前記背景ぼかし画像を生成する合成手段と、
被写界深度に応じて、前記判別手段による領域の判別が可能であるか否かを判定する判定手段と、
前記判定手段によって前記判別手段による領域の判別が不可であると判定されると焦点距離を前記領域の判別が可能である焦点距離に変更して、当該変更後の焦点距離によって前記撮像手段を制御して前記第１の画像および前記第２の画像を得る制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記変更後の焦点距離は前記被写体に合焦した際の被写界深度に前記背景が入らない焦点距離であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、少なくとも前記変更後の焦点距離で撮影を行った際の画角を表示部に表示することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は、変更前後の焦点距離の変動量が所定の閾値未満であると、前記変更後の焦点距離で撮影を行うことが可能であると判定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
前記制御手段は、前記変更後の焦点距離で撮影すると少なくとも前記被写体の一部が画角の外に出てしまう場合に、前記変更後の焦点距離で撮影を行うことが不可であると判定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項６】
合焦位置を変化させて複数枚の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置であって、
第１の焦点距離で被写体に合焦した状態で得られた第１の画像と前記第１の焦点距離で前記被写体を除く前記背景に合焦した状態で得られた第２の画像とに応じて、前記被写体の領域および前記背景の領域を判別して領域判別結果を出力する判別手段と、
前記被写体に合焦した際の被写界深度に応じて、前記判別手段による領域の判別が可能であるか否かを判定する判定手段と、
前記第１の焦点距離と異なりかつ前記被写界深度に前記背景が入る第２の焦点距離で撮影した際に得られる第３の画像における背景にぼかし処理を施して背景ぼかし画像を生成するぼかし処理手段と、
前記領域判別結果を前記第２の焦点距離による画角に応じて変更して変更後の領域判別結果とする変更手段と、
前記変更後の領域判別結果に応じて前記第３の画像と前記背景ぼかし画像とを合成して前記背景ぼかし画像を生成する合成手段と、
前記判定手段によって前記判別手段による領域の判別が不可である判定されると前記第２の焦点距離を前記第１の焦点距離に変更して、前記第１の焦点距離によって前記撮像手段を制御して前記第１の画像および前記第２の画像を得る制御手段と、
を有することを特徴とする撮像装置。
【請求項７】
合焦位置を変化させて複数枚の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置の制御方法であって、
被写体に合焦した状態で得られた第１の画像と前記被写体を除く前記背景に合焦した状態で得られた第２の画像に応じて前記被写体の領域および前記背景の領域を判別して領域判別結果を出力する判別ステップと、
前記領域判別結果に応じて前記第１の画像又は前記第２の画像における背景にぼかし処理を施して背景ぼかし画像を生成するぼかし処理ステップと、
前記第１の画像と前記背景ぼかし画像とを合成して前記背景ぼかし画像を生成する合成ステップと、
被写界深度に応じて、前記判別ステップによる領域の判別が可能であるか否かを判定する判定ステップと、
前記判定ステップで前記判別ステップによる領域の判別が不可であると判定されると焦点距離を前記領域の判別が可能である焦点距離に変更して、当該変更後の焦点距離によって前記撮像手段を制御して前記第１の画像および前記第２の画像を得る制御ステップと、
を有することを特徴とする制御方法。
【請求項８】
合焦位置を変化させて複数枚の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
被写体に合焦した状態で得られた第１の画像と前記被写体を除く前記背景に合焦した状態で得られた第２の画像に応じて前記被写体の領域および前記背景の領域を判別して領域判別結果を出力する判別ステップと、
前記領域判別結果に応じて前記第１の画像又は前記第２の画像における背景にぼかし処理を施して背景ぼかし画像を生成するぼかし処理ステップと、
前記第１の画像と前記背景ぼかし画像とを合成して前記背景ぼかし画像を生成する合成ステップと、
被写界深度に応じて、前記判別ステップによる領域の判別が可能であるか否かを判定する判定ステップと、
前記判定ステップで前記判別ステップによる領域の判別が不可であると判定されると焦点距離を前記領域の判別が可能である焦点距離に変更して、当該変更後の焦点距離によって前記撮像手段を制御して前記第１の画像および前記第２の画像を得る制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像を撮影して当該画像を用いて背景ぼかし画像を生成するための撮像装置、その制御方法、および制御プログラムに関する。
【背景技術】
【０００２】
一般に、ポートレート写真などにおいて被写体を印象づけるため、被写体以外の背景をぼかして被写体を浮き立たせる手法がある。一眼レフカメラのように撮像素子が大きい撮像装置では、絞りを開き、焦点距離を長くすることによって、被写界深度が浅くなるので、比較的容易に被写体以外の背景をぼかした画像を撮影することができる。
【０００３】
一方、所謂コンパクトデジタルカメラなどの撮像素子が小さい撮像装置では、上記の手法を用いても、被写界深度が深くなる傾向にあるので、背景をぼかした画像を撮影することは困難である。
【０００４】
このため、コンパクトデジタルカメラなどの撮像装置には、画像処理によって疑似的に背景にぼかし効果を与える機能を有するものがある。この機能では、例えば、合焦位置を変化させて撮影した複数枚の画像間の差分情報に応じて主要被写体の領域と背景の領域とを分離し、背景とする画像にぼかし処理を施して、当該ぼかし処理を施した画像と主要被写体に合焦した画像と合成している。
【０００５】
なお、主要被写体の領域と背景の領域とを分離するため、所謂二眼撮像装置の視差を用いて領域の判別を行う手法があるが、この手法では撮像装置にレンズが２つ必要となるため、不可避的に撮像装置が大型化し、さらには生産コストが増加してしまう。
【０００６】
さらに、任意の位置でぼけ効果を付加するため、合焦したい位置と、ぼけ効果を付加したい位置とを指定して、両方の位置についてオートフォーカス動作によって、被写体のズームレンズからの距離を測定し、当該測定結果に応じて開口径を制御し、ぼけ効果を付加したい位置を被写界深度外とするようにしたものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１２５２８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、合焦位置を変化させて撮影した複数枚画像から被写体の領域と背景の領域とを分離するアルゴリズムにおいて、被写体の領域と背景の領域とを分離する際には、被写体の領域と背景の領域とが少なくとも１深度以上の差を有する位置関係にある必要がある。従って、同一深度内に位置する被写体領域と背景の領域とを分離することは困難である。
【０００９】
このため、被写体の領域と背景の領域との距離が近く、深度差がない状態で撮影する場合には、撮影前後において背景ぼかし撮影ができない（又はできなかった）旨をユーザに警告することが行われている。さらには、現在の絞り値および背景までの距離情報に応じて背景をぼかすことのできる被写体までの距離の概略値を表示装置に表示して、ユーザに撮影条件の変更を促すことも行われている。
【００１０】
しかしながら、上述のようなユーザに対して被写体までの距離を提示する手法および撮影後に「背景をぼかすことができませんでした」などの警告を表示する手法では、背景ぼかし画像を撮影するまでの手順が煩雑となってしまう。このため、背景をぼかした画像を撮影したいというユーザの希望に対して十分に対処することができない。
【００１１】
従って、本発明の目的は、煩雑な操作を行うことなく背景をぼかした撮影を行いたいユーザが容易に背景ぼかし画像を得ることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明による撮像装置は、合焦位置を変化させて複数枚の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置であって、被写体に合焦した状態で得られた第１の画像と前記被写体を除く前記背景に合焦した状態で得られた第２の画像に応じて前記被写体の領域および前記背景の領域を判別して領域判別結果を出力する判別手段と、前記領域判別結果に応じて前記第１の画像又は前記第２の画像における背景にぼかし処理を施して背景ぼかし画像を生成するぼかし処理手段と、前記第１の画像と前記背景ぼかし画像とを合成して前記背景ぼかし画像を生成する合成手段と、被写界深度に応じて、前記判別手段による領域の判別が可能であるか否かを判定する判定手段と、前記判定手段によって前記判別手段による領域の判別が不可であると判定されると焦点距離を前記領域の判別が可能である焦点距離に変更して、当該変更後の焦点距離によって前記撮像手段を制御して前記第１の画像および前記第２の画像を得る制御手段と、を有することを特徴とする。
【００１３】
本発明による制御方法は、合焦位置を変化させて複数枚の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置の制御方法であって、被写体に合焦した状態で得られた第１の画像と前記被写体を除く前記背景に合焦した状態で得られた第２の画像に応じて前記被写体の領域および前記背景の領域を判別して領域判別結果を出力する判別ステップと、前記領域判別結果に応じて前記第１の画像又は前記第２の画像における背景にぼかし処理を施して背景ぼかし画像を生成するぼかし処理ステップと、前記第１の画像と前記背景ぼかし画像とを合成して前記背景ぼかし画像を生成する合成ステップと、被写界深度に応じて、前記判別ステップによる領域の判別が可能であるか否かを判定する判定ステップと、前記判定ステップで前記判別ステップによる領域の判別が不可であると判定されると焦点距離を前記領域の判別が可能である焦点距離に変更して、当該変更後の焦点距離によって前記撮像手段を制御して前記第１の画像および前記第２の画像を得る制御ステップと、を有することを特徴とする。
【００１４】
本発明による制御プログラムは、合焦位置を変化させて複数枚の画像を撮影する撮像手段を備え、前記複数の画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、被写体に合焦した状態で得られた第１の画像と前記被写体を除く前記背景に合焦した状態で得られた第２の画像に応じて前記被写体の領域および前記背景の領域を判別して領域判別結果を出力する判別ステップと、前記領域判別結果に応じて前記第１の画像又は前記第２の画像における背景にぼかし処理を施して背景ぼかし画像を生成するぼかし処理ステップと、前記第１の画像と前記背景ぼかし画像とを合成して前記背景ぼかし画像を生成する合成ステップと、被写界深度に応じて、前記判別ステップによる領域の判別が可能であるか否かを判定する判定ステップと、前記判定ステップで前記判別ステップによる領域の判別が不可であると判定されると焦点距離を前記領域の判別が可能である焦点距離に変更して、当該変更後の焦点距離によって前記撮像手段を制御して前記第１の画像および前記第２の画像を得る制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、煩雑な操作を行うことなく背景をぼかした撮影を行いたいユーザは容易に背景ぼかし画像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラにおける被写界深度を説明するための図である。
【図３】図２に示す前方被写界深度および後方被写界深度を求める計算式を示す図である。
【図４】図１に示すカメラで行われる背景ぼかし画像の生成のアルゴリズムを説明するためのフローチャートである。
【図５】焦点距離を推奨焦点距離に変更した際の画角の変動を示す図である。
【図６】図１に示す画像処理回路で生成される切り出しマップの一例を示す図である。
【図７】本発明の第２の実施形態によるカメラで行われる画像合成を説明するための図である。
【図８】図７に示す切り出しマップの画角拡張を説明するための図であり、（ａ）は拡張したエリアをすべて背景領域とする例を示す図、（ｂ）は原領域情報の上下左右の４辺を拡張する例を示す図、（ｃ）は被写体領域検出を行う例を示す図、（ｄ）は被写体と同一色領域を同一の被写体領域であるとみなす例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１８】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【００１９】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、光学系１を有している。光学系１は複数のレンズ群と絞り機構とを備え、レンズ群には測距用レンズおよびズーム用レンズが含まれている。光学系１を介して入射した光学像は、ＣＣＤ又はＣＭＯＳイメージセンサなどの撮像素子２に結像する。この撮像素子２にはＡ／Ｄ変換器が含まれており、その表面には、例えば、ベイヤー配列のＲＧＢカラーフィルタに覆われ、カラー撮影が可能となっている。
【００２０】
撮像素子２は光学像に応じた電気信号（アナログ信号）を生成し、Ａ／Ｄ変換器によって当該アナログ信号をデジタル信号（画像データ）に変換して、メモリ３に記録する。このメモリ３には上記の画像データの他、画像処理に必要なデータおよび画像処理済みの画像データ（処理済み画像データ）が保存される。
【００２１】
画像処理回路４はメモリ３に記録された画像データに対して所定の画素補間処理および色変換処理などの画像処理を行う。また、画像処理回路４は画像データについて画像切り出し処理および変倍処理によって所謂電子ズームを行う。
【００２２】
さらに、画像処理回路４は画像データに応じて所定の演算処理を行い、システム制御部５は当該演算処理によって得られた演算結果に基づいて適正露出になるようにシャッター速度および絞り値を求めるとともに、被写体に合焦するようにフォーカスレンズ（ズーム用レンズ）の駆動量を求める。そして、システム制御部５はシャッター速度、絞り値、および駆動量に応じて露光制御部６、測距制御部７、および焦点距離制御部８を制御する。なお、システム制御部５はカメラ全体の制御を司る。
【００２３】
加えて、画像処理回路０４は画像データの解析、フィルタ処理、および合成処理などを行って、後述するアルゴリズムに応じて背景ぼかし画像を生成する。
【００２４】
露光制御部６は、システム制御部５の制御下で光学系１に備えられた絞り機構、撮像素子２の露光時間、および撮影感度を制御して適正露光を行う。測距制御部７は、システム制御部５の制御下で光学系１に備えられた測距レンズを制御する。焦点距離制御部８は、システム制御部５の制御下で光学系１に備えられたズーム用レンズを制御して焦点距離を変更する。
【００２５】
画像処理回路４で画像処理された処理済み画像データは圧縮回路９に与えられる。圧縮回路９は当該処理済み画像データをＪＰＥＧなどの圧縮画像データとして、圧縮画像データを記録媒体１０に記録する。
【００２６】
なお、メモリ３に保存された処理済み画像データは、ＬＣＤ又は外部モニタなどの表示部１１に与えられ、表示部１１は処理済み画像データに応じた画像を画面表示する。
【００２７】
ところで、背景ぼかし処理を行う際には、カメラは合焦位置の異なる複数枚の画像の撮影を行う（この撮影をピント振り撮影と呼ぶ）。つまり、カメラは合焦位置を変化させて複数枚の画像の撮影を行う。
【００２８】
このピント振り撮影においては、主要被写体に合焦した状態の画像（以下第１の画像と呼ぶ）を少なくとも一枚撮影して、背景領域と被写体領域との分離処理を行うため、主要被写体以外の背景（又はもしくは前景）に合焦した状態の画像（以下第２の画像と呼ぶ）を少なくとも一枚撮影する。
【００２９】
第２の画像を撮影する際には、予め定められた移動量だけフォーカスレンズを遠側にずらして撮影してもよいし、無限遠に合焦するようにフォーカスレンズを移動させてもよい。また、撮影待機中に取得した画像データに応じて、画像処理回路４が画角内における主被写体の位置を推定して、当該推定結果に応じて、システム制御部５が主要被写体以外の領域を仮に背景と設定して、当該背景にピントが合うようにフォーカス制御を行って撮影を行うようにしてもよい。
【００３０】
一方、後述するように、第１の画像および第２の画像のエッジを抽出してその差分から被写体領域と背景領域とを分離する際には、当然のことながら第２の画像と第１の画像との間でエッジに差があることが必要である。
【００３１】
図２は、図１に示すカメラにおける被写界深度を説明するための図である。なお、図２において、光学系（つまり、レンズ）および撮像素子はそれぞれ参照番号１００および１０１で示されている。
【００３２】
いま、撮像素子１０１の撮像面から主要被写体（以下単に被写体と呼ぶ）１０２までの距離（被写体距離）をＤ、撮像面から背景１０３までの距離（背景距離）をＤｂとする。そして、被写体１０２に合焦して（ピントを合わせて）撮影を行うものとする。この際の焦点距離をｆとする。
【００３３】
被写体１０２と前方の許容錯乱円１０４との距離が前方被写界深度Ｌ１であり、被写体１０２と後方の許容錯乱円１０４との距離が後方被写界深度Ｌ２である。そして、被写体深度Ｌは、Ｌ＝Ｌ１＋Ｌ２となる。
【００３４】
図示のように、同一の被写界深度Ｌ内に被写体１０２と背景１０３とが存在する場合には、それらのエッジに差が生じない。よって、被写体１０２と背景１０３とを分離することが難しい。
【００３５】
図３は、図２に示す前方被写界深度Ｌ１および後方被写界深度Ｌ２を求める計算式を示す図である。
【００３６】
図３において、式（１）は前方被写界深度を求めるための計算式であり、式（２）は後方被写界深度を求めるための計算式である。式（１）および（２）において、ｋｄは許容錯乱円１０４の径であり、ここでｋは定数（例えば、２）、ｄは撮像素子１０１の画素ピッチである。また、Ｆは絞り値を示す。
【００３７】
図４は、図１に示すカメラで行われる背景ぼかし画像の生成のアルゴリズムを説明するためのフローチャートである。
【００３８】
背景ぼかしモードによる撮影を開始すると、システム制御部５は測距によって得られた被写体の推定距離（つまり、被写体距離Ｄ）に基づいて、図３に示す式（１）および（２）によって被写界深度Ｌを算出する。そして、システム制御部５は被写界深度Ｌに基づいて現在の撮影条件において背景ぼかし画像が生成可能であるか否かを判定する（被写界深度判定：ステップＳ１０１）。
【００３９】
図３に示す式（１）および（２）において、画素ピッチｄおよび定数ｋは撮影環境によって固定値であり、被写体距離Ｄは測距によって得られる。さらに、絞り値Ｆはカメラで設定されるので既知である。なお、被写界深度Ｌを浅くするため、一般に、背景ぼかしモードの際には開放Ｆ値が用いられる。
【００４０】
被写界深度判定の際には、システム制御部５は、測距によって得られた背景の推定距離（背景距離）Ｄｂが次の（３）式を満たす場合に背景ぼかし処理が可能であると判定する。
Ｄｂ＞Ｄ＋Ｌ／２＋α      （３）
【００４１】
ここで、αは設計値に基づく定数であって、α＝０の時には背景１０３が少なくとも被写界深度Ｌの外に存在することを意味する。αを大きく設定すると、後述する焦点距離変更の際の画角変動が大きくなるが、式（３）式を満たした場合の背景分離の精度が向上する。一方、αを小さく設定すると、焦点距離変更の際の画角変動は小さくなるが、背景分離の精度は低下する。
【００４２】
なお、被写体および背景の推定距離は、撮影待機においてＡＦ情報から求めるようにしてもよく、また、被写体が人物である場合には画面における人物の顔の大きさに応じて推定距離を求めてもよい。さらには、外部の測距センサなどを用いて推定距離を求めるようにしてもよい。
【００４３】
背景距離Ｄｂが上記の式（３）を満たさないと判定すると（ステップＳ１０１において、ＮＯ）、システム制御部５は上記の式（３）を満たすための推奨焦点距離ｆ’を算出する（ステップＳ１０２）。
【００４４】
前述の式（１）および（２）で得られる被写界深度Ｌを小さくするためには、絞り値Ｆを小さくするか又は焦点距離ｆを大きくすればよい。しかしながら、前述したように、背景ぼかしモードにおいては、一般に絞り値Ｆを開放値とするので、絞り値によって被写界深度Ｌを調整することは困難である。よって、システム制御部５は焦点距離ｆを変更して被写界深度Ｌを調整して、式（３）式を満たす推奨焦点距離ｆ’を算出する。
【００４５】
但し、式（３）を満たさない状況では背景１０３と被写体１０３との深度差が小さいので、撮影待機におけるＡＦ情報などを用いて被写体距離Ｄおよび背景距離Ｄｂを推定すると、被写体距離Ｄおよび背景距離Ｄｂが正確に求められず、Ｄ＝Ｄｂとなってしまうことがある。
【００４６】
この場合には、式（２）を満たす推奨焦点距離ｆ’を直接的に求めることは困難であるので、システム制御部５は所定量ｆ＿ｓだけ焦点距離を変更して、再度被写体距離Ｄおよび背景距離Ｄｂを求めて、推奨焦点距離ｆ’を算出する。
【００４７】
次に、システム制御部５は、焦点距離を推奨焦点距離ｆ’に変更して撮影を行うことが可能であるか否かを判定する（焦点距離変更判定：ステップＳ１０３）。焦点距離を変更することは画角が変動することを意味するので、ユーザが撮影したい構図から大きく外れてしまう可能性がある。
【００４８】
図５は焦点距離を推奨焦点距離に変更した際の画角の変動を示す図である。
【００４９】
焦点距離変更判定の際には、システム制御部５は画像処理回路４およびメモリ３を介して、変更前の画角２００に対して変更後の画角（推奨焦点距離で撮影した際の画角）２０１を表示部１１に被写体２０２とともに表示する。これによって、システム制御部５はユーザに当該画角２０１で撮影を行うか否かの指示を促す。ユーザが操作部（図示せず）から了解の旨の指示を入力すると、システム制御部５は推奨焦点距離で撮影を行うことが可能であると判定する。
【００５０】
なお、ユーザの指示によることなく、変更前後の焦点距離の変動量Δｆ＝ｆ−ｆ’が所定の閾値未満であると、システム制御部５は推奨焦点距離で撮影を行うことが可能であると判定するようにしてもよい。また、例えば、被写体が人物である場合には、カメラに備えられた顔検出部（図示せず）によって検出された被写体の顔位置およびサイズに基づいて、システム制御部５は焦点距離を変更した際に被写体の一部が画角の外に出てしまうと判定すると、推奨焦点距離で撮影を行うことが不可であると判定するようにしてもよい。
【００５１】
推奨焦点距離ｆ’における撮影が不可であると判定すると（ステップＳ１０３において、ＮＯ）、システム制御部５は背景ぼかしモードを中止して、通常撮影モードに移行して、撮影を実行する（ステップＳ１０４。そして、システム制御部５は撮影を終了する。
【００５２】
一方、推奨焦点距離ｆ’における撮影が可であると判定すると（ステップＳ１０３において、ＹＥＳ）、システム制御部５はピント振り撮影を実行して、合焦位置を異ならせて複数枚の画像を撮影する（ステップＳ１０５）。ステップＳ１０５では、システム制御部５は焦点距離制御部８に焦点距離を推奨焦点距離ｆ’に変更する旨を指示する。これによって、焦点距離制御部８は焦点距離が推奨焦点距離とｆ’となる位置にズームレンズを制御する。
【００５３】
なお、ステップＳ１０１において、背景距離Ｄｂが上記の式（３）を満たすと判定すると（ステップＳ１０１において、ＹＥＳ）、システム制御部５はステップＳ１０５に進んでピント振り撮影を行う。また、ステップＳ１０５においては、前述のように、第１の画像を少なくとも一枚、そして、背景寄りに合焦位置をずらした第２の画像を少なくとも一枚撮影する。
【００５４】
上述のようにして、ピント振り撮影を行った後、システム制御部５の制御下で、画像処理回路４は第１の画像および第２の画像の各々についてそのエッジを抽出する（ステップＳ１０７）。エッジを抽出する際には、例えば、第１の画像および第２の画像の各々にバンドパスフィルタ処理を施して、その出力の絶対値を求め、当該絶対値に応じてエッジを抽出してエッジ画像とする。以下の説明では、第１の画像に係るエッジ画像を第１のエッジ画像と呼び、第２の画像に係るエッジ画像を第２のエッジ画像と呼ぶ。
【００５５】
続いて、画像処理回路４は第１のエッジ画像から第２のエッジ画像を画素毎に減算して、エッジ差分画像を生成する（ステップＳ１０８）。さらに、画像処理回路４はエッジ差分画像を複数の領域に分割して、領域毎にその画素値（エッジ量）を積分して積分値（領域積分値）を求める。
【００５６】
次に、画像処理回路４は領域積分値に応じて領域判別を行う（ステップＳ１０９）。ここでは、領域積分値が予め定められた閾値を超えていると、画像処理回路４は当該領域積分値に係る領域が被写体領域であるとする。一方、領域積分値が閾値以下であると、画像処理回路４は当該領域積分値に係る領域が背景領域であるとして、領域判別結果を示す領域情報を生成する。なお、上記の閾値はエッジのヒストグラム分布から適応的に求めるようにしてもよい。
【００５７】
続いて、画像処理回路４は、上記の領域情報に基づいて、被写体領域と背景領域とを分離する切り出しマップを生成する（ステップＳ１１０）。この切り出しマップは画像合成の際の合成比率を示すものである。
【００５８】
図６は、図１に示す画像処理回路４で生成される切り出しマップの一例を示す図である。
【００５９】
図６に示す例では、切り出しマップは、被写体領域を”１”、背景領域を”０”、その境界領域を０．５として、合成比率を０〜１の値で表現する。なお、切り出しマップの生成の際には、領域境界の段差を目立たなくするため境界領域にローパスフィルタによる平滑化処理を行うようにしてもよい。
【００６０】
次に、画像処理回路４は第１の画像又は第２の画像にぼかし処理（ぼかしフィルタ処理）を施して、ぼかし処理画像を生成する（ステップＳ１１１）。ぼかし処理の際には、第１の画像又は第２の画像に対して二次元フィルタリング処理が行われる。さらに、画像処理回路４はぼかし処理画像と第１の画像とを切り出しマップに応じて画像合成する（ステップＳ１１２）。
【００６１】
ここで、図４に示すステップＳ１１２で行われる画像合成処理の一例について説明する。
【００６２】
画像処理回路４は、切り出しマップの合成比率α（０≦α≦１）を参照して、第１の画像（ＩＭＧ１）とぼかし処理画像（ＩＭＧ２）とを式（４）に応じて、合成して合成画像Ｂ［ｉ，ｊ］を背景ぼかし画像として生成する（ｉ，ｊは座標）。
Ｂ[i,j]＝ＩＭＧ１[i,j］＊α[i,j]＋ＩＭＧ２[i,j]＊（１−α）    （４）
【００６３】
画像処理回路４における画像合成が終了すると、システム制御部５は撮影を終了する。
【００６４】
このように、本発明の第１の実施形態では、撮影の際に背景ぼかし処理の可否を判定して、焦点距離を変更するようにしたので、背景ぼかしモードの際に背景ぼかし画像を生成する頻度を向上させることができる。
【００６５】
なお、第１の実施形態では、第１の画像および第２の画像の２枚の画像から切り出しマップを生成するようにしたが、被写体よりも前側に焦点をずらした画像も用いて切り出しマップを生成するようにしてもよい。
【００６６】
［第２の実施形態］
続いて、本発明の第２の実施形態による撮像装置（カメラ）の一例について説明する。なお、第２の実施形態による撮像装置の構成は図１に示す撮像装置と同様である。
【００６７】
第２の実施形態によるカメラにおいても、図２に示すフローチャートに応じて撮影が行われるが、ここでは、推奨焦点距離ｆ’（第１の焦点距離）で被写体に合焦した状態の画像（第１の画像）および推奨焦点距離ｆ’で背景に合焦した状態の画像（第２の画像）の他に、変更前の焦点距離ｆ（第２の焦点距離）で被写体に合焦した状態第３の画像を用いて、背景ぼかし画像（合成画像）を生成する。図２に関連して説明したように、ステップＳ１０７〜Ｓ１１０の処理において、第１および第２の画像を用いて、切り出しマップが生成される。
【００６８】
なお、第３の画像において背景は被写体に合焦した際の被写界深度に入っているので、実質的に第３の画像においては背景も合焦した状態にある。
【００６９】
図７は、本発明の第２の実施形態によるカメラで行われる画像合成を説明するための図である。
【００７０】
前述のように、図２に示すステップＳ１１０の処理において、第１の画像３００と第２の画像３０１とに応じて切り出しマップ３０４が生成される。画像処理回路４は、システム制御部５の制御下において焦点距離ｆで撮影された第３の画像３０２と同一の画角に切り出しマップ３０４を拡張して、第３の画像３０２と同一の画角の切り出しマップ３０５を生成する。
【００７１】
図８は、図７に示す切り出しマップの画角拡張を説明するための図である。そして、図８（ａ）は拡張したエリアをすべて背景領域とする例を示す図であり、図８（ｂ）は原領域情報の上下左右の４辺を拡張する例を示す図である。また、図８（ｃ）は被写体領域検出を行う例を示す図であり、図８（ｄ）は被写体と同一色領域を同一の被写体領域であるとみなす例を示す図である。
【００７２】
切り出しマップ３０４を第３の画像３０２と同一の画角に拡張すると、拡張前の領域（原領域）８０１と拡張後の領域（拡張領域）８０２が存在する（図８（ａ）参照）。この場合、画像処理回路４は拡張領域（拡張エリア）８０１の全てを背景領域に設定する。
【００７３】
また、図８（ｂ）に示すように、画像処理回路４は原領域８０１の上下左右の４辺をそれぞれラインコピーによって拡張して、その四隅を背景領域とするようにしてもよい。
【００７４】
さらには、画像処理回路４は、Ｃａｎｎｙ法などのエッジ検出手法によって被写体のエッジを検出し、図８（ｃ）に示すように、被写体のエッジ８０４と画面端に囲まれた領域８０３を同一の被写体領域であるとして、被写体領域の検出を行うようにしてもよい。加えて、画像処理回路４は、図８（ｄ）に示すように、被写体と同一の色領域８０５を同一の被写体領域であるとみなすようにしてもよい。
【００７５】
そして、画像処理回路４は拡張後の切り出しマップ３０５、第３の画像３０２、およびステップＳ１１１で生成されるぼかし処理画像を用いて、合成画像（背景ぼかし画像）３０６を生成する。
【００７６】
第２の実施形態においては、まず、図２に示すステップＳ１１１の処理において、画像処理回路４は第３の画像３０２に対してぼかしフィルタ処理を行って、ぼかし処理画像３０３を生成する。
【００７７】
次に、図２に示すステップＳ１１２において、画像処理回路４はぼかし処理画像３０３と第３の画像３０２とを拡張後の切り出しマップ３０５に応じて画像合成して、背景ぼかし画像３０６を生成する。ここでは、拡張後の切り出しマップ３０５の合成比率α（０≦α≦１）に基づいて、第３の画像３０２（ＩＭＧ１）と背景ぼかし処理画像３０３（ＩＭＧ２）とを、前述の式（４）に応じて合成して、合成画像である背景ぼかし画像３０６Ｂ［ｉ，ｊ］を生成する（ｉ，ｊは座標）。
【００７８】
このように、本発明の第２の実施形態においても、撮影の際に背景ぼかし処理の可否を判定して、焦点距離を変更するようにしたので、所望の画角を維持して背景ぼかしモードの際に背景ぼかし画像を生成する頻度を向上させることができる。
【００７９】
上述の説明から明らかなように、図１に示す例においては、システム制御部５および画像処理回路４が判別手段、ぼかし処理手段、合成手段、および判定手段として機能する。また、システム制御部５および焦点距離制御部８は制御手段として機能する。さらに、システム制御部５および画像処理回路４は変更手段として機能する。なお、少なくとも光学系１および撮像素子が撮像手段を構成する。
【００８０】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００８１】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００８２】
上記の制御方法および制御プログラムの各々は、少なくとも判別ステップ、ぼかし処理ステップ、合成ステップ、判定ステップ、および制御ステップを有している。
【００８３】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８４】
１  光学系
２  撮像素子
３  メモリ
４  画像処理回路
５  システム制御部
６  露光制御部
７  測距制御部
８  焦点距離制御部
９  圧縮回路
１０  記録媒体
【図１】
2014131188.tif 000003
【図２】
2014131188.tif 000004
【図３】
2014131188.tif 000005
【図４】
2014131188.tif 000006
【図５】
2014131188.tif 000007
【図６】
2014131188.tif 000008
【図７】
2014131188.tif 000009
【図８】
2014131188.tif 000010