(57)【要約】【課題】被写体に動きがあっても精度よく背景ぼかし処理を行う。【解決手段】撮像装置は、フォーカスレンズを備えフォーカスレンズによって被写体に合焦した状態で撮影を行って本画像を得るとともに、被写体を除く背景に合焦した状態で撮影を行って背景検出用画像を得て、本画像および背景検出用画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する。動き検出部１１３は撮像部から得られた画像から被写体の動きを検出し、システム制御部１１４は動き検出部で検出された被写体の動きの量が所定の動き量よりも大きいと、撮像部を制御して本画像の撮影と背景検出用画像の撮影との時間差を予め定められた時間差よりも短くする。【選択図】図１
2014138378.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスレンズを備え、前記フォーカスレンズによって被写体に合焦した状態で撮影を行って本画像を得て、前記被写体を除く背景に合焦した状態で撮影を行って背景検出用画像を得る撮像手段を備え、前記本画像および前記背景検出用画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置であって、
前記撮像手段から得られた画像から前記被写体の動きを検出する被写体動き検出手段と、
前記被写体動き検出手段で検出された被写体の動きの量が所定の動き量よりも大きいと、前記撮像手段を制御して前記本画像の撮影と前記背景検出用画像の撮影との時間差を予め定められた時間差よりも短くする制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記被写体動き検出手段は、前記本画像および前記背景検出用画像を撮影する前の撮影準備状態で前記撮像手段から得られる画像であるライブ画像から前記被写体の動きを検出しており、
前記制御手段は、前記被写体動き検出手段によって前記ライブ画像から検出された被写体の動き量が前記所定の動き量よりも大きいと、被写体の動きが検出された旨を示す動き検出情報をメモリに記録することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段によって前記本画像を撮影した後、前記メモリに前記動き検出情報が記録されていると、前記制御手段は前記フォーカスレンズを前記予め定められた時間差で許容される所定の移動量だけ前記フォーカスレンズを移動して、前記背景に合焦した状態で前記撮像手段によって撮影を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記所定の移動量は、前記本画像と前記背景検出用画像のフォーカス状態の違いに応じて生じる鮮鋭度の変化から前記背景の領域を検出可能な最小の前記フォーカスレンズの移動量であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像手段によって前記本画像を撮影した後、前記メモリに前記動き検出情報が記録されていないと、前記制御手段は前記フォーカスレンズを移動させつつ前記撮像手段によって撮影を行って、当該撮影の結果として得られる画像から前記被写体動き検出手段で検出される被写体の動き量が前記所定の動き量よりも大きくなった直前における画像を前記背景検出用画像として、撮影を終了することを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記背景検出用画像と前記本画像に応じて前記被写体の領域であるか前記背景の領域であるか判別して領域判別結果を出力する判別手段と、
前記領域判別結果に応じて前記背景検出用画像における背景にぼかし処理を施して背景ぼけ画像を生成するぼかし処理手段と、
前記本画像と前記背景ぼけ画像とを合成して前記背景ぼかし処理画像を生成する合成手段とを有することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
フォーカスレンズを備え、前記フォーカスレンズによって被写体に合焦した状態で撮影を行って本画像を得て、前記被写体を除く背景に合焦した状態で撮影を行って背景検出用画像を得る撮像手段を備え、前記本画像および前記背景検出用画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置での制御方法であって、
前記撮像手段から得られた画像から前記被写体の動きを検出する被写体動き検出ステップと、
前記被写体動き検出ステップで検出された被写体の動きの量が所定の動き量よりも大きいと、前記撮像手段を制御して前記本画像の撮影と前記背景検出用画像の撮影との時間差を予め定められた時間差よりも短くする制御ステップと、
を有することを特徴とする制御方法。
【請求項８】
フォーカスレンズを備え、前記フォーカスレンズによって被写体に合焦した状態で撮影を行って本画像を得て、前記被写体を除く背景に合焦した状態で撮影を行って背景検出用画像を得る撮像手段を備え、前記本画像および前記背景検出用画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記撮像手段から得られた画像から前記被写体の動きを検出する被写体動き検出ステップと、
前記被写体動き検出ステップで検出された被写体の動きの量が所定の動き量よりも大きいと、前記撮像手段を制御して前記本画像の撮影と前記背景検出用画像の撮影との時間差を予め定められた時間差よりも短くする制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像から背景ぼかし画像を生成する撮像装置、その制御方法、および制御プログラムに関する。
【背景技術】
【０００２】
一般に、被写体の背景をぼかす撮影手法を用いると、被写体を浮き立たせ印象的な画像を得ることができるが、撮像素子が小さい所謂コンパクトデジタルカメラにおいては被写界深度が深いので、背景をぼかした画像を撮影することは困難である。一方、背景にぼかし効果を与えるため、画像処理によって疑似的に背景にぼかし効果を与える機能を有するコンパクトデジタルカメラが知られている。
【０００３】
その手法の一つとして、合焦位置を変化させて複数枚の画像を撮影（所謂フォーカスブラケット撮影）して、複数の画像の差分情報に応じて被写体領域と背景領域を判別するようにしたものがある。そして、ここでは、背景領域と判別された領域に対してぼかし処理を行って、被写体画像と合成する。
【０００４】
また、主要被写体の合焦位置とその前後の焦点位置とにおいて撮影された複数の画像から、主要被写体以外の他の部分を意図的にぼかして合成画像を得る撮像装置が知られている（特許文献１参照）。
【０００５】
特許文献１においては、フォーカスブラケット撮影によって主要被写体の合焦位置とその前後の焦点位置で撮影を行って、各撮影画像の対応する座標の画素について最も鮮鋭度の高い画像を求めて、当該画像からぼかし量を算出する。そして、主要被写体の合焦位置で撮影された画像に対してぼかし処理を行ようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２７１２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、被写体領域と背景領域と判別する場合に、被写体に動きがあると背景と被写体との位置関係が一定でなくなるので、複数の画像から得られる差分情報よって被写体領域と背景領域とを判別することが困難となってしまう。つまり、被写体が動くと被写体の陰になって見えなくなる背景領域および被写体の陰から出現する背景領域が生じてしまい、複数の画像間における鮮鋭度の変化を検出することが不可能な領域が出現する結果、背景ぼかし処理を精度よく行うことができない。
【０００８】
そこで、本発明の目的は、被写体に動きがあっても精度よく背景ぼかし処理を行うことのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明による撮像装置は、フォーカスレンズを備え、前記フォーカスレンズによって被写体に合焦した状態で撮影を行って本画像を得て、前記被写体を除く背景に合焦した状態で撮影を行って背景検出用画像を得る撮像手段を備え、前記本画像および前記背景検出用画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置であって、前記撮像手段から得られた画像から前記被写体の動きを検出する被写体動き検出手段と、前記被写体動き検出手段で検出された被写体の動きの量が所定の動き量よりも大きいと、前記撮像手段を制御して前記本画像の撮影と前記背景検出用画像の撮影との時間差を予め定められた時間差よりも短くする制御手段と、を有することを特徴とする。
【００１０】
本発明による制御方法は、フォーカスレンズを備え、前記フォーカスレンズによって被写体に合焦した状態で撮影を行って本画像を得て、前記被写体を除く背景に合焦した状態で撮影を行って背景検出用画像を得る撮像手段を備え、前記本画像および前記背景検出用画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置での制御方法であって、前記撮像手段から得られた画像から前記被写体の動きを検出する被写体動き検出ステップと、前記被写体動き検出ステップで検出された被写体の動きの量が所定の動き量よりも大きいと、前記撮像手段を制御して前記本画像の撮影と前記背景検出用画像の撮影との時間差を予め定められた時間差よりも短くする制御ステップと、を有することを特徴とする。
【００１１】
本発明による制御プログラムは、フォーカスレンズを備え、前記フォーカスレンズによって被写体に合焦した状態で撮影を行って本画像を得て、前記被写体を除く背景に合焦した状態で撮影を行って背景検出用画像を得る撮像手段を備え、前記本画像および前記背景検出用画像に応じて背景をぼかし処理した背景ぼかし処理画像を生成する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記撮像手段から得られた画像から前記被写体の動きを検出する被写体動き検出ステップと、前記被写体動き検出ステップで検出された被写体の動きの量が所定の動き量よりも大きいと、前記撮像手段を制御して前記本画像の撮影と前記背景検出用画像の撮影との時間差を予め定められた時間差よりも短くする制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、被写体に動きがあっても精度よく背景ぼかし処理を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態による撮像装置の一例についてその構成を概略的に示すブロック図である。
【図２】図１に示すデジタル信号処理部の構成の一例を示すブロック図である。
【図３】図１に示すカメラの撮影動作を説明するためのフローチャートである。
【図４】図３に示す撮影処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態による撮像装置の一例についてその構成を概略的に示すブロック図である。
【００１６】
図示の撮像装置は、例えば、コンパクトデジタルカメラ（以下単にカメラと呼ぶ）であり、カメラは光学系１０１およびフォーカスレンズ１０２を備えている。そして、光学系１０１およびフォーカスレンズ１０２を介して入射した光学像（被写体像）が撮像素子１０５に結像して、撮像素子１０５は光学像に応じた電気信号（アナログ信号）を出力する。
【００１７】
光学系制御部１０３は、システム制御部１１４の制御下で光学系１０１における露出、ズーム、および光学式ブレ補正などを制御する。フォーカスレンズ駆動制御部１０４は、システム制御部１１４の制御下でフォーカスレンズ１０２を光軸に沿って駆動制御する。例えば、フォーカスレンズ駆動制御部１０４は、システム制御部１１４から撮影画面に設定した測距領域における画像データのコントラスト信号を焦点評価値として取得する。そして、フォーカスレンズ駆動制御部１０４はフォーカスレンズ１０２を光軸に沿って駆動して焦点評価値が最大となるフォーカスレンズの位置を合焦位置とするＡＦ制御を行う。
【００１８】
撮像系制御部１０６は、システム制御部１１４の制御下で撮像素子１０５を駆動制御する。撮像素子１０５から出力されたアナログ信号はアナログ信号処理部１０７に入力され、アナログ信号処理部１０７は当該アナログ信号に対してクランプ処理およびゲインを乗算する処理などを行う。アナログ／デジタル（Ａ／Ｄ）変換部１０８は、アナログ信号処理部１０７から出力されたアナログ信号をＡ／Ｄ変換して画像データとして出力する。
【００１９】
図示の例では、光学系１０１からＡ／Ｄ変換部１０８の構成要素が撮像手段を構成し、図示のカメラにおいては、撮像手段から出力された画像データを単独又は連続して複数フレーム記録することによって静止画および動画を撮影する。
【００２０】
デジタル信号処理部１０９は、Ａ／Ｄ変換部１０８から画像データを受け、当該画像データに対して背景ぼかし処理などの各種画像処理を行って出力画像データを生成する。デジタル信号処理部１０９は出力画像データを生成する際、画像データを一時的に内部記憶部（メモリ）１１０に記録する。
【００２１】
さらに、内部記憶部１１０には電子ビューファインダ（ＥＶＦ）用の画像データなども一時的に格納する。また、内部記憶部１１０には、後述する動き検出部１１３で得られる各種演算データの一時記憶エリアとして使用される。
【００２２】
インターフェース（Ｉ／Ｆ）部１１１は出力画像データを最終的に保存するための外部記録装置（図示せず）に接続されるとともに、画像表示部１１２に接続されている。画像表示部１１２はＥＶＦ動作ための表示機能を備え、画像表示部１１２にはライブ画像の他撮像装置に係る各種設定情報などが表示される。
【００２３】
動き検出部１１３は、画像データ（以下撮影画像とも呼ぶ）から被写体を検出して、当該検出された被写体に関してその動きを検出する。被写体を検出する際には、例えば、撮影画像の特徴点を抽出してその位置を比較する手法など、既知の手法が用いられる。
【００２４】
システム制御部１１４は、動き検出部１１３による動き検出結果に基づいた撮影を行うため、撮像系制御部１０６およびフォーカスレンズ駆動制御部１０４を制御する他、カメラ全体の制御を司る。システム制御部１１４には第１のスイッチ（以下ＳＷ１という）１１５、第２のスイッチ（以下ＳＷ２という）１１６、およびメインスイッチ（以下メインＳＷという）１１７が接続されている。
【００２５】
ＳＷ１を操作すると、システム制御部１１４は撮影スタンバイ動作を行う。ＳＷ１の操作の後、ＳＷ２を操作すると、システム制御部１１４は撮影動作を行う。メインＳＷ１１７を操作に応じて、システム制御部１１４はカメラの電源をオンオフする。
【００２６】
図２は、図１に示すデジタル信号処理部１０９の構成の一例を示すブロック図である。
【００２７】
デジタル信号処理部１０９に入力された画像データは、輝度信号処理部２０１および色信号処理部２０２に与えられる。輝度信号処理部２１０は画像データに対して輝度信号処理を施して、画像データの輝度レベルを示す輝度信号を生成する。一方、色信号処理部２０２は画像データに対して色信号処理を施して色信号を出力する。そして、これら輝度信号および色信号は背景ぼかし生成部２０３に入力される。
【００２８】
背景ぼかし生成部２０３は、後述するようにして、輝度信号および色信号に応じて背景ぼかし処理を行って、背景ぼかし画像データを生成する。そして、この背景ぼかし画像データは画像圧縮部２０４で圧縮処理されて、出力画像データとして出力される。なお、内部記憶部１１０は背景ぼかし処理の際の一時記憶エリアとして用いられる。
【００２９】
図示のように、背景ぼかし生成部２０３は、エッジ検出部２０５、エッジ減算部２０６、エッジ積分値算出部２０７、エッジ積分値評価部２０８、領域マップ生成部２０９、ぼかし処理部２１０、および画像合成部２１１を備えている。背景ばかし処理部２０３は各種処理に係る履歴情報などを必要に応じて内部記憶部１１０に一時的に記憶する。
【００３０】
図３は、図１に示すカメラの撮影動作を説明するためのフローチャートである。なお、図示のフローチャートはシステム制御部１１４の制御下で行われる。
【００３１】
まず、システム制御部１１４はメインＳＷ１１７がオンされたか否かを判定する（ステップＳ３０１）。メインＳＷ１１７がオフであると（ステップＳ３０１において、ＮＯ）、システム制御部１１４は待機する。
【００３２】
一方、メインＳＷ１１７がオンされると（ステップＳ３０１において、ＹＥＳ）、システム制御部１１４はインターフェース部１１１を介して外部記録装置の残容量を確認して、残容量がゼロであるか否かを判定する（ステップＳ３０２）。そして、残容量がゼロであると（ステップＳ３０２において、ＹＥＳ）、システム制御部１１４は残容量が０である旨を画像表示部１１２に表示するなどして警告を行う（ステップＳ３０３）。その後、システム制御部１１４はステップＳ３０１の処理に戻る。なお、警告の際には、図示しない音声出力部から警告音を出すようにしもよく、表示および警告音の双方を行うようにしてもよい。
【００３３】
残容量がゼロでないと（ステップＳ３０２において、ＮＯ）、システム制御部１１４はライブ画像を画像表示部１１２に表示するＥＶＦ動作を行う（ステップＳ３０４）。この際、動き検出部１１３はシステム制御部１１４の制御下でライブ画像において被写体の動きを検出する。動き検出の際には、前述のように、連続する複数フレームにおいて画像の特徴点を抽出してその位置を比較する手法が用いられる。動き検出によって、被写体の動き量が所定の動き量よりも大きいと、動き検出部１１３は被写体動き検出済みを示す被写体動き検出情報を内部記憶部１１０に記録する。
【００３４】
続いて、システム制御部１１４はＳＷ１がオンとなったか否かを判定する（ステップＳ３０５）。ＳＷ１がオフであると（ステップＳ３０５において、ＮＯ）、システム制御部１１４はメインＳＷ１１７がオンであるか否かを判定する（ステップＳ３０６）。そして、メインＳＷ１１７がオンであれば（ステップＳ３０６において、ＹＥＳ）、システム制御部１１４はステップＳ３０４の処理に戻る。一方、メインＳＷ１１７がオフであれば（ステップＳ３０６において、ＮＯ）、システム制御部１１４はステップＳ３０１の処理に戻る。
【００３５】
ＳＷ１がオンであると（ステップＳ３０５において、ＹＥＳ）、システム制御部１１４は光学系制御部１０３を制御してＡＥ処理を行い（ステップＳ３０７）、続いて、システム制御部１１４はフォーカスレンズ駆動制御部１０４を制御してＡＦ処理を行う（ステップＳ３０８）。
【００３６】
上述のようにして、撮影スタンバイ動作を行うと、システム制御部１１４は撮影動作スタート前準備状態（撮影準備状態）となって、ライブ画像を画像表示部１１２に表示して（ＥＶＦ動作）、撮影者のＳＷ２の操作を待つ（ステップＳ３０９）。この際、ステップＳ３０４の処理と同様に、動き検出部１１３はライブ画像から被写体の動きを検出して、被写体の動き量が所定の動き量よりも大きいと、被写体動き検出情報を内部記憶部１１０に記憶する。このようにして、動き検出部１１３は撮影直前まで被写体の動き検出を行う。
【００３７】
続いて、システム制御部１１４はＳＷ２がオンとされたか否かを判定する（ステップＳ３１０）。ＳＷ２がオフであると（ステップＳ３１０において、ＮＯ）、システム制御部１１４はＳＷ１がオンであるか否かを確認する（ステップＳ３１１）。ＳＷ１がオフであると（ステップＳ３１１において、ＮＯ）、システム制御部１１４はステップＳ３０４の処理に戻る。一方、ＳＷ１がオンであると（ステップＳ３１１において、ＹＥＳ）、システム制御部１１４はステップＳ３０９の処理に戻る。
【００３８】
ＳＷ２がオンとなると（ステップＳ３１０において、ＹＥＳ）、システム制御部１１４は後述する撮影動作を行う（ステップＳ３１２）。その後、システム制御部１１４はインターフェース部１１１を介して外部記録装置の残容量をチェックする。ここでは、システム制御部１１４は残容量がゼロであるか否かを判定する（ステップＳ３１３）。そして、残容量がゼロであると（ステップＳ３１３において、ＹＥＳ）、システム制御部１１４はステップＳ３０３の処理に進んで、警告を発する。
【００３９】
一方、残容量がゼロでないと（ステップＳ３１３において、ＹＥＳ）、システム制御部１１４はＳＷ２がオンであるか否かを判定する（ステップＳ３１４）。そして、ＳＷ２がオンであると（ステップＳ３１４において、ＹＥＳ）、システム制御部１１４は待機する。ＳＷ２がオフであると（ステップＳ３１４において、ＮＯ）、システム制御部１１４はステップＳ３１１の処理に進んで、ＳＷ１がオンであるか否かを確認する。
【００４０】
図４は、図３に示す撮影処理を説明するためのフローチャートである。なお、図４に示すフローチャートはシステム制御部１１４の制御下で行われる。また、ここでは、撮影の際、背景ぼかし処理用に２枚の画像を撮影して、背景ぼかし生成部２０３で背景ぼかし処理画像を生成するものとする。つまり、ここでは、背景ぼかし処理のため、主要被写体に合焦した画像（以下本画像という）と背景にフォーカスが合う方向にフォーカスレンズを移動して撮影した背景検出用画像を撮影する。
【００４１】
まず、システム制御部１１４は主要被写体に合焦したフォーカスレンズの位置において本画像の撮影を行う（ステップＳ４０１）。続いて、システム制御部１１４は内部記憶部１１０に被写体動き検出情報が記録されているか否かを確認する（ステップＳ４０２）。内部記憶部１１０に被写体動き検出情報が記録されていると（ステップＳ４０２において、ＹＥＳ）、システム制御部１１４は主要被写体の動き検出済みであるとして、フォーカスレンズ駆動制御部１０４を制御して絞りおよび焦点距離などの撮影条件毎に予め設定された移動量だけフォーカスレンズ１０２を光軸に沿って移動する（ステップＳ４０３）。
【００４２】
ここで設定されるフォーカスレンズ移動量は、本画像および背景検出用画像の２つの画像のフォーカス状態の違いから生じる鮮鋭度の変化から背景領域を検出可能な最小限のフォーカスレンズの移動量である。つまり、システム制御部１１４は、背景検出用画像の撮影の際には鮮鋭度の変化から背景領域を検出可能な予め定められた時間差で許容される所定の移動量だけフォーカスレンズ１０２を移動することになる。
【００４３】
続いて、システム制御部１１４はステップＳ４０３で移動した後のフォーカスレンズ１０４の位置で背景検出用画像を撮影する（ステップＳ４０４）。
【００４４】
ところで、既に主要被写体の動きが検出されている場合には、フォーカスレンズ１０４の移動中にさらに主要被写体が動くことが予想され、２つの画像間の鮮鋭度の変化が検出不可能な領域が広がって背景ぼかし処理が適切にできないことがある。このため、前述のようにして、フォーカスレンズ１０４の移動量を最小限として撮影時間差を小さくして、鮮鋭度の変化が検出不可能な領域に広がることを回避する。
【００４５】
一方、主要被写体の動きが検出されていない場合には、２つの画像間の鮮鋭度変化を大きくするため、後述するように、主要被写体の動きが検出されるまでフォーカスレンズ１０４を移動する。
【００４６】
内部記憶部１１０に被写体動き検出情報が記録されていないと（ステップＳ４０２において、ＮＯ）、システム制御部１１４は、フォーカスレンズ駆動制御部１０４によって背景にフォーカスが合う方向にフォーカスレンズ１０２の移動を開始する（ステップＳ４０５）。そして、システム制御部１１４はフォーカスレンズ１０２を移動させつつ、所定の位置間隔又は時間間隔で背景検出用画像を撮影する（ステップＳ４０６）。なお、既に背景検出用画像を撮影済みの場合には、システム制御部１１４は新たに撮影した背景検出用画像で更新する。
【００４７】
次に、システム制御部１１４はフォーカスレンズ１０２を移動させつつ、動き検出部１１３を制御して主要被写体の動きを検出する。システム制御部１１４は動き検出部１１３で検出された主要被写体の動き量が所定の動き量よりも大きいか否かを判定する（ステップＳ４０７）。
【００４８】
主要被写体の動き量が所定の動き量以下であると、つまり、被写体の動きが検出されないと（ステップＳ４０７において、ＮＯ）、システム制御部１１４はフォーカスレンズ１０２が所定の移動範囲の端まで移動したかどうかを確認する（ステップＳ４０８）。フォーカスレンズ１０２が端まで移動済みでないと（ステップＳ４０８において、ＮＯ）、システム制御部１１４はステップＳ４０６の処理に戻って、撮影を行う。
【００４９】
一方、フォーカスレンズ１０２が端まで移動済みであると（ステップＳ４０８において、ＹＥＳ）、システム制御部１１４はフォーカスレンズの移動を終了するとともに、背景検出用画像の撮影を終了する（ステップＳ４０９）。なお、被写体の動きが検出されると（ステップＳ４０７において、ＹＥＳ）、システム制御部１１４はステップＳ４０９の処理に進む。
【００５０】
このようにして、主要被写体に合焦した本画像および背景に合焦した背景検出用画像の２枚の撮影画像を得た後、システム制御部１１４の制御下で、背景ぼかし生成部２０３による背景ぼかし処理が行われる。
【００５１】
図２も参照して、エッジ検出部２０５は本画像および背景検出用画像の各々についてエッジ検出を行って、それぞれ本エッジ画像および背景エッジ画像を出力する（ステップＳ４１０）。なお、ステップＳ４０４又はＳ４０９の処理に続いてステップＳ４１０の処理が行われる。
【００５２】
エッジ検出の際には、例えば、本画像および背景検出用画像の各々にバンドパスフィルタ処理を施して、その絶対値を求める手法が用いられる。なお、エッジ検出を行う際には、既知の他の手法を用いるようにしてもよい。
【００５３】
続いて、エッジ減算部２０６は、本エッジ画像から背景エッジ画像を画素毎に減算してエッジ差分画像を生成する（ステップＳ４１１）。そして、エッジ積分値算出部２０７はエッジ差分画像を複数の領域に分割して、領域毎にエッジ積分値を算出する（ステップＳ４１２）。
【００５４】
次に、エッジ積分値評価部２０８は領域毎にエッジ積分値が所定の閾値を上回ったか否かを判定して、エッジ積分値が所定の閾値を上回った領域を被写体領域とし、そうでない領域を背景領域とする（ステップＳ４１３）。そして、エッジ積分評価部２０８は領域の種別（被写体領域か背景領域か）を示す領域情報（領域判別結果）を出力する。
【００５５】
なお、上記の閾値は予め定められた固定値でもあってもよく、エッジのヒストグラム分布から適応的に閾値を求めるようにしてもよい。
【００５６】
続いて、領域マップ生成部２０９は領域情報に基づいて被写体領域と背景領域が判別可能な切り出しマップを生成する（ステップＳ４１４）。切り出しマップ生成の際には、背景領域と主要被写体領域との境界における不連続部分を目立たなくするため、ローパスフィルタ処理を行うようにしてもよい。
【００５７】
切り出しマップとして、例えば、被写体領域を”２５５”、背景領域を”０”、境界部領域はその中間値として、画素毎の合成比率を８ビットの画素値で表現した画像を用いる。
【００５８】
ぼかし処理部２１０は、背景検出用画像について切り出しマップに基づいてぼかし処理を行って背景ぼけ画像を生成する（ステップＳ４１５）。ぼかし処理は、例えば、ぼけ味のきれいなレンズ特性を反映させたフィルタを選択するなどすれば、より好印象な背景ぼかし処理を行うことができる。
【００５９】
続いて、画像合成部２１１は切り出しマップに基づいて本画像と背景ぼけ画像とを画像合成して、背景ぼかし処理画像を生成する（ステップＳ４１６）。そして、この背景ぼかし処理画像は、背景ぼかし画像データとして画像圧縮部２０４に与えられて、撮影動作が終了する。
【００６０】
ここで、画像合成部２１１における画像合成について説明すると、例えば、画像合成部２１１は切り出しマップの画素値から求まるα（０≦α≦２５５）に基づいて、本画像ＩＭＧ１と背景ぼけ画像ＩＭＧ２との画像合成を行って、合成後画像Ｂ（背景ぼかし処理画像）を生成する。画像合成部２１１は、合成後画像Ｂの各画素値を以下の式（１）を用いて算出する。
【００６１】
Ｂ［ｉ，ｊ］＝ＩＭＧ１［ｉ，ｊ］＊α［ｉ，ｊ］／２５５＋ＩＭＧ２［ｉ，ｊ］＊（１−α）／２５５      （１）
このように、本発明の実施の形態では、被写体の動きに応じて背景検出用画像の撮像および背景検出用画像の選択を行うようにしたので、背景領域の判別が不可能となる事態を回避して、精度よく背景ぼかし処理を行うことができる。
【００６２】
上述の説明から明らかなように、図１に示す例においては、システム制御部１１４およびフォーカスレンズ駆動制御部１０４が制御手段として機能する。また、図２に示す例では、背景ぼかし生成部２０３が判別手段、ぼかし処理手段、および合成手段として機能する。
【００６３】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００６４】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００６５】
上記の制御方法および制御プログラムの各々は、少なくとも被写体動き検出ステップおよび制御ステップを有している。
【００６６】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６７】
１０２  フォーカスレンズ
１０３  光学系制御部
１０４  フォーカスレンズ駆動制御部
１０５  撮像素子
１０６  撮像系制御部
１０７  アナログ信号処理部
１０８  Ａ／Ｄ変換部
１０９  デジタル信号処理部
１１２  画像表示部
１１３  動き検出部
１１４  システム制御部
【図１】
2014138378.tif 000003
【図２】
2014138378.tif 000004
【図３】
2014138378.tif 000005
【図４】
2014138378.tif 000006