(57)【要約】【課題】撮影者がフォーカスエリアと主要被写体位置との関係を気にすることなく、動きの早い被写体でも正確に合焦した画像を取得する。【解決手段】複数レンズ中の一部を光軸方向に沿って駆動し、レンズ焦点位置を変更可能な撮像光学系11と、前記レンズ焦点位置を変更しながら連続して撮影を実行し、複数の画像データを取得して記憶するレンズ駆動回路12、撮像素子駆動回路14及びメモリ16と、取得した複数の画像データ間での被写体の移動状態に伴って主要被写体領域を検出する被写体検出部18と、得た主要被写体領域の合焦評価値を複数の画像データ毎に算出する合焦評価値演算部19ａと、得た合焦評価値に基づき、複数の画像データ中から少なくとも１つを選択する画像選択部19ｂと、選択した画像データを記録媒体に記録させる撮像制御部15とを備える。【選択図】図１
2009003012.tif 000002
【特許請求の範囲】
【請求項１】
光軸方向に沿って配列された複数のレンズ中の少なくとも一部を該光軸方向に沿って駆動し、レンズ焦点位置を変更可能な撮像レンズと、
前記撮像レンズのレンズ焦点位置を変更しながら連続して撮影を実行し、複数の画像データを取得する画像取得手段と、
前記画像取得手段で得た複数の画像データ間での被写体の移動状態に伴って主要被写体領域を検出する被写体検出手段と、
前記被写体検出手段で得た主要被写体領域の合焦評価値を前記複数の画像データ毎に算出する合焦評価値演算手段と、
前記合焦評価値演算手段で得た合焦評価値に基づき、前記複数の画像データ中から少なくとも１つを選択する選択手段と、
前記選択手段で選択した画像データを記録媒体に記録させる記録手段と
を具備したことを特徴とする撮像装置。
【請求項２】
前記被写体検出手段は、複数の移動被写体中から主要被写体を判別する主要被写体判別を有することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記主要被写体判別手段は、前記複数の画像データ中に被写体が現れる頻度に基づいて主要被写体を判別することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記主要被写体判別手段は、前記画像データ中の被写体領域の位置に基づいて主要被写体を判別することを特徴とする請求項２記載の撮像装置。
【請求項５】
前記主要被写体判別手段は、前記画像データ中の被写体領域の大きさに基づいて主要被写体を判別することを特徴とする請求項２記載の撮像装置。
【請求項６】
前記主要被写体判別手段は、前記画像データ中の被写体の移動量に基づいて主要被写体を判別することを特徴とする請求項２記載の撮像装置。
【請求項７】
前記主要被写体判別手段は、前記画像データ中の被写体領域の合焦評価値と主要被写体の構図に基づいて主要被写体を判別することを特徴とする請求項２記載の撮像装置。
【請求項８】
前記主要被写体判別手段は、前記画像データ中の被写体領域の合焦評価値と位置に基づいて主要被写体を判別することを特徴とする請求項２記載の撮像装置。
【請求項９】
前記主要被写体判別手段は、前記画像データ中の被写体領域の合焦評価値と大きさに基づいて主要被写体を判別することを特徴とする請求項２記載の撮像装置。
【請求項１０】
前記選択手段は、前記画像データ毎の主要被写体領域の合焦評価値に基づいて複数の画像データを選択することを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影レンズの焦点位置を変化させながら連続して撮影を行なうフォーカスブラケット機能を備えた撮像装置に関する。
【背景技術】
【０００２】
従来より、撮影レンズの焦点位置を変化させながら連続して撮影を行なう、所謂フォーカスブラケット機能に関する技術が種々考えられている。
【０００３】
例えば、光軸方向への動きを含んだ移動被写体に正確に合焦した画像を撮影する方法として、レンズ焦点距離を変化させながら複数枚の画像を撮影し、画像中の被写体領域のＡＦ評価値が最も高い画像を合焦画像として選択する方法が提案されている。（特許文献１）
また、別の技術として、ＡＦ動作中に一度だけ被写体領域で主要被写体を捕らえ、その後は被写体位置を追尾して高い合焦状態を保つ方法が提案されている。（特許文献２）
【特許文献１】特開２００５−３３３５４２号公報
【特許文献２】特開２００５−２６９６０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に記載された技術では、主要被写体領域をあらかじめ指定するために、被写体をフォーカスエリア内に常に捕らえておく必要があり、撮影の自由度を損なう可能性があった。
【０００５】
また、前記特許文献２に記載された技術では、被写体位置の検出処理をリアルタイムで行なう必要がある。そのため、ある程度動きの速い被写体に対しては、計算速度がボトルネックとなり、追尾の精度を保つことが困難であった。
【０００６】
本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、撮影者がフォーカスエリアと主要被写体位置との関係を気にすることなく、動きの早い被写体でも正確に合焦した画像を取得することが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本願発明の一態様は、光軸方向に沿って配列された複数のレンズ中の少なくとも一部を該光軸方向に沿って駆動し、レンズ焦点位置を変更可能な撮像レンズと、前記撮像レンズのレンズ焦点位置を変更しながら連続して撮影を実行し、複数の画像データを取得する画像取得手段と、前記画像取得手段で得た複数の画像データ間での被写体の移動状態に伴って主要被写体領域を検出する被写体検出手段と、前記被写体検出手段で得た主要被写体領域の合焦評価値を前記複数の画像データ毎に算出する合焦評価値演算手段と、前記合焦評価値演算手段で得た合焦評価値に基づき、前記複数の画像データ中から少なくとも１つを選択する選択手段と、前記選択手段で選択した画像データを記録媒体に記録させる記録手段とを具備したことを特徴とする。
【発明の効果】
【０００８】
本願発明の一態様によれば、ユーザは、移動被写体に対してフォーカスエリアと被写体の位置を気にすることなく撮影を行なうことができ、正確に合焦した画像を取得することができる。
【発明を実施するための最良の形態】
【０００９】
（第１の実施形態）  
以下本発明をデジタルスチルカメラに適用した場合を第１の実施形態として図面を参照して説明する。
【００１０】
図１は、同実施形態に係るデジタルスチルカメラ１０の主要機能部を抜き出して示すブロック図である。同図に示すようにデジタルスチルカメラ１０は、撮像光学系１１、レンズ駆動回路１２、撮像素子１３、撮像素子駆動回路１４、撮像制御部１５、メモリ１６、ユーザインターフェース１７、被写体検出部１８、合焦画像選択部１９、及び記録媒体２０を有する。
【００１１】
撮像光学系１１は、光軸方向に沿って配置された複数のレンズ群から構成され、被写界からの光束をその焦点面近傍に結像する。
【００１２】
レンズ駆動回路１２は、前記撮像光学系１１の一部を構成する図示しないフォーカスレンズの位置を、撮影条件により光軸方向に沿って変化させ、異なるフォーカス位置の撮影を可能とする。
【００１３】
撮像光学系１１の焦点面近傍には、複数の受光画素を平面状に配列した、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）等のイメージセンサでなる撮像素子１３が配置される。
【００１４】
この撮像素子１３は、撮影時に受光した光線を電気信号に変換し、図示しない画像処理プロセッサで各種カラープロセス処理を施した後に、画像データとしてメモリ１６へ出力する。
【００１５】
撮像素子１３からの画像データの読出しは、撮像素子駆動回路１４で制御する。
【００１６】
このデジタルスチルカメラ１０のユーザは、ユーザインターフェース１７を通して通常の撮影とフォーカスブラケット撮影を選択可能とする。
【００１７】
すなわち、ユーザによるユーザインターフェース１７での選択操作による入力信号は全て撮像制御部１５へ送出される。撮像制御部１５は、ユーザインターフェース１７からの入力信号に応じて前記レンズ駆動回路１２、撮像素子駆動回路１４、及びメモリ１６での各種動作を制御する。
【００１８】
しかして、バッファメモリとして使用されるメモリ１６に記憶された画像データは、適宜被写体検出部１８、及び合焦画像選択部１９に読出される。
【００１９】
被写体検出部１８は、移動量演算部１８ａ及び領域検出部１８ｂを有する。被写体検出部１８は、合焦位置の異なる複数の画像データから主要被写体領域をそれぞれ検出し、その検出結果を合焦画像選択部１９へ出力する。
【００２０】
合焦画像選択部１９は、合焦評価値演算部１９ａ及び画像選択部１９ｂを有する。合焦画像選択部１９は、被写体検出部１８での検出結果を用いて合焦位置の異なる複数の画像データから、主要被写体領域が最も良い条件で合焦している画像データを選択し、選択した画像データを最終的な出力として、例えば不揮発性のメモリを封入したメモリカードで構成される記録媒体２０に記録させる。この記録媒体２０は、デジタルスチルカメラ１０に対して着脱自在に備えられる。  
なお、本実施形態では記録媒体２０がデジタルスチルカメラ１０に着脱自在にメモリカードであるものとしたが、本発明はこれに限らず、外部記憶装置、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルでこのコンパクトデジタルカメラ１０と接続されたパーソナルコンピュータの記憶装置などに画像データを転送して保存させることも可能である。さらに、前記メモリ１６はバッファメモリとして使用されるものとして説明したが、このメモリ１６を画像データの保存に用いるものとしてもよい。
【００２１】
次に本実施形態の動作について説明する。  
以後の動作に関する説明は、前記ユーザがフォーカスブラケット撮影を選択したことを前提とする。撮像制御部１５は、ユーザからの撮影指示（レリーズキーの操作）に伴ってユーザインターフェース１７から入力される操作信号に基づき、その時点で設定されている撮影パラメータに従ってレンズ駆動回路１２、撮像素子駆動回路１４を動作させて、フォーカスブラケット撮影を実行する。
【００２２】
図２は、そのフォーカスブラケット撮影の処理内容を示すフローチャートである。  
すなわち、撮影開始直後に、まず撮像光学系１１のフォーカスレンズ位置を無限遠点側に移動する（ステップＳ２０１）。
【００２３】
次いで、フォーカスレンズ位置を近点側に１ステップ分移動させる（ステップＳ２０２）。
【００２４】
このフォーカスレンズ位置で１枚の静止画像の撮影を実行する（ステップＳ２０３）。
【００２５】
その後、その時点でのフォーカスレンズ位置が最近点ではないことを確認すると（ステップＳ２０４）、前記ステップＳ２０２からの処理に戻る。
【００２６】
こうして、フォーカスレンズ位置が最近点であると判断するまで前記ステップＳ２０２〜Ｓ２０４の処理を繰返し実行し、フォーカス位置を順次移動させながら複数枚の画像データをメモリ１６に蓄積保存していく。
【００２７】
図３は、前記一連のフォーカスレンズ位置の移動を各フォーカス位置での被写界深度域と共に説明するものである。同図に示すように、前記ステップＳ２０２におけるフォーカスレンズの位置移動は、互いの被写界深度域が重ならないように無限遠ｆｉから最近点ｆｃへ１ステップずつ移動するように設定している。
【００２８】
すなわち、ここで言う「１ステップ」は、レンズ駆動回路１２によるフォーカスレンズを駆動するステッピングモータ（図示せず）の最小限の駆動ステップを指すものではなく、あくまでもその時点の撮像光学系１１の焦点距離と絞り値、及びフォーカスレンズ位置とで算出される、被写界深度域が重複しないように適宜設定される可変量である。
【００２９】
なお、前記フォーカスレンズ位置の移動制御に際しては、他の方法として、ユーザインターフェース１７から直接フォーカスレンズの位置の移動範囲と撮影回数を入力させ、それに従って撮影を行なうような構成としてもよい。
【００３０】
また、遠点から近点までのフォーカスレンズの位置の移動は、ステップＳ２０３での撮影処理中、特に撮像素子１３への露光タイミングを外せば、それ以外のタイミングでは停止させるか、移動させたままとするか、そのいずれでも良い。
【００３１】
前記図２の処理に基づくフォーカスブラケット撮影で連続的に撮影された複数枚分の画像データは、メモリ１６に一時的に保存された後、被写体検出部１８に転送される。
【００３２】
被写体検出部１８では、移動量演算部１８ａが連続して撮影された画像データ間のオプティカルフローを求めてテーブル情報として保持する。オプティカルフローを求める方法として、本実施形態ではテンプレートマッチングを用いたブロックマッチング法を使用するものとする。
【００３３】
なお、本実施形態では詳述しないが、オプティカルフローを求める他の方法として、画像データ間での被写体の移動が微小である場合には、勾配法などを有効な手段として用いてもよい。
【００３４】
図４は、連続する３枚の画像データ間のオプティカルフローから領域検出部１８ｂが主要被写体領域を求める様子を示したものである。図中、Ｇ１，Ｇ２，Ｇ３は時間的に連続して撮影された画像、ＯＦ１２，ＯＦ２３はそれぞれ画像Ｇ１−Ｇ２,Ｇ２−Ｇ３間のオプティカルフローである。
【００３５】
画像中では、被写体としての木ＴＲが遠点側、犬ＤＧが近点側に存在し、さらに犬ＤＧは画像Ｇ１からＧ２に至る間に横に移動している。領域検出部１８ｂは、最初にオプティカルフローＯＦ１２の中から、長さが一定以上のベクトルの始点を注目点とし、さらに一定の近傍領域で同様の性質を持つベクトル始点を検索して新たな注目点とする動作を繰返しながら被写体の領域Ａ１を検出する。
【００３６】
次にこの領域Ａ１の検出で使用した各ベクトル始点と対応するベクトルの終点が分散する領域Ａ２を検出する。ここで領域Ａ１は画像Ｇ１中の主要被写体領域、Ａ２は画像Ｇ２中の主要被写体領域として登録する。
【００３７】
次に画像Ｇ３中の主要被写体領域Ａ３を検出するために、オプティカルフローＯＦ２３中の領域Ａ２領域中の点を始点とするベクトルについて同様に処理し領域Ａ３を検出する。
【００３８】
このとき、被写体である犬ＤＧ′，ＤＧ″間に位置の移動がない場合でも領域Ａ３と領域Ａ２とを同じ領域とみなすことで、画像Ｇ３中の主要被写体領域の検出が可能となる。これにより移動被写体領域を全画像データから検出することができる。
【００３９】
こうして検出された移動被写体領域のデータは。領域検出部１８ｂから合焦画像選択部１９へ出力される。
【００４０】
合焦画像選択部１９では、合焦評価値演算部１９ａが全画像データから主要被写体領域の合焦評価値を求める。具体的には、合焦評価値として主要被写体領域の画像のエッジ強度を２次微分フィルタで求め、その平均値を用いるもので、領域内全体での平均エッジ強度が高いものが、すなわちより高い空間周波数成分が多く、合焦の度合いが高いものとして評価される。
【００４１】
合焦評価値演算部１９ａで算出された全画像データの主要表示領域毎の合焦評価値が画像選択部１９ｂに出力されると、画像選択部１９ｂでは送られてきた合焦評価値の中から最も高いものを選択し、その評価値に対応する画像データを選択する。
【００４２】
そして、あらためてメモリ１６に記憶されるフォーカスブラケット撮影による一連の時間的に連続した画像データ中、選択した画像データを除いてその他の画像データを全て消去設定することで、選択した画像データのみを記録媒体２０に保存するものとする。
【００４３】
なお、上記動作とは異なり、この画像データの保存時に、フォルダなどで記録媒体２０内を区分けし、選択されたデータと残りのデータを区別して双方の画像データを共に保存するものとしてもよい。
【００４４】
以上示したように本実施形態によれば、フォーカスブラケット撮影により取得された複数枚の画像データそれぞれから移動被写体領域を検出し、該被写体領域の合焦評価値が最も高い撮影データを合焦画像として選択し、あらためて記録媒体２０に保存設定する。
【００４５】
これにより、このデジタルスチルカメラ１０のユーザは、フォーカスブラケット撮影の設定を行なった後に撮影を実行するのみで、画像フレーム中のフォーカシングエリアと被写体の位置を気にすることなく、自身の意図した構図で撮影に専念することができる。
【００４６】
また、移動被写体の検出処理や合焦評価値の高い画像データの選択処理は、撮影により取得した一連の画像データをメモリ１６に保持した上で後処理として行なわれる。そのため、撮影時にはこのデジタルスチルカメラ１０のもつ最大限の連写性能を活かして、被写体が高速で移動する場合にもその動きに追従して撮影を実行することができる。
【００４７】
（第２の実施形態）  
以下本発明をデジタルスチルカメラに適用した場合を第２の実施形態として図面を参照して説明する。
【００４８】
図５は、同実施形態に係るデジタルスチルカメラ１０′の主要機能部を抜き出して示すブロック図であるが、前記図１に示した内容と同様である部分は、同一符号を付してその説明は省略するものとし、以下に相違する点について説明する。
【００４９】
本実施形態では、被写体検出部１８が移動量演算部１８ａ、領域検出部１８ｂに加えて主要被写体判別部１８ｃを有するものとする。この主要被写体判別部１８ｃは、領域検出部１８ｂによって検出された複数の移動被写体領域から１つの主要被写体領域を判別し、判別した主要被写体領域情報を合焦画像選択部１９へ転送する。
【００５０】
次に本実施形態の動作について説明する。  
以後の動作に関する説明は、前記ユーザがフォーカスブラケット撮影を選択したことを前提とする。撮像制御部１５は、ユーザからの撮影指示（レリーズキーの操作）に伴ってユーザインターフェース１７から入力される操作信号に基づき、その時点で設定されている撮影パラメータに従ってレンズ駆動回路１２、撮像素子駆動回路１４を動作させて、フォーカスブラケット撮影を実行する。
【００５１】
なお、フォーカスブラケット撮影の処理内容自体は前記図２で説明した内容と、一連のフォーカスレンズ位置の移動については前記図３で説明した内容とそれぞれ同様であり、フォーカスレンズ位置を移動させながら連続して撮影を実行し、合焦画像選択部１９に複数の画像データを保存するまでの動作は、前記第１の実施形態と同様であるものとしてその説明を省略する。
【００５２】
しかるに、フォーカスブラケット撮影で連続的に撮影された複数枚分の画像データは、メモリ１６に一時的に保存された後、被写体検出部１８に転送される。
【００５３】
被写体検出部１８では、移動量演算部１８ａが連続して撮影された画像データ間のオプティカルフローを求めてテーブル情報として保持する。領域検出部１８ｂは、オプティカルフロー中から、長さが一定以上のベクトルの始点を注目点とし、さらに一定の近傍領域で同様の性質を持つベクトル始点を検索して新たな注目点とする動作を繰返しながら被写体の領域を検出する。
【００５４】
こうして領域検出部１８ｂが検出する複数の被写体毎の領域に関し、主要被写体判別部１８ｃが１つの主要被写体領域を判別する。具体的には、主要被写体判別部１８ｃが検出された被写体毎の重要度Ｌｅｖを次式  
【数１】
2009003012.tif 000003
【００５５】
（但し、Ｆｒ：被写体毎の発生頻度、  
Ｄｃ：画像中心からの距離、  
Ｒ：領域の面積、  
Ｓ：移動量、  
Ｗ1〜Ｗ4：正規化係数。）  
により算出する
前記（１）式において距離Ｄｃ、面積Ｒは複数Ｎ枚の全画像データでの平均値とする。なお、距離Ｄｃは画像中心ではなく、画像の任意点からの距離でもよい。また、係数Ｗ1〜Ｗ4は各判断基準の重み付けを示す正規化係数であり、撮影条件によって適宜設定されるもので、負の値をとってもよい。例えばＷ4を負数とすることで、流し撮り時などの主要被写体が背景に対して相対的に移動しない構図にも対応できる。
【００５６】
次いで図６及び図７を用いて前記主要被写体判別部１８ｃによる主要被写体検出処理の手順を説明する。  
図６は、連続する３枚の画像間のオプティカルフローから領域検出部１８ｂが主要被写体領域を求めた様子を示したものである。同図中、検出された被写体領域Ａ１１〜Ａ１３は被写体である犬ＤＧ，ＤＧ′，ＤＧ″に、被写体領域Ａ２１〜Ａ２３は被写体である木ＴＲ，ＴＲ′，ＴＲ″に、被写体領域Ａ３２，Ａ３３は被写体である車ＣＲ′，ＣＲ″にそれぞれ対応している。
【００５７】
図７に示すように主要被写体検出の処理当初においては、まず撮影により得た一連の全画像データ数をＮ、移動被写体数をＭとして設定し、併せて移動被写体数をカウントするカウント値を初期値「０」とする（ステップＳ７０１）。
【００５８】
次いで、まず移動被写体の１つ、例えば被写体領域Ａ１１〜Ａ１３を選択し、併せてカウント値を「＋１」更新設定した上で（ステップＳ７０２）、発生頻度Ｆｒ、画像中心からの距離Ｄｃの逆数１／Ｄｃ、領域の面積Ｒ、総移動Ｓを順次求める（ステップＳ７０３〜Ｓ７０６）。
【００５９】
次に前記（１）式を用いて被写体の重要度Ｌｅｖ１を計算する（ステップＳ７０７）。
【００６０】
その後、前記カウント値が移動被写体数Ｍ以上となっておらず、まだ他にも重要度の計算を行なっていない移動被写体があることを確認した上で（ステップＳ７０８）で、他の移動被写体に関しても前記ステップＳ７０２からの処理を同様に繰返し実行する。
【００６１】
すなわち、被写体領域Ａ２１〜Ａ２３，Ａ３２，Ａ３３に対しても同様の計算を行なうことで、被写体の重要度Ｌｅｖ２，Ｌｅｖ３を求める（ステップＳ７０２〜Ｓ７０８の繰返し）。
【００６２】
こうして求めた被写体の重要度Ｌｅｖ１〜Ｌｅｖ３に関し、主要被写体判別部１８ｃは合焦画像選択部１９へ出力する。合焦画像選択部１９では、各被写体の重要度Ｌｅｖを参照して各被写体に関し、合焦評価値の演算を実行し、その値に基づいて主要被写体領域の合焦位置を判定する。
【００６３】
より具体的には、合焦画像選択部１９で被写体の重要度が最大値となった被写体領域についてのみ合焦評価値を演算して判定を行なってもよいし、または、複数の被写体領域それぞれに対して合焦評価値を演算して判定を行ない、複数の合焦画像を選択するものとしてもよい。
【００６４】
以上示したように本実施形態によれば、フォーカスブラケット撮影により取得した複数枚の画像データそれぞれから移動被写体領域を検出し、さらに複数の移動被写体領域から主要被写体領域を判別して、該主要被写体領域の合焦評価値が最も高い撮影データを合焦画像として選択することにより、このデジタルスチルカメラ１０′のユーザである撮影者は、画像フレーム内に複数の移動被写体がある場合でもフォーカシングエリアと主要被写体の位置を気にすることなく撮影が可能となる。
【００６５】
また、主要被写体の検出処理や合焦画像の選択処理は、撮影により取得した一連の画像データをメモリ１６に保持した上で後処理として行なわれる。そのため、撮影時にはこのデジタルスチルカメラ１０′のもつ最大限の連写性能を活かして、被写体が高速で移動する場合にもその動きに追従して撮影を実行することができる。
【００６６】
なお、前記実施形態にあって、被写体検出部１８の主要被写体判別部１８ｃは、複数の移動被写体中から主要被写体を判別するものとした。これにより、画像内に複数の移動被写体が存在する場合でも、特定の被写体に対して合焦した画像を取得することができる。
【００６７】
この場合、主要被写体の判別に際しては、前記（１）式と図７の処理でも説明した如く、前記複数の画像データ中に被写体が現れる頻度を一要素として主要被写体の判別を行なうものとした。
【００６８】
これにより、撮影画像内に複数の移動被写体が存在する場合でも、フォーカスブラケット撮影中に被写体が存在する頻度によって主要被写体を認識できる。
【００６９】
加えて、主要被写体の判別に際しては、前記（１）式と図７の処理でも説明した如く、前記複数の画像データ中の被写体領域の位置（画像中心位置からの距離）を一要素として主要被写体の判別を行なうものとした。
【００７０】
これにより、撮影画像内に複数の移動被写体が存在する場合でも被写体の位置によって主要被写体を認識できる。
【００７１】
さらに、主要被写体の判別に際しては、前記（１）式と図７の処理でも説明した如く、前記画像データ中の被写体領域の大きさ（面積）を一要素として主要被写体の判別を行なうものとした。
【００７２】
これにより、撮影画像内に複数の移動被写体が存在する場合でも、被写体の大きさによって主要被写体を認識できる。
【００７３】
また、主要被写体の判別に際しては、前記（１）式と図７の処理でも説明した如く、前記画像データ中の被写体領域の移動量を一要素として主要被写体の判別を行なうものとした。
【００７４】
これにより、撮影画像内に複数の移動被写体が存在する場合でも、被写体の移動量によって主要被写体を認識できる。
【００７５】
（第３の実施形態）  
以下本発明をデジタルスチルカメラに適用した場合を第３の実施形態として図面を参照して説明する。
【００７６】
図８は、同実施形態に係るデジタルスチルカメラ１０″の主要機能部を抜き出して示すブロック図であるが、前記図１，図５に示した内容と同様である部分は、同一符号を付してその説明は省略するものとし、以下に相違する点について説明する。
【００７７】
すなわち、合焦画像選択部１９は、合焦評価値演算部１９ａ、画像選択部１９ｂに加えて構図判別部１９ｃを備える。この構図判別部１９ｃは、合焦評価値演算部１９ａによって算出された複数の合焦評価値に対し、複数の画像データが同値である場合に合焦画像を画像の構図によって判別する。
【００７８】
次に本実施形態の動作について説明する。  
以後の動作に関する説明は、前記ユーザがフォーカスブラケット撮影を選択したことを前提とする。撮像制御部１５は、ユーザからの撮影指示（レリーズキーの操作）に伴ってユーザインターフェース１７から入力される操作信号に基づき、その時点で設定されている撮影パラメータに従ってレンズ駆動回路１２、撮像素子駆動回路１４を動作させて、フォーカスブラケット撮影を実行する。
【００７９】
なお、フォーカスブラケット撮影の処理内容自体は前記図２で説明した内容と、一連のフォーカスレンズ位置の移動については前記図３で説明した内容とそれぞれ同様であり、フォーカスレンズ位置を移動させながら連続して撮影を実行し、合焦画像選択部１９に複数の画像データを保存するまでの動作は、前記第１の実施形態と同様であるものとしてその説明を省略する。
【００８０】
しかるに、フォーカスブラケット撮影で連続的に撮影された複数枚分の画像データは、メモリ１６に一時的に保存された後、被写体検出部１８に転送される。被写体検出部１８では、前記第２の実施形態で説明した如く、主要被写体判別部１８ｃが被写体毎の重要度を算出し、主要被写体となる領域を判別してその判別結果を合焦画像選択部１９へ出力する。
【００８１】
合焦画像選択部１９では、構図判別部１９ｃが合焦評価値が同値の場合の画像データ間の合焦度合いＦＬｅｖを次式
【数２】
2009003012.tif 000004
【００８２】
（但し、Ｄｃ：画像中心からの距離、  
Ｒ：領域の面積、  
Ｗ1，Ｗ2：正規化係数。）  
により算出する
前記（２）式において距離Ｄｃは画像中心ではなく、画像の任意点からの距離でもよい。また、係数Ｗ1，Ｗ2は各判断基準の重み付けを示す正規化係数であり、撮影条件によって適宜設定されるもので、負の数であってもよい。
【００８３】
次いで図９及び図１０を用いて前記合焦画像選択部１９での合焦画像の選択処理の手順を説明する。  
図９は、主要被写体が撮影時のフォーカスの移動に追従して移動した場合に、連続する３枚の画像間のオプティカルフローから主要被写体領域を求めた様子を示したものである。同図中、検出された被写体領域Ａ１１〜Ａ１３は被写体である犬ＤＧ，ＤＧ′，ＤＧ″にそれぞれ対応しており、合焦評価値も同等であるものとする。
【００８４】
図１０に示すように合焦画像選択の処理当初においては、まず撮影により得た一連の全Ｎ枚の画像データから合焦評価値を計算し、併せて移動被写体数をカウントするカウント値を初期値「０」とする（ステップＳ１００１）。
【００８５】
次いで、合焦の判別を行なう候補となる画像データが１枚ではないことを確認すると（ステップＳ１００２）、構図判別部１９ｃがオプチカルフローの被写体領域の１つ、例えばＡ１１を選択し、併せてカウント値を「＋１」更新設定する（ステップＳ１００３）。
【００８６】
次いで、画像中心からの距離Ｄｃの逆数１／Ｄｃ、領域の面積Ｒを順次求め（ステップＳ１００４，Ｓ１００５）。
【００８７】
次に前記（２）式を用いて構図に応じた合焦度ＦＬｅｖ１を計算する（ステップＳ１００６）。
【００８８】
その後、前記カウント値が候補となる領域数以上となっておらず、まだ他にも構図に応じた合焦度の計算を行なっていない領域の候補があることを確認した上で（ステップＳ１００７）で、他の候補に関しても前記ステップＳ１００３からの処理を同様に繰返し実行する。
【００８９】
すなわち、被写体領域Ａ１２，Ａ１３に対しても同様の計算を行なうことで、構図に応じた合焦度ＦＬｅｖ２，ＦＬｅｖ３を求める（ステップＳ１００３〜Ｓ１００７の繰返し）。
【００９０】
こうして構図判別部１９ｃにより図１０の各被写体領域毎の合焦度の計算処理を終えると、最後に画像選択部１９ｂが合焦度ＦＬｅｖが最大となる撮影データを合焦画像として出力し、記録媒体２０に記録する。
【００９１】
このとき、合焦度ＦＬｅｖの最大値をとる画像データが複数存在する場合には、画像選択部１９ｂはそれらを共に選択結果として出力し、記録媒体２０に記録させるものとしてもよい。
【００９２】
以上示したように本実施形態によれば、フォーカスブラケット撮影により取得した複数枚の画像データそれぞれから移動被写体領域を検出し、該被写体領域の合焦評価値が最も高い画像データを被写体の構図情報を基にして合焦画像として選択することにより、このデジタルスチルカメラ１０′のユーザである撮影者は、フォーカシングエリアと主要被写体の位置を気にすることなく撮影を実行することが可能となり、より効果的な構図を選択して撮影を実行できる。
【００９３】
また、主要被写体の検出処理や合焦画像の選択処理は、撮影により取得した一連の画像データをメモリ１６に保持した上で後処理として行なわれる。そのため、撮影時にはこのデジタルスチルカメラ１０′のもつ最大限の連写性能を活かして、被写体が高速で移動する場合にもその動きに追従して撮影を実行することができる。
【００９４】
なお、前記実施形態では、前記（２）式と図１０の処理でも説明した如く、画像データ中の被写体領域の合焦評価値と主要被写体の構図とに基づいて主要被写体を判別するものとした。
【００９５】
これにより、主要被写体の合焦評価値に加え、主要被写体の画像内の構図に基づいて合焦画像を選択できる。
【００９６】
加えて、前記実施形態では、前記（２）式と図１０の処理でも説明した如く、前記画像データ中の被写体領域の合焦評価値と位置（画像中心位置からの距離）を一要素として主要被写体を判別するものとした。
【００９７】
これにより、主要被写体の合焦評価値に加え、主要被写体の画像内の位置（画像中心位置からの距離）に基づいて合焦画像を選択できる。
【００９８】
さらに、前記実施形態では、前記（２）式と図１０の処理でも説明した如く、前記画像データ中の被写体領域の合焦評価値と大きさ（面積）を一要素として主要被写体を判別するものとした。
【００９９】
これにより、主要被写体の合焦評価値に加え、主要被写体の画像内の大きさに基づいて合焦画像を選択できる。
【０１００】
また、前記実施形態では、合焦画像選択部１９が、前記画像データ毎の主要被写体領域の合焦評価値に基づき、複数の画像データを選択する場合もあり得るものとして処理することとした。
【０１０１】
これにより、主要被写体に対して同等の合焦評価値を持つ複数の画像データを選択結果として取得することができる。
【０１０２】
なお、前記第１乃至第３の実施形態はいずれも、本発明をデジタルスチルカメラ１０（１０′，１０″）に適用した場合について説明したものであるが、本発明はこれに限らず、静止画撮影も可能なデジタルムービーカメラやカメラ機能付の携帯電話端末等、フォーカスブラケット機能による撮影を実行可能な撮像装置であればいずれにも適用できる。
【０１０３】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【０１０４】
【図１】本発明の第１の実施形態に係るデジタルスチルカメラの主要構成を抽出して示すブロック図。
【図２】同実施形態に係るフォーカスブラケット撮影時の動作内容を示すフローチャート。
【図３】同実施形態に係るフォーカスブラケット撮影時のフォーカス位置を説明する図。
【図４】同実施形態に係る被写体領域の検出パターンを例示する図。
【図５】本発明の第２の実施形態に係るデジタルスチルカメラの主要構成を抽出して示すブロック図。
【図６】同実施形態に係る被写体領域の検出パターンを例示する図。
【図７】同実施形態に係る主要被写体判別の処理内容を示すフローチャート。
【図８】本発明の第３の実施形態に係るデジタルスチルカメラの主要構成を抽出して示すブロック図。
【図９】同実施形態に係る被写体領域の検出パターンを例示する図。
【図１０】同実施形態に係る合焦画像選択の処理内容を示すフローチャート。
【符号の説明】
【０１０５】
１０，１０′，１０″…デジタルスチルカメラ、１１…撮像光学系、１２…レンズ駆動回路、１３…撮像素子、１４…撮像素子駆動回路、１５…撮像制御部、１６…メモリ、１７…ユーザインターフェース、１８…被写体検出部、１８ａ…移動量演算部、１８ｂ…領域検出部、１９…合焦画像選択部、１９ａ…合焦評価値演算部、１９ｂ…画像選択部、２０…記録媒体、ＤＧ，ＤＧ′，ＤＧ″…（被写体としての）犬、ＴＲ，ＴＲ′，ＴＲ″…（被写体としての）木。
【図１】
2009003012.tif 000005
【図２】
2009003012.tif 000006
【図３】
2009003012.tif 000007
【図４】
2009003012.tif 000008
【図５】
2009003012.tif 000009
【図６】
2009003012.tif 000010
【図７】
2009003012.tif 000011
【図８】
2009003012.tif 000012
【図９】
2009003012.tif 000013
【図１０】
2009003012.tif 000014