(57)【特許請求の範囲】
【請求項１】
撮影した画像データを複数のＡＦエリアに分割し、
前記撮影した画像データから、前記複数のＡＦエリア毎に各々合焦指標値を算出し、
前記算出された合焦指標値に基づき前記複数のＡＦエリアを所定の閾値に応じてＡＦエリア群にグループ分けし、
前記ＡＦエリア群を、前記撮影した画像データと重ねて表示し、
前記ＡＦエリア群の中から合焦対象エリアとするＡＦエリア群を撮影者に選択させ、
前記選択させたＡＦエリア群を合焦対象エリアとして合焦動作を行うことを特徴とする自動焦点制御装置の合焦動作決定方法。
【請求項２】
前記複数のＡＦエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出することを特徴とする請求項１に記載の自動焦点制御装置の合焦動作決定方法。
【請求項３】
前記選択させたＡＦエリア群中の中央のＡＦエリアを合焦対象エリアとして合焦動作を行うことを特徴とする請求項１に記載の自動焦点制御装置の合焦動作決定方法。
【請求項４】
撮影した画像データを複数のＡＦエリアに分割するＡＦエリア設定手段と、
前記撮影した画像データから、前記ＡＦエリア設定手段で設定した複数のＡＦエリア毎に各々合焦指標値を算出する合焦指標値算出手段と、
前記合焦指標値算出手段で算出した合焦指標値に基づき、前記複数のＡＦエリアを所定の閾値に応じてＡＦエリア群にグループ分けするＡＦエリア群設定手段と、
前記ＡＦエリア群設定手段でグループ分けしたＡＦエリア群を、前記撮影した画像データと重ねて表示するＡＦエリア群表示手段と、
前記ＡＦエリア群の中から合焦対象エリアとするＡＦエリア群を撮影者に選択させるＡＦエリア群選択手段とを備え、前記ＡＦエリア群選択手段で選択されたＡＦエリア群を合焦対象エリアとして合焦動作を行うことを特徴とする自動焦点制御装置。
【請求項５】
前記合焦指標値算出手段は、前記複数のＡＦエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出することを特徴とする請求項４記載の自動焦点制御装置。
【請求項６】
前記ＡＦエリア群選択手段は、前記選択させたＡＦエリア群中の中央のＡＦエリアを合焦対象エリアとして合焦動作を行うことを特徴とする請求項４に記載の自動焦点制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、スチルビデオカメラ（電子カメラ）等の２次元撮像素子を用いた画像入力機器等に適用される自動焦点制御装置及びその合焦動作決定方法に関する。
【０００２】
【従来の技術】
近年、被写体の光画像を所定の撮像光学系を介して２次元ＣＣＤ等の固体撮像素子に結像させて光電変換出力させ、その電気信号を媒体に記録させるようにしたスチルビデオカメラが実用化され、普及しつつある。
【０００３】
このようなスチルビデオカメラにあっても、通常のカメラの場合と同様に自動焦点制御（ＡＦ制御）が重要であり、その技術開発が盛んで、種々の提案もなされている。従来の自動焦点制御装置における合焦位置決定方法として、例えば、赤外線や超音波を用いたアクティブＡＦ方式や、外光パッシブや山登りサーボ等のパッシブＡＦ方式がある。特に、デジタルスチルビデオカメラでは、特別な測距部品を必要としないパッシブＡＦ方式が多く採用されている。
【０００４】
このパッシブＡＦ方式において、近年、ワンショット撮像で合焦位置を検出し得るものとして、例えば、特開平６−１８１５３２号公報に示される電子カメラの合焦位置検出装置がある。これは、復元フィルタを用いることでワンショットにて合焦位置を検出できるようにしたものである。より詳細には、撮像光学系の点像分布関数又はそれを変換処理して得られる関数を焦点位置及びその前後のレンズ位置で複数点求めて記憶した特性値記憶手段と、１画面（１画像フレーム）分又はその一部の撮像データを特性値記憶手段に記憶された特性値によって複数点のレンズ位置毎に画像復元する画像復元手段と、この画像復元された画像データからレンズ位置毎に復元フィルタを用いて合焦位置の評価値を求め、各評価値を比較して合焦位置を推測する合焦位置推測手段とを備えることで、合焦位置の検出をより早くかつ正確に行なえるようにしたものである。
【０００５】
【発明が解決しようとする課題】
ところが、上記公報例のようなパッシブＡＦ方式におけるワンショットＡＦ方式では、動きのある被写体に対する合焦処理において問題がある。即ち、従来のワンショットＡＦ方式では、初期焦点レンズ位置を決めて撮像した画像から復元画像を得ているものであり、被写体が静物或いは停止している場合には特に合焦に支障を来さないが、被写体が動いている場合には、合焦が取れず、若しくは、合焦が難しいことがある。
【０００６】
また、動体被写体に限らず一般的に考えた場合も、撮影者が何を被写体として捕えようとしているかの判断は難しい。例えば、後述する図７（撮像された画像フレーム例を示している）を参照した場合、被写体としては、スノーマンであったり、バイクであったり、或いはスノーマンとバイクであったりするので、単に画像フレーム内に入った図柄からは特定し得ない。よって、撮影者の意図に則した被写体の合焦状態での撮影が難しい。
【０００７】
そこで、本発明は、動きのある被写体の場合でも高速な合焦動作が可能な自動焦点制御装置及びその合焦動作決定方法を提供することを目的とする。
【０００８】
また、本発明は、撮影者の意図に沿った被写体の選択と撮影とが可能な自動焦点制御装置及びその合焦動作決定方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
請求項１記載の自動焦点制御装置の合焦動作決定方法は、撮影した画像データを複数のＡＦエリアに分割し、前記撮影した画像データから、前記複数のＡＦエリア毎に各々合焦指標値を算出し、前記算出された合焦指標値に基づき前記複数のＡＦエリアを所定の閾値に応じてＡＦエリア群にグループ分けし、前記ＡＦエリア群を、前記撮影した画像データと重ねて表示し、前記ＡＦエリア群の中から合焦対象エリアとするＡＦエリア群を撮影者に選択させ、前記選択させたＡＦエリア群を合焦対象エリアとして合焦動作を行う。
【００１０】
従って、１画面をなす画像フレームについて複数のＡＦエリアに区分けするとともに、１つの画像フレームデータを取得して、各ＡＦエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでＡＦエリアをグループ分けし、グループ分けされたＡＦエリア群中から選択指定されたグループのＡＦエリア部分を合焦対象エリアとして合焦動作を行なわせるので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【００１１】
請求項２記載の自動焦点制御装置の合焦動作決定方法は、前記複数のＡＦエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出する。
【００１２】
従って、複数のＡＦエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出するので、高速かつ正確な合焦が可能となる。
【００１３】
請求項３記載の自動焦点制御装置の合焦動作決定方法は、前記選択させたＡＦエリア群中の中央のＡＦエリアを合焦対象エリアとして合焦動作を行う。
【００１４】
従って、選択させたＡＦエリア群中の中央のＡＦエリアを合焦対象エリアとすることで、撮影者の意図に沿った被写体を合焦状態で撮影することが可能となる。
【００１５】
請求項４記載の自動焦点制御装置は、撮影した画像データを複数のＡＦエリアに分割するＡＦエリア設定手段と、前記撮影した画像データから、前記ＡＦエリア設定手段で設定した複数のＡＦエリア毎に各々合焦指標値を算出する合焦指標値算出手段と、前記合焦指標値算出手段で算出した合焦指標値に基づき、前記複数のＡＦエリアを所定の閾値に応じてＡＦエリア群にグループ分けするＡＦエリア群設定手段と、前記ＡＦエリア群設定手段でグループ分けしたＡＦエリア群を、前記撮影した画像データと重ねて表示するＡＦエリア群表示手段と、前記ＡＦエリア群の中から合焦対象エリアとするＡＦエリア群を撮影者に選択させるＡＦエリア群選択手段とを備え、前記ＡＦエリア群選択手段で選択されたＡＦエリア群を合焦対象エリアとして合焦動作を行う。
【００１６】
従って、１画面をなす画像フレームについて複数のＡＦエリアに区分けするとともに、１つの画像フレームデータを取得して、各ＡＦエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでＡＦエリアをグループ分けし、グループ分けされたＡＦエリア群中から選択指定されたグループのＡＦエリア部分を合焦対象エリアとして合焦動作を行なわせるので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【００１７】
請求項５記載の自動焦点制御装置は、前記合焦指標値算出手段において、前記複数のＡＦエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出する。
【００１８】
従って、複数のＡＦエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出するので、高速かつ正確な合焦が可能となる。
【００１９】
請求項６記載の自動焦点制御装置は、前記ＡＦエリア群選択手段は、前記選択させたＡＦエリア群中の中央のＡＦエリアを合焦対象エリアとして合焦動作を行う。
【００２０】
従って、選択させたＡＦエリア群中の中央のＡＦエリアを合焦対象エリアとすることで、撮影者の意図に沿った被写体を合焦状態で撮影することが可能となる。
【００２７】
【発明の実施の形態】
本発明の第一の参考例を図１ないし図３に基づいて説明する。図１は本参考例の自動焦点制御装置及びその合焦動作決定方法が適用されるデジタルスチルカメラの概略構成例を示すブロック図である。このデジタルスチルカメラは、概略的には、被写体像を撮像する２次元の撮像素子であるＣＣＤ１と、被写体像をＣＣＤ１に撮像させる撮像レンズ、焦点レンズの組合せによるレンズ系２及び絞り３と、ＣＣＤ１を含み被写体像に応じた画像データを出力するフロントエンド部４と、画像データに対して各種のデータ処理を行なうイメージプリプロセッサ（ＩＰＰ）５と、ＣＰＵインタフェース（Ｉ／Ｆ）６と、デジタルスチルカメラの各部の動作を制御するＣＰＵ７と、撮像された画像等を表示する表示部である液晶パネル（ＬＣＤ）８と、ＣＰＵ７による制御の下にレンズ系２を駆動制御する焦点レンズ制御部９と、ＣＰＵ７による制御の下に絞り３の絞り値（Ｆ値）を制御する絞り制御部１０とを備えている。
【００２８】
フロントエンド部４は、レンズ系２により結像された被写体像を電気信号（アナログ画像データ）に変換してＣＣＤ１から出力される信号に対してノイズ除去、ゲイン調整等の処理を行なう信号処理部１１と、この信号処理部１１よる処理後のアナログ画像データをデジタル画像データに変換してＩＰＰ５に出力するＡ／Ｄ変換部１２とを備えている。
【００２９】
ＩＰＰ５は、フロントエンド部４から入力されるデジタル画像データを、ＲＧＢの各色成分（ＲＧＢデジタル信号）に分離するＲＧＢ分離部１３と、分離されたＲＧＢデジタル信号の各色成分のゲインを各々調整して出力するＲＧＢゲイン調整部１４と、ゲイン調整後のＲＧＢデジタル信号を輝度信号に変換して出力する輝度値生成部１５とを備えている。また、輝度値生成部１５から入力される輝度信号の空間成分を周波数成分に高速フーリエ変換（ＦＦＴ）してフィルタリング部１６に出力するＦＦＴ演算部１７を備えている。このＦＦＴ演算部１７は、フィルタリング部１６からフィードバックされる周波数成分を高速逆フーリエ変換（ＩＦＦＴ）することで空間成分に逆変換して負値積算器１８に出力するＩＦＦＴ演算部としての機能も併せ持つ。フィルタリング部１６は復元フィルタデータＲＯＭ１９に格納された復元フィルタに基づきＦＦＴ演算部（ＩＦＦＴ演算部）１７で周波数成分に周波数変換された信号の復元処理を行なう。復元フィルタデータＲＯＭ１９には複数の点像半径に各々対応した複数の復元フィルタのデータが格納されている。さらに、周波数成分に変換され、かつ、フィルタリング処理された信号に対して、その特定の高周波成分を抽出し、累積して得られる高周波成分積算値をＣＰＵ７に出力する高周波成分積算器２０が設けられている。負値積算器１８はＦＦＴ演算部（ＩＦＦＴ演算部）１７から入力される空間周波数成分の負値を積算して得られる負値積算値をＣＰＵ７に出力する。このようなＩＰＰ５の各部の機能はソフトウェアにて実現することも可能であるが、高速処理化を図る上では図１に示す如きハードウェア構成とするほうが好ましい。
【００３０】
ＣＰＵ７は、前述したようにデジタルスチルカメラの各部の動作制御を受け持ち、具体的には、高周波成分積算器２０や負値積算器１８から入力される高周波成分積算値や負値積算値に基づき、合焦指標値（ワンショットＡＦ評価値）を算出し、従来技術で述べたようなワンショットＡＦ制御を行ない得る機能を持つ。即ち、初期焦点レンズ位置でＣＣＤ１により撮像して画像フレーム（１画面）のデータを取得し、その画像フレームデータに対して点像半径に対応した複数の復元フィルタを用いて復元し各復元フィルタ毎に復元された画像データ群について各々合焦指標値を算出し、算出された各合焦指標値を照合して画像フレームにおける合焦位置を決定し、焦点レンズ制御部９を制御することで合焦動作を行なわせる機能を持つ。また、ＣＰＵ７は通常通り自動ホワイトバランス制御（ＡＷＢ制御）や自動露光制御（ＡＥ制御）の機能を併せ持つ。
【００３１】
ここに、本参考例では、合焦動作を決定する上で、ＣＣＤ１により撮像された画像フレームデータについて、予め複数のＡＦエリアが区分け設定されている。また、本参考例のＣＰＵ７は、上述の基本的な機能を持ちつつ、動体被写体の適正な撮影を可能とするため、内蔵されたプログラムに従い、後述するように、画像データ取得手段、合焦指標値算出手段、合焦指標値差分算出手段及び対象ＡＦエリア抽出手段の機能を実行し得る。
【００３２】
図２の模式図及び図３のフローチャートを参照して動的被写体を検出する方法を説明する。図２（ａ）は初期焦点レンズ位置における、或る特定時刻でＣＣＤ１により撮像して得られた画像フレームデータ例を示し、図２（ｂ）は図２（ａ）と同じ初期焦点レンズ位置のままで先の特定時刻から或る時間が経過した時刻でＣＣＤ１により撮像して得られた画像フレームデータ例を示している。ここで、画像フレームは例えば最近の標準仕様に従い１２８０×１０２４画素からなる。このような画像フレームは、２５６×２５６画素を１つのエリアとしてタイル状に連続する５×４＝２０個のＡＦエリアＡ１１，Ａ１２，…，Ａ４５に仕分け設定されている。
【００３３】
このような前提の下、本参考例による動きのある被写体の合焦動作の概略を説明する。まず、撮影待機状態において（ステップＳ１のＹ）、初期焦点レンズ位置にて撮像することにより第１の画像フレームデータを取得し（Ｓ２…例えば、図２（ａ）のように）、取得した第１の画像フレームデータについてＡＦエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する（Ｓ３）。続いて、或る時間が経った次の撮像タイミングになったら（Ｓ４のＹ）、初期焦点レンズ位置のまま焦点レンズを動かすことなく、撮像することにより第２の画像フレームデータを取得し（Ｓ５…例えば、図２（ｂ）のように）、取得した第２の画像フレームデータについてＡＦエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する（Ｓ６）。ここに、ステップＳ２，Ｓ４，Ｓ５の処理が画像データ取得手段の機能として実行され、初期焦点レンズ位置で時間を異ならせて撮像した第１，２の２つの画像フレームデータが得られる。また、ステップＳ３，Ｓ６の処理が合焦指標値算出手段の機能として実行される。より具体的には、各ＡＦエリアでは点像半径に対応した複数の復元フィルタを用いて画像データの復元を行ない、各復元フィルタ毎に復元された画像データ群について各々の評価値群を算出し、これらのＡＦ評価値群から当該ＡＦエリアにおける合焦指標値が算出される。このようにして得られた第１，２の２つの画像フレームデータに関するＡＦエリア毎の合焦指標値について、同一ＡＦエリア毎で差分を算出する（Ｓ７）。このステップＳ７の処理が合焦指標値差分演算手段の機能として実行される。このような動作はレリーズ動作が行われるまで、周期的に繰り返される（Ｓ８）。レリーズ動作が行われなければ、第１の画像フレームデータを破棄し、第２の画像フレームデータを第１の画像フレームデータとする（Ｓ９ａ）。
【００３４】
図２（ｃ）は図２（ａ）（ｂ）に示した異なる時間に撮像した画像フレームデータの各ＡＦエリア毎の合焦指標値の差分を示す。図示例によれば、ＡＦエリアＡ２４，Ａ３３に合焦指標値の変化が見られ、当該エリア個所に動きのある被写体が存在することが判る。そこで、このような差分値に基づき動体被写体が存在するエリア個所を検出する（Ｓ９）。この例では、ＡＦエリアＡ２４とＡＦエリアＡ３３とが候補となるが、ここでは、差分値の最も大きなエリアを合焦対象エリアとして検出・抽出している。このステップＳ９の処理が対象ＡＦエリア抽出手段の機能として実行される。このようにして、対象ＡＦエリアが抽出されると、動的被写体を含むこの対象ＡＦエリアに対して焦点レンズ制御部９等を通じて通常通り合焦動作が行われ（Ｓ１０）、レリーズ時には動的被写体を合焦状態で撮影できる。
【００３５】
このようにして、本参考例によれば、動きのある被写体を含む場合であっても、その被写体を含むＡＦエリアを検出してそのＡＦエリアに対して合焦動作を行なうようにしたので、動きのある被写体の場合でも撮影者がデジタルスチルカメラを動かして追従することなく、自動的に追尾させて合焦状態で撮影できる。この際、２回の画像フレームデータの取得を必要とするが、初期焦点レンズ位置のままでありレンズ移動を要せず、最終的なレリーズ時なる合焦動作時のみの移動でよいため、高速な合焦が可能となる。
【００３６】
本発明の第二の参考例を図１、図４及び図５に基づいて説明する。即ち、図１に示したデジタルスチルカメラの構成はそのまま用いるものとする。本参考例のＣＰＵ７は、第一の参考例でも記載したような基本的な機能を持ちつつ、動体被写体の適正な撮影を可能とするため、内蔵されたプログラムに従い、後述するように、画像データ取得手段、合焦指標値算出手段、合焦指標値差分算出手段、動体被写体抽出手段及び予測手段の機能を実行し得る。
【００３７】
図４の模式図及び図５のフローチャートを参照して動的被写体を検出する方法を説明する。図４（ａ）は初期焦点レンズ位置における、或る特定時刻でＣＣＤ１により撮像して得られた画像フレームデータ例を示し、図４（ｃ）は図４（ａ）と同じ初期焦点レンズ位置のままで先の特定時刻から或る時間が経過した時刻でＣＣＤ１により撮像して得られた画像フレームデータ例を示し、図４（ｃ）はレリーズ動作時に撮像される予測された画像フレームデータ例を示している。ここで、画像フレームは１２８０×１０２４画素からなり、かつ、このような画像フレームは、２５６×２５６画素を１つのエリアとしてタイル状に連続する５×４＝２０個のＡＦエリアＡ１１，Ａ１２，…，Ａ４５に仕分け設定されている。
【００３８】
このような前提の下、本参考例による動きのある被写体の合焦動作の概略を説明する。まず、撮影待機状態において（Ｓ１１のＹ）、初期焦点レンズ位置にて撮像することにより第１の画像フレームデータを取得し（Ｓ１２）、取得した第１の画像フレームデータについてＡＦエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する（Ｓ１３）。続いて、或る時間が経った次の撮像タイミングになったら（Ｓ１４のＹ）、初期焦点レンズ位置のまま焦点レンズを動かすことなく、撮像することにより第２の画像フレームデータを取得し（Ｓ１５…例えば、図４（ａ）のように）、取得した第２の画像フレームデータについてＡＦエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する（Ｓ１６）。このようにして得られた第１，第２の画像フレームデータに関するＡＦエリア毎の合焦指標値について、同一ＡＦエリア毎に差分を算出し（Ｓ１７）、第１の画像フレームデータを破棄する（Ｓ１８）。さらに、或る時間が経った次の撮像タイミングになったら（Ｓ１９のＹ）、初期焦点レンズ位置のまま焦点レンズを動かすことなく、撮像することにより第３の画像フレームデータを取得し（Ｓ２０…例えば、図４（ｂ）のように）、取得した第３の画像フレームデータについてＡＦエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する（Ｓ２１）。ここに、ステップＳ１２，Ｓ１４，Ｓ１５，Ｓ１９，Ｓ２０の処理が画像データ取得手段の機能として実行され、初期焦点レンズ位置で時間を異ならせて撮像した第１，２，３の３つの画像フレームデータが得られる。また、ステップＳ１３，Ｓ１６，Ｓ２１の処理が合焦指標値算出手段の機能として実行される。より具体的には、各ＡＦエリアでは点像半径に対応した複数の復元フィルタを用いて画像データの復元を行ない、各復元フィルタ毎に復元された画像データ群について各々の評価値群を算出し、これらのＡＦ評価値群から当該ＡＦエリアにおける合焦指標値が算出される。このようにして得られた第２，第３の画像フレームデータに関するＡＦエリア毎の合焦指標値について、同一ＡＦエリア毎に差分を算出する（Ｓ２２）。ステップＳ１７，Ｓ２２の処理が合焦指標値差分演算手段の機能として実行される。このような動作はレリーズ動作が行われるまで、周期的に繰り返される（Ｓ２３）。レリーズ動作が行われなければ、第２の画像フレームデータを破棄し、第３の画像フレームデータを第２の画像フレームデータとする（Ｓ２４）。
【００３９】
図４（ｂ）（ｄ）は各々図４（ａ）（ｃ）に示した時点での撮像フレームデータが有する合焦指標値の差分値を示している。即ち、図４（ｂ）は図４（ａ）に示す第２の画像データフレームとその前のタイミングで撮像された第１の画像フレームデータとのＡＦエリア毎の合焦指標値の差分を示しており、図示例によれば、ＡＦエリアＡ１５に合焦指標値の変化が見られ、当該エリアに動体被写体が存在することが分かる。次の画像取込みでは図４（ｃ）に示すような画像フレームデータが得られる。図４（ｄ）は図４（ｃ）に示す第３の画像データフレームとその前のタイミングで撮像された図４（ａ）に示す第２の画像フレームデータとのＡＦエリア毎の合焦指標値の差分を示しており、図示例によれば、ＡＦエリアＡ１５，Ａ２４に合焦指標値の変化が見られ、当該エリアに動体被写体が存在することが分かる。ここに、ＡＦエリアＡ１５の差分値は図４（ｂ）のＡＦエリアＡ１５に示す差分値と逆符号であって同値であるため、被写体がこのＡＦエリアＡ１５を抜けてＡＦエリアＡ２４側へ移動してことが判る。このような差分値の変化により、ＡＦエリア座標（１，５）から（２，４）への動きベクトルが得られる。また、合焦差分値が"５"から"１０"に変化しており、これらの変化から合焦指標値変化量５が得られる。そこで、本参考例では、このような差分値及びその変化に基づき動体被写体が存在するＡＦエリアと移動方向とを検出する（Ｓ２２）。このステップＳ２２の処理が動体被写体抽出手段の機能として実行される。
【００４０】
このようにして、動体被写体が存在するＡＦエリアと移動方向とが検出されると、これらの情報を基にレリーズ動作時の動体被写体のＡＦエリア位置とその合焦指標値とを予測する（Ｓ２５）。図４（ｅ）に示す例では、図４（ｃ）の時点でＡＦエリアＡ２４に位置している被写体が移動ベクトル（１，−１）に基づきレリーズ動作時にはＡＦエリアＡ３３に位置するものと予測される。また、合焦指標値変化量５から、ＡＦエリアＡ３３での合焦指標値は１５と予測される。このステップＳ２５の処理が予測手段の機能として実行される。
【００４１】
動体被写体のレリーズ時のＡＦエリア位置とその合焦指標値とが予測されると、動的被写体を含むこの予測されたＡＦエリアＡ３３に対して予測された合焦指標値１５に基づき焦点レンズ制御部９等を通じて通常通り合焦動作が行われ（Ｓ２６）、レリーズ時には動的被写体を合焦状態で撮影できる。
【００４２】
このようにして、本参考例によれば、１画面をなす画像フレームについて複数のＡＦエリアに区分けするとともに、時間を異ならせて３つの画像フレームデータを取得して、各ＡＦエリア毎に復元フィルタを用いて合焦指標値を算出して同一ＡＦエリア間で合焦指標値間の差分を算出し、その結果から動きのある被写体の位置と移動方向とを抽出することで、この動体被写体がレリーズ動作時に位置するＡＦエリアとその合焦指標値とを予測し、予測されたＡＦエリアを合焦対象エリアとして予測された合焦指標値に基づき合焦動作を行なわせるので、動きのある被写体の場合でも撮影者がカメラを動かして追従することなく、自動的に追尾させて合焦状態で撮影できる。この際、最低３回の画像フレームデータの取得を必要とするが、初期焦点レンズ位置のままでありレンズ移動を要せず、最終的な合焦動作時のみの移動でよいため、高速な合焦が可能となる。
【００４３】
なお、本参考例を実施する上では、合焦指標値の予測において、動きのある被写体が近づく方向に移動しているか遠ざかる方向に移動しているかに応じて合焦指標値の予測変化量を異ならせることが好ましい。即ち、被写体位置に対する焦点レンズの駆動量は、被写体が近づく場合と遠ざかる場合とで異なり、近づけば近づくほど焦点レンズの駆動量が大きく、逆に遠ざかれば遠ざかるほど焦点レンズの駆動量が小さくなることから、抽出された動体被写体が遠ざかるときの予測割合を近づくときの予測割合よりも小さくすれば、合焦指標値の合焦予測位置を実情に即して非線形的に求めることができ、より適正かつ高速な合焦動作が可能となる。図６R>６はこのような点を考慮した変形例を示し、図４に対応して被写体が近づく例であるので、合焦指標値の変化量を５から非線形的に１．４倍した７とし、最新の合焦指標値１０にこの変化量７を加算してなる１７を合焦指標値の予測値としている。逆に、被写体が遠ざかる場合であれば、合焦指標値変化量の１／１．４倍を最新の合焦指標値から減算して合焦指標値の予測値とする。
【００４４】
これによれば、合焦指標値の合焦予測位置を実情に即して非線形的に求めることができ、より適正かつ高速な合焦動作が可能となる。なお、係数としての１．４や１／１．４は一例に過ぎず、画像フレームデータを取得する時間間隔等に応じて適宜設定すればよい。
【００４５】
本発明の第三の参考例を図１、図７及び図８に基づいて説明する。本参考例では、前述した第一又は第二の参考例のような動体追尾機能を有するとともに、図１に示すデジタルスチルカメラの構成において、動体追尾を行なうか行なわないかを選択する選択手段としてのアンロック／ロック切換スイッチ２１が付加されている。このアンロック／ロック切換スイッチ２１はデフォルトとしてはアンロック側に設定されている。
【００４６】
このような構成において、操作者が動体追尾に関してアンロック／ロック切換スイッチ２１をデフォルトのままとした場合（アンロックを選択した場合…Ｓ３１のＹ）、合焦対象となるＡＦエリアを画像フレームの中央に設定した状態で合焦動作を行なう（Ｓ３２）。これは、一般的な撮影では、撮影者は被写体を画面中央にもってくることが多いからである。図７に示す例では、動体追尾アンロック時であれば中央部のＡＦエリアＡ２３を固定的な合焦対象エリアとして合焦動作を行なわせる。この結果、図７に示す例では、スノーマンに合焦状態で撮影できる。即ち、図７に示すような状況下で、撮影者の撮影意図がスノーマンであり、バイクが障害物でしかない場合、前述したような機能により通過中のバイクに合焦することは撮影者にとって不要な動作に他ならないが、動体追尾アンロックによれば意図するスノーマンを合焦状態で撮影できる。
【００４７】
一方、操作者が動体追尾に関してアンロック／ロック切換スイッチ２１をロック側に切換えた場合（ロックを選択した場合…Ｓ３１のＮ）、動体追尾による合焦処理が行なわれる（Ｓ３３）。この動体追尾による合焦処理は、前述した第一又は第二の参考例のようなＡＦエリア毎の合焦指標値の算出、差分算出、合焦対象エリアの抽出等を伴う処理である。この結果、図７に示す例では、動きを伴うバイクに合焦状態で撮影できる。即ち、図７に示すような状況下で、撮影者の撮影意図がバイクでありスノーマンは撮影の背景でしかない場合、通過中のバイクに合焦せず、中央部背景のスノーマンに合焦してしまうことは撮影者にとって不要な動作に他ならないが、前述した参考例のような動体追尾ロックによれば意図するバイクを合焦状態で撮影できる。
【００４８】
従って、本参考例によれば、撮影者の意図に従い、動きのある被写体を追尾して合焦動作を行なわせながら撮影するか、動きのある被写体に追尾することなく画像フレーム中央等を合焦対象位置として合焦動作させて撮影するかをアンロック／ロック切換スイッチ２１の操作により任意に選択することができ、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【００４９】
本発明の実施の形態を図１、図９及び図１０に基づいて説明する。本実施の形態では、図１に示すデジタルスチルカメラの構成において、液晶パネル８とともに、指定手段としてのエリアグループ選択キー２２が付加されている。
【００５０】
ここに、本実施の形態では、合焦動作を決定する上で、ＣＣＤ１により撮像された画像フレームデータについて、予め複数のＡＦエリアが区分け設定されている。また、本実施の形態のＣＰＵ７は、上述の基本的な機能を持ちつつ、撮影者の意図する被写体の適正な撮影を可能とするため、内蔵されたプログラムに従い、後述するように、画像データ取得手段、合焦指標値算出手段、表示手段及びグループ化手段の機能を実行し得る。
【００５１】
図９の模式図及び図１０のフローチャートを参照して動的被写体を検出する方法を説明する。図９（ａ）は初期焦点レンズ位置においてＣＣＤ１により撮像して得られた画像フレームデータ例を示している。ここで、画像フレームは例えば１２８０×１０２４画素からなる。このような画像フレームは、２５６×２５６画素を１つのエリアとしてタイル状に連続する５×４＝２０個のＡＦエリアＡ１１，Ａ１２，…，Ａ４５に仕分け設定されている。
【００５２】
このような前提の下、本実施の形態による合焦動作の概略を説明する。まず、撮影待機状態において（Ｓ４１のＹ）、初期焦点レンズ位置にて撮像することにより１つの画像フレームデータを取得し（Ｓ４２）、取得した画像フレームデータについてＡＦエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する（Ｓ４３）。より具体的には、各ＡＦエリアでは点像半径に対応した複数の復元フィルタを用いて画像データの復元を行ない、各復元フィルタ毎に復元された画像データ群について各々の評価値群を算出し、これらのＡＦ評価値群から当該ＡＦエリアにおける合焦指標値が算出される。ここに、ステップＳ４２の処理が画像データ取得手段の機能として実行され、１つの画像フレームデータが得られる。また、ステップＳ４３の処理が合焦指標値算出手段の機能として実行される。図９（ｂ）は図９（ａ）のような画像フレームデータ例に対して各ＡＦエリア毎に算出された合焦指標値例を示す。
【００５３】
各ＡＦエリアについて合焦指標値を算出した後、所定の閾値、ここでは５ステップ区切りの２つの閾値５，１０を用いて、ＡＦエリアをその合焦指標値に基づき３つのグループに分ける（Ｓ４４）。このステップＳ４４の処理がグループ化手段の機能として実行される。図９（ｃ）は図９（ｂ）のような合焦指標値の場合のグループ分け例を示している。図９（ａ）の画像に対応させれば、空の部分（グループ）、家の部分（グループ２）、車の部分（グループ３）というように被写体の候補が抽出される。
【００５４】
ここで、初期焦点レンズ位置で撮像された図９（ａ）に示すような画像は液晶パネル８に表示されるが、図９（ｃ）に示すようにグループ分けされたＡＦエリア群の外郭もその液晶パネル８の画像上に撮影者が認識し得るようにインポーズさせる（Ｓ４５）。このステップＳ４５の処理が表示手段の機能として実行される。これにより、撮影者は画像フレーム内の被写体候補とＡＦエリア群との対応関係を知ることができる。そこで、撮影者により撮影したい被写体が属するＡＦエリア群がエリアグループ選択キー２２の操作により選択されると（Ｓ４６のＹ）、選択指定されたＡＦエリア群を合焦対象エリアとして焦点レンズ制御部９等を通じて通常通り合焦動作が行われ（Ｓ４７）、レリーズ時には意図した被写体を合焦状態で撮影できる。より詳細には、選択指定されたＡＦエリア群中の中央のＡＦエリアが合焦対象エリアとされる。例えば、図９（ｃ）に示すようにグループ分けされたＡＦエリア群の例で、グループ３の車部分が選択指定された場合であれば、ＡＦエリアＡ４３，Ａ４４，Ａ４５が合焦対象エリアの候補となるが、中央のＡＦエリアＡ４４が合焦対象エリアとされる。同様に、グループ２が選択された場合であれば、ＡＦエリアＡ３３が合焦対象エリアとされる。
【００５５】
従って、本実施の形態によれば、１画面をなす画像フレームについて複数のＡＦエリアに区分けするとともに、１つの画像フレームデータを取得して、各ＡＦエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでＡＦエリアをグループ分けし、グループ分けされたＡＦエリア群中から選択指定されたグループのＡＦエリア部分を合焦対象エリアとして合焦動作を行なわせるので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【００５６】
なお、これらの実施の形態に示した画像フレームデータの画素数、ＡＦエリアの大きさ、形状、数などは一例に過ぎず、また、ＡＦエリアの区分けも重複しないようにタイル状に区分けした例で示したが、部分的に重複したような区分けであってもよい。
【００５７】
【発明の効果】
請求項１記載の発明によれば、１画面をなす画像フレームについて複数のＡＦエリアに区分けするとともに、１つの画像フレームデータを取得して、各ＡＦエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでＡＦエリアをグループ分けし、グループ分けされたＡＦエリア群中から選択指定されたグループのＡＦエリア部分を合焦対象エリアとして合焦動作を行なわせるので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【００５８】
請求項２記載の発明によれば、複数のＡＦエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出するので、高速かつ正確な合焦が可能となる。
【００５９】
請求項３記載の発明によれば、選択させたＡＦエリア群中の中央のＡＦエリアを合焦対象エリアとすることで、撮影者の意図に沿った被写体を合焦状態で撮影することが可能となる。
【００６０】
請求項４記載の発明によれば、１画面をなす画像フレームについて複数のＡＦエリアに区分けするとともに、１つの画像フレームデータを取得して、各ＡＦエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでＡＦエリアをグループ分けし、グループ分けされたＡＦエリア群中から選択指定されたグループのＡＦエリア部分を合焦対象エリアとして合焦動作を行なわせるようにしたので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【００６１】
請求項５記載の発明によれば、複数のＡＦエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出するので、高速かつ正確な合焦が可能となる。
【００６２】
請求項６記載の発明によれば、選択させたＡＦエリア群中の中央のＡＦエリアを合焦対象エリアとすることで、撮影者の意図に沿った被写体を合焦状態で撮影することが可能となる。
【図面の簡単な説明】
【図１】本発明の第一の参考例のデジタルカメラの概略構成例を示すブロック図である。
【図２】画像フレームデータ、ＡＦエリア等を説明するための模式図である。
【図３】合焦動作の制御例を示すフローチャートである。
【図４】本発明の第二の参考例の画像フレームデータ、ＡＦエリア等を説明するための模式図である。
【図５】合焦動作の制御例を示すフローチャートである。
【図６】変形例の画像フレームデータ、ＡＦエリア等を説明するための模式図である。
【図７】本発明の第三の参考例の画像フレームデータ、ＡＦエリア等を説明するための模式図である。
【図８】合焦動作の制御例を示すフローチャートである。
【図９】本発明の実施の形態の画像フレームデータ、ＡＦエリア等を説明するための模式図である。
【図１０】合焦動作の制御例を示すフローチャートである。
【図１】
0003732665.tif 000002
【図２】
0003732665.tif 000003
【図３】
0003732665.tif 000004
【図４】
0003732665.tif 000005
【図５】
0003732665.tif 000006
【図６】
0003732665.tif 000007
【図７】
0003732665.tif 000008
【図８】
0003732665.tif 000009
【図９】
0003732665.tif 000010
【図１０】
0003732665.tif 000011