(57)【要約】【課題】  追尾した被写体に焦点調節を行う場合に、誤追尾による誤動作を防ぐとともに、光軸方向に不規則に移動する被写体に対して適切な焦点調節を行うこと。【解決手段】  撮影して得られた画像信号から、追尾する被写体の領域、及び当該領域の像面位置及び信頼度を検出する追尾手段と、検出された像面位置の履歴に基づいて、予め決められた時点の像面位置を予測する予測手段と、検出された信頼度に基づいて、像面位置の誤差範囲を設定する設定手段と、予測手段により予測された画像信号の撮影時点での像面位置と、検出された像面位置との差が、誤差範囲内にある場合に、検出された被写体の領域を焦点検出領域として決定する決定手段と、予測手段により予め決められた将来の時点において焦点検出領域に含まれる被写体の像面位置を予測し、予測した像面位置に焦点を合わせるようにフォーカスレンズの駆動量を算出する算出手段と、を有する。【選択図】  図８
2018004918.tif 000002
【特許請求の範囲】
【請求項１】
入射する光を光電変換して画像信号を出力する撮像手段から出力された前記画像信号から、追尾する被写体の領域、及び当該領域の像面位置及び信頼度を検出する追尾手段と、
前記追尾手段により検出された像面位置の履歴に基づいて、予め決められた時点の像面位置を予測する予測手段と、
前記追尾手段により検出された信頼度に基づいて、前記像面位置の誤差範囲を設定する設定手段と、
前記予測手段により予測された前記画像信号の撮影時点での像面位置と、前記追尾手段により検出された像面位置との差が、前記誤差範囲内にある場合に、前記追尾手段により検出された被写体の領域を焦点検出領域として決定する決定手段と、
前記焦点検出領域に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出手段と、を有し、
前記予測手段は、更に、予め決められた将来の時点での前記焦点検出領域に含まれる被写体の像面位置を予測し、前記算出手段は、前記予測された将来の時点での像面位置に焦点を合わせるように前記駆動量を算出することを特徴とする焦点調節装置。
【請求項２】
前記設定手段は、前記信頼度が予め決められた閾値以下の場合に、第１の誤差範囲を設定し、前記信頼度が予め決められた閾値よりも高い場合に、前記第１の誤差範囲よりも広い第２の誤差範囲を設定することを特徴とする請求項１に記載の焦点調節装置。
【請求項３】
前記設定手段は、前記信頼度が高くなるほど、段階的に前記誤差範囲を広げることを特徴とする請求項１に記載の焦点調節装置。
【請求項４】
前記設定手段は、前記信頼度が高くなるほど、前記誤差範囲を広くすることを特徴とする請求項１に記載の焦点調節装置。
【請求項５】
前記撮影時点での像面位置と、前記推定した将来の時点での被写体の像面位置との差が、前記誤差範囲内に無い場合に、前記像面位置の履歴の少なくとも一部を、古い方から削除することを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
【請求項６】
前記決定手段は、前記予測手段により予測された前記撮影時点での像面位置と、前記追尾手段により検出された像面位置との差が、前記誤差範囲内に無い場合に、前記予測手段により予測された前記撮影時点での像面位置に近い像面位置を有する領域を焦点検出領域として決定することを特徴とする請求項１乃至５のいずれか１項に記載の焦点調節装置。
【請求項７】
前記予測手段により予測された前記撮影時点での像面位置に近い像面位置を有する領域が無い場合に、前記算出手段は、駆動量を算出しないことを特徴とする請求項６に記載の焦点調節装置。
【請求項８】
前記追尾手段は、前記追尾する被写体の領域をテンプレートとして、前記画像信号の部分領域とを照合して評価値を求め、前記評価値の分布に応じて前記信頼度を求めることを特徴とする請求項１乃至７のいずれか１項に記載の焦点調節装置。
【請求項９】
前記追尾手段は、前記画像信号における前記被写体の特徴色の分布に基づいて前記被写体の領域を推定し、当該領域内と当該領域外との特徴色の分布に基づいて前記信頼度を求めることを特徴とする請求項１乃至８のいずれか１項に記載の焦点調節装置。
【請求項１０】
前記追尾手段は、前記信頼度を求める際、前記信頼度の履歴を参照して、前記画像信号における信頼度を求めることを特徴とする請求項１乃至９のいずれか１項に記載の焦点調節装置。
【請求項１１】
入射する光を光電変換して画像信号を出力する撮像手段と、
請求項１乃至１０のいずれか１項に記載の焦点調節装置と
を有することを特徴とする撮像装置。
【請求項１２】
追尾手段が、入射する光を光電変換して画像信号を出力する撮像手段から出力された前記画像信号から、追尾する被写体の領域、及び当該領域の像面位置及び信頼度を検出する追尾工程と、
予測手段が、前記追尾工程で検出された像面位置の履歴に基づいて、前記画像信号を撮影した撮影時点での像面位置を予測する予測工程と、
設定手段が、前記追尾工程で検出された信頼度に基づいて、前記像面位置の誤差範囲を設定する設定工程と、
決定手段が、前記予測工程で予測された前記画像信号の撮影時点での像面位置と、前記追尾工程で検出された像面位置との差が、前記誤差範囲内にある場合に、前記追尾工程で検出された被写体の領域を焦点検出領域として決定する決定工程と、
前記予測手段が、更に、予め決められた将来の時点での前記焦点検出領域に含まれる被写体の像面位置を予測する第２の予測工程と、
算出手段が、前記第２の予測工程で予測された前記像面位置に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出工程と
を有することを特徴とする焦点調節方法。
【請求項１３】
コンピュータを、請求項１乃至１０のいずれか１項に記載の焦点調節装置の各手段として機能させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は焦点調節装置及び方法、及び焦点調節装置を備えた撮像装置に関し、特に被写体追尾により焦点調節を行う焦点調節装置及び方法、及び焦点調節装置を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、移動している被写体を高精度に追尾するための焦点調節装置が多く提案されている。光軸方向の被写体の移動を高精度に追尾するための一つの方式として、移動している被写体の将来の像面位置を予測することで追尾性能を向上させる焦点調節装置が特許文献１に開示されている。特許文献１では、過去複数回の焦点検出結果を記憶しておき、将来の被写体の像面位置の変化を予測するのに最も適した関数を選択する。
【０００３】
また、撮影画像の画像特徴を基に行う追尾位置と、過去の焦点検出結果の予測から得られる追尾位置と、任意の指定位置（開始検出点）とから、所定条件を満たす追尾位置を選択する方式が特許文献２に開示されている。さらに、特許文献３でも、画像特徴に基づく追尾と、過去の焦点検出結果の予測から得られる像面位置を併用する焦点調節の方法に関して開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２１７９４号公報
【特許文献２】特開２０１２−２０８５０７号公報
【特許文献３】特許第５８８２５９３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、これまでの検出結果から予測できないような動きを行うと、追尾に失敗する場合がある。一方、特許文献２では、予測できないような動きに対して、ユーザが撮影開始時に指定した位置を優先している。しかし、ユーザが画面の所定位置で追尾したい被写体を捉え続ける必要があるため、カメラの操作に慣れていないユーザには扱いが難しい。特許文献３では、画像特徴に基づく追尾結果に基づいて、予測する際のデフォーカス量を参照する焦点検出領域の位置を変更することにより、急峻な運動特性の変化を考慮している。しかしながら、画像特徴に基づく追尾が誤るケースは、十分に考慮されていない。
【０００６】
本発明は上記問題点を鑑みてなされたものであり、追尾した被写体に焦点調節を行う場合に、誤追尾による誤動作を防ぐとともに、光軸方向に不規則に移動する被写体に対して適切な焦点調節を行うことを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の焦点調節装置は、入射する光を光電変換して画像信号を出力する撮像手段から出力された前記画像信号から、追尾する被写体の領域、及び当該領域の像面位置及び信頼度を検出する追尾手段と、前記追尾手段により検出された像面位置の履歴に基づいて、予め決められた時点の像面位置を予測する予測手段と、前記追尾手段により検出された信頼度に基づいて、前記像面位置の誤差範囲を設定する設定手段と、前記予測手段により予測された前記画像信号の撮影時点での像面位置と、前記追尾手段により検出された像面位置との差が、前記誤差範囲内にある場合に、前記追尾手段により検出された被写体の領域を焦点検出領域として決定する決定手段と、前記焦点検出領域に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出手段と、を有し、前記予測手段は、更に、予め決められた将来の時点での前記焦点検出領域に含まれる被写体の像面位置を予測し、前記算出手段は、前記予測された将来の時点での像面位置に焦点を合わせるように前記駆動量を算出する。
【発明の効果】
【０００８】
本発明によれば、追尾した被写体に焦点調節を行う場合に、誤追尾による誤動作を防ぐとともに、光軸方向に不規則に移動する被写体に対して適切な焦点調節を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態における撮像装置の断面図と、撮像装置の機能構成を示すブロック図。
【図２】実施形態における撮像素子の構造を示す図。
【図３】実施形態における画素構造と瞳分割の概略説明図。
【図４】実施形態における焦点調節及び撮像処理のフローチャート。
【図５】実施形態における被写体追尾処理のフローチャート。
【図６】実施形態におけるテンプレートマッチングの例を示す図。
【図７】実施形態における焦点検出処理のフローチャート。
【図８】実施形態における焦点調節領域の設定処理のフローチャート。
【図９】実施形態における像面方向の閾値設定を説明する図。
【図１０】実施形態における予測処理のフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１１】
●全体構成
図１は、本発明の実施形態における撮像装置の全体構成を示す図であり、図１（ａ）は撮像装置の断面図、図１（ｂ）は機能構成を示すブロック図である。一般的にカメラには、ある時刻における被写体の像面に対してレンズを駆動するモード（ワンショット撮影モード）と、将来の被写体の像面を予測しながらレンズを駆動するモード（サーボ撮影モード）の２種類がある。本実施形態では、撮像装置がサーボ撮影モードに設定されたときの動きについて説明する。
【００１２】
本実施形態では、撮像装置として、ファインダ１０４及び撮像素子１０３を有するカメラ本体１００と、撮影光学系を有する撮影レンズ１２０とを組み合わせて使用するレンズ交換式のデジタルスチルカメラについて説明する。しかしながら、本発明はレンズ交換式のデジタルスチルカメラに限るものではなく、画像信号に基づいて焦点調節を行うことのできる様々な光学機器に応用すること可能である。
【００１３】
カメラ本体１００は、撮像素子１０３、ファインダ１０４、表示器１０５、ＣＰＵ１１０、撮像素子制御回路１０２、メモリ回路１０１、インターフェース回路１０６、画像処理回路１０７、電気接点１０８、クイックリターンミラー１０９を備えている。
【００１４】
撮像素子１０３は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ、ＣＣＤ(Charge Coupled Device)イメージセンサ等により形成され、カメラ本体１００の撮影レンズ１２０の予定結像面に配置されている。なお、撮像素子１０３は、本実施形態ではＣＭＯＳイメージセンサであるものとして説明する。
【００１５】
ここで、図２を参照して、本実施形態における撮像素子１０３の画素構造について説明する。図２は、撮像素子１０３の画素構造を示す図であり、図２（ａ）は撮像素子１０３の画素配列の平面図、図２（ｂ）は画素２１０Ｇの断面図を示している。
【００１６】
図２（ａ）は、撮像素子１０３の画素配列を、４行×４列の画素範囲で示している。画素群２１０は２行×２列のベイヤー配列の画素からなり、Ｒ（赤）の分光感度を有する画素２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２１０Ｂが右下に配置されている。また、画素２１０Ｒ、２１０Ｇ、２１０Ｂは、それぞれ、瞳分割用の２つの光電変換部２０１ａ、２０１ｂを有する。光電変換部２０１ａは、撮影レンズ１２０の射出瞳の第１瞳領域を通過した光束を受光して光電変換する。また、光電変換部２０１ｂは、第１瞳領域と異なる第２瞳領域を通過した光束を受光して光電変換する。上記構成を有する各画素は、撮像用画素および焦点検出用画素として機能する。
【００１７】
また、図２（ｂ）に示すように、光電変換部２０１ａ、２０１ｂは、ｐ型層２００およびｎ型層から構成されるフォトダイオードにより構成される。マイクロレンズ２０２は、受光面からＺ方向に所定の距離だけ離れた位置に、カラーフィルタ２０３上に形成されている。
【００１８】
本実施形態では、撮像素子１０３の全ての画素２１０Ｒ、２１０Ｇ、２１０Ｂに、瞳分割用の光電変換部２０１ａ、２０１ｂが設けられている。２つの光電変換部２０１ａ、２０１ｂは、マイクロレンズ２０２の光軸に対し、＋Ｘ方向および−Ｘ方向にそれぞれ偏心しているため、１つのマイクロレンズ２０２を用いて瞳分割を行うことが可能である。そのため、光電変換部２０１ａ、２０１ｂを含む画素は、焦点検出用画素として用いられる。なお、ここでは、全画素を焦点検出用画素で構成した場合について説明するが、本発明はこれに限定されるものではなく、焦点検出用画素が全画素のうちの一部の画素にのみ設けられている構成であってもよい。また、図２（ａ）に示す例では、光電変換部２０１ａ、２０１ｂは、マイクロレンズ２０２の光軸に対し、Ｘ方向に偏心した配置となっているが、Ｙ方向に偏心した配置としても良いし、Ｘ方向及びＹ方向に偏心した画素が混在するようにしても良い。これにより、Ｘ方向の輝度分布を有する被写体だけでは無く、Ｙ方向に輝度分布を有する被写体にも対応した構成とすることができる。また、撮像素子の１０３の各画素または一部の画素が２つ以上の光電変換部を有する構成としても良い。
【００１９】
続いて図３を参照して、撮像素子１０３の瞳分割機能について説明する。図３は、撮像素子１０３の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。なお、図３において図２（ｂ）と同じ構成には同じ参照番号を付している。
【００２０】
図３の上方には、射出瞳３０２、および、開口枠３０３（例えば、絞り枠やレンズ枠）がそれぞれ示されている。射出瞳３０２のうち、瞳領域３０２ａは光電変換部２０１ａに対応し、瞳領域３０２ｂは光電変換部２０１ｂに対応する。像信号Ａは、−Ｘ方向に偏心したｎ型層に対応する光電変換部２０１ａで取得される。また、像信号Ｂは、＋Ｘ方向に偏心したｎ型層に対応する光電変換部２０１ｂで取得される。
【００２１】
本実施形態において、像信号Ａは、図２（ａ）に示されるように、Ｘ方向に規則的に配列した複数の光電変換部２０１ａから得られた信号である。すなわち像信号Ａは、撮影光学系の射出瞳領域の一部を通過し、絞り値に応じて基線長が異なる対の光束から得られた像信号の一方である。また、像信号Ｂは、図２（ａ）に示されるように、Ｘ方向に規則的に配列した複数の光電変換部２０１ｂから得られた信号である。すなわち像信号Ｂは、撮影光学系の異なる射出瞳領域を通過し、絞り値に応じて基線長が異なる対の光束から得た像信号の他方である。
【００２２】
図１に戻り、クイックリターンミラー１０９は、撮像素子１０３への光路上にあるときには、撮影レンズ１２０からの撮影光束をファインダ１０４方向へ反射する。ファインダ１０４は、クイックリターンミラー１０９が反射する被写体像を操作者が観察可能にする。また、撮影時及びライブビューモード時には、クイックリターンミラー１０９は、光路から退避し、撮影レンズ１２０を介して入射した光束が撮像素子１０３へ到達可能な状態とする。なお、図示しないが、クイックリターンミラー１０９と撮像素子１０３との間には、シャッタが設けられており、撮影時及びライブビューモード時にシャッタ開状態となる。
【００２３】
撮像素子制御回路１０２は、ＣＰＵ１１０の指示に従い、撮像素子１０３を駆動制御する。メモリ回路１０１は、撮像素子１０３により撮像された画像を記憶すると共に、撮像素子１０３の受光分布を記憶する。画像処理回路１０７は、撮像素子１０３により撮影した画像信号を画像処理する。インターフェース回路１０６は、画像処理回路１０７により画像処理された画像をカメラ外部に出力するために用いられる。電気接点１０８は、撮影レンズ１２０の電気接点１２４と接触して、電力及び各種信号の通信に用いられる。
【００２４】
表示器１０５は、ＬＣＤ(Liquid Crystal Display)パネル等により形成され、撮影画像の表示や撮影情報等の情報の表示を行う。また表示器１０５は、ライブビューモード時には、撮影予定の領域をリアルタイムで動画表示する。ここで、ライブビューモードとは、撮影レンズ１２０を介して入射し、撮像素子１０３に結像された被写体像を、プレビュー用に低画素の動画像として読み出し、表示器１０５にリアルタイムで表示するモードである。このライブビューモード時には、後述する撮像面における位相差ＡＦを実行することができる。さらに、連写撮影中には各連写時の低画素の静止画像を表示器１０５に表示する。
【００２５】
ＣＰＵ１１０は、カメラ全体を統括的に制御する制御部である。ＣＰＵ１１０は、位相差検出部１１１、被写体追尾部１１６、デフォーカス量換算部１１２、焦点調節領域設定部１１５、記憶部１１３、焦点調節部１１４、予測部１１９を備え、撮影レンズ１２０の焦点状態の算出と駆動指示を行う。
【００２６】
位相差検出部１１１は、撮像素子１０３から得た一対の像信号Ａと像信号Ｂの相対的な位相差を検出し、デフォーカス量換算部１１２は、位相差検出部１１１が検出した位相差を、換算係数を用いてデフォーカス量へ換算する。被写体追尾部１１６は、撮像素子１０３から得た画像信号の特徴に基づいて、追尾する被写体の領域（以下、「追尾領域」と呼ぶ。）及び位置（以下、「追尾位置」と呼ぶ。）と、追尾の信頼度（追尾尤度）を算出する。焦点調節領域設定部１１５は、被写体追尾部１１６により検出した追尾領域、追尾位置及び信頼度に基づき、焦点調節部１１４で焦点を合わせる領域を判別する。記憶部１１３は、撮影時刻（撮影時点）と、換算したデフォーカス量から算出した追尾領域の像面位置とをメモリ回路１０１に記憶させる。
【００２７】
焦点調節部１１４は、換算したデフォーカス量に基づいて焦点位置を移動させるようにレンズＣＰＵ１２２に指示を行う。さらに焦点調節部１１４は、将来の像面位置を予測部１１９を用いて予測し、撮影レンズ１２０が予測した像面位置に来るために必要なレンズ駆動量を算出し、レンズＣＰＵ１２２に指示を行う。
【００２８】
撮影レンズ１２０は、カメラ本体１００に対して着脱可能な交換レンズである。撮影レンズ１２０は、フォーカスレンズを含むレンズ群等から成る撮影光学系、レンズＣＰＵ１２２、撮影レンズ駆動機構１２１、絞り駆動機構１２３、絞り１２５、電気接点１２４を備えている。
【００２９】
撮影レンズ駆動機構１２１は、撮像素子１０３の撮像面付近にある焦点位置を光軸方向に移動させるように複数のレンズ群を駆動することで、撮影する被写体の光学像を撮像素子１０３上に結像させる。レンズＣＰＵ１２２は、カメラ本体１００のＣＰＵ１１０から送られてくる焦点調節情報を電気接点１２４を介して受信し、その焦点調節情報に基づいて撮影レンズ駆動機構１２１を駆動する。
【００３０】
絞り駆動機構１２３は、絞り１２５を駆動する機構及びそのアクチュエータを有し、カメラＣＰＵ１１０の指示に従って絞り１２５を駆動する。
【００３１】
●撮像処理
続いて、図４を用いて、本実施形態におけるサーボ撮影モードにおける焦点調節及び撮像処理の流れについて説明する。この処理は、撮影準備スイッチがオンされて撮影準備が指示されると開始される。なお、一般的なカメラでは撮影ボタンのスイッチが半押しの状態で、撮影準備スイッチがオンとなる。
【００３２】
処理が開始されると、Ｓ１０１で、被写体追尾部１１６による被写体追尾処理を行い、追尾する被写体の領域（追尾領域）及びその位置（追尾位置）、及び追尾位置の信頼度を求める。なお、被写体追尾処理の詳細については、図５および図６を用いて後述する。次のＳ１０２では、焦点検出処理を行う。なお、焦点検出処理の詳細については、図７を用いて後述する。続いてＳ１０３で、焦点調節領域の設定処理を行い、焦点調節を行う領域（焦点調節領域）を設定する。なお、焦点調節領域の設定処理の詳細については、図８を用いて後述する。
【００３３】
Ｓ１０４で、撮影前予測処理を行う。撮影前予測処理では、後述するように撮影開始スイッチがオン状態であれば、Ｓ１０２の焦点検出処理における位相差検出時から撮像素子１０３による撮影時までの被写体の像面位置を予測部１１９によって予測する。また、撮影開始スイッチがオフ状態であれば、次の位相差検出時までの被写体の像面位置を予測部１１９によって予測する。なお、予測方法の詳細については図１０を用いて後述する。
【００３４】
Ｓ１０５で、Ｓ１０４で予測した被写体の像面位置に合焦するように撮影レンズ１２０を動かすために必要なレンズ駆動量を算出し、レンズＣＰＵ１２２に伝える。
【００３５】
次にＳ１０６で、撮影開始スイッチの状態を判定し、スイッチオン状態であれば、Ｓ１０７の撮影に移行し、スイッチオフ状態であれば、Ｓ１１０に移行する。なお、一般的なカメラでは撮影ボタンのスイッチが全押しの状態で、撮影開始スイッチがオンとなる。
【００３６】
Ｓ１０７で、撮像素子制御回路１０２に指示を行い、撮像素子１０３を駆動制御させ、撮像素子１０３により撮影された画像をメモリ回路１０１に記憶する。Ｓ１０８において、次の位相差検出時の被写体の像面位置を予測部１１９によって予測し、Ｓ１０９で、Ｓ１０８で予測した像面位置に合焦するように撮影レンズ１２０を動かすために必要なレンズ駆動量を算出し、レンズＣＰＵ１２２に伝える。
【００３７】
Ｓ１１０で撮影準備スイッチオフ判定を行い、スイッチオフ状態であれば処理を終了し、スイッチオン状態であればＳ１０１へ戻って、上記処理を繰り返す。
【００３８】
（被写体追尾処理）
次に、Ｓ１０１で行われる被写体追尾部１１６による被写体追尾処理の一例を図５のフローチャートを参照しながら説明する。
【００３９】
本実施形態の被写体追尾部１１６が行う処理として、目的とする被写体を示す部分画像をテンプレートとして、供給された画像の部分領域と照合し、照合する部分領域を変化させて、相違度が低い領域を推定する方法（テンプレートマッチング）を説明する。また、本実施形態では、目的とする被写体の時間方向のスケール変換に対応するため、被写体の特徴色を抽出し、撮影画像中の特徴色の分布状況に基づき被写体領域を推定する方法による推定も行うものとする。そして、推定された被写体領域に基づきテンプレートの更新を行う。
【００４０】
まず、Ｓ２０１において、撮像素子１０３により被写体からの反射光を電気信号に変換し、読み出すことで、画像情報を得る。読み出した画像情報は、デジタル信号に変換され、被写体追尾部１１６に送られる。
【００４１】
Ｓ２０２では、追尾対象の被写体が存在するか否かを判定する。追尾対象の被写体が存在する場合は、被写体の追尾処理をＳ２０５からＳ２０８で実施する。追尾対象の被写体が存在しない場合は、追尾対象の被写体を決定するため、Ｓ２０３で被写体検出を行う。
【００４２】
Ｓ２０３における被写体検出の方法としては、大きく分けて、撮影者の指示に基づく検出方法と、自動で検出する方法とがある。撮影者の指示に基づく検出方法では、タッチパネルやボタンなどを含む入力インターフェースを介して、撮影画像中の被写体の位置が指示され、指示された位置情報に基づいて被写体領域を抽出する。一方、自動で検出する方法としては、顔検出などが一般的である。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法と、ニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、顔検出では、検出率向上のためにこれらを組み合わせて顔検出を行うのが一般的である。具体的には、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
【００４３】
Ｓ２０４では、抽出された被写体領域から、追尾対象の特徴量を抽出する。本実施形態では、テンプレートマッチングに基づく追尾処理を行うため、被写体領域の画像パターンを特徴量として保持しておく。また、特徴色の分布に基づいて被写体領域の推定を行うため、被写体領域の色ヒストグラムＨｉｎを保持しておく。その後、次回撮影のサンプリング周期まで待ち状態となる。
【００４４】
次に、Ｓ２０２において追尾対象の被写体が存在すると判定された場合の追尾処理について説明する。この場合、Ｓ２０５おいてマッチング処理を行う。ここで、図６を参照して、テンプレートマッチングの詳細に関して説明する。図６（ａ）は、テンプレートマッチングにおける被写体モデル（テンプレート）の例を示す。６０１は追尾対象の被写体を示す部分画像（テンプレート）であり、この画像の画素パターンを特徴量として扱う。６０２はテンプレート６０１の特徴量を表現したものであり、画素データの輝度信号を特徴量とする。特徴量Ｔ(ｉ，ｊ)は、テンプレート領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（１）で表現される。
T(i, j) = {T(0, 0), T(1, 0), ... , T(W-1, H-1)}      …（１）
【００４５】
図６（ｂ）は、追尾対象の被写体を探索する画像の情報を示す。６０３はマッチング処理を行う画像の範囲（探索範囲）を示す。探索範囲６０３における座標は（ｘ，ｙ）で表現する。６０４はマッチングの評価値を取得するための部分領域である。また、６０５は部分領域６０４の特徴量を表現したものであり、テンプレート６０１と同様に画像データの輝度信号を特徴量とする。特徴量Ｓ(ｉ，ｊ)は、部分領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（２）で表現される。
S(i, j) = {S(0, 0), S(1, 0), ... , S(W-1, H-1)}      …（２）
【００４６】
テンプレート６０１と部分領域６０４との類似性を評価する演算方法として、差分絶対和、いわゆるＳＡＤ(Sum of Absolute Difference)値を用いる。ＳＡＤ値は、式（３）により算出される。
【００４７】
2018004918.tif 000003
【００４８】
部分領域６０４を探索範囲６０３の左上から順に１画素ずつずらしながら、ＳＡＤ値Ｖ(ｘ，ｙ)を演算する。演算されたＶ(ｘ，ｙ)が最小値を示す座標（ｘ，ｙ）がテンプレート６０１と最も類似した位置を示す。つまり、最小値を示す位置が探索範囲６０３において目的とする追尾対象の被写体が存在する可能性の高い位置となる。
【００４９】
ここでは、特徴量として輝度信号の１次元の情報を用いる例を示したが、明度・色相・彩度の信号等の３次元の情報を特徴量として扱ってもよい。また、マッチングの評価値としてＳＡＤ値に関して説明したが、正規化相互相関、いわゆるＮＣＣ(Normalized Correlation Coefficient)等の異なる演算方法により得られた値を用いても良い。
【００５０】
次いで、Ｓ２０５のマッチング処理によって検出された位置に基づき、Ｓ２０６で追尾対象の被写体の領域（以下、追尾領域）を検出する。Ｓ２０４で保持した追尾領域内の色ヒストグラムと現在時刻の撮影画像の全体または一部の色ヒストグラムＨｏｕｔから、式（４）で表現される情報量を算出する。
I(a) = -log2Hin(a) / Hout(a)      …（４）
【００５１】
この情報量は、色ヒストグラムの各ビンにおいて、画像全体または一部に対して被写体領域内の生起確率を示す。この情報量に基づき現在時刻の撮影画像の各画素に対して適応することで、追尾対象の被写体である可能性を示すマップができる。このマップに基づき追尾領域を検出する。また、検出された追尾領域の重心位置が被写体追尾部１１６が出力する追尾位置となる。
【００５２】
次いで、Ｓ２０７において、Ｓ２０６で算出した追尾位置の信頼度を算出する。被写体追尾の確からしさを妨げる要因としては、被写体の変化、類似被写体の存在、追尾誤差の蓄積が挙げられる。これらの要因をマッチング処理や追尾領域の推定から取得される各種評価値を乗じることで信頼度を算出する。
【００５３】
まず、マッチング処理の式（３）によるＶ(ｘ，ｙ)の最小値が大きいほど、被写体の変化が大きいことを示す。従って、最小値が大きいほど信頼度が小さくなるようにする。また、マッチング処理の式（３）によるＶ(ｘ，ｙ)の最小値と類似した値が、被写体の推定位置と所定閾値以上離れた位置において存在する場合は、類似被写体が存在する可能性が高い。そのため、被写体の推定位置と所定閾値以上離れた位置に属するＳＡＤ値とＳＡＤ値の最小値の類似度が高いほど、信頼度を低くする。また、式（４）で示す被写体の色特徴を示す情報量の被写体領域内の平均値（期待値）であるエントロピーが小さいほど、被写体の変化が大きいことを示す。これは式（５）で表現される。
【００５４】
2018004918.tif 000004
式（５）の値が小さいほど信頼度を小さくする。また、式（４）で示す被写体の色特徴を示す情報量の被写体領域外の平均値（期待値）であるエントロピーが大きいほど、類似対象が存在する可能性が高い。これは式（６）で表現される。
【００５５】
2018004918.tif 000005
式（６）の値が大きいほど信頼度を小さくする。さらに被写体追尾の確からしさが一度低くなるとその後、追尾の信頼性も低くなる。そのため、信頼度算出において履歴の信頼度を加味する。例えば、所定期間の信頼度平均値を現在フレームの信頼度として扱う。以上のようにして追尾位置の信頼度を算出する。
【００５６】
次に、Ｓ２０８において、被写体特徴量の更新を行う。ここでは、Ｓ２０６で推定された追尾領域に基づいてテンプレートの更新を行うことで、被写体のスケール変化に対応できる。そして、処理が終了し、次回撮影のサンプリング周期まで待ち状態となる。
【００５７】
（焦点検出処理）
次に、Ｓ１０２で行われる焦点検出処理の動作の一例を、図７のフローチャートに基づいて説明する。Ｓ３０１で、撮像素子１０３から出力される一対の像信号Ａ、像信号Ｂを取得する。そしてＳ３０２において、位相差検出部１１１により、Ｓ１０１で検出した追尾領域や、過去の焦点検出領域の履歴から求めた領域、予め決められた領域などの複数の領域において、Ｓ３０１で取得した像信号Ａ、像信号Ｂの位相差（像ずれ量）を算出する。続いて、Ｓ３０３において、デフォーカス量換算部１１２により、Ｓ３０２で算出した像ずれ量をデフォーカス量に換算する。そしてＳ３０４において、得られた焦点検出情報をメモリ回路１０１に記憶する。ここでは、各領域の像面位置と、その撮影時刻を記憶する。
【００５８】
（焦点調節領域の設定処理）
続いて、Ｓ１０３で行われる焦点調節領域の設定処理について、図８のフローチャートを参照して説明する。
【００５９】
まず、Ｓ４０１において、後述する前回の予測処理で算出された被写体の像面位置の予測式を用いて、撮像素子１０３が撮影を行った時刻における被写体の像面位置を予測する。
【００６０】
次にＳ４０２で、Ｓ１０１で被写体追尾部１１６が算出した追尾位置の信頼度が予め決められた閾値よりも高いかどうかを判定する。ここで、図９を参照して、追尾位置の信頼度に基づき設定される、Ｓ４０１で予測された像面位置に対する誤差範囲の概念について説明する。図９（ａ）において、９０１は撮像装置、９０２は追尾対象の被写体、９０３は被写体の許容移動範囲を示しており、追尾位置の信頼度が低い場合を示している。また、図９（ｂ）の９０４は、追尾位置の信頼度が高い場合の許容移動範囲を示している。追尾位置の信頼度が閾値より高ければ、Ｓ４０３において、図９（ｂ）に示すように広めの許容移動範囲９０４に対応する像面の誤差範囲Ｔ２を設定する。一方、追尾位置の信頼度が閾値以下であれば、Ｓ４０４において、図９（ａ）に示すように通常の許容移動範囲９０３に対応する像面の誤差範囲Ｔ１を設定する。
【００６１】
次にＳ４０５で、Ｓ１０１で算出された追尾領域の像面位置が、Ｓ４０３またはＳ４０４で設定された誤差範囲内に収まっているかを判定する。誤差範囲内に収まっていれば（Ｓ４０５でＹＥＳ）、Ｓ４０６で追尾領域を焦点調節領域として設定する。一方、追尾領域の像面位置が誤差範囲内に収まっていなければ（Ｓ４０５でＮＯ）、Ｓ４０７で、Ｓ１０３でデフォーカス量を求めた領域のうち、Ｓ４０１で求めた予測式に基づく像面位置のデフォーカス量に近い領域を焦点調節領域として設定する。なお、予測式に基づく像面位置のデフォーカス量に近い領域が存在しなければ、焦点調節を行わない。
【００６２】
以上のように、追尾位置の信頼度が高い場合は、像面方向の誤差範囲を大きく設定する。これにより、追尾被写体が像面方向に大きく動いた場合であっても、その追尾領域のデフォーカス情報に基づき焦点調節が可能となる。一方で、追尾位置の信頼度が低い場合は、像面方向の閾値を小さくしておく。これにより、被写体追尾が誤った場合でも、大きな焦点調節の失敗へと繋がらないようにしている。
【００６３】
（撮影前予測処理）
続いて、Ｓ１０４で予測部１１９により行われる、過去複数回の像面位置とその撮影時刻の変化から、将来の像面位置を予測するための撮影前予測処理について説明する。将来の像面位置の予測方法は特許文献１に詳しく記載されているが、本実施形態では図１０のフローチャートを用いて、統計演算を用いて予測を行う例について説明する。
【００６４】
まず、Ｓ５０１において、位相差検出部１１１によって検出した、Ｓ１０３で設定された焦点調節領域における位相差から、デフォーカス量換算部１１２によってデフォーカス量を算出する。そして、次のＳ５０２にて、算出したデフォーカス量に対応する像面位置とその撮影時刻の算出を行う。一般的に、撮像素子１０３から像信号が得られるまでにある程度の電荷の蓄積時間を必要とする。そのため、蓄積開始時刻と終了時刻の中点を撮影時刻とし、撮影レンズ１２０の相対的な繰り出し量にこのデフォーカス量を加えることによって、被写体の像面位置を算出する。
【００６５】
そして、像面位置と撮影時刻の組のデータを、次のＳ５０３にてメモリ回路１０１に格納する。格納するメモリのデータ構造はキューとなっており、予め定められたデータの個数までは順に格納するがそれ以降のデータは、最も古いデータの上に最新のデータを上書きする。
【００６６】
その後、Ｓ５０４へ進み、メモリ回路１０１に格納されたデータ数が統計演算可能かどうかを判定する。この判定の結果、統計演算に必要なデータ数が十分であればＳ５０５へ進み、統計演算による予測式を決定する。
【００６７】
Ｓ５０５における統計演算による予測式の決定は特許文献１に詳しく記載されているため詳細は省略するが、式（７）に示すような予測関数ｆ（ｔ）において、重回帰分析によって各係数α、β、γを統計的に決定する。また、式（７）におけるｎは複数の代表的な動体予測撮影シーンのサンプルに対して予測を行ったとき、その予測誤差が最小となるｎの値を求めている。
f(t)= α + βt + γtn      …（７）
【００６８】
Ｓ５０５で予測式を決定した後はＳ５０６に進み、予め決められた将来時刻の像面位置を予測し、撮影レンズ１２０がその像面位置に合焦するために必要なレンズ駆動量を算出する。
【００６９】
一方、Ｓ５０４においてデータ数が十分でないと判定した場合、Ｓ５０７に進み、統計演算によらず算出したデフォーカス量によってレンズ駆動量を算出する。
【００７０】
続いて、焦点調節領域設定部１１５において、図８のＳ４０６またはＳ４０７で設定された焦点検出領域の像面位置に対する、Ｓ５０６で算出された像面位置またはＳ５０７で算出されたデフォーカス量に対応する像面位置の差を判定する。ここでは、像面位置の差とＳ４０３またはＳ４０４で設定された誤差範囲Ｔ１との関係を、Ｓ５０８で判定する。像面位置が誤差範囲Ｔ１内にある場合（Ｓ５０８でＮＯ）、特に追加処理を実施せず、処理を終了する。一方、像面位置が誤差範囲Ｔ１以上の場合（Ｓ５０８でＹＥＳ）、Ｓ５０９において、次回の予測部１１９で利用する像面位置の履歴データの一部をリセットする。ここでは例えば、古いものから一定数、または一定割合のデータを削除する。過去の像面位置情報の影響を少なくすることにより、光軸方向に不規則な追尾被写体に対する予測精度を向上させる。
【００７１】
上記の通り本実施形態によれば、画像特徴に基づく被写体追尾に基づき焦点調節を行う撮像装置において、誤追尾による誤動作を防ぐとともに、光軸方向に不規則に移動する被写体に対して適切な焦点調節を行うことができる。
【００７２】
なお、上述した実施形態では、誤差範囲として、２種類の誤差範囲のいずれかを設定する場合について説明したが、本発明はこれに限るものではなく、複数の誤差範囲を設け、信頼度が高くなるにつれて、段階的に誤差範囲を広くするようにしても良い。または、信頼度が高くなるほど、連続的に誤差範囲を広げるようにしても良い。
【００７３】
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００７４】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７５】
１００：カメラ本体、１０３：撮像素子、１１０：ＣＰＵ、１１１：位相差検出部、１１２：デフォーカス量換算部、１１３：記憶部、１１４：焦点調節部、１１５：焦点調節領域設定部、１１６：被写体追尾部、１１９：予測部、１２０：撮影レンズ
【図１】
2018004918.tif 000006
【図２】
2018004918.tif 000007
【図３】
2018004918.tif 000008
【図４】
2018004918.tif 000009
【図５】
2018004918.tif 000010
【図６】
2018004918.tif 000011
【図７】
2018004918.tif 000012
【図８】
2018004918.tif 000013
【図９】
2018004918.tif 000014
【図１０】
2018004918.tif 000015