(57)【特許請求の範囲】
【請求項１】
被写体像を撮像して、該被写体像に係る画像データを取得する撮像部と、
前記画像データに対して追尾位置を設定し、該追尾位置の被写体を追尾する追尾処理部と、
前記追尾位置と前記追尾位置の周辺の周辺エリアとのそれぞれにおける相対被写体距離情報を算出する相対被写体距離情報算出部と、
を具備し、
前記追尾処理部は、前記追尾位置における相対被写体距離情報と前記周辺エリアにおける相対被写体距離情報とに基づき、前記周辺エリアに位置する被写体が前記追尾位置の被写体よりも近距離に位置するか否かを判定し、近距離に位置すると判定した場合に、前記追尾を中断することを特徴とする撮像装置。
【請求項２】
前記追尾位置における相対被写体距離情報と前記周辺エリアにおける相対被写体距離情報とをそれぞれ記憶する相対被写体距離情報記憶部をさらに具備し、
前記追尾処理部は、前記追尾を中断した後で前記被写体距離情報算出部によって算出された相対被写体距離情報が、前記相対被写体距離情報記憶部に記憶されている前記追尾処理を中断した際の前記追尾位置における相対被写体距離情報に対して所定範囲内であるか否かを判定し、所定範囲内であると判定した場合に、前記追尾を再開することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像部に対して撮影光束を導く撮影光学系に組み込まれ、前記撮影光学系を合焦させるように駆動されるフォーカスレンズをさらに具備し、
前記相対被写体距離情報算出部は、前記追尾位置を前記フォーカスレンズの合焦対象としたときの前記画像データのコントラスト情報を、前記相対被写体距離情報として、前記追尾位置と前記周辺エリアとのそれぞれにおいて算出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像部に対して撮影光束を導く撮影光学系に組み込まれ、前記撮影光学系を合焦させるように駆動されるフォーカスレンズをさらに具備し、
前記相対被写体距離情報算出部は、前記追尾位置を前記フォーカスレンズの合焦対象としたときの前記追尾位置に対する前記周辺エリアのデフォーカス量を、前記相対被写体距離情報として算出することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記追尾処理部は、前記周辺エリアにおける相対被写体距離情報に基づき、前記周辺エリアに位置する被写体の移動方向が前記追尾位置に近づく方向か否かを判定し、前記追尾位置に近づく方向と判定した場合に、前記追尾を中断することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記追尾処理部は、前記周辺エリアにおける相対被写体距離情報に基づき、前記周辺エリアに位置する被写体の移動方向が前記追尾位置に近づく方向か否かを判定し、該判定の結果に応じて異なる追尾を行うことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記追尾位置と前記周辺エリアとは、それぞれがＡＦエリアと一致していることを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を追尾する追尾機能を備えた撮像装置に関する。
【背景技術】
【０００２】
従来、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体を追従するために追尾処理が用いられている。
【０００３】
ここで、追尾処理中に、追尾対象が遮蔽されてしまうと、追尾対象をロストしてしまったり、誤った対象を追尾したりしてしまう可能性がある。これに対し、特許文献１においては、輝度情報を利用した追尾処理において、ある画像に対して設定された追尾対象のエリア（特許文献１における参照画像）に対するその後の画像の相関値が予め設定された基準値以下のときには、その後の画像が参照画像に対して相関が無いと仮判断するようにしている。これは、例えば追尾対象が遮蔽された状態である。このような状態を判断することにより、追尾対象の誤判断が防止される。さらに、特許文献１では、参照画像とその後の画像データの差分絶対値によりヒストグラムを求め、差分絶対値が設定された基準値を超えるときに、その後の画像が参照画像に対して相関が有ると判断するようにして参照画像の更新を行うようにしている。これにより、追尾対象をロストしてしまっても追尾処理を再開することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−６５１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、追尾処理中に形状が大きく変化する被写体を追尾対象とする場合、特許文献１の手法で算出される相関値のばらつきが大きくなる。相関値のばらつきが大きくなると、追尾対象の適切な遮蔽判断を行うことができない可能性がある。遮蔽判断が適切に行われないと、追尾位置の乗り換え等が発生する可能性がある。
【０００６】
本発明は、前記の事情に鑑みてなされたもので、形状が大きく変化する追尾対象であっても、追尾位置の誤判断をすることがない撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記の目的を達成するために、本発明の一態様の撮像装置は、被写体像を撮像して、該被写体像に係る画像データを取得する撮像部と、前記画像データに対して追尾位置を設定し、該追尾位置の被写体を追尾する追尾処理部と、前記追尾位置と前記追尾位置の周辺の周辺エリアとのそれぞれにおける相対被写体距離情報を算出する相対被写体距離情報算出部と、を具備し、前記追尾処理部は、前記追尾位置における相対被写体距離情報と前記周辺エリアにおける相対被写体距離情報とに基づき、前記周辺エリアに位置する被写体が前記追尾位置の被写体よりも近距離に位置するか否かを判定し、近距離に位置すると判定した場合に、前記追尾を中断することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、形状が大きく変化する追尾対象であっても、追尾位置の誤判断をすることがない撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。
【図２】輝度情報を用いた追尾処理について説明するための図である。
【図３】色情報を用いた追尾処理について説明するための図である。
【図４】顔検出処理について説明するための図である。
【図５】撮像装置の撮影動作を示すフローチャートである。
【図６】本発明の一実施形態に係る追尾方法としての追尾処理について示すフローチャートである。
【図７】遮蔽物検出処理の第１の例について説明するためのフローチャートである。
【図８】遮蔽物検出処理の第２の例について説明するためのフローチャートである。
【図９】コントラストＡＦ中のフォーカスレンズ位置に対するコントラスト情報の変化の一例を示したグラフである。
【図１０】従来の追尾処理の例を示す図である。
【図１１】遮蔽物検出処理の第１の例を適用した追尾処理の例である。
【図１２】遮蔽物検出処理の第２の例を適用した追尾処理の例である。
【図１３】相対的被写体情報としてデフォーカス量を用いる場合について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、を有している。
【００１１】
撮影光学系１０２は、図示しない被写体からの撮影光束Ｆを、撮像素子１１４の受光面上に導くための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。
【００１２】
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する撮影光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。
【００１３】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。
【００１４】
撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの撮影光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された撮影光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１５】
撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１６】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、評価画像エリア、参照画像エリア、追尾位置ログエリア、相対的被写体距離情報ログエリア、を記憶エリアとして有している。  
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。  
評価画像エリアは、評価画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。評価画像データは、後述する追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、この追尾対象を追尾するように処理が行われる。  
参照画像エリアは、参照画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。参照画像データは、後述する追尾処理において、追尾対象の探索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で探索が行われる。  
追尾位置ログエリアは、追尾位置ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。
【００１７】
相対的被写体距離情報ログエリアは、相対的被写体距離情報ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。相対的被写体距離情報ログは、追尾処理における相対的被写体距離情報の算出処理によって得られた相対的被写体距離情報の変化を記録したログである。相対的被写体距離情報とは、フレーム毎の画像データにおける追尾位置と追尾位置の周辺に位置する周辺エリアとのそれぞれの被写体距離情報に対応する情報である。この相対的被写体距離情報の詳細については後述する。また、本実施形態では、相対的被写体距離情報を例えば過去１０フレーム分記録する。
【００１８】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。
【００１９】
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００２０】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００２１】
システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、追尾処理回路１３０５、１３０６と、顔検出回路１３０７と、相対的被写体距離情報算出回路１３０８と、メモリ制御回路１３０９と、を有している。
【００２２】
ＣＰＵ１３０１は、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する。
【００２３】
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値をＡＦエリア毎に取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。
【００２４】
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００２５】
画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００２６】
追尾処理回路１３０５は、画像データの輝度情報を用いた追尾処理を行う。この輝度情報を用いた追尾処理について簡単に説明する。輝度情報を用いた追尾処理では、例えば、図２（ａ）に示す（Ｎ−１）フレームにおいて追尾対象が設定された場合、この（Ｎ−１）フレームの画像データを、評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データを、基準画像データに設定する。この後の追尾処理では、参照画像データの基準画像データ２０２と対応する部分を探索する。  
Ｎフレームの追尾処理を例に示すと、まず、Ｎフレームの画像データを、参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。この参照画像データのうちの所定の探索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和（画素毎に輝度差の絶対値を求めてそれを積算したもの）から判定する。例えば、図２（ｂ）に示す参照画像データのエリア２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データのエリア２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データのエリア２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小のエリアを参照画像データから探索する。図２（ｂ）の例では、エリア２０８となる。なお、追尾位置ログエリアには、エリア２０８の中で最も一致度の高い位置を追尾位置として記録する。なお、このような位置が複数ある場合には、例えば、エリア２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００２７】
追尾処理回路１３０６は、画像データの色情報を用いた追尾処理を行う。この色情報を用いた追尾処理について簡単に説明する。色情報を用いた追尾処理では、評価画像データ内で設定された色と同色であると判定できるエリアである追尾色エリアを探索する。図３（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得する。そして、位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有するエリアを探索する。具体的には、位置３０２を開始位置から周辺に向かうように順次色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合にはエリアに含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合にはエリアに含めない。このようにして追尾色エリアを探索すると、例えば、図３（ａ）に示すような単色の被写体の場合、被写体に内接する矩形エリア３０４が追尾色エリアとなる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色エリア３０４の重心位置（図３（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００２８】
Ｎフレームの追尾処理を例に示すと、図３（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の探索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色エリア３０４の色と同色であると判定できるエリアを追尾色エリアとして探索する。図３（ｂ）の例では、エリア３０６が追尾色エリアとなる。
【００２９】
顔検出回路１３０７は、画像データにおける被写体（人物）の顔を検出する。ここで、顔検出処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図４（ａ）に示すような顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ４０２、４０４、４０６との相関量は、図４（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ４０２、４０４、４０６を含むエリア４０８に顔が存在しているとする。なお、顔パーツ４０２、４０４、４０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図４（ｂ）では、顔エリアを矩形エリアとしているが、円形エリアとしても良い。
【００３０】
相対的被写体距離情報算出回路１３０８は、画像データにおける所定のエリアを被写体距離情報算出エリアに設定し、この被写体距離情報算出エリアにおける相対的被写体距離情報を取得する。相対的被写体距離情報としては、例えばコントラスト情報を利用することができる。コントラスト情報は、直接的に被写体距離を示すものではないが、被写体距離と対応する情報である。このため、コントラスト情報の大小を比較することにより、被写体距離の大小を比較することが可能である。コントラスト情報としては、ＡＦ制御回路１３０２で得られるＡＦ用の合焦評価値を利用することが可能である。
【００３１】
メモリ制御回路１３０９は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。
【００３２】
操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等が含まれる。
レリーズボタン釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチと、を有している。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。  
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。  
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。  
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。  
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、撮像装置１００が省電力待機状態となる。
【００３３】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顔検出回路１３０７における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。
【００３４】
次に、本実施形態に係る撮像装置の動作について説明する。図５は、撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図５の動作を制御する。
【００３５】
Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるかを判定する。前述したように、撮影設定は、モードダイヤルによって設定される。
【００３６】
Ｓ１００において、撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。
【００３７】
Ｓ１０４において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされたかを判定する。Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００３８】
また、Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０６において、ＣＰＵ１３０１は、レリーズＡＦ処理を行う。レリーズＡＦにおいては、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。そして、ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
【００３９】
Ｓ１０８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようにしても良いし、顔検出回路１３０７によって顔が検出された場合には、その顔に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。
【００４０】
Ｓ１１０において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については後述する。  
Ｓ１１２において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うとともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。  
追尾処理後のＡＦ処理においては、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。
【００４１】
また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００４２】
Ｓ１１４において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされたかを判定する。Ｓ１１４において、２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。
【００４３】
また、Ｓ１１４において、２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。
【００４４】
Ｓ１１８において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。  
Ｓ１２０において、ＣＰＵ１３０１は、Ｓ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図５に示す動作を終了させる。
【００４５】
また、Ｓ１００において、撮影設定が動画撮影モードであると判定した場合に、Ｓ１２２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。
【００４６】
Ｓ１２４において、ＣＰＵ１３０１は、動画釦がオンされたかを判定する。Ｓ１２４において、動画釦がオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００４７】
また、Ｓ１２４において、動画釦がオンされたと判定した場合に、Ｓ１２６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。
【００４８】
Ｓ１２８において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については、後述する。
【００４９】
Ｓ１３０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。Ｓ１３０におけるＡＦ処理おいては、ウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。
【００５０】
Ｓ１３２において、ＣＰＵ１３０１は、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００５１】
Ｓ１３４において、ＣＰＵ１３０１は、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。
【００５２】
Ｓ１３６において、ＣＰＵ１３０１は、動画釦がオフされたかを判定する。Ｓ１３６において、動画釦がオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。
【００５３】
また、Ｓ１３６において、動画釦がオフされたと判定した場合に、Ｓ１３８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図５に示す動作を終了させる。
【００５４】
次に、本実施形態における追尾処理について説明する。図６は、本実施形態における追尾処理について示すフローチャートである。  
Ｓ２００において、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ２０２において、ＣＰＵ１３０１は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ここで、初回の追尾処理で得られた画像データは、評価画像データとする。このため、ＣＰＵ１３０１は、初回の追尾処理で得られた画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、２回目以後の追尾処理で得られた画像データは、参照画像データとする。このため、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データをＲＡＭ１１８の参照画像エリアに取り込む。また、評価画像データと参照画像データとで後述の遮蔽物検出処理を行った結果、遮蔽物が検出されていない場合には、参照画像データを評価画像データへ上書きする。なお、後述の遮蔽物検出処理によって評価画像データの更新が禁止されている場合には、画像データをＲＡＭ１１８の評価画像エリアに上書きすることを禁止する。ただし、後述の相対的被写体距離情報の算出のために、参照画像エリアへの画像データの取り込みについては行う。
【００５５】
Ｓ２０４において、ＣＰＵ１３０１は、追尾処理回路１３０６により、色情報を用いた追尾処理又は輝度情報を用いた追尾処理を行う。これらの追尾処理を両方とも行うようにしても良い。なお、色情報を用いた追尾処理及び輝度情報を用いた追尾処理については、前述したので説明を省略する。なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、Ｓ２０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。
【００５６】
Ｓ２０８において、ＣＰＵ１３０１は、画像データに対して被写体距離情報算出エリアの割り付けを行う。被写体距離情報算出エリアは、第１の例では、画像データにおける、追尾位置のエリアと追尾位置の周囲の複数のエリアとにそれぞれ割り付ける。また、第２の例では、画像データにおける全範囲に割り付ける。各エリアのサイズは、同一サイズとすることが好ましい。さらに、被写体距離情報算出エリアを、ＡＦエリアと同じエリアとしても良い。
【００５７】
Ｓ２１０において、ＣＰＵ１３０１は、相対的被写体距離情報算出回路１３０８により、Ｓ２０８で割りつけられた被写体距離情報算出エリアにおける相対的被写体距離情報をエリア毎に取得する。ここで、前述したように、本実施形態では、相対的被写体距離情報として、例えばコントラスト情報（合焦評価値）を利用する。
【００５８】
Ｓ２１２において、ＣＰＵ１３０１は、取得した各被写体距離情報算出エリアにおける相対的被写体距離情報を、ＲＡＭ１１８の相対的被写体距離情報ログエリアに記憶させる。
【００５９】
Ｓ２１４において、ＣＰＵ１３０１は、遮蔽物検出処理を行う。遮蔽物検出処理は、追尾対象の被写体を遮蔽する遮蔽物の有無を検出し、検出結果に応じて最終的な追尾位置を決定するための処理である。遮蔽物検出処理の詳細については後述する。
【００６０】
Ｓ２１６において、ＣＰＵ１３０１は、遮蔽物検出処理の結果として採用された追尾位置の信頼性を判断する。色情報を用いた追尾処理の場合、信頼性は、例えば参照画像データの彩度から判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。この信頼性を判定するための閾値は適宜設定可能である。また、輝度情報を用いた追尾処理の場合、信頼性は、例えば参照画像データの各画素のデータから判断する。具体的には、参照画像データにおける追尾対象のエリアの隣接画素間の差分和が所定値以下である場合には、信頼性があると判断する。
【００６１】
Ｓ２１８において、ＣＰＵ１３０１は、最終的な追尾位置を、ＲＡＭ１１８の追尾位置ログエリアに記録する。次回（次フレーム）の追尾処理においては、この最終的な追尾位置を追尾処理の開始位置とする。ただし、Ｓ２１４の遮蔽物の遮蔽物検出処理において追尾位置の周辺に遮蔽物が検出された場合、又はＳ２１６の信頼性判断において信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
【００６２】
Ｓ２２０において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ２１８で記録した追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図６の追尾処理を終了させる。
【００６３】
以下、遮蔽物検出処理について説明する。  
まず、遮蔽物検出処理の第１の例について図７を参照して説明する。ここでは、被写体距離情報算出エリアが、画像データにおける、追尾位置のエリアと追尾位置の周囲の複数のエリアとに割り付けられているものとして説明を続ける。
【００６４】
Ｓ３００において、ＣＰＵ１３０１は、遮蔽物が検出中であるか否かを判定する。Ｓ３００において、初回の遮蔽物検出処理では、遮蔽物が検出中でないと判定する。
【００６５】
Ｓ３００において、遮蔽物が検出中でないと判定した場合に、Ｓ３０２において、ＣＰＵ１３０１は、追尾位置の周辺に遮蔽物があるか否かを判定する。追尾位置の周辺に遮蔽物がない場合、追尾位置の周辺の被写体距離は、追尾位置とほぼ同一の距離を示す。これに対し、追尾位置の周辺に遮蔽物がある場合、遮蔽物の被写体距離は、追尾位置の被写体距離よりも近距離を示す。このような被写体距離の差異から遮蔽物の有無を判定する。前述したように、本実施形態においては、相対的被写体距離情報の例としてコントラスト情報を用いて遮蔽物の有無を判定する。この具体的な処理の内容については後述する。
【００６６】
Ｓ３０２において、追尾位置の周辺に遮蔽物があると判定した場合に、Ｓ３０４において、ＣＰＵ１３０１は、評価画像データの更新を禁止する。この場合には、次回の追尾処理において、追尾位置の算出も禁止することが望ましい。一方、相対的被写体距離情報の算出は行うようにする。また、相対的被写体距離情報を算出する画像データには、最新の画像データを使用する。
【００６７】
Ｓ３０２において、追尾位置の周辺に遮蔽物がないと判定した場合に、ＣＰＵ１３０１は、図７の処理を終了させる。この場合には、最終的な追尾位置がＳ２０６で算出された追尾位置となる。
【００６８】
Ｓ３００において、遮蔽物が検出中である、即ちＳ３０２において、追尾位置の周辺に遮蔽物があると判定されている場合に、Ｓ３０６において、ＣＰＵ１３０１は、現在の追尾位置における相対的被写体距離情報と類似の相対的被写体距離情報を、それぞれの被写体距離情報算出エリアに対して算出された相対的被写体距離情報の中から検索する。この具体的な処理としては、追尾位置の相対的被写体情報（コントラスト情報）に対する差がある閾値範囲内の相対的被写体情報（コントラスト情報）を検索することとする。
【００６９】
Ｓ３０８において、ＣＰＵ１３０１は、Ｓ３０６における検索の結果、現在の追尾位置における相対的被写体距離情報と類似の相対的被写体距離情報が検索できたか否かを判定する。Ｓ３０８において、Ｓ３０６における検索の結果、現在の追尾位置における相対的被写体距離情報と類似の相対的被写体距離情報が検索できなかったと判定した場合に、ＣＰＵ１３０１は、図７の処理を終了させる。この場合には、追尾位置の周辺にまだ遮蔽物がある、即ち遮蔽物検出中であるとする。
【００７０】
Ｓ３０８において、Ｓ３０６における検索の結果、現在の追尾位置における相対的被写体距離情報と類似の相対的被写体距離情報が検索できたと判定した場合に、Ｓ３１０において、ＣＰＵ１３０１は、追尾位置を、類似の相対的被写体距離情報が検索できた被写体距離情報算出エリアの位置に更新する。続いて、Ｓ３１２において、ＣＰＵ１３０１は、評価画像データの更新を再開する。その後、ＣＰＵ１３０１は、図７の処理を終了させる。
【００７１】
次に、遮蔽物検出処理の第２の例について図８を参照して説明する。ここでは、被写体距離情報算出エリアが、画像データにおける全範囲に割り付けられているものとして説明を続ける。
【００７２】
Ｓ４００において、ＣＰＵ１３０１は、遮蔽物が検出中であるか否かを判定する。Ｓ４００において、初回の遮蔽物検出処理では、遮蔽物が検出中でないと判定する。
【００７３】
Ｓ４００において、遮蔽物が検出中でないと判定した場合に、Ｓ４０２において、ＣＰＵ１３０１は、遮蔽物の移動方向を判断する。遮蔽物があるか否かの判定の具体的な手法は、後述する。
【００７４】
Ｓ４０４において、ＣＰＵ１３０１は、遮蔽物の移動方向を判断した結果、追尾位置へ接近している遮蔽物があるか否かを判定する。Ｓ４０４において、追尾位置へ接近している遮蔽物があると判定した場合に、Ｓ４０６において、ＣＰＵ１３０１は、追尾処理回路における追尾処理を、遮蔽物が無い場合の処理である第１の処理から、遮蔽物がある場合の処理である第２の処理に変更する。
【００７５】
前述したように、色情報を用いた追尾処理では、評価画像データ内で設定された色と同色であると判定できるエリアである追尾色エリアを探索する。色情報を用いた追尾処理における第２の処理としては、例えば第１の処理よりも探索する色情報の分解能を高めることとする。具体的には、評価画像データから取得する色情報の分解能（画像データの分割数）と参照画像データにおいて探索する色情報の分解能とをそれぞれ予め設定されている初期のパラメータよりも高める。  
また、輝度情報を用いた追尾処理では、第２の処理として、遮蔽物がある状態の参照画像データを、参照画像エリアに現在記憶されている参照画像データとは別途に保存しておく。この別途に記憶した参照画像データは、遮蔽物が無くなった時に用いる。
【００７６】
Ｓ４０８において、ＣＰＵ１３０１は、追尾位置の周辺に遮蔽物があるか否かを判定する。この具体的な処理の内容については後述する。
【００７７】
Ｓ４０８において、追尾位置の周辺に遮蔽物があると判定した場合に、Ｓ４１０において、ＣＰＵ１３０１は、評価画像データの更新を禁止する。この場合には、追尾位置の更新も禁止することが望ましい。一方、相対的被写体距離情報の算出は行うようにする。また、相対的被写体距離情報を算出する画像データには、最新の画像データを使用する。
【００７８】
Ｓ４１０において、追尾位置の周辺に遮蔽物がないと判定した場合に、ＣＰＵ１３０１は、図８の処理を終了させる。この場合には、最終的な追尾位置がＳ２０６で算出された追尾位置となる。
【００７９】
Ｓ４００において、遮蔽物が検出中である、即ちＳ４０８において、追尾位置の周辺に遮蔽物があると判定されている場合に、Ｓ４１４において、ＣＰＵ１３０１は、現在の追尾位置における相対的被写体距離情報と類似の相対的被写体距離情報を、それぞれの被写体距離情報算出エリアに対して算出された相対的被写体距離情報の中から検索する。
【００８０】
Ｓ４１６において、ＣＰＵ１３０１は、Ｓ４１４における検索の結果、現在の追尾位置における相対的被写体距離情報と類似の相対的被写体距離情報が検索できたか否かを判定する。Ｓ４１６において、Ｓ４１４における検索の結果、現在の追尾位置における相対的被写体距離情報と類似の相対的被写体距離情報が検索できなかったと判定した場合に、ＣＰＵ１３０１は、図８の処理を終了させる。この場合には、追尾位置の周辺にまだ遮蔽物がある、即ち遮蔽物検出中であるとする。
【００８１】
Ｓ４１６において、Ｓ４１４における検索の結果、現在の追尾位置における相対的被写体距離情報と類似の相対的被写体距離情報が検索できたと判定した場合に、Ｓ４１８において、ＣＰＵ１３０１は、追尾位置を、類似の相対的被写体距離情報が検索できた被写体距離情報算出エリアの位置に更新する。続いて、Ｓ４２０において、ＣＰＵ１３０１は、評価画像データの更新を再開する。その後、ＣＰＵ１３０１は、図８の処理を終了させる。
【００８２】
次に、相対的被写体距離情報としてコントラスト情報を用いた場合における、遮蔽物の有無の判定の具体的な処理について説明する。相対的被写体距離情報としてコントラスト情報を用いた場合、遮蔽物の有無によって追尾位置とその周辺のコントラスト情報の大小関係が変化する。このことについて説明するために、コントラストＡＦについて説明する。
【００８３】
前述したように、コントラストＡＦは、画像データに割り付けられたＡＦエリアにおけるコントラスト情報が最大となるようにフォーカスレンズの位置を調整する方式である。ここで、コントラスト情報が最大となる位置にフォーカスレンズを移動させるためには、現在のフォーカスレンズ位置に対して合焦位置がどちら方向にあるか、つまり、合焦位置から遠距離側に位置しているのか、近距離側に位置しているのかを判断する必要がある。このための具体的な方法として、前述したように、撮像素子１１４を介して得られる画像に影響を与えない程度にフォーカスレンズを微小振動（ウォブリング）動作させることによって、コントラスト情報が増加するフォーカスレンズの移動方向を検出する。
【００８４】
図９は、コントラストＡＦ中のフォーカスレンズ位置に対するコントラスト情報（合焦評価値）の変化の一例を示したグラフである。図９に示すように、フォーカスレンズ位置に対するコントラスト情報は、合焦位置で最大値（ピーク値）となり、合焦位置（ピーク位置）から遠距離側（後ピン側）又は近距離側（前ピン側）に離れるに従って値が小さくなる。また、ウォブリング動作中は、フォーカスレンズが微小振動しているので、コントラスト情報としての合焦評価値が増減を繰り返す。この増減からフォーカスレンズの移動方向を検出する。
【００８５】
ここで、追尾位置の被写体を合焦対象としている状態で、追尾位置の周辺に遮蔽物が存在している場合を考える。遮蔽物は、追尾対象の被写体を遮蔽するものであり、追尾対象の被写体に対して近距離側に存在している。したがって、遮蔽物は、追尾対象の被写体に対して合焦している場合は、後ピンの状態となっている。このため、遮蔽物の位置のコントラスト情報を求めた場合、その値は、相対的に追尾位置のコントラスト情報よりも小さくなる。
【００８６】
このように、遮蔽物の有無によって追尾位置に対するコントラスト情報の大小関係が変化する。本実施形態では、追尾位置とその周辺エリアにおけるコントラスト情報の大小関係から遮蔽物の有無を判定する。ここで、被写体が存在しない背景部分のコントラスト情報はほぼゼロとなる。このような背景部分を遮蔽物と区別するため、追尾位置のコントラスト情報（合焦評価値）に対する差が第１の閾値よりも大きく且つ値がゼロでない（第２の閾値よりも大きい）コントラスト情報を有する被写体距離算出エリアに、遮蔽物があると判定することとする。ここで、第１の閾値は、Ｓ３０８における類似の相対的被写体距離情報を検索する際に用いる閾値よりも大きな値に設定しておく。
また、遮蔽物についての別の検出方法を示す。遮蔽物は、追尾対象の被写体よりも近距離側に位置しているので、追尾対象に合焦している状態でウォブリング動作を行うことにより近距離側（前ピン側）にフォーカスレンズを移動させる場合は、遠距離側（後ピン側）に移動させる場合よりもコントラスト情報（合焦評価値）が高い数値を示す。遮蔽物の有無を判別する際にウォブリング動作を行い、フォーカスレンズが近距離側に位置する時のコントラスト情報と遠距離側に位置する時のコントラスト情報の大小比較を行って、遮蔽物を判別する方法を採用してもよい。
【００８７】
また、第２の例においては、被写体距離情報算出エリアが、画像データにおける全範囲に割り付けられており、コントラスト情報が追尾位置における値よりも小さい被写体距離情報算出エリアについては、例え追尾位置の周辺エリアでなくとも遮蔽物のあるエリアであるとする。この遮蔽物のあるエリアのフレーム間の移動方向を検出することにより、遮蔽物の移動方向を判断する。
【００８８】
以下、本実施形態の効果について説明する。
【００８９】
本実施形態の効果を説明するために、まず、相対的被写体距離情報を用いた遮蔽物検出処理を行わない場合について説明する。追尾処理に先立って、あるフレームにおいて、図１０（ａ）に示す被写体Ｂの位置Ａ１が追尾対象として指定されたとする。このとき、図１０（ａ）に示す画像データが評価画像データとなり、この中の位置Ａ１の画像データが基準画像データとなる。そして、位置Ａ１に追尾枠が表示される。
【００９０】
その後、別のフレームにおいて被写体Ｂに被写体Ｃが接近したとする。被写体Ｃは、追尾対象Ｂとは同色の被写体である。このような複数の同色被写体を含むフレームの画像データを参照画像データとして追尾処理を行ったとする。この場合、図１０（ａ）の位置Ａ１と対応する色情報又は輝度情報を有する領域を参照画像データの中から探索する。
【００９１】
ここで、複数の同色被写体を含むフレームの画像データを参照画像データとして、色情報を用いた追尾処理を行ったとする。この場合、図１０（ａ）の位置Ａ１と同じ色を有する領域を参照画像データの中から探索する。したがって、図１０（ｃ）に示すように、追尾処理によって得られる追尾位置が、被写体Ｂ上ではなく、被写体Ｃ上の位置Ａ２に変わってしまう可能性が生じる。特に、被写体Ｂが被写体Ｃによって遮蔽されてしまうと、追尾位置の乗り換えが発生する可能性が高くなる。輝度情報を用いた追尾処理では、このような同色被写体への追尾位置の乗り換えが発生する可能性はないが、例えば図１０（ａ）の位置Ａ１と同一パターンを有する被写体に対しては、追尾位置の乗り換えが発生する可能性がある。
【００９２】
このように、追尾処理においては、追尾位置の周辺の遮蔽物を検出することが重要である。
【００９３】
本実施形態の遮蔽物検出処理を適用した場合の効果について説明する。  
まず、図７で示した遮蔽物検出処理を適用した場合の効果について図１１を参照して説明する。ここでは、例として、図１１（ａ）に示す被写体Ｄの位置Ｅを追尾するものとする。
【００９４】
あるフレームにおける遮蔽物検出処理において、図１１（ｂ）に示すようにして被写体距離情報算出エリアＦ１が設定されたとする。このフレームにおいて算出された追尾位置は、位置Ｅ１である。図１１（ｂ）の例では、それぞれが所定のサイズを有する５×５のエリアを被写体距離情報算出エリアＦ１としている。勿論、５×５のエリアに限るものではない。被写体距離情報算出エリアＦ１が設定されると、被写体距離情報算出エリアＦ１を構成するエリア毎の相対的被写体距離情報としてのコントラスト情報が取得される。図１１（ｂ）の例では、追尾位置Ｅ１を含む被写体Ｄのエリアは、追尾位置Ｅ１に対するコントラスト情報の差が第１の閾値よりも小さくなる。一方、その他のエリアは、背景部分なのでコントラスト情報の値が、第２の閾値以下の値となる。したがって、Ｓ３０２において、追尾位置Ｅの周辺に遮蔽物がないと判定される。
【００９５】
その後のフレームにおいて、図１１（ｃ）に示すようにして被写体Ｄに被写体Ｇが接近し、この状態で被写体距離情報算出エリアＦ２が設定されたとする。このフレームにおいて算出された追尾位置は、位置Ｅ２である。被写体距離情報算出エリアＦ２が設定されると、この被写体距離算出エリアＦ２を構成するエリア毎のコントラスト情報が取得される。図１１（ｃ）の例では、被写体距離情報算出エリアＦ２内の被写体Ｇを含むエリア（図１１（ｃ）のハッチング部分）は、追尾位置Ｅ２に対するコントラスト情報の差が第１の閾値よりも大きく且つ値が第２の閾値よりも大きいコントラスト情報を有する。したがって、Ｓ３０２において、図１１（ｃ）のハッチング部分のエリアに遮蔽物があると判定される。このとき、追尾位置の更新及び評価画像データの更新が禁止される。
【００９６】
さらにその後のフレームにおいて、図１１（ｄ）に示すようにして被写体Ｄに対して被写体Ｇがさらに接近し、この状態で被写体距離情報算出エリアＦ３が設定されたとする。現在のフレームにおいては、追尾位置の算出は禁止されている。被写体距離情報算出エリアＦ３が設定されると、この被写体距離算出エリアＦ３を構成する追尾位置Ｅとその周辺エリアとでそれぞれ相対的被写体距離情報としてのコントラスト情報が取得される。現在のフレームは、遮蔽物が検出中であるので、過去のフレームにおける追尾位置Ｅ１におけるコントラスト情報と類似のコントラスト情報があるか否かが判定される。図１１（ｄ）の例では、被写体Ｄの位置Ｅの部分が、被写体Ｇによって遮蔽されているので、類似のコントラスト情報がないと判定される。
【００９７】
さらにその後のフレームにおいて、図１１（ｅ）に示すようにして被写体Ｄから被写体Ｇが離れ、この状態で被写体距離情報算出エリアＦ４が設定されたとする。このフレームにおいても、追尾位置の算出は禁止されている。被写体距離情報算出エリアＦ４が設定されると、この被写体距離算出エリアＦ４を構成するエリア毎のコントラスト情報が取得される。現在のフレームは、遮蔽物が検出中であるので、追尾位置Ｅ１と類似のコントラスト情報があるか否かが判定される。図１１（ｅ）の例では、被写体Ｄの位置Ｅの部分が、被写体Ｇによって遮蔽されていないので、類似のコントラスト情報があると判定される。そして、追尾位置が、位置Ｅ１から位置Ｅ３に更新される。また、評価画像データの更新も再開される。
【００９８】
このように、第１の例によれば、追尾処理中に形状が大きく変化するような被写体であっても適切に遮蔽物を検出することが可能である。これにより、追尾位置の乗り換えが発生する可能性や追尾位置をロストする可能性を低減することが可能である。
【００９９】
次に、図８で示した遮蔽物検出処理を適用した場合の効果について図１２を参照して説明する。ここでは、例として、図１２（ａ）に示す被写体Ｈの位置Ｉを追尾するものとする。図１２（ａ）に示すように、図８で示した遮蔽物検出処理では、第２の例の被写体距離情報算出エリアの割り付けが行われる。即ち、画像データの全体が、被写体距離情報算出エリアＪ１となる。
【０１００】
あるフレームにおける遮蔽物検出処理において、図１２（ｂ）に示すように被写体Ｈに被写体Ｋが接近し、この状態で被写体距離情報算出エリアＪ２が設定されたとする。被写体距離情報算出エリアＪ２が設定されると、被写体距離情報算出エリアＪ２を構成するエリア毎のコントラスト情報が取得される。図１２（ｂ）の例では、被写体Ｋを含むエリア（図１２（ｂ）のハッチング部分）が、追尾位置Ｉ１に対するコントラスト情報の差が第１の閾値よりも大きく且つ値が第２の閾値よりも大きいコントラスト情報を有する。したがって、このハッチング部分に遮蔽物があると判定される。図１２（ｂ）の例では、遮蔽物の移動方向が追尾位置Ｉ１に接近する方向であるので、追尾処理回路における追尾処理が、遮蔽物がある場合の処理である第２の処理になる。
ここで、フローチャートで示した処理では、評価画像データの更新を禁止するようにしているが、第２の処理を行う場合には評価画像データの更新及び追尾処理を行うようにしても良い。第２の処理においては、例えば色情報を用いた追尾処理を行ったとして場合、取得する色情報の分解能を高めているので、類似する色の遮蔽物があったとしても追尾位置の乗り換えが発生する可能性を低減することが可能である。
【０１０１】
その後のフレームにおける遮蔽物検出処理において、図１２（ｃ）に示すように被写体Ｈに被写体Ｋがさらに接近し、この状態で被写体距離情報算出エリアＪ３が設定されたとする。被写体距離情報算出エリアＪ３が設定されると、被写体距離情報算出エリアＪ３を構成するエリア毎のコントラスト情報が取得される。図１２（ｃ）の例では、被写体Ｋを含むエリア（図１２（ｃ）のハッチング部分）が、追尾位置Ｉ２に対するコントラスト情報の差が第１の閾値よりも大きく且つ値が第２の閾値よりも大きいコントラスト情報を有する。したがって、このハッチング部分に遮蔽物があると判定される。図１２（ｃ）の例では、遮蔽物の移動方向が追尾位置Ｉ２に接近する方向であるので、追尾処理回路における追尾処理が、遮蔽物がある場合の処理である第２の処理になる。
【０１０２】
その後のフレームにおける遮蔽物検出処理において、図１２（ｄ）に示すように被写体Ｈから被写体Ｋが離れ、この状態で被写体距離情報算出エリアＪ４が設定されたとする。被写体距離情報算出エリアＪ４が設定されると、被写体距離情報算出エリアＪ４を構成するエリア毎のコントラスト情報が取得される。図１２（ｄ）の例では、遮蔽物の移動方向が追尾位置Ｉ３から離れる方向であるので、追尾処理回路における追尾処理が、遮蔽物が無い場合の処理である第１の処理になる。
【０１０３】
このように、第２の例によれば、追尾処理中に形状が大きく変化するような被写体であっても正しく遮蔽物を検出することが可能である。これにより、追尾位置の乗り換えが発生する可能性や追尾位置をロストする可能性を低減することが可能である。また、遮蔽物が検出された場合には、第１の追尾処理から遮蔽物がある場合に適した第２の処理に変更することにより、追尾対象を追尾し続けることも可能である。
【０１０４】
以上実施形態に基づいて本発明を説明したが、本発明は前述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
例えば、前述の例では、追尾位置の周辺に遮蔽物があると判定された場合には、評価画像データの更新を禁止している。これに対し、色情報を用いた追尾処理の場合において、例えば追尾位置の被写体と遮蔽物とで異なる色情報を有している場合には、評価画像データの更新を禁止しないようにしても良い。また、輝度情報を用いた追尾処理の場合において、例えば追尾位置の被写体と遮蔽物とで異なるパターンを有している場合には、評価画像データの更新を禁止しないようにしても良い。
また、前述の例では、相対的被写体距離情報としてコントラスト情報（合焦評価値）を用いる場合を説明しているが、追尾位置に対する被写体距離の大小関係を判定できるのであれば、コントラスト情報以外の情報を相対的被写体距離情報として用いることができる。例えば、位相差ＡＦ処理によってフォーカスレンズを合焦させる撮像装置であれば、デフォーカス量を相対的被写体距離情報として用いることができる。
【０１０５】
位相差ＡＦ処理とは、フォーカスレンズの異なる射出瞳を通過した対をなす光束を検出し、対をなす光束の検出位置ずれ（位相差）をデフォーカス量として算出し、このデフォーカス量がなくなるようにフォーカスレンズを駆動することによってフォーカスレンズを合焦させる処理である。デフォーカス量からは、被写体距離を直接求めることも可能である。
【０１０６】
図１３（ａ）は、撮像素子１１４の受光面に構成された一部の画素を位相差検出用の画素とした撮像装置の構成を示す図である。この他の構成は、図１で示した構成を適用できる。ただし、ＡＦ制御回路１３０２は、位相差ＡＦ処理を制御する回路となる。
【０１０７】
図１３（ａ）に示すように、撮像素子１１４には、ＡＦ用の画素列４ａ、４ｂが構成されている。図１３（ａ）の例において、画素列４ａは、３個の画素４ａ１、４ａ２、４ａ３を有している。一方、画素列４ｂも、３個の画素４ｂ１、４ｂ２、４ｂ３を有している。そして、画素列４ａを構成する画素と画素列４ｂを構成する画素とは交互に配置されている。ここで、図１３（ａ）の例では、連続的に画素が配置されている例を示しているが、離散的に配置されていても良い。例えば画素４ａ１と画素４ｂ１の間に画像データ取得用の画素が配置されても良い。さらに、画素列を構成する画素の数は、３つに限るものではない。
【０１０８】
画素列４ａを構成するそれぞれの画素は、撮影光学系１０２の射出瞳の上側部分２ａからの光束１ａを受光する画素であって、受光部の上側部分が遮光部３ａによって遮光されて受光部の下側部分のみが露出している。一方、画素列４ｂを構成するそれぞれの画素は、撮影光学系１０２の射出瞳の下側部分２ｂからの光束１ｂを受光する画素列であって、受光部の下側部分が遮光部３ｂによって遮光されて受光部の上側部分のみが露出している。
【０１０９】
さらに、それぞれの画素に対応するようにマイクロレンズ５ａ、５ｂが配置されている。マイクロレンズ５ａは、射出瞳の上側部分２ａからの光束１ａを、遮光部３ａによって形成される開口を介して画素列４ａを構成するそれぞれの画素に結像させる。また、マイクロレンズ５ｂは、射出瞳の下側部分２ｂからの光束１ｂを、遮光部３ｂによって形成される開口を介して画素列４ｂを構成するそれぞれの画素に結像させる。
【０１１０】
図１３（ａ）に示すような構成において、画素列４ａからの画素出力をａ列画素出力、画素列４ｂからの画素出力をｂ列画素出力とする。図１３（ｂ）において、画素４ａ１〜４ａ３の出力であるａ列画素出力をＤａで示し、画素４ｂ１〜４ｂ３の出力であるｂ列画素出力はＤｂで示している。このように、位相差ＡＦ処理では、対をなす像Ｄａ、Ｄｂが生成される。そして、ａ列画素出力Ｄａとｂ列画素出力Ｄｂとの間には、画素列の配列方向に対して位相差ｆが生ずる。この位相差ｆがデフォーカス量に対応する。位相差ｆの算出手法は、ａ列画素出力Ｄａとｂ列画素出力Ｄｂとの相関を求める手法が適用できる。この手法については、公知の技術であるので説明を省略する。
【０１１１】
ここで、撮像素子１１４に位相差検出用の画素列を用いる場合には、画素列を撮像素子１１４の受光面の全域に亘って配置することにより、撮影画面の全域にてデフォーカス量を求めることが可能である。
【０１１２】
追尾対象を合焦の対象とした場合、デフォーカス量は、追尾位置において最小となり、追尾位置から遠距離側（後ピン側）又は近距離側（前ピン側）に離れるに従って値が大きくなる。このため、コントラスト情報の場合と同様にして追尾位置に対するデフォーカス量の大小関係から遮蔽物を検出することが可能である。また、デフォーカス量から直接被写体距離を求めて遮蔽物を検出するようにしても良い。
【０１１３】
図１３の例は、撮像素子１１４の受光面上の位相差検出用の画素列を設ける例を示している。これに対し、撮像素子とは別体の公知のＴＴＬ位相差検出ユニットを撮像装置に設けてデフォーカス量を検出しても良い。さらには、撮影光学系を通過する光束とは異なる光束を検出する外光式位相差検出ユニットを撮像装置に設け、被写体距離を求めても良い。
【０１１４】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、前述したような課題を解決でき、前述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【０１１５】
１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５，１３０６…追尾処理回路、１３０７…顔検出回路、１３０８…相対的被写体距離情報算出回路、１３０９…メモリ制御回路
【図１】
0005830373.tif 000002
【図２】
0005830373.tif 000003
【図３】
0005830373.tif 000004
【図４】
0005830373.tif 000005
【図５】
0005830373.tif 000006
【図６】
0005830373.tif 000007
【図７】
0005830373.tif 000008
【図８】
0005830373.tif 000009
【図９】
0005830373.tif 000010
【図１０】
0005830373.tif 000011
【図１１】
0005830373.tif 000012
【図１２】
0005830373.tif 000013
【図１３】
0005830373.tif 000014