(57)【要約】【課題】焦点検出情報を用いて被写体を追尾する追尾装置において狙いの被写体を追尾し続けることが可能な追尾装置、それを用いた追尾方法及び追尾プログラムを提供すること。【解決手段】追尾処理回路１３０８は、画像データから追尾被写体を追尾する。追尾の際に、追尾処理回路１３０８は、追尾被写体が遮蔽されているか否かを検知する。追尾被写体が遮蔽されていることを検知した場合に、追尾処理回路１３０８は、追尾被写体を遮蔽している遮蔽エリアを画像データから検出し、遮蔽エリアの周辺に探索エリアを設定し、設定した探索エリアにおいて追尾被写体を探索する。【選択図】図１
2015015592.tif 000002
【特許請求の範囲】
【請求項１】
撮像により得られた画像データにおいて追尾被写体を設定する追尾被写体設定部と、
前記設定された追尾被写体を探索する追尾被写体探索部と、
前記追尾被写体が遮蔽されていることを検知する遮蔽検知部と、
前記追尾被写体が遮蔽されていることが検知された場合に、前記追尾被写体を遮蔽している遮蔽エリアを前記画像データから検出する遮蔽エリア検出部と、
を具備し、
前記追尾被写体探索部は、前記追尾被写体が遮蔽されていることが検知された場合に、前記遮蔽エリアの周辺に探索エリアを設定し、設定した探索エリアにおいて前記追尾被写体を探索することを特徴とする追尾装置。
【請求項２】
前記追尾装置の動き量を検出する動き検出部をさらに具備し、
前記遮蔽エリア検出部は、前記動き量に応じて前記遮蔽エリアを検出することを特徴とする請求項１に記載の追尾装置。
【請求項３】
撮像画面内の複数の焦点検出エリアにおける焦点状態を検出する焦点検出情報取得部をさらに具備し、
前記遮蔽エリア検出部は、前記追尾被写体の焦点状態とそれぞれの前記焦点検出エリアの焦点状態との相違から前記遮蔽エリアを検出することを特徴とする請求項１又は２に記載の追尾装置。
【請求項４】
前記遮蔽エリア検出部は、前記追尾被写体よりも近距離に被写体が存在するエリアを前記遮蔽エリアとして検出することを特徴する請求項３に記載の追尾装置。
【請求項５】
前記焦点状態は、前記追尾被写体に対する焦点ずれ量を含むことを特徴とする請求項３に記載の追尾装置。
【請求項６】
前記探索エリアは、前記撮像画面内の前記焦点検出エリアと異なるエリアも含むことを特徴とする請求項３に記載の追尾装置。
【請求項７】
前記追尾被写体探索部は、前記追尾被写体が遮蔽されていることが検知された場合に、前記設定した探索エリアにおいて前記焦点検出情報とは異なる追尾情報を用いて前記追尾被写体を探索することを特徴とする請求項３に記載の追尾装置。
【請求項８】
撮像により得られた画像データにおいて追尾被写体を設定し、
前記設定された追尾被写体を探索し、
前記追尾被写体が遮蔽されていることを検知し、
前記追尾被写体が遮蔽されていることが検知された場合に、前記追尾被写体を遮蔽している遮蔽エリアを前記画像データから検出し、
前記追尾被写体が遮蔽されていることが検知された場合に、前記遮蔽エリアの周辺に探索エリアを設定し、設定した探索エリアにおいて前記追尾被写体を探索する、
ことを特徴とする追尾方法。
【請求項９】
撮像により得られた画像データにおいて追尾被写体を設定する機能と、
前記設定された追尾被写体を探索する機能と、
前記追尾被写体が遮蔽されていることを検知する機能と、
前記追尾被写体が遮蔽されていることが検知された場合に、前記追尾被写体を遮蔽している遮蔽エリアを前記画像データから検出する機能と、
前記追尾被写体が遮蔽されていることが検知された場合に、前記遮蔽エリアの周辺に探索エリアを設定し、設定した探索エリアにおいて前記追尾被写体を探索する機能と、
をコンピュータに実現させるための追尾プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を追尾するための追尾処理を行う追尾装置、それを用いた追尾方法及び追尾プログラムに関する。
【背景技術】
【０００２】
近年、撮像素子の一部の画素を位相差ＡＦ用の焦点検出素子として利用して焦点状態を検出する撮像装置が例えば特許文献１において提案されている。特許文献１は、撮像素子の一部の画素を焦点検出用画素に設定し、この焦点検出用画素に入射した光の位相差（焦点ずれ量）を検出することによって焦点状態を検出している。また、近年、焦点検出用画素で得られる焦点ずれ量等の焦点検出情報を用いて画像内の特定の被写体を追尾する技術も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０２８１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
焦点検出情報を用いて被写体を追尾する場合、追尾被写体と同距離に他の被写体が存在すると、追尾被写体の乗り換えが発生する可能性がある。特に、追尾被写体の手前を遮蔽物が通過すると、一時的に追尾被写体の情報が途絶えるので、追尾被写体と他の被写体とを正しく判別することが難しくなって追尾被写体の乗り換えが発生し易くなる。
【０００５】
本発明は、前記の事情に鑑みてなされたもので、焦点検出情報を用いて被写体を追尾する追尾装置において狙いの被写体を追尾し続けることが可能な追尾装置、それを用いた追尾方法及び追尾プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の第１の態様の追尾装置は、撮像により得られた画像データにおいて追尾被写体を設定する追尾被写体設定部と、前記設定された追尾被写体を探索する追尾被写体探索部と、前記追尾被写体が遮蔽されていることを検知する遮蔽検知部と、前記追尾被写体が遮蔽されていることが検知された場合に、前記追尾被写体を遮蔽している遮蔽エリアを前記画像データから検出する遮蔽エリア検出部とを具備し、前記追尾被写体探索部は、前記追尾被写体が遮蔽されていることが検知された場合に、前記遮蔽エリアの周辺に探索エリアを設定し、設定した探索エリアにおいて前記追尾被写体を探索することを特徴とする。
【０００７】
前記の目的を達成するために、本発明の第２の態様の追尾方法は、撮像により得られた画像データにおいて追尾被写体を設定し、前記設定された追尾被写体を探索し、前記追尾被写体が遮蔽されていることを検知し、前記追尾被写体が遮蔽されていることが検知された場合に、前記追尾被写体を遮蔽している遮蔽エリアを前記画像データから検出し、前記追尾被写体が遮蔽されていることが検知された場合に、前記遮蔽エリアの周辺に探索エリアを設定し、設定した探索エリアにおいて前記追尾被写体を探索することを特徴とする。
【０００８】
前記の目的を達成するために、本発明の第３の態様の追尾プログラムは、撮像により得られた画像データにおいて追尾被写体を設定する機能と、前記設定された追尾被写体を探索する機能と、前記追尾被写体が遮蔽されていることを検知する機能と、前記追尾被写体が遮蔽されていることが検知された場合に、前記追尾被写体を遮蔽している遮蔽エリアを前記画像データから検出する機能と、前記追尾被写体が遮蔽されていることが検知された場合に、前記遮蔽エリアの周辺に探索エリアを設定し、設定した探索エリアにおいて前記追尾被写体を探索する機能とをコンピュータに実現させる。
【発明の効果】
【０００９】
本発明によれば、焦点検出情報を用いて被写体を追尾する追尾装置において狙いの被写体を追尾し続けることが可能な追尾装置、それを用いた追尾方法及び追尾プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。
【図２】焦点検出用画素について示した図である。
【図３】焦点検出用画素を用いた位相差検出の原理について説明するための図である。
【図４】焦点検出用画素からの画素出力の例を示す図である。
【図５】輝度情報を用いた追尾処理について説明するための図である。
【図６】色情報を用いた追尾処理について説明するための図である。
【図７】顔検出を用いた追尾処理について説明するための図である。
【図８】撮像装置の撮影動作を示すフローチャートである。
【図９】追尾処理について示すフローチャートである。
【図１０】遮蔽検知処理について示すフローチャートである。
【図１１】遮蔽エリア検出処理について示すフローチャートである。
【図１２】追尾メイン処理を示すフローチャートである。
【図１３】追尾処理中に追尾被写体が遮蔽される様子を示した図である。
【図１４】レリーズＡＦによって合焦位置が得られたときの様子を示した図である。
【図１５】合焦位置に応じて取得される追尾情報を示した図である。
【図１６】遮蔽検知処理を示した図である。
【図１７】追尾被写体の再出現が判定されないときの追尾被写体の探索処理を示す図である。
【図１８】追尾被写体の再出現が判定されるときの追尾被写体の探索処理を示す図である。
【図１９】撮像装置が移動するときの追尾被写体の探索処理を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、動き検出部１３６とを有している。
【００１２】
撮影光学系１０２は、図示しない被写体からの撮影光束Ｆを、撮像素子１１４の受光面上に導くための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。
【００１３】
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する撮影光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って絞り１０６を駆動させる。
【００１４】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従ってシャッタ１１０を駆動させる。
【００１５】
撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの撮影光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された撮影光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。
【００１６】
撮影光学系１０２及び撮像素子１１４とともに撮像部として機能する撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１７】
ここで、本実施形態における撮像素子１１４は、画素の一部に焦点検出用画素が設けられている。図２は、焦点検出用画素について示した図である。なお、図２は、撮像素子１１４のカラーフィルタ配列がベイヤ配列である例を示している。本実施形態においては、カラーフィルタの配列は種々のものを用いることが可能である。
【００１８】
ベイヤ配列のカラーフィルタの場合、「Ｒ」、「Ｇｒ」、「Ｇｂ」、「Ｂ」の水平２画素×垂直２画素が、水平方向及び水平方向に配列されている。図２の例では、焦点検出用画素をＧｂ画素に配置している。Ｇｂ画素とは、Ｇ、Ｂ、Ｇ、Ｂ…と交互に配置されている行のＧ画素のことである。
【００１９】
図２に示すように、撮像素子１１４は、撮像用画素１１４１と、焦点検出用画素としての、左側瞳検出画素１１４２Ｌ、右側瞳検出画素１１４２Ｒ、上側瞳検出画素１１４２Ｕ、及び下側瞳検出画素１１４２Ｄとを備えている。左側瞳検出画素１１４２Ｌの右半面の領域は遮光されている。また、右側瞳検出画素１１４２Ｒの左半面の領域は遮光されている。上側瞳検出画素１１４２Ｕの下半面の領域は遮光されている。さらに、下側瞳検出画素１１４２Ｄの上半面の領域が遮光されている。図２では、実際の焦点検出用画素の画素構成毎に、対応する画素を同じように塗りつぶして示している。
【００２０】
図３は、焦点検出用画素を用いた位相差検出の原理について説明するための図である。図３において、焦点検出用画素は、参照符号４ａ、４ｂで示している。焦点検出用画素は、左側瞳検出画素１１４２Ｌと右側瞳検出画素１１４２Ｒとで１つの組をなし、上側瞳検出画素１１４２Ｕと下側瞳検出画素１１４２Ｄとで１つの組をなしている。焦点検出用画素４ａは、焦点検出用画素の組の一方であり、焦点検出用画素４ｂは、焦点検出用画素の組の他方である。図３は、焦点検出用画素４ａが焦点検出用画素４ａ１、４ａ２、４ａ３の３画素を含み、焦点検出用画素４ｂが焦点検出用画素４ｂ１、４ｂ２、４ｂ３の３画素を含む例を示している。焦点検出用画素４ａと焦点検出用画素４ｂを構成する画素の数は同数である必要があるが、３画素とする必要はない。また、図２において示したように、焦点検出用画素の間には撮像用画素が配置されているが、図３では図示を省略している。
【００２１】
組をなす焦点検出用画素は、撮影レンズ１０２の対をなす異なる瞳領域２ａ、２ｂから出射された光束１ａ、１ｂを受光できるよう、受光部の異なる領域が遮光部３ａ、３ｂによって遮光されている。例えば、図３の例では、焦点検出用画素４ａにおける受光部の上側領域は遮光され、下側領域は露出している。一方、焦点検出用画素４ｂにおける受光部の下側領域は遮光され、上側領域は露出している。
【００２２】
さらに、それぞれの画素の受光側には、マイクロレンズ５ａ、５ｂが配置されている。マイクロレンズ５ａは、撮影レンズ１０２の瞳領域２ａからの光束１ａを、遮光部３ａによって形成される開口を介して焦点検出用画素４ａに結像させる。また、マイクロレンズ５ｂは、撮影レンズ１０２の瞳領域２ｂからの光束１ｂを、遮光部３ｂによって形成される開口を介して焦点検出用画素４ｂに結像させる。
【００２３】
ここで、以下の説明のために、焦点検出用画素４ａからの画素出力をａ画素出力、焦点検出用画素４ｂからの画素出力をｂ画素出力とする。図４は、焦点検出用画素からの画素出力の例を示している。図４では、画素４ａ１〜４ａ３の出力であるａ画素出力をＤａで示し、画素４ｂ１〜４ｂ３の出力であるｂ画素出力はＤｂで示している。図４に示すように、ａ画素出力Ｄａとｂ画素出力Ｄｂとの間には、画素の配列方向に対して位相差ｆが生ずる。この位相差ｆが撮影レンズ１０２の焦点ずれ量に対応するものであり、焦点ずれ量を算出することによって撮影レンズ１０２を合焦させることが可能である。ここで、位相差ｆの算出手法は、ａ画素出力Ｄａとｂ画素出力Ｄｂとの相関を求める手法が適用できる。この手法については、公知の技術であるので説明を省略する。
【００２４】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、追尾画像エリア、追尾情報エリア、追尾データログエリアを記憶エリアとして有している。ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾画像エリアは、追尾処理に必要な画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾処理に必要な画像データは、評価画像データと参照画像データとがある。追尾情報エリアは、追尾情報を一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾情報は、追尾被写体の再出現判定に用いる情報であって、追尾処理の内容に応じた情報である。追尾データログエリアは、追尾データログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾データログは、追尾処理の結果として得られた追尾位置の位置データを記録したログである。
【００２５】
表示素子１２０は、例えば液晶ディプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。
【００２６】
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００２７】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００２８】
システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、追尾処理回路１３０５、１３０６、１３０８と、顔検出回路１３０７と、焦点検出情報取得回路１３０９と、メモリ制御回路１３１０とを有している。
【００２９】
ＣＰＵ１３０１は、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する制御部である。
【００３０】
ＡＦ制御回路１３０２は、撮像画面内の焦点状態を検出してＡＦ処理を制御する。より詳しくは、ＡＦ制御回路１３０２は、焦点検出情報取得回路１３０９で取得された焦点検出情報としてのＡＦ評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。また、ＡＦ制御回路１３０２は、焦点検出情報取得回路１３０９で取得された焦点検出情報としての焦点ずれ量に従って焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。
【００３１】
ＡＥ制御回路１３０３は、ＡＥ処理を制御する。より詳しくは、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００３２】
画像処理回路１３０４は、画像データに対する各種の画像処理を行う。画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００３３】
追尾処理回路１３０５は、画像データの輝度情報を用いて追尾被写体を探索する追尾処理を行う。ここで、輝度情報を用いた追尾処理について簡単に説明する。輝度情報を用いた追尾処理では、例えば、図５（ａ）に示す（Ｎ−１）フレームにおいて追尾対象が設定された場合、この（Ｎ−１）フレームの中の追尾対象を含む所定領域２０２の画像データを、評価画像データとしてＲＡＭ１１８の追尾画像エリアに記憶する。この後の追尾処理では、参照画像データにおける評価画像データ２０２と対応する部分を探索する。  
Ｎフレームの追尾処理を例に示すと、まず、Ｎフレームの画像データを、参照画像データとしてＲＡＭ１１８の追尾画像エリアに記憶する。この参照画像データのうちの所定の追尾エリア２０４の画像データと評価画像データ２０２との画像相関度を求めることにより、参照画像データの評価画像データ２０２と対応する部分を探索する。画像相関度は、例えば評価画像データと参照画像データとの差分絶対値和（画素毎に輝度差の絶対値を求めてそれを積算したもの）から判定する。例えば、図５（ｂ）に示す参照画像データのエリア２０６の参照画像データと評価画像データ２０２との差分絶対値和を求めたとすると、参照画像データのエリア２０６と評価画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データのエリア２０８と評価画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、評価画像データ２０２との画像相関度が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、画像相関度が最大の、すなわち差分絶対値和が最小のエリアを参照画像データから探索する。図５（ｂ）の例では、エリア２０８となる。なお、追尾データログエリアには、エリア２０８の中で最も一致度の高い位置を追尾位置として記録する。このような位置が複数ある場合には、例えば、エリア２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００３４】
追尾処理回路１３０６は、画像データの色情報を用いて追尾被写体を探索する追尾処理を行う。ここで、色情報を用いた追尾処理について簡単に説明する。色情報を用いた追尾処理では、評価画像データ内で設定された色と同色であると判定できるエリアである類似色エリアを探索する。図６（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、この位置３０２を含む画像データを評価画像データとし、この評価画像データの位置３０２の色情報を取得する。そして、参照画像データ中で、評価画像データから取得した色情報と最も類似の色情報を有する位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有するエリアを探索する。より詳しくは、位置３０２を開始位置から周辺に向かうように順次色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合にはエリアに含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合にはエリアに含めない。このようにして類似色エリアを探索すると、例えば、図６（ａ）に示すような単色の被写体の場合、被写体に内接する矩形エリア３０４が類似色エリアとなる。また、追尾データログエリアに記録する追尾位置は、例えば類似色エリア３０４の重心位置（図６（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００３５】
Ｎフレームの追尾処理を例に示すと、図６（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の追尾エリアの中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、類似色エリア３０４の色と同色であると判定できるエリアを類似色エリアとして探索する。図６（ｂ）の例では、エリア３０６が類似色エリアとなる。そして、求められた類似色エリアであるエリア３０６の重心位置３０８を追尾位置として追尾データログエリアに記憶させる。
【００３６】
顔検出回路１３０７は、画像データにおける被写体（人物）の顔を検出する。ここで、顔検出処理を用いた追尾処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図７（ａ）に示すような顔パーツ４０２、４０４、４０６との画像相関度を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ４０２、４０４、４０６との画像相関度は、図７（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ４０２、４０４、４０６を含むエリア４０８に顔が存在しているとする。なお、顔パーツ４０２、４０４、４０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図７（ｂ）では、顔エリアを矩形エリアとしているが、円形エリアとしても良い。
【００３７】
追尾処理装置の一例として機能する追尾処理回路１３０８は、追尾被写体設定部及び追尾被写体探索部としての機能を有し、焦点検出情報取得回路１３０９で取得された焦点検出情報を用いて追尾被写体を探索する追尾処理を行う。例えば、ＡＦ評価値を用いて画像データのコントラストの大小を評価することにより、画像データ中の被写体の遠近の関係を判別することができる。したがって、全焦点検出エリアの中から追尾被写体の焦点検出情報を探索することによって追尾被写体を追尾することができる。また、追尾処理回路１３０８は、遮蔽検知部及び遮蔽エリア検出部としての機能を有し、追尾被写体の焦点検出情報の変化から追尾被写体が遮蔽されていることを検知し、追尾被写体が遮蔽されている場合には追尾被写体を遮蔽している遮蔽物が画像データのどのエリアにあるかを検出する。なお、画像データのコントラストではなく、位相差検出画素で検出される焦点ずれ量に基づいて算出される被写体距離が、追尾処理や遮蔽物の検出に利用されても良い。
【００３８】
焦点検出情報取得回路１３０９は、撮像画面内の焦点検出情報を取得する。例えば、焦点検出情報取得回路１３０９は、撮像素子１１４を介して入力された画像データに設定された焦点検出エリア内の高周波成分を抽出し、この抽出した高周波成分を積算することによって焦点検出情報の一例としてのＡＦ評価値を取得する。また、焦点検出情報取得回路１３０９は、撮像素子１１４の焦点検出用画素から入力された画像データから焦点検出情報の一例としての焦点ずれ量を算出する。
【００３９】
メモリ制御回路１３１０は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うためのインターフェイスである。
【００４０】
操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズボタン、動画ボタン、モードボタン、選択キー、電源ボタン等が含まれる。レリーズボタンは、静止画撮影の指示をするための操作部材である。レリーズボタンは、１ｓｔレリーズスイッチと２ｎｄレリーズスイッチとを有している。１ｓｔレリーズスイッチは、ユーザがレリーズボタンを半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズボタンを全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。動画ボタンは、動画撮影の指示をするための操作部材である。動画ボタンが操作されることによって動画撮影が開始され、その後に再び動画ボタンが操作されることによって動画撮影が終了される。モードボタンは、撮像装置１００の撮影設定を選択するための操作部材である。選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。電源ボタンは、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源ボタンが操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置１００が起動している間に電源ボタンが操作されると、撮像装置１００が省電力待機状態となる。
【００４１】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顔検出回路１３０７における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。
【００４２】
動き検出部１３６は、例えばジャイロセンサであり、撮像装置１００の動きを検出する。
【００４３】
次に、本実施形態に係る撮像装置の動作について説明する。図８は、撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図８の動作を制御する。
【００４４】
Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるか否かを判定する。前述したように、撮影設定は、モードボタンによって設定される。Ｓ１００において撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像が動画表示される。この動画表示により、ユーザは、被写体を観察することが可能である。
【００４５】
Ｓ１０４において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされた否かを判定する。Ｓ１０４において１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。Ｓ１０４において１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０６においてＣＰＵ１３０１は、レリーズＡＦ処理を行う。レリーズＡＦにおいては、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出されるＡＦ評価値を評価する。そして、ＣＰＵ１３０１は、ＡＦ評価値の評価の結果、コントラストが最大となるレンズ位置においてフォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。Ｓ１０６においてレリーズＡＦ処理の代わりに位相差ＡＦ処理が行われても良い。
【００４６】
Ｓ１０８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾被写体の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾被写体とし、その追尾被写体に追尾枠を表示させるようにしても良いし、顔検出回路１３０７によって顔が検出された場合には、その顔に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。また、追尾枠が表示された後、追尾処理回路は、追尾枠内の被写体を追尾被写体に設定する。この動作が追尾被写体設定部の動作に対応する。
【００４７】
Ｓ１１０において、ＣＰＵ１３０１は、各種の追尾処理回路によって追尾処理を行う。輝度情報を用いた追尾処理を行うのか、色情報を用いた追尾処理を行うのか、顔検出を用いた追尾処理を行うのか、焦点検出情報を用いた追尾処理を行うのかは追尾処理に先立って予め設定されているものである。複数の追尾処理が併用されても良い。追尾処理の詳細については後で詳しく説明する。
【００４８】
Ｓ１１２において、ＣＰＵ１３０１は、追尾被写体に合焦するようにＡＦ制御回路１３０２によってＡＦ処理を行う。追尾処理後のＡＦ処理においては、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出されたＡＦ評価値が、前回のレンズ位置でのＡＦ評価値に対して増加した否かを判定する。そして、ＣＰＵ１３０１は、ＡＦ評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、ＡＦ評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。なお、Ｓ１１２においてコントラストＡＦ処理の代わりに位相差ＡＦ処理を行うようにしても良い。
【００４９】
Ｓ１１４において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされた否かを判定する。Ｓ１１４において２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。Ｓ１１４において２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。
【００５０】
Ｓ１１８において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して絞り１０６を絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を所定の開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。Ｓ１２０において、ＣＰＵ１３０１は、Ｓ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図８に示す動作を終了させる。
【００５１】
Ｓ１００において撮影設定が動画撮影モードであると判定した場合に、Ｓ１２２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。Ｓ１２４において、ＣＰＵ１３０１は、動画ボタンがオンされた否かを判定する。Ｓ１２４において動画ボタンがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。Ｓ１２４において動画ボタンがオンされたと判定した場合に、Ｓ１２６においてＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。そして、Ｓ１２８において、ＣＰＵ１３０１は、追尾処理を行う。追尾処理の詳細については後で詳しく説明する。Ｓ１３０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ制御回路１３０２によってＡＦ処理を行う。
【００５２】
Ｓ１３２において、ＣＰＵ１３０１は、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。Ｓ１３４においてＣＰＵ１３０１は、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。
【００５３】
Ｓ１３６において、ＣＰＵ１３０１は、動画ボタンがオフされた否かを判定する。Ｓ１３６において動画ボタンがオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画ボタンがオフされるまでは、追尾処理と動画像データの記録が継続される。Ｓ１３６において動画ボタンがオフされたと判定した場合に、Ｓ１３８においてＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図８に示す動作を終了させる。
【００５４】
次に、本実施形態における追尾処理について説明する。図９は、追尾処理について示すフローチャートである。ここで、図９の処理は、焦点検出情報を用いた追尾処理であり、追尾処理回路１３０８が主体となって行われる。顔検出を用いた追尾処理、輝度情報を用いた追尾処理、色情報を用いた追尾処理が併用されても良い。
【００５５】
Ｓ２００において、追尾処理回路１３０８は、現在が追尾処理の開始１フレーム目であるか否かを判定する。ステップＳ２００において現在が追尾処理の開始１フレーム目であると判定した判定した場合に、Ｓ２０２において追尾処理回路１３０８は、レリーズＡＦの際に得られた焦点検出情報を用いて基準焦点検出情報を更新する。ここで、基準焦点検出情報は、追尾被写体が遮蔽物を遮蔽しているかを判別するための判別基準となる焦点検出情報である。１フレーム目は、レリーズＡＦの結果を基準焦点検出情報として利用する。なお、追尾被写体がユーザによって直接的に指定されている場合には、その追尾被写体の焦点検出情報を基準焦点検出情報として良い。
【００５６】
Ｓ２０４において、追尾処理回路１３０８は、追尾情報を記憶する。ここでの追尾情報は、追尾処理に用いることができる焦点検出情報以外の情報である。例えば、追尾被写体の顔の器官情報（目、鼻、口の位置関係）、追尾被写体の領域の輝度情報、追尾被写体の領域の色情報が追尾情報として記憶される。複数種類の追尾情報が記憶されても良い。
【００５７】
Ｓ２０６において、追尾処理回路１３０８は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ２０８において、追尾処理回路１３０８は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。
【００５８】
Ｓ２１０において、追尾処理回路１３０８は、遮蔽検知処理を行う。遮蔽検知処理は、追尾被写体を遮蔽している遮蔽物を検知する処理である。遮蔽検知処理については後で詳しく説明する。Ｓ２１２において、追尾処理回路１３０８は、追尾メイン処理を行う。追尾メイン処理は、遮蔽検知処理の結果を用いて追尾被写体の追尾を行う処理である。追尾メイン処理については後で詳しく説明する。
【００５９】
Ｓ２１４において、追尾処理回路１３０８は、追尾位置の信頼性を判断する。追尾位置の信頼性は、焦点検出情報から判断される。例えば、ＡＦ評価値が所定値を超えている場合に信頼性があると判断される。
【００６０】
Ｓ２１６において、追尾処理回路１３０８は、表示素子駆動回路１２２を制御して、追尾枠の表示位置を追尾メイン処理で決定した追尾位置に対応した位置に更新する。その後、追尾処理回路１３０８は、図９の追尾処理を終了させる。ただし、Ｓ２１４において信頼性が低いと判断された場合には、追尾枠の表示位置を更新しなくとも良い。
【００６１】
図１０は、遮蔽検知処理を示すフローチャートである。Ｓ３００において、追尾処理回路１３０８は、焦点検出情報取得回路１３０９で得られた全焦点検出エリアの焦点検出情報（例えばＡＦ評価値）を取得する。Ｓ３０２において、追尾処理回路１３０８は、現在、追尾被写体の遮蔽が検知されているか否かを判定する。なお、追尾処理の開始１フレーム目は、必ず追尾被写体の遮蔽が検知されていないと判定される。
【００６２】
Ｓ３０２において追尾被写体の遮蔽が検知されていないと判定した場合に、Ｓ３０４において追尾処理回路１３０８は、追尾位置の焦点検出情報と基準焦点検出情報との差分絶対値が閾値を超えているか否かを判定する。Ｓ３０４において追尾位置の焦点検出情報と基準焦点検出情報との差分絶対値が閾値を超えていないと判定した場合に、追尾処理回路１３０８は、追尾被写体が遮蔽されていないことを検知する。このとき、追尾処理回路１３０８は、図１０の処理を終了させる。Ｓ３０２において追尾被写体の遮蔽が検知されていると判定した場合又はＳ３０４において追尾位置の焦点検出情報と基準焦点検出情報との差分絶対値が閾値を超えていると判定した場合に、追尾処理回路１３０８は、追尾被写体が遮蔽されていることを検知する。このとき、Ｓ３０６において追尾処理回路１３０８は、遮蔽エリア検出処理を行う。その後、追尾処理回路１３０８は、図１０の処理を終了させる。遮蔽エリア検出処理は、追尾被写体を遮蔽している遮蔽エリアを画像データから検出する処理である。
【００６３】
図１１は、遮蔽エリア検出処理について示すフローチャートである。Ｓ４００において、追尾処理回路１３０８は、ループ処理のための各種のパラメータを設定する。ｉは、焦点検出エリアの番号を示すものである。ｉは、初期値が１（例えば左上の焦点検出エリア）であり、最大値が焦点検出エリアの数である。そして、ｉは、ステップＳ４０４までの処理が終了する毎にインクリメントされる。
【００６４】
Ｓ４０２において、追尾処理回路１３０８は、基準焦点検出情報とｉ番目の焦点検出エリアにおける焦点検出情報との差分絶対値が閾値を超えているか否かを判定する。Ｓ４０２において基準焦点検出情報とｉ番目の焦点検出エリアとの差分絶対値が閾値を超えていないと判定した場合に、追尾処理回路１３０８はステップＳ４０６に処理を進める。Ｓ４０２において基準焦点検出情報とｉ番目の焦点検出エリアにおける焦点検出情報との差分絶対値が閾値を超えていると判定した場合に、Ｓ４０４において追尾処理回路１３０８は、ｉ番目のエリアを遮蔽エリアに含める。また、遮蔽エリアの別の検出処理として、例えば遮蔽物があると推定される位置（遮蔽エリア検出処理が行われる直前の追尾位置）と隣接してかつ遮蔽物位置と同じ色情報や輝度情報を有するエリアを遮蔽エリアに含めるような処理が行われても良い。
【００６５】
Ｓ４０６において、追尾処理回路１３０８は、ループ処理の終了判定として、全焦点検出エリアについての遮蔽エリア検出処理を行ったか否かを判定する。全焦点検出エリアについての遮蔽エリア検出処理を行っていないと判定した場合に、追尾処理回路１３０８は、ループ処理を継続する。全焦点検出エリアについての遮蔽エリア検出処理を行ったと判定した場合に、追尾処理回路１３０８は、図１１の処理を終了させる。
【００６６】
図１２は、追尾メイン処理を示すフローチャートである。Ｓ５００において、追尾処理回路１３０８は、現在、追尾被写体の遮蔽が検知されているか否かを判定する。Ｓ５００において追尾被写体の遮蔽が検知されていると判定した場合に、Ｓ５０２において追尾処理回路１３０８は焦点検出情報を用いて追尾位置を算出する。追尾位置の具体的な算出手法は、前述したものが用いられる。
【００６７】
Ｓ５０４において、追尾処理回路１３０８は、算出された追尾位置における焦点検出情報を用いて基準焦点検出情報を更新する。基準焦点検出情報を更新することにより、追尾被写体に動きがあったとしても正しく遮蔽検知処理を行うことが可能である。Ｓ５０６において、追尾処理回路１３０８は、追尾情報を現在の追尾位置のものに更新する。その後、追尾処理回路１３０８は、図１２の処理を終了させる。
【００６８】
Ｓ５００において追尾被写体の遮蔽が検知されていると判定した場合に、Ｓ５０８において追尾処理回路１３０８は、遮蔽エリアの周辺に探索エリアを設定し、予め記憶した追尾情報と類似の追尾情報（顔の位置、輝度情報又は色情報）を探索エリアから探索する。探索エリアは、例えば遮蔽エリアを囲むように遮蔽エリアに隣接して配置されたエリアである。
【００６９】
Ｓ５１０において、追尾処理回路１３０８は、遮蔽されていた追尾被写体が再出現したか否かを判定する。例えば、探索エリアにおいて追尾被写体の顔が再度検出された場合や探索エリアにおいて追尾被写体と類似のパターン（配置）の輝度情報が再度検出された場合、追尾被写体と類似のパターンの色情報が再度検出された場合に追尾被写体が再出現したと判定される。Ｓ５１０において遮蔽されていた追尾被写体が再出現していない、すなわち現在も追尾被写体が遮蔽されていると判定した場合に、追尾処理回路１３０８は、図１２の処理を終了させる。Ｓ５１０において遮蔽されていた追尾被写体が再出現したと判定した場合に、Ｓ５１２において、追尾処理回路１３０８は、追尾位置を再出現位置に更新する。その後、追尾処理回路１３０８は、処理をＳ５０４に移行させる。
【００７０】
本実施形態の画像処理の動作についてさらに説明する。例えば図１３（ａ）に示す被写体Ａが追尾被写体に設定されたとする。このとき、追尾被写体Ａを囲むように追尾枠Ｂが表示される。図１３（ａ）のように追尾被写体Ａが遮蔽物Ｄによって遮蔽されていないときには焦点検出エリアＣの焦点検出情報を用いて追尾被写体Ａの追尾を行うことが可能である。一方、図１３（ｂ）又は図１３（ｃ）のように追尾被写体Ａが遮蔽物Ｄによって遮蔽されると、焦点検出エリアＣで得られる焦点検出情報は追尾被写体Ａの焦点検出情報ではなく、遮蔽物Ｄの焦点検出情報になってしまう。このとき、図１３（ｄ）のように、追尾位置の乗り換えが発生して追尾被写体Ａを正しく追尾できなくなる可能性が生じる。
【００７１】
本実施形態においては、例えばレリーズＡＦによって合焦した被写体が追尾被写体に設定される。例えば図１４のＦの位置がレリーズＡＦによる合焦位置であるとする。このとき、合焦位置Ｆの焦点検出情報（例えばＡＦ評価値）が追尾処理の開始１フレーム目における基準焦点検出情報として取得される。さらに、合焦位置Ｆに基づいて追尾被写体Ａが設定され、図１５に示すようにして追尾被写体Ａに設定された追尾位置（図１５の例では顔中心）Ｇにおける追尾情報が取得される。
【００７２】
遮蔽検知処理では、現在の追尾位置における焦点検出情報と基準焦点検出情報との差分絶対値が閾値を超えているか否かが判定される。図１６のように、追尾位置（顔中心）が遮蔽されている場合、追尾位置における焦点検出情報は、本来得られるべきものよりも近距離を示す。このとき、追尾位置における焦点検出情報と基準焦点検出情報との差分が閾値を超えている、すなわち追尾被写体Ａが遮蔽されていることが検知される。追尾被写体Ａの遮蔽が検知されると、遮蔽エリア検出処理が行われる。遮蔽エリア検出処理では、基準焦点検出情報とそれぞれの焦点検出エリアの焦点検出情報との差分が閾値を超えているエリア、すなわち追尾被写体よりも近距離に被写体が存在するエリアを画像データから検出することによって遮蔽エリアＨ１が検出される。
【００７３】
遮蔽エリアＨ１が検出されると、図１７のように、探索エリアＩ１の中で追尾情報の探索が行われる。図１７の例の探索エリアＩ１は、遮蔽エリアＨ１の上下左右方向に隣接する矩形エリアである。ここで、本実施形態における遮蔽エリア検出処理の場合、遮蔽エリアＨ１は、焦点検出エリアＥの中になる。一方、図１７に示すように、探索エリアＩ１は、必ずしも焦点検出エリアＥの中でなくて良い。
【００７４】
図１７は、十分な顔のパターンが検出できなかった例である。この場合、Ｓ５１０において追尾被写体が再出現していないと判定される。一方、図１８は、十分な顔のパターンが検出でき、追尾被写体が再出現したと判定される。このとき、追尾位置が追尾被写体Ａの再出現位置に更新される。したがって、追尾被写体Ａの追尾処理を継続することができるようになる。
【００７５】
以上説明したように本実施形態によれば、焦点検出情報を用いて追尾処理を行う場合において追尾被写体の遮蔽が検知されたときに、遮蔽が検知された位置の周辺のエリアに限定して追尾被写体の追尾情報を探索している。通常、追尾処理は、短い間隔で繰り返し行われるものであるので、遮蔽された追尾被写体が再出現する場合、その再出現位置は遮蔽物の近傍の位置である可能性が高い。このため、遮蔽エリアの周辺のエリアに限定して追尾情報の探索を行うことで、探索に必要な処理の負荷を軽減しつつ、遮蔽された追尾被写体の再出現を短時間で判定することができる。また、焦点検出情報以外の追尾情報を用いて遮蔽された追尾被写体を探索することにより、より正確に遮蔽された追尾被写体を探索することが可能である。
【００７６】
ここで、本実施形態では、焦点検出情報を用いて遮蔽エリアを検出している。一方で、被写体ではなく、撮像装置１００が移動するときには、焦点検出情報を用いなくとも遮蔽エリアを検出することができる場合がある。例えば、図１６のような遮蔽エリアＨ１が検出されている状態においてユーザが撮像装置１００をパンニング（撮像装置１００を地表に対して水平に動かすこと）させたとする。通常、遮蔽物は移動しないので、パンニングによる撮像装置１００の移動量は、画像上での遮蔽エリアＨ１の移動量に対応するものになる。したがって、動き検出部１３６によって撮像装置１００の移動量を検出し、検出した移動量に基づいて画像上での遮蔽エリアＨ１の移動量を算出し、この移動量に応じて図１９（ａ）に示すようにして遮蔽エリアＨ１を移動させることにより、焦点検出情報を用いずにパンニング後の遮蔽エリアＨ２を算出することができる。遮蔽エリアＨ２が算出された後は、図１９（ｂ）に示す探索エリアＩ２で追尾情報の探索を行うことにより、撮像装置１００自体が移動した場合であっても、遮蔽された追尾被写体の再出現の判定を行うことができる。
【００７７】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００７８】
また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れもＣＰＵ１３０１に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ１３０１は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【００７９】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、前述したような課題を解決でき、前述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００８０】
１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５，１３０６，１３０８…追尾処理回路、１３０７…顔検出回路、１３０９…焦点検出情報取得回路、１３１０…メモリ制御回路
【図１】
2015015592.tif 000003
【図２】
2015015592.tif 000004
【図３】
2015015592.tif 000005
【図４】
2015015592.tif 000006
【図５】
2015015592.tif 000007
【図６】
2015015592.tif 000008
【図７】
2015015592.tif 000009
【図８】
2015015592.tif 000010
【図９】
2015015592.tif 000011
【図１０】
2015015592.tif 000012
【図１１】
2015015592.tif 000013
【図１２】
2015015592.tif 000014
【図１３】
2015015592.tif 000015
【図１４】
2015015592.tif 000016
【図１５】
2015015592.tif 000017
【図１６】
2015015592.tif 000018
【図１７】
2015015592.tif 000019
【図１８】
2015015592.tif 000020
【図１９】
2015015592.tif 000021