(57)【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記撮像部の撮像により取得された画像データ中の前記被写体を追尾するための複数の特徴を取得する複数のエリアを包含するエリアを有し、かつ前記被写体に対するフォーカス評価値を取得するためのフォーカス評価値取得エリアを設定するフォーカス評価値取得エリア設定部と、
前記被写体を追尾する追尾部と、
前記被写体を含む追尾エリアが指定されると、前記フォーカス評価値取得エリア内の前記フォーカス評価値に基づいて前記指定された追尾エリア以外の非指定エリアに対する前記追尾部による追尾を禁止するエリアとする追尾禁止エリア設定部と、
を具備し、
前記追尾禁止エリア設定部は、前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記各フォーカス評価値取得エリア内の前記各フォーカス評価値の差が予め設定された第２の閾値以上であれば、または、前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記追尾エリアと前記非指定エリアとの面積差が予め設定された第３の閾値以上であれば、前記追尾部による前記非指定エリアに対する追尾を禁止することを特徴とする追尾装置。
【請求項２】
被写体を撮像する撮像部と、
前記撮像部の撮像により取得された画像データ中からそれぞれ異なる特徴により前記被写体の追尾を行う追尾部と、
前記追尾部による前記複数の追尾を行うための複数の追尾エリアを包含するエリアを有し、かつ前記被写体に対するフォーカス評価値を取得するためのフォーカス評価値取得エリアを設定するフォーカス評価値取得エリア設定部と、
前記撮像部の撮像により取得された画像データ中に含まれる少なくとも１つの前記被写体から追尾対象とする前記被写体を含む追尾エリアを指定する追尾エリア指定部と、
前記追尾エリア指定部により指定された前記追尾エリアと他の前記被写体を含む非指定エリアとの間隔と、前記各フォーカス評価値取得エリア内の前記各フォーカス評価値とに基づいて前記追尾部による前記非指定エリアに対する追尾を禁止するエリアとする追尾禁止エリア設定部と、
を具備し、
前記追尾禁止エリア設定部は、前記追尾エリア指定部により指定された前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記各フォーカス評価値取得エリア内の前記各フォーカス評価値の差が予め設定された第２の閾値以上であれば、または、前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記追尾エリアと前記非指定エリアとの面積差が予め設定された第３の閾値以上であれば、前記追尾部による前記非指定エリアに対する追尾を禁止することを特徴とする追尾装置。
【請求項３】
前記追尾部は、前記被写体の顔部の追尾と、前記被写体の色情報による追尾とを含み、
前記フォーカス評価値取得エリア設定部は、前記顔部の追尾のための第１のエリアと前記色情報の追尾のための第２のエリアとを包含するエリアを有し、かつ前記フォーカス評価値を取得するためのフォーカス評価値取得エリアを設定する、
ことを特徴とする請求項１又は２に記載の追尾装置。
【請求項４】
前記フォーカス評価値取得エリア設定部は、前記色情報の追尾に対する信頼性を有する場合、前記顔部の追尾のための前記第１のエリアと前記色情報の追尾のための前記第２のエリアとの包含関係の判定に基づいて前記フォーカス評価値取得エリアを設定することを特徴とする請求項３に記載の追尾装置。
【請求項５】
前記フォーカス評価値取得エリア設定部は、前記顔部の追尾のためのエリアが前記色情報の追尾のためのエリアを包含していれば、前記顔部の追尾のためのエリアを包含する前記フォーカス評価値取得エリアを設定することを特徴とする請求項４に記載の追尾装置。
【請求項６】
前記フォーカス評価値取得エリア設定部は、前記色情報の追尾のためのエリアが前記顔部の追尾のためのエリアを包含していれば、前記色情報の追尾のためのエリアを包含する前記フォーカス評価値取得エリアを設定することを特徴とする請求項４に記載の追尾装置。
【請求項７】
前記追尾部は、前記追尾エリアに対して前記被写体の前記顔部と前記色情報とにより追尾を行い、前記非指定エリアに対して前記フォーカス評価値により追尾を行うことを特徴とする請求項３に記載の追尾装置。
【請求項８】
前記撮像部の撮像により取得された前記画像データ中から少なくとも１つ前記被写体を含む追尾候補エリアを検出し、当該追尾候補エリアに枠を設定する追尾候補検出部を備え、
前記追尾エリア指定部は、前記枠の設定された前記追尾候補エリアに対して前記追尾対象とする前記追尾候補エリアの指示を受けると、当該指示を受けた前記追尾候補エリアを追尾エリアに指定する、
ことを特徴とする請求項２に記載の追尾装置。
【請求項９】
前記追尾エリア指定部は、前記追尾対象とする指示を受けた前記追尾エリアの前記枠を顔部の大きさに応じたサイズに設定することを特徴とする請求項８に記載の追尾装置。
【請求項１０】
前記追尾エリア指定部は、前記追尾対象とする指示を受けていない前記追尾候補エリアのサイズを前記追尾エリアの前記枠のサイズと同一サイズに設定することを特徴とする請求項９に記載の追尾装置。
【請求項１１】
請求項１乃至１０のうちいずれか１項記載の追尾装置と、
前記撮像部の撮像により取得された前記画像データに対して画像処理を行う画像処理部と、
前記画像処理部により画像処理された前記画像データを表示する表示部と、
を具備することを特徴とする撮像装置。
【請求項１２】
撮像部の撮像により取得された画像データ中の被写体を追尾するための複数の特徴を取得する複数のエリアを包含するエリアを有し、かつ前記被写体に対するフォーカス評価値を取得するためのフォーカス評価値取得エリアを設定し、
前記被写体を含む追尾エリアが指定されると、前記フォーカス評価値取得エリア内の前記フォーカス評価値に基づいて前記指定された追尾エリア以外の非指定エリアに対する前記追尾を禁止し、
前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記各フォーカス評価値取得エリア内の前記各フォーカス評価値の差が予め設定された第２の閾値以上であれば、または、前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記追尾エリアと前記非指定エリアとの面積差が予め設定された第３の閾値以上であれば、前記非指定エリアに対する追尾を禁止する、
ことを特徴とする撮像装置に用いる追尾方法。
【請求項１３】
前記フォーカス評価値取得エリアは、前記被写体の顔部の追尾のための第１のエリアと、前記被写体の色情報の追尾のための第２のエリアとを包含することを特徴とする請求項１２記載の撮像装置に用いる追尾方法。
【請求項１４】
前記フォーカス評価値取得エリアの設定は、前記色情報の追尾に対する信頼性を有する場合、前記顔部の追尾のための前記第１のエリアと前記色情報の追尾のための前記第２のエリアとの包含関係の判定に基づいて前記フォーカス評価値取得エリアを設定することを特徴とする請求項１３に記載の撮像装置に用いる追尾方法。
【請求項１５】
前記フォーカス評価値取得エリアの設定は、前記顔部の追尾のためのエリアが前記色情報の追尾のためのエリアを包含していれば、前記顔部の追尾のためのエリアを包含する前記フォーカス評価値取得エリアを設定することを特徴とする請求項１３に記載の撮像装置に用いる追尾方法。
【請求項１６】
前記フォーカス評価値取得エリアの設定は、前記色情報の追尾のためのエリアが前記顔部の追尾のためのエリアを包含していれば、前記色情報の追尾のためのエリアを包含する前記フォーカス評価値取得エリアを設定することを特徴とする請求項１３に記載の撮像装置に用いる追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を追尾する追尾装置及び撮像装置、撮像装置に用いる追尾方法に関する。
【背景技術】
【０００２】
被写体を追尾する追尾装置としては、例えばコントラストオートフォーカス（コントラストＡＦ）で用いられるＡＦ評価値を利用して被写体を追尾する技術がある。かかる技術としては例えば特許文献１がある。この特許文献１は、フォーカスレンズを駆動させながら、複数のＡＦエリアについて撮像素子の出力信号に基づいてコントラスト検出信号を演算し、この演算されたコントラスト検出信号からＡＦエリア間での被写体移動を検知し、この検知結果に応じて合焦位置を求めることを開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０１１０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１は、移動する被写体よりもＡＦエリアが小さい場合、ローコントラストになり易く、移動する被写体を検出できないことがあり、又、移動する被写体よりもＡＦエリアが大きい場合、被写体の周囲も含まれるために、移動する被写体のみのＡＦ評価値を取得できないことがある。
【０００５】
本発明は、追尾するに適切なＡＦ評価値を用いて追尾性能を向上できる追尾装置及び撮像装置、撮像装置に用いる追尾方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の主要な局面に係る追尾装置は、被写体を撮像する撮像部と、前記撮像部の撮像により取得された画像データ中の前記被写体を追尾するための複数の特徴を取得する複数のエリアを包含するエリアを有し、かつ前記被写体に対するフォーカス評価値を取得するためのフォーカス評価値取得エリアを設定するフォーカス評価値取得エリア設定部と、前記被写体を追尾する追尾部と、前記被写体を含む追尾エリアが指定されると、前記フォーカス評価値取得エリア内の前記フォーカス評価値に基づいて前記指定された追尾エリア以外の非指定エリアに対する前記追尾部による追尾を禁止するエリアとする追尾禁止エリア設定部とを具備し、前記追尾禁止エリア設定部は、前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記各フォーカス評価値取得エリア内の前記各フォーカス評価値の差が予め設定された第２の閾値以上であれば、または、前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記追尾エリアと前記非指定エリアとの面積差が予め設定された第３の閾値以上であれば、前記追尾部による前記非指定エリアに対する追尾を禁止する。
【０００７】
本発明の主要な局面に係る撮像装置は、上記追尾装置と、前記撮像部の撮像により取得された前記画像データに対して画像処理を行う画像処理部と、前記画像処理部により画像処理された前記画像データを表示する表示部とを具備する。
本発明の主要な局面に係る撮像装置に用いる追尾方法は、撮像部の撮像により取得された画像データ中の被写体を追尾するための複数の特徴を取得する複数のエリアを包含するエリアを有し、かつ前記被写体に対するフォーカス評価値を取得するためのフォーカス評価値取得エリアを設定し、前記被写体を含む追尾エリアが指定されると、前記フォーカス評価値取得エリア内の前記フォーカス評価値に基づいて前記指定された追尾エリア以外の非指定エリアに対する前記追尾を禁止し、前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記各フォーカス評価値取得エリア内の前記各フォーカス評価値の差が予め設定された第２の閾値以上であれば、または、前記追尾エリアと前記非指定エリアとの間隔が予め設定された第１の閾値以内で、かつ前記追尾エリアと前記非指定エリアとの面積差が予め設定された第３の閾値以上であれば、前記非指定エリアに対する追尾を禁止する。
【発明の効果】
【０００８】
本発明によれば、追尾するに適切なＡＦ評価値を用いて追尾性能を向上できる追尾装置及び撮像装置、撮像装置に用いる追尾方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施の形態に係る追尾装置を備えた撮像装置の一例を示す構成図。
【図２】同装置における顏認識処理についての説明図。
【図３】同装置における色情報を用いた追尾処理についての説明図。
【図４】同装置における輝度情報を用いた追尾処理についての説明図。
【図５】同装置におけるフォーカス評価値取得エリア設定部によるフォーカス評価値取得エリアの設定を示す図。
【図６】同装置における追尾候補検出部による追尾候補エリアの検出を示す図。
【図７】同装置における撮影動作フローチャート。
【図８】同装置の追尾開始における画像データを示す図。
【図９】同装置により人物の顔部に追尾枠が設定された画像データを示す図。
【図１０】同装置においてタッチパネル上の被写体の顔部に対応する部分へのユーザの指によるタッチにより追尾対象して指定されることを示す図。
【図１１】同装置における追尾処理フローチャート。
【図１２】同装置におけるフォーカス評価値取得エリア設定部によるフォーカス評価値取得エリアの設定を示す図。
【図１３】同装置による画像データ中の第１の人物の顔部に設定される追尾枠を示す図。
【図１４】同装置におけるフォーカス評価値取得エリア設定部による非追尾対象に設定される追尾枠を示す図。
【図１５】同装置における追尾禁止エリア設定部による追尾禁止エリアの設定を示す図。
【図１６】同装置における追尾禁止エリア設定部による非追尾対象の被写体の顔部に対する追尾の禁止を示す図。
【図１７】同装置における被写体の顔部に設定されている追尾枠の更新を示す図。
【図１８】同装置により追尾対象の第１の人物から非追尾対象の第２の人物の顔部に対して色情報による追尾が移行しようとしている状態を示す画像データの模式図。
【図１９】同装置により非追尾対象の第２の人物の顔部に対する追尾の禁止状態を示す画像データの模式図。
【図２０】同装置により追尾対象の第１の人物に対する追尾への戻る状態を示す画像データの模式図。
【図２１】同装置におけるＡＦ評価値取得エリア設定フローチャート。
【図２２】同装置における追尾禁止領域判定処理フローチャート。
【図２３】同装置における追尾禁止領域判定処理でのＡＦ評価値取得エリアの設定を示す模式図。
【図２４】同装置における追尾禁止領域判定処理での追尾禁止エリアの設定を示す模式図。
【図２５】同装置における追尾禁止領域判定処理での追尾枠の設定を示す模式図。
【図２６】同装置における別の追尾禁止領域判定処理フローチャート。
【図２７】同装置に用いるウォブリング動作を示す説明図。
【図２８】同装置における撮像素子のＡＦ用画素列を示す構成図。
【図２９】同装置における撮像素子のＡＦ用画素列の出力信号を示す構成図。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施の形態について図面を参照して説明する。  
図１は追尾装置を備えた撮像装置の一例の構成図を示す。撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、ＣＰＵ１３０１を搭載するシステムコントローラ１３０と、カメラ操作スイッチ１３２と、ＲＯＭ１３４とを有する。
【００１１】
このうち撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６とは、撮像部１０１を構成する。
【００１２】
撮影光学系１０２は、被写体からの光束Ｆを撮像素子１１４の受光面上に集光する光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有する。焦点調整機構１０４は、モータ及びその駆動回路等を有する。この焦点調整機構１０４は、ＣＰＵ１３０１の制御に従って撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動する。
【００１３】
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有する。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って絞り１０６を駆動する。
【００１４】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とする。このシャッタ１１０により撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従ってシャッタ１１０を駆動する。
【００１５】
撮像素子１１４は、受光面を有する。この受光面には、撮影光学系１０２を介して集光された被写体からの光束Ｆが結像される。この撮像素子１１４の受光面は、複数の画素を２次元状に配置して成る。この撮像素子１１４の受光面の光入射側には、カラーフィルタが設けられている。この撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）をその光量に応じた電気信号（以下、画像信号という）に変換する。この撮像素子１１４は、例えばＣＣＤ方式又はＣＭＯＳ方式等の種々の構成のものが知られている。カラーフィルタの色配列は、例えばベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１６】
撮像素子ＩＦ回路１１６は、ＣＰＵ１３０１の制御に従って撮像素子１１４を駆動し、この撮像素子１１４で得られた画像信号を読み出す。この撮像素子ＩＦ回路１１６は、撮像素子１１４から読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１７】
ＳＤＲＡＭ１１８には、例えば記憶エリアとしてワークエリア１１８ａと、評価画像エリア１１８ｂと、参照画像エリア１１８ｃと、追尾位置ログエリア１１８ｄと、コントラスト情報ログエリア１１８ｅとが形成されている。  
ワークエリア１１８ａには、例えば撮像素子ＩＦ回路１１６で得られた画像データ等の撮像装置１００の各部で発生したデータが一時記憶される。  
評価画像エリア１１８ｂには、評価画像データが一時記憶される。評価画像データは、後述する追尾処理における追尾対象の被写体を含むフレームの画像データである。  
参照画像エリア１１８ｃには、参照画像データが一時記憶される。参照画像データは、後述する追尾処理において、追尾対象の探索の対象となるフレームの画像データである。
【００１８】
追尾位置ログエリア１１８ｄには、追尾位置ログが一時記憶される。追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。本実施の形態では、複数の追尾処理を併用して追尾対象を追尾する。従って、追尾位置ログには、それぞれの追尾処理によって得られた追尾位置（候補追尾位置）が個別に記録される。  
コントラスト情報ログエリア１１８ｅには、コントラスト情報ログが一時記憶される。コントラスト情報ログは、コントラスト情報の演算処理によって得られたコントラスト情報を記録したログである。
【００１９】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種画像を表示する。以下、表示素子１２０は、ＬＣＤ１２０と称する。表示素子駆動回路１２２は、ＣＰＵ１３０１の制御により入力された画像データに基づいてＬＣＤ１２０を駆動し、ＬＣＤ１２０に画像を表示する。
【００２０】
タッチパネル１２４は、ＬＣＤ１２０の表示画面上に一体的に設けられ、当該表示画面上へのユーザの指等の接触（タッチ）を検出し、このタッチ位置を示す座標を含む接触検出信号を出力する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動すると共に、タッチパネル１２４からの接触検出信号をＣＰＵ１３０１に送る。ＣＰＵ１３０１は、タッチパネル１２４からの接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００２１】
記録メディア１２８は、例えばメモリカードである。この記録メディア１２８は、撮影動作によって得られた画像ファイル１２８ａを記録する。この画像ファイル１２８ａは、画像データに所定のヘッダを付与して形成される。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等がタグデータとして記録される。
【００２２】
システムコントローラ１３０は、撮像装置１００の全体の動作を制御する。このシステムコントローラ１３０は、上記ＣＰＵ１３０１と、各制御回路としてＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、顔認識回路１３０５と、第１乃至第３の追尾処理回路１３０６〜１３０８と、フォーカス評価値取得エリア設定部１３０９と、追尾候補検出部１３１０と、追尾エリア指定部１３１１と、追尾禁止エリア設定部１３１２と、メモリ制御回路１３１３とを有する。
【００２３】
ＣＰＵ１３０１は、焦点調整機構１０４と、絞り駆動機構１０８と、シャッタ駆動機構１１２と、表示素子駆動回路１２２と、タッチパネル駆動回路１２６等を動作制御すると共に、システムコントローラ１３０内部の上記各制御回路の動作を制御する。  
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的にＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することによりＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しながら焦点調整機構１０４を制御して撮影光学系１０２のフォーカスレンズを合焦状態となる位置に調整する。
【００２４】
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的にＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体の輝度を算出する。ＡＥ制御回路１３０３は、この被写体の輝度に従って露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００２５】
画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理は、例えば色補正処理、ガンマ（γ）補正処理、圧縮処理等を含む。画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。  
顔認識回路１３０５は、画像データにおける被写体（人物）の顏部を検出する。ここで、顏認識処理について簡単に説明する。顏認識処理は、各フレームで得られる画像データと、例えば図２（ａ）に示すような各顔パーツ４０２、４０４、４０６との各相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データである。顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データである。顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと各顏パーツ４０２、４０４、４０６との各相関量は、図２（ｂ）に示すように人物の顔部を示す所定の配置となったときに最大となる。このとき、各顏パーツ４０２、４０４、４０６を含むエリア４０８に顏が存在しているとする。なお、同図では、顏エリアを矩形エリアとしているが、円形エリアとしても良い。
【００２６】
第１乃至第３の追尾処理回路１３０６〜１３０８は、それぞれ撮像部１０１の撮像により取得された画像データ中の被写体、例えば人物の顔部の追尾を行う。  
第１の追尾処理回路１３０６は、撮像部１０１の撮像により取得された画像データ中から特徴量、例えば顔認識回路１３０５により認識された被写体、例えば人物の顔部の追尾を行う。
【００２７】
第２の追尾処理回路１３０７は、撮像部１０１の撮像により取得された画像データ中から特徴、例えば色情報により被写体、例えば人物の顔部の追尾を行う。この第２の追尾処理回路１３０８は、撮像部１０１の撮像により取得された画像データの色情報を用いて人物の顔部の追尾処理を行う。この色情報を用いた追尾処理について簡単に説明する。色情報を用いた追尾処理は、評価画像データ内で設定された色情報と同色情報であると判定されるエリアすなわち追尾色エリアを探索する。  
例えば、図３（ａ）に示すように（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報が取得される。この位置３０２を追尾処理の開始位置として同位置３０２と同じ色情報を有するエリアが探索される。具体的に位置３０２を開始位置から周辺に向かうように順次色情報を取得し、この取得した色情報が位置３０２の色情報と同一であるか否かを判定する。この判定の結果、色情報が位置３０２の色情報と同一である判定した場合にはエリアに含め、これに対して取得した色情報が位置３０２の色情報と同一であると判定できない場合にはエリアに含めない。
【００２８】
このようにして追尾色エリアを探索すると、例えば、図３（ａ）に示すような単色の被写体の場合、被写体に内接する矩形エリア３０４が追尾色エリアとなる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色エリア３０４の重心位置（図３（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００２９】
Ｎフレームの追尾処理を例に示すと、図３（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の探索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色エリア３０４の色情報と同色情報であると判定できるエリアが追尾色エリアとして探索される。同図に示す例では、エリア３０６が追尾色エリアとなる。また、同図に示す例では、重心位置３０８を追尾位置とし、この追尾位置３０８を、追尾位置ログエリアに記録する。また、追尾色エリアログエリアには、追尾色エリア３０６の範囲を示す情報（例えば、四隅の位置）を記録する。
【００３０】
第３の追尾処理回路１３０９は、撮像部１０１の撮像により取得された画像データ中から特徴、例えばＡＦ制御回路１３０２により取得されたＡＦ用の合焦評価値により被写体、例えば人物の顔部の追尾を行う。  
なお、撮像部１０１の撮像により取得された画像データ中に被写体として複数の人物が存在し、これら人物のうち１人が追尾対象として指定され、他の人物が追尾対象として指定されない場合、第１の追尾処理回路１３０６は、追尾対象として指定された人物を顔部により追尾する。第２の追尾処理回路１３０７は、追尾対象として指定された人物を色情報により追尾する。第３の追尾処理回路１３０９は、追尾対象として指定されていない人物をＡＦ用の合焦評価値により追尾する。
【００３１】
なお、追尾処理は、顔認識と色情報とによる追尾に限らず、輝度情報を用いた追尾を用いても良い。ここで、輝度情報を用いた追尾処理について簡単に説明する。輝度情報を用いた追尾処理では、例えば、図４（ａ）に示す（Ｎ−１）フレームにおいて追尾対象が設定された場合、この（Ｎ−１）フレームの画像データを、評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データを、基準画像データに設定する。この後の追尾処理では、参照画像データの基準画像データ２０２と対応する部分を探索する。  
Ｎフレームの追尾処理を例に示すと、まず、Ｎフレームの画像データを、参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。この参照画像データのうちの所定の探索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和（画素毎に輝度差の絶対値を求めてそれを積算したもの）から判定する。例えば、図４（ｂ）に示す参照画像データのエリア２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データのエリア２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データのエリア２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小のエリアを参照画像データから探索する。図４（ｂ）の例では、エリア２０８となる。なお、追尾位置ログエリアには、エリア２０８の中で最も一致度の高い位置を追尾位置として記録する。なお、このような位置が複数ある場合には、例えば、エリア２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００３２】
フォーカス評価値取得エリア設定部１３０９は、例えば図５に示すように第１及び第２の追尾処理回路１３０６、１３０７によって撮像部１０１の撮像により取得された画像データ中の例えば人物の顔部等の被写体Ｑを追尾するための複数の特徴、例えば顔認識、色情報を取得するための複数のエリアＡ、Ｃを包含し、かつ被写体Ｑに対するフォーカス評価値を取得するためのフォーカス評価値取得エリアＤを設定する。  
例えば顔認識、色情報を取得するための複数のエリアは、顔部による追尾のための第１のエリアＡと、色情報による追尾のための第２のエリアＣとである。フォーカス評価値取得エリアＤのサイズは、これら第１のエリアＡと第２のエリアＣとを包含する。
【００３３】
フォーカス評価値取得エリア設定部１３０９は、色情報による追尾に対する信頼性を有し、顔部の認識による追尾のための第１のエリアＡと色情報による追尾のための第２のエリアＣとの包含関係を判定し、この判定結果に基づいてフォーカス評価値取得エリアＤを設定する。  
フォーカス評価値取得エリア設定部１３０９は、顔部による追尾のための第１のエリアＡが色情報による追尾のための第２のエリアＣを包含していれば、顔部による追尾のための第１のエリアＡを包含するフォーカス評価値取得エリアＤを設定する。  
フォーカス評価値取得エリア設定部１３０９は、色情報による追尾のための第２のエリアＣが顔部による追尾のための第１のエリアＡを包含していれば、色情報による追尾のための第２のエリアＣを包含するフォーカス評価値取得エリアＤを設定する。
【００３４】
追尾候補検出部１３１０は、例えば図６に示すように撮像部１０１の撮像により取得された画像データ中から少なくとも１つ被写体Ｑを含む追尾候補エリアを検出し、これら追尾候補エリアにそれぞれ各追尾枠ＣＡ１、ＣＡ２を設定する。
追尾エリア指定部１３１１は、追尾対象とする被写体の指示を例えばタッチパネル１２４から出力される接触検出信号としてＣＰＵ１３０１を介して受け取り、追尾候補検出部１３１０により検出された少なくとも１つの追尾候補エリア、例えば図６に示す各追尾枠ＣＡ１、ＣＡ２により設定された各被写体Ｑ１、Ｑ２から１つの被写体、例えば追尾枠ＣＡ１により設定された人物等の被写体Ｑ１の顔部を追尾エリアに指定する。すなわち、タッチパネル１２４上において、被写体Ｑ１の顔部の表示位置に対応する位置にユーザの指がタッチすると、このタッチパネル１２４は、当該タッチ位置を示す座標を含む接触検出信号を出力するので、追尾エリア指定部１３１１は、接触検出信号に含むタッチ位置を示す座標から追尾エリアを示す例えば追尾枠ＣＡ１内の被写体Ｑ１の顔部を指定する。
【００３５】
追尾エリア指定部１３１１は、追尾対象とする指示を受けた追尾エリアの追尾枠を被写体Ｑ１の顔部の大きさに応じたサイズに設定する。  
追尾エリア指定部１３１１は、追尾対象とする指示を受けていない追尾候補エリアのサイズを被写体Ｑ２の顔部の大きさに応じたサイズに設定する。
【００３６】
追尾禁止エリア設定部１３１２は、被写体を含む追尾エリアとして例えば枠ＣＡ１内の被写体Ｑ１の顔部が指定されると、フォーカス評価値取得エリアＤ内のフォーカス評価値に基づいて例えば追尾枠ＣＡ１内で指定された被写体Ｑ１以外の非指定エリア、例えば図６に示す枠ＣＡ２内のエリアに対する追尾、すなわち被写体Ｑ２の顔部に対する追尾を禁止する。  
この追尾禁止エリア設定部１３１２は、追尾エリア指定部１３１１により指定された追尾エリア、例えば枠ＣＡ１内の被写体Ｑ１の顔部と、この被写体Ｑ１以外の例えば被写体Ｑ２を含む枠ＣＡ２内のエリア（非指定エリア）との間隔と、各フォーカス評価値取得エリアＤ内の各フォーカス評価値とに基づいて第１乃至第３の追尾処理部１３０６〜１３０８による非指定エリアすなわち枠ＣＡ２内のエリアの被写体Ｑ２の顔部に対する追尾を禁止する。
【００３７】
この追尾禁止エリア設定部１３１２は、追尾エリア指定部１３１１により指定された追尾エリアとして例えば追尾枠ＣＡ１内の被写体Ｑ１の顔部と、非追尾エリアとして例えば枠ＣＡ２内の被写体Ｑ２の顔部との間隔が予め設定された第１の閾値以内で、かつ各フォーカス評価値取得エリアＤ内の各フォーカス評価値の差が予め設定された第２の閾値以上であれば、第１乃至第３の追尾処理部１３０６〜１３０８による非指定エリアとして例えば枠ＣＡ２内の被写体Ｑ２の顔部に対する追尾を禁止する。
【００３８】
追尾禁止エリア設定部１３１２は、追尾エリア指定部１３１１により指定された追尾エリアとして例えば枠ＣＡ１内の被写体Ｑ１の顔部と非追尾エリアとして例えば枠ＣＡ２内の被写体Ｑ２の顔部との間隔が予め設定された第１の閾値以内の時に、被写体Ｑ１の顔部と被写体Ｑ２の顔部の面積差を求め、当該面積差が予め設定された第３の閾値以上であれば、第１乃至第３の追尾処理部１３０６〜１３０８による非指定エリアとして例えば枠ＣＡ２内の被写体Ｑ２の顔部に対する追尾を禁止する。
【００３９】
メモリ制御回路１３１３は、ＣＰＵ１３０１等によってＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。  
カメラ操作スイッチ１３２は、ユーザによって操作される各種の操作部材である。カメラ操作スイッチ１３２としては、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等が含まれる。  
レリーズボタン釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有する。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンする。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンする。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。  
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。  
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。  
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。  
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、撮像装置１００が省電力待機状態となる。
【００４０】
フラッシュＲＯＭ１３４には、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードが記憶されている。このフラッシュＲＯＭ１３４には、本装置の撮影動作フローチャートや、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の各種の制御パラメータが記憶されている。さらには、フラッシュＲＯＭ１３４には、顏検出回路１３０７における顏検出に用いられる顏パーツのデータや追尾枠を表示するためのデータ等も記憶されている。
【００４１】
次に、本装置の動作について図７に示す撮影動作のフローチャートに従って説明する。  
ＣＰＵ１３０１は、ステップＳ１００において、本装置１００の撮影設定が静止画撮影モードであるか否かを判定する。この判定の結果、撮影設定が静止画撮影モードであると判定すると、ＣＰＵ１３０１は、ステップＳ１０２において、ライブビュー動作を開始する。  
このライブビュー動作では、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放し、この後、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始する。ＣＰＵ１３０１は、撮像素子１１４の撮像により取得された１フレーム毎の各画像データを順次ＲＡＭ１１８のワークエリア１１８ａに記憶する。続いて、ＣＰＵ１３０１は、ＲＡＭ１１８のワークエリア１１８ａに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、この表示素子駆動回路１２２によりＬＣＤ１２０を駆動して画像データをＬＣＤ１２０に表示する。このような画像データの表示動作を繰り返すことによってＬＣＤ１２０には、被写体の動画が表示される。ユーザは、ＬＣＤ１２０に動画表示される被写体のライブビューを観察することが可能である。
【００４２】
ＣＰＵ１３０１は、ステップＳ１０４において、１ｓｔレリーズスイッチがオンされたか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンされなければ、ＣＰＵ１３０１は、ライブビュー動作を継続する。  
１ｓｔレリーズスイッチがオンされると、ＣＰＵ１３０１は、ステップＳ１０６において、レリーズＡＦ処理を行う。このレリーズＡＦでは、ＣＰＵ１３０１は、スキャン駆動によってフォーカスレンズを合焦位置まで駆動する。このスキャン駆動において、ＣＰＵ１３０１は、焦点調整機構１０４を制御してフォーカスレンズを所定のスキャン範囲内で一方向に駆動し、これと共にＡＦ制御回路１３０２で順次算出されるＡＦ用の合焦評価値を評価する。  
ＣＰＵ１３０１は、ＡＦ用の合焦評価値の評価の結果、コントラストが最大となるレンズ位置においてフォーカスレンズの駆動を停止する。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
【００４３】
ＣＰＵ１３０１は、ステップＳ１０８において、追尾候補検出部１３１０を制御し、例えば図６に示すように撮像部１０１の撮像により取得された画像データ中から少なくとも１つ被写体、例えば２人の被写体Ｑ１、Ｑ２の各顔部を含む追尾候補エリアを検出し、これら追尾候補エリアにそれぞれ各追尾枠ＣＡ１、ＣＡ２を設定する。
【００４４】
具体的に図８は（Ｎ−１）フレームの画像データＨ１を示す。この画像データＨ１には、被写体として例えば２人の第１と第２の人物Ｍ、Ｗが写っている。顔認識回路１３０５は、画像データＨ１中から第１と第２の人物Ｍ、Ｗの各顔部Ｆ１、Ｆ２を認識する。ＣＰＵ１３０１は、表示素子駆動回路１２２を制御し、例えば図９に示すように画像データ中の第１と第２の人物Ｍ、Ｗの各顔部Ｆ１、Ｆ２を含むエリアに各追尾枠ＣＡ１、ＣＡ２を設定し、これら追尾枠ＣＡ１、ＣＡ２の設定された画像データをＬＣＤ１２０に表示する。
【００４５】
ここで、図１０に示すようにタッチパネル１２４上における被写体Ｑ１の顔部Ｆ１に対応する部分へのユーザの指Ｊによるタッチにより、例えば被写体Ｑ１の顔部Ｆ１が追尾対象して指定されると、ＣＰＵ１３０１は、追尾枠ＣＡ１が設定された被写体Ｑ１の顔部Ｆ１を追尾対象とすると共に、追尾枠ＣＡ２が設定された被写体Ｑ２の顔部Ｆ２を非追尾対象とする。すなわち、追尾エリア指定部１３１１は、タッチパネル１２４から出力される接触検出信号をＣＰＵ１３０１を介して受け取り、この接触検出信号に含むタッチ位置を示す座標から第１の人物Ｍの顔部Ｆ１を追尾枠ＣＡ１内を追尾エリアとして指定する。これと共に追尾エリア指定部１３１１は、追尾枠ＣＡ１以外の追尾枠、ここでは追尾枠ＣＡ２内の第２の人物Ｗの顔部Ｆ２を類似被写体とする。
【００４６】
ＣＰＵ１３０１は、ステップＳ１１０において、追尾対象と指定された追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１に対する追尾処理を行う。
ＣＰＵ１３０１は、ステップＳ１１２において、追尾対象と指定された追尾枠ＣＡ１内の顔部Ｆ１に合焦するようにＡＦ処理を行うと共に、同追尾枠ＣＡ１内の顔部Ｆ１の露光が適正となるようにＡＥ処理を行う。  
追尾処理後のＡＦ処理では、ＣＰＵ１３０１は、ウォブリング駆動によってフォーカスレンズを合焦位置まで駆動する。このウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が前回のレンズ位置での合焦評価値に対して増加したか否かを判定する。この判定の結果、合焦評価値が増加していれば、ＣＰＵ１３０１は、前回と同方向にフォーカスレンズを微小駆動する。合焦評価値が減少していれば、ＣＰＵ１３０１は、前回と逆方向にフォーカスレンズを微小駆動する。このような動作を高速で繰り返すことでフォーカスレンズは、徐々に合焦位置まで駆動する。これと共にＡＥ処理では、ＣＰＵ１３０１は、ＡＥ制御回路１３０３により算出された追尾枠ＣＡ１内の顔部Ｆ１の輝度を予め定められた適正な量（適正露光量）、すなわち本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００４７】
ＣＰＵ１３０１は、ステップＳ１１４において、２ｎｄレリーズスイッチがオンされたか否かを判定する。この判定の結果、２ｎｄレリーズスイッチがオンされていないと判定されると、ＣＰＵ１３０１は、上記ステップＳ１１０における追尾処理以後の処理を実行する。このように静止画撮影モード時、２ｎｄレリーズスイッチがオンされるまで、ＣＰＵ１３０１は、追尾処理を継続する。  
２ｎｄレリーズスイッチがオンされたと判定されると、ＣＰＵ１３０１は、ステップＳ１１６において、表示素子駆動回路１２２を制御し、追尾枠ＣＡ１を非表示とする。
【００４８】
ＣＰＵ１３０１は、ステップＳ１１８において、２ｎｄレリーズスイッチがオンされると、シャッタ駆動機構１１２を制御してシャッタ１１０を閉じる。この後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御し、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御し、シャッタ１１０を先に算出した開放時間だけ開放しながら撮像素子１１４による撮像（露光）を行う。この後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、この生成した静止画像ファイルを記録メディア１２８に記録する。  
ＣＰＵ１３０１は、ステップＳ１２０において、上記ステップＳ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。この後、ＣＰＵ１３０１は、図７に示す撮影動作を終了する。
【００４９】
一方、ＣＰＵ１３０１は、ステップＳ１００において、撮影設定が動画撮影モードであると判定すると、ステップＳ１２２に移り、ライブビュー動作を開始する。  
ＣＰＵ１３０１は、ステップＳ１２４において、動画釦がオンされたか否かを判定する。この判定の結果、動画釦がオンされなければ、ＣＰＵ１３０１は、ライブビュー動作を継続する。  
動画釦がオンされたと判定されると、ＣＰＵ１３０１は、ステップＳ１２６において、表示素子駆動回路１２２を制御し、上記ステップＳ１０８と同様に、例えば上記図６に示すように撮像部１０１の撮像により取得された画像データ中から少なくとも１つ被写体、例えば２人の被写体Ｑ１、Ｑ２の各顔部を含む追尾候補エリアを検出し、これら追尾候補エリアにそれぞれ各追尾枠ＣＡ１、ＣＡ２を設定する。
【００５０】
ここで、上記同様に、タッチパネル１２４上に対するタッチにより、例えば被写体Ｑ１の顔部Ｆ１が追尾対象して指定されると、ＣＰＵ１３０１は、追尾枠ＣＡ１が設定された被写体Ｑ１の顔部Ｆ１を追尾対象とすると共に、追尾枠ＣＡ２が設定された被写体Ｑ２の顔部Ｆ２を非追尾対象とする。  
ＣＰＵ１３０１は、ステップＳ１２８において、追尾対象して指定された追尾枠ＣＡ１の設定された被写体Ｑ１の顔部Ｆ１に対する追尾処理を行う。
【００５１】
ＣＰＵ１３０１は、ステップＳ１３０において、追尾対象して指定され追尾枠ＣＡ１内の顔部Ｆ１に合焦するようにＡＦ処理を行うと共に、追尾枠ＣＡ１内の顔部Ｆ１の露光が適正となるようにＡＥ処理を行う。このＡＦ処理では、ウォブリング駆動によってフォーカスレンズを合焦位置まで駆動する。
【００５２】
ＣＰＵ１３０１は、ステップＳ１３２において、動画像データを記録メディア１２８に記録する処理、すなわち、絞り駆動機構１０８を制御し、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行する。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００５３】
ＣＰＵ１３０１は、ステップＳ１３４において、上記ステップＳ１２８において得られた追尾処理の結果としての追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルに追記する。  
ＣＰＵ１３０１は、ステップＳ１３６において、動画釦がオフされたか否かを判定する。この判定の結果、動画釦がオフされていないと判定すると、ＣＰＵ１３０１は、上記ステップＳ１２８における追尾処理以後の処理を実行する。このように動画撮影モード時では、ＣＰＵ１３０１は、動画釦がオフされるまで追尾処理と動画像データの記録を継続する。  
動画釦がオフされると、ＣＰＵ１３０１は、ステップＳ１３８において、表示素子駆動回路１２２を制御し、追尾枠ＣＡ１を非表示とする。この後、ＣＰＵ１３０１は、ステップＳ１２０において、追尾データを追記する。この後、ＣＰＵ１３０１は、上記図７に示す撮影動作を終了する。
【００５４】
次に、追尾処理（ステップＳ１１０、Ｓ１２８）について図１１に示す追尾処理フローチャートに従って説明する。  
先ず、ＣＰＵ１３０１は、追尾対象と指定された被写体に対する追尾を行う。  
ＣＰＵ１３０１は、ステップＳ２００において、ＲＡＭ１１８のワークエリア１１８ａに記憶されている（Ｎ−１）フレームの画像データＨ１を読み出す。  
ここで、初回の追尾処理で得られた（Ｎ−１）フレームの画像データは、評価画像データとする。ＣＰＵ１３０１は、初回の追尾処理で得られた画像データをＳＤＲＡＭ１１８の評価画像エリア１１８ｂに取り込む。また、ＣＰＵ１３０１は、２回目以後の追尾処理で得られたＮフレームの画像データを参照画像データとし、この参照画像データをＳＤＲＡＭ１１８の参照画像エリア１１８ｃに取り込む。
【００５５】
ＣＰＵ１３０１の第２の追尾処理回路１３０７は、ステップＳ２０２において、ＲＡＭ１１８のワークエリア１１８ａから読み出した（Ｎ−１）フレームの画像データＨ１中から特徴量、例えば色情報を検出し、続くステップＳ２０４において、上記図３（ａ）（ｂ）に示すように色情報を用いて追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１の追尾処理を行い、同顔部Ｆ１の追尾位置を演算し求める。色情報を用いた追尾処理は、初回の追尾処理で得られた（Ｎ−１）フレームの評価画像データ内で設定された色情報とＮフレームの評価画像データ内で設定された色情報とが同色情報であると判定されるエリアすなわち追尾色エリアを探索する。  
具体的に第２の追尾処理回路１３０７は、上記図３（ａ）（ｂ）に示すように例えば位置３０２を開始位置とし、この位置３０２から周辺に向かうように順次色情報を取得し、この取得した色情報が位置３０２の色情報と同一であるか否かを判定する。この判定の結果、色情報が位置３０２の色情報と同一である判定した場合にはエリアに含め、これに対して取得した色情報が位置３０２の色情報と同一であると判定できない場合にはエリアに含めない。
【００５６】
ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾位置を、第２の候補追尾位置としてＲＡＭ１１８の追尾ログエリア１１８ｄに記憶する。ＣＰＵ１３０１は、ステップＳ２１２において、色情報を用いた追尾処理の結果として得られた追尾色エリアをＳＤＲＡＭ１１８の追尾位置ログエリア１１８ｄに記憶する。
【００５７】
ＣＰＵ１３０１は、ステップＳ２０６において、色情報を用いた人物の顔部Ｆ１の追尾処理の結果による追尾の信頼性を判定する。色情報を用いた追尾処理では、例えば参照画像データの彩度から信頼性を判定する。具体的に、参照画像データの追尾位置の彩度が所定の閾値以上である場合には、信頼性があると判定する。この信頼性の判定では、閾値は適宜設定可能である。なお、この信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
【００５８】
この判定の結果、色情報を用いた追尾処理に信頼性があれば、ＣＰＵ１３０１は、ステップＳ２０８において、追尾対象して指定された追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１に、非追尾対象である追尾枠ＣＡ２が設定された被写体Ｑ２の顔部Ｆ２が重なっているか否かを判定する。この判定の結果、追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１に追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２が重なっていれば、ＣＰＵ１３０１は、例えばステップＳ２００に戻る。  
追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１に追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２が重なっていなければ、ＣＰＵ１３０１は、ステップＳ２１０において、再度、ＲＡＭ１１８のワークエリア１１８ａに記憶されている（Ｎ−１）フレームの画像データＨ１を読み出し、続くステップＳ２１２において、顔認識回路１３０５を制御し、画像処理回路１３０４により取得された画像データにおける第１と第２の人物Ｍ、Ｗの各顏部Ｆ１、Ｆ２を検出する。この顏認識処理は、上記図２（ａ）（ｂ）に示すように、各フレームの画像データと各顔パーツ４０２、４０４、４０６との各相関量を求め、この相関量が最大になったときに人物の顔部を示す所定の配置となったとする。ここでは、顔認識回路１３０５は、第１の人物Ｍの顔部Ｆ１と第２の人物Ｗの顔部Ｆ２とを認識する。
【００５９】
ＣＰＵ１３０１は、ステップＳ２１４において、第１の追尾処理回路１３０６を制御し、この第１の追尾処理回路１３０６によって、撮像部１０１の撮像により取得された画像データ中から特徴量、例えば顔認識回路１３０５により認識された被写体、例えば第１の人物Ｍの顔部Ｆ１の追尾を行う。
【００６０】
ＣＰＵ１３０１は、ステップＳ２１６において、再び、追尾対象して指定された追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１に、非追尾対象である追尾枠ＣＡ２が設定された被写体Ｑ２の顔部Ｆ２が重なっているか否かを判定する。この判定の結果、追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１に追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２が重なっていれば、ＣＰＵ１３０１は、例えばステップＳ２００に戻る。
【００６１】
追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１に追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２が重なっていなければ、ＣＰＵ１３０１は、ステップＳ２１８において、追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１の追尾を行い、続くステップＳ２２０において、追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１の追尾位置を設定する。
【００６２】
ＣＰＵ１３０１は、ステップＳ２２２において、フォーカス評価値取得エリア設定部１３０９を制御し、このフォーカス評価値取得エリア設定部１３０９によって例えば図１２に示すように（Ｎ−１）フレームの画像データＨ１中の第１の人物Ｍの顔部Ｆ１を追尾するための複数の特徴、例えば色情報を取得するためのエリア（色エリア）Ｇと顔認識を取得するためのエリア（顔エリア）Ｅとを包含するエリアを有し、かつ第１の人物Ｍの顔部Ｆ１に対するフォーカス評価値を取得するためのフォーカス評価値取得エリアＤ１を設定する。このフォーカス評価値取得エリア設定部１３０９は、フォーカス評価値取得エリアＤ１内の第１の人物Ｗの顔部Ｆ１に対するフォーカス評価値を取得する。  
これと共にＣＰＵ１３０１は、図１２に示すように同（Ｎ−１）フレームの画像データ中の第２の人物Ｗの顔部Ｆ２を追尾するための例えば色情報を取得するためのエリアと顔認識を取得するためのエリアとを包含するエリアを有し、かつ第２の人物Ｗの顔部Ｆ２に対するフォーカス評価値を取得するためのフォーカス評価値取得エリアＤ２を設定する。このフォーカス評価値取得エリア設定部１３０９は、フォーカス評価値取得エリアＤ２内の第２の人物Ｗの顔部Ｆ２に対するフォーカス評価値を取得する。  
続いてＣＰＵ１３０１は、図１３に示すように（Ｎ−１）フレームの画像データＨ１中の第１の人物Ｍの顔部Ｆ１に追尾枠ＣＡ１を設定する。
【００６３】
次に、ＣＰＵ１３０１は、追尾対象と指定されなかった被写体（非追尾対象）に対する追尾を行う。  
ＣＰＵ１３０１は、ステップＳ２２４において、図１４に示すようにＲＡＭ１１８のワークエリア１１８ａに記憶されているＮフレームの画像データＨ２を読み出し、続くステップＳ２２６において、フォーカス評価値取得エリア設定部１３０９によって設定されたフォーカス評価値取得エリアＤ２内でＡＦ用の合焦評価値を求める。
【００６４】
ＣＰＵ１３０１は、ステップＳ２２８において、Ｎフレームの画像データＨ２中からフォーカス評価値取得エリアＤ２が設定された被写体Ｑ２の顔部Ｆ２をＡＦ用の合焦評価値を用いて被写体Ｑ２の顔部Ｆ２の追尾処理を行い、同顔部Ｆ２の追尾位置を演算し求める。  
ＣＰＵ１３０１は、ステップＳ２３０において、ＡＦ用の合焦評価値を用いての追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２の追尾処理に対する信頼性を判定する。この信頼性の判定は、例えば画像データＨ１の輝度変化の度合い等により行う。
【００６５】
ＣＰＵ１３０１は、ステップＳ２３２において、追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２の追尾位置を設定する。  
ＣＰＵ１３０１は、ステップＳ２３４において、追尾禁止エリア設定部１３１２を制御し、図１５に示すように追尾禁止エリア設定部１３１２により追尾エリア指定部１３１１により指定された追尾エリアとして例えばフォーカス評価値取得エリアＤ１と、非追尾エリアとして例えばフォーカス評価値取得エリアＤ２との間隔が予め設定された第１の閾値以内であるか否かを判定する。  
この判定の結果、フォーカス評価値取得エリアＤ１とフォーカス評価値取得エリアＤ２との間隔が予め設定された第１の閾値以内で、かつ各フォーカス評価値取得エリアＤ１とＤ２との面積の差が予め設定された第３の閾値以上であれば、図１６に示すように追尾禁止エリア設定部１３１２は、ステップＳ２３６において、フォーカス評価値取得エリアＤ２内を追尾の禁止領域に設定する。  
ＣＰＵ１３０１は、ステップＳ２３８において、図１７に示すように被写体Ｑ１の顔部Ｆ１に設定されている追尾枠ＣＡ１を更新する。なお、フォーカス評価値取得エリアＤ１とフォーカス評価値取得エリアＤ２との間隔が予め設定された第１の閾値以内でなければ、ＣＰＵ１３０１は、ステップＳ２３８に移り、被写体Ｑ１の顔部Ｆ１に設定されている追尾枠ＣＡ１を更新する。
【００６６】
例えば、図１８は（Ｎ＋１）フレームの画像データＨ３を示す。この画像データＨ３は、第２の人物Ｗの顔部Ｆ２に対して色情報による追尾が移行しようとしている状態を示しているが、追尾枠ＣＡ２内の第２の人物Ｗの顔部Ｆ２は、図１９に示すように追尾禁止エリア設定部１３１２によって非追尾対象に設定されているので、第２の追尾処理回路１３０７により追尾枠ＣＡ２内の第２の人物Ｗの顔部Ｆ２の色情報の追尾結果が取得されたとしても、当該第２の追尾処理回路１３０７は、色情報の追尾結果を採用しない。
【００６７】
これと共に第１の追尾処理部１３０６は、図１９に示すように第１の人物Ｍの顔部Ｆ１に対して顔認識を取得するための顔エリアＥを設定する。  
続いてフォーカス評価値取得エリア設定部１３０９は、図２０に示すように色情報を取得するための色エリアＧと顔認識を取得するための顔エリアＥとを包含するエリアを有し、かつ第１の人物Ｍの顔部Ｆ１に対するフォーカス評価値を取得するためのフォーカス評価値取得エリアＤ１を設定する。  
この結果、第１の人物Ｍの顔部Ｆ１に対する追尾が継続される。
【００６８】
次に、ＡＦ評価値取得エリア設定（ステップＳ２２２）について図２１に示すＡＦ評価値取得エリア設定フローチャートに従って説明する。  
ＣＰＵ１３０１は、ステップＳ３００において、フォーカス評価値取得エリア設定部１３０９を制御し、このフォーカス評価値取得エリア設定部１３０９により上記ステップＳ２０６における色情報を用いた人物の顔部Ｆ１の追尾処理の結果による追尾の信頼性があるか否かを判定する。この判定の結果、色情報を用いた人物の顔部Ｆ１の追尾処理の結果に信頼性があれば、フォーカス評価値取得エリア設定部１３０９は、ステップＳ３０２に移り、例えば図１２に示すように顔認識を取得するための顔エリアＥが色情報を取得するための色エリアＧを包含するか否かを判定する。  
この判定の結果、顔エリアＥが色エリアＧを包含すれば、フォーカス評価値取得エリア設定部１３０９は、ステップＳ３０４に移り、フォーカス評価値取得エリアＤ１、Ｄ２をそれぞれ顔エリアＥを包含する大きさのエリアに決定する。
【００６９】
顔エリアＥが色エリアＧを包含していなければ、フォーカス評価値取得エリア設定部１３０９は、ステップＳ３０２からステップＳ３０６に移り、色エリアＧが顔エリアＥを包含するか否かを判定する。  
この判定の結果、色エリアＧが顔エリアＥを包含すれば、フォーカス評価値取得エリア設定部１３０９は、ステップＳ３０８に移り、フォーカス評価値取得エリアＤ１、Ｄ２をそれぞれ色エリアＧを包含する大きさのエリアに決定する。  
色エリアＧが顔エリアＥを包含していなければ、フォーカス評価値取得エリア設定部１３０９は、ステップＳ３０９に移り、フォーカス評価値取得エリアＤ１、Ｄ２をそれぞれ顔エリアＥと色エリアＧとを包含する大きさのエリアに決定する。  
この結果、フォーカス評価値取得エリアＤ１、Ｄ２の各エリアの大きさが決定される。
【００７０】
次に、追尾禁止領域判定処理（ステップＳ２３６）について図２２に示す追尾禁止領域判定処理フローチャートに従って説明する。  
追尾禁止エリア設定部１３１２は、追尾エリア指定部１３１１により指定された追尾エリアとして例えばフォーカス評価値取得エリアＤ１とフォーカス評価値取得エリアＤ２との間隔が予め設定された第１の閾値以内で、かつ各フォーカス評価値取得エリアＤ１、Ｄ２内の各フォーカス評価値の差が予め設定された第２の閾値以上であれば、エリアＤ２内を第１乃至第３の追尾処理部１３０６〜１３０８による追尾の禁止領域に設定する。
【００７１】
具体的に、ＣＰＵ１３０１は、追尾禁止エリア設定部１３１２を制御し、この追尾禁止エリア設定部１３１２により、ステップＳ４００において、図２３に示すように（Ｎ＋１）フレームの画像データＨ３に対し、追尾対象に指定されている被写体Ｑ１の顔部Ｆ１に対してフォーカス評価値取得エリアＤ１を設定する。これと共に追尾禁止エリア設定部１３１２は、同画像データＨ３に対し、追尾対象に指定されていない被写体Ｑ２の顔部Ｆ２に対してフォーカス評価値取得エリアＤ１と同面積のフォーカス評価値取得エリアＤ２とを設定する。
【００７２】
追尾禁止エリア設定部１３１２は、ステップＳ４０２において、画像データＨ３中の被写体Ｑ１の顔部Ｆ１に設定されたフォーカス評価値取得エリアＤ１内のＡＦ用のフォーカス評価値を取得する。  
続いて追尾禁止エリア設定部１３１２は、ステップＳ４０４において、画像データＨ３中の被写体Ｑ１の顔部Ｆ２に設定されたフォーカス評価値取得エリアＤ２内のＡＦ用のフォーカス評価値を取得する。
【００７３】
追尾禁止エリア設定部１３１２は、ステップＳ４０６において、被写体Ｑ１の顔部Ｆ１に設定されたフォーカス評価値取得エリアＤ１内のＡＦ用のフォーカス評価値と、被写体Ｑ１の顔部Ｆ２に設定されたフォーカス評価値取得エリアＤ２内のＡＦ用のフォーカス評価値との差分を演算して求める。  
追尾禁止エリア設定部１３１２は、ステップＳ４０８において、当該フォーカス評価値取得エリアＤ１内のＡＦ用のフォーカス評価値と、フォーカス評価値取得エリアＤ２内のＡＦ用のフォーカス評価値との差分が予め設定された第２の閾値と等しいか、又は第２の閾値以上であるか否かを判定する。
【００７４】
この判定の結果、上記ＡＦ用のフォーカス評価値との差分が予め設定された第２の閾値と等しい、又は第２の閾値以上であれば、追尾禁止エリア設定部１３１２は、ステップＳ４１０において、図２４に示すようにフォーカス評価値取得エリアＤ２内を第１乃至第３の追尾処理部１３０６〜１３０８による追尾の禁止領域に設定する。  
続いて追尾禁止エリア設定部１３１２は、図２５に示すように追尾枠ＣＡ１を被写体Ｑ１の顔部Ｆ１に設定する。  
なお、上記ＡＦ用のフォーカス評価値との差分が予め設定された第２の閾値と等しくなく、又は第２の閾値以上でなければ、追尾禁止エリア設定部１３１２は、被写体Ｑ２の顔部Ｆ２を含む追尾枠ＣＡ２内を追尾禁止エリアに設定しない。
【００７５】
次に、別の追尾禁止領域判定処理（ステップＳ２３６）について図２６に示す追尾禁止領域判定処理フローチャートに従って説明する。  
追尾禁止エリア設定部１３１２は、追尾エリア指定部１３１１により指定された追尾エリアとして例えば枠ＣＡ１内の被写体Ｑ１の顔部と非追尾エリアとして例えば枠ＣＡ２内の被写体Ｑ２の顔部との面積差を求め、当該面積差が予め設定された第３の閾値以上であれば、第１乃至第３の追尾処理部１３０６〜１３０８による非指定エリアとして例えば枠ＣＡ２内の被写体Ｑ２の顔部に対する追尾を禁止する。
【００７６】
具体的に、追尾禁止エリア設定部１３１２は、ステップＳ５００において、追尾エリア指定部１３１１により指定された被写体Ｑ１の顔部Ｆ１に設定された追尾枠ＣＡ１内の面積を取得する。  
続いて追尾禁止エリア設定部１３１２は、ステップＳ５０２において、追尾エリア指定部１３１１により指定されなかった被写体Ｑ２の顔部Ｆ２に設定された追尾枠ＣＡ２内の面積を取得する。
【００７７】
追尾禁止エリア設定部１３１２は、ステップＳ５０４において、被写体Ｑ１の顔部Ｆ１に設定された追尾枠ＣＡ１内の面積と、被写体Ｑ２の顔部Ｆ２に設定された追尾枠ＣＡ２内の面積の差分を演算し求める。  
続いて追尾禁止エリア設定部１３１２は、ステップＳ５０６において、上記追尾枠ＣＡ１内の面積と上記追尾枠ＣＡ２内の面積との差分が予め設定された第３の閾値以上であるか否かを判定する。
【００７８】
この判定の結果、追尾枠ＣＡ１内の面積と上記追尾枠ＣＡ２内の面積との差分が予め設定された第３の閾値以上であれば、追尾禁止エリア設定部１３１２は、ステップＳ５０８において、被写体Ｑ２の顔部Ｆ２を含む追尾枠ＣＡ２内を追尾禁止エリアに設定し、第１乃至第３の追尾処理部１３０６〜１３０８による追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２に対する追尾を禁止する。  
続いて第３の追尾処理回路１３０９は、追尾枠ＣＡ１を被写体Ｑ１の顔部Ｆ１に設定する。  
なお、追尾枠ＣＡ１内の面積と追尾枠ＣＡ２内の面積との差分が第３の閾値と等しくなく、又は第３の閾値以上でなければ、追尾禁止エリア設定部１３１２は、被写体Ｑ２の顔部Ｆ２を含む追尾枠ＣＡ２内を追尾禁止エリアに設定しない。
【００７９】
このように上記一実施の形態によれば、フォーカス評価値取得エリア設定部１３０９によって顔部の認識による追尾のための第１のエリアＡと色情報による追尾のための第２のエリアＣとの包含関係を判定し、この判定結果に基づいてフォーカス評価値取得エリアＤを設定し、追尾禁止エリア設定部１３１２によって例えば枠ＣＡ１内の被写体Ｑ１の顔部が指定されると、フォーカス評価値取得エリアＤの面積に基づいて例えば追尾枠ＣＡ１内で指定された被写体Ｑ１以外の非指定エリアの追尾枠ＣＡ２に対する追尾を禁止する。これにより、追尾するに適切なＡＦ評価値を用いて追尾性能を向上できる。例えば移動する被写体よりもＡＦエリアが小さい場合のようにローコントラストになって移動する被写体を検出できなくなることはなく、又、移動する被写体よりもＡＦエリアが大きい場合のように被写体の周囲も含まれて移動する被写体のみのＡＦ評価値を取得できないこともない。
【００８０】
フォーカス評価値取得エリアＤの大きさは、顔部の認識による追尾のための第１のエリアＡと色情報による追尾のための第２のエリアＣとの包含関係から適正な大きさに設定可能である。例えば、顔部による追尾のための第１のエリアＡが色情報による追尾のための第２のエリアＣを包含していれば、フォーカス評価値取得エリアＤは、顔部による追尾のための第１のエリアＡを包含する大きさに設定できる。色情報による追尾のための第２のエリアＣが顔部による追尾のための第１のエリアＡを包含していれば、フォーカス評価値取得エリアＤは、色情報による追尾のための第２のエリアＣを包含するフォーカス評価値取得エリアＤを設定できる。
【００８１】
又、追尾エリアとして指定された追尾エリア以外の例えば被写体Ｑ２を含む追尾枠ＣＡ２内の追尾の禁止は、例えば、２つの手法、すなわち追尾エリアとして追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１と、非追尾エリアとして追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２との間隔が予め設定された第１の閾値以内で、かつ各フォーカス評価値取得エリアＤ内の各フォーカス評価値の差が予め設定された第２の閾値以上であれば、追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２に対する追尾を禁止できる。  
又、追尾エリアとしての追尾枠ＣＡ１内の被写体Ｑ１の顔部Ｆ１と非追尾エリアとして追尾枠ＣＡ２内の被写体Ｑ２の顔部Ｆ２との面積差を求め、当該面積差が予め設定された第３の閾値以上であれば、第１乃至第３の追尾処理部１３０６〜１３０８による非指定エリアとして例えば枠ＣＡ２内の被写体Ｑ２の顔部に対する追尾を禁止できる。
【００８２】
追尾処理後のＡＦ処理では、ＣＰＵ１３０１は、ウォブリング駆動によってフォーカスレンズを合焦位置まで駆動するが、ここで、ウォブリング動作について図２７に示す説明図を参照して説明する。  
コントラストＡＦ方式は、自動的にピントを調節するオートフォーカス制御を行う機能として、撮像画像のＡＦ領域のコントラストや高周波成分等を抽出してＡＦ評価値を生成し、そのＡＦ評価値が一番高くなるようにレンズ位置を調整する。
【００８３】
図１はフォーカスレンズ位置に対するＡＦ評価値の変化を示す。フォーカスレンズ位置に対するＡＦ評価値は、合焦位置で最大値（ピーク値）となり、合焦位置（ピーク位置）から遠距離側（後ピン側）又は近距離側（前ピン側）に離れるに従って小さくなる。従って、オートフォーカス制御を行う場合、ＡＦ評価値がピーク値となるように、フォーカスレンズレンズの位置制御を行う。
【００８４】
ＡＦ評価値がピーク値となる位置にフォーカスレンズを移動させるためには、現在のフォーカスレンズ位置に対して合焦位置がどちら方向にあるか、つまり、合焦位置から遠距離側に位置しているのか、近距離側に位置しているのかを判断しなければならない。  
この具体的な方法は、画像に影響を与えない程度にフォーカスレンズを微小振動（ウォブリング）動作させ、ＡＦ評価値の変動方向を検出するものとなる。
【００８５】
次に、例えば撮像素子１１４の撮像面上における位相差ＡＦについて図２８及び図２９を参照して説明する。  
撮像素子１１４により射出瞳の異なる部分を通過した光束を受光することによって位相差ＡＦが可能である。撮像素子１１４の撮像面は、ＡＦ用画素列がベイヤー配列されている。この撮像素子１１４の撮像面においてベイヤー配列の一部分に配置されたＡＦ用画素列の各撮像素子１１４の各出力に基づく位相差検出方式の焦点検出が可能である。
【００８６】
図２８はＡＦ用画素列の構成を示す。ＡＦ用画素列には、撮影レンズの射出瞳の上側部分１００ａからの光束２００ａと下側部分１００ｂからの光束２００ｂとを分離させるための開口部の位置が対称となっている遮光部３００ａ、３００ｂを有する一対の画素４００ａ、４００ｂが垂直方向に沿って複数個配列されている。
【００８７】
第１ＡＦ画素４００ａは、遮光部３００ａの開口が光電変換部に対して下側に偏っている。第２ＡＦ画素４００ｂは、遮光部３００ｂの開口が上側に偏っている。第１のＡＦ画素４００ａと第２のＡＦ画素４ｂとは、ＡＦ用画素列において交互に配置される。第１のＡＦ画素４００ａ、第２のＡＦ画素４００ｂは、連続的に配置される必要はなく、ベイヤー配列の中で離散的に配置してもよい。
【００８８】
射出瞳の上側部分１００ａからの光束２００ａは、マイクロレンズ５００ａ、遮光部３００ａの開口を通過して第１のＡＦ画素４００ａの光電変換部で受光される。射出瞳の下側部分１００ｂからの光束２００ｂは、マイクロレンズ５００ｂ、遮光部３００ｂの開口を通過して第２のＡＦ画素４００ｂの光電変換部で受光される。このように射出瞳の異なる部分を通過する光束をそれぞれ検出する構成を有する。
【００８９】
第１のＡＦ画素４００ａの画素出力をａ列画素出力、第２のＡＦ画素４００ｂの画素出力をｂ列画素出力とする。図２９において画素４００ａ１〜４００ａ３を含むａ列画素出力はＤａで示す。画素４００ｂ１〜４００ｂ３を含むｂ列画素出力はＤｂで示される。これにより、一対の像Ｄａ、Ｄｂが生成される。
【００９０】
ａ列、ｂ列画素出力の間には、ＡＦ用画素列の配列方向において位相差ｆが生ずる。位相差ＡＦ方式の原理に基づき、上記位相差ｆよりＡＦ用画素列に対応する被写体に関する撮影レンズのデフォーカス量とデフォーカス方向を求めることができる。  
ＡＦ用画素列は、全撮影画面に対応する撮像領域に所定の間隔で複数個設けられ、撮影画面の全域にてデフォーカス量を求めることが可能である。  
また、撮像素子とは別体の公知のＴＴＬ位相差検出ユニットを設け、デフォーカス量、デフォーカス方向を検出し相対的距離を求めてもよい。また、撮影レンズを通過する光束とは異なる光束を用いる外光式位相差検出ユニットを設け、被写体距離を検出して相対的距離を求めてもよい。
【００９１】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。  
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００９２】
１００：撮像装置、１０２：撮影光学系、１０４：焦点調整機構、１０６：絞り、１０８：絞り駆動機構、１１０：シャッタ、１１２：シャッタ駆動機構、１１４：撮像素子、１１６：撮像素子インターフェイス（ＩＦ）回路、１１８：ＳＤＲＡＭ、１２０：表示素子、１２２：表示素子駆動回路、１２４：タッチパネル、１２６：タッチパネル駆動回路、１２８：記録メディア、１３０１：ＣＰＵ、１３０：システムコントローラ、１３２：カメラ操作スイッチ、１３４：ＲＯＭ、１０１：撮像部、１１８ａ：ワークエリア、１１８ｂ：評価画像エリア、１１８ｃ：参照画像エリア、１１８ｄ：追尾位置ログエリア、１１８ｅ：コントラスト情報ログエリア、１２８ａ：画像ファイル、１３０２：ＡＦ制御回路、１３０３：ＡＥ制御回路、１３０４：画像処理回路、１３０５：顔認識回路、１３０６：第１の追尾処理回路、１３０７：第２の追尾処理回路、１３０８：第３の追尾処理回路、１３０９：フォーカス評価値取得エリア設定部、１３１０：追尾候補検出部、１３１１：追尾エリア指定部、１３１２：追尾禁止エリア設定部、１３１３：メモリ制御回路、４０２，４０４，４０６：顔パーツ。
【図１】
0005965654.tif 000002
【図２】
0005965654.tif 000003
【図３】
0005965654.tif 000004
【図４】
0005965654.tif 000005
【図５】
0005965654.tif 000006
【図６】
0005965654.tif 000007
【図７】
0005965654.tif 000008
【図８】
0005965654.tif 000009
【図９】
0005965654.tif 000010
【図１０】
0005965654.tif 000011
【図１１】
0005965654.tif 000012
【図１２】
0005965654.tif 000013
【図１３】
0005965654.tif 000014
【図１４】
0005965654.tif 000015
【図１５】
0005965654.tif 000016
【図１６】
0005965654.tif 000017
【図１７】
0005965654.tif 000018
【図１８】
0005965654.tif 000019
【図１９】
0005965654.tif 000020
【図２０】
0005965654.tif 000021
【図２１】
0005965654.tif 000022
【図２２】
0005965654.tif 000023
【図２３】
0005965654.tif 000024
【図２４】
0005965654.tif 000025
【図２５】
0005965654.tif 000026
【図２６】
0005965654.tif 000027
【図２７】
0005965654.tif 000028
【図２８】
0005965654.tif 000029
【図２９】
0005965654.tif 000030