(57)【要約】  追尾装置は、第１の追尾位置検出部(1305)と、第２の追尾位置検出部(1306)と、参照情報取得部(1308）と、制御部(1301)と、を備える。第１の追尾位置検出部(1305)は、第１の特徴情報から、画像データにおける第１の候補追尾位置を検出する。第２の追尾位置検出部(1306)は、第２の特徴情報から、画像データにおける第２の候補追尾位置を検出する。参照情報取得部(1308)は、第１の候補追尾位置に存在する、第２の特徴情報と同種類の特徴情報を参照情報として取得する。制御部(1301)は、第２の特徴情報と参照情報の特徴の一致の有無の判断と第２の候補追尾位置に参照情報が含まれているか否かの判断とに従って、真の追尾位置を決定する。
2013001940.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データに含まれる、追尾対象とする被写体を指定する追尾被写体指定部と、
前記画像データから第１の特徴情報を検出し、この第１の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第１の候補追尾位置とする第１の追尾位置検出部と、
前記画像データから、前記第１の特徴情報とは異なる特徴情報を第２の特徴情報として検出し、この第２の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第２の候補追尾位置として検出する第２の追尾位置検出部と、
前記第１の候補追尾位置に存在する、前記第２の特徴情報と同種類の特徴情報を参照情報として取得する参照情報取得部と、
前記第２の特徴情報と前記参照情報の特徴の一致の有無の判断と前記第２の候補追尾位置に前記参照情報が含まれているか否かの判断とに従って、真の追尾位置を決定する制御部と、
を具備することを特徴とする追尾装置。
【請求項２】
前記制御部は、前記第２の候補追尾位置に前記参照情報が含まれていないと判断した場合に、前記第２の候補追尾位置を真の追尾位置とすることを特徴とする請求項１に記載の追尾装置。
【請求項３】
前記制御部は、前記第２の候補追尾位置に前記参照情報が含まれていると判定した場合であって、前記第１の候補追尾位置と前記第２の候補追尾位置との距離が近い場合には、前記第２の候補追尾位置を前記真の追尾位置とし、前記第１の候補追尾位置と前記第２の候補追尾位置との距離が遠いと場合には、前記第１の候補追尾位置を前記真の追尾位置とすることを特徴とする請求項２に記載の追尾装置。
【請求項４】
前記第２の追尾位置検出部は、前記画像データにおいて前記第２の特徴情報を有する領域を取得し、この領域を基に前記第２の候補追尾位置を検出し、
前記制御部は、前記取得した第２の特徴情報を有する領域に前記第１の候補追尾位置が包含される場合に、前記第１の候補追尾位置と前記第２の候補追尾位置との距離が近い場合と判断し、前記取得した第２の特徴情報を有する領域に前記第１の候補追尾位置が包含されない場合に、前記第１の候補追尾位置と前記第２の候補追尾位置との距離が遠い場合と判断することを特徴とする請求項３に記載の追尾装置。
【請求項５】
前記第１の追尾位置検出部と前記第２の追尾位置検出部は、次回の前記画像データの入力時に、前記真の追尾位置を基に、前記第１の候補追尾位置と前記第２の候補追尾位置を検出することを特徴とする請求項１に記載の追尾装置。
【請求項６】
前記第２の特徴情報と前記参照情報は、色情報であることを特徴とする請求項１に記載の追尾装置。
【請求項７】
前記第１の特徴情報は、輝度情報であることを特徴とする請求項１に記載の追尾装置。
【請求項８】
追尾被写体指定部が、入力された画像データに含まれる、追尾対象とする被写体を指定することと、
第１の追尾位置検出部が、前記画像データから第１の特徴情報を検出し、この第１の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第１の候補追尾位置として検出することと、
第２の追尾位置検出部が、前記画像データから、前記第１の特徴情報とは異なる特徴情報を第２の特徴情報として検出し、この第２の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第２の候補追尾位置として検出することと、
参照情報取得部が、前記第１の候補追尾位置に存在する、前記第２の特徴情報と同種類の特徴情報を参照情報として取得することと、
制御部が、前記第２の特徴情報と前記参照情報の特徴の一致の有無の判断と前記第２の候補追尾位置に前記参照情報が含まれているか否かの判断とに従って、真の追尾位置を決定することと、
を備えることを特徴とする追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を追尾する追尾装置及び追尾方法に関する。
【背景技術】
【０００２】
従来、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体を追従するために追尾処理が用いられている。追尾処理には、輝度情報を利用するものや、色情報を利用するもの、顔検出を利用するもの等、種々のものがある。【０００３】
ここで、１種類のみの追尾処理を用いた場合、追尾処理に失敗してしまうと、それ以降は正しい追尾処理が不能となる可能性がある。これに対し、日本国特許第４５０６７７９号公報においては、各フレームの顔検出の結果に応じて顔画像が検出状態か非検出状態かを判定し、顔画像が非検出状態のときは、その顔画像が非検出状態となったフレームに隣接するフレーム間で例えばマッチング処理を行うことにより、顔画像が非検出状態となったフレームにおける顔画像対応部を検出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国特許第４５０６７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、日本国特許第４５０６７７９号公報の技術は、顔検出を利用した追尾処理とマッチング（前述の輝度情報を利用した追尾処理）とを用いて被写体を追尾している。しかしながら、日本国特許第４５０６７７９号公報の技術は、輝度情報を利用した追尾処理の追尾性能の向上を図った技術ではない。このため、輝度情報を利用した追尾処理が苦手とするシーンで顔検出にも失敗した場合には追尾処理に失敗する可能性がある。【０００６】
本発明は、前記の事情に鑑みてなされたもので、苦手シーンが生じても高い追尾性能の追尾装置及び追尾方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様の追尾装置は、入力された画像データに含まれる、追尾対象とする被写体を指定する追尾被写体指定部と、前記画像データから第１の特徴情報を検出し、この第１の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第１の候補追尾位置とする第１の追尾位置検出部と、前記画像データから、前記第１の特徴情報とは異なる特徴情報を第２の特徴情報として検出し、この第２の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第２の候補追尾位置として検出する第２の追尾位置検出部と、前記第１の候補追尾位置に存在する、前記第２の特徴情報と同種類の特徴情報を参照情報として取得する参照情報取得部と、前記第２の特徴情報と前記参照情報の特徴の一致の有無の判断と前記第２の候補追尾位置に前記参照情報が含まれているか否かの判断とに従って、真の追尾位置を決定する制御部と、を具備することを特徴とする。【０００８】
本発明の第２の態様の追尾方法は、追尾被写体指定部が、入力された画像データに含まれる、追尾対象とする被写体を指定することと、第１の追尾位置検出部が、前記画像データから第１の特徴情報を検出し、この第１の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第１の候補追尾位置として検出することと、第２の追尾位置検出部が、前記画像データから、前記第１の特徴情報とは異なる特徴情報を第２の特徴情報として検出し、この第２の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第２の候補追尾位置として検出することと、参照情報取得部が、前記第１の候補追尾位置に存在する、前記第２の特徴情報と同種類の特徴情報を参照情報として取得することと、制御部が、前記第２の特徴情報と前記参照情報の特徴の一致の有無の判断と前記第２の候補追尾位置に前記参照情報が含まれているか否かの判断とに従って、真の追尾位置を決定することと、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、苦手シーンが生じても高い追尾性能の追尾装置及び追尾方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。
【図２Ａ】図２Ａは、輝度情報を用いた追尾処理について説明するための第１の図である。
【図２Ｂ】図２Ｂは、輝度情報を用いた追尾処理について説明するための第２の図である。
【図３Ａ】図３Ａは、色情報を用いた追尾処理について説明するための第１の図である。
【図３Ｂ】図３Ｂは、色情報を用いた追尾処理について説明するための第２の図である。
【図４Ａ】図４Ａは、顔検出処理について説明するための第１の図である。
【図４Ｂ】図４Ｂは、顔検出処理について説明するための第２の図である。
【図５】図５は、撮像装置の撮影動作を示すフローチャートである。
【図６】図６は、本発明の一実施形態に係る追尾方法としての追尾処理について示すフローチャートである。
【図７】図７は、優先追尾判定処理について示すフローチャートである。
【図８Ａ】図８Ａは、輝度情報と色情報の一方のみを用いて追尾処理を行った場合の動作について説明するための第１の図である。
【図８Ｂ】図８Ｂは、輝度情報と色情報の一方のみを用いて追尾処理を行った場合の動作について説明するための第２の図である。
【図８Ｃ】図８Ｃは、輝度情報と色情報の一方のみを用いて追尾処理を行った場合の動作について説明するための第３の図である。
【図９Ａ】図９Ａは、本発明の一実施形態における追尾処理を行った場合の動作について説明するための第１の図である。
【図９Ｂ】図９Ｂは、本発明の一実施形態における追尾処理を行った場合の動作について説明するための第２の図である。
【図９Ｃ】図９Ｃは、本発明の一実施形態における追尾処理を行った場合の動作について説明するための第３の図である。
【図９Ｄ】図９Ｄは、本発明の一実施形態における追尾処理を行った場合の動作について説明するための第４の図である。
【図１０】図１０は、本発明の一実施形態の変形例の追尾処理について説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、を有している。
【００１２】
撮影光学系１０２は、図示しない被写体からの光束Ｆを、撮像素子１１４の受光面上に集光するための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。
【００１３】
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。
【００１４】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。
【００１５】
撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１６】
撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１７】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、評価画像エリア、参照画像エリア、追尾位置ログエリア、追尾色領域ログエリア、を記憶エリアとして有している。  ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。  
評価画像エリアは、評価画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。評価画像データは、後述する追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、この追尾対象を追尾するように処理が行われる。  
参照画像エリアは、参照画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。参照画像データは、後述する追尾処理において、追尾対象の探索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で探索が行われる。  
追尾位置ログエリアは、追尾位置ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。本実施形態では、複数の追尾処理を併用して追尾対象を追尾する。したがって、追尾位置ログには、それぞれの追尾処理によって得られた追尾位置（候補追尾位置）を例えば過去１０フレーム分個別に記録する。また、追尾位置ログには、後述の優先追尾位置判定処理によって採用された最終的な追尾位置も記録する。
【００１８】
追尾色領域ログエリアは、追尾色領域ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾色領域ログは、追尾処理によって得られた追尾色領域を記録したログである。本実施形態では、追尾色領域を例えば過去１０フレーム分記録する。追尾色領域の詳細については後述する。
【００１９】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。
【００２０】
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００２１】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００２２】
システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、追尾処理回路１３０５、１３０６と、顔検出回路１３０７と、色情報取得回路１３０８と、メモリ制御回路１３０９と、を有している。
【００２３】
ＣＰＵ１３０１は、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する。また、ＣＰＵ１３０１は、制御部としての機能も有し、後述の優先追尾判定処理において最終的な追尾位置を決定することも行う。
【００２４】
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。
【００２５】
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００２６】
画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００２７】
第１の追尾位置検出部としての追尾処理回路１３０５は、第１の特徴情報としての画像データの輝度情報を用いた追尾処理を行う。この輝度情報を用いた追尾処理について簡単に説明する。輝度情報を用いた追尾処理では、例えば、図２Ａに示す（Ｎ−１）フレームにおいて追尾対象が設定された場合、この（Ｎ−１）フレームの画像データを、評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データを、基準画像データに設定する。この後の追尾処理では、参照画像データの基準画像データ２０２と対応する部分を探索する。  
Ｎフレームの追尾処理を例に示すと、まず、Ｎフレームの画像データを、参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。この参照画像データのうちの所定の探索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和から判定する。画素毎の差分絶対値和は、画素毎に輝度差の絶対値を求めてそれを積算したものである。例えば、図２Ｂに示す参照画像データの領域２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データの領域２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データの領域２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小の領域を参照画像データから探索する。図２Ｂの例では、領域２０８となる。なお、追尾位置ログエリアには、領域２０８の中で最も一致度の高い位置を追尾位置として記録する。なお、追尾ログエリアには、領域２０８の位置を追尾位置として記憶し、領域２０８の画像データを基準画像データに設定する。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００２８】
第２の追尾位置検出部としての追尾処理回路１３０６は、第２の特徴情報としての画像データの色情報を用いた追尾処理を行う。この色情報を用いた追尾処理について簡単に説明する。色情報を用いた追尾処理では、評価画像データ内で設定された色と同色であると判定できる領域である追尾色領域を探索する。図３Ａに示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得する。そして、位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。具体的には、位置３０２を開始位置から周辺に向かうように順次色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合には領域に含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合には領域に含めない。このようにして追尾色領域を探索すると、例えば、図３Ａに示すような単色の被写体の場合、被写体に内接する矩形領域３０４が追尾色領域となる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色領域３０４の重心位置（図３Ａの例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００２９】
Ｎフレームの追尾処理を例に示すと、図３Ｂに示す参照画像データとして記憶したＮフレームの画像データの所定の探索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色領域３０４の色と同色であると判定できる領域を追尾色領域として探索する。図３Ｂの例では、領域３０６が追尾色領域となる。また、図３Ｂの例では、重心位置３０８を追尾位置とし、この追尾位置３０８を、追尾位置ログエリアに記録する。また、追尾色領域ログエリアには、追尾色領域３０６の範囲を示す情報（例えば、四隅の位置）を記録する。
【００３０】
顔検出回路１３０７は、画像データにおける被写体（人物）の顔を検出する。ここで、顔検出処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図４Ａに示すような顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ４０２、４０４、４０６との相関量は、図４Ｂに示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ４０２、４０４、４０６を含む領域４０８に顔が存在しているとする。なお、顔パーツ４０２、４０４、４０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図４Ｂでは、顔領域を矩形領域としているが、円形領域としても良い。
【００３１】
参照情報取得部の一例としての色情報取得回路１３０８は、追尾処理回路１３０５で得られた追尾位置の色情報を取得する。この色情報は、後述する優先追尾位置判定処理において用いられる。  
メモリ制御回路１３０９は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。
【００３２】
操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等が含まれる。  レリーズボタン釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチと、を有している。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。  
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。  
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。  
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。  
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、撮像装置１００が省電力待機状態となる。
【００３３】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顔検出回路１３０７における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。
【００３４】
次に、本実施形態に係る撮像装置の動作について説明する。図５は、撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図５の動作を制御する。
【００３５】
Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるかを判定する。前述したように、撮影設定は、モードダイヤルによって設定される。
【００３６】
Ｓ１００において、撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。
【００３７】
Ｓ１０４において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされたかを判定する。Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００３８】
また、Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０６において、ＣＰＵ１３０１は、レリーズＡＦ処理を行う。レリーズＡＦにおいては、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。そして、ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
【００３９】
Ｓ１０８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようにしても良いし、顔検出回路１３０７によって顔が検出された場合には、その顔に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。このように、本実施形態においては、ＣＰＵ１３０１、ＡＦ制御回路１３０２、顔検出回路１３０７、タッチパネル１２４等が追尾被写体指定部の一例として機能する。
【００４０】
Ｓ１１０において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については後述する。  
Ｓ１１２において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うとともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。  
追尾処理後のＡＦ処理においては、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。
【００４１】
また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００４２】
Ｓ１１４において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされたかを判定する。Ｓ１１４において、２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。
【００４３】
また、Ｓ１１４において、２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。
【００４４】
Ｓ１１８において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。Ｓ１２０において、ＣＰＵ１３０１は、Ｓ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図５に示す動作を終了させる。
【００４５】
また、Ｓ１００において、撮影設定が動画撮影モードであると判定した場合に、Ｓ１２２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。
【００４６】
Ｓ１２４において、ＣＰＵ１３０１は、動画釦がオンされたかを判定する。Ｓ１２４において、動画釦がオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００４７】
また、Ｓ１２４において、動画釦がオンされたと判定した場合に、Ｓ１２６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。
【００４８】
Ｓ１２８において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については、後述する。
【００４９】
Ｓ１３０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。Ｓ１３０におけるＡＦ処理おいては、ウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。
【００５０】
Ｓ１３２において、ＣＰＵ１３０１は、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００５１】
Ｓ１３４において、ＣＰＵ１３０１は、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。
【００５２】
Ｓ１３６において、ＣＰＵ１３０１は、動画釦がオフされたかを判定する。Ｓ１３６において、動画釦がオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。
【００５３】
また、Ｓ１３６において、動画釦がオフされたと判定した場合に、Ｓ１３８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図５に示す動作を終了させる。
【００５４】
次に、本実施形態に係る追尾方法としての追尾処理について図６を参照して説明する。前述したように、本実施形態においては、複数の追尾処理を併用して追尾対象の追尾を行う。  
Ｓ２００において、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ２０２において、ＣＰＵ１３０１は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ここで、初回の追尾処理で得られた画像データは、評価画像データとする。このため、ＣＰＵ１３０１は、初回の追尾処理で得られた画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、２回目以後の追尾処理で得られた画像データは、参照画像データとする。このため、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データをＲＡＭ１１８の参照画像エリアに取り込む。
【００５５】
Ｓ２０４において、ＣＰＵ１３０１は、追尾処理回路１３０５により、第１の追尾処理としての輝度情報を用いた追尾処理を行う。輝度情報を用いた追尾処理については、前述したので説明を省略する。なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、Ｓ２０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。Ｓ２０６において、ＣＰＵ１３０１は、輝度情報を用いた追尾処理の結果として得られた追尾位置を、第１の候補追尾位置としてＲＡＭ１１８の追尾ログエリアに記憶させる。
【００５６】
Ｓ２０８において、ＣＰＵ１３０１は、追尾処理回路１３０６により、第２の追尾処理としての色情報を用いた追尾処理を行う。色情報を用いた追尾処理については、前述したので説明を省略する。Ｓ２１０において、ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾位置を、第２の候補追尾位置としてＲＡＭ１１８の追尾ログエリアに記憶させる。Ｓ２１２において、ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾色領域を、ＲＡＭ１１８の追尾色領域ログエリアに記憶させる。
【００５７】
Ｓ２１４において、ＣＰＵ１３０１は、優先追尾位置判定処理を行う。優先追尾位置判定処理は、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理である。この優先追尾位置判定処理の詳細については後述する。
【００５８】
Ｓ２１６において、ＣＰＵ１３０１は、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以下である場合には、信頼性があると判断する。また、色情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データの彩度から信頼性を判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。これらの信頼性を判定するための閾値は適宜設定可能である。
【００５９】
Ｓ２１８において、ＣＰＵ１３０１は、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理と色情報を用いた追尾処理の両方で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、Ｓ２１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
【００６０】
Ｓ２２０において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ２１８で記憶させた追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図６の追尾処理を終了させる。
【００６１】
次に、優先追尾位置判定処理について図７を参照して説明する。優先追尾位置判定処理においては、第１の候補追尾位置と第２の候補追尾位置との位置関係に応じて最終的な追尾位置を決定する。
【００６２】
Ｓ３００において、ＣＰＵ１３０１は、色情報取得回路１３０８により、参照情報としての、参照画像データの第１の候補追尾位置における色情報を取得する。実際には、第１の候補追尾位置を含む微小領域の色情報を取得する。
【００６３】
Ｓ３０２において、ＣＰＵ１３０１は、第１の候補追尾位置の色情報と第２の候補追尾位置の色情報（色情報を用いた追尾処理によって得られた追尾色領域の色情報）とが一致したかを判定する。ここで一致とは、第１の候補追尾位置の色情報が、第２の候補追尾位置の色情報を基準に予め設定した任意範囲内にあることとする。Ｓ３０２において、第１の候補追尾位置の色情報と第２の候補追尾位置の色情報とが一致した場合に、Ｓ３０４において、ＣＰＵ１３０１は、追尾色領域が第１の候補追尾位置を包含しているかを判定する。
【００６４】
Ｓ３０４において、追尾色領域が第１の候補追尾位置を包含していないと判定した場合に、Ｓ３０６において、ＣＰＵ１３０１は、第１の候補追尾位置を最終的な追尾位置として採用する。その後、ＣＰＵ１３０１は、図７の追尾処理を終了させる。
【００６５】
Ｓ３０２において、第１の候補追尾位置の色情報と第２の候補追尾位置の色情報とが一致していない場合、又はＳ３０４において、追尾色領域が第１の候補追尾位置を包含していると判定した場合に、Ｓ３０８において、ＣＰＵ１３０１は、第２の候補追尾位置を最終的な追尾位置として採用する。その後、ＣＰＵ１３０１は、図７の追尾処理を終了させる。
【００６６】
以下、本実施形態の効果について説明する。
【００６７】
本実施形態の効果を説明するために、まず、輝度情報を用いた追尾処理と色情報を用いた追尾処理の何れかのみを用いた場合について説明する。追尾処理に先立って、あるフレームにおいて、図８Ａに示す被写体Ｂの位置Ａ１が追尾対象として指定されたとする。このとき、図８Ａに示す画像データが評価画像データとなり、この中の位置Ａ１の画像データが基準画像データとなる。そして、位置Ａ１に追尾枠が表示される。
【００６８】
その後、別のフレームにおいて被写体Ｂに被写体Ｃが接近したとする。被写体Ｃは、追尾対象Ｂとは同色の被写体である。このような複数の同色被写体を含むフレームの画像データを参照画像データとして、輝度情報を用いた追尾処理を行ったとする。この場合、図８Ａの位置Ａ１と対応する輝度情報を有する領域を参照画像データの中から探索する。したがって、追尾処理によって得られる追尾位置は、図８Ｂに示すように被写体Ｂ上の位置Ａ１となり、これに伴って追尾枠の位置も更新される。  
一方、複数の同色被写体を含むフレームの画像データを参照画像データとして、色情報を用いた追尾処理を行ったとする。この場合、図８Ａの位置Ａ１と同じ色を有する領域を参照画像データの中から探索する。したがって、図８Ｃに示すように、追尾処理によって得られる追尾位置が、被写体Ｂ上ではなく、被写体Ｃ上の位置Ａ２に変わってしまう可能性が生じる。
【００６９】
図８Ｃで示したように、複数の同色被写体を含むシーンに対して色情報を用いた追尾処理を行うと、同色被写体の影響により、追尾位置の移り変わりが発生する可能性が生じる。輝度情報を用いた追尾処理では、このような同色被写体への追尾位置の移り変わりが発生する可能性はない。しかしながら、例えば図８Ａの位置Ａ１と同一パターンを有する被写体に対しては、追尾位置の移り変わりが発生する可能性がある。また、輝度情報を用いた追尾処理では、コントラストのない被写体を追尾できない。これに対し、色情報を用いた追尾処理では、コントラストがなくとも被写体を追尾できるが、色（彩度）のない被写体を追尾できない。
【００７０】
このように、輝度情報を用いた追尾処理と色情報を用いた追尾処理の一方のみを用いた場合には、シーンによっては追尾が不能となったり、追尾結果に誤りが生じたりする可能性がある。本実施形態では、複数の追尾処理を適切に併用することにより、何れかの追尾処理が苦手とするシーンを残りの追尾処理で追尾可能とする。
【００７１】
前述の優先追尾位置判定においては、（１）第１の候補追尾位置と第２の候補追尾位置とが同色で、追尾色領域が第１の候補追尾位置を包含する、（２）第１の候補追尾位置と第２の候補追尾位置とが異なる色で、追尾色領域が第１の候補追尾位置を包含しない、（３）第１の候補追尾位置と第２の候補追尾位置とが異なる色で、追尾色領域が第１の候補追尾位置を包含する、（４）第１の候補追尾位置と第２の候補追尾位置とが同色で、追尾色領域が第１の候補追尾位置を包含しない、の４通りの判定結果が考えられる。
【００７２】
例えば、図９Ａは、（１）の例に対応したシーンを示す図である。この例において、第１の候補追尾位置は、位置Ｄ１であるとする。また、第２の候補追尾位置は位置Ｅ１であり、追尾色領域は領域Ｆ１であるとする。（１）の例の場合、図９Ａに示すように、第１の候補追尾位置Ｄ１の色情報と第２の候補追尾位置Ｅ１の色情報とが一致し、第１の候補追尾位置Ｄ１は、追尾色領域Ｆ１に包含される。したがって、優先追尾判定の結果、第２の候補追尾位置が、最終的な追尾位置となる。第１の候補追尾位置と第２の候補追尾位置とが同色であるので、色情報を用いた追尾処理において、同色被写体の影響による追尾位置の移り変わりが発生する可能性がある。しかしながら、第１の候補追尾位置と第２の候補追尾位置とが近接しているので、第１の候補追尾位置と第２の候補追尾位置とはともに同一の被写体上の位置であると考えることができる。このような場合には、色情報を用いた追尾処理の結果を優先する。色情報を用いた追尾処理では、仮に形状変化の激しい（例えば動き変化の激しい）追尾対象であっても追尾することが可能である。図９Ａの場合には、信頼性判断の結果、彩度がないと判断された場合には、輝度情報を用いた追尾処理の結果を優先することもできる。
【００７３】
図９Ｂは、（２）の例に対応したシーンを示す図である。この例において、第１の候補追尾位置は、位置Ｄ２であるとする。また、第２の候補追尾位置は位置Ｅ１であり、追尾色領域は領域Ｆ１であるとする。（２）の例の場合、第１の候補追尾位置Ｄ１の色情報と第２の候補追尾位置Ｅ１の色情報とが一致せず、また、第１の候補追尾位置Ｄ１は、追尾色領域Ｆ１に包含されない。したがって、優先追尾判定の結果、第２の候補追尾位置が、最終的な追尾位置となる。第１の候補追尾位置と第２の候補追尾位置とが同色でないので、色情報を用いた追尾処理による追尾位置の移り変わりは発生していないと考えることができる。したがって、この場合には色情報を用いた追尾処理の結果を優先する。図９Ｂの場合には、信頼性判断の結果、彩度がないと判断された場合であっても、輝度情報を用いた追尾処理の結果を優先しないようにすることが望ましい。これは、第１の候補追尾位置と第２の候補追尾位置とが近接しておらず、第１の候補追尾位置と第２の候補追尾位置とは必ずしも両方が同一の被写体上の位置であるとは考えることができないためである。
【００７４】
また、図９Ｃは、（３）の例に対応したシーンを示す図である。この例において、第１の候補追尾位置は、位置Ｄ３であるとする。また、第２の候補追尾位置は位置Ｅ１であり、追尾色領域は領域Ｆ１であるとする。（３）の例の場合、第１の候補追尾位置Ｄ１の色情報と第２の候補追尾位置Ｅ１の色情報とが一致せず、また、第１の候補追尾位置Ｄ１は、追尾色領域Ｆ１に包含されている。したがって、優先追尾判定の結果、第２の候補追尾位置が、最終的な追尾位置となる。第１の候補追尾位置と第２の候補追尾位置とが同色でないので、色情報を用いた追尾処理による追尾位置の移り変わりは発生していないと考えることができる。したがって、この場合には色情報を用いた追尾処理の結果を優先する。図９Ｃの場合には、信頼性判断の結果、彩度がないと判断された場合であっても、輝度情報を用いた追尾処理の結果を優先しないようにすることが望ましい。これは、第１の候補追尾位置の色情報と第２の候補追尾位置の色情報とが一致しておらず、第１の候補追尾位置と第２の候補追尾位置とは必ずしも両方が同一の被写体上の位置であるとは考えることができないためである。
【００７５】
また、図９Ｄは、（４）の例に対応したシーンを示す図である。この例において、第１の候補追尾位置は、位置Ｄ１であるとする。また、第２の候補追尾位置は位置Ｅ２であり、追尾色領域は領域Ｆ２であるとする。（４）の例の場合、第１の候補追尾位置Ｄ１の色情報と第２の候補追尾位置Ｅ１の色情報とが一致し、また、第１の候補追尾位置Ｄ１は、追尾色領域Ｆ２に包含されない。したがって、優先追尾判定の結果、第１の候補追尾位置が、最終的な追尾位置となる。第１の候補追尾位置と第２の候補追尾位置とが同色である場合には、色情報を用いた追尾処理において、同色被写体の影響による追尾位置の移り変わりが発生する可能性がある。そして、第１の候補追尾位置と第２の候補追尾位置との距離が離れている（追尾対象の被写体に内接するように得られた追尾色領域に第１の候補追尾位置が包含されていない）ので、色情報を用いた追尾処理において追尾位置の移り変わりが発生していると考えられる。したがって、この場合には輝度情報を用いた追尾処理の結果を優先する。図９Ｄの場合には、信頼性判断の結果、コントラストがないと判断された場合であっても、色情報を用いた追尾処理の結果を優先しないようにすることが望ましい。
【００７６】
以上説明したように、本実施形態によれば、輝度情報を用いた追尾処理と色情報を用いた追尾処理とをシーンに応じて適切に使い分けている。この実施形態においては、輝度情報を用いた追尾処理が苦手とするシーンでは、色情報を用いた追尾結果を優先して採用し、色情報を用いた追尾処理が苦手とするシーンでは、輝度情報を用いた追尾結果を優先して採用している。これにより、苦手シーンを少なくして追尾性能を向上させることが可能である。
【００７７】
また、本実施形態では、第１の候補追尾位置と第２の候補追尾位置が同色であるかの判定と、第１の候補追尾位置が追尾色領域に包含されているかの判定と、を行うことにより、色情報を用いた追尾処理において、同色被写体の影響を受けるかどうか及び輝度情報を用いた追尾処理と色情報を用いた追尾処理とで同一の追尾対象を追尾しているかを判定している。これにより、単に、一方の追尾処理が失敗した場合に他方の追尾処理の結果を用いるよりも、高精度の追尾を行うことが可能である。
【００７８】
ここで、前述した実施形態では、輝度情報を用いた追尾処理と色情報を用いた追尾処理とで同一の追尾対象を追尾しているかを判定するために、第１の候補追尾位置が追尾色領域に包含されているかを判定している。第１の候補追尾位置と第２の候補追尾位置が同色であり、第１の候補追尾位置と第２の候補追尾位置との距離が近ければ、輝度情報を用いた追尾処理と色情報を用いた追尾処理とで同一の追尾対象を追尾していると考えることができる。このため、Ｓ３０４の判定に代えて、例えば、図１０に示すように、第１の候補追尾位置Ｇの周辺で第１の候補追尾位置Ｇと同一の色情報を有する追尾色領域Ｈを検出し、この追尾色領域Ｈに第２の候補追尾位置が包含されているかを判定することでも、輝度情報を用いた追尾処理と色情報を用いた追尾処理とで同一の追尾対象を追尾しているかを判定することができる。
【００７９】
また、第１の候補追尾位置の色情報から得られた追尾色領域と第２の候補追尾位置の色情報から追尾色領域との包含関係から輝度情報を用いた追尾処理と色情報を用いた追尾処理とで同一の追尾対象を追尾しているかを判定するようにしても良い。この場合、何れかの追尾色領域が他方の追尾色領域を包含している場合には、輝度情報を用いた追尾処理と色情報を用いた追尾処理とで同一の追尾対象を追尾していると判定する。
【００８０】
また、前述の例では、輝度情報と色情報とを利用して追尾処理を行っているが、さらに顔検出を利用して追尾処理を行うようにしても良い。この場合には、顔検出が可能である限りは、顔検出の結果を採用し、顔検出が不能であった場合に色情報と輝度情報を併用した追尾処理を行う。特徴量検出による追尾処理等、他の追尾処理を組み合わせるようにしても良い。
【００８１】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の動作の説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００８２】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００８３】
１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５，１３０６…追尾処理回路、１３０７…顔検出回路、１３０８…色情報取得回路、１３０９…メモリ制御回路
【図１】
2013001940.tif 000003
【図２Ａ】
2013001940.tif 000004
【図２Ｂ】
2013001940.tif 000005
【図４Ａ】
2013001940.tif 000006
【図４Ｂ】
2013001940.tif 000007
【図５】
2013001940.tif 000008
【図６】
2013001940.tif 000009
【図７】
2013001940.tif 000010
【図８Ａ】
2013001940.tif 000011
【図８Ｂ】
2013001940.tif 000012
【図８Ｃ】
2013001940.tif 000013
【図９Ａ】
2013001940.tif 000014
【図９Ｂ】
2013001940.tif 000015
【図９Ｃ】
2013001940.tif 000016
【図９Ｄ】
2013001940.tif 000017
【図３Ａ】
2013001940.tif 000018
【図３Ｂ】
2013001940.tif 000019
【図１０】
2013001940.tif 000020
【手続補正書】
【提出日】平成24年10月22日(2012.10.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力された画像データに含まれる、追尾対象とする被写体を指定する追尾被写体指定部と、
前記画像データから第１の特徴情報を検出し、この第１の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第１の候補追尾位置とする第１の追尾位置検出部と、
前記画像データから、前記第１の特徴情報とは異なる特徴情報を第２の特徴情報として検出し、この第２の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第２の候補追尾位置として検出する第２の追尾位置検出部と、
前記第１の候補追尾位置に存在する、前記第２の特徴情報と同種類の特徴情報を参照情報として取得する参照情報取得部と、
前記第２の特徴情報と前記参照情報の特徴の一致の有無の判断と前記第１の候補追尾位置と前記第２の候補追尾位置との距離が近いか否かの判断とに従って、真の追尾位置を決定する制御部と、
を具備することを特徴とする追尾装置。
【請求項２】
前記制御部は、前記第１の候補追尾位置と前記第２の候補追尾位置との距離が遠いと判断した場合に、前記第１の候補追尾位置を真の追尾位置とすることを特徴とする請求項１に記載の追尾装置。
【請求項３】
前記制御部は、前記第１の候補追尾位置と前記第２の候補追尾位置との距離が近い場合には、前記第２の候補追尾位置を前記真の追尾位置とすることを特徴とする請求項２に記載の追尾装置。
【請求項４】
前記第２の追尾位置検出部は、前記画像データにおいて前記第２の特徴情報を有する領域を取得し、この領域を基に前記第２の候補追尾位置を検出し、
前記制御部は、前記取得した第２の特徴情報を有する領域に前記第１の候補追尾位置が包含される場合に、前記第１の候補追尾位置と前記第２の候補追尾位置との距離が近い場合と判断し、前記取得した第２の特徴情報を有する領域に前記第１の候補追尾位置が包含されない場合に、前記第１の候補追尾位置と前記第２の候補追尾位置との距離が遠い場合と判断することを特徴とする請求項３に記載の追尾装置。
【請求項５】
前記第１の追尾位置検出部と前記第２の追尾位置検出部は、次回の前記画像データの入力時に、前記真の追尾位置を基に、前記第１の候補追尾位置と前記第２の候補追尾位置を検出することを特徴とする請求項１に記載の追尾装置。
【請求項６】
前記第２の特徴情報と前記参照情報は、色情報であることを特徴とする請求項１に記載の追尾装置。
【請求項７】
前記第１の特徴情報は、輝度情報であることを特徴とする請求項１に記載の追尾装置。
【請求項８】
追尾被写体指定部が、入力された画像データに含まれる、追尾対象とする被写体を指定することと、
第１の追尾位置検出部が、前記画像データから第１の特徴情報を検出し、この第１の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第１の候補追尾位置として検出することと、
第２の追尾位置検出部が、前記画像データから、前記第１の特徴情報とは異なる特徴情報を第２の特徴情報として検出し、この第２の特徴情報から、前記画像データ中の前記追尾対象とする被写体の位置を第２の候補追尾位置として検出することと、
参照情報取得部が、前記第１の候補追尾位置に存在する、前記第２の特徴情報と同種類の特徴情報を参照情報として取得することと、
制御部が、前記第２の特徴情報と前記参照情報の特徴の一致の有無の判断と前記第１の候補追尾位置と前記第２の候補追尾位置との距離が近いか否かの判断とに従って、真の追尾位置を決定することと、
を備えることを特徴とする追尾方法。
【国際調査報告】
2013001940.tif 000021
2013001940.tif 000022
2013001940.tif 000023
2013001940.tif 000024