(57)【要約】【課題】追尾対象の物体の近傍に、追尾対象の物体と類似の色の物体や類似の輝度パターンを有する物体が存在するようなシーンにおいても高い追尾性能の画像処理装置及び画像処理方法を提供すること。【解決手段】複数物を追尾する際に、取得したフレームの画像データに基づいて、複数物である主追尾物と類似色を有する副追尾物が画像上で一体化したか否かを判定し、その後に取得したフレームの画像上で一体化していない場合に、主予測エリアと副予測エリアの両方に物体が位置するか否かを判定し、主予測エリアと副予測エリアの両方に物体が位置する場合は主予測エリアに位置する物体を主追尾物と設定し、副予測エリアに位置する物体を副追尾物と設定する。また、主予測エリアだけに物体が位置する場合は、主予測エリアに位置する物体を主追尾物と設定し、他方の物体を副追尾物と設定する。また、副予測エリアだけに物体が位置する場合は、副予測エリアに位置する物体を副追尾物と設定し、他方の物体を主追尾物と設定する。【選択図】図５
2013219531.tif 000002
【特許請求の範囲】
【請求項１】
撮像により取得された画像デ―タの中から複数の物体を検出する物体検出部と、
前記物体検出部により検出された前記複数の物体を追尾して、次の撮像により取得される画像データの中で前記複数の追尾物がそれぞれ位置すると予測される予測エリアを算出する物体追尾部と、
前記画像データの中で前記複数の追尾物の位置が一致することを検出する一致検出部と、
前記一致検出部により一致が検出された第１の画像データの後に取得された第２の画像データの中で前記一致検出部により不一致が検出された場合に、該第２の画像データの中から前記物体検出部により検出された複数の物体が、前記物体追尾部により前記第１の画像データの中で予測された予測エリアに位置するか否かを判定する判定部と、
前記判定部の判定結果に基づいて複数の物体のそれぞれを複数の追尾物のいずれであるかを特定する追尾物特定部と
を具備することを特徴とする画像処理装置。
【請求項２】
前記追尾物特定部は、前記判定部が、前記複数の物体の一方が、前記物体追尾部により予測されたそれぞれの予測エリアの一方に位置し、前記複数の物体の他方が予測エリアの他方に位置すると判定する場合は、前記複数の物体の一方は、前記予測エリアの一方に対応する追尾物と特定し、前記複数の物体の他方は、前記予測エリアの他方に対応する追尾物と特定することを特徴とする請求項１に記載に画像処理装置。
【請求項３】
前記追尾物特定部は、前記判定部が、前記複数の物体の一方が、前記物体追尾部により予測されたそれぞれの予測エリアの一方に位置し、前記複数の物体の他方が予測エリアの他方に位置しないと判定する場合は、前記複数の物体の一方は、前記予測エリアの一方に対応する追尾物と特定し、前記複数の物体の他方は、前記予測エリアの他方に対応する追尾物と特定することを特徴とする請求項１に記載に画像処理装置。
【請求項４】
前記追尾物特定部は、前記判定部が、前記複数の物体の両方が、前記物体追尾部により予測されたそれぞれの予測エリアの一方に位置すると判定する場合は、前記複数の物体のうち前記予測エリアの中心に近い方の物体を前記予測エリアに対応する追尾物と特定し、前記複数の物体の他方は、前記予測エリアの他方に対応する追尾物と特定することを特徴とする請求項１に記載に画像処理装置。
【請求項５】
撮像により取得された画像デ―タの中から複数の物体を検出し、
前記検出された前記複数の物体を追尾して、次の撮像により取得される画像データの中で前記複数の追尾物がそれぞれ位置すると予測される予測エリアを算出し、
第１の画像データの中で前記複数の追尾物の位置が一致することを検出するとともに、その後に取得された第２の画像データの中で不一致が検出された場合に、該第２の画像データの中から検出された複数の物体が、前記第１の画像データの中で予測された予測エリアに位置するか否かを判定し、判定結果に基づいて複数の物体のそれぞれを複数の追尾物のいずれであるかを特定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を追尾する機能を有する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体を追従するために追尾処理が用いられている。追尾処理には、輝度情報を利用するものや、色情報を利用するもの、顔検出を利用するもの等、種々のものがある。
【０００３】
特許文献１には、以下のような追尾装置が開示されている。この追尾装置は、結像光学系により結像される被写界の被写界像を繰り返し撮像して被写界画像を生成する撮像部を有する。そして、撮像部の出力に基づいて、被写界画像における探索領域内の画像の色情報と輝度情報と、対象となる物体に対応する基準画像の色情報と輝度情報との間の相関を示す演算を実行し、被写界画像における対象となる画像の位置を検出する。このようにして対象となる画像を検出して対象となる物体の追尾を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０４９６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の場合、本来の検出対象の物体の近傍に、検出対象の物体と類似の色を有する物体や類似の輝度パターンを有する物体が存在すると、追尾対象が当該別の物体に乗移ってしまう可能性がある。このような乗移りが発生すると、ユーザは、追尾対象の再設定を行う必要が生じる。
【０００６】
本発明は、前記の事情に鑑みてなされたもので、追尾対象の物体の近傍に、追尾対象の物体と類似の色の物体や類似の輝度パターンを有する物体が存在するようなシーンにおいても高い追尾性能の画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記の目的を達成するために、第１の発明に係わる画像処理装置は、撮像により取得された画像デ―タの中から複数の物体を検出する物体検出部と、前記物体検出部により検出された前記複数の物体を追尾して、次の撮像により取得される画像データの中で前記複数の追尾物がそれぞれ位置すると予測される予測エリアを算出する物体追尾部と、前記画像データの中で前記複数の追尾物の位置が一致することを検出する一致検出部と、前記一致検出部により一致が検出された第１の画像データの後に取得された第２の画像データの中で前記一致検出部により不一致が検出された場合に、該第２の画像データの中から前記物体検出部により検出された複数の物体が、前記物体追尾部により前記第１の画像データの中で予測された予測エリアに位置するか否かを判定する判定部と、前記判定部の判定結果に基づいて複数の物体のそれぞれを複数の追尾物のいずれであるかを特定する追尾物特定部とを具備する。
【０００８】
第２の発明に係わる画像処理装置は、前記第１の発明において、前記追尾物特定部は、前記判定部が、前記複数の物体の一方が、前記物体追尾部により予測されたそれぞれの予測エリアの一方に位置し、前記複数の物体の他方が予測エリアの他方に位置すると判定する場合は、前記複数の物体の一方は、前記予測エリアの一方に対応する追尾物と特定し、前記複数の物体の他方は、前記予測エリアの他方に対応する追尾物と特定する。
【０００９】
第３の発明に係わる画像処理装置は、前記第１の発明において、前記追尾物特定部は、前記判定部が、前記複数の物体の一方が、前記物体追尾部により予測されたそれぞれの予測エリアの一方に位置し、前記複数の物体の他方が予測エリアの他方に位置しないと判定する場合は、前記複数の物体の一方は、前記予測エリアの一方に対応する追尾物と特定し、前記複数の物体の他方は、前記予測エリアの他方に対応する追尾物と特定する。
【００１０】
第４の発明に係わる画像処理装置は、前記第１の発明において、前記追尾物特定部は、前記判定部が、前記複数の物体の両方が、前記物体追尾部により予測されたそれぞれの予測エリアの一方に位置すると判定する場合は、前記複数の物体のうち前記予測エリアの中心に近い方の物体を前記予測エリアに対応する追尾物と特定し、前記複数の物体の他方は、前記予測エリアの他方に対応する追尾物と特定する。
【００１１】
第５の発明に係わる画像処理方法は、  撮像により取得された画像デ―タの中から複数の物体を検出し、前記検出された前記複数の物体を追尾して、次の撮像により取得される画像データの中で前記複数の追尾物がそれぞれ位置すると予測される予測エリアを算出し、第１の画像データの中で前記複数の追尾物の位置が一致することを検出するとともに、その後に取得された第２の画像データの中で不一致が検出された場合に、該第２の画像データの中から検出された複数の物体が、前記第１の画像データの中で予測された予測エリアに位置するか否かを判定し、判定結果に基づいて複数の物体のそれぞれを複数の追尾物のいずれであるかを特定する。
【発明の効果】
【００１２】
本発明によれば、追尾対象の物体の近傍に、追尾対象の物体に類似の色を有する物体や類似の輝度パターンを有する物体が存在するようなシーンにおいても高い追尾性能の画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像処理装置を備えた撮像装置の一例としての構成を示す図である。
【図２】色情報を用いた追尾処理について説明するための図である。
【図３】撮像装置の撮影動作を示すフローチャートである。
【図４】本発明の実施形態に係る画像処理方法としての追尾処理について示すフローチャートである。
【図５】複数物追尾処理について示すフローチャートである。
【図６】追尾物の移動について説明するための図である。
【図７】別の追尾物の移動について説明するための図である。
【図８】さらに別の追尾物の移動について説明するための図である。
【図９】さらに別の追尾物の移動について説明するための図である。
【図１０】さらに別の追尾物の移動について説明するための図である。
【図１１】複数の追尾物の移動と追尾動作について説明するための図である。
【図１２】別の複数の追尾物の移動と追尾動作について説明するための図である。
【図１３】さらに別の複数の追尾物の移動と追尾動作について説明するための図である。
【図１４】追尾物の動き予測について説明するための図である。
【図１５】乗移りについて説明するための図である。
【図１６】本実施形態に係わる画像処理方法としての追尾処理により乗移りを防止することを示すための図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態を説明する。
【００１５】
図１は、本発明の各実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、を有している。
【００１６】
撮影光学系１０２は、図示しない被写体からの光束Ｆを、撮像素子１１４の受光面上に集光するための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。
【００１７】
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。
【００１８】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。
【００１９】
撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００２０】
撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００２１】
記憶部としてのＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、追尾画像エリア、追尾色ログエリア及び追尾データログエリアを記憶エリアとして有している。ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾画像エリアは、追尾画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾画像データは、追尾処理における追尾被写体を含む画像のデータである。追尾処理においては、この追尾画像データが用いられる。追尾色ログエリアは、追尾処理において、追尾位置の色情報である追尾色を一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾位置ログエリアは、追尾位置ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。
【００２２】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。
【００２３】
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００２４】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００２５】
システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、色情報追尾処理回路１３０５と、複数物追尾処理回路１３０６と、メモリ制御回路１３０７と、を有している。
【００２６】
ＣＰＵ１３０１は、制御部としての機能を有し、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する。
【００２７】
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。
【００２８】
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００２９】
画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００３０】
色情報追尾処理回路１３０５は、色情報を用いて追尾対象を追尾する。色情報を用いた追尾処理について簡単に説明する。図２（ａ）に示すように、追尾物２０２に追尾位置２０４が設定されている。色情報を用いた追尾処理においては、追尾位置２０４の色情報を取得しておく。次のフレーム、即ち図２（ｂ）に示すように追尾物２０２が移動したフレームにおいて、前のフレームの追尾位置２０４の位置に基づいて決定されたサーチエリア２０６内で例えばラスタースキャンをし、前のフレームの追尾位置２０４と同じ色情報を有する領域を探索する。そして、図２（ｃ）に示すように同じ色情報を有する領域の例えば重心位置が新たな追尾位置２０８となる。
【００３１】
複数物追尾処理回路１３０６は、撮像された画像デ―タの中から複数の物体を検出する物体検出部や、検出された複数の物体を追尾して、次の撮像により取得される画像データの中で複数の追尾物がそれぞれ位置すると予測される予測エリアを算出する物体追尾部や、画像データの中で複数の追尾物の位置が一致することを検出する一致検出部としての機能を有する。
【００３２】
さらに、第１の画像データにて一致が検出された後に取得された第２の画像データの中で複数の追尾物の位置が一致していないと検出された場合には、第２の画像データの中から検出された複数の物体が、第１の画像データの中で予測された予測エリアに位置するか否かを判定する判定部や、この判定結果に基づいて複数の物体のそれぞれを複数の追尾物のいずれであるかを特定する追尾物特定部としての機能も有する。
【００３３】
メモリ制御回路１３０７は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。
【００３４】
操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等が含まれる。
【００３５】
レリーズボタン釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチと、を有している。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
【００３６】
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
【００３７】
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
【００３８】
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
【００３９】
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、撮像装置１００が省電力待機状態となる。
【００４０】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、追尾枠を表示するためのデータ等を記憶している。
【００４１】
次に、本実施形態に係る撮像装置の動作について説明する。図３は、撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図３の動作を制御する。
【００４２】
Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるかを判定する。前述したように、撮影設定は、モードダイヤルによって設定される。
【００４３】
Ｓ１００において、撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。
【００４４】
Ｓ１０４において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされたかを判定する。Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００４５】
また、Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０６において、ＣＰＵ１３０１は、レリーズＡＦ処理を行う。レリーズＡＦにおいては、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。そして、ＣＰＵ１３０１は、合焦評価値の評価の結果、合焦評価値が最大、すなわち画像のコントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。
【００４６】
Ｓ１０８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。
【００４７】
Ｓ１１０において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については後述する。
【００４８】
Ｓ１１２において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うとともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。
【００４９】
追尾処理後のＡＦ処理においては、スキャン駆動、またはウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを高速に微少量だけ光軸方向に往復駆動させ、このときにＡＦ制御回路１３０２で算出された往復駆動の両端の合焦評価値が大きい方のフォーカスレンズ位置を判定する。そして、ＣＰＵ１３０１は、合焦評価値が大きい方のフォーカスレンズ位置に対応する方向にフォーカスレンズを移動させる。この時、フォーカスレンズを微小に往復駆動させながら、合焦評価値が増加する方向に移動させて、この往復駆動の両端位置における合焦評価値が同一となる位置、すなわち合焦位置となるまで、動作を継続する。
【００５０】
また、ＡＦ処理と並行して実行されるＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００５１】
Ｓ１１４において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされたかを判定する。Ｓ１１４において、２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１０８に戻り、追尾枠表示（Ｓ１１０）を含む追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。
【００５２】
また、Ｓ１１４において、２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。
【００５３】
Ｓ１１８において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
【００５４】
Ｓ１２０において、ＣＰＵ１３０１は、Ｓ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図３に示す動作を終了させる。
【００５５】
また、Ｓ１００において、撮影設定が動画撮影モードであると判定した場合に、Ｓ１２２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。
【００５６】
Ｓ１２４において、ＣＰＵ１３０１は、動画釦がオンされたかを判定する。Ｓ１２４において、動画釦がオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００５７】
また、Ｓ１２４において、動画釦がオンされたと判定した場合に、Ｓ１２６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。
【００５８】
Ｓ１２８において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については、後述する。
【００５９】
Ｓ１３０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。Ｓ１３０におけるＡＦ処理おいては、ウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。
【００６０】
Ｓ１３２において、ＣＰＵ１３０１は、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００６１】
Ｓ１３４において、ＣＰＵ１３０１は、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。
【００６２】
Ｓ１３６において、ＣＰＵ１３０１は、動画釦がオフされたかを判定する。Ｓ１３６において、動画釦がオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。
【００６３】
また、Ｓ１３６において、動画釦がオフされたと判定した場合に、Ｓ１３８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図３に示す動作を終了させる。
【００６４】
次に、本発明の実施形態に係る画像処理方法としての追尾処理について図４を参照して説明する。
【００６５】
Ｓ２００において、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ２０２において、ＣＰＵ１３０１は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８の追尾画像エリアに取り込む。
【００６６】
ここで、初回の追尾処理で得られた画像データは、評価画像データとする。このため、ＣＰＵ１３０１は、初回の追尾処理で得られた画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、２回目以後の追尾処理で得られた画像データは、参照画像データとする。このため、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データをＲＡＭ１１８の参照画像エリアに取り込む。
【００６７】
Ｓ２０４において、ＣＰＵ１３０１は、色情報追尾処理回路１３０５により、追尾処理としての色情報を用いた追尾処理を行う。色情報を用いた追尾処理については、前述したので説明を省略する。
【００６８】
Ｓ２０６において、ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾位置を、候補追尾位置としてＲＡＭ１１８の追尾ログエリアに記憶させる。
【００６９】
Ｓ２０８において、ＣＰＵ１３０１は、追尾位置の信頼性を判断する。例えば、色情報を用いた追尾処理の結果より、参照画像データの彩度から信頼性を判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。これらの信頼性を判定するための閾値は適宜設定可能である。
【００７０】
Ｓ２１０において、複数物追尾であるか否かを判定する。
【００７１】
本実施形態においては、追尾対象である追尾物と類似の色を有する物体が同一フレームの画像データに存在する場合に、乗移りを防止するために追尾物に加えて類似色の物体も追尾する複数物追尾処理を行う。そのため、まず追尾物と類似の色を有する物体が存在するか否かを判定する。
【００７２】
複数物追尾か否かは以下のようにして判定する。撮像により取得したフレームの画像データの中に現在追尾している追尾物と同じ色かまたは類似色の物体（類似色物体）が存在すると判別される場合は、現在目標としている追尾物から類似色物体への乗移りの可能性がある。たとえば、目標追尾物と類似色物体が接近して画像上で一体化した後に分離した時、目標追尾物と類似色物体の区別がつかなくなり、類似色物体を目標追尾物と誤って追尾してしまう可能性がある。
【００７３】
図１５は、乗移りを説明するための図である。図１５（ａ）は撮像により取得したフレームの画像（または画像表示）を示し、追尾装置は、左方向に移動する物体６０２を追尾している状態とする。そして表示装置は、追尾枠６０４が物体６０２に重畳して表示し、物体６０２を目標追尾物として追尾していることを示す。また、物体６０６は、物体６０２と類似する色を有しており、右方向に移動している。
【００７４】
図１５（ｂ）は、次の撮像により取得したフレームの画像（または画像表示）を示し
物体６０２と物体６０６はフレーム内をそれぞれ移動した結果、一体化した状態となっている。この時、追尾装置は、物体６０２と物体６０６が類似色であるため一体化した物体と認識して、追尾枠６０４は両者にまたがった位置に表示されている。
【００７５】
図１５（ｃ）は、さらに次の撮像により取得したフレームの画像（または表示画像）を示し、物体６０２と物体６０６は分離している。この時、追尾装置は物体６０２と物体６０６にいずれが目標追尾物であるか正しく判定することができず、物体６０６を目標追尾物と判定して追尾し、追尾枠６０４を物体６０６に重畳して表示している状態を示す。
【００７６】
本実施形態においては、このような乗移りを防止するため、類似色物体についても、現在追尾している物体と同様の追尾動作を行い、現在追尾している物体を主追尾物、類似色被写体を副追尾物と区別して追尾する処理を行う。
【００７７】
Ｓ２１０において、ＣＰＵ１３０１は、複数物追尾処理回路１３０６により次の処理を実行させる。複数物追尾物処理回路１３０６は、取得したフレーム内に、現在追尾している追尾物と類似の色を有する物体が存在するか否かを、フレーム内の画像を検索して検出する。そして、ＣＰＵ１３０１は、複数物追尾処理回路１３０６の検出結果に基き、類似色の物体は存在しないと検出すると、複数物追尾処理を行う必要はないので複数物追尾処理を実行せずＳ２１２に進む。
【００７８】
Ｓ２１２において、ＣＰＵ１３０１は、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、色情報を用いた追尾処理で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、Ｓ２０８の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
【００７９】
Ｓ２１４において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ２１２で記憶させた追尾位置に対応した位置に更新する。
【００８０】
一方、Ｓ２１０において、類似色の物体を検出した場合は、複数物追尾処理を行う必要があると判定し、現在追尾している追尾物を主追尾物に、類似色の物体を副追尾物に設定してＳ２１６に進む。Ｓ２１６において、ＣＰＵ１３０１は、複数物追尾処理回路１３０６により複数物追尾処理を実行させる。複数物追尾処理の詳細については後述する。
【００８１】
Ｓ２１６にて複数物追尾処理を実行した後に、Ｓ２１２において、ＣＰＵ１３０１は、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。また、複数物追尾処理の実行後は、主追尾物の位置と副追尾物の位置の両方をＲＡＭ１１８に記録する。
【００８２】
そして、Ｓ２１４において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置を、Ｓ２１２で記憶させた追尾位置に対応した位置に更新する。複数物追尾処理の実行後は、主追尾物の位置と副追尾物の位置のうち主追尾物の位置に対応した位置だけを更新して表示を行う。また、副追尾物の位置の表示を行う場合は、副追尾物の位置の追尾枠の色や大きさ等を、主追尾物の位置の追尾枠の色や大きさ等と異なる色や表示等に設定して表示を行ってもよい。Ｓ２１４を実行した後、ＣＰＵ１３０１は、図５の追尾処理を終了させる。
【００８３】
次に、図４のＳ２１６にて実行される複数物追尾処理について図５を参照して説明する。複数物追尾処理においては、類似色を有する複数の物体に対して追尾処理を行い、乗移りを防止する処理を行う。なお、複数物追尾処理は、ＣＰＵ１３０１の指示に応じて複数物追尾物処理回路１３０６により実行される。
【００８４】
Ｓ３００において、取得したフレームの画像データに基づいて、複数物である主追尾物と類似色を有する副追尾物が画像上で一体化したか否かを判定する。一体化していないと判定する場合はＳ３０８に進み、一体化したと判定する場合はＳ３０２に進む。
【００８５】
Ｓ３０２において、乗移りフラグをセットする。乗移りフラグは主追尾物から副追尾物へ乗移る可能性があることを示すフラグである。言い換えると、主追尾物を追尾している途中で、誤って副追尾物を主追尾物と判断して、副追尾物を主追尾物として追尾動作を行ってしまう可能性があることを示すフラグである。乗移りフラグが１の場合は乗移りを防止する追尾処理を行う。
【００８６】
Ｓ３０４において、主追尾物と副追尾物が一体化した位置をフレーム内の座標として記憶する。
【００８７】
Ｓ３０６において、主追尾物と副追尾物のそれぞれの動き予測を行う。動き予測では、該当する追尾物に関して記憶されている過去の位置と今回のフレームにおける位置とに基づいて行われ、次回のフレームにおいて位置すると予想される位置をフレーム内の座標として算出する。
【００８８】
そして、主追尾物に関する動き予測を行って、次回のフレームにて主追尾物が位置すると予測される領域である主予測エリアを算出して記憶する。また、副追尾物に関する動き予測を行って、次回のフレームにて副追尾物が位置すると予測される副予測エリアを算出して記憶する。その後、本フローチャートを終了する。
【００８９】
ここで、複数物追尾物処理回路１３０６により実行される動き予測の処理について、具体的に説明する。動き予測は、過去に取得したフレームと今回取得したフレームに関して記憶されている追尾物の位置情報に基づいて、次回取得するフレームで追尾物が位置すると予測される領域である予測エリアを算出する処理である。
【００９０】
図６は、静止物である物体３００を追尾する場合の予測エリア３０２を示すものである。物体３００は、順次取得された複数のフレームにおいて、各フレーム間で３００ａ→３００ｂ→３００ｃ→３００ｄと比較的微少量だけ移動することを示している。このような物体３００の場合の動き予測は、以下のように行われる。
【００９１】
現在および過去の所定数ｎ個のフレームに関して記憶された追尾物の位置に基づいて動き履歴を検出する、動き履歴は、フレーム間の追尾物の動きの方向と移動量を示すものであり、フレームに関して記憶された追尾物の位置情報に基づいて算出される。
【００９２】
図１４は、動き履歴の方向の変化量と移動量に基づく、物体の動きの種類、即ち移動物の種類を判定するための領域マップを示す。
【００９３】
物体３００は、動き履歴の全ての移動量が第１の判定値以下であることを検出し（領域５００）、移動量のごく小さい物体、即ち静止物であると判定する。そして、物体３００の位置が分布する範囲を、次のフレームにて物体３００が位置すると予測される領域である予測エリア３０２とする。
【００９４】
図７は、規則的に移動する物体３０４を追尾する場合の予測エリア３０６を示すものである。物体３０４は、順次取得された複数のフレームにおいて、各フレーム間で３０４ａ→３０４ｂ→３０４ｃと移動することを示している。このような物体３０４の動き予測は、以下のように行われる。
【００９５】
追尾処理により現在および過去の所定数ｎ個のフレームに関して記憶された位置、たとえば３０４ａ、３０４ｂ、３０４ｃの位置に基づいて動き履歴を求める。
【００９６】
そして、算出された動き履歴の全ての動きの方向の変化が第２の判定値以下であり、かつ、動き履歴の全ての移動量が第１の判定値以上かつ第３の判定値以下であることを検出して（図１４：領域５０２）、ほぼ一定の方向にほぼ一定の速度で移動する規則移動物であると判定する。なお、動き履歴の移動量が第３の判定値を越える場合は（図１４：領域５０４）、移動速度が速すぎて検出能力を越えている検出不能と判定し、動き予測を中止する。
【００９７】
そして、今回のフレームにおける物体３０４の位置である現在位置（３０４ｃの位置）から、動き履歴の方向に動き履歴の移動量だけ移動する位置に相当する予測位置の中心３０７を求める。そして予測位置の中心３０７を中心とする所定の半径の円の範囲内を次回のフレームにおける物体３０４の予測エリア３０６とする。上記所定の半径は物体３０４の速度、たとえば所定間隔で取得されるフレームのフレーム間での移動量の大きさに応じて設定される。
【００９８】
図８は、比較的低速度で不規則に移動する物体３０８を追尾する場合の予測エリア３０９を示すものである。物体３０８は、順次取得された複数のフレームにおいて各フレーム間で３０８ａ→３０８ｂ→３０８ｃ→３０８ｄと移動することを示している。このような物体３０８の動き予測は以下のように行われる。
【００９９】
追尾処理により現在および過去に所定数のｎ個のフレームに関して記憶された位置、たとえば３０８ａ、３０８ｂ、３０８ｃ、３０８ｄの位置に基づいて動き履歴を求める。
【０１００】
そして、算出された動き履歴の方向の変化量が第２の判定値を越え、かつ動き履歴の移動量が第１の判定値以上で第４の判定値以下に含まれていることを検出して（図１４：領域５０６）、比較的低速度で速度と移動方向が不規則に変化する物体、即ち不規則低速移動物であると判定する。なお、第４の判定値は、第１の判定値よりも大きく第３の判定値よりも小さい数値とする。
【０１０１】
そして、物体３０８の動き履歴の位置を含む範囲を、次のフレームにて物体３０８が位置すると予測される領域である予測エリア３０９とする。
【０１０２】
図９は、比較的高速で不規則に移動する物体３１０を追尾する場合の予測エリア３１２を示すものである。物体３１０は、順次取得された複数のフレームの各フレーム間で３１０ａ→３１０ｂ→３１０ｃ→３１０ｄ→３１０ｅと移動することを示している。このような物体３１０の動き予測を以下のように実行する。追尾処理により現在および過去の所定数ｎ個のフレームに関して記憶された、たとえば３１０ａ、３１０ｂ、３１０ｃ、３１０ｄ、３１０ｅの位置に基づいて動き履歴を求める。
【０１０３】
動き履歴として、動きの方向と移動量を求め、動き履歴の方向の変化量が第２の判定値を越え、かつ移動量が第４の判定値以上で第３の判定値以下であることを検出して（図１４：領域５０８）、比較的高速度で速度と移動方向が不規則に変化する物体、即ち不規則高速移動物であると判定する。
【０１０４】
不規則高速移動物を判定すると、動き履歴に関する最小二乗法を適用して動きを一次関数に近似する。そして、最新の動き履歴のＸ座標と１回古い動き履歴のＸ座標の差に基づいて次のフレームに対応する予測位置３１４のＸ座標を算出する。そして、算出したＸ座標を上記近似一次関数に代入して予測位置３１４のＹ座標を算出する。このようにして予測位置３１４のＸ、Ｙ座標を算出した後、この予測位置３１４を中心とする所定の半径の円の内部を予測エリア３１２とする。上記所定の半径は、物体３０４の速度、たとえば所定間隔で取得されるフレームのフレーム間での移動量の大きさに応じて設定される。
【０１０５】
図９は、図８の不規則高速移動物とは異なる挙動により不規則に移動する物体３１６を追尾する場合の予測エリア３１８を示すものである。物体３１６は、順次取得された複数のフレームの各フレーム間で３１６ａ→３１６ｂ→３１６ｃ→３１６ｄ→３１６ｅと移動することを示している。このような物体３１６の動き予測を以下のように行う。
【０１０６】
追尾処理により現在および過去の所定数ｎ個のフレームに関して記憶された、たとえば３１６ａ、３１６ｂ、３１６ｃ、３１６ｄ、３１６ｅの位置に基づいて動き履歴を求める。動き履歴の動きの方向の変化量が所定の第２の判定値を越え、かつ、動き履歴の移動量が第４の判定値以上で第３の判定値以下に含まれることを検出して（図１４：領域５０８）、比較的高速度で速度と移動方向が不規則に変化する物体、即ち不規則高速移動物であると判定する。
【０１０７】
不規則高速移動物と判定すると、動き履歴に関する最小二乗法を適用して動きを一次関数に近似する。しかしながら、図９に示す不規則移動物は一次関数近似では誤差が大きいことから最小二乗法により二次関数に近似する。そして一次関数近似と二次関数近似の誤差を比較し、誤差がより小さい二次関数近似を採用する。
【０１０８】
そして、最新の動き履歴のＸ座標と１回古い動き履歴のＸ座標の差に基づいて次のフレームに対応する予測位置３１８のＸ座標を算出する。そして、算出したＸ座標を上記近似２次関数に代入して予測位置３１８のＹ座標を算出する。このようにして予測位置３１８のＸ、Ｙ座標を算出した後、この予測位置３１８を中心とする所定の半径の円の内部を予測エリア３２０とする。
【０１０９】
以上で動き予測に関する説明を終了し、図５のフローチャートの説明に戻り、続きを説明する。
【０１１０】
Ｓ３０８において、乗移りフラグが１か否かを判定する。そして、乗移りフラグが１の場合はＳ３１０に進み、乗移りフラグが０の場合はＳ３０６に進む。
【０１１１】
Ｓ３１０において、取得したフレームの画像に基づいて、主予測エリアと副予測エリアの両方にそれぞれ物体が位置するか否かを判定する。主予測エリアと副予測エリアの両方にそれぞれ物体が位置する場合はステップＳ３１２に進み、そうではない場合はステップＳ３２０に進む。
【０１１２】
Ｓ３１２において、主予測エリアに位置する物体を主追尾物と設定する。
【０１１３】
Ｓ３１４において、副予測エリアに位置する物体を副追尾物と設定する。
【０１１４】
Ｓ３１６において、主追尾物と副追尾物の動きを予測して主予測エリアと副予測エリアを算出する。
【０１１５】
Ｓ３１８において、乗移りフラグをクリアして、図５の処理を終了させる。
【０１１６】
また、Ｓ３２０において、取得したフレームの画像に基づいて、副予測エリアだけに物体が位置するか否かを判定する。副予測エリアに物体が位置し、主予測エリアに物体が位置しない場合はステップＳ３２２に進み、そうではない場合はステップＳ３２６に進む。
【０１１７】
Ｓ３２２において、副予測エリアに位置する物体を副追尾物と設定する。
【０１１８】
Ｓ３２４において、他方の物体を主追尾物と設定する。そしてＳ３１６に進む。
【０１１９】
また、Ｓ３２６において、取得したフレームの画像に基づいて、主予測エリアだけに物体が位置するか否かを判定する。主予測エリアに物体が位置し、副予測エリアに物体が位置しない場合はステップＳ３２８に進み、そうではない場合はステップＳ３３２に進む。
【０１２０】
Ｓ３２８において、主予測エリアに位置する物体を主追尾物と設定する。
【０１２１】
Ｓ３３０において、他方の物体を副追尾物と設定する。そしてＳ３１６に進む。
【０１２２】
また、Ｓ３３２において、取得したフレームの画像に基づいて、主予測エリアに２個の物体が位置するか否かを判定する。主予測エリアに２個の物体が位置する場合はステップＳ３３４に進み、そうではない場合はステップＳ３３８に進む。
【０１２３】
Ｓ３３４において、主予測エリアの中心により近い方に位置する物体を主追尾物と設定する。
【０１２４】
Ｓ３３６において、他方の物体を副追尾物と設定する。そしてＳ３１６に進む。
【０１２５】
また、Ｓ３３８において、取得したフレームの画像に基づいて、副予測エリアに２個の物体が位置するか否かを判定する。副予測エリアに２個の物体が位置する場合はステップＳ３４０に進み、そうではない場合はステップＳ３１６に進む。
【０１２６】
Ｓ３４０において、副予測エリアの中心により近くに位置する物体を副追尾物と設定する。
【０１２７】
Ｓ３４２において、他方の物体を主追尾物と設定する。そしてＳ３１６に進む。Ｓ３１６、Ｓ３１８の処理は前述のとおりに実行され、図５の複数物追尾処理を終了する。
【０１２８】
次に、図５の複数物追尾処理の具体的な動作について図１１−１４を用いて説明する。
【０１２９】
図１１は、同色の物体４００と物体４０２が同一フレーム内に位置している状態での追尾動作の様子を示す図である。ここで、物体４００は規則移動物と判定され、物体４０２は静止物と判定されているものとする。
【０１３０】
図１１（ａ）は、物体４００が物体４０２に向かって移動しているフレームを示している。図１１（ｂ）は、図１１（ａ）の次に取得されるフレームを示すもので、物体４００がさらに移動して物体４０２の近傍に位置する状態を示す。図１１（ｂ）においては、物体４００と物体４０２は一体化しており、即ち異なる距離で画面内のほぼ同一位置に位置する状態となっている。この状態は、物体の色による追尾方法の場合、同色の物体４００と物体４０２の判別ができなくなり乗移りが発生する可能性が高い状態である。
【０１３１】
予測エリア４０４は、このフレームについて算出される規則移動物と判定されている物体４００の予測エリアを示し、予測エリア４０６は静止物と判定されている物体４０２の予測エリアを示す。
【０１３２】
図１１（ｃ）は、図１１（ｂ）の次に取得されるフレームを示すもので、図１１（ｂ）に示す前フレームに比較して、物体４００は画面内の上方に移動しており、物体４０２は位置を変えていない状態を示す。
【０１３３】
図１１（ｃ）のフレームでは、物体４００は予測エリア４０４から外れており、一方、物体４０２は予測エリア４０６の内部に位置している。従来の色による追尾方法の場合、図１１（ａ）にて物体４００を追尾している時に、図１１（ｂ）の状態を経て図１１（ｃ）の状態となった場合に、物体４０２を物体４００と誤って判別してしまい、これ以後、物体４０２について追尾動作を行ってしまう乗移りが発生する可能性がある。逆に、物体４０２を追尾している時に、誤って物体４００を追尾してしまう可能性もある。
【０１３４】
本実施形態においては、以下に示すようにして乗移りが発生することを防止する。
【０１３５】
ここで、主追尾物は物体４００に、副追尾物は物体４０２に、主予測エリアは予測エリア４０４に、副予測エリアは予測エリア４０６に対応するものとする。
【０１３６】
以下では、図１１を参照して図５の複数物追尾処理について説明する。
【０１３７】
図１１（ｂ）のフレームを取得すると、図５のＳ３００にて類似色の追尾物が一体になったか判定し（ＹＥＳ）、Ｓ３０２にて乗移りフラグをセットし、追尾物が一体になった座標を記憶（Ｓ３０４）する。そして、物体４００、４０２の動きを予測し、それぞれ予測エリアを求めて複数物追尾処理を終了する。
【０１３８】
次に、図１１（ｃ）のフレームを取得すると、繰り返し実行される追尾処理（図４）において図５の複数物追尾処理（図４：Ｓ２１６）を実行し、Ｓ３００にて類似色の追尾物が一体になったか判定し（ＮＯ）、Ｓ３０８にて乗移りフラグが１か判定する。そして、乗移りフラグが１であるのでＳ３１０に進み、Ｓ３１０にて主予測エリアと副予測エリアにそれぞれ物体が位置するか否かを判定する。図１１（ｃ）の場合は、主予測エリアである予測エリア４０４に物体は位置せず、副予測エリアである予測エリア４０６に物体４０２が位置するので（Ｓ３１０：ＮＯ）、Ｓ３２０に進む。
【０１３９】
Ｓ３２０では、副予測エリアだけに被写体が位置するか否かを判定する。図１１（ｃ）のフレームでは、副予測エリア（予測エリア４０６）だけに物体４０２が位置するので（Ｓ３２０：ＹＥＳ）、Ｓ３２２に進む。
【０１４０】
そして、Ｓ３２２では、副予測エリアに位置する物体を副追尾物とするので、予測エリア４０６に位置する物体４０２を副追尾物である物体４０２と正しく設定する。そして、続くＳ３２４では、他方の移動体を主追尾物とするので、物体４００を主追尾物である物体４００と正しく設定する。
【０１４１】
このように、主予測エリアと副予測エリアにそれぞれ物体が位置する場合は、主予測エリアに位置する物体が主追尾物であり、副予測エリアに位置する物体が副追尾物である可能性が高いとの推測に基づく処理を行い、乗移りを防止することができる。
【０１４２】
次に、図１２に基づいて、図５の複数物追尾処理の具体的な動作について説明する。
【０１４３】
図１２は、同色の物体４１０と物体４１２が同一フレーム内に位置している状態での追尾動作の様子を示す図である。ここで、物体４１０は不規則移動物と判定され、物体４１２は規則移動物と判定されているものとする。
【０１４４】
図１２（ａ）は、それぞれ移動している物体４１０、４１２のフレーム内の位置とこのフレームの前に取得されたフレームの位置からの移動を示している。図１２（ｂ）は、図１２（ａ）の次に取得されるフレームを示すもので、物体４１０と物体４１２の両方が、さらに移動した状態を示し、物体４１０と物体４１２がごく近傍に位置する状態を示す。図１２（ｂ）においては、物体４１０と物体４１２は一体化しており、即ち異なる距離にてフレーム内のほぼ同一位置に位置する状態となっている。この状態は、前述のように、物体の色による追尾方法の場合、同色の物体４１０と物体４１２の判別ができなくなり乗移りが発生する可能性が高い。
【０１４５】
矢印４１８は、不規則移動物と判定されている物体４１０の移動について求めた近似関数に基づき予測される移動を示す。予測エリア４１４は、予測される移動に応じて算出される予測エリアを示す。また、予測エリア４１６は、規則移動物と判定されている物体４１２の予測エリアを示す。
【０１４６】
図１２（ｃ）は、図１２（ｂ）の次に取得されるフレームを示すもので、図１２（ｂ）に示すフレームに比較して、物体４１０は画面内の下方に移動しており、物体４１２は画面内の上方に移動した状態を示す。
【０１４７】
図１２（ｃ）のフレームでは、物体４１０は予測エリア４１４から外れており、一方、物体４１２は予測エリア４１６の内部に位置している。
【０１４８】
従来の色による追尾方法の場合、図１２（ａ）にて物体４１０を追尾している時に、図１２（ｂ）の状態を経て図１２（ｃ）の状態となった場合に、物体４１２を物体４１０と誤って判別してしまい、これ以後、物体４１２について追尾動作を行ってしまう乗移りが発生する可能性がある。逆に、物体４１２を追尾している時に、誤って物体４１０を追尾してしまう可能性もある。
【０１４９】
本実施形態においては、以下に示すようにして乗移りが発生することを防止する。
【０１５０】
ここで、主追尾物は物体４１２に、副追尾物は物体４１０に、主予測エリアは予測エリア４１６に、副予測エリアは予測エリア４１４に対応するものとする。
【０１５１】
以下では、図１２を参照して図５の複数物追尾処理について説明する。
【０１５２】
図１２（ｂ）のフレームを取得すると、繰り返し実行される追尾処理（図４）において図５の複数物追尾処理（図４：Ｓ２１６）を実行し、図５のＳ３００にて類似色の追尾物が一体になったか判定する。Ｓ３００にて類似色の追尾物が一体になっているので（ＹＥＳ）Ｓ３０２に進み、乗移りフラグをセットする。そして、Ｓ３０４にて類似色の追尾物が一体になった座標を記憶し、続くＳ３０６にて物体４１０、４１２の動きを予測し、それぞれ予測エリア４１４、４１６を求めて複数物追尾処理を終了する。
【０１５３】
次に、図１２（ｃ）のフレームを取得すると、図５の複数物追尾処理を実行し、Ｓ３００にて類似色の追尾物が一体になったか判定し（ＮＯ）、Ｓ３０８にて乗移りフラグが１か判定する。そして、Ｓ３０８にて乗移りフラグが１であるので、Ｓ３１０にて主予測エリアと副予測エリアに物体がそれぞれ位置するか否かを判定する。
【０１５４】
主予測エリア（予測エリア４１４）には、物体が位置していないので（Ｓ３１０：ＮＯ）、Ｓ３２０に進み、副予測エリアだけに物体が位置するか否かを判定する。図１２（ｃ）のフレームでは、副予測エリア（予測エリア４１４）には物体が位置していないので（Ｓ３２０：ＮＯ）、Ｓ３２６に進む。
【０１５５】
そして、Ｓ３２６では、主予測エリア（予測エリア４１６）だけに物体が位置するか否かを判定する。図１２（ｃ）のフレームでは、副予測エリア（予測エリア４１４）には物体が位置しておらず、主予測エリア（予測エリア４１６）だけに物体４１２が位置しているので（Ｓ３２６（ＹＥＳ））、Ｓ３２８に進む。
【０１５６】
Ｓ３２８では、副予測エリアに位置する物体を副追尾物とするので、予測エリア４１６に位置する物体４１２を副追尾物である物体４１２と正しく設定する。そして、Ｓ３３０では、他方の移動体を主追尾物とするので、物体４１０を主追尾物である物体４１０と正しく設定する。
【０１５７】
このように、主予測エリアに物体が位置し、副予測エリアに物体が位置しない場合は、主予測エリアに位置する物体が主追尾物である可能性が高いとの推測に基づき主追尾物を確定させて、また他方の物体を副追尾物と確定して、乗移りを防止することができる。
【０１５８】
逆に、副予測エリアに物体が位置し、主予測エリアに物体が位置しない場合は、副予測エリアに位置する物体が副追尾物である可能性が高いとの推測に基づき副追尾物を確定させ、また他方の物体を主追尾物と確定して、乗移りを防止することができる。
【０１５９】
次に、図１３に基づいて、図５の複数物追尾処理の具体的な動作について説明する。
【０１６０】
図１３は、同色の物体４２０と物体４２２が同一フレーム内に位置している状態での追尾動作の様子を示す図である。ここで、物体４２０は規則移動物と判定され、物体４２２は不規則低速移動物と判定されているものとする。
【０１６１】
図１３（ａ）は、それぞれ移動している物体４２０、４２２のフレーム内の位置とこのフレームの前に取得されたフレーム内の位置からの移動を示している。物体４２２は、このフレームの前に取得された複数のフレームの位置情報に基づいて、追尾エリア４２６が設定されている。
【０１６２】
図１３（ｂ）は、図１３（ａ）の次に取得されるフレームを示すもので、物体４２０と物体４２２の両方が、さらに移動した状態を示し、物体４２０と物体４２２がごく近傍に位置する状態を示す。図１３（ｂ）においては、物体４２０と物体４２２は一体化しており、即ち異なる距離にてフレーム内のほぼ同一位置に位置する状態となっている。この状態は、前述のように、物体の色による追尾方法の場合、同色の物体４２０と物体４２２の判別ができなくなり乗移りが発生する可能性が高い。
【０１６３】
予測エリア４２４は、規則移動物と判定されている物体４２０の動き履歴の方向と移動量から予測される予測エリアを示す。また、予測エリア４２６は、不規則低速移動物と判定されている物体４１２について、今回のフレームにおける位置情報を含めて予測される予測エリアを示す。
【０１６４】
図１３（ｃ）は、図１３（ｂ）の次に取得されるフレームを示すもので、図１３（ｂ）に示す前フレームに比較して、物体４２０は画面内のより左方に移動しており、物体４２２は画面内のより下方に移動した状態を示す。
【０１６５】
図１３（ｃ）に示すフレームでは、物体４２０は予測エリア４２４から外れており、一方、物体４２２は予測エリア４２６の内部に位置している。
【０１６６】
従来の色による追尾方法の場合、図１３（ａ）にて物体４２０を追尾している時に、図１３（ｂ）の状態を経て図１３（ｃ）の状態となった場合に、物体４２２を物体４２０と誤って判別してしまい、これ以後、物体４２２について追尾動作を行ってしまう乗移りが発生する可能性がある。逆に、物体４２２を追尾している時に、誤って物体４２０を追尾してしまう可能性もある。
【０１６７】
本実施例については、以下に示すようにして乗移りが発生することを防止する。
【０１６８】
ここで、主追尾物は物体４２２に、副追尾物は物体４２０に、主予測エリアは予測エリア４２６に、副予測エリアは予測エリア４２４に対応するものとする。
【０１６９】
図４の追尾処理のＳ２００にて図１２（ｂ）のフレームを取得すると、Ｓ２１０にて複数物追尾と判定され、Ｓ２１６にて複数物追尾処理（図５）を実行する。
【０１７０】
図５の複数物追尾処理のＳ３００にて類似色の追尾物が一体になったか判定する。図１３（ｂ）のフレームにて物体４２０と物体４２２は一体になったと判定され（Ｓ３００：ＹＥＳ）、Ｓ３０２にて乗移りフラグをセットし、追尾物が一体になった座標を記憶（Ｓ３０４）する。そして、物体４２０、４２２の動きを予測し、それぞれ予測エリア４２４、４２６を求めて複数物追尾処理を終了する。
【０１７１】
次に、図１３（ｃ）のフレームを取得すると、同様に図５の複数物追尾処理を実行し、Ｓ３００にて類似色の追尾物が一体になったか判定する。物体４２０と物体４２２は一体になっていないので（Ｓ３００：ＮＯ）、Ｓ３０８にて乗移りフラグが１か判定する。そして、Ｓ３０８にて乗移りフラグが１であるので、Ｓ３１０にて主予測エリアと副予測エリアのそれぞれに物体が位置するか否かを判定する。
【０１７２】
図１３（ｃ）の場合は、主予測エリア（予測エリア４２６）に２個の物体の両方が位置しているので（Ｓ３１０：ＮＯ）、Ｓ３２０（ＮＯ）、Ｓ３２６（ＮＯ）を経てＳ３３２に進む。
【０１７３】
そして、Ｓ３３２にて主予測エリアに２個の物体が位置するか否かを判定し（Ｓ３３２（ＹＥＳ））、Ｓ３３４に進む。
【０１７４】
Ｓ３３４では、主予測エリアに位置する２個の物体のうちで、主予測エリアの中心に近い方に位置する物体を主追尾物とする。即ち、図１３（ｃ）に示すように、主予測エリアである予測エリア４２６に位置する物体４２２を主追尾物である物体４２２と正しく設定する。そして、Ｓ３３６では、主予測エリアに位置する他方の移動体を副追尾物とするので、物体４２０を副追尾物である物体４２０と正しく設定する。
【０１７５】
このように、主予測エリアに２個の物体が位置する場合は、主予測エリアの中心に近い方が主予測エリアに対応する主追尾物である可能性が高く、遠い方が副予測エリアに対応する副追尾物である可能性が高いとの推定に基づく処理を行い、乗移りを防止することができる。
【０１７６】
また、副予測エリアに２個の物体が位置する場合は、副予測エリアの中心に近い方が副追尾物である可能性が高く、遠い方が主追尾物である可能性が高いとの推定に基づく処理を行い、乗移りを防止することができる。
【０１７７】
図１６は、本実施形態により、乗移りを防止することを示すための図である。
【０１７８】
図１６（ａ）は撮像により取得したフレームの画像（または画像表示）を示し、左方向に移動する物体６０２を主追尾物とし、右方向に移動する類似色を有する物体６０６を副追尾物として追尾している状態を示す。また、追尾していることを示す仮想的主追尾枠６０４を物体６０２に重畳して示し、仮想的副追尾枠６０８を物体６０６に重畳して示している。この物体６０２、６０６はいずれも規則移動物とする。
【０１７９】
図１６（ｂ）は、次の撮像により取得したフレームの画像を示し、物体６０２と物体６０６はフレーム内をそれぞれ移動した結果、一体化した状態となっている。この時、物体６０２と物体６０６は規則移動物と判別されている。従って、図１６（ａ）の画像データに基づいてそれぞれ主予測エリアと副予測エリアが算出され、図１６（ｂ）の画像データの中で主追尾物である物体６０２は不図示の主予測エリアに位置し、副追尾物である物体６０６は不図示の副予測エリアに位置する。その結果、主追尾物である物体６０２に仮想的主追尾枠６０４が設定され、副追尾物である物体６０６上に仮想的副追尾枠６０８が設定される。
【０１８０】
図１６（ｃ）は、さらに次の撮像により取得したフレームの画像を示し、物体６０２と物体６０６は分離している。この時、図１６（ａ）、（ｂ）の画像データに基づいてそれぞれ主予測エリアと副予測エリアが算出され、図１６（ｃ）の画像データの中で主追尾物である物体６０２は不図示の主予測エリアに位置し、副追尾物である物体６０６は不図示の副予測エリアに位置するので物体６０２が主追尾物、物体６０６が副追尾物と判別することができる。その結果、主追尾物である物体６０２に仮想的主追尾枠６０４が設定され、副追尾物である物体６０６上に仮想的副追尾枠６０８が設定される。
【０１８１】
このように、本実施形態の追尾処理により乗移りを防止することができる。
【０１８２】
以上述べたように、本実施形態によれば、複数物を追尾する際に、取得したフレームの画像データに基づいて、複数物である主追尾物と類似色を有する副追尾物が画像上で一体化したか否かを判定し、その後に取得したフレームの画像上で一体化していない場合に、主予測エリアと副予測エリアの両方に物体が位置するか否かを判定し、主予測エリアと副予測エリアの両方に物体が位置する場合は主予測エリアに位置する物体を主追尾物と設定し、副予測エリアに位置する物体を副追尾物と設定する。
【０１８３】
また、主予測エリアだけに物体が位置し、副予測エリアに物体が位置しない場合は、主予測エリアに位置する物体を主追尾物と設定し、他方の物体を副追尾物と設定する。また、副予測エリアだけに物体が位置し、主予測エリアに物体が位置しない場合は、副予測エリアに位置する物体を副追尾物と設定し、他方の物体を主追尾物と設定する。
【０１８４】
また、主予測エリアに２個の物体が位置する場合は、主予測エリアの中心に近い方の物体を主追尾物と設定し、遠い方の物体を副追尾物と設定する。
【０１８５】
また、副予測エリアに２個の物体が位置する場合は、副予測エリアの中心に近い方の物体を副追尾物と設定し、遠い方の物体を主追尾物と設定する。
【０１８６】
このようにして、主追尾物から副追尾物への乗移りを防止することが可能である。
【０１８７】
なお、色を追尾する方式を採用する前提で、副追尾物が類似色物体である場合について説明したが、輝度パターンを追尾する方式を採用する前提で、副追尾物が類似の輝度パターンを有する物体である場合についても同様に乗移りを防止することが可能である。
【０１８８】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の動作の説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【０１８９】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【０１９０】
１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５…色情報追尾処理回路、１３０６…複数物追尾処理回路、１３０７…メモリ制御回路
【図１】
2013219531.tif 000003
【図２】
2013219531.tif 000004
【図３】
2013219531.tif 000005
【図４】
2013219531.tif 000006
【図５】
2013219531.tif 000007
【図６】
2013219531.tif 000008
【図７】
2013219531.tif 000009
【図８】
2013219531.tif 000010
【図９】
2013219531.tif 000011
【図１０】
2013219531.tif 000012
【図１１】
2013219531.tif 000013
【図１２】
2013219531.tif 000014
【図１３】
2013219531.tif 000015
【図１４】
2013219531.tif 000016
【図１５】
2013219531.tif 000017
【図１６】
2013219531.tif 000018