(57)【要約】【課題】時系列に入力される撮影画像の中から特定の物体が映された領域を、より高速かつ高精度に追尾できる物体追尾装置、物体追尾方法およびそのプログラムを提供する。【解決手段】時系列画像を入力する画像入力手段と、時系列画像における追尾領域を特定する追尾領域特定手段と、追尾領域の動きベクトルを検出する動きベクトル検出手段と、検出された動きベクトルに応じて制限された追尾対象領域において、追尾領域を追尾する追尾処理手段とを備える。また、撮像装置の動きを検出する手段による動き検出結果を出力する動き検出結果出力手段を備えて、追尾処理手段が、動き検出結果から得られる動きベクトルに応じて制限された追尾対象領域において、追尾領域を追尾する。【選択図】図５
2012073997.tif 000002
【特許請求の範囲】
【請求項１】
時系列画像を入力する画像入力手段と、
前記時系列画像における追尾領域を特定する追尾領域特定手段と、
前記追尾領域の動きベクトルを検出する動きベクトル検出手段と、
検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾する追尾処理手段と
を備えたことを特徴とする物体追尾装置。
【請求項２】
前記動きベクトル検出手段は、ブロックマッチング法により動きベクトルを検出することを特徴とする請求項１に記載の物体追尾装置。
【請求項３】
前記動きベクトル検出手段は、時空間微分を用いる方法により動きベクトルを検出することを特徴とする請求項１に記載の物体追尾装置。
【請求項４】
前記追尾処理手段は、画像の輝度および色成分の少なくとも一方の度数分布に基づく特徴量を基に前画像フレームの追尾領域との類似度を算出して、現画像フレームの追尾対象領域において類似度が最も高い領域を新たな追尾領域として追尾することを特徴とする請求項１から請求項３のいずれか１項に記載の物体追尾装置。
【請求項５】
時系列画像を入力する撮像手段と、
前記時系列画像における追尾領域を特定する追尾領域特定手段と、
前記追尾領域の動きベクトルを検出する動きベクトル検出手段と、
検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾する追尾処理手段と、
前記追尾処理手段による追尾結果に基づき前記撮像手段を調整する撮像制御手段と
を備えたことを特徴とする物体追尾装置。
【請求項６】
前記撮像制御手段は、前記撮像手段に焦点距離を調整させることを特徴とする請求項５に記載の物体追尾装置。
【請求項７】
前記動きベクトル検出手段は、ブロックマッチング法により動きベクトルを検出することを特徴とする請求項５または請求項６に記載の物体追尾装置。
【請求項８】
前記動きベクトル検出手段は、時空間微分を用いる方法により動きベクトルを検出することを特徴とする請求項５または請求項６に記載の物体追尾装置。
【請求項９】
前記追尾処理手段は、画像の輝度および色成分の少なくとも一方の度数分布に基づく特徴量を基に前画像フレームの追尾領域との類似度を算出して、現画像フレームの追尾対象領域において類似度が最も高い領域を新たな追尾領域として追尾することを特徴とする請求項５から請求項８のいずれか１項に記載の物体追尾装置。
【請求項１０】
画像入力手段により、時系列画像を入力するステップと、
追尾領域特定手段により、前記時系列画像における追尾領域を特定するステップと、
動きベクトル検出手段により、前記追尾領域の動きベクトルを検出するステップと、
追尾処理手段により、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップと
を含むことを特徴とする物体追尾方法。
【請求項１１】
撮像手段により、時系列画像を入力するステップと、
追尾領域特定手段により、前記時系列画像における追尾領域を特定するステップと、
動きベクトル検出手段により、前記追尾領域の動きベクトルを検出するステップと、
追尾処理手段により、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップと、
撮像制御手段により、前記追尾処理手段による追尾結果に基づき前記撮像手段を調整するステップと
を含むことを特徴とする物体追尾方法。
【請求項１２】
画像入力手段からの時系列画像を入力するステップと、
追尾領域特定手段により、指定された前記時系列画像における追尾領域を特定するステップと、
動きベクトル検出手段により前記追尾領域の動きベクトルを検出するステップと、
追尾処理手段により、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップと
をコンピュータに実行させるプログラム。
【請求項１３】
撮像手段からの時系列画像を入力するステップと、
追尾領域特定手段により、指定された前記時系列画像における追尾領域を特定するステップと、
動きベクトル検出手段により、前記追尾領域の動きベクトルを検出するステップと、
追尾処理手段により、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップと、
撮像制御手段により、前記追尾処理手段による追尾結果に基づき前記撮像手段を調整するステップと
をコンピュータに実行させるプログラム。
【請求項１４】
時系列画像を入力する画像入力手段と、
前記時系列画像における追尾領域を特定する追尾領域特定手段と、
撮像装置の動きを検出する手段による動き検出結果を出力する動き検出結果出力手段と、
前記動き検出結果から得られる動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾する追尾処理手段と
を備えたことを特徴とする物体追尾装置。
【請求項１５】
前記撮像装置の動きを検出する手段は、加速度センサであることを特徴とする請求項１４に記載の物体追尾装置。
【請求項１６】
前記追尾処理手段は、画像の輝度および色成分の少なくとも一方の度数分布に基づく特徴量を基に前画像フレームの追尾領域との類似度を算出して、現画像フレームの追尾対象領域において類似度が最も高い領域を新たな追尾領域として追尾することを特徴とする請求項１４または請求項１５に記載の物体追尾装置。
【請求項１７】
時系列画像を入力する撮像手段と、
前記時系列画像における追尾領域を特定する追尾領域特定手段と、
撮像装置の動きを検出する手段による動き検出結果を出力する動き検出結果出力手段と、
前記動き検出結果から得られる前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾する追尾処理手段と、
前記追尾処理手段による追尾結果に基づき前記撮像手段を調整する撮像制御手段と
を備えたことを特徴とする物体追尾装置。
【請求項１８】
前記撮像制御手段は、前記撮像手段に焦点距離を調整させることを特徴とする請求項１７に記載の物体追尾装置。
【請求項１９】
前記追尾処理手段は、画像の輝度および色成分の少なくとも一方の度数分布に基づく特徴量を基に前画像フレームの追尾領域との類似度を算出して、現画像フレームの追尾対象領域において類似度が最も高い領域を新たな追尾領域として追尾することを特徴とする請求項１７または請求項１８に記載の物体追尾装置。
【請求項２０】
画像入力手段により、時系列画像を入力するステップと、
追尾領域特定手段により、前記時系列画像における追尾領域を特定するステップと、
動き検出結果出力手段により、撮像装置の動きを検出する手段による動き検出結果を出力するステップと、
追尾処理手段により、前記動き検出結果から得られる前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップと
を含むことを特徴とする物体追尾方法。
【請求項２１】
撮像手段により、時系列画像を入力するステップと、
追尾領域特定手段により、前記時系列画像における追尾領域を特定するステップと、
動き検出結果出力手段により、撮像装置の動きを検出する手段による動き検出結果を出力するステップと、
追尾処理手段により、前記動き検出結果から得られる前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップと、
撮像制御手段により、前記追尾処理手段による追尾結果に基づき前記撮像手段を調整するステップと
を含むことを特徴とする物体追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体追尾装置、物体追尾方法およびそのプログラムに関する。
【背景技術】
【０００２】
従来より、撮影装置から時系列に入力される撮影画像（以下、フレーム単位の各撮影画像を「画像フレーム」と称す）の中から特定の物体が映された領域を追尾する場合に、ある画像フレームの中から追尾対象の領域が決められた後、これに続く画像フレーム以降の画像フレームに対して、追尾対象の領域について追尾処理を行う装置が知られている。例えば、特許文献１には、物体追尾を行うときに、画像のノイズや追尾対象物体の変形により生じる追尾誤差を防止することを目的として、高精度な追尾機能を備えた画像処理装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の一般的な物体追尾装置では、追尾対象として特定された物体の移動および向きの変化ならびに変形などの影響によって、追尾結果に誤差が含まれてしまうため、追尾対象の領域を更新していくにつれて追尾誤差が累積し、最初の画像フレームで設定した本来の追尾対象の領域から大きくずれてしまい、追尾が失敗してしまうことがあった。また、この追尾誤差によって、追尾対象の領域のサイズが大きくなってしまった場合には、追尾処理に要する計算量が多くなり、処理速度が著しく遅くなってしまうという問題があった。
【０００４】
一方、特許文献１の画像処理装置では、追尾誤差を減少させ、追尾精度を向上させることができるが、追尾結果の修正のためにユーザが追尾点を入力する必要があり、高精度のみならず高速に追尾機能を実現するという課題は解消できていない。
【０００５】
本発明は、上記に鑑みてなされたものであって、時系列に入力される撮影画像の中から特定の物体が映された領域を、より高速かつ高精度に追尾できる物体追尾装置、物体追尾方法およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の物体追尾装置は、時系列画像を入力する画像入力手段と、前記時系列画像における追尾領域を特定する追尾領域特定手段と、前記追尾領域の動きベクトルを検出する動きベクトル検出手段と、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾する追尾処理手段とを備えたことを特徴とする。
【０００７】
また、本発明の物体追尾装置は、時系列画像を入力する撮像手段と、前記時系列画像における追尾領域を特定する追尾領域特定手段と、前記追尾領域の動きベクトルを検出する動きベクトル検出手段と、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾する追尾処理手段と、前記追尾処理手段による追尾結果に基づき前記撮像手段を調整する撮像制御手段とを備えたことを特徴とする。
【０００８】
また、本発明の物体追尾方法は、画像入力手段により、時系列画像を入力するステップと、追尾領域特定手段により、前記時系列画像における追尾領域を特定するステップと、動きベクトル検出手段により、前記追尾領域の動きベクトルを検出するステップと、追尾処理手段により、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップとを含むことを特徴とする。
【０００９】
また、本発明の物体追尾方法は、撮像手段により、時系列画像を入力するステップと、追尾領域特定手段により、前記時系列画像における追尾領域を特定するステップと、動きベクトル検出手段により、前記追尾領域の動きベクトルを検出するステップと、追尾処理手段により、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップと、撮像制御手段により、前記追尾処理手段による追尾結果に基づき前記撮像手段を調整するステップとを含むことを特徴とする。
【００１０】
また、本発明は、画像入力手段からの時系列画像を入力するステップと、追尾領域特定手段により、指定された前記時系列画像における追尾領域を特定するステップと、動きベクトル検出手段により前記追尾領域の動きベクトルを検出するステップと、追尾処理手段により、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップとをコンピュータに実行させるプログラムである。
【００１１】
また、本発明は、撮像手段からの時系列画像を入力するステップと、追尾領域特定手段により、指定された前記時系列画像における追尾領域を特定するステップと、動きベクトル検出手段により、前記追尾領域の動きベクトルを検出するステップと、追尾処理手段により、検出された前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップと、撮像制御手段により、前記追尾処理手段による追尾結果に基づき前記撮像手段を調整するステップとをコンピュータに実行させるプログラムである。
【００１２】
また、本発明の物体追尾装置は、時系列画像を入力する画像入力手段と、前記時系列画像における追尾領域を特定する追尾領域特定手段と、撮像装置の動きを検出する手段による動き検出結果を出力する動き検出結果出力手段と、前記動き検出結果から得られる動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾する追尾処理手段とを備えたことを特徴とする。
【００１３】
また、本発明の物体追尾装置は、時系列画像を入力する撮像手段と、前記時系列画像における追尾領域を特定する追尾領域特定手段と、撮像装置の動きを検出する手段による動き検出結果を出力する動き検出結果出力手段と、前記動き検出結果から得られる前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾する追尾処理手段と、前記追尾処理手段による追尾結果に基づき前記撮像手段を調整する撮像制御手段と
を備えたことを特徴とする。
【００１４】
また、本発明の物体追尾方法は、画像入力手段により、時系列画像を入力するステップと、追尾領域特定手段により、前記時系列画像における追尾領域を特定するステップと、動き検出結果出力手段により、撮像装置の動きを検出する手段による動き検出結果を出力するステップと、追尾処理手段により、前記動き検出結果から得られる前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップとを含むことを特徴とする。
【００１５】
また、本発明の物体追尾方法は、撮像手段により、時系列画像を入力するステップと、追尾領域特定手段により、前記時系列画像における追尾領域を特定するステップと、動き検出結果出力手段により、撮像装置の動きを検出する手段による動き検出結果を出力するステップと、追尾処理手段により、前記動き検出結果から得られる前記動きベクトルに応じて制限された追尾対象領域において、前記追尾領域を追尾するステップと、撮像制御手段により、前記追尾処理手段による追尾結果に基づき前記撮像手段を調整するステップとを含むことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、探索する追尾対象領域を、画像フレームの全領域ではなく、動き検出結果に基づき限定された領域とするので、時系列に入力される撮影画像の中から特定の物体が映された領域を、より高速かつ高精度に追尾することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明にかかる第１の実施形態である物体追尾装置の機能ブロック図である。
【図２】図２は、画像フレームについて説明する図である。
【図３】図３は、動きベクトル検出方法を説明する図である。
【図４】図４は、動きベクトルの検出結果に従い追尾対象領域を制限する様子を示す図である。
【図５】図５は、第１の実施形態の物体追尾装置における処理の流れを示すフローチャートである。
【図６】図６は、第１の実施形態の物体追尾装置をデジタルカメラとして実装した場合の構成を示すブロック図である。
【図７】図７は、第１の実施形態の物体追尾装置をデジタルカメラとして実装した場合の物体追尾装置の機能ブロック図である。
【図８】図８は、第１の実施形態の物体追尾装置をデジタルカメラとして実装した場合の物体追尾装置の処理の流れを示すフローチャートである。
【図９】図９は、本発明にかかる第２の実施形態である物体追尾装置の機能ブロック図である。
【図１０】図１０は、第２の実施形態の物体追尾装置における処理の流れを示すフローチャートである。
【図１１】図１１は、第２の実施形態の物体追尾装置をデジタルカメラとして実装した場合の構成を示すブロック図である。
【図１２】図１２は、第２の実施形態の物体追尾装置をデジタルカメラとして実装した場合の物体追尾装置の機能ブロック図である。
【図１３】図１３は、第２の実施形態の物体追尾装置をデジタルカメラとして実装した場合の物体追尾装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照して、この発明にかかる物体追尾装置の諸実施の形態を詳細に説明する。
【００１９】
（第１の実施形態）
図１は、第１の実施形態である物体追尾装置の機能ブロック図である。本実施形態の物体追尾装置は、画像入力部１０から、図２に示すように時間的に連続した画像フレームが入力され、入力された画像フレームに含まれる特定の物体が映された領域を追尾するようになっている。
【００２０】
追尾領域特定部２０は、入力された画像フレームの中から特定の物体が映された特定領域を、追尾対象となる追尾領域として指定できるようになっている。図２の例では、ある時刻ｔ０の画像フレームをＦ０とし、画像フレームＦ０に含まれるＡ，Ｂ，Ｃ，Ｄの４点で囲まれた領域１００が指定されると、Ｆ１以降の画像フレームにおいても、本実施形態の物体追尾装置は、領域１００に相当する領域を自動的に追尾するよう動作する。
【００２１】
動きベクトル検出部５０は、追尾領域特定部２０によって指定された追尾領域が次の画像フレームのどこにあるかを予想するために、現在および過去の画像フレームを利用して追尾領域の動きベクトルを検出する。この動きベクトル検出部５０は、追尾領域の動きベクトルＶｉｊを、以下の手順で検出する。
【００２２】
画像における動きベクトルの算出方法は、一般的に知られているものとして、時空間微分を用いる方法、および、テンプレートを用いるブロックマッチング法等があり、動きベクトルは、これらの方法により検出することができる。ここでは、一例として、ブロックマッチング法について説明するが、これに限らず本実施形態において時空間微分を用いる方法等を用いて動きベクトルを検出するようにしてもよい。なお、時空間微分法に基づく動きベクトル検出の手法については、特開平６−１５０００７号公報等に記載されている。
【００２３】
図３は、ブロックマッチング法を説明する図である。テンプレートを用いるブロックマッチング法では、異なる時刻に撮影された２枚の画像間で、同じ対象の対応付けを行い、その対象の移動量として、動きベクトルを検出する。
【００２４】
図３において、画像フレーム２００は、ある時刻ｔ０において撮影された画像であり、画像フレーム３００は、時刻ｔ０とは異なる時刻ｔ１において撮影された画像である。ここでは、画像フレーム２００中の位置（ｉ，ｊ）の領域２０１の動きベクトルを検出する。領域２０１は、横方向にＭ画素、縦方向にＮ画素の計（Ｍ×Ｎ）画素を含む。この領域２０１をテンプレートとし、画像フレーム３００中における領域３０１と同じ位置の領域３０１の近傍領域３１０において、類似度演算を行い、類似度が最も高い領域または相違度が最も低い領域を対応領域とする。
【００２５】
テンプレートの対応領域が、図中の領域３０２の場合には、動きベクトルは、領域３０１の中心から領域３０２の中心へと向かうベクトル３０５となる。これを、動きベクトルＶｉｊとする。
【００２６】
なお、類似度または相違度を表す指標は、例えば、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いるとよい。ＳＡＤは、次式（１）により表される。ＳＡＤは、相違度である。
【００２７】
【数１】
2012073997.tif 000003
【００２８】
ここで、Ｒは、ＳＡＤで算出した相違度、Ｉは、ｘ＝ｙ＝０のときに領域３０１と一致する画像フレーム３００内の部分領域、Ｔは、テンプレート領域２０１である。近傍領域３１０内で、ｘおよびｙを変化させてＳＡＤを算出し、値の最も低いときのｘの値ｘｍｉｎおよびｙの値ｙｍｉｎから対応する領域３０２を決定する。このとき、動きベクトルＶｉｊは、Ｖｉｊ＝（ｘｍｉｎ，ｙｍｉｎ）で表される。
【００２９】
次に、追尾処理部３０は、前画像フレームＦ（ｉ−１）内の追尾領域における画像の特徴量と、現画像フレームＦｉの追尾対象領域における画像の特徴量との類似度が最も高くなる領域（この領域が現画像フレームＦｉにおける追尾領域となる）を、現画像フレームＦｉの中から探索するようになっている。このとき、Ｆｉフレーム全体を追尾対象領域とするのではなく動きベクトル検出部５０で検出した追尾領域の動きベクトルに基づいて追尾対象領域を限定する。
【００３０】
ここで、追尾対象領域を限定（制限）する様子を図４に示す。例えば、図４（Ａ）のように前画像フレームＦ（ｉ−１）およびそれ以前の画像フレームにより検出した追尾領域の動きベクトルが４０１であった場合、追尾対象領域を動きベクトルの先端を中心とした領域４０２に限定する。また、図４（Ｂ）のように動きベクトル４０３が大きい場合は、この動きベクトルの長さに応じて追尾対象領域４０４を設定する。
【００３１】
図４では追尾対象領域を矩形としたが、必ずしもそうである必要はなく、動きベクトルに沿った楕円など、その形、大きさを柔軟に設定することが可能である。上記のように追尾対象領域を画像フレーム全体ではなく動きベクトルに基づき限定した領域とすることで、追尾処理部３０における特徴量算出およびその類似度算出に必要な処理時間を短縮することができ、かつ高精度な追尾結果が期待できる。
【００３２】
続いて、上記特徴量算出および類似度算出の具体的な方法を説明する。
【００３３】
本実施の形態において、追尾処理部３０は、画像の輝度の度数分布に基づいて、画像の特徴量を算出する。具体的には、追尾処理部３０は、前画像フレームＦ（ｉ−１）の追尾領域における画像の輝度の度数分布ｑ＝［ｑ１，ｑ２，・・・，ｑｎ］と、現画像フレームＦｉの追尾対象領域内で探索する追尾領域における画像の輝度の度数分布ｐ＝［ｐ１，ｐ２，・・・，ｐｎ］（ｎは、輝度の階調数に従う）とを算出する。なお、追尾処理部３０は、前画像フレームＦ（ｉ−１）の追尾領域の面積と、探索中の現画像フレームＦｉの追尾領域の面積とに基づいて、度数分布ｑ、ｐの少なくとも一方を正規化するようになっている。
【００３４】
次に、追尾処理部３０は、以下の式に従って類似度Ｓｉｍを算出する。
【００３５】
【数２】
2012073997.tif 000004
【００３６】
追尾処理部３０は、追尾対象領域において、算出した類似度Ｓｉｍが最も大きくなる追尾領域を特定する。なお、追尾処理部３０は、画像の輝度の度数分布に基づいて画像の特徴量を算出するのに代えて、画像の輝度の色成分（ＹＵＶまたはＲＧＢ）の度数分布に基づいて画像の特徴量を算出するようにしてもよい。あるいは、画像の輝度の度数分布と色成分の度数分布との組み合わせに基づいて、画像の特徴量を算出するようにしてもよい。
【００３７】
追尾結果出力部４０は、追尾処理部３０で算出された類似度Ｓｉｍが最も大きくなる追尾領域の座標を出力する。
【００３８】
次に、本実施形態の物体追尾装置における処理の流れを、図５を用いて説明する。図５は、本実施形態の物体追尾装置における処理の流れを示すフローチャートである。
【００３９】
はじめに、画像入力部１０から画像フレームが入力される（ステップＳ１）。
【００４０】
次に、追尾領域特定部２０により、入力された画像フレームの中から特定の物体が映された領域の指定を受け、この領域を追尾領域として特定する（ステップＳ２）。
【００４１】
次いで、追尾領域をテンプレートとした当該テンプレートの（現画像フレームにおける）対応領域の、追尾領域との類似度を算出する（ステップＳ３）。なお、画像入力部１０からは順次画像フレームが入力されており、現在の画像フレームを現画像フレームとして処理する。
【００４２】
そして、動きベクトル検出部５０により、ステップＳ３で算出した類似度を基に、追尾領域の動きベクトルを検出する（ステップＳ４）。
【００４３】
次いで、追尾対象画像（現画像フレーム）の探索領域制御として、前述のように、動きベクトル検出部５０で検出した追尾領域の動きベクトルに基づいて追尾対象領域を限定する（ステップＳ５）。
【００４４】
次に、対象領域（前画像フレームの追尾領域および現画像フレームの追尾対象領域内で探索する追尾領域）における特徴量（本実施形態では、画像の輝度の度数分布）を算出する（ステップＳ６）。
【００４５】
さらに、追尾対象領域において、前画像フレームの追尾領域との類似度を算出し、類似度が最も大きくなる領域を現画像フレームにおける新たな追尾領域として特定する（ステップＳ７）。
【００４６】
最後に、追尾結果として、ステップＳ７で特定した追尾領域を出力する（ステップＳ８）。
【００４７】
本実施形態では、追尾領域の指定後、ステップＳ３およびＳ４の動きベクトル検出からステップＳ８の追尾結果出力までの処理を連続かつ繰り返し実行する。その際、追尾領域の動きベクトルに基づき次の画像フレームにおいて探索する追尾対象領域を限定するので、本実施形態の物体追尾装置では、時系列画像に対して追尾処理を高精度のみならず高速に実施することが可能となる。
【００４８】
次に、上記物体追尾装置をデジタルカメラとして実装した場合の実施例を説明する。図６は、物体追尾装置をデジタルカメラとして実装した場合の構成を示すブロック図である。
【００４９】
図６に示すように、本実施例の物体追尾装置（デジタルカメラ）は、撮影光学系６０１と、メカシャッタ６０２と、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）６０３と、相関２重サンプリング（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ、以下、「ＣＤＳ」と記載）回路６０４と、アナログデジタル変換機（以下、「Ａ／Ｄ変換器」と記載）６０５と、モータドライバ６０６と、タイミング信号発生器６０７と、画像処理プロセッサ（画像処理回路）６０８と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６０９と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）６１０と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６１１と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）６１２と、圧縮伸長回路６１３と、メモリカード６１４と、操作部６１５と、液晶ディスプレイ装置（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ、以下、「ＬＣＤ」と記載）６１６とを備えている。
【００５０】
メカシャッタ６０２は、撮影光学系６０１を通してＣＣＤ６０３に入射される入射光を遮断することができるようになっている。ＣＣＤ６０３は、撮像面を有し、この撮像面に結像された光学像をアナログの画像信号に変換する。
【００５１】
ＣＤＳ回路６０４は、ＣＣＤ６０３によって変換されたアナログの画像信号からノイズ成分を除去する回路である。Ａ／Ｄ変換器６０５は、ＣＤＳ回路６０４によってノイズ成分が除去されたアナログの画像信号をディジタルの画像信号、すなわち、画像データに変換する。
【００５２】
モータドライバ６０６は、ＣＰＵ６０９の指示に基づいて、撮影光学系６０１およびメカシャッタ６０２を駆動し、撮影光学系６０１の位置を変動させたり、メカシャッタ６０２を開閉させたりする。
【００５３】
タイミング信号発生器６０７は、ＣＰＵ６０９の指示に基づいて、ＣＣＤ６０３、ＣＤＳ回路６０４およびＡ／Ｄ変換器６０５を動作させるためのタイミング信号を発生する。
【００５４】
画像処理プロセッサ６０８は、ＳＤＲＡＭ６１２に画像データを一時的に格納し、ＹＣｒＣｂ変換処理、ホワイトバランス処理、コントラスト補正処理、エッジ強調処理および色変換処理などの各種画像処理を画像データに施し、各種画像処理を施した画像データが表す画像をＬＣＤ６１６に表示させる。ここで、ホワイトバランス処理は、画像データが表す画像の色の濃さを調整する画像処理であり、コントラスト補正処理は、画像データが表す画像のコントラストを調整する画像処理である。また、エッジ強調処理は、画像データが表す画像の鮮鋭度を調整する画像処理であり、色変換処理は、画像データが表す画像の色合いを調整する画像処理である。
【００５５】
ＲＯＭ６１１には、当該装置を物体追尾装置として機能させるためのプログラムが記憶されている。ＣＰＵ６０９は、ＲＯＭ６１１に記憶されたプログラムを、ＲＡＭ６１０を作業領域として実行することにより、後述するように当該装置を物体追尾装置として機能させる。
【００５６】
圧縮伸長回路６１３は、操作部６１５を介して入力された指示に応じて、画像処理プロセッサ６０８によって各種画像処理が施された画像データを圧縮して、メモリカード６１４に記録する。また、圧縮伸長回路６１３は、メモリカード６１４から読み出した画像データを伸張して画像処理プロセッサ６０８に出力する。
【００５７】
操作部６１５は、スイッチ、レバーおよびタッチパネル等によって構成され、ユーザによる操作入力を受ける。なお、タッチパネルは、ＬＣＤ６１６上に設けられる。
【００５８】
続いて、上記構成を機能ブロック化し説明する。図７は、本実施例の物体追尾装置の機能ブロック図を示している。本実施例の物体追尾装置は、画像撮影部６０を備え、画像撮影部６０から時系列に入力される画像フレームの中から特定の物体が映された領域を追尾するようになっている。
【００５９】
具体的には、本実施例の物体追尾装置は、画像フレームの中から特定の物体が映された領域を指定するための追尾領域特定部２０と、この追尾領域特定部２０で指定された領域（すなわち、後で追尾することになる追尾領域）の動きベクトルを検出する動きベクトル検出部５０と、画像フレームの中から上記特定の物体が映された追尾領域を探索する追尾処理部３０と、追尾処理部３０の処理結果を出力する追尾結果出力部４０と、追尾結果出力部４０の出力に基づいて画像撮影部６０を制御する撮像制御部７０と、追尾結果などを表示する画像出力部８０とをさらに備えている。
【００６０】
ここで、画像撮影部６０は、図６を用いて前述した撮影光学系６０１、メカシャッタ６０２、ＣＣＤ６０３、ＣＤＳ回路６０４、Ａ／Ｄ変換器６０５、モータドライバ６０６およびタイミング信号発生器６０７によって構成される。
【００６１】
本実施例において、画像撮影部６０は、最初に画像フレームＦ０を取得し、次いで、△ｔの時間をあけて、画像フレームＦ１を取得し、最終的には、Ｎ枚の時系列の画像フレームを取得するものとする。
【００６２】
追尾領域特定部２０は、ＣＰＵ６０９および操作部６１５によって構成され、画像フレームの中から特定の物体が映された領域（追尾領域）を指定できるようになっている。例えば、追尾領域特定部２０は、画像出力部８０によって出力された画像上で、操作部６１５を介して矩形で指定された領域を追尾領域として特定するようになっている。
【００６３】
なお、追尾領域特定部２０は、画像出力部８０によって出力された画像上の１点をユーザに操作部６１５を用いて指定させ、指定された１点を含み、他の領域よりコントラストが高い領域を追尾領域として抽出してもよい。本実施の形態においては、追尾領域特定部２０によって追尾領域が指定された画像フレームを画像フレームＦ０として説明している。
【００６４】
追尾処理部３０、追尾結果出力部４０、動きベクトル検出部５０はＣＰＵ６０９によって構成され、図５を用いて前述した一連の追尾処理を行う。
【００６５】
撮像制御部７０は、ＣＰＵ６０９によって構成され、追尾処理結果を受けて、追尾領域に焦点を合わせるように、画像撮影部６０の焦点距離を調整するようになっている。
【００６６】
画像出力部８０は、ＬＣＤ６１６、圧縮伸長回路６１３およびメモリカード６１４によって構成され、各種画像処理が施された画像フレームを圧縮し、メモリカード６１４に格納すると共に、当該画像をＬＣＤ６１６に表示させるようになっている。
【００６７】
本実施例の処理の流れを図８に示す。同図に示した処理の流れは、最初のステップＳ１において画像撮影部６０から画像フレームが入力される点と、ステップＳ８で出力される追尾結果に従い画像撮影部６０を制御する最後のステップＳ９の処理を追加している点を除いて、前述の図５を用いて説明した処理の流れと同様である。なお、ステップＳ９では、具体的には、追尾結果に従い撮影光学系６０１の焦点距離を調整する制御を行う。このように、追尾処理をデジタルカメラのオートフォーカスに応用することで、被写体距離が変化する場合にも任意の被写体に焦点を連続的に合わせることが可能となる。
【００６８】
（第２の実施形態）
図９は、第２の実施形態である物体追尾装置の機能ブロック図である。本実施形態の物体追尾装置は、第１の実施形態の物体追尾装置と同様に、画像入力部１０から、図２に示した時間的に連続した画像フレームが入力され、入力された画像フレームに含まれる特定の物体が映された領域を追尾するようになっている。
【００６９】
本実施形態の物体追尾装置が前述の第１の実施形態の物体追尾装置と異なる点は、第１の実施形態における動きベクトル検出部５０に代えて、外部センサ検出結果出力部５０’を設けた点である。その他の構成要素は、前述の第１の実施形態のものと同様である。
【００７０】
本実施形態の外部センサ検出結果出力部５０’は、追尾領域特定部２０によって特定された領域が次のフレームのどこにあるかを予想するために、撮像装置本体の動きを示す外部センサによる検出結果に基づく情報を出力する。外部センサとしては、加速度センサを利用することができる。加速度センサとは、加速度の測定を目的とした慣性センサである。加速度センサを用いることで撮像装置本体の動きを検出することが可能である。加速度センサには大きく分けて機械式、光学式、半導体式がある。機械式や光学式の加速度センサは、コストやサイズの面で、撮像装置の動きを検出するという目的にはそぐわない。半導体式の加速度センサを用いるのが好ましい。半導体式の加速度センサには、さらに静電容量方式、ピエゾ抵抗方式、熱検知方式などがある。それぞれの方式の原理や構造は周知であるのでその説明は省略する。
【００７１】
本実施形態において、外部センサによる検出結果は、撮像装置本体の動きを示すものであるが、被写体が静止している場合、撮像装置本体の動きは、画像フレーム内の被写体の動きとして表れる（例えば、撮像装置本体が右に動いた場合、被写体は画像フレーム内で左に移動することになる）。従って、外部センサによる検出結果は、第１の実施形態における動きベクトル検出部５０により検出される被写体の動きベクトルに対応するものとなる。外部センサ検出結果出力部５０’は、外部センサによる検出結果を基に、第１の実施形態における動きベクトル検出部５０が出力する動きベクトルの情報に相当するようにその向きと大きさを調整した情報（動きベクトル）を、外部センサによる検出結果に基づく情報として出力する。ここで出力される情報は、追尾領域特定部２０により特定された追尾領域の動きベクトルとなる。
【００７２】
追尾処理部３０は、第１の実施形態の場合と同様に、前画像フレームＦ（ｉ−１）内の追尾領域における画像の特徴量と、現画像フレームＦｉの追尾対象領域における画像の特徴量との類似度が最も高くなる領域（この領域が現画像フレームＦｉにおける追尾領域となる）を、現画像フレームＦｉの中から探索するようになっている。このとき、本実施形態では、Ｆｉフレーム全体を追尾対象領域とするのではなく、外部センサ検出結果出力部５０’からの情報すなわち外部センサで検出した撮像装置の動きに基づいて、追尾対象領域を限定する。そして、第１の実施形態の場合と同様に、追尾領域特定部２０により特定された追尾領域の追尾を行うことになる。画像入力部１０、追尾領域特定部２０、追尾処理部３０および追尾結果出力部４０におけるその他の動作・機能は、前述の第１の実施形態の場合と同じである。
【００７３】
次に、本実施形態の物体追尾装置における処理の流れを、図１０を用いて説明する。図１０は、本実施形態の物体追尾装置における処理の流れを示すフローチャートである。図１０に示すフローチャートにおいて、前述の第１の実施形態の図５に示したフローチャートと異なる点は、動きベクトル検出部５０による処理（図５のステップＳ３、Ｓ４の処理）を下記の外部センサ検出結果出力部５０’による処理（ステップＳ１３）に変更している点である。なお、その他の処理の内容は共通している。
【００７４】
はじめに、画像入力部１０から画像フレームが入力される（ステップＳ１１）。
【００７５】
次に、追尾領域特定部２０により、入力された画像フレームの中から特定の物体が映された領域の指定を受け、この領域を追尾領域として特定する（ステップＳ１２）。
【００７６】
次いで、外部センサ検出結果出力部５０’は、外部センサによる検出結果（撮像装置本体の動き）に基づく情報として、追尾領域特定部２０により特定された追尾領域についての動きベクトルの情報を出力する（ステップＳ１３）。
【００７７】
次いで、追尾対象画像（現画像フレーム）の探索領域制御として、追尾処理部３０は、外部センサ検出結果出力部５０’からの追尾領域の動きベクトルに基づいて追尾対象領域を限定する（ステップＳ１４）。
【００７８】
次に、追尾処理部３０は、対象領域（前画像フレームの追尾領域および現画像フレームの追尾対象領域内で探索する追尾領域）における特徴量（本実施形態では、画像の輝度の度数分布）を算出する（ステップＳ１５）。
【００７９】
さらに、追尾処理部３０は、追尾対象領域において、前画像フレームの追尾領域との類似度を算出し、類似度が最も大きくなる領域を現画像フレームにおける新たな追尾領域として特定する（ステップＳ１６）。
【００８０】
最後に、追尾結果出力部４０は、追尾結果として、ステップＳ１６で特定した追尾領域を出力する（ステップＳ１７）。
【００８１】
本実施形態では、追尾領域の指定後、ステップＳ１３の外部センサ検出結果出力からステップＳ１７の追尾結果出力までの処理を連続かつ繰り返し実行する。その際、追尾領域の動きベクトルに基づき次の画像フレームにおいて探索する追尾対象領域を限定するので、本実施形態の物体追尾装置においても、時系列画像に対して追尾処理を高精度のみならず高速に実施することが可能となる。
【００８２】
次に、上記物体追尾装置をデジタルカメラとして実装した場合の実施例を説明する。図１１は、本実施形態の物体追尾装置をデジタルカメラとして実装した場合の構成を示すブロック図である。第１の実施形態において、図６に示し前述した構成と異なる点は、ハードウェアとして前述の外部センサ６１７をさらに設けた点である。その他のハードウェア構成は第１の実施形態で説明したデジタルカメラの構成と同様である。ここではこの構成についての説明は省略する。
【００８３】
続いて、上記構成を機能ブロック化し説明する。図１２は、本実施例の物体追尾装置の機能ブロック図を示している。本実施例の物体追尾装置は、画像撮影部６０を備え、画像撮影部６０から時系列に入力される画像フレームの中から特定の物体が映された領域を追尾するようになっている。
【００８４】
具体的には、本実施例の物体追尾装置は、画像フレームの中から特定の物体が映された領域を指定するための追尾領域特定部２０と、外部センサによる検出結果から追尾領域特定部２０で指定された領域（すなわち、後で追尾することになる追尾領域）についての動きベクトルの情報を出力する外部センサ検出結果出力部５０’と、画像フレームの中から上記特定の物体が映された追尾領域を探索する追尾処理部３０と、追尾処理部３０の処理結果を出力する追尾結果出力部４０と、追尾結果出力部４０の出力に基づいて画像撮影部６０を制御する撮像制御部７０と、追尾結果などを表示する画像出力部８０とをさらに備えている。この構成は、動きベクトル検出部５０に代えて設けた外部センサ検出結果出力部５０’を除いて、前述の第１の実施形態の物体追尾装置における構成と同様である。
【００８５】
ここで、画像撮影部６０は、図６を用いて前述した（図１１においても同様の）撮影光学系６０１、メカシャッタ６０２、ＣＣＤ６０３、ＣＤＳ回路６０４、Ａ／Ｄ変換器６０５、モータドライバ６０６およびタイミング信号発生器６０７によって構成される。
【００８６】
本実施例において、画像撮影部６０は、最初に画像フレームＦ０を取得し、次いで、△ｔの時間をあけて、画像フレームＦ１を取得し、最終的には、Ｎ枚の時系列の画像フレームを取得するものとする。
【００８７】
追尾領域特定部２０は、ＣＰＵ６０９および操作部６１５によって構成され、画像フレームの中から特定の物体が映された領域（追尾領域）を指定できるようになっている。例えば、追尾領域特定部２０は、画像出力部８０によって出力された画像上で、操作部６１５を介して矩形で指定された領域を追尾領域として特定するようになっている。
【００８８】
なお、追尾領域特定部２０は、画像出力部８０によって出力された画像上の１点をユーザに操作部６１５を用いて指定させ、指定された１点を含み、他の領域よりコントラストが高い領域を追尾領域として抽出してもよい。本実施の形態においては、追尾領域特定部２０によって追尾領域が指定された画像フレームを画像フレームＦ０として説明している。
【００８９】
追尾処理部３０、追尾結果出力部４０、外部センサ検出結果出力部５０’はＣＰＵ６０９によって構成され、図１０を用いて前述した一連の追尾処理を行う。
【００９０】
撮像制御部７０は、ＣＰＵ６０９によって構成され、追尾処理結果を受けて、追尾領域に焦点を合わせるように、画像撮影部６０の焦点距離を調整するようになっている。
【００９１】
画像出力部８０は、ＬＣＤ６１６、圧縮伸長回路６１３およびメモリカード６１４によって構成され、各種画像処理が施された画像フレームを圧縮し、メモリカード６１４に格納すると共に、当該画像をＬＣＤ６１６に表示させるようになっている。
【００９２】
本実施例の処理の流れを図１３に示す。同図に示した処理の流れは、最初のステップＳ１１において画像撮影部６０から画像フレームが入力される点と、ステップＳ１７で出力される追尾結果に従い画像撮影部６０を制御する最後のステップＳ１８の処理を追加している点を除いて、前述の図１０を用いて説明した処理の流れと同様である。なお、ステップＳ１８では、具体的には、追尾結果に従い撮影光学系６０１の焦点距離を調整する制御を行う。このように、本実施形態においても、追尾処理をデジタルカメラのオートフォーカスに応用することで、被写体距離が変化する場合にも任意の被写体に焦点を連続的に合わせることが可能となる。
【００９３】
以上、発明を実施するための実施の形態および諸実施例について説明を行ったが、本発明は、上述した実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
【００９４】
（その他の実施形態）
本実施形態の物体追尾装置に備わる制御手段（例えば、図６に示すＣＰＵ６０９）により実行され、本物体追尾装置の機能を実現させるプログラムは、本物体追尾装置に備わる不揮発性記憶媒体（例えば、図６に示すＲＯＭ６１１）に予め組み込まれて提供されるか、または、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００９５】
または、上記プログラムの提供を、コンピュータで読み取り可能な記録媒体に代えて、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供または配布するように構成してもよい。
【符号の説明】
【００９６】
１０…画像入力部
２０…追尾領域特定部
３０…追尾処理部
４０…追尾結果出力部
５０…動きベクトル検出部
５０’…外部センサ検出結果出力部
６０…画像撮影部
７０…撮像制御部
８０…画像出力部
６０１…撮影光学系
６０２…メカシャッタ
６０３…ＣＣＤ
６０４…相関２重サンプリング（ＣＤＳ）回路
６０５…Ａ／Ｄ変換器
６０６…モータドライバ
６０７…タイミング信号発生器
６０８…画像処理プロセッサ
６０９…ＣＰＵ
６１０…ＲＡＭ
６１１…ＲＯＭ
６１２…ＳＤＲＡＭ
６１３…圧縮伸長回路
６１４…メモリカード
６１５…操作部
６１６…液晶ディスプレイ装置
６１７…外部センサ
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特開２００９−１０４５３号公報
【図１】
2012073997.tif 000005
【図２】
2012073997.tif 000006
【図３】
2012073997.tif 000007
【図４】
2012073997.tif 000008
【図５】
2012073997.tif 000009
【図６】
2012073997.tif 000010
【図７】
2012073997.tif 000011
【図８】
2012073997.tif 000012
【図９】
2012073997.tif 000013
【図１０】
2012073997.tif 000014
【図１１】
2012073997.tif 000015
【図１２】
2012073997.tif 000016
【図１３】
2012073997.tif 000017