(57)【要約】【課題】特徴量抽出領域の特徴量が背景と酷似している場合やズームを使用する場合でも安定して追尾を継続することができる人物追尾装置及び人物追尾プログラムを提供する。【解決手段】ユーザによって指示された人物を追尾する場合に、指示された座標位置の周辺を探索領域としてその領域内の人物の頭部らしい領域を探索し、頭部を含む領域を特徴量抽出領域として決定すると共に、追尾中も常に探索範囲内にある人物の頭部らしい領域を探索し、頭部が充分な信頼性持って検出された場合には検出された頭部を含む領域を、また頭部が検出できなかった場合にはテンプレートに登録された特徴量と処理フレーム内の特徴量抽出領域との相関値を算出した結果から追尾対象の移動量を算出し、その結果によりパン・チルト・ズーム機能を有する撮像装置１０１を制御する。【選択図】図１
2006254321.tif 000002
【特許請求の範囲】
【請求項１】
パン、チルト及びズーム機能を有する撮像装置を制御してユーザが指定した人物を自動追尾する人物追尾装置であって、
追尾対象人物が指定されたフレーム上の点の座標周辺から前記追尾対象人物の頭部を検出する頭部検出手段と、
前記頭部検出手段にて検出された前記追尾対象人物の頭部を含む領域を特徴量抽出領域として決定する特徴量抽出領域決定手段と、
前記特徴量抽出領域決定手段で決定された前記特徴量抽出領域の特徴量を算出しそれをテンプレートとして登録するテンプレート登録手段と、
前記特徴量抽出領域決定手段で決定された前記特徴量抽出領域の周辺領域を次のフレーム内で同じ特徴量を有する領域を探索するための探索領域として決定する探索領域決定手段と、
前記次のフレームの前記探索領域決定手段にて決定された探索領域内で前記テンプレート登録手段に登録されたテンプレートとの相関値を算出する相関値算出手段と、
前記相関値算出手段の相関値算出結果から最も高い相関があった領域を前記追尾対象人物の移動先として決定する移動位置決定手段と、
前記移動位置決定手段にて得られた移動先の位置情報を基に前記撮像装置のパン、チルト及びズームを制御する撮像装置制御手段と、
を備える人物追尾装置。
【請求項２】
前記探索領域内で前記追尾対象人物の頭部を検出する探索領域内頭部検出手段を備え、
前記移動位置決定手段は、前記探索領域内頭部検出手段の検出結果から前記探索領域内で前記追尾対象人物の頭部を検出できた場合には該頭部を基準として移動位置を決定し、前記探索領域内で該頭部を検出できなかった場合には前記相関値算出手段による相関値算出結果から最も高い相関があった領域を移動先として決定する請求項１に記載の人物追尾装置。
【請求項３】
前記追尾対象人物の頭部の大きさを算出する頭部大きさ算出手段を備え、
前記特徴量抽出領域決定手段は、追尾中に前記撮像装置のズーム機能が働いた場合、前記頭部大きさ算出手段で算出されたズーム動作時の該頭部の大きさにより前記特徴量抽出領域の大きさを変更する請求項１又は請求項２に記載の人物追尾装置。
【請求項４】
前記頭部大きさ算出手段は、前記撮像装置のズーム情報と前記撮像装置の高さを示す高さ情報とにより前記追尾対象人物の大きさを推定して該人物の頭部の大きさを算出する請求項３に記載の人物追尾装置。
【請求項５】
パン、チルト及びズーム機能を有する撮像装置を制御してユーザが指定した人物を追尾するための人物追尾プログラムであって、
追尾対象人物の指定を受けると、指定された時点でのフレーム上の点の座標周辺から前記追尾対象人物の頭部を検出する頭部検出ステップと、
検出した前記追尾対象人物の頭部を含む領域を特徴量抽出領域として決定する特徴量抽出領域決定ステップと、
決定した前記特徴量抽出領域の特徴量を算出しそれをテンプレートとして登録するテンプレート登録ステップと、
決定した前記特徴量抽出領域の周辺領域を次のフレーム内で同じ特徴量を有する領域を探索するための探索領域として決定する探索領域決定ステップと、
前記次のフレームの探索領域内で登録済みの前記テンプレートとの相関値を算出する相関値算出ステップと、
相関値算出結果から最も高い相関があった領域を前記追尾対象人物の移動先として決定する移動位置決定ステップと、
前記追尾対象人物の移動先の位置情報を基に前記撮像装置のパン、チルト及びズームを制御する撮像装置制御ステップと、
を備え、コンピュータに前記各ステップを実行させる人物追尾プログラム。
【請求項６】
前記探索領域内で前記追尾対象人物の頭部を検出する探索領域内頭部検出ステップを備え、
前記移動位置決定ステップでは、前記探索領域内で前記追尾対象人物の頭部を検出できた場合には該頭部を基準として移動位置を決定し、前記探索領域内で該頭部を検出できなかった場合には前記相関値算出結果から最も高い相関があった領域を移動先として決定する請求項５に記載の人物追尾プログラム。
【請求項７】
前記追尾対象人物の頭部の大きさを算出する頭部大きさ算出ステップを備え、
前記特徴量抽出領域決定ステップでは、追尾中に前記撮像装置のズーム機能が働いたことを検知すると、算出したズーム動作時の該頭部の大きさにより前記特徴量抽出領域の大きさを変更する請求項５又は請求項６に記載の人物追尾プログラム。
【請求項８】
前記頭部大きさ算出ステップでは、前記撮像装置のズーム情報と前記撮像装置の高さを示す高さ情報とにより前記追尾対象人物の大きさを推定して該人物の頭部の大きさを算出する請求項７に記載の人物追尾プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を用いて人物を追尾する人物追尾装置及び人物追尾プログラムに関する。
【背景技術】
【０００２】
従来、パン（水平方向）、チルト（垂直方向）及びズーム（拡大、縮小）機能を有する撮像装置を制御してユーザが指定した人物や移動体を自動追尾する方法として、モニタ上に映し出された映像中でユーザが指定した位置に対応する座標を中心とした数十画素の枠（例えば、横１６×縦３２画素）を特徴量抽出領域として決定し、さらにその領域内の特徴量を抽出してテンプレートとして登録し、次に処理するフレームに対し、登録済みのテンプレートを用いて最も相関のある領域を探索しながら追尾を行う方法がある（例えば、特許文献１参照）。またこの方法では、相関値が規定値より大きく異なる場合には複数のテンプレートを登録・更新しながら追尾するようにしている。
【０００３】
ここで、従来の人物追尾装置についてさらに詳細に説明する。図４は、従来の人物追尾装置の概略構成を示すブロック図である。この図に示す人物追尾装置は、撮像装置１０１と、入力部１０２と、画像メモリ１０３及び１０４と、特徴量抽出領域決定部１０６と、探索領域決定部１０７と、テンプレート登録部１０８と、相関値算出部１０９と、移動位置決定部１１０と、表示部１１２と、パン・チルト・ズーム制御部１１３と、追尾物体指示部１１４とから構成されている。
【０００４】
撮像装置１０１は、パン、チルト及びズーム機能を有し、被写体を撮像した撮像信号を出力する。入力部１０２は、撮像装置１０１からの撮像信号をフィルタ処理して高域成分を除去し、さらにアナログ／ディジタル（Ａ／Ｄ）変換して画像データを生成し、その画像データを画像メモリ１０３及び１０４に記憶させる。この場合、入力部１０２は画像メモリ１０３及び１０４には同一のフレームの画像を記憶させるのではなく、異なったフレームの画像データを記憶させる。追尾物体指示部１１４は、ユーザによる追尾対象の指定を可能とするものであり、撮像装置１０１からの映像内で追尾対象の指定を受け付けることで該追尾対象の映像内での座標を特徴量抽出領域決定部１０６に通知する。
【０００５】
特徴量抽出領域決定部１０６は、追尾物体指示部１１４より通知された座標を中心とした領域（例えば、横１６画素×縦３２画素程度の枠）を特徴量抽出領域として決定する。探索領域決定部１０７は、テンプレートとして登録する横１６×縦３２画素の枠より数十画素大きな枠（例えば、６４×６４画素）を決定し、次に処理するフレーム内に探索領域を決定する。この場合、現フレームの特徴量抽出領域の周辺に探索領域を決定する。テンプレート登録部１０８は、特徴量抽出領域決定部１０６で決定された特徴量抽出領域の特徴量を算出してそれをテンプレートとして登録する。
【０００６】
相関値算出部１０９は、前フレームにおいてテンプレート登録部１０８で登録されたテンプレートと現フレームとの相関をとり、最も相関が高かった位置を中心に現フレームに探索領域を決定し、その探索領域内の各位置において現在保有している全てのテンプレートとの相関値を算出する。移動位置決定部１１０は、相関値算出部１０９で算出された全フレームの特徴量と最も相関の高い領域の中心を算出して現フレームでの人物の位置とする。表示部１１２は、追尾している人物に枠の表示を行い、また各種の設定を行うためのメニューを表示する。パン・チルト・ズーム制御部１１３は、移動位置決定部１１０で決定された移動位置に従って撮像装置１０１のパン、チルト及びズームを制御するための制御信号を生成し、それを撮像装置１０１に入力する。
【０００７】
【特許文献１】特開平１１−１８７３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、従来の人物追尾装置においては、次のような問題がある。すなわち、従来の人物追尾装置は、追尾開始時に指示された座標周辺（例えば、縦１６×横３２画素）の特徴量を抽出してフレーム毎に相関値を算出しながら指示された人物の移動量を求めており、相関値が最も近い領域を移動先として決定するようにしている。しかしながら、特徴量抽出領域の特徴量は移動物体の移動や見かけの変化に伴い変化し、相関マップでピークとなる相関値が所定の値を超えた場合にはテンプレートを更新／追加するために特徴量抽出領域が少しずつ移動し、人物を指定した場合であっても頭部から足の先まで変化する可能性がある。このため、算出した特徴量抽出領域の特徴量が背景と酷似しているような場合は安定して追尾を継続することが困難である。
【０００９】
また、特徴量抽出領域の大きさを固定にしているので、追尾中に人物をズームアップしたときに、特徴量抽出領域内に特徴のある人物の頭部が入らなかったり、逆に頭部が小さくなったりして、特徴量抽出領域内に広い範囲で背景が含まれるようになったりすることがあり、この場合も安定して追尾を継続することが困難になる。
【００１０】
本発明は、係る事情に鑑みてなされたものであり、特徴量抽出領域の特徴量が背景と酷似している場合やズームを使用する場合でも安定して追尾を継続することができる人物追尾装置及び人物追尾プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的は下記構成及びプログラムにより達成される。
（１）  パン、チルト及びズーム機能を有する撮像装置を制御してユーザが指定した人物を自動追尾する人物追尾装置であって、追尾対象人物が指定されたフレーム上の点の座標周辺から前記追尾対象人物の頭部を検出する頭部検出手段と、前記頭部検出手段にて検出された前記追尾対象人物の頭部を含む領域を特徴量抽出領域として決定する特徴量抽出領域決定手段と、前記特徴量抽出領域決定手段で決定された前記特徴量抽出領域の特徴量を算出しそれをテンプレートとして登録するテンプレート登録手段と、前記特徴量抽出領域決定手段で決定された前記特徴量抽出領域の周辺領域を次のフレーム内で同じ特徴量を有する領域を探索するための探索領域として決定する探索領域決定手段と、前記次のフレームの前記探索領域決定手段にて決定された探索領域内で前記テンプレート登録手段に登録されたテンプレートとの相関値を算出する相関値算出手段と、前記相関値算出手段の相関値算出結果から最も高い相関があった領域を前記追尾対象人物の移動先として決定する移動位置決定手段と、前記移動位置決定手段にて得られた移動先の位置情報を基に前記撮像装置のパン、チルト及びズームを制御する撮像装置制御手段と、を備える。
【００１２】
（２）  上記（１）に記載の人物追尾装置において、前記探索領域内で前記追尾対象人物の頭部を検出する探索領域内頭部検出手段を備え、前記移動位置決定手段は、前記探索領域内頭部検出手段の検出結果から前記探索領域内で前記追尾対象人物の頭部を検出できた場合には該頭部を基準として移動位置を決定し、前記探索領域内で該頭部を検出できなかった場合には前記相関値算出手段による相関値算出結果から最も高い相関があった領域を移動先として決定する。
【００１３】
（３）  上記（１）又は（２）に記載の人物追尾装置において、前記追尾対象人物の頭部の大きさを算出する頭部大きさ算出手段を備え、前記特徴量抽出領域決定手段は、追尾中に前記撮像装置のズーム機能が働いた場合、前記頭部大きさ算出手段で算出されたズーム動作時の該頭部の大きさにより前記特徴量抽出領域の大きさを変更する。
【００１４】
（４）  上記（３）に記載の人物追尾装置において、前記頭部大きさ算出手段は、前記撮像装置のズーム情報と前記撮像装置の高さを示す高さ情報とにより前記追尾対象人物の大きさを推定して該人物の頭部の大きさを算出する。
【００１５】
（５）  パン、チルト及びズーム機能を有する撮像装置を制御してユーザが指定した人物を追尾するための人物追尾プログラムであって、追尾対象人物の指定を受けると、指定された時点でのフレーム上の点の座標周辺から前記追尾対象人物の頭部を検出する頭部検出ステップと、検出した前記追尾対象人物の頭部を含む領域を特徴量抽出領域として決定する特徴量抽出領域決定ステップと、決定した前記特徴量抽出領域の特徴量を算出しそれをテンプレートとして登録するテンプレート登録ステップと、決定した前記特徴量抽出領域の周辺領域を次のフレーム内で同じ特徴量を有する領域を探索するための探索領域として決定する探索領域決定ステップと、前記次のフレームの探索領域内で登録済みの前記テンプレートとの相関値を算出する相関値算出ステップと、相関値算出結果から最も高い相関があった領域を前記追尾対象人物の移動先として決定する移動位置決定ステップと、前記追尾対象人物の移動先の位置情報を基に前記撮像装置のパン、チルト及びズームを制御する撮像装置制御ステップとを備え、コンピュータに前記各ステップを実行させる。
【００１６】
（６）  上記（５）に記載の人物追尾プログラムにおいて、前記探索領域内で前記追尾対象人物の頭部を検出する探索領域内頭部検出ステップを備え、前記移動位置決定ステップでは、前記探索領域内で前記追尾対象人物の頭部を検出できた場合には該頭部を基準として移動位置を決定し、前記探索領域内で該頭部を検出できなかった場合には前記相関値算出結果から最も高い相関があった領域を移動先として決定する。
【００１７】
（７）  上記（５）又は（６）に記載の人物追尾プログラムにおいて、前記追尾対象人物の頭部の大きさを算出する頭部大きさ算出ステップを備え、前記特徴量抽出領域決定ステップでは、追尾中に前記撮像装置のズーム機能が働いたことを検知すると、算出したズーム動作時の該頭部の大きさにより前記特徴量抽出領域の大きさを変更する。
【００１８】
（８）  上記（７）に記載の人物追尾プログラムにおいて、前記頭部大きさ算出ステップでは、前記撮像装置のズーム情報と前記撮像装置の高さを示す高さ情報とにより前記追尾対象人物の大きさを推定して該人物の頭部の大きさを算出する。
【発明の効果】
【００１９】
上記（１）に記載の人物追尾装置では、特徴量抽出領域を、背景とは異なる人物の頭部を含む領域としたので、追尾対象人物を精度良く継続して追尾することが可能となる。
【００２０】
上記（２）に記載の人物追尾装置では、探索領域内で頭部を検出できた場合には該頭部を基準として移動位置を決定し、探索領域内で頭部を検出できなかった場合には相関値算出結果から最も高い相関があった領域を移動先として決定するので、追尾精度の向上が図れる。
【００２１】
上記（３）に記載の人物追尾装置では、撮像装置のズーム機能により追尾対象人物の頭部の大きさが変わった場合に、その変化に応じて特徴量抽出領域の大きさを変更するので、追尾精度の向上が図れる。
【００２２】
上記（４）に記載の人物追尾装置では、撮像装置のズーム情報と撮像装置が設置されている高さからそのときの追尾対象人物の大きさを推定し、その推定結果から追尾対象人物の頭部の大きさを算出するので、撮像装置のズーム機能により追尾対象人物の頭部の大きさが変わった場合でもその変化に応じて特徴量抽出領域の大きさを変更できるので、追尾精度の向上が図れる。
【００２３】
上記（５）に記載の人物追尾プログラムでは、特徴量抽出領域を、背景とは異なる人物の頭部を含む領域としたので、追尾対象人物を精度良く継続して追尾することが可能となる。
【００２４】
上記（６）に記載の人物追尾プログラムでは、探索領域内で頭部を検出できた場合には該頭部を基準として移動位置を決定し、探索領域内で頭部を検出できなかった場合には相関値算出結果から最も高い相関があった領域を移動先として決定するので、追尾精度の向上が図れる。
【００２５】
上記（７）に記載の人物追尾プログラムでは、撮像装置のズーム機能により追尾対象人物の頭部の大きさが変わった場合に、その変化に応じて特徴量抽出領域の大きさを変更するので、追尾精度の向上が図れる。
【００２６】
上記（８）に記載の人物追尾プログラムでは、撮像装置のズーム情報と撮像装置が設置されている高さからそのときの追尾対象人物の大きさを推定し、その推定結果から追尾対象人物の頭部の大きさを算出するので、撮像装置のズーム機能により追尾対象人物の頭部の大きさが変わった場合でもその変化に応じて特徴量抽出領域の大きさを変更できるので、追尾精度の向上が図れる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１に係る人物追尾装置の概略構成を示すブロック図である。なお、この図において、図４と同じ構成要素については同じ符号を用い、その説明を省略する。
【００２９】
図１において、本実施の形態の人物追尾装置１００は、撮像装置１０１と、入力部１０２と、画像メモリ１０３及び１０４と、頭部検出部１０５と、特徴量抽出領域決定部１０６と、探索領域決定部１０７と、テンプレート登録部１０８と、相関値算出部１０９と、移動位置決定部１１０と、探索領域内頭部検出部１１１と、表示部１１２と、パン・チルト・ズーム制御部１１３と、追尾物体指示部１１４とを備えている。
【００３０】
撮像装置１０１にて撮像して得られた画像データが入力部１０２にてフィルタ処理された後、Ａ／Ｄ変換されてディジタルの画像データとして画像メモリ１０３に記憶される。この場合、画像メモリ１０３に記憶されたフレームから処理フレーム間隔後のデータが画像メモリ１０４に記憶される。
【００３１】
頭部検出部１０５は、追尾物体指示部１１４で追尾対象人物の指定を受けると、指定された時点でのフレーム上の点の座標を中心とした数十画素の矩形（例えば、横６４画素×縦６４画素程度の探索領域）の領域内にある移動物体領域を抽出し、該領域内の人物の頭部に相当する領域を検出する。この場合、人物などの移動物体を追尾中には撮像装置１０１が常時動作しているために単純に前のフレームとの差分を算出しただけでは移動物体領域のみを抽出することはできない。そこで、撮像装置１０１のパン・チルト量に相当する背景ベクトル量を算出し、その背景ベクトルを利用して画面全体の動きを算出し、その動きをキャンセルした画像を用いてフレーム間差分等により時刻ｔ１と処理周期分経過したｔ＋Δｔのフレーム間差分処理結果を用いて物体領域を抽出した後、頭部検出部１０５においてその物体の頭部領域を検出する。
【００３２】
ここで、頭部検出部１０５の頭部領域検出処理について、図２に示すフローチャートを参照して説明する。
【００３３】
図２において、移動物体領域抽出工程（ステップＳＴ２０１）では、自動追尾中の撮像装置１０１のパン・チルト量に相当する背景ベクトル量を算出して画面の動きをキャンセルした結果を用いて前のフレームとの間でフレーム間差分を行い、得られた結果にメディアンフィルタ等のノイズ除去フィルタを通して背景中のノイズなどを取り除き、１フレーム前の物体領域を抽出する。その後、複数回の膨張・収縮処理を行い、結果に対してエッジ抽出工程（ステップＳＴ２０２）でフィルタ処理等によりエッジ抽出処理を行う。エッジ抽出工程で得られたエッジ画像に対して、頭部用と肩部用のテンプレートを複数設定してパターンマッチングの一種であるハフ変換による投票処理を行う。
【００３４】
人物の頭部は、一般的に縦長で楕円に近く首の部分にはエッジが存在しない場合もあることも考慮し、頭部用のテンプレートは楕円の水平方向に多少幅を持たせた形状とする。また、見かけ上の大きさの変化も考慮して異なる数種類の半径のデータを設定する。肩部に対しても頭部より大きめで上下にエッジの無い場合も考慮して異なる大きさの数種類のテンプレートを用意する。
【００３５】
ハフ変換による投票工程（ステップＳＴ２０３）では、用意された数種類のテンプレートに対するそれぞれの投票結果からピークを検出する。そして、頭部探索工程（ステップＳＴ２０４）においてハフ変換による投票工程で得られたピークを頭部の円の中心とし、各テンプレートで検出した円の中心を基準にテンプレートとエッジ画像との一致度を算出して最も一致度が高い円を頭部の半径とする。
【００３６】
肩部に対しても同様に肩部探索工程（ステップＳＴ２０５）において数種類用意されたテンプレートに対する投票結果からピークを検出することにより肩部の中心を求める。
【００３７】
次の信頼性判定工程（ステップＳＴ２０６）では、頭部検出処理を全てのフレームに対して適用した場合には頭部を誤検出した場合においてもそこを頭部と判断したことにより、追尾精度が低下する場合も考慮し、
・頭部検出時のテンプレートとエッジ画像の一致率
・頭部の中心と肩部の中心の位置関係
・頭部の中心と肩部の中心の距離
等により、頭部検出の信頼性を評価して信頼性が高い場合のみ結果を頭部とみなす処理を行う。以上が頭部領域検出処理である。
【００３８】
図１に戻り、特徴量抽出領域決定部１０６は、頭部検出部１０５で頭部検出の信頼性が有効と判断された場合、頭部検出部１０５で決定された頭部及び肩部の中心から特徴量を抽出する領域を決定する。探索領域決定部１０７は、現フレーム内の人物の特徴量抽出領域の周辺数十画素（例えば、６４×６４画素）を探索領域として決定する。探索領域は、追尾する人物の移動速度により決定しても良いが、広く設定することにより同じ特徴量を有する領域を探索範囲内で算出するために処理時間を要したり、同じような特徴量を有する領域が探索領域内に複数得られ、追跡が途切れる可能性がある。
【００３９】
テンプレート登録部１０８は、特徴量抽出領域決定部１０６で決定された領域の特徴量を算出してテンプレートとして登録する。この場合、特徴量としては輝度データ（水平・垂直）・色データ等を用いる。相関値算出部１０９は、探索領域内の各位置において現在保持している全てのテンプレートとの相関値を算出する。この場合、探索範囲内でテンプレートと最も相関が高くなった領域を新しい物体領域とする。テンプレートとの相関値が装置の有する規定値に達しなかった場合にはその特徴量を新たにテンプレートとして追加あるいは更新することもできる。探索領域内頭部検出部１１１は、探索範囲に指定された領域内において図２に示す頭部検出処理と同じ過程を経て領域内の頭部を検出する。
【００４０】
移動位置決定部１１０は、探索領域内頭部検出部１１１における頭部検出の信頼性が有効であった場合には頭部の中心位置を基準として移動位置を決定し、それ以外の場合には相関値算出部１０９の結果から最も高い相関があった領域を移動先として決定する。表示部１１２は、装置の出力に入力映像信号と共に現在の特徴量抽出領域を枠で表示したり、設定画面をオーバレイしたりすることも可能である。パン・チルト・ズーム制御部１１３は、移動位置決定部１１０で決定された移動先の位置を示す移動位置情報に従って撮像装置１０１のパン、チルト及びズームを制御する。
【００４１】
このように本実施の形態の人物追尾装置１００によれば、ユーザによって指示された人物を追尾する場合に、指示された座標位置の周辺を探索領域としてその領域内の人物の頭部らしい領域を探索し、頭部を含む領域を特徴量抽出領域として決定すると共に、追尾中も常に探索範囲内にある人物の頭部らしい領域を探索し、頭部が充分な信頼性持って検出された場合には検出された頭部を含む領域を、また頭部が検出できなかった場合にはテンプレートに登録された特徴量と処理フレーム内の特徴量抽出領域との相関値を算出した結果から追尾対象の移動量を算出し、その結果によりパン・チルト・ズーム機能を有する撮像装置１０１を制御するので、街頭監視などにおいてパン・チルト・ズーム機能を有する撮像装置を制御して自動的に特定の人物を追尾させる用途において、周囲の環境や背景の変化の影響を受け難く精度の良い追尾を行うことができる。すなわち、従来は算出した特徴量抽出領域の特徴量が背景と酷似しているような場合、安定して追尾を継続することが困難であったが、本発明では、背景とは異なる人物の頭部を含む領域とすることから、追尾対象人物を精度良く継続して追尾することができる。さらに、本発明では、探索領域内で頭部を検出できた場合には該頭部を基準として移動位置を決定し、探索領域内で頭部を検出できなかった場合には相関値算出結果から最も高い相関があった領域を移動先として決定するようにもしているので、さらなる追尾精度向上が図れる。
【００４２】
なお、上記実施の形態１の人物追尾装置１００の機能は、磁気ディスク、光磁気ディスク、ＲＯＭ等の記録媒体にプログラムとして記録することができる。したがって、この記録媒体をコンピュータで読み取って、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）等で実行することにより画像処理装置の機能を実現することができる。そのプログラムは、以下のステップを備える。
【００４３】
追尾対象人物の指定を受けると、指定された時点でのフレーム上の点の座標周辺から前記追尾対象人物の頭部を検出する頭部検出ステップ；
検出した追尾対象人物の頭部を含む領域を特徴量抽出領域として決定する特徴量抽出領域決定ステップ；
決定した前記特徴量抽出領域の特徴量を算出しそれをテンプレートとして登録するテンプレート登録ステップ；
決定した前記特徴量抽出領域の周辺領域を次のフレーム内で同じ特徴量を有する領域を探索するための探索領域として決定する探索領域決定ステップ；
前記次のフレームの探索領域内で登録済みの前記テンプレートとの相関値を算出する相関値算出ステップ；
相関値算出結果から最も高い相関があった領域を追尾対象人物の移動先として決定する移動位置決定ステップ；
追尾対象人物の移動先の位置情報を基に撮像装置１０１のパン、チルト及びズームを制御する撮像装置制御ステップ。
【００４４】
上記移動位置決定ステップでは、探索領域内で頭部を検出できた場合には該頭部を基準として移動位置を決定し、探索領域内で頭部を検出できなかった場合には相関値算出結果から最も高い相関があった領域を移動先として決定することも可能である。
【００４５】
（実施の形態２）
図３は、本発明の実施の形態２に係る人物追尾装置の概略構成を示すブロック図である。なお、この図において、図４及び図１と同じ構成要素については同じ符号を用い、その説明を省略する。
【００４６】
図３において、本実施の形態の人物追尾装置２００は、撮像装置１０１と、入力部１０２と、画像メモリ１０３及び１０４と、頭部検出部３０１と、頭部大きさ算出部３０２と、特徴量抽出領域決定部３０３と、探索領域決定部３０４と、テンプレート登録部１０８と、相関値算出部１０９と、移動位置決定部１１０と、表示部１１２と、パン・チルト・ズーム制御部１１３と、追尾物体指示部１１４とを備えている。
【００４７】
本実施の形態の人物追尾装置２００は、頭部大きさ算出部３０２が、頭部検出部３０１においてハフ変換による投票で用いたテンプレートによって頭部や肩部の大きさを推定するか、又は撮像装置１０１のズームレンズ・チルト情報及び撮像装置１０１が設置されている高さからその時点における人物の大きさを算出する。
【００４８】
ここで、
カメラの高さ：ｈ
カメラの俯角：θ
距離        ：Ｌ
とすると、Ｌ＝ｈｔａｎθの計算を行うことによって被写体までの距離が分かる。
【００４９】
また、頭部大きさ算出部３０２は、現在のズーム情報を取得することで人物の大きさを算出する。
ここで、
焦点距離：ｆ
ＣＣＤによる定数：ａ
被写体の高さ：Ｈ
とすると、Ｈ＝ａ／ｆの計算を行うことで被写体の高さが分かる。
【００５０】
これらの結果を特徴量抽出領域決定部３０３に反映して特徴量抽出領域の大きさを設定する。特徴量抽出領域決定部３０３は、頭部大きさ算出部３０２の結果から頭部の大きさが大きい場合には広く、頭部の大きさが小さい場合には狭くなるように特徴量抽出領域を決定する。探索領域決定部３０４は、追尾対象の人物の移動速度に合わせて特徴量抽出領域の周辺に縦・横数十画素広い探索領域を設定する。
【００５１】
テンプレート登録部１０８は、特徴量抽出領域決定部３０３が決定した領域の特徴量を算出してテンプレートとして登録する。この場合、特徴量としては輝度データ（水平、垂直）・色データ等を用いる。相関値算出部１０９は、前処理フレームにおいてテンプレートと最も相関が高かった位置を中心に現フレームに探索領域を設定し、探索領域内の各位置において現在保持している全てのテンプレートとの相関値を算出する。なお、相関値が装置の有する規定値に達しなかった場合には、その特徴量を新たにテンプレートとして追加あるいは更新することもできる。
【００５２】
移動位置決定部１１０は、頭部検出部３０１における頭部検出の信頼性が有効であった場合には頭部の中心位置を基準として移動位置を決定し、それ以外の場合には相関値算出部１０９の結果から最も高い相関があった領域を移動先として決定する。表示部１１２は、入力映像信号を外部に出力すると共に現在の特徴量抽出領域を枠で表示したり、設定画面をオーバレイしたりする。
【００５３】
このように本実施の形態の人物追尾装置２００によれば、追尾対象の人物を追尾中に撮像装置１０１のズームを働かせた場合に、ズーム制御した時点での人物の大きさを算出し、その結果に基づいて特徴量抽出領域と探索領域の大きさを決定するので、大きくズームアップした場合に頭部の一部のみ特徴量抽出領域に設定されたり、反対に広角に制御した場合に人物の頭部よりも背景部分が特徴量抽出領域に含まれることを回避することが可能となり、人物追尾の精度をさらに向上させることが可能となる。
【００５４】
なお、上記実施の形態２の人物追尾装置２００の機能は、実施の形態１の人物追尾装置１００と同様に、磁気ディスク、光磁気ディスク、ＲＯＭ等の記録媒体にプログラムとして記録することができる。したがって、この記録媒体をコンピュータで読み取って、ＭＰＵ、ＤＳＰ等で実行することにより画像処理装置の機能を実現することができる。そのプログラムは、実施の形態１で示したステップの他に、頭部の大きさを算出する頭部大きさ算出ステップを追加し、特徴量抽出領域決定ステップで、追尾中に撮像装置のズーム機能が働いたことを検知した場合に、算出したズーム動作時の頭部の大きさにより特徴量抽出領域の大きさを変更する。
【００５５】
上記頭部大きさ算出ステップでは、撮像装置１０１のズーム情報と撮像装置１０１の高さを示す高さ情報とにより追尾対象人物の大きさを推定して該人物の頭部の大きさを算出することも可能である。
【００５６】
また、上記実施の形態１及び２においては、人物追尾装置として、人物を追尾するものであったが、人物以外に動物などの人間以外の生き物も勿論高精度且つ長時間に亘って追尾することが可能である。
【産業上の利用可能性】
【００５７】
本発明は、特徴量抽出領域内に背景を含まないように領域を設定することによりズームを使用する場合でも安定して追尾を継続することができるといった効果を有し、人物を追尾する人物追尾装置等の監視装置などへの適用が可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態１に係る人物追尾装置の概略構成を示すブロック図
【図２】図１の人物追尾装置の頭部領域検出処理を説明するためのフローチャート
【図３】本発明の実施の形態２に係る人物追尾装置の概略構成を示すブロック図
【図４】従来の人物追尾装置の概略構成を示すブロック図
【符号の説明】
【００５９】
１００、２００  人物追尾装置
１０１  撮像装置
１０２  入力部
１０３、１０４  画像メモリ
１０５、３０１  頭部検出部
１０６、３０３  特徴量抽出領域決定部
１０７、３０４  探索領域決定部
１０８  テンプレート登録部
１０９  相関値算出部
１１０  移動位置決定部
１１１  探索領域内頭部検出部
１１２  表示部
１１３  パン・チルト・ズーム制御部
１１４  追尾物体指示部
３０２  頭部大きさ算出部
【図１】
2006254321.tif 000003
【図２】
2006254321.tif 000004
【図３】
2006254321.tif 000005
【図４】
2006254321.tif 000006