(57)【要約】【課題】  撮像手段が追尾目標の自動追尾に失敗する可能性を低くする。【解決手段】  追尾目標１０２の自動追尾の可能性（難易度）を示す追尾継続性値と目標部との関係を示す情報を記憶しておく。そして、追尾継続性値を取得すると、当該追尾継続性値に関連する目標部が画面の中央に表示されるように、パン・チルトの移動量を計算し、計算した移動量だけ、ＰＴＺカメラ２０１の雲台を動かして、撮像部４００の撮像方向を変更する。このとき、追尾継続性値が、追尾目標１０２の自動追尾の可能性が低いことを示す値であるほど、追尾目標１０２の自動追尾の失敗が起こりにくくなる位置を目標部として決定する。例えば、撮像部４００が追尾目標１０２よりも高い位置に鉛直下向きに設置されている場合には、追尾継続性値が追尾目標１０２の自動追尾の可能性が低いことを示す値であるほど、追尾目標１０２内の下の方の位置を目標部として決定する。【選択図】  図４
2016076791.tif 000002
【特許請求の範囲】
【請求項１】
撮像方向を自動的に変更することが可能な撮像手段で撮像された画像から、当該撮像手段で自動追尾する移動物体を抽出する抽出手段と、
前記抽出手段により抽出された前記移動物体に対する自動追尾の継続の難易度を評価するための指標を取得する取得手段と、
前記取得手段により取得された前記指標に基づいて、前記画像における目標部を決定する決定手段と、
前記決定手段により決定された目標部に基づいて、前記撮像手段による前記撮像方向の変更を指示する指示手段と、を有し、
前記決定手段は、前記指標により評価される前記難易度が相対的に高い場合の方が、前記指標により評価される前記難易度が相対的に低い場合よりも、前記移動物体の自動追尾の失敗が起こりにくくなる位置を、前記目標部として決定し得るようにしたことを特徴とする物体追尾装置。
【請求項２】
前記指標は、前記撮像手段の実空間における位置と、前記移動物体の実空間における位置との関係に基づいて定まる指標であることを特徴とする請求項１に記載の物体追尾装置。
【請求項３】
前記指標は、前記撮像手段と前記移動物体との間の距離であり、
前記決定手段は、前記撮像手段と前記移動物体との間の距離が、相対的に小さい場合の方が、前記撮像手段と前記移動物体との間の距離が、相対的に大きい場合よりも、前記移動物体の自動追尾の失敗が起こりにくくなる位置を、前記目標部として決定し得るようにしたことを特徴とする請求項１または２に記載の物体追尾装置。
【請求項４】
前記指標は、前記画像における前記移動物体の大きさであり、
前記決定手段は、前記画像における前記移動物体の大きさが、相対的に大きい場合の方が、前記画像における前記移動物体の大きさが、相対的に小さい場合よりも、前記移動物体の自動追尾の失敗が起こりにくくなる位置を、前記目標部として決定し得るようにしたことを特徴とする請求項１または２に記載の物体追尾装置。
【請求項５】
前記指標は、前記撮像手段のチルト角であり、
前記決定手段は、前記撮像手段のチルト角が、相対的に天頂に近い角度である場合の方が、前記撮像手段のチルト角が、相対的に天頂から遠い角度である場合よりも、前記移動物体の自動追尾の失敗が起こりにくくなる位置を、前記目標部として決定し得るようにしたことを特徴とする請求項１または２に記載の物体追尾装置。
【請求項６】
前記指標は、前記撮像方向を変更するために前記撮像手段が単位時間に動く角度であり、
前記決定手段は、前記撮像方向を変更するために前記撮像手段が単位時間に動く角度が、相対的に大きい角度である場合の方が、前記撮像方向を変更するために前記撮像手段が単位時間に動く角度が、相対的に小さい角度である場合よりも、前記移動物体の自動追尾の失敗が起こりにくくなる位置を、前記目標部として決定し得るようにしたことを特徴とする請求項１または２に記載の物体追尾装置。
【請求項７】
前記移動物体の自動追尾の失敗が起こりにくくなる位置は、前記撮像手段と前記目標部との間の実空間における距離が大きくなる位置であることを特徴とする請求項１〜６の何れか１項に記載の物体追尾装置。
【請求項８】
前記撮像手段は、鉛直下向きに設置され、
前記決定手段は、前記指標により評価される前記難易度が相対的に高い場合の方が、前記指標により評価される前記難易度が相対的に低い場合よりも、前記画像における下の位置を前記目標部として決定し得るようにしたことを特徴とする請求項１〜７の何れか１項に記載の物体追尾装置。
【請求項９】
前記決定手段は、前記指標により評価される前記難易度が高いことを表す指標であるほど、前記移動物体の自動追尾の失敗が起こりにくくなる位置を、前記目標部として決定することを特徴とする請求項１〜８の何れか１項に記載の物体追尾装置。
【請求項１０】
前記決定手段は、前記指標により評価される前記難易度が相対的に低い場合の方が、前記指標により評価される前記難易度が相対的に高いことを表す指標である場合よりも、前記目標部が決定された後に前記画像に対して行われる処理に適した位置を前記目標部として決定し得るようにしたことを特徴とする請求項１〜９の何れか１項に記載の物体追尾装置。
【請求項１１】
前記指標に基づいて、前記移動物体に対する自動追尾の継続の難易度を示す値を導出する導出手段をさらに有し、
前記決定手段は、前記値と前記目標部の位置との関係と、前記導出手段により導出された前記値とに基づいて、前記目標部の位置を決定し、
前記関係は、前記値が、前記難易度が高いことを示す値であるほど、前記目標部の位置が、前記移動物体の自動追尾の失敗が起こりにくくなる位置になる関係であることを特徴とする請求項１〜１０の何れか１項に記載の物体追尾装置。
【請求項１２】
前記指示手段は、前記目標部が前記画像の中心の位置になるように、前記撮像手段による前記撮像方向の変更を指示することを特徴とする請求項１〜１１の何れか１項に記載の物体追尾装置。
【請求項１３】
前記決定手段は、前記撮像手段の設置条件に応じて、前記移動物体の自動追尾の失敗が起こりにくくなる位置を変更することを特徴とする請求項１〜１２の何れか１項に記載の物体追尾装置。
【請求項１４】
撮像方向を自動的に変更することが可能な撮像手段で撮像された画像から、当該撮像手段で自動追尾する移動物体を抽出する抽出工程と、
前記抽出工程により抽出された前記移動物体に対する自動追尾の継続の難易度を評価するための指標を取得する取得工程と、
前記取得工程により取得された前記指標に基づいて、前記画像における目標部を決定する決定工程と、
前記決定工程により決定された目標部に基づいて、前記撮像手段による前記撮像方向の変更を指示する指示工程と、を有し、
前記決定工程は、前記指標により評価される前記難易度が相対的に高い方が、前記指標により評価される前記難易度が相対的に低い場合よりも、前記移動物体の自動追尾の失敗が起こりにくくなる位置を、前記目標部として決定し得るようにしたことを特徴とする物体追尾方法。
【請求項１５】
請求項１〜１３の何れか１項に記載の物体追尾装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体追尾装置、物体追尾方法、およびプログラムに関し、特に、撮像手段が物体を自動追尾するために用いて好適なものである。
【背景技術】
【０００２】
監視およびモニタリングシステムでは、ＰＴＺカメラとよばれるパン・チルト・ズームを自動的に調節することが可能なカメラを用いた自動追尾技術が知られている。かかる自動追尾技術では、追尾目標が常に撮像され続けるように、ＰＴＺカメラのパン・チルト・ズームを自動的に制御する。ここでパンとは、カメラの向きを左右に振ることを意味する。チルトとは、カメラの向きを上下に振ることを意味する。ズームとは、画角を望遠または広角に変化させることを意味する。
【０００３】
特許文献１では、ＰＴＺカメラが静止しているときにフレーム間差分を用いて移動体を検知し、検知した移動体をＰＴＺカメラで追尾する技術が開示されている。特許文献１では、移動体の移動方向および速度を差分画像から推定し、移動体を撮像画面の中心近くで捉えるために必要なパン・チルト値を算出する。
【０００４】
特許文献２では、店の入り口のカメラにて顔画像を最適な状態で撮像することを目的に、顔画像を抽出して追尾し、カメラの方向制御部、ズーム制御部、および露光制御部を制御する技術が開示されている。
【０００５】
特許文献３では、画面上に表示された追尾目標の座標をもとに、追尾目標を画面中心に表示するために必要なＰＴＺカメラの制御パラメータを計算する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−７７６１７号公報
【特許文献２】特開２００９−８６９３２号公報
【特許文献３】特開平９−１８１９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１〜３に記載の技術では、追尾目標の位置や動き等によっては、撮像手段が追尾目標の自動追尾に失敗する虞がある。例えば、追尾目標としての人物領域の重心位置が、常に画面の中心になるように、撮像手段の撮像方向を移動させた場合、自動追尾に失敗する虞がある。
【０００８】
本発明はこのような問題点に鑑みなされたものであり、撮像手段が追尾目標の自動追尾に失敗する可能性を低くすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の物体追尾装置は、撮像方向を自動的に変更することが可能な撮像手段で撮像された画像から、当該撮像手段で自動追尾する移動物体を抽出する抽出手段と、前記抽出手段により抽出された前記移動物体に対する自動追尾の継続の難易度を評価するための指標を取得する取得手段と、前記取得手段により取得された前記指標に基づいて、前記画像における目標部を決定する決定手段と、前記決定手段により決定された目標部に基づいて、前記撮像手段による前記撮像方向の変更を指示する指示手段と、を有し、前記決定手段は、前記指標により評価される前記難易度が相対的に高い場合の方が、前記指標により評価される前記難易度が相対的に低い場合よりも、前記移動物体の自動追尾の失敗が起こりにくくなる位置を、前記目標部として決定し得るようにしたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像手段が追尾目標の自動追尾に失敗する可能性を低くすることができる。
【図面の簡単な説明】
【００１１】
【図１】目標部の設定方法を説明する図である。
【図２】自動追尾に失敗しやすくなる状況を説明する図である。
【図３】追尾システムの構成を示す図である。
【図４】ＰＴＺカメラの構成を示す図である。
【図５】追尾継続性値と目標部の位置との関係を示す図である。
【図６】目標部の位置の一例を示す図である。
【図７】自動追尾処理を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の実施形態を説明する前に、本発明の実施形態の前提となる事項について説明する。
自動追尾技術では、画面内における追尾目標の探索と、探索した追尾目標が画面内に映るようなカメラの制御パラメータの計算とを繰り返すことで追尾目標を追尾し続けるのが一般的である。
【００１３】
このとき、追尾目標は、矩形や楕円などの簡単な図形で近似されることが多い。また、追尾目標を近似する図形内の或る部分を目標部として選択し、その目標部が画面の中央に位置するようにカメラの制御パラメータを計算する。どの部分を目標部として選ぶのが好適であるのかは、自動追尾の目的により異なる。通常は、追尾目標が画面の中心、または、画面の中心よりもやや下に撮像されるようにするようにするため、近似図形の上半分の領域から目標部を選ぶことが多い。
【００１４】
図１は、目標部の設定方法の一例を説明する図である。
図１において、ＰＴＺカメラで撮像される画像１０１内に、追尾目標１０２が映し出されている様子を示す。移動方向１０６を示す矢印線は、追尾目標１０２が当該矢印線の方向に移動中であることを示す。追尾目標１０２の形は、近似図形１０３に近似される。図１では、近似図形１０３が矩形である場合を例に挙げて示す。中心点１０４は、近似図形１０３の中心点を表す。上１／３点１０５は、横方向の位置が、近似図形１０３の横方向の中央の位置であり、且つ、縦方向の位置が、近似図形１０３の上端から下の方へ近似図形１０３の高さの１／３の距離だけ隔てた位置の点である。尚、近似図形１０３、中心点１０４、および上１／３点１０５は、通常は、画像１０１内に表示されない。
【００１５】
ＰＴＺカメラは、中心点１０４を常に目標部とすることで追尾目標１０２の全身を画面の中央に映すことができる。また、ＰＴＺカメラは、上１／３点１０５を常に目標部とすることで追尾目標１０２の上半身を画面の中央に映すことができる。
図１に示す例では、目標部が点である場合を例に挙げて示す。しかしながら、目標部として、点よりも大きな領域を用いることもできる。例えば、顔全体の領域を目標部として選ぶこともできる。
【００１６】
もし、ＰＴＺカメラが撮像した画像を用いて、後段で何らかの映像処理を行う場合には、当該映像処理を行う機能が最も有効に働く部分を目標部として選ぶようにすることが考えられる。例えば、後段の映像処理機能として、顔認証機能や眼鏡判別機能がある場合には、追尾目標の顔領域を目標部として選ぶことができる。また、後段の映像処理機能として、服装判別機能がある場合は、追尾目標の胴体領域を目標部として選ぶことができる。
【００１７】
しかしながら、常に同じ領域を目標部として選ぶことにより、特定の状況において自動追尾に失敗しやすくなる。
図２は、自動追尾に失敗しやすくなる状況の一例を説明する図である。図２では、追尾目標１０２よりも高い位置に、ＰＴＺカメラ２０１（の天頂の方向）が鉛直下向きに設置されている場合を例に挙げて示す。追尾目標１０２は、ＰＴＺカメラ２０１から数ｍ離れた直線２０２上を、地点２０３から地点２０４を経由して地点２０５へ移動するものとする。このとき、目標部として、近似図形１０３内の上の方の位置、例えば、中心点１０４や上１／３点１０５を選択する場合、自動追尾に失敗しやすくなる。
【００１８】
その理由を以下に説明する。
追尾目標１０２が、ＰＴＺカメラ２０１に近い位置を移動する場合、ＰＴＺカメラ２０１のパン角・チルト角が瞬間的に大きく変化する。図２に示す例の場合、追尾目標１０２が地点２０３または地点２０５付近を移動するときには、パン角・チルト角の角速度は小さく、また、チルト角は水平方向に近い角度になる。一方、追尾目標１０２が地点２０４付近を移動するときは、パン角・チルト角とも角速度が大きくなり、なおかつチルト角が天頂の方向に深く沈みこむ。
【００１９】
この際、目標部として、近似図形１０３内の上の方の位置を選択する場合と、下の方の位置を選択する場合とを比較すると、前者の場合の方が、後者の場合よりも、目標部と、ＰＴＺカメラ２０１との実世界（実空間）での距離が短くなる。従って、前者の場合の方が、後者の場合よりも、自動追尾の継続に必要なＰＴＺカメラ２０１のパン角およびチルト角の角速度が大きくなる。従って、目標部として、近似図形１０３内の上の方の位置を選択する場合には、下の方の位置を選択する場合よりも、自動追尾に失敗しやすくなる。
本発明者らは、このように、目標部と、ＰＴＺカメラ２０１との実世界（実空間）での距離に応じて、自動追尾に失敗しやすさが異なることに着目し、以下に説明する本発明の実施形態に至った。
【００２０】
以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図３は、本実施形態における追尾システムの構成の一例を示す図である。
図３において、追尾システムは、ＰＴＺカメラ２０１、表示装置３０１、および録画装置３０２を有する。ＰＴＺカメラ２０１、表示装置３０１、および録画装置３０２は、ネットワーク３０３経由で相互に通信可能に接続される。ＰＴＺカメラ２０１は、表示装置３０１、録画装置３０２からの要求に対して、ＰＴＺカメラ２０１で撮像された画像３０４を送信する。録画装置３０２は、ＰＴＺカメラ２０１から取得した画像３０４を記録媒体に保存する。表示装置３０１は、ＰＴＺカメラ２０１から取得した画像３０４や、録画装置３０２に保存された画像３０４を読み出して表示したり、図示しない入力装置を通じてユーザからの要求を受け取り、ＰＴＺカメラ２０１へ要求を送信したりする。
【００２１】
図４は、ＰＴＺカメラ２０１の構成の一例を示す図である。
ＰＴＺカメラ２０１は、撮像部４００と制御部４５０とを有する。
撮像部４００は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子と、雲台とを含む。撮像部４００は、パン、チルト、およびズームの少なくとも何れか１つを変化させて画像３０４を撮像することができる。
【００２２】
通信Ｉ／Ｆ部４５１は、ＨＴＴＰやＴＣＰ／ＩＰなどの通信方式に基づき情報の送受信を行う。
映像入力部４５２は、撮像部４００から撮像データＤを受け取る。ここで、撮像データＤとは、撮像部４００により撮像された画像３０４、およびその画像３０４の撮像時の撮像部４００の姿勢情報（パン値、チルト値、ズーム値）を含むデータである。
【００２３】
映像符号化部４５３は、映像入力部４５２から撮像データＤを受け取り、画像３０４を適当な符号化方式で符号化する。ここで、符号化方式としては、ＪＰＥＧ、ＭＰＥＧ−２、ＭＰＥＧ−４、およびＨ．２６４等の方式がある。符号化された画像３０４は、映像送信部４５４から、通信Ｉ／Ｆ部４５１経由で外部へ送信される。
【００２４】
全体制御部４５５は、ＰＴＺカメラ２０１を構成するモジュールの制御を行う。
映像入力部４５２によって取得された撮像データＤは追尾目標決定部４５６にも送信される。追尾目標決定部４５６は、通信Ｉ／Ｆ部４５１および全体制御部４５５を経由して、表示装置３０１などから、自動追尾の開始要求と自動追尾の終了要求とを受け取る。追尾目標決定部４５６は、自動追尾の開始要求を受け取ってから、自動追尾の終了要求を受け取るまでの間、追尾目標１０２の位置情報を決定して出力する。
【００２５】
追尾目標決定部４５６は、自動追尾の開始要求を受け取った後に、追尾目標１０２を決定する。追尾目標１０２としては、動画像処理によって画像３０４の中から自動的に検出した移動物体、もしくはユーザが明示的に選択した移動物体のいずれかが用いられることが一般的である。前者のようにして移動物体を追尾目標１０２として検出する場合には、背景差分法や動きベクトル検出による動体領域の検出結果や、機械学習を用いた人体や顔など、移動物体の特定の領域の検出器の検出結果を用いることができる。ただし、追尾目標１０２の選択方法はこれらに限定されるものではなく、任意の方法でよい。特許文献１に記載の方法はその一例である。
【００２６】
追尾目標決定部４５６は、追尾目標１０２を決定すると、その追尾目標１０２が画面内に表示され続けている限り、追尾目標１０２の画面内の位置を決定して出力する。追尾目標１０２の画面内の位置の決定方法として、例えば、以下の方法がある。まず、追尾目標決定部４５６は、追尾目標１０２の決定時に、撮像データＤから、テンプレートや画像特徴量を抽出する。そして、追尾目標決定部４５６は、テンプレートや画像特徴量に対して適当な指標を定義しておくことで、現在の撮像データＤから、追尾目標１０２が存在する確率の最も高い位置を、追尾目標１０２の画面内の位置として探索して出力する。この探索の結果、追尾目標１０２が画面内に存在しないと判断した場合、追尾目標決定部４５６は、その旨を出力する。
【００２７】
追尾目標１０２の画面内の位置を探索する方法のより具体的な例として、テンプレートを用いる探索の方法について説明する。
まず、追尾目標決定部４５６は、追尾目標１０２の決定時に、追尾目標１０２を含む近似図形１０３から、画像３０４の輝度に基づくテンプレートを抽出しておく。追尾目標決定部４５６は、次の画像３０４が入ってきたとき、テンプレートを画面内にてスライディングウィンドウ方式で少しずつ移動させ、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）が最小になる位置を探す。追尾目標決定部４５６は、その位置に追尾目標１０２が存在していると判断する。ここで、ＳＳＤとは、画像間の相違度を数値化した指標である。ＳＳＤがある閾値以下になる箇所が一つも存在しない場合、追尾目標決定部４５６は、追尾目標１０２が画面内に存在しないと判断する。
【００２８】
追尾目標１０２の画面内の位置の決定方法は、前述した方法に限定されるものではない。例えば、特徴点の動きベクトルを用いて動き方向と動き量を推定する方法や、フレーム間差分により複数の動体を抽出し、それら複数の導体の中から一つを選ぶ方法など、位置を決定できる任意の方法を用いてよい。
【００２９】
追尾目標決定部４５６は、例えば、追尾目標１０２を矩形や楕円などの簡単な近似図形１０３で近似した後、その近似図形１０３の画面内での座標情報によって、追尾目標１０２の位置情報を表現する。ただし、追尾目標１０２の位置情報の表現方法はこの方法に限定されるものではない。例えば、追尾目標１０２の輪郭や、追尾目標１０２を構成する画素やブロックの集合など、追尾目標１０２の画面内の位置を特定する任意の表現方法を用いてよい。
【００３０】
また、追尾目標１０２の位置を決定する方法として、未来の追尾目標の位置を推定する方法を用いてもよい。例えば、追尾目標１０２の移動方向と移動速度とを推定し、一定時間後の追尾目標１０２の画面上の位置を予測し、その位置に基づいて、追尾目標１０２の位置情報を作成してもよい。
【００３１】
追尾継続性推定部４５７は、追尾目標決定部４５６から、撮像データＤおよび追尾目標１０２の位置情報を受け取る。そして、追尾継続性推定部４５７は、追尾継続性を推定する。ここで、追尾継続性とは、追尾目標１０２の自動追尾を継続することに成功する確率の高低のことである。以下の説明では、追尾目標１０２に対する自動追尾の難易度が相対的に低く、自動追尾を継続することがうまくいきそうな状況のことを、必要に応じて、追尾継続性が高いと表現する。逆に、追尾目標１０２に対する自動追尾の難易度が相対的に高く、自動追尾に失敗して追尾目標１０２を画面内にとらえ続けられなくなってしまいそうな状況のことを、必要に応じて、追尾継続性が低いと表現する。
【００３２】
本実施形態では、追尾継続性が高いほど、追尾目標１０２に対する自動追尾の継続の可能性（難易度）を示す追尾継続性値が大きい値を示すものとする。追尾継続性値は、追尾目標１０２に対する自動追尾の継続の可能性（難易度）を評価するための指標として、例えば、ＰＴＺカメラ２０１の設置状況と、ＰＴＺカメラ２０１の位置と追尾目標１０２の位置との関係などに基づき定められる指標を用いて推定される。
例えば、ＰＴＺカメラ２０１のズーム値が同じであると仮定すれば、追尾目標１０２がＰＴＺカメラ２０１に近い位置を移動している場合ほど、追尾継続性値が小さい（追尾継続性が低い）と判断できる。
【００３３】
このようにして追尾継続性を判断する場合、追尾継続性推定部４５７は、追尾目標１０２とＰＴＺカメラ２０１との間の（実空間における）距離を、例えば、追尾目標１０２の画面上の大きさによって推測することができる。また、追尾継続性推定部４５７は、距離センサやステレオカメラなどの図示しない装置によって、追尾目標１０２とＰＴＺカメラ２０１との間の（実空間における）距離を計測することができる。このように、追尾目標１０２に対する自動追尾の継続の可能性（難易度）を評価するための指標として、例えば、追尾目標１０２の画面上の大きさ、または、追尾目標１０２とＰＴＺカメラ２０１との間の距離を用いることができる。
【００３４】
また、ＰＴＺカメラ２０１が追尾目標１０２よりも高い位置に鉛直下向きに設置されている場合、追尾目標１０２がＰＴＺカメラ２０１に近い位置にあるときほどＰＴＺカメラ２０１のチルト角が天頂の方向に深く沈む。そのため、追尾継続性推定部４５７は、チルト角の大きさを用いて、追尾目標１０２とＰＴＺカメラ２０１との間の（実空間における）距離を近似することも可能である。この場合、例えば、ＰＴＺカメラ２０１のチルト角が天頂から遠い方向（水平方向）に近い場合ほど、追尾継続性値が小さい（追尾継続性が低い）と推定することができる。このように、追尾目標１０２に対する自動追尾の継続の可能性（難易度）を評価するための指標として、例えば、ＰＴＺカメラ２０１のチルト角を用いることができる。
【００３５】
また、追尾継続性推定部４５７は、ＰＴＺカメラ２０１により撮像された、直近の所定数のフレームにおける、パン角・チルト角の変化速度（単位時間当たりに動く角度）が大きいほど、追尾継続性値が小さい（追尾継続性が低い）と推定することができる。このように、追尾目標１０２に対する自動追尾の継続の可能性（難易度）を評価するための指標として、例えば、パン角・チルト角の変化速度（単位時間当たりに動く角度）を用いることができる。
【００３６】
追尾継続性値の推定方法は、これらの方法に限定されるものではない。例えば、人体検出器、眼鏡検出器、服装検出器など、特定物体の検出器の検出能力が低下したことから追尾継続性が低下したと判断する方法など、任意の方法を用いてよい。
追尾継続性値は、「大」「中」「小」のように離散値で表現してもよいし、連続値で表現してもよい。
【００３７】
ここで、追尾継続性値を離散値として表現する場合の追尾継続性値の一例を説明する。
まず、適当な閾値ａ、ｂ（ａ＜ｂ）を用意する。
この場合、追尾目標１０２とＰＴＺカメラ２０１との推定距離が「ａ未満の場合」、「ａ以上ｂ未満の場合」、「ｂ以上の場合」に、追尾継続性値を、それぞれ、「小」、「中」、「大」とすることができる。
また、ＰＴＺカメラ２０１のチルト角φが０〜９０°の連続値をとり得るとする。この場合、ＰＴＺカメラ２０１のチルト角φが「ａ未満の場合」、「ａ以上ｂ未満の場合」、「ｂ以上の場合」に、追尾継続性値を、それぞれ、「大」、「中」、「小」とすることができる。ただし、ここでは、チルト角φが０°の場合にＰＴＺカメラ２０１が水平方向を向き、チルト角φが９０°の場合にＰＴＺカメラ２０１が天頂の方向を向くものとして、チルト角φを定めた場合を例に挙げて示した。
【００３８】
次に、追尾継続性値を連続値として表現する場合の追尾継続性値の一例を説明する。例えば、チルト角φを用いて、追尾継続性値を９０−φと表すことができる。この場合、チルト角φが０°に近い値をとるほど追尾継続性が高く、チルト角φが９０°に近い値をとるほど追尾継続性が小さいことを連続的に表現する。
【００３９】
目標部決定部４５８は、撮像データＤ、追尾目標１０２の位置情報、および追尾継続性値を、追尾継続性推定部４５７から受け取る。そして、目標部決定部４５８は、追尾継続性値に基づいて、画面から目標部を決定する。
【００４０】
まず、ＰＴＺカメラ２０１が追尾目標１０２よりも高い位置において、鉛直下向きに設置されている場合を想定する。この場合、図２を参照しながら説明した通り、画面に映る追尾目標１０２内の下の方の位置を目標部として選択することで、ＰＴＺカメラ２０１と、目標部との実世界（実空間）での距離が大きくなる。したがって、追尾目標１０２を自動追尾するためにＰＴＺカメラ２０１が必要とするパン角・チルト角の角速度が小さくなる。このため、ＰＴＺカメラ２０１は、追尾目標１０２の自動追尾に失敗しにくくなる。
【００４１】
図５は、追尾継続性値が離散値で与えられる場合の目標部の決定方法の一例を説明する図である。具体的に図５は、追尾継続性値と目標部の位置との関係の一例を表形式で示す図である。図６は、図５に示すおける目標部の位置の一例を示す図である。
図５に示す例では、目標部決定部４５８は、追尾継続性値が「大」である場合には、追尾目標１０２の近似図形１０３の上１／３点１０５を目標部として決定する（図６を参照）。また、追尾継続性値が「中」である場合には、目標部決定部４５８は、追尾目標１０２の近似図形１０３の中心点１０４を目標部として決定する（図６を参照）。また、追尾継続性値が「中」である場合には、目標部決定部４５８は、追尾目標１０２の近似図形１０３の下１／４点６０１を目標部として決定する（図６を参照）。中心点１０４および上１／３点１０５は、図２を参照しながら説明した点である。また、下１／４点６０１は、横方向の位置が、近似図形１０３の横方向の中央の位置であり、且つ、縦方向の位置が、近似図形１０３の下端から上の方へ近似図形１０３の高さの１／４の距離だけ隔てた位置の点である。
【００４２】
前述したように、後段の映像処理機能として、顔認証機能や、眼鏡判別機能を実行する場合には、顔領域（追尾目標１０２（近似図形１０３）内の顔の位置）を目標部として決定することが好ましい。また、服装判別機能を実行する場合には、胴体領域（特に上着部分）を目標部として決定することが望ましい。図５に示すように、追尾継続性値が大きいほど（追尾目標１０２の自動追尾を継続することができる可能性が高いほど）、追尾目標１０２内の上の方の位置を目標部とすることにより、後段の映像処理機能に適した目標部を決定することができるからである。
【００４３】
追尾継続性値が連続値で与えられる場合、目標部決定部４５８は、追尾継続性値がどの値の範囲に含まれるかによって目標部の位置を決定することができる。また、目標部決定部４５８は、追尾継続性値と目標部の位置との関係を記述した関係式に、追尾継続性値を代入して、目標部の位置を決定することができる。例えば、追尾継続性値をｔとする（ただし、ｔは、０〜９０の連続値をとり得るものとする）。この場合、目標部決定部４５８は、追尾目標１０２の目標部の位置を、追尾目標１０２の近似図形１０３の上端から下の方に、近似図形１０３の高さのＬ（ｔ）パーセントだけ隔てた位置として決定することができる。ここで、Ｌ（ｔ）は以下の（１）式で表現される。
Ｌ（ｔ）＝Ａ−ｔ×（Ａ−Ｂ）／９０  ・・・（１）
（１）式において、Ａ、Ｂは定数である。例えばＡ＝７５、Ｂ＝３３とすると、追尾継続性値が０の場合には、下１／４点６０１を、追尾継続性値が９０の場合には、上１／３点１０５を、それぞれ目標部として決定することに相当する。追尾継続性値が連続的に変化するのに伴い、目標部の位置も連続的に変化する。
【００４４】
以上、ＰＴＺカメラ２０１が追尾目標１０２よりも高い位置において、鉛直下向きに設置されている場合には、追尾継続性値が小さいほど、画面上において下の方に位置する位置を目標部として決定する。このようにすることで、目標部と、ＰＴＺカメラ２０１との実世界（実空間）での距離が大きくなり、追尾目標１０２を自動追尾するためにＰＴＺカメラ２０１が必要とするパン角・チルト角の角速度を大きくすることができる。したがって、追尾目標１０２の自動追尾に失敗しにくくすることができる。
【００４５】
目標部の決め方は、ＰＴＺカメラ２０１の設置位置により異なる。例えば、ＰＴＺカメラ２０１が地面に近い位置に設置され、且つ、追尾目標１０２を見上げるように設置されているとする。この場合は、追尾継続性値が小さいほど、画面上において上の方の位置を目標部として決定することで、ＰＴＺカメラ２０１が自動追尾に失敗しにくいようにすることができる。
【００４６】
制御命令生成部４５９は、撮像データＤおよび目標部を、目標部決定部４５８から受け取る。そして、制御命令生成部４５９は、画面の中央に目標部が表示されるようにするために必要なパン・チルトの移動量を計算する。そして、制御命令生成部４５９は、雲台に対する制御命令Ｃを生成して撮像部４００に送信する。この制御命令Ｃには、前記計算したパン・チルトの移動量が含まれる。尚、前記計算の手法として、任意の既知の手法を用いることが可能である。計算方法の一例として特許文献３に記載の手法を利用することが可能である。
【００４７】
制御命令生成部４５９は、さらに追尾目標１０２の画面上の大きさが一定になるように必要なズーム量を、制御命令Ｃに含めてもよい。さらに、制御命令生成部４５９は、パン、チルト、ズームの変化速度を制御命令に含めてもよい。パン、チルト、ズームの変化速度は、例えば、追尾目標１０２の画面内での移動速度に基づいて決定される。
【００４８】
尚、本実施形態において、図４に示す構成を実現するためのハードウェア構成は、特定のハードウェア構成に限定されるものではない。例えば、撮像部４００および制御部４５０を分離した構成とすることもできる。
また、制御部４５０内の各部等は、ハードウェアで実装されてもよいし、制御部４５０内のメモリ等に記憶されたプログラムを制御部４５０が実行することによって実現されるソフトウェアで実装されてもよい。
【００４９】
図７は、追尾システムによる自動追尾処理（物体追尾を自動的に行う処理）の一例を説明するフローチャートである。自動追尾処理の開始直後、全体制御部４５５は、自動追尾処理におけるモードを、待機モードに保つ。
ステップＳ７０１において、全体制御部４５５は、自動追尾の開始要求が通信Ｉ／Ｆ部４５１を通じて外部から与えられるまで待機する。そして、自動追尾の開始要求が与えられると、ステップＳ７０２に進み、全体制御部４５５は、自動追尾処理にけるモードを、待機モードから自動追尾モードに遷移させる。
【００５０】
次に、ステップＳ７０３において、全体制御部４５５は、追尾目標決定部４５６に問い合わせを行い、追尾目標１０２の決定を依頼する。ユーザが入力装置を用いて明示的に選択した物体を最初の追尾目標１０２とする場合などのように、外部からの情報を必要とする場合には、全体制御部４５５は、その情報も追尾目標決定部４５６に伝える。追尾目標決定部４５６は、この問い合わせに基づき、追尾目標１０２を決定する。
【００５１】
次に、ステップＳ７０４において、全体制御部４５５は、追尾目標決定部４５６に問い合わせを行い、追尾目標１０２の画面内の位置の決定を依頼する。追尾目標決定部４５６は、この問い合わせに基づき、追尾目標１０２の画面内の位置を決定する。
次に、ステップＳ７０５において、追尾目標決定部４５６は、追尾目標１０２が画面内において見つからなかったか否かを判定する。この判定の結果、追尾目標１０２が画面内において見つかった場合には、ステップＳ７０６に進む。一方、追尾目標１０２が画面内において見つからなかった場合には、後述するステップＳ７１１に進む。
【００５２】
ステップＳ７０６に進むと、追尾継続性推定部４５７は、追尾継続性値を導出する。
次に、ステップＳ７０７において、目標部決定部４５８は、目標部を決定する。
次に、ステップＳ７０８において、制御命令生成部４５９は、雲台に対する制御命令Ｃを生成する。
【００５３】
次に、ステップＳ７０９において、撮像部４００は、制御命令Ｃに基づき雲台を動作させ、ＰＴＺカメラ２０１の姿勢（撮像方向）を変更する。
次に、ステップＳ７１０において、全体制御部４５５は、自動追尾の終了要求が通信Ｉ／Ｆ部４５１を通じて外部から与えられたか否かを判定する。この判定の結果、自動追尾の終了要求が与えられていない場合には、ステップＳ７０４に戻る。
【００５４】
一方、自動追尾の終了要求が与えられた場合には、ステップ７１１に進む。
ステップＳ７１１に進むと、全体制御部４５５は、自動追尾モードを終了して、自動追尾処理におけるモードを、自動追尾モードから待機モードに変更する。
【００５５】
＜第２の実施形態＞
次に、第２の実施形態を説明する。前述した第１の実施形態では、撮像部４００の設置条件に関する情報が、制御部４５０に予め設定され、変更されない場合を例に挙げて説明した。これに対し、本実施形態では、ユーザが、表示装置３０１などを通じて、撮像部４００の設置条件に関する情報である設置情報を、ＰＴＺカメラ２０１に教示する場合を例に挙げて説明する。このように本実施形態は、第１の実施形態に対し、ユーザによる指示に基づき、撮像部４００の設置条件を判断し、判断した設置条件に基づいて目標部を決定する構成および処理が付加されたものである。したがって、本実施形態の説明において、第１の実施形態と同一の部分についての詳細な説明を省略する。
【００５６】
撮像部４００の設置条件を示す設置情報は、例えば、以下のようにして制御部４５０に取り込まれる。まず、表示装置３０１は、撮像部４００の設置条件が、「天井から鉛直下向きに設置」、「壁に設置」、および「足元に設置」のいずれであるかを選択するラジオボタンなどのＧＵＩ（グラフィックユーザインタフェース）を表示する。ユーザが、このＧＵＩを用いて、撮像部４００の設置条件を選択すると、表示装置３０１は、選択された撮像部４００の設置条件を示す設置情報をネットワーク３０３経由で制御部４５０に送信する。
【００５７】
目標部決定部４５８は、通信Ｉ／Ｆ部４５１および全体制御部４５５を介して、前記設置情報を受け取る。目標部決定部４５８は、受け取った設置情報に応じて、適切な目標部を決定する。例えば、撮像部４００の設置位置が、天井から鉛直下向きに設置されているという設置情報に基づき、目標部として近似図形１０３の下部の領域を選択することで、追尾目標１０２の自動追尾の成功の確率が上がる、と判断する。そして、目標部決定部４５８は、追尾継続性値を参照して適切に目標部を決定する。
【００５８】
以上のように、前述した実施形態では、追尾目標１０２の自動追尾の可能性（難易度）を示す追尾継続性値と目標部との関係を示す情報を記憶しておく。そして、追尾継続性値を取得すると、当該追尾継続性値に関連する目標部が画面の中央に表示されるように、パン・チルトの移動量を計算し、計算した移動量だけ、ＰＴＺカメラ２０１の雲台を動かして、撮像部４００の撮像方向を変更する。このとき、追尾継続性値が、追尾目標１０２の自動追尾の可能性が低いことを示す値であるほど、追尾目標１０２の自動追尾の失敗が起こりにくくなる位置を目標部として決定する。例えば、撮像部４００が追尾目標１０２よりも高い位置に鉛直下向きに設置されている場合には、追尾継続性値が追尾目標１０２の自動追尾の可能性が低いことを示す値であるほど、追尾目標１０２内の下の方の位置を目標部として決定する。
したがって、追尾目標１０２の自動追尾の失敗の確率が高い状況であっても、画面内における目標部の位置を固定する場合よりも、追尾目標１０２の自動追尾が失敗する可能性を低減することができる。
【００５９】
また、前述した実施形態では、追尾継続性値が、追尾目標１０２の自動追尾の可能性が低いことを示す値であるほど、後段の映像処理機能に適した位置を目標部にする。例えば、撮像部４００が追尾目標１０２よりも高い位置に鉛直下向きに設置されている場合には、追尾継続性値が、追尾目標１０２の自動追尾の可能性が高いことを示す値であるほど、追尾目標１０２内の上の方の位置を目標部として決定する。したがって、追尾目標１０２の自動追尾の失敗の確率が低い状況においては、追尾目標１０２が後段の処理にとって好適な位置に映るようにすることができる。
【００６０】
前述した実施形態では、追尾目標１０２に対する自動追尾の継続の難易度を評価するための指標を取得（検出）し、取得（検出）した情報から追尾継続性値を導出し、当該追尾継続性値に対応する目標部を決定する場合を例に挙げて説明した。前述したように、追尾目標１０２に対する自動追尾の継続の難易度を評価するための指標は、例えば、追尾目標１０２の画面上の大きさ、追尾目標１０２とＰＴＺカメラ２０１との間の距離、ＰＴＺカメラ２０１のチルト角等である。
【００６１】
しかしながら、必ずしも追尾継続性値を（明示的に）導出する必要はない。すなわち、追尾目標１０２に対する自動追尾の継続の難易度を評価するための指標を取得（検出）すると、当該取得（検出）した情報に対応する目標部の位置を（追尾継続性値を介さずに）決定してもよい。
【００６２】
尚、図５を参照しながら説明したように、前記取得（検出）した情報により示される値が所定の範囲にある場合には、同一の目標部が決定されるようにすることができる。したがって、前記取得（検出）した情報により示される値が変わった場合に、目標部の位置を必ず変えなければならないというわけではない。即ち、前記取得（検出）した情報が、追尾目標１０２に対する自動追尾の継続の難易度が相対的に低いことを示す場合よりも高いことを示す場合の方が、追尾目標１０２の自動追尾の失敗が起こりにくくなる位置を目標部として決定し得るようにしていればよい。より具体的に説明すると、前者の場合と後者の場合とで、目標部の位置を同じにするか、または、後者の場合の方が前者の場合よりも、追尾目標１０２の自動追尾の失敗が起こりにくくなる位置を目標部として決定する。ただし、後者の場合の方が、前者の場合よりも、追尾目標１０２の自動追尾の失敗が起こりにくくなる位置を目標部として決定することがあるようにする。
一方、前記取得（検出）した情報により示される値が変わった場合に、目標部の位置を必ず変えるようにしてもよい。
【００６３】
＜その他の実施例＞
尚、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００６４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【００６５】
また、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６６】
２０１：ＰＴＺカメラ、４００：撮像部、４５０：制御部
【図１】
2016076791.tif 000003
【図２】
2016076791.tif 000004
【図３】
2016076791.tif 000005
【図４】
2016076791.tif 000006
【図５】
2016076791.tif 000007
【図６】
2016076791.tif 000008
【図７】
2016076791.tif 000009