(57)【要約】【課題】撮像した画像にて対象を追跡する場合に、カメラのぶれにより追跡対象が撮影範囲から外れ見失われる。【解決手段】監視システム１は、少なくとも撮影方向を変更可能な撮像部１１と、撮像部１１で撮像した画像上にて追跡対象を設定する追跡対象設定部１５と、画像において追跡対象を含む所定範囲内に存在する特徴点を抽出する特徴点抽出部１６と、追跡対象が撮像部１１の撮影範囲内に含まれるように撮影方向の制御を行う制御部１２とを備える。制御部１２は、特徴点の画像上での変位に基づいて撮影方向の変化を判定し、当該変化に応じて撮影方向の制御を行う。【選択図】図１
2018107651.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも撮影方向を変更可能な撮像部と、
前記撮像部で撮像した画像上にて追跡対象を設定する追跡対象設定部と、
前記画像において、前記追跡対象を含む所定範囲内に存在する特徴点を抽出する特徴点抽出部と、
前記追跡対象が前記撮像部の撮影範囲内に含まれるように前記撮影方向の制御を行う制御部と、
を備え、
前記制御部は、前記特徴点の前記画像上での変位に基づいて前記撮影方向の変化を判定し、当該変化に応じて前記制御を行うこと、
を特徴とする撮像装置。
【請求項２】
前記特徴点抽出部は、画像処理により前記画像におけるエッジを検出して所定強度以上の前記エッジを前記特徴点とし、
前記制御部は、異なる時刻に撮影された前記画像間にて前記特徴点を照合して前記変位を算出すること、を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特徴点抽出部は、前記特徴点での前記エッジの強度が大きいほど当該特徴点の信頼度が高いと判定し、
前記制御部は、前記撮影方向の制御にて前記信頼度が高い前記特徴点における前記変位を優先的に用いること、を特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部は、前記特徴点の前記変位が所定値以上となり、かつ、複数の前記特徴点の前記変位が同一方向である場合に前記制御を行うこと、を特徴とする請求項１から請求項３のいずれか１つに記載の撮像装置。
【請求項５】
前記特徴点抽出部は、所定期間にて前記追跡対象が前記撮影範囲から外れる回数に基づいて前記撮像部の安定度を算出し、当該安定度が低いほど、前記画像にて前記特徴点を抽出する領域を広く設定すること、を特徴とする請求項１から請求項４のいずれか１つに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対象を追跡して撮像する撮像装置に関する。
【背景技術】
【０００２】
パン、チルト及びズーム（ＰＴＺ）の制御が可能なカメラ（ＰＴＺカメラ）を用いて、目的とする物体を自動追尾して撮像する従来の撮像装置として、下記特許文献１には、追跡対象の物体を検出すると、カルマンフィルタ処理で追跡対象の位置を推定しながらＰＴＺ制御を行うことで、追跡対象が表示画面の中央に表示されるようにする装置が示されている。また、下記特許文献２には、ユーザが選択した対象物が表示画面の中央に表示されるよう、当該対象物が存在する座標と表示画面中央の座標との位置関係に基づいてパン・チルト制御を行うことが記載されている。さらに、下記特許文献３には、対象物が表示画面内で検出されなくなった場合には、ズーム倍率をワイド方向に引くよう制御することで表示範囲を拡大し、対象物を再び検出すると対象物が中心に表示されるようパン・チルト制御を行いながら、ズーム倍率を元の値に戻すことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０１８３２１号公報
【特許文献２】特開２００４−３５６７１１号公報
【特許文献３】特許第３５４４２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、飛行船等の移動体に搭載したＰＴＺカメラから地上等を撮影する場合には、移動体の移動に対してカメラの方向を安定させるためにジンバル等が用いられるが、ジンバルでも移動を吸収しきれずにカメラの方向がずれてしまうことがある。例えば、カメラの方向が急激に変化すると、追跡対象が撮影範囲から大きく外れてしまう。このような場合、ユーザがカメラをＰＴＺ操作して、追跡対象を画像上にて探索し捕捉することは容易ではない。また、カメラがジグザグに動く場合、追跡対象の移動方向を予測することは困難になる。そのため、追跡対象が撮影範囲から外れると、追跡対象の直近の移動方向に基づいてパン・チルト等のカメラの方向制御をする従来技術では追跡対象を捕捉することは困難である。また、この場合に、ワイド方向にズーム制御して撮影範囲に追跡対象を捕捉することは、撮影範囲の詳細な画像を得にくくなることから、追跡対象を見つけ出しにくくなる。
【０００５】
このように、撮影方向が不安定となる状況で用いられる撮像装置には、追跡対象が撮影範囲から外れてしまいやすくなるとともに、撮影画面から外れた場合に再度追跡対象を撮影範囲内に含むようにすることが容易ではないという問題があった。
【０００６】
本発明は上記問題点を解決するためになされたものであって、撮影方向が不安定な状況においても、追跡対象を撮影範囲内に捕捉し続けることを可能とする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）本発明に係る撮像装置は、少なくとも撮影方向を変更可能な撮像部と、前記撮像部で撮像した画像上にて追跡対象を設定する追跡対象設定部と、前記画像において、前記追跡対象を含む所定範囲内に存在する特徴点を抽出する特徴点抽出部と、前記追跡対象が前記撮像部の撮影範囲内に含まれるように前記撮影方向の制御を行う制御部と、を備え、前記制御部は、前記特徴点の前記画像上での変位に基づいて前記撮影方向の変化を判定し、当該変化に応じて前記制御を行う。
【０００８】
（２）上記（１）に記載の撮像装置において、前記特徴点抽出部は、画像処理により前記画像におけるエッジを検出して所定強度以上の前記エッジを前記特徴点とし、前記制御部は、異なる時刻に撮影された前記画像間にて前記特徴点を照合して前記変位を算出する構成とすることができる。
【０００９】
（３）上記（２）に記載の撮像装置において、前記特徴点抽出部は、前記特徴点での前記エッジの強度が大きいほど当該特徴点の信頼度が高いと判定し、前記制御部は、前記撮影方向の制御にて前記信頼度が高い前記特徴点における前記変位を優先的に用いる構成とすることができる。
【００１０】
（４）上記（１）から（３）に記載の撮像装置において、前記制御部は、前記特徴点の前記変位が所定値以上となり、かつ、複数の前記特徴点の前記変位が同一方向である場合に前記制御を行うこと、を特徴とする請求項１から請求項３のいずれか１つに記載の撮像装置。
【００１１】
（５）上記（１）から（４）に記載の撮像装置において、前記特徴点抽出部は、所定期間にて前記追跡対象が前記撮影範囲から外れる回数に基づいて前記撮像部の安定度を算出し、当該安定度が低いほど、前記画像にて前記特徴点を抽出する領域を広く設定する構成とすることができる。
【発明の効果】
【００１２】
本発明によれば、撮影方向が不安定な状況においても、ユーザによるＰＴＺ操作等の撮影方向の制御の負担を軽減して、対象物をトラッキングし画像内に捕捉する撮像装置が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る監視システムの概略の構成を示す模式図である。
【図２】制御部における特徴点の対応付けの処理の例を示す模式図である。
【図３】本発明の実施形態に係る監視システムにおけるカメラの撮影方向の制御に関する概略の処理フロー図である。
【図４】従来のカメラの撮影方向の制御方法の例を示す図である。
【図５】従来のカメラの撮影方向の制御方法の例を示す図である。
【図６】本実施形態の監視システムにおける撮影方向の制御の例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態（以下実施形態という）として、本発明に係る撮像装置である撮像システムを含んで構成される監視システム１について、図面に基づいて説明する。
【００１５】
図１は実施形態に係る監視システム１の概略の構成を示す模式図である。監視システム１は飛行体１０とセンタ装置２０とを含んで構成される。
【００１６】
飛行体１０は例えば、監視領域の上空をホバリング可能な航空機であり、具体的には飛行船やマルチコプターなどである。あるいは、係留された気球なども含む。飛行体１０はセンタ装置２０と通信し、センタ装置２０からの指示を受けて動作し、地上を撮影して画像にて対象物を追跡したり、当該画像などのデータをセンタ装置２０へ送信したりする。具体的には飛行体１０は、撮像部１１、制御部１２、記憶部１３、通信部１４、追跡対象設定部１５及び特徴点抽出部１６を含み、基本的に飛行体１０が本実施形態における撮像システムの主要部を構成する。
【００１７】
撮像部１１は、監視領域を撮影して画像を出力するカメラであり、少なくとも撮影方向を変更できる。本実施形態では撮像部１１はＰＴＺ制御可能なカメラである。また、撮像部１１は、監視領域を所定の撮影周期で撮影し、撮影した画像を順次、制御部１２に出力する。また、当該画像は通信部１４を介してセンタ装置２０へ送信される。以下、上記撮影周期で刻まれる時間の単位を時刻と称し、最新の撮影画像を撮影した時刻を現時刻と称する。
【００１８】
制御部１２は、画像から抽出され記憶部１３に記憶された追跡対象の特徴量に基づいて画像上にて追跡処理を行う。また制御部１２は、追跡対象が撮像部１１の撮影範囲内に含まれるようにカメラの撮影方向を制御する。本実施形態では制御部１２は撮像部１１のＰＴＺ制御を行う。飛行体１０の飛行姿勢は風などの影響を受けやすく、飛行姿勢の変化に伴って撮影方向が変化して、追跡対象が画像の外に出てしまうことが起こる。制御部１２はこのような飛行体１０の揺れなどによる撮影方向の変化（ぶれ、ずれ）を、撮影画像にて追跡対象を含む所定範囲内から抽出された特徴点の画像上での変位に基づいて判定し、当該変化に応じて撮影方向に関する上記制御を行う。制御部１２はＣＰＵ(Central Processing Unit)、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置を用いて構成される。制御部１２による撮影方向の制御についてはさらに後述する。
【００１９】
記憶部１３は、画像上での追跡対象の特徴量（例えば色ヒストグラムなど）や、画像上での追跡対象と特徴点との相対位置、あるいは、追跡対象及び特徴点の画像上の座標値や、特徴点間の相対位置、撮像部１１で撮像した画像などを記憶する。また、記憶部１３は制御部１２等を構成する演算装置で用いられる各種プログラムや各種データを記憶し、演算装置との間でこれらの情報を入出力する。
【００２０】
通信部１４はセンタ装置２０と通信を行う。具体的には、通信部１４はセンタ装置２０と有線または無線で接続され、情報の送受信を行なう。また、通信部１４は、センタ装置２０からカメラの撮影方向制御の指示などの制御信号を受信したり、撮像部１１で撮影された画像などのデータをセンタ装置２０へ送信したりする。
【００２１】
追跡対象設定部１５は、撮像部１１で撮像した画像上にて追跡対象を設定する。例えば、監視員等のユーザがセンタ装置２０の表示画面上で指定した地点に存在する物体が追跡対象とされる。この場合、ユーザにより指定された位置情報がセンタ装置２０から飛行体１０へ送信されて追跡対象設定部１５に入力され、追跡対象設定部１５はその内容に基づいて追跡対象を設定する。また、追跡対象設定部１５は画像上に出現した物体が所定の条件（例えば、人を追跡対象とする場合、人らしさが高い等の条件）を満たした場合、当該物体を追跡対象として設定する構成とすることもできる。
【００２２】
特徴点抽出部１６は、撮像部１１で撮像した画像において、追跡対象を含む所定範囲内に存在する特徴点を抽出する。例えば、特徴点抽出部１６は、画像処理により画像におけるエッジを検出し特徴点とする。エッジは、画像内での輝度や色の顕著な変化（勾配）が生じている箇所であり、エッジ抽出は各種の既存のエッジフィルタを用いて行うことができる。その際、ノイズを除去するために、画素値の勾配強度が所定の閾値以上のエッジのみを特徴点とすることが好適である。また、コーナーを特徴点とするとなおよい。
【００２３】
また、特徴点抽出部１６は、連続するエッジをグループ化して特徴点としてもよい。例えば、特徴点抽出部１６はエッジを構成する点群から直線成分を抽出する処理を行い、得られた線分や当該線分の連なった図形を特徴点とすることができる。この直線成分の抽出は、例えばハフ変換等を使用して行われる。ここで、エッジのうち点や十分なサイズを有さない図形はノイズとして除去してもよい。
【００２４】
なお、特徴点の抽出方法は上述の方法以外に種々の公知の手法をとることができる。例えば、画像の輝度値の情報を用いることができる。この場合、例えば、追跡対象の輝度値が低く追跡対象の特定が容易でない場合であっても、追跡対象周囲の輝度値の高い特徴点に基づいてカメラ制御が可能になる。
【００２５】
さらに、特徴点抽出部１６は特徴点の信頼度を算出し、これを上述した制御部１２での制御に供してもよい。例えば、特徴点抽出部１６は特徴点でのエッジの強度が大きいほど当該特徴点の信頼度が高いと判定する。また、特徴点が追跡対象から距離が近いほど信頼度が高くなるようにしてもよいし、グループ化した特徴点の周囲に他の特徴点が少ないほど信頼度が高くなるようにすることもできる。なお、特徴点抽出部１６は所定数以上の特徴点が抽出された場合に、信頼度が低い特徴点は記憶部１３に記憶させないこととして記憶部１３に記憶させる特徴点の個数を調整してもよい。
【００２６】
特徴点抽出部１６は、追跡対象の像を含む画像全体から特徴点を抽出する。一方、特徴点の抽出範囲を追跡対象の周囲の所定範囲に限定することで抽出処理の負荷を軽減することができる。この場合、所定期間にて追跡対象が撮影範囲から外れる回数に基づいて撮像部の安定度を算出し、当該安定度が低いほど、画像にて特徴点を抽出する領域を広く設定してもよい。これにより、カメラの安定度が低い場合でも、特徴点を捉えられやすくなるため追跡対象を捕捉しやすくなる。なお、基本的に、追跡対象が撮影範囲から外れる回数が多いほど、安定度は低く定められる。また、特徴点の抽出数が所定数未満の場合には、特徴点の抽出時にかぎり撮影範囲を拡大して特徴点を抽出するようにしてもよい。
【００２７】
特徴点のエッジ強度、形状、信頼度といった特徴は、追跡対象との相対的な位置関係と対応付けて記憶部１３に記憶される。さらに、特徴点の座標や特徴点どうしの相対位置を記憶部１３に記憶するようにしてもよい。
【００２８】
追跡対象設定部１５及び特徴点抽出部１６は制御部１２と同じ演算装置を用いて構成することができ、演算装置は記憶部１３に格納されたプログラムを読み出して実行することにより追跡対象設定部１５や特徴点抽出部１６として機能する。
【００２９】
なお、追跡対象設定部１５や特徴点抽出部１６を飛行体１０に代えてセンタ装置２０に設ける構成とすることもできる。この場合、センタ装置２０の演算装置が追跡対象設定部１５、特徴点抽出部１６の処理を行う。さらに、制御部１２における特徴点の変位に基づく撮影方向の変化検出及び撮影方向の制御の処理をセンタ装置２０の制御部２１で行い、飛行体１０へ撮影方向を指示する制御信号を送信する構成とすることもできる。
【００３０】
ここで、制御部１２による撮影方向の制御について説明する。当該制御において例えば、制御部１２は、異なる時刻に撮影された画像間にて特徴点を照合してその変位を算出する。具体的には、制御部１２は、現時刻の画像から抽出した特徴点と、記憶部１３に記憶されている過去（例えば、１時刻前）の特徴点との一致度を判定することで異なる時刻間での特徴点の対応付けを行い、特徴点の時刻間での変位を算出する。特徴点の一致度は、特徴点の強度の一致度、複数の特徴点どうしの相対的配置の一致度、或いはグループ化した特徴点のパターン（形状、大きさ等）の一致度などから判定する。また、オプティカルフローを用いて、現画像において、過去の画像の特徴点周辺に対応する範囲で特徴点を探索し、異なる時刻間での特徴点の対応付けを行うこともできる。
【００３１】
図２は制御部１２における特徴点の対応付けの処理の例を示す模式図であり、異なる２時刻（時刻ｔ，ｔ＋１）におけるカメラの撮影範囲並びにそこに存在する追跡対象及び特徴点の位置を模式的に示している。ここでは、時刻ｔと時刻ｔ＋１との間にカメラの撮影方向のぶれにより時刻ｔの撮影範囲３０ａから時刻ｔ＋１の撮影範囲３０ｂへの変化が起きた場合を例に示している。また、図２において人物３１ａ，３１ｂが追跡対象であり、図２（ａ）に示す時刻ｔの撮影範囲３０ａには特徴点３２ａ〜３２ｄが設定され、図２（ｂ）に示す時刻ｔ＋１の撮影範囲３０ｂには特徴点３３ａ〜３３ｄが設定されている。制御部１２は例えば、特徴点の形状、強度及び相対的位置関係を時刻ｔと時刻ｔ＋１との間で照合し、時刻ｔ＋１の特徴点３３ａ〜３３ｃがそれぞれ時刻ｔの特徴点３２ａ〜３２ｃに対応すると判断し、また特徴点３３ｄに対しては時刻ｔの特徴点を対応付けない。
【００３２】
制御部１２は、特徴点の時刻間での変位から撮影方向のずれ量を算出し、このずれ量を解消するように撮影方向の制御、例えば、パン・チルト制御を行う。図２に示す例では、制御部１２は、時刻ｔの特徴点３２ａ〜３２ｃそれぞれの時刻ｔ＋１の特徴点３３ａ〜３３ｃへの変位を用いて撮影方向の変化量の算出及びその制御を行う。
【００３３】
この際、一致度が高いと判定された特徴点の変位を優先的に用いることが好適である。また、制御部１２は、撮影方向の制御にて信頼度が高い特徴点における変位を優先的に用いる構成とすることができる。当該構成では精度良く変位を検出することが可能になる。なお、優先的に用いる具体的な手法としては、例えば、一致度、信頼度が予め定めた閾値未満の特徴点は撮影方向のずれ量の算出に用いないこととしたり、特徴点それぞれの変位を一致度、信頼度が高いほど重みを大きく設定して重み付け平均したりすることができる。
【００３４】
制御部１２は、特徴点の変位が所定値以上となった場合に撮影方向の制御を行う構成とすることができる。例えば、１時刻の間に追跡対象が撮影範囲から外れ得るような大きさ（例えば、複数の特徴点における移動量の平均が所定値以上）及び速さの変位が生じた場合に、当該変位を相殺又は緩和（部分的な相殺）するように撮影方向を制御する。これにより、追跡対象を撮影範囲に捉え続けることが可能となる。
【００３５】
例えば、追跡対象を画像の中心に捉える追跡処理を行う場合、制御部１２は撮影方向を追跡対象に追随して変化させるので、監視領域では動かない地物などによる特徴点は必然的に画像上では追跡対象に対する相対運動により変位する。そこで、このような追跡対象の速度程度の比較的緩やかな変位に対しては、特徴点の移動を相殺する撮影方向の制御は行わず、飛行体１０の急激な揺れなどによる大きな変位が生じた場合のみ撮影方向の制御が行われるように、変位についての閾値となる上述の所定値を設定することができる。
【００３６】
一方、追跡処理として、追跡対象が例えば、撮影範囲から外れそうになるまでは撮影方向を一定に保ち、撮影範囲の枠内側の所定近傍に達すると追跡対象を画像の中心に戻すように撮影方向を制御するという構成もある。この追跡処理においても、その途中で飛行体１０の急激な揺れなどによる大きな変位が生じて追跡対象が画像外となることがある。そこで、そのような大きな変位が生じた場合に、上述した特徴点を用いた撮影方向の制御を行って、追跡対象を撮影範囲内に復元させることができる。
【００３７】
また、この特徴点の変位が所定値以上となるという条件に加え、複数の特徴点の変位が同一方向であるという条件が成り立つ場合に撮影方向の制御を行う構成とすることもできる。複数の特徴点が同一方向に移動したことをもってカメラの方向の制御を行うことで、カメラの方向のずれを精度良く検出することができる。
【００３８】
ここで、エッジを画像処理で抽出する際、エッジが動かないという確認を特にしなければ、移動物体等に特徴点が設定され得る。つまり、特徴点が動き得る構成になり、その特徴点の動きに追随して撮影方向の制御を行うと、画像上にて追跡対象に不要な動きが生じ、ユーザにとって見にくい表示となり得る。移動物体の１時刻の間の移動距離は飛行体１０からの比較的広い撮影範囲と比較して基本的に小さいとすることができ、その場合、移動物体の比較的緩やかな変位に対しては、特徴点の移動を相殺する撮影方向の制御は行わず、飛行体１０の急激な揺れなどによる大きな変位が生じた場合のみ撮影方向の制御が行われるように、変位についての閾値となる上述の所定値を設定することができる。
【００３９】
なお、複数の特徴点について変位は小さくても同一方向に変位した場合に上述の特徴点を用いた撮影方向の制御を行ってもよい。変位が小さい場合は追跡対象が撮影範囲から外れて見失う可能性は低いが、当該制御により飛行体１０の小さなふらつきに伴う画像の揺れを抑制することができる。
【００４０】
なお、制御部１２は上述したように、センタ装置２０からの制御信号に基づいて撮影方向を制御することもできる。
【００４１】
センタ装置２０は飛行体１０へ飛行動作や対象物の追跡動作の指示を送信したり、飛行体１０から受信した画像などのデータを記録したり表示したりする。具体的には、センタ装置２０は、制御部２１、記憶部２２、操作部２３、表示部２４及び通信部２５を含んで構成される。
【００４２】
制御部２１は、センタ装置２０の各部の動作を制御する。例えば、制御部２１は飛行体１０にて撮影された画像を表示部２４に表示するとともに、ユーザが操作部２３により指定した物体の画像上での位置を取得して飛行体１０の追跡対象設定部１５へ送信する。また、ユーザが操作部２３にてカメラの操作を行う場合には、制御部１２へ当該操作に応じた制御信号を送信する。制御部２１はセンタ装置２０の演算装置により実現され、当該演算装置はＣＰＵ、ＤＳＰ、ＭＣＵなどで構成される。
【００４３】
記憶部２２は、例えば、監視領域情報として３次元地図データ及び監視領域の位置に関するデータを予め記憶されている。また、記憶部２２は飛行体１０から受信した画像データ、特徴点の情報、追跡対象の情報等を記憶する。また、記憶部２２は制御部２１等を構成する演算装置で用いられる各種プログラムや各種データを記憶し、演算装置との間でこれらの情報を入出力する。
【００４４】
操作部２３は制御部２１に対する入力手段であり、例えばマウス、キーボード、表示部２４の表示画面上のソフトキーなどで構成され、カメラの撮影範囲・撮影方向の指定、追跡対象の決定等の操作を行うことが可能である。
【００４５】
表示部２４はセンタ装置２０における出力手段の一種であり画像を表示する。例えば、表示部２４は液晶表示器などで構成され、操作画面の表示や飛行体１０から取得した画像データに基づく画像の表示などを行なう。
【００４６】
通信部２５は飛行体１０と通信を行う。具体的には、通信部２５は飛行体１０の通信部１４と有線または無線で接続され、情報の送受信を行なう。また、通信部２５は、飛行体１０から画像データなどを受信したり、制御部２１からのカメラの撮影方向の制御信号や追跡対象の指定情報などを飛行体１０へ送信したりする。
【００４７】
図３は監視システム１におけるカメラの撮影方向の制御に関する概略の処理フロー図である。監視システム１は撮影を開始すると（ステップＳ１）、追跡対象設定部１５が例えば、操作部２３におけるユーザ操作に基づいて追跡対象を設定する。追跡対象が設定されると（ステップＳ２にて「Ｙｅｓ」の場合）、特徴点抽出部１６は画像上にて追跡対象を含む所定範囲内に存在するエッジを検出し（ステップＳ３）、特徴点を設定する（ステップＳ４）。設定された特徴点に関する情報は記憶部１３に記憶される。ここでの画像の撮影時刻をｔとする。
【００４８】
その後、撮影周期ごとにステップＳ５〜Ｓ８の処理を繰り返す。すなわち、１時刻ごとに得られる画像を画像処理することによって、現時刻におけるエッジを検出し、所定時刻前（ここでは１時刻前）に設定した特徴点との対応付けを行い（ステップＳ５）、特徴点の移動量を算出する（ステップＳ６）。そして、この移動量（変位）が所定値以上であれば（ステップＳ７にて「Ｙｅｓ」の場合）、撮像部１１は追跡対象が撮影範囲に入るようにカメラの撮影方向の制御を行い（ステップＳ８）、ステップＳ５に戻る。一方、変位が所定値未満であった場合は（ステップＳ７にて「Ｎｏ」の場合）、カメラの撮影方向の制御は行わずにステップＳ５に戻る。
【００４９】
なお、ステップＳ５にて得られる現時刻の特徴点の情報は記憶部１３に記憶され、次の時刻における移動量算出（ステップＳ６）にて１時刻前の特徴点として利用される。つまり、現時刻ｔ＋１でのステップＳ６では、ステップＳ３，Ｓ４で設定され記憶部１３に記憶された時刻ｔの特徴点とステップＳ５にて得られた現時刻ｔ＋１の特徴点との間の移動量が算出されるが、現時刻ｔ＋ｋ＋１（ｋは任意の自然数である。）のステップＳ６では、１時刻前の時刻ｔ＋ｋのステップＳ５で得られた特徴点に対する現時刻のステップＳ５にて得られた特徴点の移動量が算出される。
【００５０】
次に、監視システム１における撮影方向の制御を、例を用いて従来の制御方法と対比して説明する。
【００５１】
図４及び図５は従来の制御方法の例を示す図であり、それぞれ時刻ｔ〜ｔ＋２における追跡対象の位置、及びカメラの撮影範囲の位置を模式的に示している。図４、図５における人物４０ａ〜４０ｃは監視領域における追跡対象であり、時刻ｔ〜ｔ＋２にて人物が移動していることを表している。また、図４、図５における矩形は撮影範囲４１ａ〜４１ｃ，４２ａ〜４２ｃの枠であり、当該枠内が画像として撮影される。また、時刻間でのカメラの撮影範囲の移動は、カメラの撮影方向の変化に対応する。図４はカメラの揺れなどがなく撮影方向が安定している場合であり、一方、図５はカメラの撮影方向が不安定である場合である。
【００５２】
従来、ＰＴＺカメラを用いて物体を追跡する際には、追跡対象の移動方向をフィルタ処理により予測しながら対象の物体が画面中央に表示されるようパン・チルト制御を行っている。図４にはカメラの揺れなどがなく撮影方向が安定している場合の例として、当該制御により人物像が画像内に捕捉され追跡が行われている状態を示している。すなわち、時刻ｔでは人物４０ａが撮影範囲４１ａの中央に位置し、時刻ｔ＋１，ｔ＋２ではそれぞれ人物の移動に追随してパン・チルト制御により撮影方向が変えられて撮影範囲４１ｂの中央に人物４０ｂが、また撮影範囲４１ｃの中央に人物４０ｃがそれぞれ捉えられている。
【００５３】
一方、図５にはカメラの撮影方向が不安定である場合の例として、時刻ｔと時刻ｔ＋１との間で例えば、飛行体１０が風で揺らぐなどしてカメラの撮影方向がぶれた場合を示している。時刻ｔでは人物４０ａが撮影範囲４２ａの中央に捉えられているが、その後、撮影方向のぶれにより人物が撮影範囲から外れ、時刻ｔ＋１の撮影範囲４２ｂの画像には人物４０ｂが写っていない。つまり、追跡対象の人物が画像上にて見失われ追跡ができなくなってしまう。
【００５４】
このように追跡対象が撮影範囲から外れた場合、従来は追跡対象のそれまでの移動方向から、直近の捕捉位置からの移動方向を推定し、その方向に向けてＰＴＺ制御を行うことはなされている。しかし、カメラのぶれが大きい場合や、ぶれの向きがそれまでの移動方向と異なる方向である場合には、過去の移動から新たな時刻での撮影方向を推定する方法では追跡対象が捉えられた状態への復元は保証されない。図５（ｃ）はその状態を示しており、撮影範囲４２ｃは時刻ｔ＋１の撮影範囲４２ｂの撮影方向から、過去の追跡対象の移動から推定した方向にパン・チルト制御した撮影範囲であり、時刻ｔ＋２の当該撮影範囲には時刻ｔ＋１に引き続いて人物４０ｃが捕捉されない。
【００５５】
図６は本実施形態の監視システム１における撮影方向の制御の例を示す図であり、時刻ｔ〜ｔ＋３における追跡対象の位置、及びカメラの撮影範囲の位置を図４、図５と同様の表し方で模式的に示している。
【００５６】
図６（ａ）に示す時刻ｔの撮影範囲５０ａには、人物５１ａが中央部に位置すると共に、人物５１ａの周囲に当該人物と対応付けられた特徴点５２ａ〜５２ｄが設定される。図６（ｂ）は、時刻ｔと時刻ｔ＋１との間でカメラの撮影方向がぶれた場合を示している。時刻ｔでは人物５１ａが撮影範囲５０ａの中央部に捉えられているが、その後、撮影方向のぶれにより人物が撮影範囲から外れ、時刻ｔ＋１の撮影範囲５０ｂには人物５１ｂが写っていない。しかし、時刻ｔ＋１の撮影範囲５０ｂは時刻ｔの撮影範囲５０ａとの間に重複領域を有し、当該重複領域には追跡対象に対応付けられた特徴点５２ｄが写っている。
【００５７】
制御部１２は、時刻ｔの画像と時刻ｔ＋１の画像との間で特徴点どうしを対応付け、特徴点５２ｄが時刻ｔの画像と時刻ｔ＋１の画像との両方に写ると判定し、時刻ｔから時刻ｔ＋１の間における画像上での特徴点５２ｄの移動量を算出する。図６（ｂ）では撮影範囲５０ｂに示す線分５２ｄ’の位置が撮影範囲５０ａの画像での特徴点５２ｄの表示位置に相当し、移動量は線分５２ｄ’の位置を始点とし撮影範囲５０ｂの画像における特徴点５２ｄの表示位置を終点とするベクトル５３となる。
【００５８】
図６（ｃ）は時刻ｔ＋１にて算出された移動量に基づいてパン・チルト制御を行った状態を示す。制御部１２は、撮影範囲の中心が、時刻ｔ＋１における撮影範囲５０ｂの中心５４ｂからベクトル５３だけ移動した点５４ｃとなるように撮影方向を変化させる。これにより設定される時刻ｔ＋２の撮影範囲５０ｃは基本的に時刻ｔの撮影範囲５０ａと一致する。ｔからｔ＋２の時刻間に人物５１ｃは移動して撮影範囲５０ｃの中心には存在しないかもしれないが、追跡が可能なように撮影周期は短く、撮影範囲は大きく設定されるので、当該時刻間における人物の移動距離は撮影範囲に比べて小さく、よって撮影範囲５０ｃに人物５１ｃが捉えられることが期待できる。
【００５９】
このように、ユーザが操作を行うことなく、追跡対象が撮影範囲に捕捉された状態が復元し、追跡を継続することが可能となる。図６（ｄ）はこの状態を示しており、制御部１２は、時刻ｔ＋２の撮影範囲５０ｃにて検出された追跡対象の人物５１ｃの位置が中心に来るように、時刻ｔ＋３の撮影方向を制御し、これにより設定された撮影範囲５０ｄの中央部に人物５１ｄが捉えられる。
【００６０】
以上、実施形態に基づいて説明した本発明によれば、追跡対象を含む所定範囲内に存在する特徴点の変位に基づいてカメラの方向制御を行うことで、ユーザがＰＴＺ操作を行わなくても追跡対象が画面内（特に画面中央）に表示されるので、ユーザの負荷を低減できる。また、追跡対象が画面上で背景と区別しにくいような場合であっても、追跡対象の周辺の検出容易な特徴点に基づいて撮像方法のぶれを判定でき追跡を継続できる。
【符号の説明】
【００６１】
１  監視システム、１０  飛行体、１１  撮像部、１２，２１  制御部、１３，２２  記憶部、１４，２５  通信部、１５  追跡対象設定部、１６  特徴点抽出部、２０  センタ装置、２３  操作部、２４  表示部。
【図１】
2018107651.tif 000003
【図２】
2018107651.tif 000004
【図３】
2018107651.tif 000005
【図４】
2018107651.tif 000006
【図５】
2018107651.tif 000007
【図６】
2018107651.tif 000008