(57)【要約】【課題】オブジェクトの位置を容易に特定する。【解決手段】撮像装置は、第１の撮像手段と、前記第１の撮像手段の撮像方向を変更する変更手段と、オブジェクトの方向を取得する取得手段と、前記取得手段が取得した前記オブジェクトの方向に沿って前記第１の撮像手段の撮像方向を変更するように前記変更手段を制御する制御手段と、前記制御手段による前記変更手段の制御に応じた前記第１の撮像手段の撮像画像に基づいて前記オブジェクトの位置を特定する特定手段と、を備える。【選択図】  図９
2020198468.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像手段と、
前記第１の撮像手段の撮像方向を変更する変更手段と、
オブジェクトの方向を取得する取得手段と、
前記取得手段が取得した前記オブジェクトの方向に沿って前記第１の撮像手段の撮像方向を変更するように前記変更手段を制御する制御手段と、
前記制御手段による前記変更手段の制御に応じた前記第１の撮像手段の撮像画像に基づいて前記オブジェクトの位置を特定する特定手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記第１の撮像手段の画角より広い画角で撮像を行う第２の撮像手段と、
前記第２の撮像手段による撮像画像中のオブジェクトを指定する指定手段と、
前記指定手段によって指定された前記オブジェクトの方向を算出して前記取得手段に供給する第１の算出手段と、
を備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記制御手段による前記変更手段の制御に応じて、前記オブジェクトの方向に沿った位置に前記第１の撮像手段を合焦させる合焦手段、
を備えることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記合焦手段は、被写界深度が所定の閾値より浅くなるように前記第１の撮像手段を合焦させる、
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記特定手段は、
前記第１の撮像手段の撮像画像から所定の評価値を算出する第２の算出手段と、
前記制御手段による前記変更手段の制御中に、前記第２の算出手段によって算出された前記評価値が所定の条件を満たしたときに、前記第１の撮像手段の撮像方向に対応する位置を保持する保持手段と、を備え、
前記保持手段に保持されている前記位置に応じて前記オブジェクトの位置を特定する、
ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記特定手段は、前記保持手段に最初に保持された前記位置を、前記オブジェクトの位置として特定する、
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記第２の算出手段は、
少なくとも、形状の類似度、色の類似度、画像の解像度のいずれかに応じて前記評価値を算出する、
ことを特徴とする請求項５記載の撮像装置。
【請求項８】
前記取得手段は、同一の前記オブジェクトに対して複数の前記オブジェクトの方向を取得し、
前記制御手段は、前記取得手段が取得した複数の前記オブジェクトの方向夫々に沿って前記第１の撮像手段の撮像方向を変更するように前記変更手段を制御し、
前記特定手段は、前記制御手段による前記変更手段の制御に応じた夫々の前記第１の撮像手段の撮像画像に応じて前記オブジェクトの位置を特定する、
ことを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記特定手段は、
前記制御手段による前記変更手段の制御に応じた夫々の前記第１の撮像手段の撮像画像に応じて前記オブジェクトの位置を各々特定し、
前記特定した夫々のオブジェクトの位置が所定の閾値より近い場合に、前記特定した夫々のオブジェクトの位置に応じて、前記オブジェクトの位置を特定する、
ことを特徴とする請求項８記載の撮像装置。
【請求項１０】
オブジェクトの方向を取得するステップと、
前記取得した前記オブジェクトの方向に沿って第１の撮像手段の撮像方向を変更するステップと、
前記撮像方向の変更に応じた前記第１の撮像手段の撮像画像に基づいて前記オブジェクトの位置を特定するステップと、
を有することを特徴とする撮像方法。
【請求項１１】
コンピュータを、請求項１から請求項９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
近年、ネットワークカメラを利用した監視システムが広く普及している。
ネットワークカメラは、大規模な公共機関や量販店における監視カメラとして用いられる等、幅広い分野で利用されており、様々な運用方法がある。ネットワークカメラは、運用形態に合わせるために様々な機能的特徴をもったものが存在する。例えば、パン・チルトといった撮影方向を自在に変更できるネットワークカメラや、撮影方向は変更できないが高倍率のズーム撮影が可能なネットワークカメラ等が存在する。このようなネットワークカメラの中には、魚眼レンズを搭載し、広い範囲を一度に監視可能なネットワークカメラ（全方位カメラ）が存在する。
【０００３】
全方位カメラは、非常に広い視野角を持つ一方で、カメラから離れた場所では割り当てられた画素数が少なく、解像度が落ちてしまう。そのため、全方位カメラは、人の顔や車番等、詳細な情報を取得することには向いていない。そのような欠点を補うため、全方位カメラとパン・チルト及びズーム機能を持つカメラ（ＰＴＺ型監視カメラ）と連携させる機能を持つ監視システムが、特許文献１に開示されている。この監視システムは、全方位カメラで広い範囲を一度に監視し、その映像中で特に注視すべきオブジェクトは、ＰＴＺ型監視カメラで拡大して撮像し、詳細情報を取得する。
このような監視システムでは、一般的にカメラの設置時にカメラ間で連携を行うためのキャリブレーション作業を行い、同一の世界座標系の中でカメラ間の相互の位置姿勢と追尾対象の座標を共有することで広範囲かつ詳細な情報を網羅した映像をユーザに配信する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許９３１３４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術では、第１のカメラと第２のカメラで撮影した画像間で世界座標系における座標を対応付けした制御ＬＵＴ（Ｌｏｏｋ−Ｕｐ  Ｔａｂｌｅ）を構築している。そして、第１のカメラで撮影した画像において指定された注目領域（ＲＯＩ：Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）と制御ＬＵＴによって第２のカメラの撮影方向を決定する、というカメラ連携方法が提案されている。
【０００６】
しかしながら、特許文献１に開示されたカメラ連携では、第１のカメラで指定されたＲＯＩは、ある軸方向を確定することはできるが、軸上のどの位置に指定された物体が存在するのか第２のカメラで特定することができない。このため、特許文献１に開示された技術では、カメラ連携のための制御ＬＵＴを構築し、第１のカメラと第２のカメラにおける画像的な特徴や座標を対応付けすることで、軸上における座標を特定している。制御ＬＵＴを構築する方法としては、たとえば人の手によって画像を見比べ、対応点を入力する方法が考えられるが、この方法では、多くの時間がかかり、人的負荷が大きくなる。
また、レーザレンジスキャナや複眼のカメラ等を用いることで、三次元空間における物体の位置特定をすることが可能であるが、機材の追加が必要となるため、コストや設置の手間等が発生する。
【０００７】
本発明は上述の課題に鑑みて成されたものであり、オブジェクトの位置を容易に特定することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明に係る撮像装置のある態様によれば、第１の撮像手段と、前記第１の撮像手段の撮像方向を変更する変更手段と、オブジェクトの方向を取得する取得手段と、前記取得手段が取得した前記オブジェクトの方向に沿って前記第１の撮像手段の撮像方向を変更するように前記変更手段を制御する制御手段と、前記制御手段による前記変更手段の制御に応じた前記第１の撮像手段の撮像画像に基づいて前記オブジェクトの位置を特定する特定手段と、を備える撮像装置が提供される。
【発明の効果】
【０００９】
本発明によれば、オブジェクトの位置を容易に特定することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１の監視システムの構成例を示す図。
【図２】監視システムの構成例を示すブロック図。
【図３】監視システムのカメラ配置及び広角型監視カメラが設定した軸方向を示す概略図。
【図４】追尾対象を指定する際に表示される画面の例を示す図。
【図５】軸方向と追尾対象を三次元的な領域として示す模式図。
【図６】軸方向のデータの例を示す図。
【図７】追尾対象の候補情報のデータの例を示す図。
【図８】ＰＴＺ型監視カメラで追尾対象を特定する処理の例を示すフローチャート。
【図９】ＰＴＺ型監視カメラ内の走査処理の例を示すフローチャート。
【図１０】実施形態２の監視システムのカメラ配置及び広角型監視カメラが設定した軸方向の例を示す概略図。
【図１１】軸方向に近い位置に存在する追尾対象候補の例を示す概略図。
【図１２】移動前の軸方向と追尾対象及び移動後の軸方向と追尾対象を三次元的な領域として示す模式図。
【図１３】ＰＴＺ型監視カメラで追尾対象を特定する処理の例を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する各実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に必ずしも限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の対象等については、同じ符号を付して説明する。
【００１２】
（実施形態１）
図１は、実施形態１の監視システムの構成例を示している。
本実施形態の監視システムは、主にパン、チルト及びフォーカス、ズーム機構を持つＰＴＺ型監視カメラ１と、広角型監視カメラ２と、クライアント装置３を備えている。ＰＴＺ型監視カメラ１、広角型監視カメラ２、クライアント装置３は、ネットワーク４に接続されており、相互に通信が可能である。また、ＰＴＺ型監視カメラ１と広角型監視カメラ２は、同一の世界座標系における互いの位置を保持している。ネットワーク４は、ＰＴＺ型監視カメラ１、広角型監視カメラ２、クライアント装置３の間の通信が可能であれば、有線でも無線でもよく、特に限定されない。また、ＰＴＺ型監視カメラ１は、本実施形態では１台としているが、２台以上設置されていてもよい。
【００１３】
図２は、本実施形態における監視システムの構成例を示すブロック図である。
ＰＴＺ型監視カメラ１は、撮像部１１と、画像処理部１２と、撮像制御部１３と、システム制御部１４と、パン駆動部１８と、チルト駆動部１９と、ＰＴ（パン、チルト）制御部１７と、光学系制御部２０と、通信部１５と、を備えている。ＰＴＺ型監視カメラ１は、さらに、光学系駆動部２１と、候補座標保持部２４と、追尾対象特定部２５とを備えている。
【００１４】
撮像部１１は、例えばレンズ及び撮像素子を備えており、被写体の撮像及び電気信号への変換を行う。画像処理部１２は、撮像部１１によって変換された電気信号に画像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部１４に供給する。撮像制御部１３は、システム制御部１４から指示に基づいて露出等の撮像部１１の設定を変更する。
【００１５】
パン駆動部１８は、例えばパン動作を行うパン駆動機構、その駆動源のモータ、パン駆動機構の角度を検出する角度センサ等を備えており、モータが駆動されることにより、パン駆動機構がパン方向に駆動する。チルト駆動部１９は、例えばチルト動作を行うチルト駆動機構、その駆動源のモータ、チルト駆動機構の角度を検出する角度センサ等を備えており、モータが駆動されることにより、チルト駆動機構がチルト方向に駆動する。ＰＴ制御部１７は、システム制御部１４から供給された指示信号に基づいて、パン駆動部１８、チルト駆動部１９、及び光学系駆動部２１を制御する。また、ＰＴ制御部１７は、パン駆動部１８、チルト駆動部１９、光学系駆動部２１のセンサ情報を解析し、ピッチ角、ヨー角を取得することができる。ＰＴ制御部１７は、システム制御部１４から供給された指示信号に基づいて、ピッチ角、ヨー角をシステム制御部１４に供給する。
【００１６】
光学系駆動部２１は、フォーカスレンズ、ズームレンズの駆動部及びモータ、ズームレンズの位置を検出するセンサ等を備え、モータが駆動されることによりズームレンズが光軸方向に移動して焦点距離を変更する。また、光学系駆動部２１は、モータが駆動されることによりフォーカスレンズが光軸方向に移動して焦点調節を行う。光学系制御部２０は、システム制御部１４から供給された指示信号に基づいて光学系駆動部２１を制御する。また、光学系制御部２０は、フォーカスを制御する合焦機能を有しており、指定された焦点距離において合焦させる制御を行う。さらに、光学系駆動部２１は、センサの情報を解析し、現在のズーム倍率や絞りを計算し、システム制御部１４に供給する。
【００１７】
システム制御部１４は、軸方向受信部１６と、追尾対象走査部２２と、評価値算出部２３とを備えている。システム制御部１４は、通信部１５およびネットワーク４を介して、生成された画像データをクライアント装置３に送信する。また、システム制御部１４は、ネットワーク４および通信部１５を介して供給されたカメラ制御コマンドを解析し、当該カメラ制御コマンドに応じた処理を行う。具体的には、例えば、システム制御部１４は、画像処理部１２に対する画質調整の設定、ＰＴ制御部１７に対するパン・チルト及びズーム動作の設定といった撮像パラメータ設定の指示等を行う。さらに、システム制御部１４は、広角型監視カメラ２から軸方向５１（図３）に関する情報を受信し、システム制御部１４内の軸方向受信部１６に供給する。
【００１８】
追尾対象走査部２２は、軸方向受信部１６が受信した軸方向５１に関する情報に基づいて、ＰＴ制御部１７と光学系制御部２０を制御して撮像方向（視野）を変更しながら走査を行う。具体的には、追尾対象走査部２２は、ＰＴＺ型監視カメラ１の撮像範囲が軸方向５１上で移動するように、ＰＴ制御部１７と光学系制御部２０を制御する。さらに、追尾対象走査部２２は、取得した画像から評価値を算出する評価値算出部２３から取得した評価値に基づいて、追尾対象のオブジェクト（以下、単に追尾対象という。）と判断された座標を関連情報と共に候補座標保持部２４に保存する。追尾対象特定部２５は、候補座標保持部２４に保存された追尾対象の候補から追尾対象を特定し、システム制御部１４に通知する。保存された追尾対象を特定する方法については、図８を用いて後述する。
【００１９】
広角型監視カメラ２は、撮像部３１と、画像処理部３２と、システム制御部３３と、通信部３５と、撮像装置相対位置保持部３６とを備えている。
撮像部３１は、レンズ及び撮像素子から構成され、被写体の撮像及び電気信号への変換を行う。また、撮像部３１は、半球状の視野角（画角）を有する広角レンズを備えている。画像処理部３２は、撮像部３１によって変換された電気信号に画像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部３３に供給する。
【００２０】
システム制御部３３は、軸方向送信部３７と追尾対象受信部３８を備えている。システム制御部３３は、生成された画像データを通信部３５およびネットワーク４を介してクライアント装置３に送信する。また、システム制御部３３は、ネットワーク４および通信部３５を介して供給されたカメラ制御コマンドを解析し、コマンドに応じた処理行う。例えば、システム制御部３３は、画像処理部３２に対する画質調整の設定等を行う。また、撮像装置相対位置保持部３６は、公知の手段を用いてキャリブレーションを行い、ＰＴＺ型監視カメラ１と同一の座標系における座標を保持する。追尾対象受信部３８は、ネットワーク４および通信部３５を介してクライアント装置３から受信した注目領域（ＲＯＩ：Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に応じて、撮像部３１からの画像中の座標を実空間の座標に変換する。また、軸方向送信部３７は、追尾対象受信部３８による変換結果と撮像装置相対位置保持部３６が保持している座標から追尾対象の軸方向を計算し、当該軸方向をネットワーク４および通信部３５を介してＰＴＺ型監視カメラ１に送信する。なお、本実施形態では、クライアント装置３から追尾対象をＲＯＩとして指示しているが、広角型監視カメラ２の画像中のオブジェクトの認識を行い、認識結果に基づいて追尾対象を決定するようにしてもよい。
【００２１】
クライアント装置３は、表示部４１と、入力部４２と、システム制御部４３と、通信部４５とを備えている。表示部４１は、液晶表示装置等であり、ネットワーク４および通信部４５を介してＰＴＺ型監視カメラ１、広角型監視カメラ２から受信した画像データの表示等を行う。また、表示部４１は、ＰＴＺ型監視カメラ１及び広角型監視カメラ２のカメラ制御を行うためのグラフィックユーザインターフェース（以下、ＧＵＩと称する。）等を表示する。このカメラ制御は、例えば、ＰＴＺ型監視カメラ１のズーム率の設定、パン・チルト方向の変更、ＰＴＺ型監視カメラ１及び広角型監視カメラ２の撮像等である。入力部４２は、キーボード、マウス等のポインティング・デバイス等を備えており、クライアント装置３のユーザは、入力部４２を介して上述のＧＵＩを操作し、指示を入力する。システム制御部４３は、ユーザからの指示と、ネットワーク４および通信部４５を介してＰＴＺ型監視カメラ１や広角型監視カメラ２から受信した情報に基づいて表示部４１を制御する。また、システム制御部４３は、通信部４５からネットワーク４を介してＰＴＺ型監視カメラ１や広角型監視カメラ２に送信するデータのセットの作成等の処理を実行する。
【００２２】
図３は、図１の監視システムのＰＴＺ型監視カメラ１および広角型監視カメラ２の配置と、広角型監視カメラ２から指定した追尾対象５３が存在する軸方向５１を示す概略図である。ＰＴＺ型監視カメラ１と、広角型監視カメラ２は、ネットワーク４を介して通信可能な状態となっており、且つ、クライアント装置３と通信可能な状態となっている。広角型監視カメラ２は、撮像された映像をクライアント装置３に送信し、クライアント装置３は、表示部４１に受信した映像を表示し、ユーザが入力部４２から追尾対象の存在する領域を指定した結果をＲＯＩとして広角型監視カメラ２に送る。広角型監視カメラ２は、送信されてきたＲＯＩと撮像装置相対位置保持部３６が保持している広角型監視カメラ２の位置を用いて、軸座標を指示する軸座標指示として、ＰＴＺ型監視カメラと共通の世界座標系における軸方向５１を計算する。さらに、クライアント装置３は、広角型監視カメラ座標７２（図５）と、世界座標系における軸方向５１上に存在する任意の座標である任意軸上座標８２を軸方向データとしてＰＴＺ型監視カメラ１に送信する。
【００２３】
これらの情報を受信すると、ＰＴＺ型監視カメラ１は、軸方向受信部１６が受信した軸方向５１から、図５の広角型監視カメラ座標７２で結像し、かつ、被写界深度が所定の閾値より浅くなるように、ＰＴ制御部１７と光学系制御部２０を制御する。これにより、ＰＴＺ型監視カメラ１を指向させた位置を初期位置として、追尾対象走査部２２は、軸方向５１上に広角型監視カメラ座標７２から遠ざかるように、ＰＴ制御部１７を制御し、軸方向５１上の点で合焦するように光学系制御部２０を制御する。また、本実施形態では、ユーザが広角型監視カメラ２の画像中の指向対象のオブジェクト（追尾対象５３）を指定するため、広角型監視カメラ座標７２を走査の初期位置とすることで、ユーザが指定したオブジェクトを捉える時間が速くなる。これにより、ＰＴＺ型監視カメラ１の撮像方向をオブジェクトに容易に向けることができる。
【００２４】
上述の制御を行う際に、評価値算出部２３は、ＰＴＺ型監視カメラ１の撮像範囲５２で取得された画像を用いて、解像度を評価する評価値を計算する。物体が存在しない画像から、物体を捉えた画像に変化すると、解像度に関する評価値が変動するため、評価値が変動した量や変動の度合いを基準とすることで、広角型監視カメラ２の画像中で指示した追尾対象５３が存在する座標を特定可能となる。なお、本実施形態では、評価値算出部２３が算出する評価値は、例えばＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いるが、コントラスト値等、解像度を評価することが可能な数値ならばよい。
【００２５】
図４は、広角型監視カメラ２の画像中で追尾対象５３を指定する際にクライアント装置３の表示部４１に表示される画面の例を示している。映像６１は、広角型監視カメラ２によって撮像中の映像であり、ネットワーク４を介してクライアント装置３の表示部４１に表示されている。追尾対象５３は、例えば、ユーザが、クライアント装置３の入力部４２に接続されたマウスによってマウスポインタ６２で指示し、クリック操作することで指定される。指定された追尾対象５３のＲＯＩは、ネットワーク４を介して広角型監視カメラ２に送信され、広角型監視カメラ２上で軸方向５１としてＰＴＺ型監視カメラ１に送信される。
【００２６】
図５は、広角型監視カメラ２で設定された軸方向５１とＰＴＺ型監視カメラ１を三次元的な領域として模式図で示したものである。
広角型監視カメラ２の座標である広角型監視カメラ座標７２から、追尾対象５３の座標である追尾対象座標７３に向かう矢印が軸方向５１に該当する。上述のようにＲＯＩが指定されると、広角型監視カメラ２は、軸方向５１上に存在する点である任意軸上座標８２と広角型監視カメラ座標７２を、軸方向５１を示す情報としてＰＴＺ型監視カメラ１に送信する。ＰＴＺ型監視カメラ１は、軸方向５１を示す情報に応じて軸方向５１を示す１次の直線式を求め、広角型監視カメラ座標７２を始点として広角型監視カメラ座標７２から遠ざかるように、ＰＴ制御部１７を制御し、軸方向５１上の走査を行って撮像を行う。走査中のＰＴＺ型監視カメラ１は、自身の世界座標系における座標であるＰＴＺ型監視カメラ座標７１と走査している座標である走査対象座標７４の距離であるＰＴＺ型監視カメラ走査位置距離７５から、合焦する距離を求める。さらに、走査中のＰＴＺ型監視カメラ１は、光学系制御部２０を制御して、軸方向５１上に合焦し、かつ被写界深度が浅くなるように（すなわち、狭い範囲でのみ合焦するように）フォーカスを制御する。これにより、合焦して撮像している範囲であるＰＴＺ型監視カメラ撮像範囲５２が、追尾対象５３の評価値に変化を発生させ、追尾対象５３をＰＴＺ型監視カメラ１で特定可能となる。
【００２７】
図６は、軸方向のデータの例を示す図である。
軸方向データテーブル８１には、広角型監視カメラ２の座標情報として、ＰＴＺ型監視カメラ１と同一の世界座標系における広角型監視カメラ座標７２が格納されている。また、軸方向データテーブル８１には、クライアント装置３から送信されてきたＲＯＩに基づいて計算された任意軸上座標８２が格納されている。これらの情報を含む軸方向のデータが、ＰＴＺ型監視カメラ１に供給されることで、ＰＴＺ型監視カメラ１で軸方向５１を一意に特定することが可能となる。
【００２８】
図７は、追尾対象の候補情報のデータの例を示す図である。
追尾対象候補情報テーブル８５には、ＰＴＺ型監視カメラ１内の候補座標保持部２４に保存されている追尾対象５３の候補となった座標に関連した情報が格納されている。追尾対象候補情報テーブル８５には、追尾対象５３の候補として特定された座標である対象候補座標８６と、特定において検出された評価値と画像的な特徴を表す値を含む特徴量行列８７と、特定された時刻を示す検出時刻８８とが対応付けて格納されている。
【００２９】
図８は、広角型監視カメラ２から指定された軸方向５１をＰＴＺ型監視カメラ１が受信し、ＰＴＺ型監視カメラ１で追尾対象５３を特定する処理の例を示すフローチャートである。
まず、ステップＳ１において、広角型監視カメラ２の追尾対象受信部３８は、図４の画面に対して指定された追尾対象の情報（ＲＯＩ）をクライアント装置３から受信する。続くＳ２において、広角型監視カメラ２の軸方向送信部３７は、任意軸上座標８２と広角型監視カメラ座標７２を軸方向データテーブル８１に変換し、ＰＴＺ型監視カメラ１に送信する。
【００３０】
次に、ステップＳ３において、軸方向を受信すると、ＰＴＺ型監視カメラ１は、Ｓ４において、図５で示した軸方向５１上を走査し、追尾対象５３を特定する処理である走査軸走査処理を行う。なお、走査軸走査処理の詳細については、図９を用いて後述する。ステップＳ５において、ＰＴＺ型監視カメラ１の追尾対象特定部２５は、保存されている複数の追尾対象候補情報テーブル８５の検出時刻８８を比較し、最初に検出された追尾対象候補を追尾対象と特定する。続くステップＳ６において、ＰＴＺ型監視カメラ１のシステム制御部１４は、追尾対象５３の特定が完了したことを広角型監視カメラ２に通知する。この通知を受信すると、広角型監視カメラ２は、Ｓ７において、クライアント装置３に追尾対象の特定が完了したことを通知して処理を完了する。
【００３１】
図９は、ＰＴＺ型監視カメラ１で行う走査軸走査処理の例を示すフローチャートである。
まず、ステップＳ１１において、追尾対象走査部２２は、ＰＴ制御部１７を制御して始点座標である広角型監視カメラ座標７２の方向に撮像部１１を指向させる。ステップＳ１２において、追尾対象走査部２２は、軸方向５１上の点で合焦し、かつ、被写界深度が最も浅くなるように光学系制御部２０を制御する。ステップＳ１３において、評価値算出部２３は、合焦した状態で取得した画像から評価値を算出する。ステップＳ１４において、追尾対象走査部２２は、算出された評価値がある基準を満たしているか否かを判定する。算出された評価値がある基準を満たしている場合には、追尾対象走査部２２は、続くステップＳ１５において、追尾対象候補として、対応する追尾対象候補の座標等を追尾対象候補情報テーブル８５のデータ構造に従って候補座標保持部２４に保存する。評価値がある基準を満たしていない場合には、ステップＳ１４からステップＳ１６に進む。評価値が満たす基準について、本実施形態では、例えばＭＴＦ値がある一定の数値を超えたか否かとしているが、ＭＴＦ値の極点等の他の条件を基準としてもよい。本実施形態では、特徴量行列８７として、例えば評価値のみを保存してもよいが、その他の処理に使用する画像処理の結果等を保存してもよい。
【００３２】
次に、ステップＳ１６において、追尾対象走査部２２は、現在指向している座標から軸方向５１上で広角型監視カメラ座標７２から遠ざける指向座標を計算する。具体的には、追尾対象走査部２２は、広角型監視カメラ座標７２から軸方向５１に所定の間隔で遠ざかる指向座標を計算する。ステップＳ１７において、追尾対象走査部２２は、算出された座標が走査可能な範囲を超えたか否かを判定する。走査可能な範囲を超えていなかった場合、追尾対象走査部２２は、ステップＳ１８において、ＰＴ制御部１７を制御し、次の指向座標に指向させ、ステップＳ１２からの処理を繰り返す。捜査可能な範囲を超えていた場合、追尾対象走査部２２は、方向軸走査処理を終了する。
【００３３】
以上説明したように、本実施形態では、ＰＴＺ型監視カメラ１を軸方向に沿って走査して得られえた追尾対象候補から、評価値に応じて追尾対象を特定することができ、オブジェクトの位置を容易に特定することができる。
【００３４】
（実施形態２）
次に、図１０〜図１３を参照し、実施形態２について、説明する。
実施形態１では、１つの追尾対象５３が検出された例について説明していたが、本実施形態では、追尾対象５３に加えて、その他の追尾対象候補９０が検出された状況でも追尾を行うことができるようになっている。以下、このような状況における処理について主に説明する。
【００３５】
本実施形態の監視システムは、上述の図１及び図２と同様に構成されている。実施形態１の場合と同様の構成要素については、同一の符号を用いることで、それらの詳細な説明を省略する。この監視システムでは、図２の構成に加えて、ＰＴＺ型監視カメラ１に特徴量起因対象特定部（図示せず）を設けている。以下、実施形態１との相違点である特徴量起因対象特定部を中心に説明する。
【００３６】
実施形態１では、評価値算出部２３で算出される評価値は、合焦に関する数値であった。本実施形態では画像を用いて人物等のオブジェクトの検出や年齢、性別推定等に用いる画像処理の特徴量を計算する特徴量起因対象特定部によって評価値を計算する。特徴量起因対象特定部は、計算した評価値を合焦に関する数値と合わせて特徴量行列８７として候補座標保持部２４に保持する。また、実施形態１では、評価値算出部２３で計算される評価値の変動量によって追尾対象５３を特定していたが、本実施形態では、特徴量起因対象特定部によって計算した画像処理の評価値を用いて追尾対象５３を特定する。
【００３７】
図１０は、この監視システムのカメラ設置構成及び広角型監視カメラ２から指定した追尾対象５３の存在する軸方向５１を示す概略図である。また、図１１は、追尾対象５３とは異なるが軸方向５１に近い位置に存在する追尾対象候補９０の例を示す概略図である。
実施形態１では、ＰＴＺ型監視カメラ１が軸方向５１に走査する際に、光学系制御部２０を制御し、被写界深度を浅くしていたが、十分に被写界深度を浅くできない場合、軸方向５１上に存在する物体を追尾対象候補として誤検出してしまう場合がある。このような場合、本来は追尾対象５３に指向すべきＰＴＺ型監視カメラ１が、別の物体（追尾対象候補９０）に指向されてしまう可能性がある。
【００３８】
このため、本実施形態では、複数の走査によって取得された追尾対象候補の画像的な特徴量から評価値を求め、比較することで誤検出を防止する。すなわち、本実施形態では、複数の軸方向に沿った走査により得られた撮像画像に応じて追尾対象を特定する。ここで、追尾対象候補の画像的な特徴量には、例えば追尾対象候補の画像の形状の類似度、色の類似度、画像の解像度等が含まれる。本実施形態では、例えば図１１に示すように、追尾対象５３について広角型監視カメラ２から異なる位置にある追尾対象（５３、５３ａ）を２回以上指定し、夫々について軸方向５１を送信する。ＰＴＺ型監視カメラ１は、複数回の追尾対象５３の画像的な特徴量を有する特徴量行列８７を取得し、これらを比較して類似した追尾対象５３が検出された場合に、追尾対象５３として特定する。
【００３９】
図１２は、広角型監視カメラ２で設定された軸方向５１、ＰＴＺ型監視カメラ１と追尾対象５３、移動後の追尾対象５３ａを三次元的な領域として模式図で図示したものである。
実施形態１では、合焦し、評価値に変動が発生した追尾対象候補の座標のうち、時間的に最も早く検出されたものを追尾対象５３としていた。本実施形態では、広角型監視カメラ２は、２つ以上の軸方向５１をＰＴＺ型監視カメラ１に送信する。ＰＴＺ型監視カメラ１は、夫々の軸方向５１における走査で取得された追尾対象５３と追尾対象候補９０の画像の特徴量行列８７を比較する。そして、ＰＴＺ型監視カメラ１の特徴量起因対象特定部は、類似する特徴量行列８７が存在する追尾対象候補を追尾対象５３と特定する。例えば、広角型監視カメラ２が複数の軸方向５１を送信し、ＰＴＺ型監視カメラ１が夫々の軸方向５１における走査で得た画像には追尾対象５３、５３ａが写り込んでいるとする。この場合、夫々の走査において撮像された画像から計算された特徴量行列８７からは、追尾対象候補の類似性の特徴を検出することができる。そこで、夫々の走査で得られた追尾対象候補の特徴を比較し、類似する追尾対象候補の組み合わせを検出することで、ＰＴＺ型監視カメラ１で追尾対象５３を特定することが可能になる。
【００４０】
図１３は、広角型監視カメラ２から指定された複数の軸方向５１に応じて、ＰＴＺ型監視カメラ１が追尾対象５３を特定する処理の例を示すフローチャートである。
まず、広角型監視カメラ２の追尾対象受信部３８は、ステップＳ２１において、クライアント装置３から指定されたＲＯＩ（１回目の追尾対象情報）を受信する。ステップＳ２２において、軸方向送信部３７は、受信した１回目の追尾対象情報に応じて任意軸上座標８２と広角型監視カメラ座標７２を含む軸方向データテーブル８１を生成し、軸情報としてＰＴＺ型監視カメラ１に送信する。
【００４１】
ステップＳ２３において、１回目の追尾対象情報を受信すると、ＰＴＺ型監視カメラ１の追尾対象走査部２２は、Ｓ２４において、図１２で示した軸方向５１上を走査させ、追尾対象５３を特定する処理である走査軸走査処理を行う。走査軸走査処理については、実施形態１と同様である。１回目の走査が完了すると、追尾対象走査部２２は、ステップＳ２５において、広角型監視カメラ２に１回目の走査が完了したことを通知する。この通知に応じて、広角型監視カメラ２は、Ｓ２６において、クライアント装置３に１回目の走査が完了したことを通知する。広角型監視カメラ２は、ステップＳ２７において、クライアント装置３から、１回目とは別の座標で同一の追尾対象を指定する２回目の追尾対象情報（ＲＯＩ）を受信する。これに応じて、軸方向送信部３７は、ステップＳ２８において、任意軸上座標８２と広角型監視カメラ座標７２を含む軸方向データテーブル８１を生成し、２回目の軸情報としてＰＴＺ型監視カメラ１に送信する。
【００４２】
ステップＳ２９において、２回目の軸情報を受信すると、ＰＴＺ型監視カメラ１の追尾対象走査部２２は、Ｓ３０において、図１２で示した軸方向５１上を走査させ、追尾対象５３を特定する処理である走査軸走査処理を行う。走査軸走査処理については、実施形態１と同様である。２回目の走査軸走査処理が完了すると、特徴量起因対象特定部は、ステップＳ３１において、候補座標保持部２４に保存されている２回目の走査結果と１回目の走査結果を比較して類似する特徴が存在するものを探索する。そして、特徴量起因対象特定部は、ステップＳ３２において、探索したもののうち１回目の走査と２回目の走査で最も類似しているものを追尾対象と特定する。追尾対象を特定すると、追尾対象走査部２２は、ステップＳ３３において、広角型監視カメラ２に２回目の追尾対象の特定が完了したことを通知する。この通知に応じて、広角型監視カメラ２は、Ｓ３４において、クライアント装置３に追尾対象の特定が完了したことを通知する。
【００４３】
なお、本実施形態では、類似するものの座標を追尾対象５３の座標として特定しているが、類似度を算出し、類似度が一定以上に達した場合は、追尾対象５３として特定してもよい。
ステップＳ３３、Ｓ３４では追尾対象５３が特定されたことをＰＴＺ型監視カメラ１から広角型監視カメラ２に通知し、広角型監視カメラ２からクライアント装置３に通知して処理を完了する。
【００４４】
以上説明したように、本実施形態では、複数の軸方向における走査によって得られた夫々の追尾対象候補の画像的な特徴量から評価値を求め、夫々の評価値を比較して追尾対象を特定することにより、追尾対象の特定の精度を向上させることができる。
なお、本実施形態では、追尾対象の決定に用いる評価値として、画像処理に基づく特徴量から求めた評価値を用いたが、追尾対象候補の座標のうち高さを比較し、類似する高さ座標を有する追尾対象候補を追尾対象５３と特定してもよい。あるいは、位置が所定の閾値より近い追尾対象候補がある場合に、当該追尾対象候補を追尾対象５３と特定してもよい。また、本実施形態では、１回目の走査と同様に２回目の走査を行っているが、２回目の走査では、１回目の走査で取得された対象候補の高さに該当する軸方向上の点のみを走査の対象としてもよい。これにより、２回目の走査の時間を短縮することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その技術的思想の範囲内で種々の変形及び変更が可能である。
【００４５】
（その他の実施形態）
以上、各実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００４６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略である。
【符号の説明】
【００４７】
１…ＰＴＺ型監視カメラ、２…広角型監視カメラ、３…クライアント装置、４…ネットワーク、１１…撮像部、１２…画像処理部、１３…撮像制御部、１４…システム制御部、１５…通信部、１６…軸方向受信部、１７…ＰＴ制御部、１８…パン駆動部、１９…チルト駆動部、２０…光学系制御部、２１…光学系駆動部、２２…追尾対象走査部、２３…評価値算出部、２４…候補座標保持部、２５…追尾対象特定部、３１…撮像部、３２…画像処理部、３３…システム制御部、３５…通信部、３６…撮像装置相対位置保持部、３７…軸方向送信部、３８…追尾対象受信部、４１…表示部、４２…入力部、４３…システム制御部、４５…通信部
【図１】
2020198468.tif 000003
【図２】
2020198468.tif 000004
【図３】
2020198468.tif 000005
【図４】
2020198468.tif 000006
【図５】
2020198468.tif 000007
【図６】
2020198468.tif 000008
【図７】
2020198468.tif 000009
【図８】
2020198468.tif 000010
【図９】
2020198468.tif 000011
【図１０】
2020198468.tif 000012
【図１１】
2020198468.tif 000013
【図１２】
2020198468.tif 000014
【図１３】
2020198468.tif 000015