(57)【要約】【課題】  追跡中の被写体のうち注視すべき被写体を精度よく識別できると共に、注視すべき被写体と非注視の被写体とを判別可能にする。【解決手段】  撮像して得た画像をネットワークを介して外部装置に送信する撮像装置であって、検索対象被写体を識別するための情報を記憶する記憶部と、光軸方向、ズーム倍率が変更可能な第１の撮像部と、第１の撮像部が撮像する画角より広い画角を撮像する第２の撮像部と、該第２の撮像部により得た広範囲画像から、被写体を検出する検出部と、該検出部により新たな被写体が検出された場合、記憶部を参照して、第１の撮像部を制御して新たな被写体を撮像して得た画像が示す被写体が検索対象被写体であるか否かを識別する識別部と、第２の撮像部で得た広範囲画像内の検出部が検出した各被写体が示す領域に、それぞれの被写体に対する識別部の識別結果が判別可能な枠を合成する合成部と、該合成部による合成して得た合成後の広範囲画像を外部装置に送信する送信部とを有する。【選択図】  図２
2019186727.tif 000002
【特許請求の範囲】
【請求項１】
撮像して得た画像をネットワークを介して外部装置に送信する撮像装置であって、
検索対象被写体を識別するための情報を記憶する記憶手段と、
光軸方向、ズーム倍率が変更可能な第１の撮像手段と、
前記第１の撮像手段が撮像可能な画角より広い画角を撮像する第２の撮像手段と、
該第２の撮像手段により得た広範囲画像から、被写体を検出する検出手段と、
該検出手段により新たな被写体が検出された場合、前記記憶手段を参照して、前記第１の撮像手段を制御して前記新たな被写体を撮像して得た画像が示す被写体が検索対象被写体であるか否かを識別する識別手段と、
前記第２の撮像手段で得た前記広範囲画像内の前記検出手段が検出した各被写体が示す領域に、それぞれの被写体に対する前記識別手段の識別結果が判別可能な枠を合成する合成手段と、
該合成手段による合成して得た合成後の広範囲画像を前記外部装置に送信する送信手段と
を有することを特徴とする撮像装置。
【請求項２】
前記外部装置から、前記検索対象被写体を識別するための情報を受信し、前記記憶手段に登録する登録手段を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成手段は、前記記憶手段に記憶された前記検索対象被写体を示す第１の色の枠、前記検索対象被写体ではないことを示す前記第１の色とは異なる第２の色の枠として合成することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記識別手段は、被写体が示す領域から当該被写体の特徴量を抽出し、前記記憶手段に記憶された前記検索対象被写体を識別するための情報としての特徴量との合致度を求め、当該合致度から、前記被写体が検索対象被写体か否かを識別する
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
該検出手段により新たな被写体が検出された場合、前記広範囲画像内の前記新たな被写体が存在する領域のサイズと、予め設定された閾値とを比較する比較手段を更に有し、
前記識別手段は、前記比較手段による比較の結果が前記サイズが前記閾値以上であることを示す場合には、前記広範囲画像内の前記新たな被写体が示す画像データが抽出した特徴量に基づき、識別を行う
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１の撮像手段で得た画像、前記合成手段による合成後の広範囲画像それぞれを符号化する符号化手段を更に有し、
前記送信手段は、前記符号化手段で得た符号化データを送信する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
検索対象被写体を識別するための情報を記憶する記憶手段、光軸方向、ズーム倍率が変更可能な第１の撮像手段、前記第１の撮像手段が撮像可能な画角より広い画角を撮像する第２の撮像手段を有し、撮像して得た画像をネットワークを介して外部装置に送信する撮像装置の制御方法であって、
該第２の撮像手段により得た広範囲画像から、被写体を検出する検出工程と、
該検出工程により新たな被写体が検出された場合、前記記憶手段を参照して、前記第１の撮像手段を制御して前記新たな被写体を撮像して得た画像が示す被写体が検索対象被写体であるか否かを識別する識別工程と、
前記第２の撮像手段で得た前記広範囲画像内の前記検出工程が検出した各被写体が示す領域に、それぞれの被写体に対する前記識別工程の識別結果が判別可能な枠を合成する合成工程と、
該合成工程による合成して得た合成後の広範囲画像を前記外部装置に送信する送信工程と
を有することを特徴とする撮像装置の制御方法。
【請求項８】
検索対象被写体を識別するための情報を記憶する記憶手段、光軸方向、ズーム倍率が変更可能な第１の撮像手段、前記第１の撮像手段が撮像可能な画角より広い画角を撮像する第２の撮像手段を有し、撮像して得た画像をネットワークを介して外部装置に送信する撮像装置のＣＰＵに実行させるためのプログラムであって、
前記ＣＰＵに、
該第２の撮像手段により得た広範囲画像から、被写体を検出する検出工程、
該検出工程により新たな被写体が検出された場合、前記記憶手段を参照して、前記第１の撮像手段を制御して前記新たな被写体を撮像して得た画像が示す被写体が検索対象被写体であるか否かを識別する識別工程、
前記第２の撮像手段で得た前記広範囲画像内の前記検出工程が検出した各被写体が示す領域に、それぞれの被写体に対する前記識別工程の識別結果が判別可能な枠を合成する合成工程、
該合成工程による合成して得た合成後の広範囲画像を前記外部装置に送信する送信工程
を実行させるためのプログラム。
【請求項９】
撮像装置と、当該撮像装置とネットワークを介して接続され、前記撮像装置で撮像して得た画像を受信、表示する端末とを含む撮像システムであって、
前記端末は、
検索対象被写体を識別するための情報を前記撮像装置に送信する手段と、
前記撮像装置から受信した画像を表示する手段とを有し、
前記撮像装置は、
前記端末から受信した前記検索対象被写体を識別するための情報を記憶する記憶手段と、
光軸方向、ズーム倍率が変更可能な第１の撮像手段と、
前記第１の撮像手段が撮像する画角より広い画角を撮像する第２の撮像手段と、
該第２の撮像手段により得た広範囲画像から、被写体を検出する検出手段と、
該検出手段により新たな被写体が検出された場合、前記記憶手段を参照して、前記第１の撮像手段を制御して前記新たな被写体を撮像して得た画像が示す被写体が検索対象被写体であるか否かを識別する識別手段と、
前記第２の撮像手段で得た前記広範囲画像内の前記検出手段が検出した各被写体が示す領域に、それぞれの被写体に対する前記識別手段の識別結果が判別可能な枠を合成する合成手段と、
該合成手段による合成して得た合成後の広範囲画像を前記端末に送信する送信手段と
を有することを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法及びプログラム及び撮像システムに関するものである。
【背景技術】
【０００２】
インターネットやイントラネットの普及、通信速度の高速化によってネットワークを利用した動画像や音声の配信が行われている。また、その技術を利用し、撮影した映像や音声を蓄積サーバに保存し管理を行うネットワークカメラも普及しつつある。
【０００３】
ネットワークカメラの中には、複数の撮像系を並べて各撮像系で作成される画像情報を合成して、３６０°全方位（広範囲）の画像を生成するものがある。また、パンニング（水辺方向）やチルティング（垂直方向）、ズーミングなどの駆動機能を備え、侠角で且つ詳細な画像を撮影するネットワークカメラもある。そして、これら２種類のカメラを一体化させた装置も知られている。
【０００４】
以降、複数の撮像系を並べて、３６０°全方位の撮影を行うカメラを多眼カメラ、パンニングやチルティング、ズーミングなどの駆動機能を備えたカメラをＰＴＺカメラと称する。なお、パンニング、チルティング、ズーミングはそれぞれ単にパン、チルト、ズームと称する。多眼カメラとＰＴＺカメラを一体にした撮像装置では、多眼カメラにて広範囲の撮影を行い、注意すべき領域を発見したらＰＴＺカメラにて詳細を撮影する使用が考えられる。
【０００５】
また、ネットワークカメラでは、撮影している撮影画像をフレーム間で比較して、動きや変化のある領域を検出する動体検出機能や、検出した動きに合わせて被写体が撮影画角の中心となるようカメラを制御する追跡機能などが知られている。
【０００６】
特許文献１では、広範囲を撮影できる広角カメラで動体を検出し、検出した被写体をＰＴＺカメラで追跡する技術を開示している。
【０００７】
また、特許文献２では、視角固定の全周カメラと、視点方向を変更可能な侠各カメラによって撮影を行い、動体を検出したらデータベースから比較して認識作業を行い、一致したら警報を発することが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第５６８７２８９号公報
【特許文献２】特開２００７−３６７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の従来技術では広範囲や全方位の画像内に複数の動体が写っている場合において、注視すべき動体とそうでない動体と同時に識別可能に表示するまでには至っていない。
【００１０】
本発明はかかる問題に鑑みなされたものであり、追跡中の被写体のうち注視すべき被写体を精度よく識別できると共に、注視すべき被写体と非注視の被写体とを判別可能にするための技術を提供する。
【課題を解決するための手段】
【００１１】
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像して得た画像をネットワークを介して外部装置に送信する撮像装置であって、
検索対象被写体を識別するための情報を記憶する記憶手段と、
光軸方向、ズーム倍率が変更可能な第１の撮像手段と、
前記第１の撮像手段が撮像可能な画角より広い画角を撮像する第２の撮像手段と、
該第２の撮像手段により得た広範囲画像から、被写体を検出する検出手段と、
該検出手段により新たな被写体が検出された場合、前記記憶手段を参照して、前記第１の撮像手段を制御して前記新たな被写体を撮像して得た画像が示す被写体が検索対象被写体であるか否かを識別する識別手段と、
前記第２の撮像手段で得た前記広範囲画像内の前記検出手段が検出した各被写体が示す領域に、それぞれの被写体に対する前記識別手段の識別結果が判別可能な枠を合成する合成手段と、
該合成手段による合成して得た合成後の広範囲画像を前記所定の装置に送信する送信手段とを有する。
【発明の効果】
【００１２】
本発明によれば、追跡中の被写体のうち注視すべき被写体を精度よく識別できると共に、注視すべき被写体と非注視の被写体とを判別可能に提示できる。
【図面の簡単な説明】
【００１３】
【図１】実施形態における撮像システムの構成を示す図。
【図２】第１の実施形態における撮像装置のブロック構成図。
【図３】第１の実施形態における端末のブロック構成図。
【図４】第１の実施形態における端末の表示例を示す図。
【図５】第１の実施形態における撮像装置のメイン処理を示すフローチャート。
【図６】第１の実施形態に識別処理を示すフローチャート。
【図７】第１の実施形態における追跡リストの例を示す図。
【図８】第１の実施形態における監視モードにおける端末での表示例を示す図。
【図９】第２の実施形態における課題を説明するための図。
【図１０】第２の実施形態に識別処理を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１５】
＜第１の実施形態＞
本実施形態における撮像システムは、目的とする被写体（例えば迷子）をサーチするシステムとして説明する。ただし、これはあくまで理解を容易にするためであると理解されたい。
【００１６】
図１は、本実施形態における撮像システムの構成を示す図である。本システムは、天井や電柱等に設置される撮像装置１００、撮像装置１００からの映像や各種情報の表示、並びに、撮像装置１００を遠隔操作する端末２００（外部装置）、及び、それらを接続するネットワーク（ＩＰネットワーク網）３００で構成される。なお、図示では撮像装置１００、端末２００をそれぞれ１つを例示しているが、その数に特に制限はない。
【００１７】
撮像装置１００は、全方位に対応する画角の画像を撮影するための多眼カメラと、狭角な画角の画像しか撮影できないが撮像方向や光学ズーム倍率を変更可能で高精細な画像を得ることが可能なＰＴＺカメラを収容する。すなわち、多眼カメラの撮像可能な画角はＰＴＺカメラの撮像可能な画角よりも広い。そして、撮像装置１００は、撮像して得た画像をネットワーク上の端末に送信する機能を有する。端末２００は、ネットワークを介して、撮像装置１００からの映像の受信と表示、並びに、撮像装置１００に対して各種コマンドを発行する機能を有する。
【００１８】
図２は撮像装置１００のブロック構成図である。撮像装置１００は、ＰＴＺカメラ１１０、多眼カメラ１２０、これらの制御と撮像して得た画像を処理する制御部１３０、記憶部１４０、及び、ＩＰネットワーク網３００との間で通信を行う通信部１５０を有する。ＰＴＺカメラ１１０、及び、多眼カメラ１２０の撮像速度は特に問わないが、実施形態では１５フレーム／秒の速度であるものとする。
【００１９】
実施形態における撮像装置１００は、撮像モードとして、リモートコントロールモードと監視モードを有する。撮像モードの切換は、端末２００からの送信されるコマンドに従って行われる。
【００２０】
リモートコントロールモードにて、制御部１３０は、端末２００からの要求コマンドに従って、ＰＴＺカメラ１１０のパン、チルト、及びズーム制御を行い、ＰＴＺカメラ１１０で得た画像を端末２００に送信する。また、このとき、多眼カメラ１２０で得た広範囲画像（後述）も、端末２００に送信する。
【００２１】
一方、監視モードでは、端末２００とは無関係に、制御部１３０が自主的にＰＴＺカメラ１１０のパン、チルト、ズームの制御を行う。そして、制御部１３０は、ＰＴＺカメラ１１０で得た画像、多眼カメラ１２０で得た画像を端末２００に送信する。リモートコントロールモードは、この発明の主眼から外れる。よって以降は、監視モードについて説明する。
【００２２】
記憶部１４０は、例えばフラッシュメモリやハードディスク等の不揮発性メモリである。そして、記憶部１４０には、移動体から「人」を被写体として検出するための「人」のモデル情報と、検索対象となる人物（個人）を識別（同定）するための特徴情報が格納される。検索対象の人物の数に特に制限はない。これらモデル情報、人物の特徴情報は、端末２００から所定の登録コマンドに付随して受信される。そして、この登録コマンドを受信した場合に、付随して受信した情報が記憶部１４０に保存される。なお、人の検出、個人の識別そのものは周知の技術を用いるものとし、ここでの詳述は省略する。
【００２３】
通信部１５０は、ＩＰネットワーク網３００との通信を行うインターフェースである。なお、通信部１５０とＩＰネットワーク網３００との通信は、有線、無線を問わない。
【００２４】
ＰＴＺカメラ１１０は、撮像光学系１１１、撮像素子１１２、画像処理部１１３、及び駆動部１１４を有する。撮像光学系１１１は、ズームレンズやフォーカスレンズ、絞り機構などにより構成される。撮像素子１１２は、ＣＣＤやＣＭＯＳ等の２次元のイメージセンサで構成され、撮像による光電変換し、得られた電気信号を画像処理部１１３に供給する。画像処理部１１３は、撮像部１１２より受信した電気信号をデジタルデータに変換し、デモザイク処理をはじめ、画質を高める処理や、取得した光量を信号レベルとして高めるゲイン処理、更には撮像素子１１２に対して蓄積した電荷をクリアするリセット信号を出力する等の処理を行う。また、画像処理部１１３はシャッタースピード、絞り値、ゲイン処理の設定を変更することで撮像素子に入射される光の量を調整することによって露光制御なども行っている。そして、画像処理部１１３は、それらの処理を行った後の画像データを制御部１３０に供給する。駆動部１１４は、制御部１３０からの制御信号に従い、パン、チルト動作、及びズームレンズの動作を制御するための不図示の各種モータを駆動する。この駆動部１１４による駆動の結果、ＰＴＺカメラ１１０の撮像方向（光軸方向）や光学ズーム倍率を変更できることになる。
【００２５】
多眼カメラ１２０は、広角な画像を取得するための広角レンズなどによって構成される撮像光学系１２１ａ〜１２１ｄ、撮像素子１２２ａ〜１２２ｄ、画像処理部１２３によって構成されている。撮像光学系１２１ａ〜１２１ｄそれぞれの光軸は、例えば９０度異なっている。この結果、撮像素子１２２ａ〜１２２ｄで得た画像は、３６０度の広範囲（又は全方位）を網羅する。画像処理部１２３は、撮像素子１２２ａ〜１２２ｄより映像信号を受信するものの、その処理内容は画像処理部１１３と同様である。なお、図示では多眼カメラ２１０が有する撮像光学系、撮像素子の数を４つの例を示しているが、この数に特に制限はない。
【００２６】
制御部１３０は、駆動制御部１３１、合成部１３２、被写体検出部１３３、識別処理部１３４、枠生成部１３５、符号化部１３６、通信制御部１３７、コマンド解釈部１３８を有する。なお、制御部１３０は、例えばＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、及び、ＣＰＵのワークエリアとして使用されるＲＡＭで構成できる。この場合、符号１３１〜１３８で示す処理部は、プログラムを実行するＣＰＵにより実現する。ただし、いくつかは、専用のハードウェアで実現させても構わない。
【００２７】
駆動制御部１３１は、ＰＴＺカメラ１１０の駆動部１１４へのパン及びチルト動作、並びに、ズーム倍率の制御のための駆動信号の生成処理を行う。駆動部１１４は、この駆動信号に基づき不図示のパン、チルト、ズームレンズを移動させる各種モータの駆動を行うことになる。また、駆動制御部１３１は、ＰＴＺカメラ１１０、多眼カメラ１２０によるフォーカシング、絞り等の制御も行う。
【００２８】
合成部１３２は、多眼カメラ１２０内の撮像素子１２２ａ〜１２２ｄで得た画像を、予め設定された順番に合成して、１枚の広範囲画像（もしくは全方位画像）を生成する。詳細は後述するが、合成部１３２は、枠生成部１３５が生成した枠を、生成した広範囲画像への合成処理も行う。
【００２９】
被写体検出部１３３は、広範囲画像内の移動体の検出、及び、その移動体が記憶部１４０に格納された被写体モデル情報で示される被写体に対応するか否かの判定を行うことで、被写体モデル情報に対応する移動体が検出された場合、広範囲画像内の位置と大きさ（移動体を包含する外接矩形のサイズ）を示す情報を出力する。移動体の検出は、記憶部１４０に予め格納した、移動体が存在しない広角画像と、現在撮像した広角画像との差分を求め、差分が大きい領域を移動体として判定すればよい。また、実施形態の場合、被写体検出部１３３は「人」を検出するものであるので、記憶部１４０には人間を検出するためのモデル情報が格納されていることになる。なお、広範囲画像内に、複数の人物が写っていた場合には、それら複数の人物が検出されることになる。また、人物以外の移動体（例えば人間以外の動物や車両等）は上記の理由で検出対象外となる。
【００３０】
識別処理部１３４は、被写体検出部１３３により新たな被写体が１つ以上検出された場合、その中の１つを選択する。そして、識別処理部１３４は、駆動制御部１３１を制御し、ＰＴＺカメラ１１０の光軸方向を選択被写体に向かわせると共に、ズーム倍率を制御して、選択被写体の精度の高い画像を取得させる。そして、識別処理部１３４は、ＰＴＺカメラ１１０より得た画像から選択被写体の特徴量を抽出し、記憶部１４０に格納された検索対象人物を識別するための特徴量との合致度を求め、選択被写体が検索対象人物であるか否か（探している人物であるか否か）の識別処理を行い、その識別結果を出力する。
【００３１】
枠生成部１３５は、被写体検出部１３３の検出処理結果、及び、識別処理部１３４の識別処理結果に従い、被写体に外接する矩形の枠を生成する。生成する枠の種類は２つである。１つ目は、被写体（人物）であるものの、非検索対象人物であることを示す緑色の枠、２つ目は被写体（人物）であり、且つ、検索対象人物であることを示す赤色の枠である。
【００３２】
合成部１３２は、枠生成部１３５により生成された枠を広範囲画像の該当する被写体を囲むように合成する。
【００３３】
符号化部１３６は、画像処理部１１３から得たＰＴＺカメラ１１０による画像データと、合成部１３２による枠合成処理後の広範囲画像データを符号化し、符号化データを生成する。そして、通信制御部１３７は、符号化部１３６が生成した符号化データを、通信部１５０を介して端末２００に送信する。このとき、通信制御部１３７は、ＰＴＺカメラ１１０から得た画像と、多眼カメラ１２０による広範囲画像とを適当なレイアウトとなるようにして送信するものとする。また、通信制御部１３７は、通信部１５０を介して端末２００からの各種要求コマンドを受信した場合、その要求コマンドをコマンド解釈部１３８に通知する。
【００３４】
コマンド解釈部１３８は、通信制御部１３７より通知された要求コマンドを解析し、その要求コマンドに応じた処理を実行する。例えば、リモートコントロールへの移行コマンドを受信した場合には、そのモードへ移行する。リモートコントロールモードでは、端末からの要求コマンドに応じたパン角、チルト角、並びにズーム倍率に従ってＰＴＺカメラ１１０が制御され、その際に撮像して得られた画像が、広範囲画像と共に端末２００に送信される。一方、監視モードへの移行コマンドが受信された場合、実施形態で説明している監視モードの処理を行うことになる。また、監視モードにおいては、先に説明したように、被写体検出のためのモデル情報や検索対象被写体（人物）の特徴量の、記憶部１４０への登録コマンドがある。
【００３５】
以上、実施形態における撮像装置１００の構成と各処理部を説明した。続いて、端末２００の構成と動作について説明する。
【００３６】
図３は端末２００のブロック構成図である。端末２００は、パーソナルコンピュータに代表される情報処理装置の構成である。端末２００は、装置全体の制御を司るＣＰＵ２０１、ＢＩＯＳやブートプログラムを格納するＲＯＭ２０２、ＯＳ（オペレーティングシステム）やネットワークカメラアプリケーション等を記憶したり、ワークエリアとして機能するＲＡＭ２０３を有する。また、端末２００は、ＯＳ，ネットワークカメラアプリケーション等の記憶保持するＨＤＤ２０４、ＩＰネットワーク網３００と通信するためのネットワークＩ／Ｆ２０５を有する。また、端末２００は、ユーザからの指示入力のためのキーボードやマウス、タッチパネル等で構成される操作部２０６を有する。そして、端末２００は、表示制御部２０７、表示装置２０８、入出力Ｉ／Ｆ２０９を有する。
【００３７】
上記構成において、端末２００の電源がＯＮになると、ＣＰＵ２０１はＲＯＭ２０２に格納されたブートプログラムに従ってＯＳをＨＤＤ２０４からＲＡＭ２０３にロードし実行することで、本装置が情報処理装置として機能する。また、この結果、操作部２０６及び表示装置２０８がユーザインターフェースとして機能する。そして、ユーザは操作部２０６を操作して、カメラアプリケーションプログラムの実行を指示することで、そのカメラアプリケーションがＨＤＤ２０４からＲＡＭ２０３にロード、実行され、端末２００が撮像装置１００で撮像した映像を表示する装置として機能することになる。また、カメラアプリケーションプログラムを実行しているときに、例えば、迷子となった子供の顔が写っている画像（一般にクエリ画像と呼ばれる）を入出力Ｉ／Ｆ２０９より入力した場合には、入力した画像から個人を識別するための特徴量の抽出、及び、その特徴量を撮像装置１００に登録するコマンドと共に送信することになる。
【００３８】
ここで、カメラアプリケーションを実行中の表示装置２０８の表示例を図４に示す。
【００３９】
図示において、参照符号４０１が表示装置の２０８の表示画面を示している。表示画面４０１は、撮像装置１００から受信した広範囲画像を表示する領域４０２、ＰＴＺカメラ１１０より得た画像を表示する領域４０３、及び、ユーザの操作に係るＧＵＩボタンやスライダ等を配置した操作領域４０４で構成される。広範囲画像表示領域４０２における参照符号４０７乃至４１０は、撮像素子１２２ａ乃至１２２ｄで撮像した画像に対応するものである。操作領域４０４内には、監視モード、リモートコントロールモードのいずれかを選択するためのボタンを有する。また、リモートコントロールモードでのパン角、チルト角、ズーム倍率を指定するためのボタンやスライダ、監視モードでの検索対象画像の入力を行うためのボタン等が配置されている。図示の場合、リモートコントロールモードにて、ユーザが操作領域４０４をマウス等を用いて操作して、建築物４０５に向かうように操作し、その結果、表示領域４０３には、その建築物の拡大画像４０６として表示されている様を示している。
【００４０】
次に、実施形態における撮像システムにおける撮像装置１００の処理を図５に示すフローチャートに従って説明する。また、本実施形態における撮像装置１００は、監視モードがデフォルトの撮像モードとなっているものとして説明する。
【００４１】
本装置の電源がＯＮになると、制御部１３０は、各種初期化を行い、ステップＳ１０１にて、端末２００から何らかのコマンドを受信したか否かを判定する。コマンドを受信した場合、制御部１３０は、処理をステップＳ１０２に進め、対応する処理を実行する。例えば、検索対象の特徴量の登録コマンドであれば、制御部１３０は、その特徴量を記憶部１４０に登録する。また、リモートコントロールモードへの移行を要求するコマンドである場合、制御部１３０はリモートコントロールモードへの移行処理を行う。
【００４２】
さて、監視モード中にて、要求コマンドの受信していないと判断した場合、制御部１３０は処理をステップＳ１０３に進める。このステップＳ１０３にて、制御部１３０は、多眼カメラ１２０から得た複数（実施形態では４つ）の撮像画像の合成処理を行い、１枚の広範囲画像を生成する。そして、制御部１３０は、ステップＳ１０４にて、広範囲画像内における人物検出処理を行う。人物検出は、ステップＳ１０３で生成した広範囲画像と、予め人物が存在しない広範囲画像との比較により移動体（複数存在し得る）を求め、移動体から、人を表すモデル情報に一致する移動体を人物として決定する。そして、制御部１３０は、ステップＳ１０５にて、それ以前に検出された人物に対し、新たな人物が検出されたか否かを判定する。新たな人物が検出された場合、ステップＳ１０６にて、制御部１３０は、その人物に関する情報を追跡リストに登録する。
【００４３】
図７に追跡リストを示す。この追跡リストは記憶部１４０に確保されるものである。第１フィールドには、撮像装置１００にて、各被写体を管理するためのＩＤが格納される。第２フィールドには、広範囲画像における、被写体の外接矩形の左上隅の座標が格納される。第３フィールドには、その外接矩形のサイズ（水平、垂直方向の長さ）が格納される。なお、第３フィールドには、外接矩形の右下隅の座標を格納しても構わない。左上隅、右下隅の座標から外接矩形のサイズが算出できるからである。第４フィールドには、被写体を囲む枠の色が格納される。「緑」は非検索対象被写体であることを示し、「赤」は検索対象被写体（注視対象）であることを示す。なお、色はこれに限らず、他の色であっても構わない。また、ユーザが目視で判別可能な表示形態であれば良いので、一方を実線、他方を破線としたり、枠の線分が太い／細い、或いは、枠を点滅する／しないで区別できるようにしても構わない。第５フィールドは、その被写体に対する個人識別処理が完了したか否かを示す情報が格納される。「済」はその被写体の個人識別が完了しかことを、「未」は個人識別処理が未だ実行されていないことを示す。
【００４４】
従って、ステップＳ１０６にて追跡リストに新たな追加した直後の被写体は、その人物が検索対象の人物であるか否かは未定であるため枠色は「緑」となり、且つ、個人識別も行っていないので「未」として登録されることになる。図示のＩＤ“Ｐ０００３”がまさにこの状態を示している。
【００４５】
なお、詳細は後述するが、追跡リストを監視し、識別処理が「未」となっている被写体に対する、図６に示す識別処理（識別処理部１３４の処理）が、図５に示すメイン処理と並列に実行されている。ここでは図５の処理の説明を続ける。
【００４６】
ステップＳ１０８にて、制御部１３０は追跡リストにおける枠位置やサイズの更新処理を行う。実施形態では、１５フレーム／秒の時間間隔で撮像処理を行うものとしている。故に、現フレームと直前のフレームとの間には１／１５秒の時間間隔しか無く、その間に移動できる距離も十分に小さいと言える。そこで、直前のフレームにおける追跡リストにおける、追跡対象の被写体の位置に最も近い、現在のフレームにおける被写体が同一であるものと見なし、制御部１３０は、現在の広角画像内の追跡対象に被写体の位置、サイズで該当するフィールドを更新する。なお、過去の移動速度に基づき、現在の位置を推定した上で、追跡リストを更新しても構わない。また、追跡対象の被写体が広角画像内に存在しなくなった場合（例えば建物内に入った場合等）、制御部１３０は、該当するデータを追跡リストから削除する。
【００４７】
ステップＳ１０９にて、制御部１３０は、更新後の追跡リストに基づき、広範囲画像と被写体を囲む枠（赤、緑の枠のいずれか）を合成する。そして、ステップＳ１１０にて、制御部１３０は、枠合成後の広範囲画像と、ＰＴＺカメラ１１０で得た画像との符号化を行う。そして、ステップＳ１１１にて、制御部１３０は、符号化して得た符号化データを、適当なレイアウトになるようにして、端末２００に向けて送信する。そして、制御部１３０は、処理をステップＳ１０１に戻し、次のフレームに対する処理を継続する。
【００４８】
次に、追跡リストの監視と人物の識別処理（識別処理部１３４）を図６のフローチャートに従って説明する。先に説明したように、この処理は、図５の処理と並列に実行されるものである。
【００４９】
ステップＳ２０１にて、制御部１３０は、新たな被写体が追跡リストに登録されるのを待つ。これは、追跡リストの第５フィールドが「未」となっている被写体があるか否かに基づいて判定すればよい。
【００５０】
新被写体が登録されたと判断した場合、制御部１３０は、ステップＳ２０２にて、着目被写体の座標位置とサイズから、ＰＴＺカメラ１１０をいずれの方向に、いずれの倍率で撮像すべきかを算出する。そして、ステップＳ２０３にて、制御部１３０は、算出した値に基づき、駆動制御部１３１を制御し、ＰＴＺカメラ１１０の光軸（パン、チルト）とズーム倍率を変更する。そして、目的とする光軸、倍率になると、ステップＳ２０４にて、制御部１３０はＰＴＺカメラ１１０からの画像データから、着目被写体を識別するための特徴量を抽出する。ＰＴＺカメラ１１０は光学ズームであるので、この結果、高精細で個人識別に適した画像が得られることになる。そして、ステップＳ２０５にて、制御部１３０は、抽出した特徴量との一致度が閾値を超える特徴量（１つとは限らない）が記憶部１４０に登録（記憶）されているのか否かを判定する。登録されている場合、着目被写体の人物が検索対象人物であることになる。それ故、制御部１３０はステップＳ２０７にて、追跡リスト内の着目被写体の第４フィールドの枠の色を「緑」から「赤」に変更する。そして、着目被写体が識別できたか否かを問わず、ステップＳ２０８にて、制御部１３０は、着目被写体の第５フィールドを「未」から「済」に変更する。そして、制御部１３０は処理をステップＳ２０１に戻す。
【００５１】
ここで、端末２００にて、ネットワークカメラアプリケーションを実行中の表示装置２０８の表示例を図８に示す。同図は、撮像装置１００の撮像モードが監視モードの場合の表示例である。
【００５２】
領域４０２には、図４と同様、広範囲画像が表示される。ここで、監視モードでは、「人」としての被写体が検出されると、その被写体を表す領域に外接する枠５０１乃至５０６が表示されるので、端末２００のユーザはこれらの枠５０１〜５０６が追跡中であることを知ることができる。そして、例えば、枠５０４の被写体について、撮像装置１００が識別処理している場合には、その枠５０４が示す被写体の人物の高精細な画像が領域４０３に表示される。そして、仮に、この領域４０３が、検索対象の人物（検索対象被写体）であった場合、枠５０４の色は緑から赤に変更されて表示され、検索対象人物の発見と、その場所を端末のユーザに知らせることが可能となる。
【００５３】
以上であるが、上記実施形態では、枠の色として緑、赤の２種類としたが、例えば検索対象と判定された被写体、検索対象ではない判定された被写体に加えて、識別処理が実行されていない被写体とを区別するために３種類の色を用いて、それらを区別可能に表示しても良い。
【００５４】
また、実施形態では、検索対象被写体が見つかった場合に赤色の枠で表示するものとしたが、例えば、撮像装置１００に検索対象人物の特徴量を登録する際に、人物名等の適当な文字列も送信することで、枠の近傍にその文字列を表示するようにしても良い。
【００５５】
また、実施形態では、検出した被写体を示す枠を被写体画像を示す領域の外接矩形としたが、被写体の存在を明示すればよいので、枠のサイズに特に制限はない。
【００５６】
＜第２の実施形態＞
上記第１の実施形態によれば、広範囲画像内に新たに人が写ると、その人が検索対象人物であるか否かを識別するため、ＰＴＺカメラ１１０の光軸の方向、ズーム倍率を制御して、その人の高精細な画像を撮像した。つまり、新たに人物が発見されてから、識別処理に利用するための画像をＰＴＺカメラ１１０で得るまでには、光軸やズーム倍率の変更が完了するまで無視できない時間を必要とする。
【００５７】
そこで、本第２の実施形態では、この時間を短縮するため、広範囲画像内に写っている被写体の領域を電子的に拡大（いわゆる電子ズームに相当）し、識別処理を行う例を説明する。なお、電子ズーム処理は、識別処理部１３４の処理の一部として実行されるものとする。また、装置構成は、第１の実施形態と同じであるものとし、その説明は省略する。
【００５８】
ここで、本第２の実施形態で注意したい点を図９を参照して説明する。同図は、第１の実施形態にける図８に対するものです。今、識別対象となる被写体が広範囲画像における参照符号５０４であったとする。電子ズームでは、光学ズームと違って、撮像して得た画像の画素間に、算術して得た補間画素を追加していくので、領域４０３に示すように、識別処理に適したサイズはなるものの、その画像がボケ易い。ボケの程度が高いほど撮像装置１００における個人の識別が難しくなり、尚且つ、端末２００の表示装置２０８にも不鮮明な画像が表示され、ユーザに違和感を与えることになる。
【００５９】
そこで、本第２の実施形態では、識別処理が可能となるサイズまで電子ズームを行うときの電子ズームの拡大率と、予め設定された閾値（許容できる識別結果を得ると期待できる閾値であり、光学系や撮像素子に依存する）とを比較する。そして、電子ズームの拡大率が、閾値以下の場合には、広範囲画像内の被写体が示す領域の画像データをそのズーム倍率で拡大し、識別処理を行う。また、電子ズームの拡大率が、閾値を超える場合には、第１の実施形態と同様にＰＴＺカメラ１１０の光軸、光学ズームの制御を行い、識別するものとした。
【００６０】
撮像装置１００の制御部１３０が実行するメイン処理（図５）は、第１の実施形態と同じである。異なるのは、識別処理部１３４の追跡リストへの新たな被写体の追加の監視と識別処理である。図１０は、本第２の実施形態における、追跡リストへの新たな被写体の追加の監視と識別処理を示すフローチャートである。図１０と第１の実施形態における図６との違いは、図１０にステップＳ３０１〜Ｓ３０３が追加された点であり、それ以外は、図６と同じであるため、図６と参照符号を付した。よって以下では、異なる点について説明する。
【００６１】
追跡リストに新たな被写体が追加された場合、制御部１３０はステップＳ３０１にて、追加された被写体（着目被写体）のサイズ（外接矩形のサイズ）から、個人識別処理のための特徴情報を抽出処理に渡すべきサイズとするために、電子ズームの拡大率を何倍にする必要があるかを算出する。そして、制御部１３０は、ステップＳ３０２にて、算出した電子ズームの倍率と、予め設定された閾値Ｔｈとを比較する。電子ズームの倍率が閾値Ｔｈ以下であった場合、十分な精度の識別が期待できると判定し、制御部１３０はステップＳ３０３に進め、広範囲画像の該当する被写体の領域内の画像を抜き出して、拡大処理を行う。そして、その拡大処理後の画像データから、特徴量の抽出処理を行うべく、処理をステップＳ２０４に進める。
【００６２】
また、ステップＳ３０２にて、制御部１３０は、算出した電子ズームの倍率が閾値Ｔｈを超えると判定した場合、第１の実施形態と同様、着目被写体についてはＰＴＺカメラ１１０による撮像を行うべく、処理をステップＳ２０２に進める。
【００６３】
なお、上記のステップＳ３０２で判定する電子ズームの倍率は、広範囲画像内の着目被写体が存在する領域のサイズによって決まる。よって着目被写体のサイズと、識別処理に適した下限サイズを示す閾値とを比較し、その比較結果にとって処理の分岐先を決定しても良い。すなわち、着目被写体のサイズがその閾値以上の場合には、制御部１３０は処理をステップＳ３０３に進め、閾値未満の場合はステップＳ２０２に処理を進めるようにしてもよい。
【００６４】
以上説明したように本第２の実施形態によれば、広範囲画像内の被写体が十分なサイズであれば、ＰＴＺカメラ１１０による再度の撮像を行うことなく、識別処理を実行できるので、識別処理結果が反映されるまでの時間の短縮が期待できる。
【００６５】
また、上記実施形態によれば、監視モードでの端末２００に表示される広範囲画像に対する枠の合成処理、並びに、人物の検索処理は撮像装置１００にて行われるので、端末２００の負担は少なくできる。
【００６６】
また、上記実施形態では、撮像装置１００には、ＰＴＺカメラを１つ有するものとして説明した。しかし、撮像装置１００にＰＴＺカメラを２台搭載しても構わない。１つ目のＰＴＺカメラはリモートコントロール用とし、もう１つを被写体の特徴量抽出用として用いる。このようにすれば、リモートコントロールモード、監視モードを切り替える必要がなくなり、常時、これら２つのモードが同時に実現できる。
【００６７】
（その他の実施例）
上記実施形態では、広範囲画像を複数のカメラで得た撮像画像を接続することで生成したが、例えば魚眼レンズを光学系として有する１つのカメラで実現させても構わないので、必ずしも多眼である必要はない。
【００６８】
また、上記実施形態では、追跡リストに登録（記憶）した被写体に対して１回だけ識別処理を行った。誤識別の可能性はあるので、個々の被写体に対し、前回の識別処理を行ってから予め設定された時間が経過した場合に、再度識別処理を行うようにしても良い。
【００６９】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７０】
１００…撮像装置、２００…端末、３００…ＩＰネットワーク網、１１０…ＰＴＺカメラ、１２０…多眼カメラ、１３０…制御部、１４０…記憶部、１５０…通信部、１３１…駆動制御部、１３２…合成部、１３３…被写体検出部、１３４…識別処理部、１３５…枠生成部、１３６…符号化部、１３７…通信制御部、１３８…コマンド解釈部
【図１】
2019186727.tif 000003
【図２】
2019186727.tif 000004
【図３】
2019186727.tif 000005
【図４】
2019186727.tif 000006
【図５】
2019186727.tif 000007
【図６】
2019186727.tif 000008
【図７】
2019186727.tif 000009
【図８】
2019186727.tif 000010
【図９】
2019186727.tif 000011
【図１０】
2019186727.tif 000012