(57)【要約】【課題】比較的広範囲な対象領域における人数を効率的に検出する技術を提供する。【解決手段】監視システムであって、第１の領域と第２の領域とを含む監視領域を撮影した画像データを生成する撮影部と、前記画像データにおいて、前記第２の領域における被写体を検出し、検出された被写体の数を計数する処理手段とを備え、前記第１の領域は複数の建物が配置された領域であって、前記撮影部は、前記複数の建物の少なくとも一部よりも高い位置から前記監視領域を撮影する。【選択図】  図１
2019176306.tif 000002
【特許請求の範囲】
【請求項１】
監視システムであって、
第１の領域と第２の領域とを含む監視領域を撮影した画像データを生成する撮影部と、
前記画像データにおいて、前記第２の領域における被写体を検出し、検出された被写体の数を計数する処理手段と
を備え、
前記第１の領域は複数の建物が配置された領域であって、
前記撮影部は、前記複数の建物の少なくとも一部よりも高い位置から前記監視領域を撮影する
ことを特徴とする監視システム。
【請求項２】
前記第２の領域において計数された被写体の数が、前記第２の領域について設定された閾値を超えた場合に通知を出力する出力手段をさらに備えることを特徴とする請求項１に記載の監視システム。
【請求項３】
前記通知は、前記画像データにおける前記第２の領域の拡大画像を含むことを特徴とする請求項２に記載の監視システム。
【請求項４】
前記拡大画像に含まれる被写体と、前記拡大画像に含まれる建物の少なくとも一部の領域との少なくともいずれかがマスクされることを特徴とする請求項３に記載の監視システム。
【請求項５】
前記拡大画像の拡大率が所定値を超える場合に前記マスクがなされることを特徴とする請求項４に記載の監視システム。
【請求項６】
前記拡大画像に表示される前記被写体の大きさが、所定の大きさを超える場合に前記マスクがなされることを特徴とする請求項４に記載の監視システム。
【請求項７】
前記処理手段は、前記第１の領域において前記被写体の検出を行わず、
前記第１の領域と前記第２の領域との境界付近で前記第２の領域に存在する被写体が検出可能となるように、前記第２の領域は前記第１の領域に含まれる建物の少なくとも一部を包むように設定されることを特徴とする請求項１から６のいずれか１項に記載の監視システム。
【請求項８】
前記第１の領域と前記第２の領域とを設定する設定手段をさらに備え、
前記設定手段は、前記監視領域を撮影した画像データを利用して受け付けた前記第２の領域の指定に基づいて、前記第１の領域と前記第２の領域とを設定することを特徴とする請求項１から７のいずれか１項に記載の監視システム。
【請求項９】
前記第１の領域と前記第２の領域とを設定する設定手段をさらに備え、
前記設定手段は、前記監視領域を撮影した画像データから前記第１の領域を抽出し、前記第１の領域以外の領域を分割することにより前記第１の領域と前記第２の領域とを設定することを特徴とする請求項１から７のいずれか１項に記載の監視システム。
【請求項１０】
前記第１の領域と前記第２の領域とを設定する設定手段をさらに備え、
前記設定手段は、前記監視領域の地図上で前記第１の領域及び前記第２の領域の位置を特定し、当該地図上で特定された位置を、前記監視領域を撮影した画像データ上の位置に変換することにより、前記第１の領域と前記第２の領域とを設定することを特徴とする請求項１から７のいずれか１項に記載の監視システム。
【請求項１１】
前記撮影部は、画角を固定し、前記画角に前記監視領域の全体を含むようにして撮影を行うことを特徴とする請求項１から１０のいずれか１項に記載の監視システム。
【請求項１２】
前記撮影部は、パン、チルト、ズームの制御により前記監視領域の少なくとも一部を撮影した撮影領域の異なる複数の画像データを生成し、前記複数の画像データのそれぞれに対応する前記撮影領域により前記第２の領域のすべてが網羅されることを特徴とする請求項１から１０のいずれか１項に記載の監視システム。
【請求項１３】
前記撮影により生成される前記画像データの画角は、前記監視領域における単位長さ当たりに割り当てる画素の数が所定の範囲に収まるように設定されることを特徴とする請求項１１または１２に記載の監視システム。
【請求項１４】
前記単位長さは１メートルであり、前記所定の範囲は１０画素から１５０画素の範囲であることを特徴とする請求項１３に記載の監視システム。
【請求項１５】
監視システムの制御方法であって、
撮影部が、第１の領域と第２の領域とを含む監視領域を撮影した画像データを生成する撮影工程と、
処理手段が、前記画像データにおいて、前記第２の領域における被写体を検出し、検出された被写体の数を計数する処理工程と
を含み、
前記第１の領域は複数の建物が配置された領域であって、
前記撮影工程では、前記複数の建物の少なくとも一部よりも高い位置から前記監視領域を撮影することを特徴とする監視システムの制御方法。
【請求項１６】
出力手段が、前記第２の領域において計数された被写体の数が、前記第２の領域について設定された閾値を超えた場合に通知を出力する出力工程をさらに含むことを特徴とする請求項１５に記載の監視システムの制御方法。
【請求項１７】
前記通知は、前記画像データにおける前記第２の領域の拡大画像を含むことを特徴とする請求項１６に記載の監視システムの制御方法。
【請求項１８】
前記拡大画像に含まれる被写体と、前記拡大画像に含まれる建物の少なくとも一部の領域との少なくともいずれかがマスクされることを特徴とする請求項１７に記載の監視システムの制御方法。
【請求項１９】
前記拡大画像の拡大率が所定値を超える場合に前記マスクがなされることを特徴とする請求項１８に記載の監視システムの制御方法。
【請求項２０】
前記拡大画像に表示される前記被写体の大きさが、所定の大きさを超える場合に前記マスクがなされることを特徴とする請求項１８に記載の監視システムの制御方法。
【請求項２１】
前記処理工程では、前記第１の領域において前記被写体の検出を行わず、
前記第１の領域と前記第２の領域との境界付近で前記第２の領域に存在する被写体が検出可能となるように、前記第２の領域は前記第１の領域に含まれる建物の少なくとも一部を包むように設定されることを特徴とする請求項１５から２０のいずれか１項に記載の監視システムの制御方法。
【請求項２２】
設定手段が、前記第１の領域と前記第２の領域とを設定する設定工程をさらに含み、
前記設定工程では、前記監視領域を撮影した画像データを利用して受け付けた前記第２の領域の指定に基づいて、前記第１の領域と前記第２の領域とが設定されることを特徴とする請求項１５から２１のいずれか１項に記載の監視システムの制御方法。
【請求項２３】
設定手段が、前記第１の領域と前記第２の領域とを設定する設定工程をさらに含み、
前記設定工程では、前記監視領域を撮影した画像データから前記第１の領域を抽出し、前記第１の領域以外の領域を分割することにより前記第１の領域と前記第２の領域とが設定されることを特徴とする請求項１５から２１のいずれか１項に記載の監視システムの制御方法。
【請求項２４】
設定手段が、前記第１の領域と前記第２の領域とを設定する設定工程をさらに含み、
前記設定工程では、前記監視領域の地図上で前記第１の領域及び前記第２の領域の位置を特定し、当該地図上で特定された位置を、前記監視領域を撮影した画像データ上の位置に変換することにより、前記第１の領域と前記第２の領域とが設定されることをと特徴とする請求項１５から２１のいずれか１項に記載の監視システムの制御方法。
【請求項２５】
前記撮影工程では、画角を固定し、前記画角に前記監視領域の全体を含むようにして撮影を行うことを特徴とする請求項１５から２４のいずれか１項に記載の監視システムの制御方法。
【請求項２６】
前記撮影工程では、パン、チルト、ズームの制御により前記監視領域の少なくとも一部を撮影した撮影領域の異なる複数の画像データを生成し、前記複数の画像データのそれぞれに対応する前記撮影領域により前記第２の領域のすべてが網羅されることを特徴とする請求項１５から２４のいずれか１項に記載の監視システムの制御方法。
【請求項２７】
前記撮影により生成される前記画像データの画角は、前記監視領域における単位長さ当たりに割り当てる画素の数が所定の範囲に収まるように設定されることを特徴とする請求項２５または２６に記載の監視システムの制御方法。
【請求項２８】
前記単位長さは１メートルであり、前記所定の範囲は１０画素から１５０画素の範囲であることを特徴とする請求項２７に記載の監視システムの制御方法。
【請求項２９】
コンピュータを請求項１から１４にいずれか１項に記載の監視システムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システム、監視システムの制御方法及びプログラムに関する。
【背景技術】
【０００２】
市街地監視では、道路や広場の監視をするために、市街地の各所にカメラを複数設置して、監視員が複数のカメラの監視映像を切り替えたり、多数の小さな画面をモニターに表示したりして監視していた。しかし、監視員の目視による監視では見逃しも多く、高い監視精度を維持することも困難であった。そこで、カメラ映像を画像解析して監視を行う技術が提案されている。
【０００３】
特許文献１の提案技術によれば、映像情報に含まれる対象物、大きさ、移動速度、移動加速度、動作パターン、その他の状態について、既存映像データとのパターンマッチング等の異常検知アルゴリズムを使用して異常検知処理を行う。当該処理の結果として、複数映像を同時に表示する監視ビューの中から、第２の監視ビューに表示させる映像を選択することができる。
【０００４】
また、特許文献２の提案技術によれば、同一監視カメラ出力について移動量を検出し、検出移動量が一定値を超えないと判断された場合、複数の監視カメラの切り替えの順番から外すことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０４２７４号公報
【特許文献２】特開平５−３５９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記提案技術では、特定の画角の複数台のカメラを用意し、カメラ毎の映像を解析する必要があるため、市街地のような広範囲の領域を監視する場合には数多くのカメラを用意するとともに、それらでの撮影画像を個別に処理可能とするための高い演算性能が要求されることになる。また特に、通常の監視用途における画角では、比較的広範囲な対象領域における被写体数を検出することが困難であった。
【０００７】
そこで、本発明は、比較的広範囲な対象領域における被写体数を効率的に検出する技術を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するための本発明は、監視システムであって、
第１の領域と第２の領域とを含む監視領域を撮影した画像データを生成する撮影部と、
前記画像データにおいて、前記第２の領域における被写体を検出し、検出された被写体の数を計数する処理手段とを備え、
前記第１の領域は複数の建物が配置された領域であって、
前記撮影部は、前記複数の建物の少なくとも一部よりも高い位置から前記監視領域を撮影する
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、比較的広範囲な対象領域における被写体数を効率的に検出することができる。
【図面の簡単な説明】
【００１０】
【図１】発明の実施形態に対応する監視システム１０の構成の一例を示す図。
【図２】発明の実施形態に対応する情報処理装置１３０のハードウェア構成の一例を示す図、及び、発明の実施形態に対応する監視システム１０の設置の一例を示す図。
【図３】発明の実施形態に対応する領域設定に関する処理の一例を説明するための図。
【図４】発明の実施形態に対応する領域設定処理の一例を示すフローチャート。
【図５】発明の実施形態に対応する検出対象領域の設定方法を説明するための図。
【図６】発明の実施形態に対応する解析処理の一例を示すフローチャート。
【図７】発明の実施形態に対応する拡大画像のマスク処理を説明するための図。
【図８】発明の実施形態に対応する領域設定に関する処理の他の例を説明するための図。
【図９】発明の実施形態に対応する監視システム９０の構成の一例を示す図。
【発明を実施するための形態】
【００１１】
以下に、発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。以下の実施形態の説明においては、発明の実施形態に係る監視システムを市街地における人物監視に用いる場合を説明するが、本監視システムを適用する対象は市街地に限定されるものではなく、広域の監視対象に対して適用可能である。
【００１２】
［実施形態１］
図１は実施形態１における監視システム１０の構成の一例を示す図である。図１において、監視システム１０は、撮影装置１００、画像サーバ１２０、情報処理装置１３０、及び、表示装置１４０がネットワーク１５０を介して相互に接続されて構成されている。図１に示した監視システム１０の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。
【００１３】
撮影装置１００は、撮像部１０１、制御部１０２、及び通信部１０３を有することができる。撮像部１０１は、光学系、撮像センサ、現像処理部、符号化部等を含むことができ、光学系は、撮像センサに到達する被写体像の倍率やピント位置、あるいは光量を調整している。光学系は、レンズを移動させるためのモータ等の所定の駆動機構を含み、当該駆動機構は制御部１０２からの指示に応じて動作が制御される。撮像センサは、撮像面に結像された光像を光電変換して得られたアナログ画像信号をデジタル画像信号に変換して出力するようにＡ／Ｄ変換器を含んで構成することができる。現像処理部は、撮像センサから出力されたデジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理を実施することができる。符号化部では、現像処理部が出力したデジタル画像信号を圧縮・符号化して、画像データを生成する。画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。
【００１４】
撮像部１０１では、例えば、１秒間に３０フレーム分の画像を取得して、３０ｆｐｓの動画像（ライブ映像）を取得することが可能である。以降の説明において、「ライブ映像」あるいは「画像データ」は、撮像部１０１によって生成されたデジタル画像データを指すものとして説明する。
【００１５】
制御部１０２は、撮影装置１００の画角や撮影方向、フレームレート、取得する画像の種類等の撮影条件を調整する。撮影条件の調整は、ユーザからの指示に応じて実行することもできるし、撮影装置１００に予め記憶された設定値に応じて行うこともできる。ユーザから指示を行う場合は、ネットワーク１５０を介して情報処理装置１３０や表示装置１４０から行なってもよいし、直接、撮影装置１００に接続されたコンソール端末を介して行ってもよい。また、制御部１０２は、情報処理装置１３０や表示装置１４０から送信される命令に応じて、撮影開始／終了など撮像部１０１の制御を行う。
【００１６】
通信部１０３は、撮像部１０１が撮影により生成した画像データをネットワーク１５０経由で、画像サーバ１２０、情報処理装置１３０、表示装置１４０に送信するための通信インタフェースである。通信部１０３は、例えば、NFSやCIFSなどのネットワークファイルシステム、または、UDPやTCPなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。また、通信部１０３は、情報処理装置１３０や表示装置１４０から撮影装置１００を制御するための設定情報や命令を受信し、制御部１０２に供給する。制御部１０２は、その設定情報や命令に従って撮影装置１００の動作を制御する。
【００１７】
画像サーバ１２０は、撮影装置１００で生成した画像データを記録・管理する。画像サーバ１２０は、情報処理装置１３０や表示装置１４０からの設定や要求に応じて画像データを記録・編集したり、記録している画像データを各装置に供給したりすることができる。情報処理装置１３０は、撮影装置１００が撮影する画像データ、あるいは、画像サーバ１２０から提供された画像データを解析し、解析結果に基づく通知を出力する。出力は情報処理装置１３０の有する表示装置や音声出力装置により行うことができるし、また、外部の表示装置１４０において行ってもよい。
【００１８】
表示装置１４０は、撮影装置１００が撮影する画像を表示するとともに、情報処理装置１３０から受信した通知を出力することができる。また、撮影装置１００で撮影する撮影条件を指示するためのユーザーインタフェースを提供したり、画像サーバの設定を行ったり、配信された映像を表示することもできる。
【００１９】
ネットワーク１５０は、ＬＡＮやインターネット等のＩＰベースの通信が可能な通信回線である。ネットワーク１５０は、有線／無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。撮影装置１００は、指定された撮影条件に従ってライブ映像を撮影し、得られた画像データをネットワーク１５０経由で各装置に配信することができる。
【００２０】
情報処理装置１３０は、記憶部１３１、設定部１３２、画像処理部１３３、表示部１３４、操作部１３５及び通信部１３６を含むように構成することができる。
【００２１】
記憶部１３１は、撮影装置１００による監視対象の所定の領域において、被写体の存在を検出し検出された被写体数の計数を行うべき検出対象領域の設定情報を記憶する。当該設定情報には、検出対象領域を監視領域を撮影した画像データ上で特定するための位置情報（座標情報）、検出された被写体数に基づき解析結果を通知するか否かを判定するための閾値、検出対象領域の種別、等を示す情報が含まれる。設定部１３２は、監視領域において検出対象領域を設定するための設定処理を行う。設定部１３２による設定情報は記憶部１３１に記憶される。
【００２２】
画像処理部１３３は、設定部１３２により設定された設定情報に基づき、撮影装置１００または画像サーバ１２０から提供された画像データの解析処理を行うとともに、解析結果を出力する。当該解析処理には、例えば、撮影装置１００や画像サーバ１２０から取得した画像データから、所定の領域内に存在する被写体（例えば、人物）を検出し、検出された被写体数を計数することが含まれる。また、設定部１３２により設定された領域毎の閾値情報に基づき、被写体数が閾値を超えるか否かを判定し、閾値を超える場合にはその旨の通知を表示部１３４や表示装置１４０を介して出力することができる。通知出力は、画像以外にも音声等を利用して行ってもよい。
【００２３】
また、画像処理部１３３は、撮影装置１００や画像サーバ１２０から取得した画像データや、各種の設定画面を表示部１３４に表示する制御を行うとともに、取得した画像データを記憶部１３１に格納することができる。また、複数の撮影装置１００や画像サーバ１２０から送信される画像データを所定間隔で順次切り換える制御を行うことができる。その際に、画像解析を行うために圧縮された画像データをデコードすることもできる。また、検出・検知タイミングに合わせて、画像取得タイミングを制御することができる。
【００２４】
表示部１３４は、撮影装置１００や画像サーバ１２０から取得した画像データを表示する他、設定情報を設定するための設定画面、通知出力のための画面表示を行うことができる。操作部１３５は、情報処理装置１３０の操作者からの操作を受け付けることができる。具体的に、撮影装置１００や、情報処理装置１３０の設定を変更するための操作を受け付けることができ、キーボード、マウス、各種操作ボタン、タッチパネル等を含むことができる。撮影装置１００がネットワーク１５０に複数台接続されている場合や、画像サーバ１２０が接続されている場合、操作部１３５により、１つの画面で複数台分の画像データを表示部１３４に表示するための指示入力を行うことができる。また、画面上で１つの画像データを選択して、その画像データを表示部１３４に表示するための指示入力を行うこともできる。
【００２５】
通信部１３６は、撮影装置１００や画像サーバ１２０から送信される画像データを受信する。また、通信部１３６は、情報処理装置１３０のユーザが表示部１３４や操作部１３５を使用して設定した設定情報や制御情報、配信命令を撮影装置１００に送信することができる。また、情報処理装置１３０で画像データを解析処理した結果（上記通知を含む）をネットワーク１５０に接続された表示装置１４０に出力することができる。
【００２６】
本実施形態では１台の撮影装置１００を利用する場合を説明するが、図１に示す監視システム１０構成において、撮影装置１００の台数は１台以上の任意の数とすることができ、台数に限定はない。画像サーバ１２０、情報処理装置１３０、及び表示装置１４０は、単一の装置により実現される場合だけでなく、それぞれ複数の装置が協働して各機能を実現してもよい。また、図１では、画像サーバ１２０と情報処理装置１３０とを独立の構成として示したが、情報処理装置１３０が画像サーバ１２０の機能もあわせて実現しても良い。また、撮影装置１００と情報処理装置１３０とをネットワーク１５０を介して接続する場合を説明したが、撮影部と情報処理部として構成し、１つのシステムとして実現してもよい。
【００２７】
次に、本実施形態に対応する監視システム１０を構成する情報処理装置１３０の概略構成を説明する。図２（Ａ）は、情報処理装置１３０のハードウェア構成の一例を示すブロック図である。上述した画像サーバ１２０、表示装置１４０も、同様或いは同等のハードウェア構成として構成しても良い。
【００２８】
図２（Ａ）において、ＣＰＵ２００は、ハードディスク装置（以下、ＨＤと呼ぶ）２０５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ２０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、撮影装置１００から提供され、ＲＡＭ２０２に記憶された検出人物情報、及び、画像サーバ１２０から取得した情報に基づき本実施形態に対応する処理を実行する。さらには、インタフェース（Ｉ／Ｆ）２０８を介した外部の表示装置１４０とのデータ送受信を制御する。なお、後述する図４及び図６における処理もＣＰＵ２００が対応する処理プログラムを実行することにより装置全体を制御して実現される。ＲＯＭ２０１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２０２は各種データを一時記憶し、ＣＰＵ２００の主メモリ、ワーク領域等として機能する。また、撮影装置１００や画像サーバ１２０から受信した情報を一時的に記憶する。
【００２９】
外部記憶ドライブ２０３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２０４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア２０４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。
【００３０】
外部記憶装置２０５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２０５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。
【００３１】
指示入力装置２０６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置２０７は、指示入力装置２０６から入力されたコマンドや、それに対する情報処理装置１３０の応答出力等を出力する。出力装置２０７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス２０９は、情報処理装置１３０内のデータの流れを司る。
【００３２】
インタフェース（以下、Ｉ／Ｆという）２０８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２０８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００３３】
本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ２０５からＲＡＭ２０２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ２０１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ２００で実行することも可能である。さらに、メディア２０４から対応プログラム及び関連データを直接ＲＡＭ２０２にロードして実行させることもできる。
【００３４】
本実施形態の監視システムは、図２（Ｂ）に示すような監視領域（監視対象区域）に対して適用することができる。監視領域は、例えば、複数の住居やビル等が立ち並んでいる市街地とすることができる。本実施形態では、このような市街地を広範囲に撮影するため高い位置から俯瞰して撮影を行う。そこで、図２では、監視領域２２０を俯瞰することのできる高層建築物２１１の屋上に撮影装置１００を設置する場合を一例として示している。このように俯瞰で撮影することにより、市街地の広範囲を撮影領域に含めることが可能となる。撮影装置１００の設置位置については、本実施形態では高層建築物上に設置する場合を説明するが、高所で、かつ、市街地を俯瞰した撮影が可能であれば高層建築物に限らず、丘や山などでも構わない。監視領域２２０に設置されている少なくとも一部の建物よりも高い場所から撮影すれば、それらの建物付近における人数カウントを効率よく行うことができる。
【００３５】
このように俯瞰で広範囲を撮影する際の解像度を確保するため、本実施形態では撮影装置１００を、２０メガピクセル（横５４７２ピクセル、縦３６４８ピクセル）で撮影が可能な撮像素子を備える超高解像度（多画素）のネットワークカメラを用いることができる。当該撮影装置１００は、監視カメラとして使用されることの多いＦｕｌｌ  ＨＤ（横１９２０ピクセル、縦１０８０ピクセル）の撮像素子を備えるネットワークカメラに比べ、撮影画像の解像度が高くなるので広範囲を監視することが可能となる。
【００３６】
本実施形態では、監視領域を撮影する際の解像度を所定の範囲に収まるように調整する。まず、監視領域について少なくとも最小値として単位長さ（１メートル）当たり１０ピクセル（１０画素／メートル）以上の解像度が確保されるように画角を設定する。また、より広いエリアを撮像するために、画角に入っている監視領域のうち、撮影装置１００から最も遠くに位置する第２の領域の解像度を例えば最大値として単位長さ（１メートル）当たり１５０ピクセル（１５０画素／メートル）以下に抑えることができる。
【００３７】
図２（Ｂ）において、撮影装置１００による監視領域２２０には、住宅やビルなどの建物が設置されている第１の領域２２１と、道路や広場といった第２の領域２２２とに区分けすることができる。このうち、第２の領域２２２には、人が立ち入ることができるので、これらの場所を撮影した画像データを解析して人数をカウントすることができる。
【００３８】
次に、図３及び図４を参照して、撮影装置１００等から取得する画像データにおいて、監視領域のうちで被写体検出を行う領域（検出対象領域）を設定する処理の流れを説明する。まず、本実施形態において撮影装置１００の位置は固定されているので、監視領域は一意に設定される。例えば監視領域として市街地を撮影する場合図３（Ａ）に示されるような画像３００が常に取得されることになる。図３（Ａ）は、上記の構成で実際に市街地を撮影して得られた画像３００の例を示す図である。この画像３００に対し、広場や道路など、屋外に存在する被写体数（人数）をカウントしたい領域を検出対象領域に設定する。
【００３９】
図４のステップＳ４０１では、設定部１３２が、情報処理装置１３０のユーザからの操作部１３５を利用した操作入力に基づき、画像データ上に検出対象領域を設定する。検出対象領域を設定する際には、マウスなどを使って画像データ上に描画した直線を順に一筆書きの要領でつないで、多角形を作成するなどの方法を採用してもよい。また、より正確に領域を設定可能とするために、画像データを適宜拡大表示して領域を規定できるようにしてもよい。各領域の位置を画像データ上で規定するための情報は、例えば、多角形の情報であれば、多角形の頂点の画像データ上での座標情報を有していればよい。また、円形であれば、中心座標と半径の大きさの情報を有することができる。画像データの座標系は、図の左上を原点として、縦方向をｘ軸、横方向をｙ軸としたｘｙ座標系を採用することができる。また、記憶部１３１において予め地図情報における緯度及び経度の情報と画像データにおける画素の座標情報とを対応付けておき、表示部１３４に表示された地図上でユーザが検出対象領域を指定することを可能にすることもできる。この場合、設定部１３２は、地図上で指定された設定領域を画像データ上の領域に変換して検出対象領域を設定するようにしてもよい。
【００４０】
このように、本実施形態では設定部１３２が、ユーザの指示に基づき任意の形状の領域を画像データ上で設定することができるので、ユーザが一体的に判断すべきと考える領域（例えば、広場や公園、道路等）を一つのまとまりとして予め検出対象領域として登録しておくことができる。よって、領域がシステム側で勝手に分割されて、ユーザが期待する結果が得られなくなる、ということがなくなる。
【００４１】
設定された領域３０１は図３（Ｂ）に示すように表示部１３４が表示する際に画像データ上に重畳表示されるので、ユーザは画像データのどの部分に検出対象領域が設定されているかを視覚的に認識することができる。図３（Ｂ）に示すような画像データ上に重畳表示された各検出対象領域３０１は、それぞれ選択して情報を入力することができる。そして、Ｓ４０２において、いずれかの領域が情報の設定対象として選択されると、処理はＳ４０３に進み、設定部１３２は、選択された検出対象領域に対する設定入力を受け付ける。
【００４２】
本実施形態では、図３（Ｃ）に示すように、設定画面には情報入力領域３０２が表示され、領域番号、種別、閾値等の各種情報を入力することができる。領域番号とは、同一の画像データ３０１に対して設定された検出対象領域に一意に割り当てられる識別番号である。種別とは、検出対象領域の種別を表す情報であり、例えば、道路、広場等の、実際のその領域の種別の情報が与えられる。閾値人数は、当該領域において検出された人数が何人を超えた場合にアラートを出すかの基準となる閾値である。閾値の値は、領域の広さや種別に応じて調節することができる。また、例えば広場と道路といった種別により、人数密度を設定しておき、種別に応じた値を自動的に割り当てるようにしてもよい。その場合、領域の面積をユーザが入力するか、あるいは縮尺や地図に基づき自動的に面積を計算し、人数密度と面積とから閾値となる人数を計算することができる。また、これらの値は、時間帯ごとに異なる値に設定してもよい。
【００４３】
図３（Ｃ）に示す例では、選択された検出対象領域３０３に領域番号１が付与され、種別として広場、閾値人数が１０人以上となっている。ＯＫボタンが操作されれば、この内容を領域３０３に設定する。一方、キャンセルボタンが操作されれば入力内容がリセットされ、領域３０３には情報は設定されない。
【００４４】
Ｓ４０３において設定部１３２は、選択された対象領域について設定入力を受け付けると、続くＳ４０４にて未設定の領域が存在するか否かを判定する。もし、未設定の領域が存在する場合Ｓ４０２に戻って処理を続ける。一方、未設定の領域が存在しない場合には処理はＳ４０５に進み、設定部１３２は、これまでに設定された設定情報を記憶部１３１に保存する。当該保存処理では、領域毎に、領域番号、種別、閾値人数、画像データ上で領域を特定するための座標情報が互いに関連付けられて設定情報として記憶部１３１に保存される。閾値人数は、時間帯によって異なる場合には、時間帯ごとの値が保存される。
【００４５】
記憶部１３１に保存された設定情報は、必要に応じて読み出され、その内容を編集することができる。例えば、図３（Ｄ）に示すように、表示切替入力領域３０４を利用して選択を受け付けることで、各領域に設定された領域番号、種別、閾値人数の表示を確認、編集することができる。図３（Ｄ）では、閾値人数を表示した場合を示している。ユーザは、領域番号、種別、閾値人数のいずれかボタンを選択して情報を表示し、各領域に設定されている数値を直接に変更することができる。変更後の内容で保存する場合には保存ボタンをクリックすればよい。また、変更を行わない場合にはキャンセルボタンをクリックすればよい。
【００４６】
ここで、Ｓ４０１における検出対象領域を設定する処理の詳細を図５を参照して説明する。まず、図５（Ａ）に示すような拡大画像５００において検出対象領域を設定する場合を例に述べる。画像５００は、建物の手前に道路が配置されており、そこに通行人が複数存在するとともに、建物内にも人物が存在している様子を示している。図５（Ａ）では、人物として検出される可能性のある被写体を丸で囲って示している。当該被写体には、点線５０１で囲まれる領域内に存在しているものも含まれている。ここで道路を検出対象領域とし、建物を検出対象領域から除外した場合には図５（Ｂ）のようになる。図５（Ｂ）では、検出対象領域から除外されている領域（検出除外領域）を網掛け領域５０２、５０３及び５０４で示している。よって、網掛け領域以外は検出対象領域となる。
【００４７】
このようにして建物領域を検出対象領域から除外した上で人物検出を行う場合、画像中の建物が写っている領域は解析処理の対象から除外されるので、処理負荷を軽減することが可能となる。しかし、その一方で、点線枠５０５で示すような検出対象領域と検出除外領域との境界付近に位置している人物は、人物として適切に検出することができないおそれがあり、検出漏れの原因となる。
【００４８】
そこで、図５（Ｃ）に示すように検出対象領域を道路のみではなく、道路上の人物が検出可能なように建物側に拡張して、建物の少なくとも一部が包含されるように調整する。これにより、網掛け領域で示す検出除外領域５０２、５０３が縮小し、点線枠５０４で示していた境界付近の人物も検出可能となる。
【００４９】
以上のようにして設定部１３２により撮像領域に対して検出対象領域を設定した後、実際に撮影を行った画像データについて行う解析処理の詳細を、図６のフローチャートを参照して説明する。図６は、発明の実施形態に対応する解析処理の一例を示すフローチャートである。
【００５０】
まず、Ｓ６０１において、情報処理装置１３０は、撮影装置１００または画像サーバ１２０から処理対象の画像データを通信部１３６を介して受信する。続くＳ６０２において、画像処理部１３３が受信した画像データの解析処理を行う。具体的には、受信した画像データの解析処理を行い、検出対象領域に存在する被写体としての人物を検出するとともに、検出された人物の数を計数する。人物の検出方法は、パターンマッチングを利用してもよいし、背景差分により検出されたオブジェクトの大きさに基づいて検出してもよい。その他、色情報に基づいてもよい。
【００５１】
続くＳ６０２では、画像処理部１３３は表示部１３４を制御して、Ｓ６０２において計数された領域毎の人数を、解析対象となった画像データ上に重畳表示する。この時、画像処理部１３３は検出された人数が各領域に設定されている閾値以上かどうか（報知条件を満たすかどうか）を、Ｓ６０４において判定する。もし、報知条件を満たす領域が存在する場合（Ｓ６０４で「ＹＥＳ」）、処理はＳ６０５に進み、そのような領域が存在しない場合処理はＳ６０１に戻る。Ｓ６０５では、画像処理部１３３は表示部１３４を制御して、該当する領域の存在をユーザに通知するための報知出力を行う。このときの表示の一例を図７（Ａ）に示す。
【００５２】
図７（Ａ）では、撮影装置１００から提供された画像データ７００上に検出対象領域が表示されるとともに、各領域で検出された人数及び検出総数が表示されている。また、検出人数が閾値以上となった領域７０１の色を変更して、当該領域において閾値以上の人数が検出されたことをユーザに通知している。報知出力の形態としては、色の変更に限らず、領域あるいは文字の点滅、音声出力等を利用して報知することもできる。
【００５３】
本実施形態では、図７（Ａ）に示すような表示形態において、ユーザからの操作を操作部１３５を介して受け付けることができる。Ｓ６０６では、画像処理部１３３はユーザからの操作を受け付けたかどうかを判定しており、操作を受け付けた場合には（Ｓ６０６で「ＹＥＳ」）、処理はＳ６０７に進む。一方、操作を受け付けない場合には処理はＳ６０８に進む。その後、本処理を終了する場合には（Ｓ６０８において「ＹＥＳ」）、本処理が終了する。一方、終了しない場合（Ｓ６０８において「ＮＯ」）、処理はＳ６０１に戻る。
【００５４】
本実施形態では、閾値以上の領域のいずれかが選択された場合に、画像処理部１３３が表示部１３４を制御して当該領域の拡大画像を画面表示することができる。図７（Ｂ）はこのときの表示の一例を示している。図７（Ｂ）では、画像データ７００の領域７０１が選択された場合に、当該領域の画像が拡大画面７０２に表示されている。この画面７０２を参照することにより、ユーザは閾値以上の人数が検出された領域の実際の様子を観察することができる。また、画面７０２に表示されている画像を更に拡大表示可能としてもよいし、その周辺領域の画像を表示するように表示位置を上下左右に移動させることもできる。
【００５５】
また、このような拡大画面７０２はユーザからの操作入力に応じて表示するだけでなく、画像処理部１３３が自動的に表示してもよい。複数の領域が検出された場合には、複数の領域の拡大画面を同時に表示してもよいし、あるいは、領域番号の順に表示してもよい。
【００５６】
さらに、地図情報における緯度・経度情報と画像データの座標情報とが対応づけられている場合は、画像処理部１３３は、いずれかの検出領域が選択されると、地図情報を表示する画面において当該検出領域の地図上の位置を示す表示を行ってもよい。これにより、実際の状態を示す画像とその地理的位置とを関連付けて直感的に把握することが可能となる。
【００５７】
上記においては、情報処理装置１３０における画像解析結果の通知出力を、情報処理装置１３０の表示部１３４に表示出力する場合を説明したが、通信部１３６を介して外部の表示装置１４０に同様の情報を表示してもよい。また、表示装置１４０は画像解析結果を表示するだけでなく、領域設定の操作や、拡大表示する領域の指定操作等の各種操作をネットワーク１５０を介して情報処理装置１３０に対して実行できるようにしてもよい。
【００５８】
本実施形態において、情報処理装置１３０は、画像サーバ１２０や表示装置１４０の機能を含むように構成されてもよい。また、情報処理装置１３０で行う人物検出などの画像解析処理の一部を撮影装置１００側で行って、その位置やサイズなどの検出情報を情報処理装置１３０側に送信してもよい。
【００５９】
以上のように、本実施形態によれば、広範囲の撮影対象領域を１台の撮影装置１００により画角固定で撮影する際に、人物検出を行う領域をあらかじめ設定しておくことができる。これにより、比較的広範囲な監視領域における所望の領域の状態を監視し、例えば人数検出等を効率的に実施することが可能となる。
【００６０】
［実施形態２］
実施形態１においては発明の実施形態に対応する監視システム１０の概要を説明した。本実施形態では、実施形態１の種々の変形例を説明する。
【００６１】
まず、図７（Ｂ）に示すような表示画面において、拡大画面７０２には拡大された画像がそのまま表示されていた。当該画像では、検出された被写体である人物の画像がそのまま表示されているとともに、居宅の窓や洗濯物など、監視の必要のないものまで映り込んでおり、プライバシーを保護するのに十分でないと判断されるおそれがある。このため、図７（Ｃ）のように、被写体にはマスクをかけて人物が特定できないようにするとともに、監視対象の領域とは無関係な被写体が映り込んでいる場合にはそれらが拡大画面に表示されないようにマスクをかけるなどして遮蔽することができる。マスク処理は、処理対象の詳細を判別できない程度に画像にボケが生ずるもの、あるいは、半透明にできるものであれば足り、処理対象がなんであるかを判別不能になるまで施す必要はない。例えば、処理対象が人物であれば、その人物が誰であるかを個人的に特定できない程度に少なくとも顔部分をぼかせばよい。拡大された画像データにおけるマスク領域については、例えばＳ４０１において検出対象領域を設定する際にあわせて設定してもよい。例えば、図５（Ｃ）に示すような画面において、網掛け領域５０２、５０３、５０４を任意に指定してマスク領域に設定してもよい。ここで、マスク領域は、検出除外領域と必ずしも一致していなくてもよい。
【００６２】
また、全体表示する場合にはあまり問題がないが、ある程度ズームした場合に問題が生じる場合があるため、ズームの閾値を設け、ある程度ズームしたら、検出された人物や建物の部分にマスクをかけるようにすることもできる。当該ズーム閾値は、領域ごとの拡大率を表す値を設定してもよいが、検出された被写体のサイズを基準にして、その大きさが所定値以上になったら、マスクをかけるようにしてもよい。建物領域のマスクは、不透明でもよいが、半透明としてもよい。半透明の場合、周囲の状況がおおよそわかるので監視者のユーザにとって好ましい場合も予想される。
【００６３】
但し、特定のユーザ（管理者等）には権限を与えて、当該管理者ユーザが操作する場合にマスクを外して内容を確認できるようにしてもよい。この場合、マスクが外される画像はあくまで表示画像のみであって、拡大画面７０２に表示された画像を録画可能とする場合、マスクが外された状態では録画を停止するか、録画用の画像データを表示用の画像データとは独立に生成し、マスクがかけられたまま状態とするようにしてもよい。
【００６４】
このように、本実施形態によれば、ユーザが報知領域を確認する際に画像が拡大表示された場合において、監視対象の領域とは無関係な被写体が表示されることを効果的に防止することができる。
【００６５】
［実施形態３］
上記の実施形態１及び実施形態２では、検出対象領域の設定方法について図３（Ｂ）に示したように、画像データ上で直接に領域を設定する場合を説明したが、設定方法はこれに限定されるものではない。例えば、画像データ上で建物などが配置されている領域を抽出し、抽出領域以外の領域を順次検出対象領域に定めていってもよい。また、当該建物が配置されている領域を抽出する場合に、予め地図情報における緯度及び経度の情報と、画像データにおける画素の座標情報とを対応付けておき、地図上で建物の設置領域を指定することにより、当該設置領域に対応する領域を画像データにおいて特定し抽出してもよい。この場合、地図情報と画像データとの対応関係に従い、画像データ上に設定されたいずれかの検出対象領域において閾値以上の人数が検出された場合に、地図情報を表示する画面上においても当該領域の通知を行ってもよい。
【００６６】
当該処理について図８を参照して説明する。まず、図３（Ａ）に示すような画像について処理する場合に、建物が配置されている領域を連続する領域として設定する。図８（Ａ）は建物が配置されている領域を網掛け領域８０１として示している。このとき、網掛け領域８０１以外の白色で示す領域８０２が人物が存在しえる領域となる。次に、この領域８０２を任意に区切っていくことにより検出対象領域を確定することができる。
【００６７】
図８（Ｂ）は、領域８０２をマーカ８０３により区切って、検出対象領域を設定する一例を示す図である。ここに示されるように、領域８０２は、個別の領域に分割することができる。領域を分割する方法は、例えば、ユーザがマーカ８０３を入力する位置を指定してもよい。あるいは、公知の所定の方法により、領域８０２を任意の大きさの個々の領域に分割してもよい。その場合、ユーザが分割された領域の大きさを変更したり、隣り合っている領域を統合したりするような編集処理を可能としてもよい。
【００６８】
本実施形態によれば、地図情報に基づいて検出対象領域を設定する場合においても、ユーザの意向を反映してユーザが一体的に判断すべきと考える領域を一つのまとまりとして登録することができる。
【００６９】
［実施形態４］
以上に説明した実施形態１から実施形態３では、撮影装置１００の画角が固定された状態で撮影された画像データを処理対象としていた。これに対し、本実施形態では、撮影装置１００のパン・チルト・ズームを調整可能として、実施形態１から３までで想定していた撮影装置よりも撮影解像度が低い撮影装置であっても本発明を適用可能とする実施形態を説明する。
【００７０】
図９は、本実施形態に対応する監視システムの構成の一例を示す図である。図９に示す監視システム９０の構成は、図１に示した構成とほぼ同一である。但し、撮影装置１００に駆動部９０１が追加された点、及び、情報処理装置に画角制御部９０２が追加された点が異なっている。
【００７１】
駆動部９０１は、撮影装置１００のパン、チルトを調整するための機構であり、本実施形態では、画角制御部９０２は、通信部１３６及び通信部１０３を介して駆動部９０１及び撮像部１０１の光学系を制御し、撮影装置１００のパン、チルト、ズームを調整することができる。これにより、撮影装置１００は、監視対象の市街地の必要な領域を順次撮影し画像データを生成することができる。本実施形態においても撮影装置１００を、図２に示したものと同様に監視対象区域を俯瞰で撮影できるように高所に設置することができる。本実施形態では、撮影装置１００はＦｕｌｌ  ＨＤ（横１９２０ピクセル、縦１０８０ピクセル）の解像度を有するものと仮定すると、実施形態１から３で使用した２０メガピクセル（横５４７２ピクセル、縦３６４８ピクセル）で撮影可能な撮影装置に比べ、同一の画角では解像度が低下し、人物の検出精度を一定に保つことができない。
【００７２】
そこで、本実施形態では、画角制御部９０２によりパン、チルト、ズームの各パラメータを調節して、撮影条件が実施形態１と同様に１０ピクセル／メートル以上の解像度が確保されるようにする。ここで、１度の撮影においては図３（Ａ）で示した画像の一部分しか撮影できないとしても、監視対象区域を網羅するようにパン、チルト、ズームを調整して撮影を巡回して行えばよい。そして、それぞれの撮影により得られた画像データを組み合わせれば図３（Ａ）と同等のパノラマ画像を生成することができる。このようにして得られたパノラマ画像について、実施形態１から実施形態３を適用すれば、監視対象区域内の任意の検出対象領域において人数の検出を行うことが可能となる。
【００７３】
また、実施形態１から実施形態３では、監視対象区域全域を画角固定の撮影装置１００により撮影していたため、撮影された画像データには検出対象領域以外の画像も含まれてしまっていた。これに対し本実施形態では、パン、チルト、ズームを制御することにより、検出対象領域のみを撮影するように制御することができる。この場合、監視領域全域についてパノラマ画像で確認することはできないが、少なくとも検出対象領域については実施形態１から３と同様に発明を実施することができる。
【００７４】
その上でさらに監視対象領域全域も確認可能とする場合、１５０ピクセル／メートルよりも低い解像度にて監視対象領域を全体として、あるいは部分的に撮影しておき、検出対象領域については、例えば、１５０ピクセル／メートル以上で撮影した画像データを重畳するようにしてもよい。これにより、監視対象領域は低い解像度ながらも全体を把握しつつ、目的とする検出対象領域における状態を高解像度で確認することができる。
【００７５】
以上のように、本実施形態によれば、所望の解像度で撮影可能な撮影装置が用意できなかった場合であっても、使用可能な撮影装置の解像度に合わせて撮影条件を調節することにより、監視対象領域における所望の領域の状態を監視し、例えば人数検出等を行うことが可能となる。
【００７６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７７】
１００：撮影装置、画像サーバ：１２０、１３０：情報処理装置、１４０：表示装置、１５０：ネットワーク
【図１】
2019176306.tif 000003
【図２】
2019176306.tif 000004
【図３】
2019176306.tif 000005
【図４】
2019176306.tif 000006
【図５】
2019176306.tif 000007
【図６】
2019176306.tif 000008
【図７】
2019176306.tif 000009
【図８】
2019176306.tif 000010
【図９】
2019176306.tif 000011