(57)【要約】【課題】映像を監視する負担を軽減すると共に物事が起こった瞬間を捉え易くすることを目的とする。【解決手段】複数の映像配信装置から配信された複数の映像を取得する取得手段と、複数の映像のそれぞれに含まれる複数の物体の位置を検出する物体位置検出手段と、複数の物体の位置における各物体の向きを検出する向き検出手段と、各物体の向きに基づいて複数の映像のそれぞれに優先度を設定する設定手段と、優先度に基づいて複数の映像を表示する表示手段と、を有することによって課題を解決する。【選択図】図７
2017017441.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像配信装置から配信された複数の映像を取得する取得手段と、
前記複数の映像のそれぞれに含まれる複数の物体の位置を検出する物体位置検出手段と、
前記複数の物体の位置における各物体の向きを検出する向き検出手段と、
前記各物体の向きに基づいて前記複数の映像のそれぞれに優先度を設定する設定手段と、
前記優先度に基づいて前記複数の映像を表示する表示手段と、
を有する画像処理装置。
【請求項２】
前記物体は人物であり、
前記複数の映像のそれぞれに含まれる複数の人物の位置における各人物の向きから各人物の視野範囲を推定し、前記視野範囲に基づき前記複数の人物のそれぞれが他人から見られている数をカウントする監視判定手段を更に有し、
前記設定手段は、前記他人から見られている数に応じて、前記複数の映像のそれぞれに優先度を設定する請求項１記載の画像処理装置。
【請求項３】
前記複数の映像のそれぞれに含まれる複数の人物の属性を認識する属性認識手段を更に有し、
前記監視判定手段は、前記属性が一致する人物をグループ化し、同じグループ内では互いに視野範囲に入っていたとしても他人から見られている数としてカウントしない請求項２記載の画像処理装置。
【請求項４】
前記属性認識手段は、前記人物の属性として、年齢、人種、性別、服装の何れかを認識する請求項３記載の画像処理装置。
【請求項５】
前記設定手段は、前記他人から見られている数が多いほど優先度が低くなり、他人から見られている数が少ないほど優先度が高くなるように、前記複数の映像のそれぞれに優先度を設定する請求項２乃至４何れか１項記載の画像処理装置。
【請求項６】
前記物体は人物であり、
前記複数の映像のそれぞれに含まれる複数の人物の位置における各人物の向きから主方向を算出する主方向算出手段を更に有し、
前記設定手段は、前記主方向に基づいて前記複数の映像のそれぞれに優先度を設定する請求項１記載の画像処理装置。
【請求項７】
前記設定手段は、前記主方向と映像配信装置の光軸が逆方向となる映像配信装置の映像の優先度を他の映像配信装置の映像の優先度より高く設定する請求項６記載の画像処理装置。
【請求項８】
前記物体は人物であり、
前記物体位置検出手段は、前記人物の顔の位置を検出できる場合は、前記顔の位置を前記物体の位置として検出し、前記人物の顔の位置を検出できない場合は、前記人物の人体の位置を前記物体の位置として検出する請求項１記載の画像処理装置。
【請求項９】
前記物体は人物であり、
前記向き検出手段は、前記人物の顔を検出できる場合は、前記顔の向きを前記物体の向きとして検出し、前記人物の顔を検出できない場合は、前記人物の人体の向きを前記物体の向きとして検出する請求項１記載の画像処理装置。
【請求項１０】
前記表示手段は、前記複数の映像のうち少なくとも１番優先度が高い映像の表示態様を変更して表示する請求項１乃至９何れか１項記載の画像処理装置。
【請求項１１】
前記表示手段は、複数の映像のうち少なくとも１番優先度が高い映像にマークを付加する、又は映像の外枠の太さ若しくは色を変更して表示する請求項１０記載の画像処理装置。
【請求項１２】
前記表示手段は、前記複数の映像のうち少なくとも１番優先度が高い映像を拡大して表示する請求項１０記載の画像処理装置。
【請求項１３】
画像処理装置が実行する情報処理方法であって、
複数の映像配信装置から配信された複数の映像を取得する取得ステップと、
前記複数の映像のそれぞれに含まれる複数の物体の位置を検出する物体位置検出ステップと、
前記複数の物体の位置における各物体の向きを検出する向き検出ステップと、
前記各物体の向きに基づいて前記複数の映像のそれぞれに優先度を設定する設定ステップと、
前記優先度に基づいて前記複数の映像を表示する表示ステップと、
を含む情報処理方法。
【請求項１４】
コンピュータを、請求項１乃至１２何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を監視するための画像処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、スーパーマーケットやコンビニエンスストアでは、万引き等の犯罪の防止や発見のために、図１のように監視カメラ１０００１を店舗内に複数設置して人物１０００２を含む映像を撮影している。それらの映像は、別室に設置されている監視用モニタ１０００３に分割して複数の映像を同時に表示する、又は一定時間経過後に表示する映像を切り替えるようにしている。監視員１０００４はその映像を目視で監視することによって犯罪の有無を確認してきた。
【０００３】
しかしながら、図２のように、このような監視員１０００４による目視では、長時間、多数の映像を一貫して注目していなければならず非常に大きな労力が必要である。
近年では例えば、特許文献１のように被監視者の視線の先に監視者がいる場合に被監視者を不審者として判定して通報する自動監視システムがある。つまり、万引き犯等の不審者は店員の位置を頻繁に確認するため、これを不審者判定に利用するものがある。監視システム自体を全て自動化してしまうと監視員１０００４の労力を大幅に削減することが可能となる一方、不審者と判定した場合に、警察などに通報したり、警報を鳴らしたりしようとすると、誤って判定した場合のリスクが非常に大きい。また、万引きの犯罪は現行犯での逮捕が基本であるため、犯罪を自動的に判定するとしてもリアルタイム処理が必要になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２１３２２４号公報
【非特許文献】
【０００５】
【非特許文献１】P. Viola, M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol.1, pp.511-518, December, 2001
【非特許文献２】M. Bertozzi, A. Broggi, M. Del Rose, M. Felisa, A. Rakotomamonjy and F. Suard, "A Pedestrian Detector Using Histograms of Oriented Gradients and a Support Vector Machine Classifier", IEEE Intelligent Transportation Systems Conference, 2007
【非特許文献３】X. Cao, Y. Wei, F. Wen, J. Sun, "Face Alignment by Explicit Shape Regression", International Journal of Computer Vision, Vol. 107, pp177-190, 2014
【非特許文献４】E. Murphy-Chutorian, M. Manubhai Trivedi, "Head Pose Estimation in Computer Vision: A Survey", IEEE Transaction on Pattern Analysis and Machine Intelligence, 2008
【非特許文献５】C. Chen, "We are not contortionists: Coupled adaptive learning for head and body orientation estimation in surveillance video", IEEE Computer Vision and Pattern Recognition, 2012
【非特許文献６】J. Joo, "Human Attribute Recognition by Rich Appearance Dictionary", IEEE International Conference on Computer Vision, 2013
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のように、誤って判定した場合のリスクを考慮すると、犯罪かどうかを判定する行為そのものは監視員１０００４の目視で行い、その監視員１０００４が目視すべき映像を可能な限り少なくすることで監視員１０００４の負担を軽減させることが重要である。
また、万引き等の犯罪行為を行う不審者は、犯罪を行うまでに周囲に人が存在しないかどうか等様々な条件確認を行う。したがって、不審者が犯罪行為を行う条件を以前に察知し、その条件に対応する映像を優先的に監視員１０００４に提示することで、監視員１０００４の負担を軽減させるだけでなく、犯罪の瞬間を確実に捉えることができる。
本発明は、映像を監視する負担を軽減すると共に物事が起こった瞬間を捉え易くすることを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明の画像処理装置は、複数の映像配信装置から配信された複数の映像を取得する取得手段と、前記複数の映像のそれぞれに含まれる複数の物体の位置を検出する物体位置検出手段と、前記複数の物体の位置における各物体の向きを検出する向き検出手段と、前記各物体の向きに基づいて前記複数の映像のそれぞれに優先度を設定する設定手段と、前記優先度に基づいて前記複数の映像を表示する表示手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、映像を監視する負担を軽減すると共に物事が起こった瞬間を捉え易くすることができる。
【図面の簡単な説明】
【０００９】
【図１】システム構成等を示す図である。
【図２】監視員の目視を示す図である。
【図３】優先度の高い映像の表示を示す図（その１）である。
【図４】優先度の高い映像の表示を示す図（その２）である。
【図５】画像処理装置のハードウェア構成を示す図である。
【図６】実施形態１の画像処理装置のソフトウェア構成を示す図である。
【図７】実施形態１の画像処理装置における情報処理を示すフローチャートである。
【図８】ステップＳ２０００の詳細を示すフローチャートである。
【図９】ステップＳ３０００の詳細を示すフローチャートである。
【図１０】ステップＳ４０００の詳細を示すフローチャートである。
【図１１】人物の視野範囲を示す図である。
【図１２】図１に視野範囲推定の結果をプロットした一例を示す図である。
【図１３】監視判定部の処理を説明するための図である。
【図１４】実施形態２の画像処理装置のソフトウェア構成を示す図である。
【図１５】実施形態２の画像処理装置における情報処理を示すフローチャートである。
【図１６】実施形態２のシステム構成等を示す図である。
【図１７】実施形態３の画像処理装置のソフトウェア構成を示す図である。
【図１８】実施形態３の画像処理装置における情報処理を示すフローチャートである。
【図１９】実施形態３のシステム構成等を示す図である。
【図２０】見られている人物のカウントを示す図（その１）である。
【図２１】見られている人物のカウントを示す図（その２）である。
【図２２】グループ判定の処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
まずは、以下に示す実施形態の処理の目的を説明する。以下に示す実施形態の処理の目的は、犯罪の発生する可能性の高い映像とそうでない映像を自動的に認識し、犯罪の発生する可能性の高い映像を監視員に優先して提示することで、監視員による目視の労力を軽減させるものである。以下に示す画像処理装置における提示の仕方として、例えば、図３のように、犯罪の発生する可能性の高い映像上に何らかの目印を付ける、外枠の太さや色を変更する方法がある。また、画像処理装置は、その他にも図４のように、映像を拡大して表示する等、様々な方法で提示するようにしてもよい。図３や図４は、画像処理装置における優先度の高い映像の表示の一例である。図３や図４の例では、複数の映像のうち少なくとも１番優先度が高い映像の表示態様を変更して表示している。例えば、映像にマークを付加する、又は映像の外枠の太さ若しくは色を変更する、又は拡大して表示している。しかし、画像処理装置は、１番優先度が高い映像だけでなく、例えば、複数の映像のうち、優先度の高い順に設定された数の映像に対してマークをする等の処理を行うようにしてもよい。
【００１１】
＜実施形態１＞
以下で、実施形態１について説明する。
図５は、画像処理装置１０のハードウェア構成の一例を示す図である。画像処理装置１０は、例えば、図１の監視用モニタ１０００３等である。実施形態１のシステム構成は、図１のシステム構成と同様である。
図５において、ＣＰＵ１１は、システムバス１４に接続された各種デバイスの制御を行う。
ＲＯＭ１２は、ＢＩＯＳのプログラムやブートプログラムを記憶する。
ＲＡＭ１３は、ＣＰＵ１１の主記憶装置として使用される。
キーボードコントローラ（ＫＢＣ）１５は、マウス等のポインティングデバイス（ＰＤ）１９や、キーボード（ＫＢ）２０からの情報等の入力に係る処理を行う。
表示制御部（ＣＲＴＣ）１６は、内部にビデオメモリを有し、ＣＰＵ１１からの指示に従ってそのビデオメモリに描画すると共に、ビデオメモリに描画されたイメージデータをビデオ信号としてＣＲＴ２１に出力する。なお、図５において表示装置としてＣＲＴ２１を例示しているが、液晶表示装置等、その表示装置の種類は問わない。
ディスクコントローラ（ＤＫＣ）１７は、ハードディスク（ＨＤＤ）２２へのアクセスを行う。
ネットワークインタフェースカード（ＮＩＣ）１８は、ネットワークに接続し、ネットワークを介しての情報通信を行うものである。
なお、ＨＤＤ２２には、ＯＳのプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。ＨＤＤ２２は、記憶領域の一例である。
上記構成において、画像処理装置１０の電源がＯＮになると、ＣＰＵ１１は、ＲＯＭ１２に格納されたブートプログラムに従って、ＨＤＤ２２からＯＳのプログラムをＲＡＭ１３に読み込み、処理を実行することによって、各装置の機能を実現する。
つまり、画像処理装置１０のＣＰＵ１１がプログラムに基づき処理を実行することによって、画像処理装置１０のソフトウェア構成及び後述するフローチャートの処理が実現される。
【００１２】
図６は、画像処理装置１０のソフトウェア構成の一例を示す図である。図６に示されるように、画像処理装置１０は、ソフトウェア構成として、映像取得部１００、物体位置検出部２００、物体向き検出部３００、監視判定部４００、映像優先度設定部５００、映像表示部６００を含む。各部の処理は、以下のフローチャートを用いながら説明する。
図７は、実施形態１の画像処理装置１０における情報処理の一例を示すフローチャートである。
ステップＳ１０００において、映像取得部１００は、店舗内に設置された監視カメラから映像を取得する。映像取得部１００は、レンズ等の集光素子、光を電気信号に変換するＣＭＯＳやＣＣＤ等の撮像素子、アナログ信号をデジタル信号に変換するＡＤ変換器を通過することによって、得られたデジタル映像データを取得する。監視カメラはレンズ制御による光学ズーム、雲台制御によるパン・チルト機能が付いている。監視カメラは、映像を配信する映像配信装置の一例である。
ステップＳ２０００において、物体位置検出部２００は、ステップＳ１０００で取得されたデジタル映像データに対して物体位置検出処理を行う。なお、実施形態１では検出対象の物体を人体や顔とする。
【００１３】
図８は、ステップＳ２０００の詳細を示すフローチャートである。
ステップＳ２００１において、物体位置検出部２００は、まずはステップＳ１０００で取得されたデジタル映像データに対して顔の位置を検出する。物体位置検出部２００は、顔位置検出技術として、例えば、非特許文献１の技術を利用することができる。
ステップＳ２００２において、物体位置検出部２００は、ステップＳ２００１で顔が検出されたかどうかを判定する。物体位置検出部２００は、顔が検出された場合には図８に示す処理を終了するが、顔が検出されなかった場合にはステップＳ２００３へ進む。
ステップＳ２００３において、物体位置検出部２００は、顔よりも小さい人体の位置を検出する。物体位置検出部２００は、人体位置検出技術は、例えば、非特許文献２の技術を利用することができる。
監視カメラから比較的に近い位置に存在する人物、又は監視カメラに対して正面を向いている人物に対しては顔を検出することができる。しかし、監視カメラから遠くの位置に存在する人物、監視カメラに対して正面を向いていない人物に対しては顔を検出することができない可能性がある。そのため、物体位置検出部２００は、人体を検出することで、その映像内に人物が存在するかどうかを判定する。なお、ステップＳ２０００の処理は一例であり、例えば、物体位置検出部２００は、顔位置検出を実施せず人体位置検出のみを実施するようにしてもよい。
【００１４】
図７に戻り、ステップＳ２０１０において、物体位置検出部２００は、ステップＳ２０００で物体、つまり、顔や人体を検出したかどうかを判定する。物体位置検出部２００は、ステップＳ２０００で顔や人体を検出した場合には、ステップＳ３０００へ進む。一方で、物体位置検出部２００は、ステップＳ２０００で顔や人体を検出しなかった場合にはステップＳ１０００へ戻る。
ステップＳ３０００において、物体向き検出部３００は、ステップＳ２０００で検出された物体の向き、つまり、顔や人体の向きを検出する。物体向き検出部３００は、物体の向きを顔の向き、人体の向きのどちらにするかはステップＳ２００１での顔位置検出結果によって決定する。つまり、図９のように、ステップＳ３００１において、物体向き検出部３００は、ステップＳ２００１で顔が検出されたかどうかを判定する。ステップＳ２００１において、物体向き検出部３００は、顔が検出された場合には、ステップＳ３００２へ進み、顔の向きを検出する。一方、物体向き検出部３００は、ステップＳ２００１で顔が検出されなかった場合には、ステップＳ３００３へ進み、人体の向きを検出する。
物体向き検出部３００は、顔の向きを検出する技術として、例えば、非特許文献３のように、目頭・目尻等のより細かな顔特徴点を検出した後、非特許文献４のように顔特徴点の幾何配置情報を利用して顔の向きを推定する技術を利用することができる。一方、物体向き検出部３００は、人体の向きを推定する技術として、非特許文献５のように特徴量から向きを判定する技術を利用することができる。
【００１５】
次に、ステップＳ４０００の処理について説明する。図１０は、ステップＳ４０００の詳細を示すフローチャートである。
ステップＳ４００１において、監視判定部４００は、ステップＳ３０００で検出された物体の向き、つまり、顔や人体の向きから視野範囲を推定する。ここで、人間の水平方向の視野角度幅をα、垂直方向の視野角度幅をβ、ある人物の顔や人体の水平方向の向きをθ１、垂直方向の向きをθ２とする。すると、図１１のように、その人物の視野範囲は水平方向でθ１−α／２からθ１＋α／２まで、垂直方向でθ２−β／２からθ２＋β／２までとなる。
但し、店舗では監視カメラは天井付近に設置されているため、人物を上から見下ろすような映像である。他人に見られているかどうかは垂直方向の向きよりも水平方向の向きが重要である。そのため、実施形態１では、監視判定部４００は、水平方向の向きだけを利用して他人に見られているかどうかを判定する。
【００１６】
ステップＳ４００２において、監視判定部４００は、ある人物がそれ以外の他人から見られている数をカウントする。図１２は、図１のシステム構成図にステップＳ４００１での水平方向の視野範囲推定の結果をプロットした一例を示す図である。図１２を参照すると、人物１０００２は周囲に誰も存在しないため、他人から見られている数は０となる。また、人物１０００５は、周囲に人物１０００６が存在するが人物１０００６の視野範囲に存在しないため、他人から見られている数は０となる。一方、人物１０００６は、周囲に人物１０００５が存在し、人物１０００５の視野範囲に存在するため、他人から見られている数は１となる。このようにして、監視判定部４００は、各人物毎に他人から見られている数をカウントする。
監視判定部４００は、視野範囲に他人が存在するかどうかを、例えば、以下のように判定する。即ち、監視判定部４００は、図１３のように水平方向の顔、又は人体の向きをθ１１として、人物１０００５の位置を中心とした半径ｒの円を想定し、θ１１−α／２からθ１１＋α／２までの円の範囲内に人物１０００６が存在するかどうかで判定する。但し、図１３では視野角度によらず距離ｒを一定としたが、人間は視野角度によって可視距離が異なるので必ずしも距離ｒを一定にする必要はない。
【００１７】
ステップＳ５０００において、映像優先度設定部５００は、ステップＳ４００２で検出された他人から見られている数に基づいて、店舗内に設置された監視カメラ映像に対して優先度を設定する。例えば、映像優先度設定部５００は、他人から見られている数をｎ、ある人物の優先度をｗｉとすると、ある人物の優先度はｗｉ＝１／（ｎ＋１）のように計算する。つまり、映像優先度設定部５００は、他人から見られている数ｎが多ければ多いほど優先度ｗｉの値が小さく、一方で、他人から見られている数ｎが少なければ少ないほど優先度ｗｉの値が大きくなるように計算する。
したがって、ある映像にｍ人の人物が映っている場合、その映像に対する優先度Ｗは、以下のようになる。
【数１】
2017017441.tif 000003
【００１８】
ステップＳ６０００において、映像表示部６００は、ステップＳ５０００で算出された各監視カメラ映像の優先度に基づいて、図３や図４のような表示を行う。監視員１０００４は、図３や図４のように他の映像より優先度の高い映像のみを集中的に監視することで、監視員の労力を軽減させ、かつ犯罪の決定的な瞬間を見逃すことなく捉えることができる。
同一人物が異なる監視カメラに映る可能性がある場合、映像表示部６００は、以下のような技術を利用して表示を行うようにしてもよい。即ち、映像表示部６００は、異なるカメラ間で同一人物を識別する"Ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ"と呼ばれる技術を使用することで、映像表示部６００に必ず別人物が映る映像を優先して表示させるようにしてもよい。
【００１９】
以上のように、本実施形態の画像処理装置では、不審者は店員だけでなく、それ以外の顧客から見られている場合にも犯罪を起こしにくい傾向があり、また見られている人物の数が多ければ多いほど、より犯罪を起こしにくいという傾向を利用し、店舗内に設置された監視カメラから取得した映像に対して他の映像より優先度を高く設定する。そして、画像処理装置１０は、設定された優先度に基づいて監視員が監視するＣＲＴ２１等の表示装置に映像を表示する。このことで、監視員は他の映像より優先度の高い映像だけを集中的に監視すればよくなるため、監視員の労力が軽減するだけでなく、犯罪が発生する決定的瞬間を確実に捉えることができる。
【００２０】
＜実施形態２＞
以下で、実施形態２について説明する。
図１４は、画像処理装置１０のソフトウェア構成の一例を示す図である。図１４に示されるように、実施形態２の画像処理装置１０は、ソフトウェア構成として、映像取得部１００、物体位置検出部２００、物体向き検出部３００、物体主方向算出部７００、映像優先度設定部５００、映像表示部６００を含む。各部の処理は、以下のフローチャートを用いながら説明する。
図１５は、実施形態２の画像処理装置１０における情報処理の一例を示すフローチャートである。
実施形態１との違いは、ステップＳ７０００における物体主方向算出の処理だけであるため、実施形態２ではステップＳ７０００における処理の詳細のみを説明する。
【００２１】
図１６は、実施形態２のシステム構成等の一例を示す図である。
ステップＳ７０００において、物体主方向算出部７００は、人物１０００７、人物１０００８、人物１０００９、人物１００１０、人物１００１１の５名の向きから主方向を求める。例えば、物体主方向算出部７００は、５名の向きの平均θａｖｅｌを算出する。
実施形態１でも説明したが、多くの人から見られている人物に限らず、多くの人が見ている場所も同様に犯罪が発生しにいく傾向にある。つまり、人物１０００７、人物１０００８、人物１０００９、人物１００１０、人物１００１１の５名の向きから求めた主方向側では犯罪が発生しにくく、逆に主方向とは逆方向側で犯罪が発生する可能性がある。
よって、ステップＳ５０００において、映像優先度設定部５００は、人物１０００７、人物１０００８、人物１０００９、人物１００１０、人物１００１１の５名の向きから求めた主方向と監視カメラの光軸が逆方向となる監視カメラの映像の優先度を他の監視カメラの映像の優先度より高く設定する。その結果、図１６の監視カメラ１００１９や監視カメラ１００１３の映像の優先度が高くなる。
【００２２】
以上のように、本実施形態の画像処理装置では、多くの人から見られている人物に限らず、多くの人が見ている場所も同様に犯罪が発生しにいく傾向にあるため、多くの人が見ている主方向を求め、主方向とは逆方向に存在するカメラ映像の優先度を高く設定する。これにより、監視員は優先度の高い映像だけを集中的に監視すればよくなるため、監視員の労力が軽減するだけでなく、犯罪が発生する決定的瞬間を確実に捉えることができる。
【００２３】
＜実施形態３＞
以下で、実施形態３について説明する。
図１７は、実施形態３の画像処理装置１０のソフトウェア構成の一例を示す図である。図１７に示されるように、実施形態３の画像処理装置１０は、ソフトウェア構成として、映像取得部１００、物体位置検出部２００、物体向き検出部３００、属性認識部８００、監視判定部４００、映像優先度設定部５００、映像表示部６００を含む。各部の処理は、以下のフローチャートを用いながら説明する。
図１８は、実施形態３の画像処理装置１０における情報処理の一例を示すフローチャートである。
実施形態１との違いは、ステップＳ８０００における属性認識の処理だけであるため、実施形態３ではステップＳ８０００における処理の詳細のみを説明する。
【００２４】
図１９は、実施形態３のシステム構成等の一例を示す図である。
万引き等の犯罪は、グループで実行する場合がある。例えば、人物１００１４と人物１００１５と人物１００１６とは仲間という可能性もある。
例えば、監視判定部４００は、人物１００１５は、実施形態１の処理では図２０のように人物１００１４と人物１００１６と人物１００１７の３名に見られていると判断する。しかし、人物１００１４と人物１００１５と人物１００１６とが仲間である場合、監視判定部４００は、人物１００１４と人物１００１５と人物１００１６との３名は図２１のように人物１００１７からしか見られていないと判定すべきである。
したがって、実施形態３では、ステップＳ８０００において、属性認識部８００は、人物の属性を認識することで人物同士の関係をクラスタリング（グループ化）する。人物の属性とは、例えば、年齢、人種、性別、服装等を示す。属性認識部８００は、人物の属性を認識する技術として、例えば、非特許文献６の技術を利用することができる。
監視判定部４００は、同じグループ内では互いに視野範囲に入っていたとしても他人から見られている数としてカウントしない。
図２２は、属性認識結果に基づいてグループと判定する情報処理の一例を示すフローチャートである。属性認識部８００は、人物間で属性がＭ種類以上一致した場合にはグループであると判定している。
グループと判定されない場合、図１９の例だと、これまでは、映像優先度設定部５００は、見られている数のカウントが少ない人物１００１７が映る監視カメラ１００１３の映像に対してのみ優先度を高く設定していた。一方、グループと判定された場合、映像優先度設定部５００は、人物１００１４と人物１００１５と人物１００１６とが映る監視カメラ１００１３と監視カメラ１００１２との映像に対する優先度を他の監視カメラの映像の優先度より高く設定する。監視判定部４００が、同じグループ内では互いに視野範囲に入っていたとしても他人から見られている数としてカウントしないためである。
【００２５】
以上のように、万引き等の犯罪は、グループで実行する場合があるため、本実施形態の画像処理装置では、各人物に対して年齢、人種、性別、服装等の属性認識を行い、複数の属性が一致した場合には１グループとして判定する。そして、画像処理装置では、このグループを利用して実施形態１と同様に見られている人物の数をカウントし、映像に優先度を設定する。このことで監視員は優先度の高い映像だけを集中的に監視すればよくなる。また、監視員の労力が軽減するだけでなく、犯罪が発生する決定的瞬間を確実に捉えることができる。
【００２６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２７】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した実施形態では、ＣＰＵ１１がプログラムに基づき処理を実行することにより、ソフトウェア構成が実現されるものとして説明を行った。しかし、ソフトウェア構成として示した各部の全て又は一部をハードウェア構成として画像処理装置に実装してもよい。
【００２８】
以上、上述した各実施形態によれば、映像を監視する監視員の負担を軽減すると共に犯罪の瞬間を確実に捉えるようにすることができる。
【符号の説明】
【００２９】
１０  画像処理装置
１１  ＣＰＵ
【図１】
2017017441.tif 000004
【図２】
2017017441.tif 000005
【図３】
2017017441.tif 000006
【図４】
2017017441.tif 000007
【図５】
2017017441.tif 000008
【図６】
2017017441.tif 000009
【図７】
2017017441.tif 000010
【図８】
2017017441.tif 000011
【図９】
2017017441.tif 000012
【図１０】
2017017441.tif 000013
【図１１】
2017017441.tif 000014
【図１２】
2017017441.tif 000015
【図１３】
2017017441.tif 000016
【図１４】
2017017441.tif 000017
【図１５】
2017017441.tif 000018
【図１６】
2017017441.tif 000019
【図１７】
2017017441.tif 000020
【図１８】
2017017441.tif 000021
【図１９】
2017017441.tif 000022
【図２０】
2017017441.tif 000023
【図２１】
2017017441.tif 000024
【図２２】
2017017441.tif 000025