(57)【要約】【課題】  通過検知の精度を向上する。【解決手段】  画像を構成するフレームから、動体及び人体それぞれを示す領域である動体領域及び人体領域を検出する。観測時刻の異なる画像のフレームを比較することで、それぞれのフレームから検出される動体領域及び人体領域の少なくとも一方が、所定の線分を通過したことを検知する。動体領域が所定の線分を通過したことを示す動体通過検知結果が得られる場合、人体領域に対応する動体領域が所定の線分を通過したことにより動体通過検知結果が得られたか否かを、人体領域と動体領域との位置関係に基づいて判断する。【選択図】  図４
2015052849.tif 000002
【特許請求の範囲】
【請求項１】
画像中の被写体である動体あるいは人体が所定の線分を通過することを検知する画像処理装置であって、
前記画像を構成するフレームから、動体及び人体それぞれを示す領域である動体領域及び人体領域を検出する検出手段と、
観測時刻の異なる画像のフレームを比較することで、それぞれのフレームから前記検出手段で検出される前記動体領域及び前記人体領域の少なくとも一方が、前記所定の線分を通過したことを検知する検知手段と、
前記検知手段によって、前記動体領域が前記所定の線分を通過したことを示す動体通過検知結果が得られる場合、前記人体領域に対応する動体領域が前記所定の線分を通過したことにより前記動体通過検知結果が得られたか否かを、前記人体領域と前記動体領域との位置関係に基づいて判定する判定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記判定手段は、前記人体領域に対応する動体領域が前記所定の線分を通過したことにより前記動体通過検知結果が得られたと判定すると、前記動体通過検知結果を無効にする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記動体通過検知結果に寄与する動体領域の外接矩形と、前記動体領域の外接矩形に包含される、前記人体通過検知結果に寄与する人体領域の外接矩形との少なくとも３辺が一致する場合に、前記人体領域に対応する動体領域が前記所定の線分を通過したことにより前記動体通過検知結果が得られたと判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定手段は、前記動体通過検知結果に寄与する動体領域の外接矩形と、前記動体領域の外接矩形に包含される、前記人体通過検知結果に寄与する人体領域の外接矩形との少なくとも３辺が一致しない場合、前記人体領域に対応しない動体領域が前記所定の線分を通過したことにより前記動体通過検知結果が得られたと判定し、前記検知手段の検知結果として、前記動体通過検知結果と前記人体通過検知結果の両方を有効にする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記検出手段が、第１のフレームで第１の人体領域とそれに対応する第１の動体領域を検出し、後続の第２のフレームで人体領域を検出せず、更に後続の第３のフレームで第２の人体領域とそれに対応する前記第１の動体領域を検出し、かつ前記第１の人体領域と前記第２の人体領域が同一であると判定される場合には、前記検知手段は、前記第２の人体領域を検知対象とする
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記検出手段による前記人体領域の人体検出処理の処理速度が前記動体領域の動体検出処理の処理速度よりも遅い場合、前記人体検出処理が実行されるまでに実行された前記動体検出処理で検出された動体領域に関する動体領域情報を保持する保持手段を更に備え、
前記人体検出処理によって前記人体領域が検出されるとともに、前記動体検出処理で前記動体領域が検出された場合に、前記判定手段は、前記人体領域が前記検知手段による前記人体通過検知結果に寄与するか否かに応じて、前記動体領域情報が示す動体領域を、前記検知手段による前記人体通過検知結果に寄与する動体領域であるか否かを判定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記所定の線分は、複数の線分が連結して構成される線分、あるいは多角形を構成する辺の一部である
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
画像中の被写体である動体あるいは人体が所定の線分を通過することを検知する画像処理装置の制御方法であって、
前記画像を構成するフレームから、動体及び人体それぞれを示す領域である動体領域及び人体領域を検出する検出工程と、
観測時刻の異なる画像のフレームを比較することで、それぞれのフレームから前記検出工程で検出される前記動体領域及び前記人体領域の少なくとも一方が、前記所定の線分を通過したことを検知する検知工程と、
前記検知工程によって、前記動体領域が前記所定の線分を通過したことを示す動体通過検知結果が得られる場合、前記人体領域に対応する動体領域が前記所定の線分を通過したことにより前記動体通過検知結果が得られたか否かを、前記人体領域と前記動体領域との位置関係に基づいて判定する判定工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
前記判定工程は、前記動体通過検知結果に寄与する動体領域の外接矩形と、前記動体領域の外接矩形に包含される、前記人体通過検知結果に寄与する人体領域の外接矩形との少なくとも３辺が一致する場合に、前記人体領域に対応する動体領域が前記所定の線分を通過したことにより前記動体通過検知結果が得られたと判定する
ことを特徴とする請求項８に記載の画像処理装置の制御方法。
【請求項１０】
前記判定工程は、前記動体通過検知結果に寄与する動体領域の外接矩形と、前記動体領域の外接矩形に包含される、前記人体通過検知結果に寄与する人体領域の外接矩形との少なくとも３辺が一致しない場合、前記人体領域に対応しない動体領域が前記所定の線分を通過したことにより前記動体通過検知結果が得られたと判定し、前記検知工程の検知結果として、前記動体通過検知結果と前記人体通過検知結果の両方を有効にする
ことを特徴とする請求項８に記載の画像処理装置の制御方法。
【請求項１１】
前記検出工程が、第１のフレームで第１の人体領域とそれに対応する第１の動体領域を検出し、後続の第２のフレームで人体領域を検出せず、更に後続の第３のフレームで第２の人体領域とそれに対応する前記第１の動体領域を検出し、かつ前記第１の人体領域と前記第２の人体領域が同一であると判定される場合には、前記検知工程は、前記第２の人体領域を検知対象とする
ことを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置の制御方法。
【請求項１２】
前記検出工程による前記人体領域の人体検出処理の処理速度が前記動体領域の動体検出処理の処理速度よりも遅い場合、前記人体検出処理が実行されるまでに実行された前記動体検出処理で検出された動体領域に関する動体領域情報を記憶媒体に保持する保持工程を更に備え、
前記人体検出処理によって前記人体領域が検出されるとともに、前記動体検出処理で前記動体領域が検出された場合に、前記判定工程は、前記人体領域が前記検知工程による前記人体通過検知結果に寄与するか否かに応じて、前記動体領域情報が示す動体領域を、前記検知工程による前記人体通過検知結果に寄与する動体領域であるか否かを判定する
ことを特徴とする請求項８乃至１１のいずれか１項に記載の画像処理装置の制御方法。
【請求項１３】
画像中の被写体である動体あるいは人体が所定の線分を通過することを検知する画像処理装置の制御をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
前記画像を構成するフレームから、動体及び人体それぞれを示す領域である動体領域及び人体領域を検出する検出手段と、
観測時刻の異なる画像のフレームを比較することで、それぞれのフレームから前記検出手段で検出される前記動体領域及び前記人体領域の少なくとも一方が、前記所定の線分を通過したことを検知する検知手段と、
前記検知手段によって、前記動体領域が前記所定の線分を通過したことを示す動体通過検知結果が得られる場合、前記人体領域に対応する動体領域が前記所定の線分を通過したことにより前記動体通過検知結果が得られたか否かを、前記人体領域と前記動体領域との位置関係に基づいて判定する判定手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の被写体である動体あるいは人体が所定の線分を通過することを検知する画像処理技術に関するものである。
【背景技術】
【０００２】
監視カメラにおいて、画像中の動体領域を検出する技術、人体領域を検出する技術、検出した動体や人体の画面内での移動を追尾する技術がある。また、通過検知として、検出した動体や人体が所定の線分を通過したことを判定する技術、所定の領域への進入・退出を判定する技術が知られている。
【０００３】
動体検出と人体検出を組み合わせた通過検知技術としては、動体を検出した領域に限定して人体領域検出を行い、人物が禁止領域に対して侵入したかどうかを判定する侵入者監視装置がある（特許文献１）。また、時空間画像における局所領域の関連性に基づく統計量に着目して、見掛け上の重複や隠れのあるシーンにおいて動体を追尾する技術があり、実装がなされている（特許文献２、３）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平成９−５０５８５号公報
【特許文献２】特開２０１０−１１３７３２号公報
【特許文献３】特開２０１２−００３７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の動体検出手法は、画像上での物体同士の重複や他の物体への隠れ、照明条件等の環境変動ノイズに弱い、という課題がある。これに対して、時空間画像の関連性に基づく統計量に着目して、上記課題を解決する手法がある。しかしながら、人物が並んで歩いている場合は、これを分離して検出できない場合がある。この課題に対しては、人体の輪郭から人物１人１人を個別に検出した後で、追尾する手法が有効である。しかし、人体検出は、人物の向きや角度によって検出精度が劣化することがあり、常に精度よく検出できるとは限らない。
【０００６】
本発明は上記の課題を解決するためになされたものであり、通過検知の精度を向上することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
画像中の被写体である動体あるいは人体が所定の線分を通過することを検知する画像処理装置であって、
前記画像を構成するフレームから、動体及び人体それぞれを示す領域である動体領域及び人体領域を検出する検出手段と、
観測時刻の異なる画像のフレームを比較することで、それぞれのフレームから前記検出手段で検出される前記動体領域及び前記人体領域の少なくとも一方が、前記所定の線分を通過したことを検知する検知手段と、
前記検知手段によって、前記動体領域が前記所定の線分を通過したことを示す動体通過検知結果が得られる場合、前記人体領域に対応する動体領域が前記所定の線分を通過したことにより前記動体通過検知結果が得られたか否かを、前記人体領域と前記動体領域との位置関係に基づいて判定する判定手段と
を備える。
【発明の効果】
【０００８】
本発明によれば、通過検知の精度を向上することができる。
【図面の簡単な説明】
【０００９】
【図１】通過検知判定装置の構成図である。
【図２】動体人体統合通過検知の原理説明図である。
【図３】動体人体統合通過検知の原理説明図である。
【図４】通過検知判定装置の処理を示すフローチャートである。
【図５】人体タグ付与処理の詳細を示すフローチャートである。
【図６】通過検知判定の統合処理の詳細を示すフローチャートである。
【図７】動体領域に対する人体タグの付与を説明するための図である。
【図８】人体検出結果に失敗する場合を含む通過検知結果統合処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１１】
＜実施形態１＞
本実施形態は、画像中の被写体（動体・人体）を検出・追尾し、その被写体が画像中の所定の線分（検知線）の通過を検知する通過検知処理に関するものである。特に、動体・人体の検出結果を統合することによって、その検知精度を向上するものである。
【００１２】
通過検知判定を行う通過検知判定装置１００の構成例を図１に示す。
【００１３】
通過検知判定装置１００は、ネットワーク上に画像を配信する監視カメラである撮像装置２００と一体型の制御装置を想定した構成である。通過検知判定装置１００は、撮像装置２００のズーム、フォーカス、ホワイトバランス、撮影姿勢等を制御する撮像系制御部１２０を有する。通過検知判定装置１００において、画像取得部１０１が撮像装置２００から画像を取得する。取得した画像は、後処理に応じて変倍部１０２で変倍処理がなされる。通過検知判定装置１００から配信される画像は、符号化部１０３、画像配信制御部１０４、通信部１４０を得てネットワークに接続される表示装置１５０や録画装置１６０に配信される。
【００１４】
動体検出部１０５は、変倍後の画像を入力として動体領域を検出する。動体検出には、混合ガウス分布を用いた背景差分や、時空間画像解析による領域分割等の既知の画像処理を用いる。動体追尾部１０６は、検出された動体に対して追尾処理を行う。これは異なるフレーム間の動体領域を関連付けて、動体の移動軌跡を抽出するものである。予測された移動位置付近における、動体の外接矩形形状（動体領域）の類似性に注目した方法が一般的に用いられる。
【００１５】
人体検出部１０７は、人体特徴量データ（辞書）を用いて画像内の人体を検出する。人体検出には、頭と肩のシルエット（所謂、オメガライン）形状を検出する公知の方法がある。人体追尾部１０８で、検出された人体に対して追尾を行う。追尾のアルゴリズムは動体追尾部１０６と共通のアルゴリズムを使用可能である。
【００１６】
動体・人体の追尾処理後、通過検知判定部１０９で通過検知判定を行う。通過検知は、撮像装置２００における撮像画面内に予め定めた検知線を、人体または動体の軌跡（移動ベクトル）が通過（交差）したか否かで判定する。この判定は、例えば、観測時刻の異なる画像フレームを比較することで、それぞれの画像フレームから検出される動体領域及び人体領域の少なくとも一方が、所定の線分を通過したか否を判定する。そして、この通過検知判定部１０９による通過検知判定結果は、通過検知結果統合部１１０で統合される。ここでは、動体通過検知結果と人体通過検知結果が重複した場合、人体通過検知結果を採用する。統合された検知結果は、通信部１４０を経てネットワーク上の表示装置１５０や録画装置１６０に送信される。
【００１７】
設定制御部１３０は、動体検出部１０５、人体検出部１０７及び撮像系制御部１２０の各種動作を制御するための設定を行う。この設定は、通過検知判定装置１００に対するユーザ入力に基づいても良いし、通信部１４０を介してネットワークから受信する設定指示に基づいても良い。
【００１８】
尚、本実施形態では、通過検知判定装置１００として、監視カメラ（撮像装置２００）内蔵の画像処理装置を想定して説明しているが、監視カメラを独立させて、通過検知判定装置１００の各種構成要素の機能を実現するＰＣサーバタイプでも実現可能である。この場合、画像は、ネットワーク上に接続されている外部のネットワークカメラ（監視カメラ）から取得して処理を行うことになる。
【００１９】
ここで、通過検知判定装置１００を実現する情報処理装置は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。そして、通過検知判定装置１００が実行する処理は、例えば、それに搭載されるＣＰＵが、ＲＯＭ等のメモリに記憶されているプログラムを実行し、制御することで実現することができる。
【００２０】
図２を用いて、通過検知結果の統合原理を説明する。図２は２人の人物が互いに反対方向から検知線２１１を通過する場合である。図２のａ）−１〜ａ）−３は動体通過検知処理、ｂ）−１〜ｂ）−３は人体通過検知処理、ｃ）−１〜ｃ）−３は、動体・人体通過検知の統合処理、各々を説明するための図である。いずれも画像３フレーム分の処理を示している。各々のフレームの処理時刻（観測時刻）を、t１、t２、t３と表す。
【００２１】
尚、所定の線分である検知線２１１は、直線である場合を示しているが、この検知線とする所定の線分は、これに限定されない。例えば、通過検知の目印となる所定の線分として、複数の線分が連結して構成されたり、多角形を構成する辺の一部であっても良い。
【００２２】
まず、動体検出を用いる通過検知判定の例を、ａ）−１〜ａ）−３により説明する。
【００２３】
ａ）−１において、画像２０１中、２人の人物２１２及び２１４が、各々別の動体である動体領域２１３及び２１５として検出・追尾される。
【００２４】
ａ）−２において、画像２０２中、２人の人物２１２及び２１４は１個の動体領域２１６として追尾される。
【００２５】
ａ）−３において、画像２０３中、１個の動体領域２１７が、検知線２１１を通過する。複数の人物が一つの動体として検出・追尾されるのは、見かけ上の重複や、互いに近傍にある複数の動体領域をまとめて一つの動体領域とすることによるものである。ａ）−３において、検知線２１１と、動体領域の移動（動体領域２１６→動体領域２１７）の交差により、１個の動体通過検知が観測される。結果として、動体検出だけによる通過検知判定では、移動方向の異なる２人の人物の通過検知を正しく検出できない。
【００２６】
次に、人体検出を用いる通過検知判定の例を、ｂ）−１〜ｂ）−３により説明する。
【００２７】
ｂ）−１において、画像２０４中、２人の人物は２個の人体領域２２１及び２２２として検出される。
【００２８】
ｂ）−２において、画像２０５中、２人の人物は独立した人体領域２２３及び２２４として検出・追尾される。
【００２９】
ｂ）−３において、画像２０６中、２人の人物は独立した人体領域２２５及び２２６として検出・追尾される。従って、ｂ）−３において、検知線２１１に対して、人体領域２２５及び２２６が互いに異なる方向から通過したことが検知される。結果として、移動方向の異なる２人の人体通過検知が観測される。
【００３０】
以上のように、図２の場合では、人体通過検知を採用することで、正しい通過検知結果を得る。このためには、人体通過検知と動体通過検知の重複を判定する必要がある。
【００３１】
通過検知の重複判定処理を説明する。人体領域と動体領域の関係を見る。人体領域、動体領域は共に矩形で表現される。まず、動体領域に包含される人体領域を選択する。次に包含される全ての人体領域集合の外接矩形を算出する。最後に、当該外接矩形の少なくとも３辺（上辺、左辺及び右辺）と、元の動体領域の少なくとも３辺（上辺、左辺及び右辺）の位置関係を比較し、それらが一致するか否かを判定する。一致する場合に、動体検出結果（動体追尾結果）に対して人体タグを付与する。
【００３２】
尚、位置関係の比較の際に下辺を用いない理由は、下半身の隠れや、人物を斜め下に見下ろす角度で撮影した場合、人体検出結果が画像上の人物の足元と一致しない場合があるからである。但し、上辺、左辺及び右辺同士が一致することに加えて、下辺同士が一致することもあるので、そのような場合には、動体検出結果（動体追尾結果）に対して人体タグを付与することができる。
【００３３】
例えば、図２のｃ）−１において、画像２０７中、２人の人物は２個の動体領域２１３及び２１５として検出されるとともに、人体領域２２１及び２２２としても検出される。
【００３４】
ｃ）−２において、画像２０８中、動体検出結果である動体領域２１６は、人体検出結果である人体領域２２３及び２２４を包含しており、かつ全ての辺が、包含する人体領域集合の外接矩形と一致する。この場合、動体領域２１６に人体タグ２２７を付与する。
【００３５】
ｃ）−３において、画像２０９中、同様に、動体領域２１７も、人体領域２２５及び２２６を包含しており、かつ全ての辺が、包含する人体領域集合の外接矩形と一致する。この場合、動体領域２１７に人体タグ２２８を付与する。このように、動体検出結果である動体領域２１７は、人体検出結果の集合である人体領域集合の外接矩形と一致する。
【００３６】
以上のことから、ｃ）−３における動体検出結果（動体領域２１７）に起因する通過検知結果は不採用（無効）とし、人体検出結果（人体領域２２５及び２２６）に起因する通過検知結果を採用する。この例では、人物が互いにすれ違う場合を説明しているが、並んで同一方向に通過する場合も同様に人体タグを用いることによって正しく検知できることは言うまでもない。
【００３７】
尚、本実施形態では、動体検出結果に対して、通過検知判定を行い、動体通過検知フラグを設定する。そして、動体通過検知結果を採用する場合には動体通過検知フラグをＯＮに設定し、不採用する場合には動体通過検知フラグをＯＦＦに設定する。
【００３８】
また、図２のｃ）−１においても、動体領域２１３及び２１５はそれぞれ、人体領域２２１及び２２２を包含しており、かつ全ての辺が、包含する人体領域集合の外接矩形と一致する。そのため、動体領域２１３及び２１５にはそれぞれ人体タグ２３１及び２３２が付与されることになる。
【００３９】
次に、人物と車両が交差する例を、図３を用いて説明する。図３は人物と車両が互いに反対方向から検知線３１１を通過する場合である。図２と同様に、図３のａ）−１〜ａ）−３は動体通過検知処理、ｂ）−１〜ｂ）−３は人体通過検知処理、ｃ）−１〜ｃ）−３は、動体通過検知・人体通過検知の統合処理、各々を説明するための図である。
【００４０】
まず、動体検出を用いる通過検知判定の例を、ａ）−１〜ａ）−３により説明する。
【００４１】
ａ）−１において、画像３０１中、画面中央縦に検知線３１１があり、人物３１２は左から右へ移動し、車両３１３は右から左に移動する。この場合、正しい検出となる正解値は、人物の通過と車両の通過を別々の通過検知として検出することである。ａ）−１において、人物３１２と車両３１３に対応する動体検出結果は、別々の動体領域１３４及び３１５として検出される。
【００４２】
ａ）−２において、画像３０２中、２つの物体（人物３１６及び車両３１７）に対して一つの動体検出結果として動体領域３１８が得られる。
【００４３】
ａ）−３において、画像３０３中、同様に、２つの物体（人物３１９及び車両３２０）に対して一つの動体検出結果として動体領域３００を得る。
【００４４】
ａ）−２からａ）−３にかけて、動体検出結果である動体領域が検知線３１１を通過するので、ａ）−３において動体通過検知が発生したと判定できる。
【００４５】
次に、人体検出を用いる通過検知判定の例を、ｂ）−１〜ｂ）−３により説明する。
【００４６】
ｂ）−１において、画像３０４中、１人の人物が人体領域３２１として検出される。
【００４７】
ｂ）−２において、画像３０５中、１人の人物が人体領域３２２として検出される。
【００４８】
ｂ）−３において、画像３０６中、１人の人物が人体領域３２３として検出される。
【００４９】
この場合、ｂ）−２からｂ）−３にかけて、検知線３１１を通過するので、ｂ）−３において、人体通過検知が発生する。
【００５０】
このように、図３では、人体通過検知結果と動体通過検知結果は重複しない。
【００５１】
図３のｃ）−１において、画像３０７の状態から、ｃ）−２において、人体領域３２２は、動体領域３１８に包含される。しかし、動体領域３１８の右辺や上辺は、人体領域３２２の右辺や上辺と一致しない。他に動体領域に包含される人体領域はないことから、ｃ）−２において、動体領域３１８と人体領域３２２は同一の物体ではないと判定され、動体領域３１８に対して人体タグは付与されない。同様に、ｃ）−３において、動体領域３００に対して人体タグは付与されない。そして、ｃ）−２からｃ）−３にかけて、動体領域３１８と人体領域３２２は、検知線３１１を各々別の方向に通過する。そのため、ｃ）−３において、画像３０９中、動体通過検知と人体通過検知が発生する。この場合、動体領域３００に人体タグは付与されていないため、両方の通過検知が採用される。結果として、人物の通過と車両の通過を別々の通過検知として検出する正解値を得る。
【００５２】
次に、本実施形態の通過検知判定装置１００の処理手順を、図４を用いて説明する。
【００５３】
尚、通過検知判定装置１００の動作は、ＲＯＭ等のメモリに記憶されているプログラムを、ＣＰＵが読み出し、実行することで実現される。
【００５４】
ステップＳ４０１で、画像取得部１０１が、画像を取得する。次に、ステップＳ４１１で、動体検出部１０５が、動体検出処理を行う。ステップＳ４１２で、動体追尾部１０６が、動体追尾処理を行う。さらに、ステップＳ４１３で、人体検出部１０７が、人体検出処理を行う。ステップＳ４１４で、人体追尾部１０８が、人体追尾処理を行う。その後、ステップＳ４１５で、設定制御部１３０が、人体タグ付与処理を行う。この詳細については、後述する。
【００５５】
ステップＳ４１６で、通過検知判定部１０９が、動体通過検知判定を行う。この処理は、全ての動体に関して、所定の検知線を通過したかどうかを判定し、検知線を通過した動体には、動体通過検知フラグをＯＮにする。ステップＳ４１７で、通過検知判定部１０９が、人体通過検知判定を行う。そして、ステップＳ４１８で、通過検知結果統合部１１０が、動体・人体通過検知判定の統合処理を行う。この処理に詳細については、後述する。最後に、ステップＳ４１９で、通信部１４０が、通過検知結果を送信する。ステップＳ４２０で、設定制御部１３０が、設定終了要求があるか否かを判定する。設定終了要求がない場合（ステップＳ４２０でＮＯ）、ステップＳ４１０に戻る。一方、設定終了要求がある場合（ステップＳ４２０でＹＥＳ）、処理を終了する。
【００５６】
次に、ステップＳ４１５の人体タグ付与処理の詳細について、図５を用いて説明する。
【００５７】
ステップＳ５０１で、設定制御部１３０が、全ての動体領域に対して処理を完了したか否かを判定する。完了している場合（ステップＳ５０１でＹＥＳ）、処理を終了する。一方、完了していない場合（ステップＳ５０１でＮＯ）、ステップＳ５０２で、設定制御部１３０が、動体領域に含まれる人体領域を抽出する。次に、ステップＳ５０３で、設定制御部１３０が、当該動体領域に、包含される全ての人体領域を囲む外接矩形Ｒｈを算出する。
【００５８】
次に、ステップＳ５０４で、設定制御部１３０が、動体領域を表す外接矩形Ｒｍと、それに包含される人体領域の外接矩形Ｒｈとを比較する。これは、ＲｍとＲｈの左辺、右辺、上辺同士が一致するかどうかを比較する。下辺を比較しない理由は、隠れや、撮像装置の角度の関係から、人物の足元が動体として検出されない場合を考慮したためである。次に、ステップＳ５０５で、設定制御部１３０が、動体領域を表す外接矩形Ｒｍと、それに包含される人体領域の外接矩形Ｒｈが一致するか否かを判定する。即ち、動体領域と人体領域が対応するかを、動体領域と人体領域との位置関係に基づいて判定する。例えば、動体領域の外接矩形と、その動体領域の外接矩形に包含される人体領域の外接矩形との少なくとも３辺が一致するか判定する。一致する場合に、動体領域と人体領域が対応すると判定する。一致しない場合（ステップＳ５０５でＮＯ）、ステップＳ５０１に戻り、次の動体領域に対する処理を行う。一方、一致する場合（ステップＳ５０５でＹＥＳ）、設定制御部１３０が、動体領域に人体タグを付与する。
【００５９】
ステップＳ４１８の通過検知結果の統合処理の処理について、図６を用いて説明する。
【００６０】
ステップＳ６０１で、通過検知判定部１０９が、全ての動体領域に対する処理が完了しているか否か判定する。処理が完了している場合（ステップＳ６０１でＮＯ）、処理を終了する。一方、処理対象の動体領域が残っている場合、つまり、処理が完了していない場合（ステップＳ６０１でＮＯ）、ステップＳ６０２で、通過検知判定部１０９が、動体が通過検知に寄与したか否かを判定する。この判定は、処理対象の動体領域に、動体通過検知フラグがＯＮであるか否かで判定する。
【００６１】
尚、この動体通過検知フラグは、処理対象の動体領域に付与される（ＯＮ）されるフラグである。動体領域が検出されると、この動体通過検知フラグは一旦ＯＮに設定される。そして、その動体領域を通過検知に採用する（通過検知に寄与する）場合には、そのままＯＮの状態が維持され、不採用とする場合にはＯＦＦに設定される。
【００６２】
判定の結果、動体通過検知フラグがＯＦＦ、つまり、動体領域が通過検知に寄与していない場合（ステップＳ６０２でＮＯ）、ステップＳ６０１に戻り、次の処理対象の動体領域について処理を実行する。一方、動体通過検知フラグがＯＮ、つまり、動体が通過検知に寄与している場合（ステップＳ６０２でＹＥＳ）、ステップＳ６０３で、通過検知判定部１０９が、処理対象の動体領域に人体タグが付与されているか否かを判定する。人体タグが付与されていない場合（ステップＳ６０３でＮＯ）、ステップＳ６０１に戻り、次の処理対象の動体領域について処理を実行する。一方、人体タグが付与されている場合（ステップＳ６０３でＹＥＳ）、ステップＳ６０４で、通過検知判定部１０９が、動体通過検知フラグをＯＦＦにする。その後、ステップＳ６０１に戻り、処理を続ける。即ち、動体領域が所定の検知線を通過したことを示す動体通過検知結果が得られた場合（ステップＳ６０２）、その動体通過検知結果が、人体領域に対応する動体領域が所定の検知線を通過したことにより得られたか否かを判定する（ステップＳ６０３）。この人体領域と動体領域の対応付けは、図５で説明したように、人体領域と動体領域との位置関係に基づいて判定される。
【００６３】
そして、人体領域に対応する動体領域が所定の検知線を通過したことにより動体通過検知結果が得られたと判定すると、ステップＳ６０４で、動体通過検知結果を無効にする。この場合、人体通過検知結果は有効のままである。
【００６４】
一方、人体領域に対応しない動体領域が所定の検知線を通過したことにより動体通過検知結果が得られたと判定すると、動体通過検知結果は無効にせず、有効のままにする。この場合も、人体通過検知結果は有効のままである。
【００６５】
全ての動体領域に対して、ステップＳ４１８の処理終了後、動体通過検知フラグを確認する。指定した検知線に対して、通過検知に寄与した動体領域ないしは人体領域が、少なくとも一つ存在する場合には、当該検知線における通過検知が生じたと判定される。
【００６６】
以上説明したように、実施形態１によれば、動体検出結果と人体検出結果を組み合わせて、通過検知の際には、それらの組み合わせあるいはいずれか一方を適応的に選択して、通過検知に利用することで、通過検知の精度を向上することができる。
【００６７】
＜実施形態２＞
実施形態１では、人体検出が安定して成功する条件下で、人体通過検知と動体通過検知が重複した場合に、人体通過検知を優先する構成である。しかし、実際には、人体検出は常に成功するとは限らない。例えば、人物が撮像装置２００の真下に近い場合や、人物が帽子やマスクを着用している場合等は、人体検出精度が低下する。そこで、実施形態２では、人体検出と人体通過検知に失敗した場合に、動体検出による通過検知で代替する構成について説明する。
【００６８】
図７は人物が移動する場合を時系列で表わしたものである。説明を簡単化するために人物は１人としている。撮像画像を構成する時系列のフレーム群それぞれを特定するフレーム番号を「＃」で示すとし、図７では、フレーム番号＃００１、＃００３、＃００６、及び＃００９のフレームを示している。
【００６９】
フレーム番号＃００１、＃００３、＃００６及び＃００９それぞれのフレームで、動体領域７０１、７０２、７０３及び７０４が検出される。一方、フレーム番号＃００１、＃００３、＃００９のそれぞれのフレームで、人体領域７１０、７１１及び７１３が検出される。フレーム番号＃００６のフレームでは、人物は画面に存在するが人体領域として検出されない。各フレームにおいて人体検出がなされると、実施形態１の構成に従って、動体領域に人体タグが付与される。その結果、フレーム番号＃００１、＃００３及び＃００９のフレームそれぞれの動体領域７０１、７０２及び７０４には、それぞれ人体タグ７０５、７０６及び７０７が付与される。フレーム番号＃００６では、人体が検出されないので、人体タグは付与されない。
【００７０】
フレーム＃００３のフレームの動体領域７０２で、動体通過検知イベントが生じた場合、動体領域７０２には人体タグ７０６が付与されていることから、それに対応する人体領域７１１が人体通過検知に寄与したかを確認する。人体領域７１１が人体通過検知に寄与した場合は、動体通過検知と重複したと判定できるので、動体領域７０３の動体通過検知フラグをＯＦＦにし、人体通過検知を採用する。
【００７１】
一方、フレーム＃００６のフレームの動体領域７０３で、動体通過検知イベントが生じた場合、動体領域７０３には人体タグが付与されていないことから、動体通過検知が有効となる。
【００７２】
また、フレーム＃００９のフレームの動体領域７０４で、動体通過検知イベントが生じた場合、動体領域７０４は人体タグ７０７が付与されている。しかしながら、それに対応する人体領域７１３は、直前（あるいは従前）のフレーム＃００６で人体領域が検出されていないため、人体通過検知イベントが生じない。その結果、動体領域７０４に関する動体通過検知フラグはＯＮのままとし、動体通過検知イベントは有効とする。
【００７３】
ところで、あるフレームにおいて人体領域が検出されなくても、従前のフレームで検出されている人体領域を利用することで、短期間の追尾を継続することは可能である。例えば、あるフレームで人体検出がなされない場合であっても、そのフレームよりも従前に検出されている所定数前のフレーム中の人体領域を残したまま追尾を継続することもできる。
【００７４】
図７の例では、このフレームは人体領域７１２に該当する。但し、この場合は、人体領域が検出されたフレームに対してのみ人体通過検知判定を行うこととする。図７では、フレーム＃００６のフレームにおける人体領域７１２に対しては、通過検知処理を適用しない。これに対して、フレーム＃００９のフレームにおける人体領域７１３に対しては、通過検知処理を適用する。尚、追尾処理の結果、人体領域７１２と人体領域７１３が同一の人体領域と判定される場合、人体領域７１３は通過検知処理の検知対象となる。
【００７５】
次に、本実施形態における動体・人体通過検知判定の統合処理の詳細を、図８を用いて説明する。
【００７６】
ステップＳ９０１で、通過検知判定部１０９が、全ての動体領域に対する処理が完了しているか否かを判定する。処理が完了している場合（ステップＳ９０１でＮＯ）、処理を終了する。一方、処理対象の動体領域が残っている場合、つまり、処理が完了していない場合（ステップＳ９０１でＮＯ）、ステップＳ９０２で、通過検知判定部１０９が、動体が通過検知に寄与したか否かを判定する。この判定は、処理対象の動体領域に、動体通過検知フラグがＯＮであるか否かで判定する。
【００７７】
判定の結果、動体通過検知フラグがＯＦＦ、つまり、動体領域が通過検知に寄与していない場合（ステップＳ９０２でＮＯ）、ステップＳ９０１に戻り、次の処理対象の動体領域について処理を実行する。一方、動体通過検知フラグがＯＮ、動体が通過検知に寄与している場合（ステップＳ９０２でＹＥＳ）、ステップＳ９０３で、通過検知判定部１０９が、処理対象の動体領域に人体タグが付与されているか否かを判定する。人体タグが付与されていない場合（ステップＳ９０３でＮＯ）、ステップＳ９０１に戻り、次の処理対象の動体領域について処理を実行する。
【００７８】
一方、人体タグが付与されている場合（ステップＳ９０３でＹＥＳ）、ステップＳ９１０で、通過検知判定部１０９が、人体タグが付与されている動体領域に対応する全ての人体領域に対する処理が完了したか否かを判定する。処理が完了している場合（ステップＳ９１０でＹＥＳ）、ステップＳ９０１に戻り、次の処理対象の動体領域について処理を実行する。一方、処理が完了していない場合（ステップＳ９１０でＮＯ）、ステップＳ９１１で、人体領域が人体通過検知に寄与したか否かを判定する。
【００７９】
人体領域が通過検知に寄与していない場合（ステップＳ９１１でＮＯ）、ステップＳ９１０に戻り、次の処理対象の人体領域について処理を実行する。一方、人体領域が通過検知に寄与している場合（ステップＳ９１１でＹＥＳ）、ステップＳ９１２で、通過検知判定部１０９が、動体通過検知フラグをＯＦＦにする。その結果、人体通過検知結果が採用される。その後、ステップＳ９１０に戻り、処理を続ける。
【００８０】
以上説明したように、実施形態２によれば、動体通過検知が生じた処理対象のフレームにおいて、動体領域に対応する人体領域が通過検知したか否かを判定する。これにより、人体検出に失敗した場合であっても、動体検出結果を用いて、通過検知を行うことができる。その結果、通過検知精度を確保しつつ、検知漏れを防止できる。
【００８１】
＜実施形態３＞
実施形態３では、動体検出と人体検出の処理速度が異なる場合について説明する。
【００８２】
例えば、人体検出処理が動体検出処理に比べて処理速度が遅く、動体検出処理２回ないしは３回に対して、人体検出処理１回の割合で処理が完了する例を考える。この場合、図７において、不図示のフレーム＃００２では、動体検出処理結果のみを得る。このとき生じた動体通過検知イベントは即座には発行せずに、後続のフレーム＃００３のフレームにおける次の人体検出まで待機する。
【００８３】
そして、フレーム＃００３のフレームで、動体検出、人体検出が実行される。フレーム＃００３のフレームの動体領域７０２に人体タグ７０６が付与される。その際に、不図示のフレーム＃００２のフレームにおける動体領域情報を保持しておき、この動体領域に対しても、人体検出結果７１１が対応するとして人体タグを付与する。そして、フレーム＃００３のフレームにおける人体検出結果７１１に対して人体通過検知判定を行う。もし人体通過を検出した場合には、フレーム＃００２、＃００３の動体通過検知フラグをＯＦＦにする。
【００８４】
以上のように、実施形態３によれば、動体検出と人体検出の処理速度が異なり、通過検知出力を得る頻度が異なる場合でも、本発明を適用できる。その結果、動体通過検知と人体通過検知を組み合わせることによって検知精度を向上することができる。
【００８５】
尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015052849.tif 000003
【図２】
2015052849.tif 000004
【図３】
2015052849.tif 000005
【図４】
2015052849.tif 000006
【図５】
2015052849.tif 000007
【図６】
2015052849.tif 000008
【図７】
2015052849.tif 000009
【図８】
2015052849.tif 000010