(57)【特許請求の範囲】
【請求項１】
動画から動体を検出する動体検出手段と、
前記動体検出手段により現画像から検出された動体と前画像から検出された物体とを対応付けて追尾処理を行う動体追尾手段と、
前記動体追尾手段により追尾される前記前画像の追尾物体が前記現画像において複数個に分割した場合、前記前画像の追尾物体と前記現画像の複数の追尾物体の対応関係を用いて、前記前画像の追尾物体と前記現画像の複数の追尾物体との移動軌跡のそれぞれが通過検知線と交差するか判断する判断手段とを有することを特徴とする画像処理装置。
【請求項２】
動画から動体を検出する動体検出手段と、
前記動体検出手段により現画像から検出された動体と前画像から検出された物体とを対応付けて追尾処理を行う動体追尾手段と、
前記動体追尾手段により追尾される前記前画像の複数の追尾物体が前記現画像において統合した場合、前記前画像の追尾物体と前記現画像の追尾物体の対応関係を用いて、前記前画像の複数の追尾物体と前記現画像の追尾物体との移動軌跡のそれぞれが通過検知線と交差しているか判断する判断手段とを有することを特徴とする画像処理装置。
【請求項３】
動画から動体を検出する動体検出工程と、
前記動体検出工程において現画像から検出された動体と前画像から検出された物体とを対応付けて追尾処理を行う動体追尾工程と、
前記動体追尾工程において追尾される前記前画像の追尾物体が前記現画像において複数個に分割した場合、前記前画像の追尾物体と前記現画像の複数の追尾物体の対応関係を用いて、前記前画像の追尾物体と前記現画像の複数の追尾物体との移動軌跡のそれぞれが通過検知線と交差するか判断する判断工程とを有することを特徴とする画像処理方法。
【請求項４】
動画から動体を検出する動体検出工程と、
前記動体検出工程において現画像から検出された動体と前画像から検出された物体とを対応付けて追尾処理を行う動体追尾工程と、
前記動体追尾工程において追尾される前記前画像の複数の追尾物体が前記現画像において統合した場合、前記前画像の追尾物体と前記現画像の追尾物体の対応関係を用いて、前記前画像の複数の追尾物体と前記現画像の追尾物体との移動軌跡のそれぞれが通過検知線と交差しているか判断する判断工程とを有することを特徴とする画像処理方法。
【請求項５】
動画から動体を検出する動体検出手段と、
前記動体検出手段により現画像から検出された動体と前画像から検出された物体とを対応付けて追尾処理を行う動体追尾手段と、
前記動体追尾手段により追尾される前記前画像の追尾物体が前記現画像において複数個に分割した場合、前記前画像の追尾物体と前記現画像の複数の追尾物体の対応関係を用いて、前記前画像の追尾物体と前記現画像の複数の追尾物体との移動軌跡のそれぞれが通過検知線と交差するか判断する判断手段としてコンピュータを機能させるためのプログラム。
【請求項６】
動画から動体を検出する動体検出手段と、
前記動体検出手段により現画像から検出された動体と前画像から検出された物体とを対応付けて追尾処理を行う動体追尾手段と、
前記動体追尾手段により追尾される前記前画像の複数の追尾物体が前記現画像において統合した場合、前記前画像の追尾物体と前記現画像の追尾物体の対応関係を用いて、前記前画像の複数の追尾物体と前記現画像の追尾物体との移動軌跡のそれぞれが通過検知線と交差しているか判断する判断手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関し、特に、監視カメラの映像を用いて、物体の通過を精度よく検知するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、監視カメラの映像を使用して画面内の特定箇所を通過した物体を検知する場合、映像から検出した物体を画面内追尾し、特定箇所の通過を判定することで検知を行っていた。例えば、監視カメラからの映像データから特定の物体を検出し、追尾する手法が提案されている。例えば、特許文献１では、カメラの自動焦点機構のために、画像中に検出領域を設定し、当該領域を移動させながら人物領域を追跡するカメラが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６１−２８９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、映像から検出された物体は、追尾処理の過程で、複数の追尾物体が統合されたり、１つの追尾物体が複数に分割されたりするなどの処理が行われ、常に正確な物体の検出・追尾がされているとは限らない。このため、映像から検出した物体を追尾し、特定箇所の通過を判定するには、検知漏れとなってしまうケースがあった。
本発明は前述の問題点に鑑み、検出された物体の統合・分割処理がなされた場合であっても、精度の高い通過検知を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、動画から動体を検出する動体検出手段と、前記動体検出手段により現画像から検出された動体と前画像から検出された物体とを対応付けて追尾処理を行う動体追尾手段と、前記動体追尾手段により追尾される前記前画像の追尾物体が前記現画像において複数個に分割した場合、前記前画像の追尾物体と前記現画像の複数の追尾物体の対応関係を用いて、前記前画像の追尾物体と前記現画像の複数の追尾物体との移動軌跡のそれぞれが通過検知線と交差するか判断する判断手段とを有することを特徴とする。
また、本発明の画像処理装置は、動画から動体を検出する動体検出手段と、前記動体検出手段により現画像から検出された動体と前画像から検出された物体とを対応付けて追尾処理を行う動体追尾手段と、前記動体追尾手段により追尾される前記前画像の複数の追尾物体が前記現画像において統合した場合、前記前画像の追尾物体と前記現画像の追尾物体の対応関係を用いて、前記前画像の複数の追尾物体と前記現画像の追尾物体との移動軌跡のそれぞれが通過検知線と交差しているか判断する判断手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、追尾物体の分割や統合処理が行われても精度の高い通過検知をすることができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態を示し、画像処理装置の構成例を示すブロック図である。
【図２】画像処理装置の動作手順を説明するフローチャートである。
【図３】動体追尾部で行う追尾処理を説明する図である。
【図４】状態判定部で行う通過検知判定の手順を説明するフローチャートである。
【図５】追尾物体が分割するケースの通過検知判定処理を説明するための図である。
【図６】追尾物体が統合するケースの通過検知判定処理を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
図１は、本発明の一実施形態である画像処理装置１００の構成例を示すブロック図である。本実施形態の画像処理装置１００は、画像取得部１０１と、動体検出部１０２と、動体追尾部１０３と、状態判定部１０４とパラメータ設定部１０５とから構成される。このような構成の画像処理装置１００は、ＣＰＵ、ＲＯＭ、ＲＡＭを備えるコンピュータシステムにおいて、ＲＯＭに記録されたプログラムを、ワークメモリとして機能するＲＡＭに展開してＣＰＵが実行することで実現することができる。
【０００９】
画像取得部１０１は、処理対象の画像（動画を構成する画像）を時系列順に外部の監視カメラ１５０から取得する。画像を取得する外部の装置は監視カメラ１５０に限定されるものではなく、サーバや外部メモリなどに保存されたものでもよい。
動体検出部１０２は、画像取得部１０１で取得した画像から背景差分法により動体を検出する。検出した動体の情報は、画面上の位置と外接矩形と物体サイズとからなる。動体検出部１０２では、画像から物体等の動きを検出する処理であり、背景差分法に限定されるものでなく、動きベクトル等を用いた処理であってもよい。また、しばらく検出対象が静止した場合でも物体を検出する処理であればよい。
【００１０】
動体追尾部１０３では、前画像で検出された動体と現画像で検出された動体とを対応付けることで追尾処理を行う。新規に検出された動体は、新規に固有の追尾ＩＤが付与され、前画像と対応付けられた動体は、前画像で付与された追尾ＩＤが付与される。
パラメータ設定部１０５では、状態判定部１０４の検知線を設定する。
状態判定部１０４では、動体追尾部１０３が追尾する物体が、パラメータ設定部１０５で設定された検知線を通過したか否かを判定する。物体通過の判定は、検知線を構成する線分と前画像から現画像の間での物体の軌跡とが交差したか否かにより判定する。
【００１１】
図２に、本実施形態の画像処理装置１００の動作手順を説明するフローチャートを示す。
Ｓ２０１において、画像取得部１０１が監視カメラ１５０から画像取得を行い、動体検出部１０２で動体検出処理を行う。
Ｓ２０２において、動体検出部１０２が動体が検出されたか否かを判定する。動体が検出されなかった場合、処理を終了する。動体が検出された場合、Ｓ２０３に進んで検出領域作成処理を行う。検出領域作成処理は、次に行う動体追尾処理の領域を作成するもので、追尾処理に有効な動体検出結果を出力する。
Ｓ２０４では、動体追尾部１０３により動体追尾処理が行われ、追尾物体情報として、追尾ＩＤ、座標、大きさ、現画像におけるイベント情報、などが出力される。
【００１２】
図３は、Ｓ２０４で行なわれる追尾処理を説明する図である。
図３において、３０１は前画像における処理結果を示し、３０２は現画像の処理結果を示している。前画像における処理結果３０１及び現画像の処理結果３０２において、動体検出部１０２により第１の検出物体３０３、第２の検出物体３０４が検出される。これらの検出物体３０３、３０４は、動体追尾部１０３により動体追尾処理が行われるが、第１の検出物体３０３と第２の検出物体３０４は互いに距離が近接しているため、１つの追尾物体として処理がされる。前画像における処理結果３０１において、３０５は動体追尾部１０３が出力する追尾物体情報である追尾枠Ａを示したもので、その情報は、追尾ＩＤ１、画面上の座標、大きさ情報が含まれる。
【００１３】
また、現画像の処理結果３０２における画像では、第１の検出物体３０３は右上へ移動し、第２の検出物体３０４は左下へ移動している。動体追尾部１０３では、第１の検出物体３０３、第２の検出物体３０４の検出物体間の距離がある閾値以上に離れたため、これらを個別の追尾物体として処理する。３０６は第１の検出物体３０３を追尾する追尾枠Ｂ（３０６）、３０７は第２の検出物体３０４の追尾枠Ｃを示しており、追尾枠Ａ（３０５）は追尾枠Ｂ（３０６）と追尾枠Ｃ（３０７）へと複数個に分割されている。
【００１４】
このとき、追尾枠Ｂ（３０６）、追尾枠Ｃ（３０７）間には追尾枠の親子関係が生成され、追尾ＩＤが継続される側の追尾枠Ｂ（３０６）は親追尾枠、新規追尾ＩＤが付与される追尾枠Ｃ（３０７）は子追尾枠とする。追尾枠Ｂ（３０６）の追尾物体情報は、追尾ＩＤはＩＤ１が継続され、イベント情報として、“分割して継続”の情報が保持される。また、追尾枠Ｃ（３０７）は、追尾枠Ａ（３０５）が分割し、新規に作成されたものであるので、追尾物体情報として、追尾ＩＤは新規にＩＤ２が付与され、イベント情報として“分割して新規作成”の情報が保持される。
【００１５】
図２のフローチャートの説明に戻る。以上のように、動体追尾部１０３で追尾処理が行われると、次に、画像処理装置１００は、Ｓ２０５において追尾結果情報の管理を行う。動体追尾部１０３が出力した追尾物体情報を管理するもので、追尾物体情報履歴、追尾物体情報配列、追尾物体親子関係などの管理を行う。
Ｓ２０６では、状態判定部１０４において物体の状態判定を行う。状態判定は、例えばパラメータ設定部１０５で設定された通過検知線を、追尾物体が通過したか否かを判定して、通過や侵入を検知する。
【００１６】
図４は、状態判定部１０４で、行う通過検知判定の手順を説明するフローチャートである。通過判定を行う物体の移動パターンとして、図５、図６に示すような追尾物体が分割するケース、追尾物体が統合されるケースを例に挙げる。
【００１７】
図５は、図３で説明した追尾物体が分割するケースにおいて、通過検知判定を行う処理を説明するための図である。図５において、５０１は、パラメータ設定部１０５により設定された通過検知線である。物体が通過検知線を画像上の上から下へ通過したとき、状態判定部１０４は通過検知と判定する。
【００１８】
図６は、２つの追尾物体が１つに統合される場合の、通過検知判定を行う処理を説明するための図である。
図６において、６０１は前画像における処理結果を示し、６０２は現画像の処理結果を示している。６０３は、動体検出部１０２により検出された第３の検出物体、６０４は、第４の検出物体である。これらは動体追尾部１０３により追尾され、追尾物体情報である追尾枠Ｄ（６０５）、追尾枠Ｅ（６０６）が示されている。追尾枠Ｄ（６０５）は、追尾ＩＤとしてＩＤ３が付与され、追尾枠Ｅ（６０６）の追尾ＩＤはＩＤ４が付与されている。
【００１９】
また、６０８はパラメータ設定部１０５により設定された通過検知線である。第３の検出物体６０３は現画像の処理結果６０２において左下側に移動し、第４の検出物体６０４は現画像において右側に移動している。そのため、現画像において第３の検出物体６０３と第４の検出物体６０４はある閾値以下の距離に近づいたため、動体追尾部１０３は追尾枠Ｄ（６０５）と追尾枠Ｅ（６０６）を、追尾枠Ｆ（６０７）に統合処理している。追尾枠Ｆ（６０７）は、追尾枠Ｅ（６０６）を継続し、その追尾ＩＤはＩＤ４を継続、イベント情報として“統合して継続”情報を保持している。統合による親子関係は、追尾ＩＤ４が親追尾枠、追尾ＩＤ３は子追尾枠として、追尾結果情報管理の親子関係管理で情報が保持されている。
【００２０】
次に、状態判定部１０４による通過検知判定動作について、図４により説明する。
状態判定部１０４は、現画像におけるすべての追尾枠について、図４のフローチャートに示す手順により通過判定処理を行う。
Ｓ４０１において、状態判定部１０４は、追尾物体情報のイベント情報を参照し、分割・統合のない新規枠か否かを判断する。分割・統合イベントのない新規枠である場合、物体の移動軌跡は存在しないため、Ｓ４０８に進み、通過は非検知となり、処理は終了する。
【００２１】
Ｓ４０１において、分割・統合のない追尾枠でない場合、Ｓ４０２に進んで分割による新規枠であるか否かを判断する。図５における追尾枠Ｃ（３０７）は、分割により新規に作成された追尾枠であるため、これに該当する。
【００２２】
Ｓ４０３において、状態判定部１０４は、追尾情報結果管理で管理されている分割前親追尾枠の情報を参照し、当該追尾枠との軌跡を計算する。
Ｓ４０７では、計算された軌跡と、通過検知線を構成する線分が交差するか否かを判断し、交差する場合、Ｓ４０９に進んで通過を検知する。また、交差しない場合、Ｓ４０８に進んで通過を非検知（Ｓ４０８）と判定し、処理を終了する。
図５における追尾枠Ｃ（３０７）では、計算された軌跡線は、追尾枠軌跡Ｂ（５０３）のように表される。追尾枠軌跡Ｂ（５０３）は、通過検知線５０１と交差しているので、この場合、通過検知と判定される。
このように、分割前の追尾物体と分割後の複数の追尾物体の対応関係を用いて状態を判別している。
【００２３】
一方、Ｓ４０２において、分割による新規枠でない場合、Ｓ４０４において統合イベントが発生したか否かを判断する。図６における追尾枠Ｆ（６０７）は、追尾枠Ｄ（６０５）、追尾枠Ｅ（６０６）が統合された統合後の追尾枠であるため、これに該当する。
【００２４】
Ｓ４０５において、状態判定部１０４は、追尾情報結果管理で管理されている統合による消失枠（図６においては追尾枠Ｄ（６０５）と、当該追尾枠の軌跡を計算する。次に、Ｓ４０６において、当該追尾枠の前画像から現画像の間での追尾枠の軌跡を計算する。
Ｓ４０７では、これらの軌跡がそれぞれ検知線を構成する線分と交差するか否かを判断し、交差する場合、Ｓ４０９に進んで通過を検知、交差しない場合、Ｓ４０８に進んで通過を非検知と判定し、処理を終了する。
【００２５】
図６における追尾枠Ｆ（６０７）では、統合による消失枠である追尾枠Ｄ（６０５）との軌跡を計算する（Ｓ４０５の処理）。
６０９は、追尾枠Ｄ（６０５）から追尾枠Ｆ（６０７）への第３の追尾枠軌跡を示す。また、当該追尾枠の軌跡を計算（Ｓ４０６処理）するため、追尾枠Ｅ（６０６）との軌跡を計算する。
６１０は、追尾枠Ｅ（６０６）から追尾枠Ｆ（６０７）への第４の追尾枠軌跡を示す。次に、これらの追尾枠軌跡が検知線と交差するか否かを判断する（Ｓ４０７）が、第３の追尾枠軌跡６０９は、検知線と交差しているので、通過検知（Ｓ４０９）と判断される。また、第４の追尾軌跡６１０は、検知線と交差していないため、通過検知は非検知（Ｓ４０８）と判断され、状態判別処理は終了する。
このように、統合前の追尾物体と統合後の追尾物体の対応関係を用いて状態を判別している。
【００２６】
Ｓ４０４において、統合イベントが発生していないと判断された場合、状態判定部１０４は、前画像から現画像の間での追尾枠の軌跡を計算する（Ｓ４０６）。図５における追尾枠Ｂ（３０６）はこの場合に該当する。追尾枠Ａ（３０５）から追尾枠Ｂ（３０６）への軌跡は、追尾枠軌跡Ａ（５０２）で示される。
次に、計算された軌跡と通過検知線と交差するか否かを判定し（Ｓ４０７）、通過の検知、非検知を判定し（Ｓ４０８、Ｓ４０９）、処理を終了する。追尾枠Ｂ（３０６）の場合は、通過検知線と交差しないため、通過は非検知と判定され、状態判別処理は終了する。
【００２７】
このように、物体の通過検知を判断する際、検出物体の分割や統合処理が行われても、分割前のそれぞれの追尾物体情報、または統合前のそれぞれの追尾物体情報を参照することで、通過検知の漏れをなくすことができ、より精度の高い通過検知を実現できる。
【００２８】
＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００２９】
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータを制御するプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【符号の説明】
【００３０】
３０１  前画像における処理結果
３０２  現画像における処理結果
３０３  第１の検出物体
３０４  第２の検出物体
３０５  追尾枠Ａ
３０６  追尾枠Ｂ
３０７  追尾枠Ｃ
５０１  通過検知線
５０２  追尾枠軌跡Ａ
５０３  追尾枠軌跡Ｂ
６０１  前画像における処理結果
６０２  現画像の処理結果
６０３  第３の検出物体
６０４  第４の検出物体
６０５  追尾枠Ｄ
６０６  追尾枠Ｅ
６０７  追尾枠Ｆ
６０８  通過検知線
６０９  第３の追尾枠軌跡
６１０  第４の追尾枠軌跡
【図１】
0005925047.tif 000002
【図２】
0005925047.tif 000003
【図３】
0005925047.tif 000004
【図４】
0005925047.tif 000005
【図５】
0005925047.tif 000006
【図６】
0005925047.tif 000007