(57)【特許請求の範囲】
【請求項１】
監視領域を撮影した画像に基づいて、前記監視領域における物品の置き去りを検出する画像監視装置であって、
前記物品の置き去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記物品の置き去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記基準画像において特定線分が検出され、当該特定線分に対応する特定線分が前記入力画像において検出されなかった場合に、物品の置き去りが発生したと判定する判定部と、
を備えたことを特徴とする画像監視装置。
【請求項２】
前記画像取得部によって順次取得された入力画像のフレーム間の差分から、前記入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部を、さらに備え、
前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の置き去りが発生したかを判定する処理を実行する、請求項１に記載の画像監視装置。
【請求項３】
監視領域を撮影した画像に基づいて、前記監視領域における物品の持ち去りを検出する画像監視装置であって、
前記物品の持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記物品の持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記入力画像において特定線分が検出され、当該特定線分に対応する特定線分が前記基準画像において検出されなかった場合に、物品の持ち去りが発生したと判定する判定部と、
を備えたことを特徴とする画像監視装置。
【請求項４】
前記画像取得部によって順次取得された入力画像のフレーム間の差分から、前記入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部を、さらに備え、
前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の持ち去りが発生したかを判定する処理を実行する、請求項３に記載の画像監視装置。
【請求項５】
監視領域を撮影した画像を取得する画像監視装置と、前記監視領域における物品の置き去りを監視するために遠隔の監視センタに設置され前記画像監視装置にネットワークを介して接続される監視用端末装置と、を備えた監視システムであって、
前記画像監視装置は、
前記物品の置き去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記入力画像を前記監視用端末装置に送信する出力部と、
を備え、
前記監視用端末装置は、
前記入力画像を受信する通信部と、
前記物品の置き去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記基準画像において特定線分が検出され、当該特定線分に対応する特定線分が前記入力画像において検出されなかった場合に、物品の置き去りが発生したと判定する判定部と、
前記判定部の判定結果を報知する報知部と、
を備えたことを特徴とする監視システム。
【請求項６】
監視領域を撮影した画像を取得する画像監視装置と、前記監視領域における物品の持ち去りを監視するために遠隔の監視センタに設置され前記画像監視装置にネットワークを介して接続される監視用端末装置と、を備えた監視システムであって、
前記画像監視装置は、
前記物品の持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記入力画像を前記監視用端末装置に送信する出力部と、
を備え、
前記監視用端末装置は、
前記入力画像を受信する通信部と、
前記物品の持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記入力画像において特定線分が検出され、当該特定線分に対応する特定線分が前記基準画像において検出されなかった場合に、物品の持ち去りが発生したと判定する判定部と、
前記判定部の判定結果を報知する報知部と、
を備えたことを特徴とする監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視領域の画像に基づいて物品の置き去りまたは持ち去りを検出する機能を備えた画像監視装置に関し、特に、物品の置き去りと持ち去りのどちらが発生したのかを判別する技術に関する。
【背景技術】
【０００２】
従来、監視カメラから入力される現在の画像（入力画像）と過去の画像（基準画像）との変化態様から、入力画像中の異常の有無を判定する画像監視システムが知られている。このような画像監視システムの監視目的のひとつには、不特定多数の人々が利用する空間（例えば、銀行の店舗内や駅の構内など）における不審物の置き去りの監視がある。
【０００３】
例えば、このような不審物の置き去りを監視する監視装置として、「人」の存在が検知される前後の画像において、基準画像との差分となる変化領域が相互に対応付けられるか否かの判定を行って、対応付けられない変化領域が存在すると不審物として検出する不審物監視装置が提案されている（特許文献１参照）。このような監視装置によれば、「人」の存在が検知される前後の画像から、当該「人」によって生じたと予想される「画像変動」を「置き去られた不審物」として抽出することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４３００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視装置において「画像変動」が生じるのは、監視領域の画像中に物品（不審物など）が新規に出現した場合だけに限られない。すなわち、監視領域の画像中から物品（既設物など）が消失した場合にも「画像変動」が生じ得る。ところが、従来の監視装置では、このような画像変動が、物品の置き去りによって生じたのか、それとも物品の持ち去りにより生じたのかを判別することができなかった。したがって、従来の監視装置で提供できる監視機能も、物品の置き去り／持ち去りの判別を要しない限定的な監視機能に留まっていた。すなわち、物品の置き去りと持ち去りの一方だけを監視したい場合や、物品の置き去りと持ち去りの何れであるかに応じて適切な報知出力を行いたいといった監視目的には対応することができず、そのような監視サービスを提供するためには、監視員などが画像を見て個別に判断する必要があった。
【０００６】
例えば、物品の置き去りと持ち去りの一方だけを効率的に監視したい場合などには、監視領域の画像から抽出された画像変動が、物品の置き去りによって生じたのか、物品の持ち去りにより生じたのかを判別する機能が求められる。
【０００７】
本発明は、上記の課題に鑑みてなされたもので、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することのできる画像監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像監視装置は、監視領域を撮影した画像に基づいて、前記監視領域における物品の置き去りまたは持ち去りを検出する画像監視装置であって、前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、を備えている。
【０００９】
これにより、監視領域を撮影した画像（入力画像）と予め撮影しておいた画像（基準画像）の差分から、入力画像に含まれる変動領域が抽出される。本発明では、この変動領域（基準画像においては「変動領域に対応する領域」、単に「対応領域」ともいう）の内側まで延びる線分（構造線）の有無に注目して、物品の置き去り／持ち去りの判別を行う。すなわち、変動領域は両画像間で変化のあった領域であるので、入力画像の変動領域や基準画像の対応領域の内外で連続する線分（特定線分）を抽出し、そして、特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定することができる。このようにして、入力画像や基準画像における特定線分（変動領域や対応領域の内側まで延びる線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【００１０】
また、本発明の画像監視装置では、前記判定部は、前記基準画像において特定線分が検出され、当該特定線分に対応する特定線分が前記入力画像において検出されなかった場合に、物品の置き去りが発生したと判定してもよい。
【００１１】
これにより、基準画像で特定線分（対応領域の内側まで延びる線分）が検出されたのに対して、入力画像でこれに対応する特定線分（変動領域の内側まで延びる線分）が検出されなかったということは、基準画像では途切れていなかった特定線分が入力画像では変動領域の発生（物品の出現）によって途切れたことを意味する。したがって、この場合には、物品の置き去りが発生したと判定することができる。
【００１２】
また、本発明の画像監視装置では、前記判定部は、前記入力画像において特定線分が検出され、当該特定線分に対応する特定線分が前記基準画像において検出されなかった場合に、物品の持ち去りが発生したと判定してもよい。
【００１３】
これにより、入力画像で特定線分（変動領域の内側まで延びる線分）が検出されたのに対して、基準画像ではこれに対応する特定線分（対応領域の内側まで延びる線分）が検出されていなかったといことは、基準画像では途切れていた特定線分が入力画像では変動領域の発生（物品の消失）によって途切れなくなったことを意味する。したがって、この場合には、物品の持ち去りが発生したと判定することができる。
【００１４】
また、本発明の画像監視装置では、前記画像取得部によって順次取得された入力画像のフレーム間の差分から、前記入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部を、さらに備え、前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の置き去りまたは持ち去りのいずれが発生したのかを判定する処理を実行してもよい。
【００１５】
これにより、入力画像のフレーム間の差分から、入力画像におけるフレーム間変動領域が抽出される。物品の置き去り（または持ち去り）は、監視領域内に入ってきた人物が監視領域内に物品を置いて（または監視領域内の物品を持って）立ち去る行為である。したがって、フレーム間変動領域が所定フレーム連続して所定面積以下となったこと（監視領域内から人物が立ち去ったこと）をトリガとすることにより、物品の置き去り／持ち去りの判定処理を適切なタイミングで実行することができる。
【００１６】
本発明の監視システムは、監視領域を撮影した画像を取得する画像監視装置と、前記監視領域における物品の置き去りまたは持ち去りを監視するために遠隔の監視センタに設置され前記画像監視装置にネットワークを介して接続される監視用端末装置と、を備えた監視システムであって、前記画像監視装置は、前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、前記入力画像を前記監視用端末装置に送信する出力部と、を備え、前記監視用端末装置は、前記入力画像を受信する通信部と、前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、前記入力画像において前記変動領域の内外で連続する線分、および、前記基準画像において前記変動領域に対応する領域の内外で連続する線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、前記判定部の判定結果を報知する報知部と、を備えている。
【００１７】
このシステムによっても、上記の装置と同様にして、入力画像や基準画像における特定線分（変動領域や対応領域の内側まで延びる線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【発明の効果】
【００１８】
本発明によれば、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態における監視システムの概要図である。
【図２】本発明の実施の形態における画像監視装置の構成を示すブロック図である。
【図３】変動領域の抽出の一例を示した図である。
【図４】物品の置き去りが発生したと判定される特定線分の検出結果の一例を示した図である。
【図５】物品の持ち去りが発生したと判定される特定線分の検出結果の一例を示した図である。
【図６】本発明の実施の形態における画像監視装置の動作を説明するためのフロー図である。
【図７】線分検出処理の流れを示すフロー図である。
【図８】物品の置き去り判定処理の流れを示すフロー図である。
【図９】物品の持ち去り判定処理の流れを示すフロー図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態の監視システムについて、図面を用いて説明する。本実施の形態では、不特定多数の人々が利用する空間（ロッカー室など）の画像監視に用いられる監視システムの場合を例示するが、本発明の範囲はこれに限定されるものではない。
【００２１】
図１は、本実施の形態の監視システムの概略図である。図１に示すように、監視システム１は、監視領域であるロッカー室の画像監視を行うための画像監視装置２を備えている。この画像監視装置２は、監視領域（ロッカー室）の画像を撮影する監視カメラ３に接続されている。また、画像監視装置２は、遠隔の監視センタ４に設置された監視用端末５にも接続されており、監視センタ４の監視員は、監視用端末５のモニタでロッカー室内の異常を監視することができる。
【００２２】
図２は、画像監視装置２の構成を示すブロック図である。図２に示すように、画像監視装置２は、監視カメラ３で撮影した監視領域の画像（入力画像）を取得する画像取得部６と、監視カメラ３で予め撮影しておいた監視領域の画像（基準画像）を記憶する記憶部７と、入力画像や基準画像に種々の画像処理を施す画像処理部８を備えている。また、この画像監視装置２は、監視センタ４の監視用端末５とネットワークを介して通信を行うための通信インターフェースとしての出力部９を備えている。
【００２３】
画像取得部６は、物品の置き去り／持ち去りの検出のための入力画像として、監視カメラ３で撮影した監視領域の現在の画像を取得する機能を備えている。したがって、入力画像は、現画像と呼ぶこともできる。監視カメラ３から取得した入力画像の画像データは、物品の置き去り／持ち去りの判別処理のために画像処理部８へ出力される。なお、本実施の形態では、監視カメラ３と画像監視装置２が別装置である場合を例示したが、本発明の範囲はこれに限定されるものではなく、画像監視装置２は、監視カメラ３を内蔵していてもよい。
【００２４】
記憶部７には、物品の置き去り／持ち去りの検出のための基準画像として、監視カメラ３で予め撮影しておいた監視領域の過去の画像が記憶されている。この基準画像は、監視領域（ロッカー室）の初期状態の画像であり、例えば、人物の存在していない状態の画像（背景画像）である。なお、記憶部７には、基準画像のほかに、フレーム間変動情報や線分情報などの情報（後述する）も記憶される。この記憶部７は、例えば、ＨＤＤやメモリなどで構成されている。
【００２５】
画像処理部８は、ＭＰＵやマイコンなどで構成されており、機能モジュールとして、入力画像に含まれる変動領域を抽出する変動領域抽出部１０と、入力画像や基準画像から線分を抽出する線分検出処理部１１を備えている。また、画像処理部８は、物品の置き去り／持ち去りの検出用の特定線分を抽出する特定線分抽出部１２と、入力画像と基準画像における特定線分の検出結果に基づいて物品の置き去り／持ち去りの判定処理を行う判定部１３を備えている。さらに、この画像処理部８は、入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部１４を備えている。
【００２６】
変動領域抽出部１０は、基準画像と入力画像との差分から、入力画像に含まれる変動領域を抽出する。例えば、基準画像に対する入力画像の輝度の差分値（背景差分値）が、所定の閾値以上の画素が変動領域として抽出される。図３は、変動領域の抽出の一例を示す図である。例えば、図３（ａ）のような入力画像（ロッカー室の現画像）が画像取得部６によって得られ、図３（ｂ）のような基準画像（無人だったときのロッカー室の画像）が記憶部７に記憶されている場合には、図３（ｃ）で斜線で示された領域が、変動領域として抽出される。なお、ここで、「変動領域」とは入力画像に含まれる領域を指し、基準画像に含まれる「変動領域に対応する領域」については「対応領域」と呼ぶことにする。
【００２７】
線分検出処理部１１は、入力画像と基準画像の各々から、それぞれの画像に含まれる所定長さ以上の線分（構造線）を抽出する。例えば、入力画像や基準画像にエッジ検出処理や二値化処理、細線化処理を施し、ハフ変換することによって、画像中の線分が検出される（図７参照）。そして、検出された線分のうち、所定以上（例えば、１００ピクセル以上、あるいは、画像の縦または横の長さの１／５以上など）の長さの線分の情報が、線分情報として記憶部７に記憶される（図２参照）。なお、ここでは、入力画像から抽出された線分を「入力線分」ともいい、基準画像（背景画像）から抽出された線分を「背景線分」ともいう。
【００２８】
特定線分抽出部１２は、入力画像から検出された線分（入力線分）のうち、変動領域の内外で連続する線分（変動領域で途切れていない線分）を、入力画像に含まれる特定線分として抽出する。また、特定線分抽出部１２は、基準画像から検出された線分（背景線分）のうち、対応領域の内外で連続する線分（対応領域で途切れていない線分）を、基準画像に含まれる特定線分として抽出する。例えば、図４の例では、基準画像（背景画像）から対応領域を通る線分Ｘ（対応領域で途切れていない線分Ｘ）が、基準画像の特定線分として抽出される。また、図５の例では、入力画像から変動領域を通る線分Ｘ’（変動領域で途切れていない線分Ｘ’）が、入力画像の特定線分として抽出される。
【００２９】
判定部１３は、入力画像の特定線分と基準画像の特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する機能を備えている。この判定部１３の判定結果は、出力部９から監視用端末５へ送信される。本実施の形態では、判定部１３は、機能モジュールとして、物品の置き去りの判定を行う置き去り判定部１５と、物品の持ち去りの判定を行う持ち去り判定部１６を備えている（図２参照）。
【００３０】
置き去り判定部１５は、基準画像において特定線分が検出され、入力画像においてこの特定線分（基準画像の特定線分）に対応する特定線分が検出されなかった場合に、物品の置き去りが発生したと判定する。図４は、物品の置き去りが発生したと判定される特定線分の検出結果の一例を示した図である。例えば、図４（ａ）のように基準画像（背景画像）からは対応領域を通る特定線分Ｘ（対応領域で途切れない特定線分Ｘ）が検出されるのに対して、図４（ｂ）のように入力画像からは変動領域を通る特定線分が検出されない（変動領域で途切れる線分Ｙ、線分Ｚしか検出されない）場合には、物品の置き去りが発生したと判定される。なお、説明の便宜上、図４（ａ）では、対応領域が破線で示されており、特定線分Ｘが太線で表示されている。また、図４（ｂ）では、変動領域が破線で示されており、線分Ｙと線分Ｚが太線で表示されている。
【００３１】
より具体的には、基準画像から対応領域を通るような特定線分Ｘを抽出した後、入力画像から変動領域の外側で、この特定線分Ｘとの重複度（重なり度合い）が所定の閾値（下限値）より大きい線分（線分Ｙと線分Ｚ）を選択する。そして、変動領域の内側において、その線分（線分Ｙと線分Ｚ）と特定線分Ｘとの重複度が所定の閾値（上限値）より小さければ、物品の置き去りが発生したと判定する。なお、変動領域の外側での重複度の閾値（下限値）は、監視目的などに応じて適切に設定され、例えば７０％に設定される。この閾値（下限値）が低すぎると誤判定による誤報をまねくことがあり、高すぎると置き去りとの判定が行われず失報をまねくことがある。また、変動領域の内側での重複度の閾値（上限値）は、監視目的などに応じて適切に設定され、例えば３０％に設定される。この閾値（上限値）が高すぎると誤判定による誤報をまねくことがあり、低すぎると置き去り判定が行われず失報をまねくことがある。
【００３２】
持ち去り判定部１６は、入力画像において特定線分が検出され、基準画像においてこの特定線分（入力画像の特定線分）に対応する特定線分が検出されなかった場合に、物品の持ち去りが発生したと判定する。図５は、物品の持ち去りが発生したと判定される特定線分の検出結果の一例を示した図である。例えば、図５（ｂ）のように入力画像からは変動領域を通る特定線分Ｘ’（変動領域で途切れない特定線分Ｘ’）が検出されるのに対して、図５（ａ）のように基準画像からは対応領域を通る特定線分が検出されない（対応領域で途切れる線分Ｙ’、線分Ｚ’しか検出されない）場合には、物品の持ち去りが発生したと判定される。なお、説明の便宜上、図５（ａ）では、対応領域が破線で示されており、線分Ｙ’と線分Ｚ’が太線で表示されている。また、図５（ｂ）では、変動領域が破線で示されており、特定線分Ｘ’が太線で表示されている。
【００３３】
より具体的には、入力画像から変動領域を通るような特定線分Ｘ’を抽出した後、基準画像から対応領域の外側で、この特定線分Ｘ’との重複度（重なり度合い）が所定の閾値（下限値）より大きい線分（線分Ｙ’と線分Ｚ’）を選択する。そして、対応領域の内側において、その線分（線分Ｙ’と線分Ｚ’）と特定線分Ｘ’との重複度が所定の閾値（上限値）より小さければ、物品の持ち去りが発生したと判定する。なお、対応領域の外側での重複度の閾値（下限値）は、監視目的などに応じて適切に設定され、例えば７０％に設定される。この閾値（下限値）が低すぎると誤判定による誤報をまねくことがあり、高すぎると持ち去り判定が行われず失報をまねくことがある。また、対応領域の内側での重複度の閾値（上限値）は、監視目的などに応じて適切に設定され、例えば３０％に設定される。この閾値（上限値）が高すぎると誤判定による誤報をまねくことがあり、低すぎると持ち去り判定が行われず失報をまねくことがある。
【００３４】
フレーム差分抽出部１４は、画像取得部６によって順次取得した入力画像（現画像）のフレーム間の差分から、入力画像におけるフレーム間変動領域を抽出する。例えば、ロッカー室内で「人」が動いるときには、その「人」に対応する領域がフレーム間変動領域として抽出される。そして、その「人」がロッカー室から退出し、そのロッカー室内に他に動くものが何もないときには、フレーム間変動領域が検出されなくなる。このように、順次フレームごとに抽出されたフレーム間変動領域の情報（例えば、各フレームごとのフレーム間変動領域の面積）が、フレーム間変動情報として記憶部７に記憶される。そして、判定部１３は、フレーム間変動領域が所定フレーム（例えば、１０フレーム）連続して所定面積（例えば、１０００ピクセル、あるいは、画像面積の１％）以下であったことをトリガーとして、物品の置き去り／持ち去りの判定処理を実行する。
【００３５】
以上のように構成された画像監視装置２について、図面を参照してその動作を説明する。
【００３６】
まず、画像監視装置２で実行される全体の処理について説明する。図６は、画像監視装置２の全体の処理の流れを説明するフロー図である。図６に示すように、画像監視装置２は、監視カメラ３から監視領域の現在の画像（入力画像）の画像データを取得すると（Ｓ１）、入力画像におけるフレーム間変動領域を抽出する。そして、フレーム間変動領域の面積が所定フレーム連続して所定の閾値以下であった場合には（Ｓ２）、記憶部７に記憶されている基準画像（背景画像）の画像データを取得して（Ｓ３）、基準画像と入力画像の差分から変動領域を抽出する（Ｓ４）。
【００３７】
その後、基準画像（背景画像）に含まれる所定長さ以上の線分（背景線分）を抽出し（Ｓ５）、同様に、入力画像に含まれる所定長さ以上の線分（入力線分）を抽出する（Ｓ６）。そして、入力画像の特定線分と基準画像の特定線分の検出結果に基づいて、物品の置き去りが発生したかの判定（置き去り判定）を行い（Ｓ７）、さらに、物品の持ち去りが発生したかの判定（持ち去り判定）を行う（Ｓ８）。
【００３８】
つぎに、画像監視装置２で実行される各処理について説明する。図７は、線分検出処理の流れを示すフロー図である。図７に示すように、入力画像や基準画像から線分を抽出する場合には、まず、入力画像や基準画像にエッジ検出処理を施して、エッジ画像を作成する（Ｓ１０）。そのエッジ画像に二値化処理と細線化処理を施して、細線化画像を作成する（Ｓ１１）。そして、その細線化画像をハフ変換して（Ｓ１２）、画像中に含まれる線分（構造線）が検出される（Ｓ１３）。
【００３９】
例えば、細線化処理では、エッジ画像中に５画素の太さの線が存在する場合に、その線の外側から１画素ずつ削っていって（線を細くしていって）、１画素の太さの線（画素の並び）が生成される。そして、ハフ変換では、細線化画像中の線（画素の並び）に段差（１画素分の段差）が存在する場合に、その線（段差のある画素の並び）が、直線または正円の円弧に近似される。したがって、この線分検出処理で検出される「線分」には、直線状の線分だけでなく、円弧状の線分も含まれる。
【００４０】
図８は、物品の置き去り判定処理の流れを示すフロー図である。物品の置き去り判定を行う場合には、まず、基準画像（背景画像）に含まれる線分（背景線分）の一つを選択する（Ｓ２０）。選択した背景線分が対応領域を通る場合には（Ｓ２１）、入力画像の変動領域外でその背景線分との重複度が高い線分（入力線分）を選択する（Ｓ２２）。そして、入力画像の変動領域内で、その入力線分と背景線分との重複度を算出し（Ｓ２３）、その重複度が閾値より小さければ（Ｓ２４）、基準画像で見えていた構造線が入力画像で隠されたことになるので、物品の置き去りが発生したと判定する（Ｓ２５）。この処理を、基準画像（背景画像）に含まれる線分（背景線分）の数だけ繰り返す（Ｓ２６）。
【００４１】
ここで、重複度とは、線分と線分の重なり度合いをいう。例えば、線分が重なる割合（＝線分の重なっている部分の長さ／線分の全体の長さ）が高い線分が、重複度の高い線分として選択される。また、線分が直線状である場合には、線分の傾きが近い線分が、重複度の高い線分として選択されてもよい。
【００４２】
図９は、物品の持ち去り判定処理の流れを示すフロー図である。物品の持ち去り判定を行う場合には、まず、入力画像に含まれる線分（入力線分）の一つを選択する（Ｓ３０）。選択した入力線分が変動領域を通る場合には（Ｓ３１）、基準画像（背景画像）の対応領域外でその入力線分との重複度が高い線分（背景線分）を選択する（Ｓ３２）。そして、背景画像の対応領域内で、その背景線分と入力線分との重複度を算出し（Ｓ３３）、その重複度が閾値より小さければ（Ｓ３４）、入力画像で見えている構造線が背景画像で隠されていたことになるので、物品の持ち去りが発生したと判定する（Ｓ３５）。この処理を、入力画像に含まれる線分（入力線分）の数だけ繰り返す（Ｓ３６）。
【００４３】
このような本発明の実施の形態の画像監視装置２によれば、監視領域の画像に変動領域が発生したことだけでなく、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【００４４】
すなわち、本実施の形態では、図３に示すように、監視領域を撮影した画像（入力画像）と予め撮影しておいた画像（基準画像）の差分から、入力画像に含まれる変動領域が抽出される。本発明では、この変動領域（基準画像においては対応領域）の内側まで延びる特定線分（構造線）の有無に注目して、物品の置き去り／持ち去りの判別を行う。この場合、特定線分を見つけるために、入力画像の変動領域や基準画像の対応領域の「内側」に注目していると言うこともできる。すなわち、変動領域や対応領域の内側まで延びている線分があれば、その線分を特定線分として抽出するのである。このように、入力画像の変動領域や基準画像の対応領域の内外で連続する線分（特定線分）を抽出し、特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定することができる。このようにして、入力画像や基準画像における特定線分（変動領域や対応領域の内側まで延びる線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【００４５】
例えば、図４に示すように、基準画像で特定線分Ｘ（対応領域の内側まで延びる線分）が検出されたのに対して、入力画像でこれに対応する特定線分（変動領域の内側まで延びる線分）が検出されなかったということは、基準画像では途切れていなかった特定線分Ｘが入力画像では変動領域の発生（物品の出現）によって途切れたことを意味する。したがって、この場合には、物品の置き去りが発生したと判定することができる。
【００４６】
また、図５に示すように、入力画像で特定線分Ｘ’（変動領域の内側まで延びる線分）が検出されたのに対して、基準画像ではこれに対応する特定線分（対応領域の内側まで延びる線分）が検出されていなかったといことは、基準画像では途切れていた特定線分が入力画像では変動領域の発生（物品の消失）によって途切れなくなったことを意味する。したがって、この場合には、物品の持ち去りが発生したと判定することができる。
【００４７】
また、本実施の形態では、入力画像のフレーム間の差分から、入力画像におけるフレーム間変動領域が抽出される。物品の置き去り（または持ち去り）は、監視領域内に入ってきた人物が監視領域内に物品を置いて（または監視領域内の物品を持って）立ち去る行為である。したがって、フレーム間変動領域が所定フレーム連続して所定面積以下となったこと（監視領域内から人物が立ち去ったこと）をトリガとすることにより、物品の置き去り／持ち去りの判定処理を適切なタイミングで実行することができる。
【００４８】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００４９】
例えば、上述の実施の形態では、画像監視装置２で置き去りまたは持ち去りを判定して判定結果を監視センタ４の監視用端末５に送信する例について説明したが、本発明の範囲はこれに限定されず、監視センタ４にて置き去りまたは持ち去りを判定するようにしてもよい。
【００５０】
この場合、画像監視装置２の各部構成（記憶部７や画像処理部８など）が、監視センタ４の監視用端末５に設けられる。画像監視装置２は、監視カメラ３にて取得された監視領域の画像（入力画像）を、出力部から監視用端末５に送信する。そして、監視用端末５は、通信部を介して受信した入力画像（画像監視装置２から送信された入力画像）を予め記憶した基準画像と比較して変動領域を抽出し、上述の実施の形態と同様に置き去りまたは持ち去りの発生有無を判定し、その判定結果をモニタ等に出力して、監視員に報知する。
【産業上の利用可能性】
【００５１】
以上のように、本発明にかかる画像監視装置は、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができるという効果を有し、不特定多数の人々が利用する空間の画像監視に用いられる監視システム等に適用され、有用である。
【符号の説明】
【００５２】
１  監視システム
２  画像監視装置
３  監視カメラ
４  監視センタ
５  監視用端末
６  画像取得部
７  記憶部
８  画像処理部
９  出力部
１０  変動領域抽出部
１１  線分検出処理部
１２  特定線分抽出部
１３  判定部
１４  フレーム差分抽出部
１５  置き去り判定部
１６  持ち去り判定部
【図１】
0005405365.tif 000002
【図２】
0005405365.tif 000003
【図３】
0005405365.tif 000004
【図４】
0005405365.tif 000005
【図５】
0005405365.tif 000006
【図６】
0005405365.tif 000007
【図７】
0005405365.tif 000008
【図８】
0005405365.tif 000009
【図９】
0005405365.tif 000010