(57)【要約】【課題】監視空間内の不審物を短時間でより確実に監視する。【解決手段】監視空間に人の存在が検出されないときに監視空間を撮像した画像から生成されたエッジ画像を基準画像として、人の存在が検出される前に監視空間を撮像した画像から生成されたエッジ画像と、基準画像と、の間の変化を第１の変化領域として抽出し、人の存在が検出されなくなった後に監視空間を撮像した画像から生成されたエッジ画像と、基準画像と、の間の変化を第２の変化領域として抽出し、第１の変化領域と第２の変化領域との対応付けを行い、第２の変化領域のうち第１の変化領域と対応付けられない変化領域が存在する場合に不審物として検出する。【選択図】図１
2008243009.tif 000002
【特許請求の範囲】
【請求項１】
所定時間おきに監視空間を撮像する撮像手段と、
前記監視空間に人が存在するか否かを検出する人体検出手段と、
前記撮像手段において撮像された画像からエッジを抽出してエッジ画像を生成するエッジ画像生成手段と、
前記人体検出手段において人の存在を検出していない状態にて撮像された画像、から生成されたエッジ画像を基準画像とする基準画像生成手段と、
前記人体検出手段において人の存在を検出している状態から人の存在を検出していない状態となった場合に、
当該人の存在を検出する前に撮像された画像、から生成された第１エッジ画像と、前記基準画像と、の間の変化を第１の変化領域として抽出する第１抽出手段と、
当該人の存在を検出していない状態となった後に撮像された画像、から生成された第２エッジ画像と、前記基準画像と、の間の変化を第２の変化領域として抽出する第２抽出手段と、
前記第１の変化領域と前記第２の変化領域との対応付けを行う対応付け手段と、
前記第２の変化領域のうち前記第１の変化領域と対応付けられない変化領域が存在する場合に不審物の存在を検出する不審物検出手段と、
を備えることを特徴とする不審物監視装置。
【請求項２】
前記第２抽出手段は、過去の第２の変化領域からエッジ位置が変動した画像を第２の変化領域から除外することを特徴とする請求項１に記載の不審物監視装置。
【請求項３】
前記人体検出手段が人の存在を検出していた時間を計測する計時手段をさらに備え、
前記対応付け手段は、前記計時手段で計測された時間にエッジ位置が所定速度にて移動したときの移動量だけ移動させて前記第１の変化領域と前記第２の変化領域とを対応付けることを特徴とする請求項１又は２に記載の不審物監視装置。
【請求項４】
前記基準画像生成手段は、エッジ位置が日周運動により移動するために十分な時間間隔以上前に撮像された画像から生成されたエッジ画像を前記第１抽出手段で用いる基準画像とし、
前記人の存在が検出される直前の画像を含むエッジ画像を前記第２抽出手段で用いる基準画像とすることを特徴とする請求項１〜３のいずれか１つに記載の不審物監視装置。
【請求項５】
前記基準画像生成手段は、エッジ位置が日周運動により移動するために十分な時間間隔以上前に撮像された画像から生成されたエッジ画像を第３抽出手段で用いる基準画像とし、
前記第３抽出手段は、前記第２エッジ画像と当該基準画像との間の変化を第３の変化領域として抽出し、
前記対応付け手段は、前記第１の変化領域及び前記第２の変化領域の両方とに前記第３の変化領域を対応付けることを特徴とする請求項１〜４のいずれか１つに記載の不審物監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間内の不審物を監視する不審物監視装置に関する。
【背景技術】
【０００２】
近年、銀行等に設置された自動取引装置に小型カメラを不正に設置して暗証番号入力操作を盗撮したり、スキミング装置を不正に設置してカード情報を盗み取ったりする犯罪が問題となっている。このため、このような犯罪による被害を防ぐために自動取引装置に設置された不審物を検出して通報することが求められている。
【０００３】
特許文献１には、侵入者等の侵入物体が監視空間にて検知され、その後、監視空間外へ出たときに、その前後の監視空間を撮像した画像を比較して、監視空間の画像の変化を判定することによって置き去られた不審物などを検出する技術が開示されている。
【０００４】
また、特許文献２には、監視空間を撮像した時系列的に連続した複数の画像を積分して、移動物体による画像をキャンセルした比較画像を生成し、比較画像と基準画像とを比較することによって放置物などの静止物体のみを検出する技術が開示されている。
【０００５】
【特許文献１】特開平５−７３６３号公報
【特許文献２】特開平１０−２８５５８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、小型カメラやスキミング装置等の不審物は自動取引装置と似た色で偽装されることが多い。このように偽装された不審物を確実に検知するためには、自動取引装置を撮像する監視カメラの画角を小さくするなどして解像度を高くしたり、画像処理によって僅かな変化を検出するように調整したりする必要がある。
【０００７】
また、自動取引装置を撮像した画像には、窓から射し込む太陽光、窓に貼られた掲示物の影、銀行内の構造物の影等が映り込んでしまうことがある。これらの光や影は、自動取引装置の前に人が滞在している間に太陽の移動に伴って移動する。
【０００８】
従来の不審物監視装置において検出感度を高くすると、自動取引装置の前に人が滞在している間に画像内で移動した光や影を不審物として誤検出してしまうおそれがある。
【０００９】
また、太陽の移動に伴う画像内の光や影の移動速度は非常に遅いため、従来技術を用いてこれらの光や影の移動をキャンセルしようとすると、不審物を検出するまでに長時間を要してしまう問題があった。
【００１０】
本発明は、上記課題の少なくとも１つを解決するためになされたものであって、短時間で監視空間内の不審物をより確実に監視することを可能とする不審物監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の１つの態様は、所定時間おきに監視空間を撮像する撮像手段と、前記監視空間に人が存在するか否かを検出する人体検出手段と、前記撮像手段において撮像された画像からエッジを抽出してエッジ画像を生成するエッジ画像生成手段と、前記人体検出手段において人の存在を検出していない状態にて撮像された画像、から生成されたエッジ画像を基準画像とする基準画像生成手段と、前記人体検出手段において人の存在を検出している状態から人の存在を検出していない状態となった場合に、当該人の存在を検出する前に撮像された画像、から生成された第１エッジ画像と、前記基準画像と、の間の変化を第１の変化領域として抽出する第１抽出手段と、当該人の存在を検出していない状態となった後に撮像された画像、から生成された第２エッジ画像と、前記基準画像と、の間の変化を第２の変化領域として抽出する第２抽出手段と、前記第１の変化領域と前記第２の変化領域との対応付けを行う対応付け手段と、前記第２の変化領域のうち前記第１の変化領域と対応付けられない変化領域が存在する場合に不審物の存在を検出する不審物検出手段と、を備えることを特徴とする不審物監視装置である。
【００１２】
ここで、前記第２抽出手段は、過去の第２の変化領域からエッジ位置が変動した画像を第２の変化領域から除外することが好適である。
【００１３】
また、前記人体検出手段が人の存在を検出していた時間を計測する計時手段をさらに備え、前記対応付け手段は、前記計時手段で計測された時間にエッジ位置が所定速度にて移動したときの移動量だけ移動させて前記第１の変化領域と前記第２の変化領域とを対応付けることも好適である。
【００１４】
また、前記基準画像生成手段は、エッジ位置が日周運動により移動するために十分な時間間隔以上前に撮像された画像から生成されたエッジ画像を前記第１抽出手段で用いる基準画像とし、前記人の存在が検出される直前の画像を含むエッジ画像を前記第２抽出手段で用いる基準画像とするものとしてもよい。
【００１５】
また、前記基準画像生成手段は、エッジ位置が日周運動により移動するために十分な時間間隔以上前に撮像された画像から生成されたエッジ画像を第３抽出手段で用いる基準画像とし、前記第３抽出手段は、前記第２エッジ画像と当該基準画像との間の変化を第３の変化領域として抽出し、前記対応付け手段は、前記第１の変化領域及び前記第２の変化領域の両方とに前記第３の変化領域を対応付けることが好適である。
【発明の効果】
【００１６】
本発明によれば、監視空間内の不審物を短時間でより確実に監視することができる。
【発明を実施するための最良の形態】
【００１７】
本発明の実施の形態における不審物監視装置１は、図１に示すように、撮像部２、記憶部３、信号処理部４及び出力部５を含んで構成される。不審物監視装置１は、監視空間を撮像し、その監視画像を画像処理して不審物を検知する。撮像部２、記憶部３、信号処理部４及び出力部５は互いに情報伝達可能に接続される。
【００１８】
また、不審物監視装置１は、電話回線やインターネット等の情報伝達手段を介して、センタ装置（図示しない）に情報伝達可能に接続される。不審物監視装置１とセンタ装置とは、電話番号やネットワークアドレスを用いて情報の送受信を行う。
【００１９】
センタ装置は、監視員等が滞在する監視センタ等に設置されるホストコンピュータである。センタ装置は、不審物監視装置１からの通報情報を受信する通信部、通報情報を表示する表示部等を含んで構成される。表示部は、液晶ディスプレイやＣＲＴディスプレイ等で構成される。
【００２０】
撮像部２は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される所謂監視カメラである。撮像部２は、その監視画像を信号処理部４へ出力する。撮像部２は、所定時間おきに監視空間を繰り返し撮像する。この繰り返しをサイクルと称する。
【００２１】
記憶部３は、ＲＯＭやＲＡＭ等のメモリ装置で構成される。記憶部３は、信号処理部４からアクセス可能に接続される。記憶部３は、各種プログラムや各種設定を予め記憶する。これら各種プログラムや各種設定は、信号処理部４より読み出されて使用される。また、記憶部３は、信号処理部４における画像処理にて生成される画像情報や各種情報を適宜格納する。これら画像情報等も信号処理部４により読み出されて使用される。
【００２２】
信号処理部４は、ＣＰＵ、ＤＳＰ、ＭＣＵ、ＩＣ等の演算回路を含んで構成される。信号処理部４は、撮像部２、記憶部３及び出力部５と情報伝達可能に接続される。信号処理部４は、人体検出手段４０、エッジ画像生成手段４１、基準画像生成手段４２、光境界参照画像生成手段４３、変化領域抽出手段４４、対応付け手段４５、不審物検出手段４６及び検出状態管理手段４７を含んで構成される。信号処理部４は、これらの手段における処理を記述したプログラムを記憶部３から読み出して実行することにより、これらの手段における機能を実現する。信号処理部４は、撮像部２から入力される監視画像を画像処理して不審物を検出し、不審物を検出する検知信号等を出力部５へ出力する。また、画像処理により生成された画像情報等の各種データを記憶部３に格納させたり、記憶部３から読み出したりする。
【００２３】
出力部５は、コンピュータをネットワークや電話回線に接続するためのインターフェースを含んで構成される。出力部５は、信号処理部４から出力される異常検知信号や監視画像等の情報をセンタ装置へ送信し、センタ装置から指示等を受信するために用いられる。
【００２４】
以下、不審物監視装置１における処理について、図１の機能ブロック図並びに図２及び図５のフローチャートを参照しつつ説明する。
【００２５】
不審物監視装置１に電源が投入されると、撮像部２は監視空間の撮像及び出力を開始する。また、信号処理部４は記憶部３から各種プログラム及び各種設定を読み出して図２のフローチャートに示す処理を開始する。
【００２６】
起動後、信号処理部４は少なくとも１回監視画像を取得して、以下の処理を含む初期化を行う。（１）人体検出状態を「人体なし」、不審物検出状態を「不審物なし」に初期化して記憶部３へ記憶させる。（２）監視画像を記憶部３に記憶させる。（３）基準画像の初期化を行う。すなわち、撮像部２から入力された監視画像をエッジ画像生成手段４１において処理してエッジ画像を生成し、生成されたエッジ画像を基準画像生成手段４２により基準画像として記憶部３に記憶させる。
【００２７】
監視画像による基準画像の初期化が終わると、信号処理部４は、撮像部２から所定時間おきに監視画像が入力されるのに応じて、フローチャートに示す画像処理を繰り返し行う。
【００２８】
ステップＳ２００では、信号処理部４は、撮像部２から監視空間を撮像した監視画像を取得する。信号処理部４は、取得した監視画像を記憶部３に格納する。
【００２９】
ステップＳ２０５では、人体検出手段４０において、撮像部２から取得した監視画像と前サイクル以前に記憶部３に格納された監視画像との差分を求め、各画素の差分値が所定の閾値以上である画素数が所定値以上である場合に「人体あり」、そうでない場合には「人体なし」と判断する。
【００３０】
なお、人体検出手段４０における処理はこれに限定されるものではない。すなわち、監視空間に人が侵入したことが検知できればよく、例えば、監視空間に赤外センサや音センサ等を設置して人が監視空間に侵入したことを検知してもよい。
【００３１】
ステップＳ２１０では、検出状態管理手段４７において、人体検出手段４０の検出結果に基づいて不審物検出状態及び人体検出状態を更新する。不審物検出状態には「不審物あり」，「不審物存在可能性あり」，「不審物なし」の３つの状態がある。人体検出状態には「人がいる」，「人がいない」の２つの状態がある。
【００３２】
検出状態管理手段４７は、まず、記憶されている人体検出状態が「人体あり」であり、かつ、ステップＳ２０５での検出結果が「人体なし」であった場合に、不審物の検出状態を「不審物存在可能性あり」に更新する。これ以外の場合、不審物検出状態は更新しない。すなわち、本実施の形態では、人により設置される不審物を検出対象としており、監視領域に滞在していた人が立ち去った後に不審物が検出され得るからである。「不審物存在可能性あり」の状態は、不審物が存在する可能性があって、以下の不審物検出処理を行う必要があることを意味する。
【００３３】
次に、検出状態管理手段４７は、記憶されている人体検出状態にステップＳ２０５において人体検出手段４０の検出結果を上書きして人体検出状態を最新の状態に更新する。
【００３４】
また、検出状態管理手段４７は、滞在時間、すなわち人体検出状態が「人体あり」で継続した時間を計時する。検出状態管理手段４７は、図示しない計時手段（図示しない）を含んでおり、人体検出状態が「人体なし」から「人体あり」へ変化したときの時刻を取得して記憶部３に記憶させておき、「人体あり」から「人体なし」へ変化したときの時刻を取得して、記憶されている時刻との差を演算して滞在時間とする。検出状態管理手段４７は、得られた滞在時間を記憶部３へ記憶させる。
【００３５】
なお、滞在時間の計時処理は、「人体あり」が継続した時間を計時できるものであればよく、例えば、「人体あり」が継続した時間をタイマー（図示しない）で計測する処理、又は、「人体あり」が継続したサイクル数をカウントして時間に換算する処理であってもよい。
【００３６】
ステップＳ２１５では、人体検出状態が「人体あり」なら現サイクルの処理を終了し、人体検出状態が「人体なし」ならステップＳ２２０へ処理を移行させる。
【００３７】
ステップＳ２２０では、エッジ画像生成手段４１において、監視画像にＳｏｂｅｌオペレータ等の手法を適用してエッジ画像を生成し、生成したエッジ画像を記憶部３へ記憶させる。
【００３８】
図３（Ａ）は、監視画像を模式的に示した図である。自動取引装置に不審物７０が設置され、領域７１に太陽光が射し込んでいる。図３（Ｂ）は、図３（Ａ）の監視画像から生成されたエッジ画像を模式的に示したものである。エッジ画像には、監視対象である自動取引装置の輪郭の他、自動取引装置に不審物が設置されていればその不審物の輪郭７２、太陽光が監視空間に射し込んでいれば光と影の境界線７３が含まれる。ここでは、太陽光による光と影の境界線を光境界と称する。光境界は、太陽の日周運動に伴い移動する。この移動速度は人体等の移動速度に比べて極めて遅い。
【００３９】
ステップＳ２２５では、不審物検出状態が「不審物存在可能性あり」ならステップＳ２４０へ処理を移行させて不審物検出処理等を行い、「不審物なし」の状態であればステップＳ２３０へ処理を移行して基準画像生成処理等を行う。
【００４０】
ステップＳ２３０では、基準画像生成手段４２において、現サイクルのエッジ画像を基準画像として記憶部３へ記憶させる。基準画像には、過去の時点で生成された基準画像と、現時点で生成された基準画像との２種類がある。前者には時間Ｃ以上前の時点で生成された基準画像が含まれる。ステップＳ２３０における基準画像生成処理は、ステップＳ２１５，２２５の判断において人も不審物も検出されていないときに行われるのであるから、いずれの基準画像にも人及び不審物は含まれてない。
【００４１】
監視画像上で光境界の位置（エッジ位置）は、太陽の日周運動により移動する。時間Ｃは、任意の時点で撮像された監視画像上に存在する光境界のエッジ位置が、時間Ｃだけ経過した時点で撮像された監視画像上において対応する光境界のエッジ位置と重なり合わないような、十分に長い時間間隔である。時間Ｃは、事前の実験等による知見に基づき予め設定することができる。例えば、時間Ｃは数分から数十分に設定することが好適である。ここでは、１０分間とする。
【００４２】
時間Ｃ以上前の時点で生成された基準画像を常に記憶しておくために、基準画像生成手段４２は、前回の基準画像の生成から一定時間以上経過していれば、現サイクルのエッジ画像を基準画像として記憶部３に記憶させる。このとき、最も古い基準画像を最新の基準画像で更新することによって、基準画像は記憶部３に循環的に記憶される。本例では、５分間隔で基準画像を更新し、最新の６つの基準画像を保持するように循環的に記憶する。
【００４３】
循環的に保存されている基準画像５０ａ〜５０ｆが図４に示されている。本実施の形態では、最新の２つの基準画像５０ｅ，５０ｆを除いた基準画像５０ａ〜５０ｄが、現時点から時間Ｃ以上前の時点で生成された基準画像として、光境界参照画像生成手段４３及び対応付け手段４５にて用いられる。
【００４４】
現時点で生成された基準画像を常に記憶しておくために、基準画像生成手段４２は、循環記憶させるメモリ領域とは異なるメモリ領域に現サイクルのエッジ画像を基準画像として毎回上書きして記憶させる。図４においては、基準画像５０ｇが毎回上書きされる最新の基準画像を示している。なお、人体が検出されている間は基準画像の生成は行われないので、ステップＳ２４０にて不審物検出処理を行う時点で基準画像５０ｇは人体が検出される直前の基準画像となる。
【００４５】
本実施の形態では、人体が検出される直前の基準画像５０ｇを含む基準画像５０ａ〜５０ｇが、変化領域抽出手段４４にて用いられる。
【００４６】
ステップＳ２３５では、光境界参照画像生成手段４３（本発明の第１抽出手段に相当）において、基準画像のうち現時点から時間Ｃ以上前に生成された複数の基準画像を選択して、選択した各基準画像と現サイクルのエッジ画像との互いに対応する画素の画素値の差を算出し、その差が所定の閾値以上である画素の画素値を１、そうでない画素の画素値を０とする差分処理を行って複数の差分画像を生成し、生成されたそれら複数の差分画像の論理積画像を光境界参照画像として算出する。光境界参照画像生成手段４３は、生成された光境界参照画像を記憶部３へ記憶させる。以前のサイクルにて生成された光境界参照画像が既に記憶されている場合には、新たに生成された光境界参照画像により上書きする。
【００４７】
図４（Ａ）は、ステップＳ２３５での処理を模式的に示したものである。本実施の形態では、人体検出手段４０により人体の存在が検出される前の監視画像から生成されたエッジ画像５１ａ（本発明の第１エッジ画像に相当）と、エッジ画像５１ａが生成された時点から時間Ｃ以上前の時点で生成された基準画像５０ａから５０ｄのそれぞれとの差分処理を行って複数の差分画像を生成し、これら複数の差分画像の論理積を演算して光境界参照画像５２を生成する。光境界参照画像５２において画素値が１の画素の集合である光境界領域５３は、エッジ画像５１ａと基準画像５０ａ〜５０ｄとの間で生じた変化領域（本発明の第１の変化領域に相当）を表している。
【００４８】
エッジ画像５１ａより時間Ｃ以上前に生成された基準画像を用いたことによって、光境界領域５３の欠けは最小限となり、対応付け手段４５において対応付けの基礎となる光境界領域５３の形状が確実に抽出される。また、複数の差分画像の論理積をとることにより光境界以外のノイズが除去できる。そのため、光境界領域５３と後述する光境界候補画像５７中の光境界領域５９との一致を得やすく、確実な対応付けが可能となる。
【００４９】
このようにして生成された光境界参照画像５２は、人や不審物、自動取引装置等の背景の画像情報を含まず、現サイクルにおける光境界領域５３（光境界領域の位置と形状の画像情報）のみを含み得る。また、光境界参照画像の生成は、人体ありのとき又は不審物検出処理中は行われないので、不審物検出処理中は人体が検出される直前に生成された光境界参照画像が記憶部３に保持されていることになる。
【００５０】
ステップＳ２４０では、不審物検出手段４６において不審物検出処理が行われる。不審物検出処理は、図５に示すフローチャートで示されるサブルーチンによって処理される。この不審物検出処理は、複数サイクルに亘って行われる場合があり、その場合、不審物検出手段４６は変化領域の情報を記憶部３へ記憶させておき、次のサイクルにて過去の変化領域の情報として利用する。
【００５１】
ステップＳ３００では、変化領域抽出手段４４において、記憶されている複数の基準画像の各々と、現サイクルのエッジ画像と、の互いに対応する画素の画素値の差を算出し、その差が所定の閾値以上である画素の画素値を１、そうでない画素の画素値を０とする差分処理を行って複数の差分画像を生成し、生成された複数の差分画像の論理積画像を不審物検出用画像とする。
【００５２】
ステップＳ３０５では、変化領域抽出手段４４（本発明の第２抽出手段に相当）において、不審物検出処理中にエッジ位置が変動した画素を除外する補正を行う。まず、変化領域抽出手段４４は、過去の変化領域の情報を記憶部３から読み出して、不審物検出用画像との論理積画像を生成し、生成された論理積画像を補正された不審物検出用画像とする。
【００５３】
このように補正された不審物検出用画像は、サイクルが進むにつれて、時間的に撮像位置が変動するエッジ位置を写し出した画素は不審物検出用画像から除外されていき、位置が時間的に変動しない画素、すなわち時間的に撮像位置が変化しない不審物が写された画素のみが変化領域として画像内に残ることになる。但し、不審物検出処理の初めのサイクルでは、過去の変化領域の情報は記憶されておらず、補正された論理積画像を生成する処理は省略することができる。
【００５４】
次に、変化領域抽出手段４４は、不審物検出用画像において画素値が１の画素のうち隣接する画素の画素値も１である画素同士をまとめて１つの変化領域（本発明の第２の変化領域に相当）としてグルーピングする。さらに、得られた各変化領域に各々を識別するラベル（識別番号等）を割り当てる。続いて、変化領域抽出手段４４は、不審物検出用画像とラベルとを変化領域の情報として記憶部３へ記憶させる。
【００５５】
図４（Ｂ）は、ステップＳ３００，３０５での処理を模式的に示したものである。本実施の形態では、人体検出手段４０が人体の存在を検出しなくなった後の監視画像から生成されたエッジ画像５１ｂ（本発明の第２エッジ画像に相当）と、人体が検出される直前の基準画像５０ｇを含む基準画像５０ａ〜５０ｇの各々との差分処理を行って複数の差分画像を生成し、これら複数の差分画像の論理積を演算して不審物検出用画像５４を生成する。不審物検出用画像５４において画素値が１の画素の集合である不審物領域５５及び光境界領域５６は、エッジ画像５１ｂと基準画像５０ａ〜５０ｇとの間で生じた変化領域（本発明の第２の変化領域に相当）を表している。不審物検出用画像５４には、自動取引装置等の背景、人の画像情報は含まれない。
【００５６】
エッジ画像５１ｂに時間的に最も近い基準画像５０ｇを含めることによって、光境界領域５６の欠けは最大限となる。そのため、光境界領域５６は、後述する光境界画像６１中の光境界領域５９に包含される関係となる。また、複数の差分画像の論理積をとることにより光境界と不審物以外のノイズが除去できる。対応付け手段４５がこの包含関係を利用して確実に光境界領域同士を対応付けることができる。
【００５７】
ステップＳ３１０では、変化領域があれば処理をステップＳ３２０へ移す。一方、変化領域がなければ「不審物なし」と判断してステップＳ３１５へ処理を移し、過去の変化領域の情報を消去したうえで不審物検出処理を終了する。
【００５８】
ステップＳ３２０では、対応付け手段４５において、基準画像のうち現サイクルから時間Ｃ以上前に生成された複数の基準画像を選択し、選択された各基準画像と現サイクルのエッジ画像との互いに対応する画素の画素値の差を算出し、その差が所定の閾値以上である画素の画素値を１、そうでない画素の画素値を０とする差分処理を行って複数の差分画像を生成し、生成された複数の差分画像の論理積画像を光境界候補画像とする。
【００５９】
図４（Ｃ）は、ステップＳ３２０での処理（本発明の第３抽出手段に相当）を模式的に示したものである。本実施の形態では、人体検出手段４０が人体の存在を検出しなくなった後の監視画像から生成されたエッジ画像５１ｂ（本発明の第２エッジ画像に相当）と、エッジ画像５１ｂが生成された時点から時間Ｃ以上前の時点で生成された基準画像５０ａ〜５０ｄの各々との差分処理を行って複数の差分画像を生成し、これら複数の差分画像の論理積を演算して光境界候補画像５７を生成する。光境界候補画像５７において画素値が１の画素の集合である不審物領域５８及び光境界領域５９は、エッジ画像５１ｂと基準画像５０ａ〜５０ｄとの間で生じた変化領域（本発明の第３の変化領域に相当）を表している。光境界候補画像５７には、自動取引装置等の背景、人の画像情報は含まれない。
【００６０】
エッジ画像５１ｂより時間Ｃ以上前に生成された基準画像を用いたことによって、光境界領域５９の欠けは最小限となる。一方、前述したように不審物検出用画像５４中の光境界領域５６の欠けは最大限となるため、光境界領域５９は光境界領域５６に包含される関係となる。また、複数の差分画像の論理積をとることにより光境界と不審物以外のノイズが除去できる。対応付け手段４５は、この包含関係を利用して確実に光境界領域同士を対応付けることができる。
【００６１】
ステップＳ３２５では、対応付け手段４５において、光境界候補画像に含まれる光境界領域と光境界参照画像に含まれる光境界領域との対応付けを行って、現サイクルにおける光境界領域のみを取り出した光境界画像を生成する。図４（Ｄ）は、この処理を模式的に表したものである。
【００６２】
第１の手順として、検出状態管理手段４７が計時した滞在時間を参照し、光境界の最小移動速度に滞在時間を乗じて最小移動距離及び光境界の最大移動速度に滞在時間を乗じて最大移動距離を算出する。但し、算出された最大移動距離が予め定めた上限値を超える場合はその上限値を最大移動距離とする。この補正は、後述する一致度の算出時の信頼度を確保するために行うものである。この上限値は、画像サイズの４分の１が重なるときの移動距離とすることが後述する一致度の信頼性を確保する観点から好適である。
【００６３】
最小移動速度及び最大移動速度は、太陽の日周に伴う光境界の画像上での移動速度の予想される最小値及び最大値である。これらの値は、事前の実験を通じて決定して、予め設定することができる。
【００６４】
第２の手順として、光境界参照画像５２を平行移動させる移動ベクトル６０を生成する。移動ベクトルの大きさは最小移動距離以上、最大移動距離以下の範囲とし、移動ベクトルの方向は全方向とする。移動ベクトル６０による移動量は滞在時間に応じた範囲に限定される。移動量を制限することで不当な対応付けが起こりにくくなり、また、処理時間短縮にもなる。
【００６５】
第３の手順として、第２の手順で生成した移動ベクトル６０に応じて平行移動させた光境界参照画像５２と、平行移動させていない光境界候補画像５７と、を重ね合わせて、重なり合う画素同士の論理積を算出した論理積画像を生成する。この論理積画像における画素値が１の画素の数を計数し、画素値が１の画素の画素数を一致度として算出する。
【００６６】
第４の手順として、マッチング処理を行う。すなわち、手順２と手順３とを繰り返しつつ、手順３で算出される一致度が最大となるときの移動ベクトル６０を求める。
【００６７】
第５の手順として、光境界候補画像５７をラベリングする。すなわち、光境界候補画像５７において画素値が１の画素のうち隣接する画素の画素値も１である画素同士をまとめてグルーピングする。さらに、グルーピングされた領域毎に識別するラベル（識別番号等）を割り当てる。このとき、画素値が１である画素のうち他の画素値が１である画素と隣接しておらず孤立している画素については除去する（画素値を０とする）。
【００６８】
第６の手順として、手順４のマッチング処理で最適と判断された移動ベクトル６０で平行移動させた光境界参照画像５２と、平行移動させていない光境界候補画像５７と、の間で対応しあう画素同士の論理積を演算し、ラベル毎に論理積を足し合わせた累積値をラベルの画素数（面積）で除した値を一致度として算出する。
【００６９】
第７の手順として、手順６において算出された一致度を予め設定された閾値Ｔ１と比較して、光境界候補画像５７から一致度が閾値Ｔ１以下のラベルが付された領域を除外した画像を光境界画像６１として生成する。光境界が自動取引機の凹凸で変形したり、光境界の一部が画像外へはみ出したりする場合にも、この領域が光境界領域として対応付けられるように、閾値Ｔ１は小さい値として設定しておく。例えば、閾値Ｔ１は０．３〜０．５程度とすることが好適である。本実施の形態では、閾値Ｔ１を０．５とする。図４（Ｄ）の例では、不審物５８のラベルが除外され、光境界領域５９が残される。
【００７０】
ステップＳ３３０では、対応付け手段４５において、変化領域抽出手段４４により抽出された各変化領域と光境界画像中の光境界領域との対応付けを行う。まず、対応付け手段４５は、不審物検出用画像と光境界画像との論理積画像を生成する。次に、対応付け手段４５は、論理積画像にて画像値が１の画素数を変化領域ごとに計数し、計数した画素数を各変化領域の画素数で除した値を一致度として算出する。対応付け手段４５は、各変化領域の一致度と予め定めた閾値Ｔ２とを比較し、一致度が閾値Ｔ２以下であればその変化領域は光境界領域と対応付けられない領域と判断し、そうでなければその変化領域は光境界領域と対応付けられる領域と判断する。例えば、閾値Ｔ２は０．８〜１程度に設定することが好適である。本実施の形態では、閾値Ｔ２を１に設定する。なお、光境界画像中に光境界領域がないときは総ての変化領域が光境界領域と対応付かないと判断する。
【００７１】
この対応付け処理において対応付けられなかった変化領域は、光境界領域とエッジ位置が一致しない、すなわち、形状が一致しない変化領域であったことになる。
【００７２】
ステップＳ３３５にて、不審物検出手段４６において、光境界領域と対応付かない変化領域があった場合に、その変化領域を不審物によるものと判断し「不審物あり」との検出結果を得る。「不審物あり」の場合、過去の変化領域の情報を消去したうえで不審物検出処理を終了する（ステップＳ３４０）。
【００７３】
一方、総ての変化領域が光境界領域と対応付けられた場合、不審物検出手段４６は、現サイクルでの判断を保留する意味を表す「処理継続」との検出結果を得る。この場合は、現サイクルでの不審物検出処理を終了する（ステップＳ３４５）。
【００７４】
以上のように、変化領域と光境界領域との対応付けを行い、対応付かない変化領域を不審物による変化であるとして「不審物あり」の判断を行う（ステップＳ３３０，Ｓ３３５）。したがって、光境界による誤検出を排除して、移動速度の遅い光境界の移動を待たずに迅速に不審物の検出を行うことが可能となる。
【００７５】
また、総ての変化領域が光境界領域と対応付けられた場合にも判断を保留する「処理継続」として（ステップＳ３４５）、続くサイクルで光の境界が時間と共に移動することによって光境界領域が除外されるのを待ってから「不審物なし」を確定する（ステップＳ３０５，３１０）。したがって、不審物による変化領域と光境界による変化領域とが重なり合って１つの変化領域になっている場合にも不審物を検出し損ねることがない。
【００７６】
なお、対応付けに基づく「不審物あり」の判断により典型的には１サイクル目で不審物の検出が可能であるが、サイクル毎に行うことによって、不審物と光境界との変化領域が１つに重なり合っていてもこれらが分離した時点や雲等により光境界が消失した時点で即座に不審物の検出を行うことができる。
【００７７】
以上、説明した不審物検出処理が終了すると、処理はメインルーチンのステップＳ２４５に戻される。
【００７８】
ステップＳ２４５では、検出状態管理手段４７において、不審物検出手段４６の検出結果に基づき不審物検出状態の更新処理を行う。検出状態管理手段４７は、検出結果が「不審物あり」又は「不審物なし」の場合は不審物検出状態を検出結果で更新する。検出結果が「処理継続」である場合は不審物検出状態を「不審物存在可能性あり」のままに維持する。
【００７９】
ステップＳ２５０では、不審物検出状態が「不審物あり」ならステップＳ２５５へ処理を移して検知信号出力処理等を行い、そうでなければ現サイクルの処理を終了する。
【００８０】
ステップＳ２５５では、不審物を検出した旨を表す信号を出力部５へ通知する。出力部５は、不審物を検出した旨を表す信号を受信すると、検知信号を生成して、その検知信号を外部（センタ装置等）へ出力する。
【００８１】
ステップＳ２６０では、検出状態管理手段４７において、「不審物あり」となっている記憶部３の不審物検出状態を「不審物なし」に更新する。現サイクルの処理はこれにて終了する。ここで、不審物検出状態を「不審物なし」にリセットすることにより、次のサイクルにて基準画像を更新する処理（ステップＳ２３０）が実行され、検知信号を出力済みの不審物を含む画像が基準画像となるので新たな不審物を検出する処理を継続することができる。
【００８２】
本実施の形態では、対応付け手段４５において、ステップＳ３２０からＳ３３０にて光境界参照画像中の光境界領域と対応付いた光境界候補画像中の光境界領域のみからなる光境界画像を生成したうえで、不審物検出用画像中の変化領域を光境界画像中の光境界領域と対応付けている。すなわち、光境界候補画像中（光境界画像中）の光境界領域を、光境界参照画像中の光境界領域と、不審物検出用画像中の光境界領域との両方に対応付けることにより、間接的に、光境界参照画像中の光境界領域と不審物検出用画像中の光境界領域とを対応付けている。
【００８３】
しかしながら、光境界参照画像中の光境界領域を不審物検出用画像中の変化領域と直接的に対応付けてもよい。すなわち、ステップＳ３２０を省略し、光境界候補画像に代えて不審物検出用画像を使用し、ステップＳ３２５の手順１〜７を行って各変化領域について一致度を算出し、ステップＳ３３０における一致度と閾値との比較を行えばよい。
【００８４】
また、本実施の形態では、光境界参照画像生成手段４３において、現サイクルから時間Ｃ以上前に生成された複数の基準画像と現サイクルのエッジ画像との差分処理を行い、得られた複数の差分画像の論理積画像を光境界参照画像としたが、これに限定されるものではない。例えば、現サイクルから時間Ｃ以上前に生成された１つの基準画像と現サイクルのエッジ画像とを比較して光境界による変化領域を抽出することもできる。より具体的には、現サイクルから時間Ｃ以上前に生成された少なくとも１つの基準画像と現サイクルのエッジ画像との差分処理を行い、差分値の正負に基づいて現サイクルにおける光境界の画素のみを選択して光境界参照画像を生成するなどの処理とすることができる。
【００８５】
対応付け手段４５による光境界候補画像を生成する処理についても同様に、種々の方法により、現サイクルのエッジ画像と現サイクルから時間Ｃ以上前に生成された基準画像とを比較して光境界候補画像を生成することもできる。
【００８６】
変化領域抽出手段４４による処理についても同様に、種々の方法により、現サイクルのエッジ画像と基準画像とを比較して不審物による変化領域を抽出して不審物検出用画像を生成することもできる。
【００８７】
なお、本実施の形態では、人体検出手段４０において、前後する監視画像間で差分処理を行うものとしたがこれに限定されるものではない。基準画像と現サイクルの監視画像との差分処理を行う等、他の画像処理方法により人体を検出してもよい。また、画像処理により人体を検出するのではなく、人体から放射される赤外線を検知する赤外センサ、物体との距離を測定する測距センサ等により人体を検出し、これらのセンサからの検知信号を不審物監視装置に入力するものとしてもよい。また、自動取引装置に内蔵されている人体検知センサからの検知信号を不審物監視装置に入力するものとしてもよい。
【００８８】
なお、本実施の形態では、不審物監視装置１の各部の機能を１つのコンピュータで実現する態様を説明したがこれに限定されるものではない。不審物監視装置１の各部の機能は一般的なコンピュータをプログラムにより制御することによって実現できるものであり、これらの装置の各機能を適宜組み合わせて１つのコンピュータで処理させてもよいし、各機能をネットワーク等で接続された複数のコンピュータで分散処理させてもよい。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施の形態における不審物監視装置の構成を示す機能ブロック図である。
【図２】本発明の実施の形態における不審物監視システムにおける処理を示すフローチャートである。
【図３】本発明の実施の形態における監視画像とエッジ画像の例を示す図である。
【図４】本発明の実施の形態における画像処理を説明するための図である。
【図５】本発明の実施の形態における不審物検出処理のサブルーチンを示すフローチャートである。
【符号の説明】
【００９０】
１  不審物監視装置、２  撮像部、３  記憶部、４  信号処理部、５  出力部、４０  人体検出手段、４１  エッジ画像生成手段、４２  基準画像生成手段、４３  光境界参照画像生成手段、４４  変化領域抽出手段、４５  対応付け手段、４６  不審物検出手段、４７  検出状態管理手段、５０ａ-５０ｇ  基準画像、５１ａ，５１ｂ  エッジ画像、５２  光境界参照画像、５３  光境界領域、５４  不審物検出用画像、５５  不審物、５６  光境界領域、５７  光境界候補画像、５８  不審物、５９  光境界領域、６１  移動ベクトル。
【図１】
2008243009.tif 000003
【図２】
2008243009.tif 000004
【図３】
2008243009.tif 000005
【図４】
2008243009.tif 000006
【図５】
2008243009.tif 000007