(57)【要約】【課題】報知すべき物体と特徴が類似する物体を検出することなく、報知すべき物体のみを検出すること。【解決手段】カメラ１３からの静止画像に侵入物体が含まれているか否かを確認するため、静止画像の窓部分を監視するための監視領域と、静止画像のドア本体部分を監視するための監視領域とが設定されている。時間的に連続する２つの差分画像に共通して存在する画素集合を動き検出部３３に抽出させ、それら２つの差分画像の間におけるその画素集合の動きベクトルを検出部３３に算出させる。そして、その動きベクトルに基づいて静止画像の窓部分から静止画像のドア本体部分へ画素集合が移動した否かを認識部３７に判定させる。【選択図】図２
2004274479.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する同一監視範囲の静止画像を取得する画像取得手段と、
前記画像取得手段から時間的に連続する複数の静止画像を受け取り、それら静止画像を比較することにより、前記監視範囲に予め設定され、物体が存在することを許可する領域（以下、「許可領域」と称す。）から、前記監視範囲に予め設定され、前記物体が存在することを許可しない領域（以下、「不許可領域」と称す。）へ前記物体が移動するか否かを判定する、判定処理を実行する判定処理手段と、
を備えることを特徴とする移動物体検出装置。
【請求項２】
請求項１に記載の移動物体検出装置において、
前記許可領域および前記不許可領域を点集合として設定したことを特徴とする移動物体検出装置。
【請求項３】
請求項１に記載の移動物体検出装置において、
前記許可領域および前記不許可領域をその外周の境界線によって規定したことを特徴とする移動物体検出装置。
【請求項４】
請求項１〜３の何れかに記載の移動物体検出装置において、
前記判定処理手段は、前記画像取得手段から受け取った前記複数の静止画像それぞれと予め記憶しておいた背景画像との間の輝度値の差の絶対値を画素毎に算出して複数の差分画像を生成し、それら差分画像を比較することにより、前記許可領域から前記不許可領域へ移動する物体が存在するか否かを判定することを特徴とする移動物体検出装置。
【請求項５】
請求項４記載の移動物体検出装置において、
さらに、前記画像取得手段から受け取った静止画像と予め記憶しておいた背景画像とを前記許可領域について比較して所定量以上の差異があるか否かの予備判定を実行する予備判定処理手段を備え、
前記判定処理手段は、前記予備判定処理手段の予備判定の結果が所定量以上の差異があるという判定結果である間のみ、前記判定処理を実行することを特徴とする移動物体検出装置。
【請求項６】
請求項４または５記載の移動物体検出装置において、
前記判定処理手段は、前記差分画像を２値化し、ラベリングし、その結果得られた画素集合の面積および位置情報に基づいて移動物体が存在するか否かの判定を行うことを特徴とする移動物体検出装置。
【請求項７】
請求項６に記載の移動物体検出装置において、
前記判定処理手段は、前記ラベリングを行う際にカウンタを用いて画素集合の面積も同時に算出することを特徴とする移動物体検出装置。
【請求項８】
請求項７の何れかに記載の移動物体検出装置において、
前記判定処理手段は、前記画素集合の位置情報に基づいて前記画素集合の移動を示すベクトルを算出し、そのベクトルに基づいて前記判定処理を実行することを特徴とする移動物体検出装置。
【請求項９】
請求項１〜８の何れかに記載の移動物体検出装置において、
さらに、利用者に移動物体の存在を知らせる報知手段を備え、
前記判定処理手段は、前記監視範囲に移動物体が存在すると判定すると利用者に移動物体の存在を知らせるように前記報知手段に指令することを特徴とする移動物体検出装置。
【請求項１０】
請求項１〜９の何れかに記載の移動物体検出装置において、
さらに、移動物体に警告する警告手段を備え、
前記判定処理手段は、前記監視範囲に移動物体が所定時間連続して存在すると判定すると移動物体に警告するように前記警告手段に指令することを特徴とする移動物体検出装置。
【請求項１１】
請求項１〜１０の何れかに記載の移動物体検出装置は、車両に搭載されて盗難防止装置に用いられることを特徴とする移動物体検出装置。
【請求項１２】
コンピュータを請求項１〜１１の何れかに記載の移動物体検出装置の判定処理手段として機能させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影された画像に様々な処理を加えることによって移動物体を検出する技術に関する。
【０００２】
【従来の技術】
従来、様々な防犯システムがあるが、その１つに移動物体検出装置が画像を用いて侵入物体を検出し、その検出結果に基づいて報知を行う防犯システムがある。この移動物体検出装置は、移動物体が存在しない画像を背景画像として予め記憶しておき、新たに撮影した画像と予め記憶しておいた背景画像との差異を算出して移動物体を認識するようになっていることが一般的である。具体的には、まず撮影された撮影画像と背景画像との差分を求め、画素毎に得られる差分値に対して閾値処理を行って２値画像を作成し、その２値画像に対してノイズ除去やラベリング処理を行って移動物体を抽出する。そして、移動物体の特徴量を算出し、その算出した特徴量が予め設定しておいた判断基準に合致するか否かを判定することによりその移動物体が報知すべき物体であるか否かを判定する。なお、「特徴量」とは、移動物体を特徴付ける物理量を云い、例えば移動物体が画像内に存在する時間である「存在時間」や、移動物体の「面積」、移動物体の「縦横寸法」、移動物体が移動する速度である「移動速度」などが挙げられる。
【０００３】
ところで、車両における侵入検出装置として移動物体検出装置を利用する場合、太陽光による移動物体の影が移動物体とともに車両の窓部に映ることがある。そこで、このような移動物体検出装置の中には、撮影画像から移動物体を正確に検出するために、移動物体の影を消去するものがある（例えば特許文献１参照）。具体的には、まず、背景画像とその背景画像を水平方向と垂直方向に所定画素だけシフトした背景シフト画像との差分をとった背景差分画像を作成し、その背景差分画像を２値化した背景２値化画像を作成する。また、移動物体が撮影された撮影画像についても背景画像の場合と同様に、撮影画像とその撮影画像を水平方向と垂直方向に所定画素だけシフトした撮影シフト画像との差分をとった撮影差分画像を作成し、その撮影差分画像を２値化した撮影２値化画像を作成する。そして、背景２値化画像と撮影２値化画像とを排他的論理和して排他的論理和画像を求める。さらに、その排他的論理和画像と背景２値化画像とを論理積することにより移動物体の影を消去する。
【０００４】
また、図８に例示するように、例えば車両の傍を通過する通行人や自転車が車両の窓部に映ることがある（図中「８０３」を参照。）。なお、図８は、車両の後部座席の窓部分（図中「８０１」を参照。）およびドア部分（図中「８０２」を参照。）を室内側から撮影した画像を示している。また、太陽光による建物の影や、夜間の車のヘッドライトの反射、樹木の影などが車両の室内に映ることがある（図中「８０４」を参照。）。そこで、このような移動物体検出装置の中には、過去に撮影画像から移動物体として最も多く抽出されたものの特徴量に基づいて上述の判断基準を補正する移動物体検出装置がある（例えば特許文献２参照）。上述の「面積」の場合を例に挙げると、判断基準が「面積＝１００００画素（中心値）±１０００画素（幅）」と設定されている場合において、移動物体の面積が８０００画素から１００００画素のものが最も多く抽出されたときには、上述の判断基準を「面積＝９０００画素（中心値）±１０００画素（幅）」に補正するという具合である。なお、「存在時間」など他の判断基準についても同様に補正を行う。
【０００５】
【特許文献１】
特開平０７−２２００４９号公報（第４頁、図１）
【特許文献２】
特開平１１−２０３５６７号公報（第４頁、図１）
【０００６】
【発明が解決しようとする課題】
しかし、上述のように移動物体の影を消去したり過去に検出した移動物体の特徴量に基づいて判断基準を補正したりしても、通行人や建物の影など検出された移動物体の特徴量が判断基準に合致する場合がある。すると、上述の移動物体検出装置においては、その移動物体を、報知すべき物体として誤って検出するおそれがあった。また、上述の判断基準が窃盗者の全身の特徴に基づいて予めまたは補正により設定されている場合において例えば車両の窓部に窃盗者の上半身や腕のみが映るときには、その窃盗者の特徴量が上述の判断基準に合致しないことがある。すると、上述の移動物体検出装置においては、その窃盗者を、報知すべき物体として検出しないおそれがあった。なおこのようなことは、移動物体の特徴量に基づいて報知すべき物体を検出する移動物体検出装置においては同様であると考えられる。つまり、窃盗を試みる者（以下、「窃盗者」と称す。）が車両の室内に侵入するのを防ぐことを例に考えた場合、通行人および窃盗者はともに人間であるため、それらの特徴量は互いに類似したものとなる。すると、通行人の特徴は、窃盗者を検出するために設定した判断基準に合致することとなるためである。
【０００７】
また、このような移動物体検出装置が用いられるのは車両には限られず、例えば建物の玄関口や窓など窃盗者の侵入を防ぐ必要がある場所や、店舗や美術館など窃盗者が商品や絵画などの周りに近づくのを防ぐ必要がある場所でも同様の問題が生じると考えられる。
【０００８】
本発明は、このような不具合に鑑みなされたものであり、その目的とするところは、報知すべき物体と特徴が類似する物体を検出することなく、報知すべき物体のみを検出することにある。
【０００９】
【課題を解決するための手段及び発明の効果】
上記課題を解決するためになされた請求項１記載の移動物体検出装置は、物体が存在することを許可する領域から、物体が存在することを許可しない領域へ移動する物体を検出することを特徴とする。具体的には、まず、画像取得手段が、時間的に連続する同一監視範囲の静止画像を取得する。そして、判定処理手段が、画像取得手段から時間的に連続する複数の静止画像を受け取り、それら静止画像を比較することにより、監視範囲に予め設定され、物体が存在することを許可する領域である「許可領域」から、監視範囲に予め設定され、物体が存在することを許可しない領域である「不許可領域」へ物体が移動するか否かを判定する判定処理を実行する。なお、画像取得手段は、ＣＣＤカメラや赤外線カメラなどの撮影可能な装置によって実現されていてもよいし、移動物体検出装置とは別の装置によって撮影された画像を取得するだけのインターフェース装置であってもよい。
【００１０】
このように、本請求項１記載の移動物体検出装置によれば、許可領域から不許可領域へ移動する物体のみを報知すべき物体として検出するので、例えば窃盗者に対する通行人などのような、報知すべき物体と特徴が類似する物体を検出することなく、報知すべき物体のみを検出することができる。
【００１１】
ここで、上述の許可領域および不許可領域について、車両における侵入検出装置として移動物体検出装置を利用する場合を例に挙げて説明する。車両室内からドアを撮影した静止画像を得られるように画像取得手段を設定する。例えば、窃盗を試みる者（以下、「窃盗者」と称す。）が車両の窓から車両の室内へ手を差し入れて車両室内の財布などを盗もうとする場合、窃盗者の手が静止画像中の窓部分からドア本体部分（窓以外の部分）へ移動することとなる。そこで、静止画像中のドアの窓部分を上述の「許可領域」に設定し、静止画像中のドア本体を上述の「不許可領域」に設定することが考えられる。このようにすれば、判定処理手段が、静止画像中の窓部分からドア本体部分へ移動する窃盗者の手を許可領域から不許可領域へ移動する物体と判定する。しかしながら、車両室内に置かれたものがハンドバックなどのように大きく、ハンドバックの本体が静止画像中のドア本体部分に映り、且つハンドバックの取っ手（以下、単に「取っ手」と称す。）が静止画像中の窓部分に映る場合がある。このような場合には、窃盗者は、その手を静止画像中の窓部分からドア本体部分には移動させることなく取っ手を掴んでハンドバックを車両の窓から室外へ持ち出すことができる。なお、この場合、ハンドバックの本体は「不許可領域」から「許可領域」へ移動する。そこで、静止画像中の窓部分を「不許可領域」に設定し、静止画像中のドア本体部分を「許可領域」に設定することが考えられる。このようにすれば、窃盗者が取っ手を掴んでそのハンドバックを車両室外に持ち出す際に、判定処理手段が、静止画像中のドア本体部分から窓部分へ移動するハンドバックの本体を許可領域から不許可領域へ移動する物体と判定する。
【００１２】
この場合、上述の許可領域および不許可領域を、ビットマップデータなど点集合として設定することが考えられる（請求項２）。このようにすれば、差分画像の各画素が許可領域などに存在するのか否かを判断するための計算を画素ごとに行う必要がなく、判定処理手段の負担を軽減することができる。また、許可領域および不許可領域をその外周の境界線によって規定してもよい（請求項３）。このようにすれば、許可領域などの設定データの量が上述の境界線を設定するデータのみとなる。すると、許可領域などを点集合として設定した場合のデータ量に比べて少なくなり、この設定データを記憶する記憶装置のメモリサイズを小さくできる。なお、上述の境界線を関数で表しても、許可領域などの設定データの量を少なくできる。また、上述の境界線が直線である場合にはその直線の両端点のみにて許可領域などを設定すれば、データ量をさらに少なくできる。
【００１３】
ところで、移動物体が背景に比べて輝度の低いものであった場合は移動物体が背景でつぶれてしまう場合がある。例えば、モノクロ画像について考えてみた場合、背景の輝度値が高く移動物体の輝度値が低い場合は、ある画素に移動物体が存在したとしてもその移動物体が移動すると背景の輝度値が優位となってしまい、結果的に移動物体が消えてしまうことがありえる。そこで、請求項４のように、上述の判定処理を行う際には、判定処理手段が、画像取得手段から受け取った複数の静止画像それぞれと予め記憶しておいた背景画像との間の輝度値の差の絶対値を画素毎に算出して複数の差分画像を生成し、それら差分画像を比較することにより、許可領域から不許可領域へ移動する物体が存在するか否かを判定することが考えられる。なお、「背景画像」とは、移動する物体が存在しない画像のことを云う。また、ここで云う「輝度値」というのは、画像がモノクロであれば単純な明度であり、画像がカラーであればＲＧＢの各色独立の輝度値であってもよいし、３色足し合わせた輝度値であってもよい。
【００１４】
このような差分画像は、画像取得手段から受け取った静止画像と予め記憶しておいた背景画像との輝度値の差の絶対値を算出して生成したものであるためどちらの画像の輝度値が高いかということではなく、輝度値の差がどれだけあるかということを表した画像である。したがって、上述したような背景の輝度値が高いことによって移動物体がつぶれてしまうことがなくなる。したがって、精度よく移動物体を検出できる。
【００１５】
また、請求項５に記載のように、さらに、予め記憶しておいた背景画像と画像取得手段が取得した静止画像とを許可領域について比較して所定量以上の差異があるか否かの予備判定を実行する予備判定処理手段を備えるようにし、判定処理手段が、予備判定処理手段の予備判定の結果が所定量以上の差異があるという判定結果である間のみ、判定処理を実行するようにしてもよい。なお、所定量以上の差異というのは、例えば輝度値が不一致である画素の数やその画素の離散度といった、定量的に算出可能な物理量を意味する。
【００１６】
このことを、再び車両における侵入検出装置として移動物体検出装置を利用する場合を例に挙げて説明する。まず、静止画像中の窓部分を許可領域に設定する。そして、予備判定処理手段が、予め記憶しておいた背景画像の窓部分（許可領域）と画像取得手段が取得した静止画像の窓部分（許可領域）とを比較し、人が存在する程度の差異が両画像に存在するか否かを継続して判定する。そして、判定処理手段は、予備判定処理手段によって「人が存在する程度の差異が存在する」という判定がなされている間のみ、一連の判定処理を実行する。
【００１７】
このようにすれば、例えば窓部分に人が映った場合、すなわち車両の外側のドアの付近に人がいる場合のみ、判定処理手段が上述した一連の判定処理を実行する。したがって、必要時のみ判定処理が実行されるため、予備判定処理手段が予備判定に消費する単位時間当たりの電力より判定処理手段が判定処理に消費する単位時間当たりの電力のほうが大きければ、常に判定処理手段が判定処理を実行する場合に比べて単位時間当たりの消費電力を低減させることができる。
【００１８】
なお、判定処理手段が差分画像内に移動物体があるか否かの判定を具体的にどのように行うかについては、請求項６に記載のように行うとよい。すなわち、差分画像を２値化し、ラベリングし、その結果得られた画素集合の面積および位置情報に基づいて移動物体があるか否かを判定するとよい。ここでいう「画素集合の面積および位置情報に基づいて」というのは、例えばまず画素集合の面積によってふるいにかけ、ある面積以上の画素集合を選択し、その画素集合の位置情報が移動したか否かにより移動物体であるか否かを判定する。このようにすれば、画像取得手段が取得した画像中に存在するノイズによる影響を抑え、移動物体があるか否かを精度良く検出することが可能になる。
【００１９】
また、請求項７に記載のように、ラベリングを行う際にカウンタを用いて画素集合の面積も同時に算出するようにしてもよい。このようにすれば、画像内に移動物体があるか否かの判定をより効率的に行うことができる。
さらに、請求項８のように、判定処理手段が、画素集合の位置情報に基づいて、画素集合の移動を示すベクトルを算出するようにしてもよい。このようにすれば、画像集合に比べてデータ量が少なくなるので、画像集合に基づいて判定処理する場合に比べて判定処理を高速化できる。
【００２０】
ところで、移動物体があると判定したことを、判定処理手段が、車両の所有者が所有する携帯電話や車両の所有者宅など外部の他の装置に送信手段を介して伝達するようにしてもよい。このようにすれば、車両の室外から室内への侵入物体が存在することを車両の所有者に速やかに知らせることができる。
【００２１】
また、請求項９に記載のように、さらに、利用者に移動物体の存在を知らせる報知手段を備えるようにし、判定処理手段が監視範囲に移動物体を検出すると利用者に移動物体の存在を知らせるように報知手段に指令するようになっていてもよい。なお、この報知手段の具体例としては、（イ）表示装置に表示することや、（ロ）音声で知らせること、（ハ）ランプを点灯すること、（ニ）ブザーを鳴らして知らせることなどが挙げられる。このようすれば、移動物体検出装置単独で移動物体の存在を利用者に報知することができるようになる。
【００２２】
また、請求項１０のように、さらに、移動物体に警告する警告手段を備えるようにし、判定処理手段が監視範囲に移動物体が所定時間連続して存在するのを検出すると移動物体に警告するように警告手段に指令するようになっていてもよい。なお、この警告手段の具体例としては、（イ）音声で知らせること、（ロ）ランプなど警告灯を点灯すること、（ハ）ブザーを鳴らすなどが挙げられる。このようにすれば、移動物体が車両へ侵入するのを未然に防ぐことができる。
【００２３】
また、移動物体があると判定した場合には、判定処理手段が、その移動物体が映された画像を画像記憶手段に保存させるようにしてもよい。このようにすれば、車両室内の財布など貴重品が盗難にあったことなどを記録しておくことができる。
【００２４】
ところで、請求項１１に記載のように、移動物体検出装置は、車両に搭載されて盗難防止装置に用いられるようになっているとよい。車両保管時は、消費可能な電力が限られているため十分な光源を配置することが難しく、十分なコントラストを有する静止画像を得ることが難しい場合がある。そのような場合でも、本発明の移動物体検出装置であれば精度良く検出することができるため、利用価値が高い。
【００２５】
ところで、請求項１２に記載のような移動物体検出装置の判定処理手段として機能させるプログラムを、移動物体検出装置が内蔵するコンピュータに実行させれば、請求項１〜１１の何れかに記載の移動物体検出装置の判定処理手段を実現することができる。そして、このようなプログラムの場合、例えば、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータが読みとり可能な記録媒体に記録し、必用に応じてコンピュータにロードして起動することにより用いることができる。また、ネットワークを介してロードして起動することにより用いることもできる。
【００２６】
【発明の実施の形態】
以下、本発明が適用された実施例について図面を用いて説明する。尚、本発明の実施の形態は、下記の実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうることは言うまでもない。
【００２７】
［移動物体検出装置１１の構成］
図１は本実施例の移動物体検出装置１１の内部構成を示すブロック図である。移動物体検出装置１１は車両に搭載されて盗難防止装置として機能する。移動物体検出装置１１は、図１に示すごとく、カメラ１３と、領域選択部１５と、差分演算部２１と、２値化・ラベリング部２５と、特徴算出部２９と、動き検出部３３と、認識部３７と、制御部３９と、背景画像用メモリ１７と、現画像用メモリ１９と、差分画像用メモリ２３と、２値化・ラベリング用メモリ２７と、特徴算出用メモリ３１と、動き検出用メモリ３５と、スピーカー４１とを備える。
【００２８】
このうち、領域選択部１５、差分演算部２１、２値化・ラベリング部２５、特徴算出部２９、動き検出部３３、認識部３７および制御部３９は、各々がＣＰＵやＲＯＭやＲＡＭ等によって構成された電子回路である。
また、背景画像用メモリ１７、現画像用メモリ１９、差分画像用メモリ２３、２値化・ラベリング用メモリ２７、特徴算出用メモリ３１および動き検出用メモリ３５は、ＤＲＡＭやＳＤＲＡＭ等の半導体メモリから構成されている。尚、それぞれが個別に半導体メモリによって構成されていてもよいし、すべてが１又は数個の半導体メモリによって実現されていてもよい。
【００２９】
［移動物体検出装置１１の各部の構成］
カメラ１３は、車両室内のピラーなどに取り付けられ、運転席ドア付近や助手席ドア付近、後部座席の左右のドア付近、フロントガラス付近、リアガラス付近など侵入可能な場所を、監視範囲として時間的に連続して撮影するように設定されている。なお、図２（ａ）は、カメラ１３が撮影した、助手席ドア付近および後部座席の左ドア付近の静止画像を示している。また、カメラ１３は、モノクロの静止画像を１秒あたり３０フレーム撮影することが可能な性能を有する。なお、このカメラ１３は、ＣＣＤカメラや赤外線カメラなどの撮影可能な装置によって実現される。また、移動物体検出装置とは別の装置によって撮影された画像を取得するだけのインターフェース装置であってもよい。
【００３０】
領域選択部１５は、カメラ１３からの静止画像を車両の室内画像と車両の室外画像とに区分して背景画像用メモリ１７や現画像用メモリ１９に記憶させる機能を有する。この領域選択部１５は、カメラ１３からの静止画像に侵入物体が含まれているか否かを確認するために設定する監視領域の設定内容を記憶している。なお、本実施例では、静止画像の窓部分を監視するための監視領域（図２（ｂ）の領域「２０１」、「２０３」が相当する。）を、物体が存在することを許可する領域である「許可領域」として設定し、静止画像のドア本体部分を監視するための監視領域（図２（ｂ）の領域「２０２」、「２０４」が相当する。）を、物体が存在することを許可しない領域である「不許可領域」として設定している。ここで、助手席ドアの窓部分とドア本体部分とは、車両の車高方向の位置関係にあり、例えば許可領域である領域「２０１」と不許可領域である領域「２０２」とは、画像においては車高方向（上下方向）の位置関係となる（領域「２０１」が上方に位置する）。また、助手席ドアの窓部分と後部座席の左ドアとは、車両の前後方向の位置関係にあり、例えば許可領域である領域「２０１」および領域「２０３」は、画像においては、左右方向の位置関係となる（領域「２０１」が左側に位置する）。以下、本実施例においては、車両における「車高方向」を各画像における「上下方向」とし、車両における「前後方向」を各画像における「左右方向」とする。また、上述の各監視領域は、ビットマップデータなど点集合として設定されている。
【００３１】
差分演算部２１は、背景画像用メモリ１７に記憶された「背景画像」と現画像用メモリ１９に記憶された「現在の画像（以下、現画像と称す。）」とから差分画像を生成し、その差分画像を差分画像用メモリ２３に記憶させる機能を有する。具体的には、差分演算部２１は、背景画像用メモリ１７に記憶されている背景画像（図３（ａ）を参照。）および現画像用メモリ１９に記憶されている原画像（図３（ｂ）を参照。）を読み出し、両画像の間の輝度値の差の絶対値を画素ごとに算出してその値を画素値として差分画像を生成する（図３（ｃ）における画素集合「３０１」を参照。）。そして、その生成した差分画像を差分画像用メモリ２３に記憶させる。
【００３２】
２値化・ラベリング部２５は、差分画像用メモリ２３に記憶される差分画像に２値化およびラベリングなどの様々な画像処理を行い、その結果得られた画像を２値化・ラベリング用メモリ２７に記憶させる機能を有する。また、特徴算出部２９は、２値化・ラベリング用メモリ２７に記憶された画像の各画素集合の特徴を算出し、その算出結果を画像とともに特徴算出用メモリ３１に記憶させる機能を有する。
【００３３】
動き検出部３３は、特徴算出用メモリ３１に記憶された画像および各画素集合の特徴に基づいて各画素集合の動きを検出し、その検出結果を画像および各画素集合の特徴とともに動き検出用メモリ３５に記憶させる機能を有する。具体的には、動き検出部３３は、時間的に連続する２つの新しい画像、および各画像に含まれる画素集合の特徴算出結果を特徴算出用メモリ３１から読み出す。次に、図５（ａ）に示すように、上述の２つの画像のうち古い方（以下、「前フレーム」と称す。図５（ａ）を参照。）に存在する画素集合が、上述の２つの画像のうち新しい方（以下、「現フレーム」と称す。図５（ａ）を参照。）にも存在するか否かを、画素集合の面積を用いて検出する。なお、例えば車両の窓に映る窃盗者の上半身など検出対象を絞り込む場合には、その対象の面積によって検出するようにしてもよい。そして、前フレームおよび現フレームに共通して存在する画素集合が検出されたら、動き検出部３３は、前フレームと現フレームとの間における画素集合の重心位置の移動を「動きベクトル」として算出する。なお、２つの重心位置の移動を、Ｘ方向およびＹ方向それぞれの距離にて示すようにしてもよい。一例を挙げれば、図５（ｂ）に示す画素集合「５１１」が、点線で示される位置から実線で示される位置へ移動すると、前フレームに位置する際の重心「５１４」が、現フレームに位置する際の重心「５１３」の位置に移動すると云う具合である。なお、このときの重心の移動量は矢印「５１７」の長さで表される。また、このことは画素集合「５１２」についても同様である。最後に、その動きベクトルを示す情報を、その画像および画像集合の特徴を示す情報とともに動き検出用メモリ３５に記憶させる。
【００３４】
認識部３７は、動き検出用メモリ３５に記憶された画像および各画素集合の特徴・動きに基づいて画素集合に移動物体が存在するか否かを認識する機能を有する。具体的には、認識部３７は、画像および画素集合の特徴・動きを示す情報を、動き検出用メモリ３５から読み出す。次に、認識部３７は、これら画像および各種情報に基づいて、以下の条件（１）〜（３）を全て満たす画素集合が存在するか否かを判定することにより車両の室外から室内への侵入物体が存在するか否かを判定する。
（１）車両室外の監視領域（図２における監視領域「２０１」、「２０３」）において、次の２つの条件を、同時に満たす場合には、窃盗者の上半身が車両の窓部に映っていると判断する。
【００３５】
画素集合の面積＞第一の閾値・・・（１−１）
動きベクトルの長さ＜第二の閾値・・・（１−２）
なお、第一の閾値は、車両の窓部に映る窃盗者の上半身を検出するよう設定された画素集合の面積であり、予め実験等によって規定されている。また、第二の閾値は、車両の傍に立ち止まっていて車両の窓部分に映る窃盗者の上半身の動きを検出するとともに、車両の窓部分に映る通行者の上半身の動きを検出しないよう設定されたベクトルの長さであり、予め実験等によって規定されている。
（２）車両室内の監視領域（図２における監視領域「２０２」、「２０４」）において、次の２つの条件を満たす場合には、車両の窓部分から車両のドア本体部分に窃盗者の腕などが移動したと判断する。
【００３６】
画素集合の面積＞第三の閾値・・・（２−１）
動きベクトルの方向が下向き・・・（２−２）
なお、第三の閾値は、車両のドア本体部分に映る窃盗者の手や腕を検出するよう設定された画素集合の面積であり、予め実験等によって規定されている。
（３）車両室外の画素集合と車両室内の画素集合とが左右方向にて重なる場合には、車両室外に存在する画素集合と車両室内に存在する画素集合とが一体であると判断する。ここで、図６を用いて説明すると、画素集合「６０１」、「６０２」、「６０３」が、それぞれ上述の条件（１）および（２）を満たしている場合において、画素集合「６０１」の左右方向の幅（矢印を参照。）と画素集合「６０３」の左右方向の幅（矢印を参照。）との位置関係が示すように、画素集合「６０１」と画素集合「６０３」とは、左右方向にて重ならっておらず、一方、画素集合「６０２」の左右方向の幅（矢印を参照。）と画素集合「６０３」の左右方向の幅との位置関係が示すように、画素集合「６０２」と画素集合「６０３」とは、左右方向にて重なっているという具合である。
【００３７】
スピーカー４１は、クラクションなどで構成されており、車両の室外から室内への侵入物体が存在することを運転者など搭乗者に対して報知するために警報音を出力する機能、および車両室外を監視するための監視領域に所定時間連続して存在する物体に対して警告音を出力する機能を有する。
【００３８】
［各メモリの構成］
背景画像用メモリ１７は、検出対象である移動物体が含まれていない画像（背景画像）を記憶するためのメモリである。この背景画像は、移動物体検出装置１１の電源が投入された直後にカメラ１３によって撮影された画像であってもよいし、電源投入後にカメラ１３によって撮影された画像のうち、時系列的に変化が見られない画像を定期的に選択したものであってもよい。また、事前に利用者の操作によって取り込まれた画像であってもよい。
【００３９】
また、現画像用メモリ１９は、現画像を記憶するためのメモリである。さらに、差分画像用メモリ２３は、差分画像を記憶するためのメモリであり、２値化・ラベリング用メモリ２７は、２値化・ラベリングを行った画像を記憶するためのメモリであり、特徴算出用メモリ３１は、特徴算出を行った画像を記憶するためのメモリであり、動き検出用メモリ３５は、動き検出を行った画像を記憶するためのメモリである。なお、各メモリの内部は、背景画像や現画像のドア部を含む室内部分を記憶する領域（以下、「車両室内領域」と称す。）および背景画像や現画像の窓部を含む室外部分を記憶する領域（以下、「車両室外領域」と称す。）に分かれている。
【００４０】
［制御部３９の説明］
制御部３９は、領域選択部１５、差分演算部２１、２値化・ラベリング部２５、特徴算出部２９、動き検出部３３および認識部３７を統括的に制御する機能を有する。
【００４１】
本実施例では、カメラ１３が特許請求の範囲に記載の画像取得手段に相当し、領域選択部１５、差分演算部２１、２値化・ラベリング部２５、特徴算出部２９、動き検出部３３、認識部３７および制御部３９が判定処理手段に相当し、スピーカー４１が報知手段および警告手段に相当する。
【００４２】
［判定処理の説明］
次に、制御部３９で実行される判定処理について、図９のフローチャートを用いて説明する。尚、この判定処理は、移動物体検出装置１１の電源が投入されると実行が開始される。
【００４３】
まず、Ｓ１０５（ステップ１０５の意）では、領域選択部１５に背景画像用メモリ１７および現画像用メモリ１９を初期化するように指示する。この指示を受け取った領域選択部１５は、背景画像用メモリ１７および現画像用メモリ１９を初期化する。領域選択部１５は、初期化が完了すると完了した旨を制御部３９に返答し、その返答を受け取ると制御部３９は次のステップを処理する。以下のステップでは記載を省略するが、本ステップと同様に、種々の指令を受け取った各部（領域選択部１５等）はその指令を完了すると完了した旨を制御部３９に返答し、その返答を受け取ると制御部３９は次のステップを処理する。
【００４４】
続くＳ１１０では、領域選択部１５にカメラ１３から静止画像を取り込んで背景画像用メモリ１７に記憶するように指示する。この指示を受け取った領域選択部１５は、次のように背景画像を背景画像用メモリ１７に記憶させる。すなわち、図２（ａ）に示すような車両の助手席および後部座席のドア部・窓部の静止画像をカメラ１３から取得すると、領域選択部１５は、図２（ｂ）に示すように、静止画像において監視領域に該当する部分の画素信号を数値「１」（白色で示した部分）で符号化し、それ以外の領域の画素信号を数値「０」（黒色で示した部分）で符号化する。次に、領域選択部１５は、数値「１」に符号化された画素信号の２次元座標を算出し、各画素信号が車両室内領域または車両室外領域の何れに位置するのかを判断する。さらに、領域選択部１５は、各画素信号を、背景画像用メモリ１７の車両室内領域および車両室外領域の該当部分に背景画像として記憶させる。
【００４５】
続くＳ１１５では、領域選択部１５にカメラ１３から静止画像を取り込んで現画像用メモリ１９に現画像（現在の画像）として記憶するように指示する。この指示を受け取った領域選択部１５は、次のように現画像を現画像用メモリ１９に記憶させる。すなわち、カメラ１３から静止画像を取得すると、領域選択部１５は、その静止画像の各画素信号を符号化せずに、各画素信号の２次元座標を算出する。そして、領域選択部１５は、各画素信号が車両室内領域または車両室外領域の何れに位置するのかを判断し、各画素信号を、現画像用メモリ１９の車両室内領域および車両室外領域の該当部分に現画像として記憶させる。
【００４６】
なお、以下のステップでは記載を省略するが、種々の指令を受け取った各部（領域選択部１５等）は、本ステップと同様に、各メモリからの画像の読み出しおよび各メモリへの画像の記憶を車両室内領域および車両室外領域ごとに行う。
続くＳ１２０では、差分演算部２１に差分画像を生成するように指示する。この指示を受け取った差分演算部２１は、背景画像用メモリ１７に記憶されている背景画像（図４（ａ）を参照。）と、現画像用メモリ１９に記憶されている現画像（図４（ｂ）を参照。）との間の輝度値の差の絶対値を画素ごとに算出し、その値を画素値として差分画像を生成する。そして、その生成した差分画像を差分画像用メモリ２３に記憶させる。
【００４７】
Ｓ１２５では、２値化・ラベリング部２５に差分画像を画像処理するよう指示する。この指示を受け取った２値化・ラベリング部２５は、まず、差分画像用メモリ２３に記憶される差分画像を輝度値に基づいて２値化する。なお、ここで云う「輝度値」というのは、画像がモノクロであれば単純な明度であり、画像がカラーであればＲＧＢの各色独立の輝度値であってもよいし、３色足し合わせた輝度値であってもよい。そして、２値化によって同一の値で表された画像信号の集合ごとにラベルを付す（図４（ｃ）の画素集合「４０１」〜「４０３」が相当する。）。そして、その画素集合ごとにラベルが付された画像を２値化・ラベリング用メモリ２７に記憶させる。
【００４８】
Ｓ１３０では、特徴算出部２９に画素集合ごとの特徴を算出するよう指示する。この指示を受け取った特徴算出部２９は、まず、画像を２値化・ラベリング用メモリ２７から読み出す。次に、その読み出した画像の画素集合ごとにその面積、重心および平均輝度を算出する。また、その画素集合の外形矩形における左上隅および右下隅の座標を算出する。さらに、これら算出結果をその画像とともに特徴算出用メモリ３１に記憶させる。
【００４９】
Ｓ１３５では、時間的に異なる２つ以上の画像が特徴算出用メモリ３１に記憶されているか否かを判断する。ここで、時間的に異なる２つ以上の画像が特徴算出用メモリ３１に記憶されていなければ（Ｓ１３５：ＮＯ）Ｓ１１５に戻り、Ｓ１１５からＳ１３０のステップを繰り返す。なお、以下のステップにおいて、Ｓ１１５に戻ってＳ１１５からＳ１３０のステップを繰り返す場合には、背景画像用メモリ１７を除く各メモリに記憶された画像のうち古い方を消去するようにしてもよい。一方、時間的に異なる２つ以上の画像が特徴算出用メモリ３１に記憶されていれば（Ｓ１３５：ＹＥＳ）、Ｓ１４０に進む。
【００５０】
Ｓ１４０では、動き検出部３３に画像の画素集合の動きを検出するよう指示する。この指示を受け取った動き検出部３３は、まず、時間的に連続する２つの画像、および各画像に含まれる画素集合の特徴算出結果を特徴算出用メモリ３１から読み出す。次に、前フレームに存在する画素集合が、現フレームにも存在するか否かを、画素集合の面積を用いて検出する。ここで、前フレームおよび現フレームに共通して存在する画素集合が検出されなければ（Ｓ１４０：ＮＯ）Ｓ１１５に戻り、Ｓ１１５からＳ１３０のステップを繰り返す。
【００５１】
一方、前フレームおよび現フレームに共通して存在する画素集合が検出されたら（Ｓ１４０：ＹＥＳ）、前フレームと現フレームとの間における画素集合の重心位置の移動を「動きベクトル」として算出する。最後に、その動きベクトルを示す情報を、その画像および画像集合の特徴を示す情報とともに動き検出用メモリ３５に記憶させる。
【００５２】
続くＳ１４５では、認識部３７に認識処理を行うように指示する。この指示を受け取った認識部３７は、画像および画素集合の特徴・動きを示す情報を、動き検出用メモリ３５から読み出し、これらに基づいて、上述した条件（１）〜（３）を全て満たす画素集合が存在するか否かを判定することにより車両の室外から室内への侵入物体が存在するか否かを判定し、その判定結果を制御部３９に返答する。
【００５３】
続くＳ１５０では、Ｓ１４５で認識部３７より受け取った判定結果に基づいて分岐する。車両の室外から室内への侵入物体が存在するという判定結果であればＳ１５５に進み、車両の室外から室内への侵入物体が存在しないという判定結果であればＳ１１５に戻り、Ｓ１１５からＳ１３０のステップを繰り返す。
【００５４】
続くＳ１５５では、スピーカー４１に信号を送ってクラクションを一定時間（例えば１分間）鳴らさせる。なお、その他に（イ）モニタなど表示装置に表示する、（ロ）音声で知らせること、（ハ）ランプを点灯する、（ニ）サイレンやブザーを鳴らして知らせる、などとしてもよい。そして、一定時間経過すると、スピーカー４１に信号を送ることをやめ、Ｓ１１５に戻る。このようにして判定処理を、移動物体検出装置１１の電源が遮断されるまで繰り返す。
【００５５】
［効果］
このように、移動物体検出装置１１によれば、車両室外の監視領域から車両室内の監視領域へ移動する画素集合のみを侵入物体として検出するので、例えば窃盗者に対する通行人などのような、報知すべき物体と特徴が類似する物体を検出することなく、報知すべき物体のみを検出することができる。
【００５６】
［別実施例］
（１）上記実施例の移動物体検出装置１１は、車両に搭載されて盗難防止装置として機能するが、これには限られず、例えば建物の玄関口や窓など窃盗者の侵入を防ぐ必要がある場所における侵入防止装置をして機能させてもよい。また、店舗や美術館など窃盗者が商品や絵画などの周りに近づくのを防ぐ必要がある場所における盗難防止装置としても機能させてもよい。一例を挙げると、美術館の展示室内を撮影した静止画像を得られるようにカメラ１３を設定するとともに、その展示室内を許可領域に設定し、室内の絵画など展示物周辺を不許可領域に設定すればよい。
（２）上記実施例の移動物体検出装置１１において、車両の周りの移動物体が所定時間連続して存在する場合には、その移動物体に対して警告するように構成してもよい。具体的には、動き検出部３３によって前フレームおよび現フレームに共通して存在する画素集合が許可領域に検出された場合において、数秒間など所定時間連続してその画素集合が許可領域に存在するときには、（イ）スピーカー４１から音声で警告する、（ロ）ランプなど警告灯を点灯する、（ハ）ブザーを鳴らすなどにより警告するよう構成してもよい。このようにすれば、車両の周りの移動物体が車両へ侵入するのを未然に防ぐことができる。
【００５７】
また、上記実施例の移動物体検出装置１１において、車両の室外から室内への侵入物体が存在すると認識部３７が判定した場合には、その旨を車両の所有者が所有する携帯電話や車両の所有者宅など外部の他の装置に送信手段を介して伝達するようにしてもよい。このようにすれば、車両の室外から室内への侵入物体が存在することを車両の所有者に速やかに知らせることができる。
【００５８】
さらに、上記実施例の移動物体検出装置１１において、車両の室外から室内への侵入物体が存在すると認識部３７が判定した場合には、その侵入物体が写る静止画像を現画像用メモリ１９に保存させるようにしてもよい。このようにすれば、車両室内の財布など貴重品が盗難にあったことなどを記録しておくことができる。
（３）上記実施例では、判定処理が開始された際に背景画像用メモリ１７を初期化し、その初期化した背景画像用メモリ１７に背景画像を記憶しているが、例えば認識部３７によって侵入物体が存在しないとの判断が所定回数続いた場合にその背景画像を更新するようにしてもよい。
（４）上記実施例では、図２（ｂ）に示すように、静止画像の窓部分を監視するための監視領域「２０１」、「２０３」を「許可領域」として設定し、静止画像のドア本体部分を監視するための監視領域「２０２」、「２０４」を「不許可領域」として設定しているが、これには限られず、例えば監視領域「２０１」、「２０３」を不許可領域に設定し、監視領域「２０２」、「２０４」を許可領域に設定することにより車両の内側から外側へ持ち出されるハンドバックや財布などの物体を検出するようにしてもよい。なお、この場合には、不許可領域が許可領域の上方に位置することとなる。具体的には、認識部３７が行う上述の判定処理において、上述の条件（１）〜（３）のうち条件（２）を次のような条件（２´）に変更する。すなわち、車両室内の監視領域（図２における監視領域「２０２」、「２０４」）において、次の条件を満たす場合には、車両のドア本体部分から車両の窓部分にハンドバックや財布などの物体が移動したと判断する。
【００５９】
監視領域の面積＞第四の閾値・・・（２´−１）
動きベクトルの方向が上向き・・・（２´−２）
なお、第四の閾値は、車両のドア本体部分に映るハンドバックや財布などの物体を検出するように設定された画素集合の面積であり、予め実験等によって規定されている。そして、以上の条件（１）、（２´）、（３）を全て満たす画素集合が存在する場合には、その画素集合がハンドバックや財布などの物体を表していると判断する。このようにすれば、車両の内側から外側へ持ち出されるハンドバックや財布などの物体を検出することができる。
（５）上記実施例では、静止画像を車両の室内画像と車両の室外画像とに区分したものを背景画像用メモリ１７や現画像用メモリ１９に記憶させているが、これには限られず、静止画像から抽出した監視領域を車両の室内画像と車両の室外画像とに区分したものを背景画像用メモリ１７や現画像用メモリ１９に記憶させるようにしてもよい。このように監視領域のみを各メモリに記憶させることにより、静止画像を記憶する場合に比べて記憶装置のメモリサイズを小さくできる。
（６）上記実施例では、監視領域「２０１」〜「２０４」の画素信号が数値「１」で符号化され、それ以外の領域の画素信号が数値「０」で符号化されているが、これには限られず、例えば、監視領域ごとに異なる数値で符号化してもよい。具体的には、監視領域「２０１」を数値「１」、監視領域「２０２」を数値「２」、監視領域「２０３」を数値「３」、監視領域「２０４」を数値「４」、非監視領域を数値「０」でそれぞれ符号化（多値化）するという具合である。
（７）上記実施例では、各監視領域を、ビットマップデータなど点集合として設定しているが、これには限られず、各監視領域をその外周の境界線によって規定してもよい。なお、この境界線は点集合として表してもよいし、関数で表してもよい。このようにすれば、監視領域を設定するデータ量が上述の境界線を設定するデータのみとなる。すると、上記実施例のように監視領域を点集合として設定した場合のデータ量に比べて少なくなり、設定データを記憶する記憶装置のメモリサイズを小さくできる。
【００６０】
また、例えば車両室内と車両室外との区別に厳密性を必要としない場合には、監視領域をその外接する矩形として設定してもよい。この場合、その矩形の対角線の両端点にて監視領域を設定すれば、データ量をさらに少なくできる。一例を挙げると、図２（ｃ）に示すように、監視領域「２０３」は、座標１（２００，２０）および座標２（４００，６０）を対角線の両端とする矩形に設定されており、その矩形の各辺が監視領域の境界線を形成するという具合である。
【図面の簡単な説明】
【図１】実施例の移動物体検出装置の内部構成を示すブロック図である。
【図２】（ａ）はカメラが撮影した静止画像を説明する説明図であり、（ｂ）は静止画像に設定される監視領域を説明する説明図（１）であり、（ｃ）は静止画像に設定される監視領域を説明する説明図（２）である。
【図３】差分画像を生成する処理を説明する説明図であり、（ａ）は背景画像を示し、（ｂ）は現画像を示し、（ｃ）は差分画像を示している。
【図４】画像処理としての２値化・ラベリング処理を説明する説明図であり、（ａ）は背景画像を示し、（ｂ）は現画像を示し、（ｃ）は差分画像をさらに２値化・ラベリング処理したものを示している。
【図５】（ａ）は時間的に連続する２つの画像から画素集合の動きを検出する処理を説明する説明図（１）であり、（ｂ）は時間的に連続する２つの画像から画素集合の動きを検出する処理を説明する説明図（２）である。
【図６】認識部が行う判定処理を説明する説明図である。
【図７】実施例の判定処理を説明するフローチャートである。
【図８】従来の判定処理を説明する説明図である。
【符号の説明】
１１…移動物体検出装置、１３…カメラ、１５…領域選択部、
１７…背景画像用メモリ、１９…現画像用メモリ、２１…差分演算部、
２３…差分画像用メモリ、２５…２値化・ラベリング部、
２７…２値化・ラベリング用メモリ、２９…特徴算出部、
３１…特徴算出用メモリ３１、３３…動き検出部、３５…動き検出用メモリ、
３７…認識部、３９…制御部、４１…スピーカー
【図１】
2004274479.tif 000003
【図２】
2004274479.tif 000004
【図３】
2004274479.tif 000005
【図４】
2004274479.tif 000006
【図５】
2004274479.tif 000007
【図６】
2004274479.tif 000008
【図７】
2004274479.tif 000009
【図８】
2004274479.tif 000010