(57)【特許請求の範囲】
【請求項１】
監視空間を撮像した監視画像を順次取得し、前記監視空間に存在する動背景物を、前記監視画像上の特定の画素においてエッジの出現と消滅が繰り返される現象から検出する画像センサであって、
前記監視画像の各位置におけるエッジの有無を検出しエッジ位置を記憶するエッジ検出手段と、
過去の第一の所定時間内に前記エッジ検出手段が検出したエッジの有無が第一の所定回数である３回以上変動したエッジ変動位置を検出するエッジ変動位置検出手段と、
前記監視画像と予め記憶した背景画像との差分領域を抽出する差分領域抽出手段と、
前記差分領域内における前記エッジ位置と前記エッジ変動位置の一致度を算出するエッジ一致度算出手段と、
前記一致度が所定値以上である前記差分領域を動背景物として検出する動背景物検出手段と、
を具備することを特徴とする画像センサ。
【請求項２】
前記第一の所定時間以上の長さを有する過去の第二の所定時間内に前記エッジ検出手段がエッジを検出しなかった回数が第二の所定回数以上である位置を前記エッジ変動位置から除外するエッジ変動位置補正手段を更に具備する請求項１に記載の画像センサ。
【請求項３】
前記第一の所定時間を含む第三の所定時間内に前記エッジ検出手段がエッジを検出した回数が第三の所定回数以上であるエッジ定在位置を検出し、エッジ定在位置に隣接する位置を前記エッジ変動位置から除外するエッジ変動位置補正手段を具備する請求項１又は２に記載の画像センサ。
【請求項４】
更に前記差分領域における前記監視画像から侵入者の特徴量を抽出し、該特徴量が所定基準を超えると侵入者を検出する侵入者検出手段を具備し、
前記侵入者検出手段は、動背景物検出手段が動背景物を検出したときに前記所定基準を高く変更する請求項１乃至３のいずれかひとつに記載の画像センサ。
【請求項５】
前記動背景物検出手段が動背景物を検出しなかった前記差分領域において前記監視画像から侵入者の特徴量を抽出し、該特徴量が所定基準を超えると侵入者を検出する侵入者検出手段を具備する請求項１乃至３のいずれかひとつに記載の画像センサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間を所定時間間隔で順次撮像して得た複数の監視画像を画像処理することにより、草木等の動背景物を検出できる画像センサに関するものである。
【背景技術】
【０００２】
近年、セキュリティシステムにおいて、カメラ等の撮像装置によって撮像された監視画像を画像処理して侵入者等を検出する画像センサが数多く提供されている。このような画像センサでは、基準となる背景画像を記憶しておき、時々刻々と撮像される監視画像と背景画像との差分処理を行って差分領域を抽出し、この差分領域に基づいて侵入者を検出している。
【０００３】
このような画像センサにおいては、草木やのぼり等の背景物が風により揺れた場合等にも侵入者が現れた場合と同様に差分領域が抽出される。そのため、画像センサは、背景物の動きを誤検出せずに侵入者のみを確実に検出することが必要とされる。
【０００４】
特許文献１には、監視画像を構成する各画素中の最大輝度値と最小輝度値に基づいて侵入物体の検出を行わないマスク領域を設定することが記載されている。
特許文献２には、差分領域における背景画像のエッジと監視画像のエッジとの類似度を算出し、算出した類似度に基づいて侵入者を検出することが記載されている。特許文献２に記載の発明においては、外乱により生じた差分領域においては高い類似度が算出され、侵入者により生じた差分領域においては低い類似度が算出されることを利用している。
【特許文献１】特開2002−279429
【特許文献２】特開2001−243475
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明においては、動く背景物に係る画素の位置がマスク領域に設定されてしまうため、侵入者と動く背景物が監視画像上で重なる場合には侵入者の検出もれを生じるおそれがある。そのため、検出もれが生じないように画像センサの設置位置を選ぶ必要がある。
【０００６】
また、動く背景物においては、そのエッジ位置が変動するために特許文献２に記載の発明の類似度は低く算出されてしまい、動く背景物を侵入者として誤検出してしまう。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、監視空間を撮像して得た監視画像を画像処理することにより監視空間に存在する動背景物を的確に検出できる画像センサと、この検出結果により動背景物の影響を排除して高精度に侵入者を検出できる画像センサの実現を目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載された画像センサは、
監視空間を撮像した監視画像を順次取得し、前記監視空間に存在する動背景物を、前記監視画像上の特定の画素においてエッジの出現と消滅が繰り返される現象から検出する画像センサであって、
前記監視画像の各位置におけるエッジの有無を検出しエッジ位置を記憶するエッジ検出手段と、
過去の第一の所定時間内に前記エッジ検出手段が検出したエッジの有無が第一の所定回数である３回以上変動したエッジ変動位置を検出するエッジ変動位置検出手段と、
前記監視画像と予め記憶した背景画像との差分領域を抽出する差分領域抽出手段と、
前記差分領域内における前記エッジ位置と前記エッジ変動位置の一致度を算出するエッジ一致度算出手段と、
前記一致度が所定値以上である前記差分領域を動背景物として検出する動背景物検出手段と、
を具備することを特徴としている。
【０００９】
請求項２に記載された画像センサは、請求項１に記載の画像センサにおいて、
前記第一の所定時間以上の長さを有する過去の第二の所定時間内に前記エッジ検出手段がエッジを検出しなかった回数が第二の所定回数以上である位置を前記エッジ変動位置から除外するエッジ変動位置補正手段を具備している。
【００１０】
請求項３に記載された画像センサは、請求項１又は２に記載の画像センサにおいて、
前記第一の所定時間を含む第三の所定時間内に前記エッジ検出手段がエッジを検出した回数が第三の所定回数以上であるエッジ定在位置を検出し、エッジ定在位置に隣接する位置を前記エッジ変動位置から除外するエッジ変動位置補正手段を具備している。
【００１１】
請求項４に記載された画像センサは、請求項１乃至３のいずれかひとつに記載の画像センサにおいて、
前記差分領域における前記監視画像から侵入者の特徴量を抽出し、該特徴量が所定基準を超えると侵入者を検出する侵入者検出手段を具備し、
前記侵入者検出手段は、動背景物検出手段が動背景物を検出したときに前記所定基準を高く変更する。
【００１２】
請求項５に記載された画像センサは、請求項１乃至３のいずれかひとつに記載の画像センサにおいて、
前記動背景物検出手段が動背景物を検出しなかった前記差分領域において前記監視画像から侵入者の特徴量を抽出し、該特徴量が所定基準を超えると侵入者を検出する侵入者検出手段を具備している。
【発明の効果】
【００１３】
請求項１に記載された画像センサによれば、過去のエッジ変動位置と現在のエッジ位置との一致度が高い場合に、差分領域を草木の揺れ、文字や記号等が記載されたのぼりや旗、理容店のサインポール、電光掲示板の発光掲示物等の動背景物により生じるものと判断し、侵入者により生じる差分領域と区別するので、当該動背景物を的確に検出することができる。
【００１４】
請求項２に記載された画像センサによれば、請求項１に記載の画像センサによる効果に加え、さらに、監視画像中で過去長時間に亘り無エッジであった位置をエッジ変動位置から除外できるので、侵入者等の移動物体により一時的に生じた可能性のあるエッジ変動に基づきエッジ変動位置を検出した誤りを的確に補正することができる。
【００１５】
請求項３に記載された画像センサによれば、請求項１又は２に記載の画像センサによる効果に加え、さらに、定常的にエッジが存在する定在エッジ位置に隣接する位置をエッジ変動位置から除外することができるので、日照等の環境条件の変動により静止物体のエッジの一部が変動してエッジ変動位置を誤検出しても、この誤りを的確に補正することができる。
【００１６】
請求項４に記載された画像センサによれば、請求項１乃至３に記載の画像センサによる効果に加え、さらに、差分領域における監視画像から抽出される侵入者の特徴量の比較対象である所定基準を、動背景物を検出した場合には高く変更することとしたので、動背景物を侵入者として検出する誤りが減少し、高精度に侵入者を検出することができる。すなわち、差分領域に動背景物が有る場合には、例えば検出されたエッジ位置とエッジ変動位置との一致度に応じた所定基準を用いる（一致度が高くなるほど所定基準を高くする）等により、この効果を達成することができる。
【００１７】
請求項５に記載された画像センサによれば、請求項１乃至３に記載の画像センサによる効果に加え、さらに、差分領域に動背景物を検出した場合には侵入者の検出はせず、差分領域に動背景物を検出しなかった場合には当該差分領域における監視画像から侵入者の特徴量を抽出し、該特徴量が所定基準を超えると侵入者を検出するので、動背景物が検出された差分領域について侵入者は検出されなくなり、比較的簡易なデータ処理により動背景物を誤って侵入者として検出する不都合を回避できる。
【発明を実施するための最良の形態】
【００１８】
１．本発明の概要
まず、本発明の実施形態に係る画像センサの全体構成を簡単に説明する。
本例の画像センサは、カメラ等の撮像手段により監視空間を時間的に適当な間隔をおいて撮像することにより複数の監視画像を順次取得し、これら監視画像を以下に説明するような手法で画像処理することにより、監視空間に存在する動背景物を侵入者等と区別して検出する機能を備えた画像センサである。
【００１９】
なお、ここで本画像センサが検出しようとする動背景物とは、監視画像中に現れる草木の揺れ、文字や記号等が記載された動くのぼりや旗、理容店の回転するサインポール、電光掲示板の移動する発光掲示物等のように、背景画像中に存在し動きを伴う物体であって比較的多くのエッジ（輪郭、境界等）が検出される物体を意味する。また、侵入者とは、背景画像中には存在しないが、時として監視画像中に入ってくる物体（人、動物、物その他を含む）を意味する。
【００２０】
本例の画像センサは、監視画像の各位置（各画素）におけるエッジの有無を順次検出して記憶し、過去の一定の時間内に検出されたエッジの有無が繰り返し変動していた場合に、その位置をエッジ変動位置として検出する。そして、監視画像と予め記憶した背景画像との差分領域を差分領域抽出手段により抽出し、この差分領域内において、新たに検出されたエッジの位置と前記エッジ変動位置との一致度を算出し、これが所定値以上である場合、すなわち検出されたエッジの多くがエッジ変動の繰り返しにより出現したものであるということが過去のデータから判断される場合に、前記差分領域内の当該位置に動背景物があるものと判断し、侵入者と区別する。
【００２１】
２．実施形態の構成
以下に、本例の画像センサの実施形態（本例）の構成について図面を参照して詳細に説明する。
図１は、本例の画像センサの構成を示す機能ブロック図、図２は本例の画像センサの基本動作の全体を示す流れ図、図３は前記基本動作におけるエッジ変動位置検出処理を示す流れ図、図４は前記基本動作におけるエッジ変動位置補正処理を示す流れ図、図５は前記基本動作におけるエッジ一致度算出処理を示す流れ図、図６〜図８は前記エッジ変動位置検出処理の一例の説明図、図８〜図１１は前記エッジ変動位置補正処理の一例の説明図、図１２及び図１３は前記エッジ変動位置補正処理の他の一例の説明図である。
【００２２】
(1)構成（図１）
本例の画像センサの構成及び機能を図１を参照して説明する。
［撮像部１］
本例の撮像部１は、ＣＣＤ、Ｃ−ＭＯＳ等の撮像素子を有するカメラ装置及びＬＥＤ等の照明装置を有しており、後述する画像取得部２に接続され、監視空間を撮像して少なくとも輝度値を含む画素値のデータ系列であるとともに画像平面上の画素の位置をデータの並び順として保持する画像データを生成し、この画像データを電気信号として画像取得部２に出力する。
【００２３】
撮像部１は、少なくとも侵入者の検出を行う一連の動作期間中は、動かずに同一の監視空間を撮像する必要があるが、必ずしも常に一定の配置・向きに固定されるべきものではなく、必要に応じて異なる監視空間を撮像できるように構成してもよい。
【００２４】
なお本明細書では、撮像部１が出力する画像データを監視画像と呼ぶ。また、本明細書では、必要に応じ位置を座標（ｘ，ｙ）と表記し、画素値を例えば輝度値Ｉ（ｘ，ｙ）などというようにｘとｙの関数で表す。
【００２５】
撮像部１による監視画像の撮像及び出力は、予め設定した一定の時間間隔（定められた時間の一定の長さの単位を示し本例では例えば０．２秒）にて行われる。つまり、撮像部１は０．２秒置きの一定時間間隔で、各時刻ごとに瞬間的な動作で監視領域を撮像する。本明細書では、この時間間隔を区切る各瞬間を時刻ｔの表記にて表すとともに、時間軸上に存在する特定の前記時間間隔を示すために当該時間間隔を区切る前記時刻の一方の時刻をもって当該時間間隔を示すこともあるものとする。
【００２６】
［画像取得部２］
前記画像取得部２は、前記撮像部１及び後述する制御部３に対して監視画像を入出力するインターフェース回路である。すなわち、画像取得部２は、撮像部１と制御部３とに接続され、撮像部１が出力する監視画像を順次入力して制御部３へ出力する。
【００２７】
［記憶部４］
記憶部４は、制御部３に接続されており、ＲＯＭ、ＲＡＭ等の半導体メモリ、ＨＤＤ等の磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ等の光ディスクドライブ及びその他のあらゆる記憶媒体により構成可能である。記憶部４は、監視画像を画像処理して侵入者を検出するプログラム、本装置の各部を制御するプログラム、予め設定されたデータ、プログラム実行時に生成される背景画像、エッジ画像等の各種データを記憶し、これらのプログラム、データは必要に応じて制御部３により読み出されたり書き込まれたりする。
【００２８】
［制御部３］
前記制御部３は、ＤＳＰ、マイコン、ＬＳＩ等のＣＰＵ、数値演算プロセッサ等の演算装置によって構成でき、画像取得部２と出力部５と記憶部４とに接続される。制御部３は、画像取得部２が出力する監視画像のデータが入力されるとともに記憶部４からプログラムを読み出し、これらのプログラムに従って該監視画像を画像処理して監視空間に存在する侵入者を検出し、検出結果を出力部５へ出力する。また、画像処理を行う際に必要に応じて記憶部４からデータを読み出したり、記憶部４へデータを書き込んだりする。
【００２９】
［出力部５］
出力部５は、侵入者の検出結果を外部へ出力するインターフェース回路であり、入力側には制御部３に接続されて検出結果を表す電気信号が入力され、出力側は警備システムのコントローラ等の外部装置に接続されて当該外部装置に電気信号を出力する。例えば、検出結果が侵入者を検出したことを表すものであった場合、その旨を表す電気信号を外部装置へ伝送する。出力部５はブザーやＬＥＤ等の報知手段を備えても良く、検出結果が侵入者を検出したことを表すものであると、これらの報知手段に通電してブザーを鳴動させたりＬＥＤを点灯させたりして周囲の者の注意を喚起することができる。
【００３０】
以下に説明する差分領域抽出手段６、エッジ検出手段７、エッジ変動位置検出手段８、エッジ変動位置補正手段９、エッジ一致度算出手段１０、動背景物検出手段１１及び侵入者検出手段１２は、図１に示すようにそれぞれ制御部３を構成する機能ブロックとして表されており、ハードウェアで構成することもできるが、本例では制御部３を構成するＬＳＩ等のＣＰＵに格納されて機能する画像処理のプログラムとして構成されている。
【００３１】
［差分領域抽出手段６］
差分領域抽出手段６は、画像センサの起動直後、画像取得部２によって取得された監視画像を背景画像として記憶部４に記憶する。この背景画像は、以降に取得する監視画像から時々刻々と変化する差分領域を抽出する差分処理を行うための基準の画像となることから、この起動直後に行われる背景画像の記憶乃至後述する更新を、記憶部４における背景画像の初期化と呼ぶ。なお、この背景画像は、必ずしも起動直後に取得されたものを永続的に使用するものではなく、本例では取得された監視画像を用いて記憶部４に記憶された背景画像を適宜更新するものとする。
【００３２】
差分領域抽出手段６は、背景画像を初期化した後に、画像取得部２によって新たに取得された監視画像と記憶部４に記憶した背景画像との差分処理を行って差分領域を抽出する。抽出した差分領域には、侵入者等の背景画像に存在しない移動物体による差分領域の他に、草木等の背景画像に存在する動物体（動背景物）による差分領域が含まれる。
【００３３】
抽出した差分領域に関する情報は、差分領域抽出手段６から、エッジ一致度算出手段１０及び侵入者検出手段１２へ出力される。
【００３４】
［エッジ検出手段７］
エッジ検出手段７は、監視画像の各画素位置におけるエッジの有無を検出する。その検出結果は、エッジを検出した位置の画素値を１、エッジを検出しなかった位置の画素値を０としたエッジ画像としてエッジ検出手段７が保持する。
【００３５】
エッジは、監視画像中の個々の物体の輪郭、又は材質や色彩の違い、陰影により現れる境界などであり、画像内で輝度値が大きく変化している位置に略線状に検出される。例えば、木の画像においては葉、枝等の輪郭、侵入者の画像においてはその輪郭、髪と顔といった部位の境界、衣服等の着用物の境界、着用物の模様等の位置にエッジが検出される。
【００３６】
エッジ画像はエッジ検出手段７からエッジ一致度算出手段１０へ出力され、また過去のエッジ画像として記憶部４へ書き込まれる。
【００３７】
［エッジ変動位置検出手段８］
エッジ変動位置検出手段８は、過去の第一の所定時間内にエッジ検出手段７が生成したエッジ画像を記憶部４から読み出し、これらのエッジ画像を生成された時刻の順に比較して画素位置ごとにエッジの有無が変動した回数を計数し、計数した回数が第一の所定回数以上である画素位置をエッジ変動位置として検出する。その検出結果は、エッジ変動位置の画素値を１、それ以外の位置の画素値を０とした動背景物画像としてエッジ変動位置検出手段８が保持するとともに、エッジ変動位置検出手段８からエッジ変動位置補正手段９へ出力される。
【００３８】
揺れる木においては複数の葉や枝が往復運動を繰り返すので、画像上で定点観測すると（すなわち画像上の特定の画素を対象としてエッジの検出を行うと）、葉や枝のエッジが出現と消滅を繰り返すこととなる。エッジ変動位置検出手段８はこのような物理現象を検出するものであり、動背景物のエッジが現時刻において出現する位置を予測する側面を持つ。本例ではエッジが出現した（無→有）回数と消滅した（有→無）回数との合計を計数する。なお、エッジの出現と消滅は対で生じるので、いずれか一方のみを計数しても良い。
【００３９】
侵入者の移動によるエッジ変動の回数は典型的には２回であるから、これを排除して動背景物によるエッジ変動の繰り返しを検出できるように第一の所定回数は３以上に設定することが好適である。本実施例では、動背景物によるエッジ変動を最も早く検出するために第一の所定回数を３回とした。
【００４０】
また本実施例では、第一の所定時間を８時刻前から１時刻前まで、すなわち１．８秒前から０．２秒前までの時間とし、この時間内に生成された８枚のエッジ画像のある画素においてエッジの有無の変動が３回認められた場合に、当該画素の位置をエッジ変動位置として認定し、検出する。
【００４１】
なお、本例では上記時間間隔の最小単位が０．２秒と設定されていたが、実際の設定がこれと異なれば、上述した８枚の画像から３回以上必要とされたエッジ変動位置の認定に必要な画像の枚数及びエッジ変動と認められる回数は、これとは異なることもありうる。すなわち、いかなる時間間隔で取得された何枚のエッジ画像から何回のエッジ変動が認められれば当該画素をエッジ変動位置と認めるべきかは、例えば監視画像内で監視可能な侵入者の画像の大きさの最小値や、監視画像を構成する画素の大きさ、また予想される侵入者の移動速度等に応じて、経験則を踏まえて最適な検出が行われるように設定すべきものである。
【００４２】
従って本例における０．２秒前までという設定も一例であり、数秒程度の遅れがあっても良いし、１．６秒という設定も一例に過ぎない。但し、動背景物のエッジが出現と消滅を繰り返す状況が観察可能であることが必要なので、下限は３つの時間間隔に相当する時間であることが必要である。また、第一の所定時間が長すぎ、より多い枚数のエッジ画像の中からエッジ変動の存在をカウントすることとなると、エッジ変動を認めるべき最小の回数が変わらない限り、当該画素がエッジ変動位置と認められる可能性は高くなり、従って隣接する画素がいずれもエッジ変動位置と認められてしまうため、得られる動背景物画像は、エッジが移動した範囲がべた状に塗り潰されたような状態となり、エッジの位置が画像平面上で離散的に分布する性質が失われてしまう。このため上限は数秒程度とすることが好ましい。
【００４３】
［エッジ変動位置補正手段９］
＜無エッジ情報に基づく補正＞
エッジ変動位置補正手段９は、エッジ変動位置検出手段８から動背景物画像を入力するとともに、第二の所定時間内にエッジ検出手段７が生成したエッジ画像を記憶部４から読み出し、これらのエッジ画像の各画素位置においてエッジが検出されなかった回数を計数し、この回数が第二の所定回数以上である画素位置には動背景物によるエッジ変動がなかったものとして、動背景物画像における当該画素位置の画素値を０とする。
【００４４】
この処理は、侵入者等の移動物体により一時的に生じたエッジ変動をエッジ変動位置検出手段８が検出した誤りを、過去の長い間エッジが検出されなかったという実績を根拠に補正するものである。
【００４５】
そのため、第二の所定時間は、第一の所定時間より過去の時間を含み、また、第一の所定時間と同じかより長い時間として設定することが好適である。より具体的には、第一の所定時間の始点時刻を終点時刻とし、第一の所定時間と同等以上の長さを有する第二の所定時間でもよいし、第一の所定時間の終点時刻を終点時刻とし、第一の所定時間を含む過去の時間帯であって、第一の所定時間よりも長い第二の所定時間でもよい。
【００４６】
本実施例では、第二の所定時間を少なくとも１６時刻前から１時刻前まで、すなわち３．２秒前から０．２秒前までを含む時間とし、この時間内に生成された少なくとも１６枚のエッジ画像を処理対象とする。
【００４７】
第二の所定回数は、エッジ無しの状態が支配的であることが判定できること、照明等の環境変動やノイズの発生により突発的にエッジが出現し得ることを考慮して、処理対象とするエッジ画像の数よりもやや少なめに設定する。本実施例では、第二の所定回数を少なくとも１４回とすることが好適である。
【００４８】
＜定在エッジ情報に基づく補正＞
第三の所定時間内にエッジ検出手段７が生成し記憶したエッジ画像を記憶部４から読み出して、これらのエッジ画像において定常的にエッジが存在するエッジ定在位置を検出し、エッジ変動位置検出手段８が検出したエッジ変動位置がエッジ定在位置に隣接する場合に、エッジ変動位置には動背景物によるエッジ変動がなかったものとして、動背景物画像における当該画素位置の画素値を０とする。
【００４９】
静止物体のエッジの多くは同一位置に検出され続けるが、日照等の環境条件の変動によりその一部が検出されたりされなかったりすることがあり、エッジ変動位置検出手段８にてエッジ変動が検出されてしまうことがある。そこで、上記処理により、その近傍に安定して検出され続けるエッジが存在するようなエッジ変動位置は、エッジ変動位置検出手段８にて誤検出されたものとして補正する。
【００５０】
エッジ定在位置の検出はエッジ変動位置の検出と同じ環境条件で行うのが良く、第三の所定時間は第一の所定時間を含んでいることが好適である。本実施例では、第三の所定時間を第一の所定時間と同一に設定する。
【００５１】
エッジ変動位置補正手段９において上記２手法により補正された動背景物画像は、エッジ一致度算出手段１０へ出力される。
【００５２】
［エッジ一致度算出手段１０］
エッジ一致度算出手段１０は、差分領域抽出手段６から差分領域の情報を入力され、エッジ検出手段７から現時刻のエッジ画像を入力され、エッジ変動位置補正手段９から補正された動背景物画像を入力される。
【００５３】
エッジ画像に保持された現時刻のエッジの位置と動背景物画像に保持されたエッジ変動位置との一致度を差分領域内において画素ごとに算出し、各差分領域内の各画素ごとの一致度を動背景物検出手段１１へ出力する。この一致度とは、現時刻のエッジの位置が、エッジ変動位置に一致する割合を示し、差分領域が動背景物によるものか否かを判断する指標である。
【００５４】
揺れる木の葉や枝について抽出されたエッジ変動位置に、現時刻において侵入者等の移動物体のエッジが出現することもありうるが、侵入者の輪郭等は葉や枝の輪郭とは異なるので、その可能性は動背景物のエッジに比べて低い。木が揺れている場合、葉や枝は略往復運動を繰り返しているので、エッジ変動位置に現時刻のエッジが出現する可能性は高い。差分領域内の複数のエッジ変動位置について集計した一致度では、上記可能性の違いが有意な差となる。
【００５５】
［動背景物検出手段１１］
動背景物検出手段１１は、エッジ一致度算出手段１０から、差分領域におけるエッジの一致度を入力して、各差分領域における動背景物の有無を検出し、検出結果及び一致度を侵入者検出手段１２へ出力する。
【００５６】
差分領域のエッジの一致度を予め設定された所定値と比較して、一致度が所定値以上である場合に当該差分領域に動背景物有り、そうでない場合は当該差分領域に動背景物無しと判定する。
【００５７】
［侵入者検出手段１２］
侵入者検出手段１２は、取得された監視画像を入力し、差分領域抽出手段６からは差分領域の情報を入力し、動背景物検出手段１１からは各差分領域における動背景物の有無と一致度の情報を入力する。
【００５８】
差分領域における監視画像を画像処理して後述する侵入者の特徴量を抽出して、侵入者の特徴量を所定基準と比較し、特徴量が所定基準を超えたときに当該差分領域に侵入者有り、そうでない場合に当該差分領域に侵入者無しと判定する。
【００５９】
このとき、動背景物検出手段１１からの情報を参照して、当該差分領域に動背景物が有る場合には一致度に応じた所定基準を用いる。より具体的には、一致度が高くなるほど所定基準を高くする。一方、当該差分領域に動背景物が無い場合には、動背景物が有る場合より低く固定された所定基準を用いる。このようにすることで、動背景物が検出された差分領域では侵入者が検出されにくくなり、動背景物を誤って侵入者として検出するミスが起きにくくなる。
【００６０】
動背景物が検出されなかった差分領域についてのみ侵入者の特徴量の抽出と、所定基準との比較を行って侵入者の検出を行っても良い。
【００６１】
侵入者検出手段１２は、侵入者が検出された差分領域が１つでもあった場合は、侵入者を検出したことを表す信号を出力部５へ出力する。
【００６２】
(2)画像センサの動作（図２〜図５）
画像センサに電源が投入されると、撮像部１は予め設定された一定の時間間隔にて監視画像を出力し、制御部３は記憶部４からプログラムを読み出し、新たな監視画像が取得されるたびにプログラムに従い図２〜図５のフローチャートに示す処理を繰り返し実行し、侵入者を検出する。なお、図２〜図５のフローチャートにおける各処理ステップにはそれぞれＳ＋数字で表す処理ステップ番号を付して以下の説明における便宜とする。
以下、各処理ステップごとに説明する。
【００６３】
［Ｓ２１；監視画像取得］
制御部３は画像取得部２を介して撮像部１が出力する監視画像を取得する。取得した監視画像は一時的に記憶部４に記憶しても良い。
【００６４】
［Ｓ２２及びＳ２３；背景画像初期化］
制御部３は差分領域抽出手段６により以下の処理を実行する。
画像センサの起動直後は、背景画像が初期化されていないので（Ｓ２２にてＮＯ）、ステップＳ２３にて以下の初期化の処理を行う。
【００６５】
起動直後の１時刻目は取得された監視画像を背景画像として記憶部４に新たに記憶する。その後数時刻（例えば５時刻）の間、新たに取得された監視画像と記憶部４に記憶した背景画像とを順次平均化し、平均化した背景画像を記憶部４に上書きして初期化済となる。初期化済になると（Ｓ２２にてＹＥＳ）、ステップＳ２４へ移行する。
【００６６】
［Ｓ２４；差分領域抽出］
制御部３は差分領域抽出手段６により以下の処理を実行する。
記憶部４から背景画像を読み出し、監視画像と背景画像の同一座標の画素同士について輝度値の差の絶対値を算出する。算出した差の絶対値が予め定めたしきい値より大きい画素は変化有り、それ以外の画素は変化無しと判定する。変化有りとされた画素の画素値を１、変化無しとされた画素の画素値を０として差分画像を生成する。
【００６７】
差分画像において近傍画素の画素値が互いに１であれば、これらの近傍画素を１つの差分領域としてまとめる。これらの各差分領域の面積（画素数）を算出し、算出した面積が予め設定した面積しきい値以上の差分領域は以降の処理の対象とし管理番号を付与して管理する。本例では管理番号を変数ｍで表す。面積が予め設定した面積しきい値未満の差分領域はノイズにより生じる小さな差分領域と判断して以降の処理対象としない。
【００６８】
［Ｓ２５；エッジ検出］
制御部３はエッジ検出手段７により以下の処理を実行する。
監視画像の各画素のエッジ強度値Ｅ（ｘ，ｙ）を次式（１）にて算出する。
【００６９】
Ｅ（ｘ，ｙ）＝（１／２）｜Ｉ（ｘ＋１，ｙ）−Ｉ（ｘ−１、ｙ）｜＋
（１／２）｜Ｉ（ｘ，ｙ＋１）−Ｉ（ｘ、ｙ−１）｜  …  （１）
【００７０】
エッジ強度値を予め設定したしきい値と比較し、エッジ強度値がしきい値より大きいと判断された画素はエッジ有り、それ以外の画素はエッジ無しと判定する。エッジ有りの画素の画素値を１、エッジ無しの画素の画素値を０としたエッジ画像を生成する。
【００７１】
エッジ強度値は、上式以外にもSobel オペレータ、Prewitt オペレータ、Roberts オペレータ等の公知のオペレータを用いて算出することができる。
【００７２】
生成したエッジ画像は記憶部４に記憶される。現時刻から８時刻前までのエッジ画像が常に記憶部４に記憶されているように９時刻前のエッジ画像を削除するとともに現時刻のエッジ画像を追加していく。
【００７３】
［Ｓ２６及び図３；エッジ変動位置検出］
制御部３は、エッジ変動位置検出手段８により、図２のＳ２６において、図３のフローチャートに詳細を示す「エッジ変動位置検出」サブルーチン処理を以下に説明するように実行する。
【００７４】
ステップＳ３０１では、第一の所定時間である８時刻前から１時刻前に生成されたエッジ画像を記憶部４から読み出す。
【００７５】
ステップＳ３０２では、以下のステップＳ３０３〜Ｓ３０６で処理対象となるエッジ画像及び動背景物画像の座標（ｘ，ｙ）を順次設定する。
【００７６】
ステップＳ３０３では、ステップＳ３０１にて読み出した８枚のエッジ画像において、同一座標（ｘ，ｙ）の画素値同士を生成された順に比較して、０から１へ及び１から０へと時間的に変化した回数を当該座標におけるエッジの変動回数Ｎｆ（ｘ，ｙ）として計数する。
【００７７】
変動回数Ｎｆ（ｘ，ｙ）と予め設定したしきい値Ｔｆ１（第一の所定回数；３回）とを比較して、変動回数Ｎｆ（ｘ，ｙ）がしきい値Ｔｆ１以上であれば（Ｓ３０４にてＹＥＳ）座標（ｘ，ｙ）をエッジ変動位置として検出し、動背景物画像の画素値Ｌ（ｘ，ｙ）に１を設定する（Ｓ３０５）。  
【００７８】
変動回数Ｎｆ（ｘ，ｙ）がしきい値Ｔｆ１未満であれば（Ｓ３０４にてＮＯ）、画素値Ｌ（ｘ，ｙ）に０を設定する（Ｓ３０６）。
【００７９】
全画素について処理を行った場合は（Ｓ３０７にてＹＥＳ）エッジ変動位置検出処理を終了して本処理にて生成されたエッジ変動位置を保持している動背景物画像をエッジ変動位置補正手段９へ出力して、図 2のステップＳ２７へ移行する。そうでなければ（Ｓ３０７にてＮＯ）、次に処理対象とする画素の座標を設定して同様の処理を繰り返すべくステップＳ３０２に戻る。
【００８０】
［Ｓ２７及び図４；エッジ変動位置補正］
制御部３は、エッジ変動位置補正手段９により、図２のＳ２７において、図４のフローチャートに詳細を示す「エッジ変動位置補正」サブルーチン処理を以下に説明するように実行する。
【００８１】
ステップＳ４０１では、第三の所定時間である８時刻前から１時刻前に生成された８枚のエッジ画像を記憶部４から読み出す。
【００８２】
まず、定在エッジ情報に基づく補正を行う。ステップＳ４０２では、以下のステップＳ４０３〜Ｓ４０６で処理対象となるエッジ画像及び定在エッジ画像の座標（ｘ、ｙ）を順次設定する。
【００８３】
ステップＳ４０３では、ステップＳ４０１にて読み出した８枚のエッジ画像において同一座標（ｘ，ｙ）にある各画素の画素値が１である回数を当該座標における有エッジ回数Ｎａ（ｘ，ｙ）として計数する。
【００８４】
有エッジ回数Ｎａ（ｘ，ｙ）を予め設定したしきい値Ｔａ（第三の所定回数）と比較して、有エッジ回数Ｎａ（ｘ，ｙ）がしきい値Ｔａ以上である座標（ｘ，ｙ）を定在エッジ位置として検出し（Ｓ４０４にてＹＥＳ）、定在エッジ画像の画素値Ａ（ｘ，ｙ）に１を設定する（Ｓ４０５）。
【００８５】
有エッジ回数Ｎｆ（ｘ，ｙ）がしきい値Ｔａ未満であれば（Ｓ４０４にてＮＯ）画素値Ａ（ｘ，ｙ）に０を設定する（Ｓ４０６）。
【００８６】
本実施例では、しきい値Ｔａを８とする。
【００８７】
全画素について処理を行った場合は（Ｓ４０７にてＹＥＳ）、次のステップＳ４０８へ移行し、全画素の処理が終わっていない場合は（Ｓ４０７にてＮＯ）、ステップＳ４０２へ戻り、次に処理対象とする画素の座標を設定して同様の処理を繰り返す。
【００８８】
ステップＳ４０８では、動背景物画像において画素値が１である座標（エッジ変動位置）を順次サーチしてその座標（ｘ，ｙ）を以下のステップＳ４０９〜Ｓ４１１における処理対象として設定する。
【００８９】
ステップＳ４０９では、定在エッジ画像において座標（ｘ，ｙ）の８近傍にある画素（当該画素に隣接する上・下・左・右・右上斜め・左上斜め・右下斜め・左下斜めの８方向の画素）のうち画素値が１である画素の数を近傍定在エッジ数Ｎｓ（ｘ，ｙ）として算出する。
【００９０】
近傍定在エッジ数Ｎｓ（ｘ，ｙ）を予め設定したしきい値Ｔｓと比較し、近傍定在エッジ数Ｎｓ（ｘ，ｙ）がしきい値Ｔｓ以上であれば（Ｓ４１０にてＹＥＳ）、定在エッジが照明変動等により変動したものとして当該座標（ｘ，ｙ）にある動背景物画像の画素値Ｌ（ｘ，ｙ）を０に補正する（Ｓ４１１）。つまり、当初動背景物に依るものとして検出されたエッジを定在エッジであるとして判断を補正することができる。
なお、本実施例では、判断の基準となる前記しきい値Ｔｓを３とする。
【００９１】
全エッジ変動位置について処理を行った場合は（Ｓ４１２にてＹＥＳ）、ステップＳ４１３へ移行して次の補正処理を開始する。そうでなければ（Ｓ４１２にてＮＯ）、次に処理対象とするエッジ変動位置を設定して同様の処理を繰り返す。
【００９２】
次に、無エッジ情報に基づく補正を行う。ステップＳ４１３では、以下のステップＳ４１４〜Ｓ４２３で処理対象となるエッジ画像及び動背景物画像、カウンタの座標（ｘ、ｙ）を順次設定する。
【００９３】
ステップＳ４１４では、ステップＳ４０１にて読み出した８枚のエッジ画像において同一座標（ｘ，ｙ）にある各画素の画素値が０である回数を当該座標における無エッジ回数Ｎｎ（ｘ，ｙ）として計数する。
【００９４】
無エッジ回数Ｎｎ（ｘ，ｙ）と予め設定したしきい値Ｔｎとを比較して無エッジ回数Ｎｎ（ｘ，ｙ）がしきい値Ｔｎ以上であれば（Ｓ４１５にてＹＥＳ）、カウンタＣｎ（ｘ，ｙ）の値を１だけ増加させる（Ｓ４１６）。本例ではしきい値Ｔｎを７に設定した。このカウンタは無エッジ情報を蓄積するためのものであり、カウンタ値が大きい程、無エッジ情報に基づく補正の必要が高くなる。なおカウンタＣｎ（ｘ，ｙ）は画像センサの起動直後に０に初期化されているものとする。
【００９５】
ステップＳ４１７では、ステップＳ４０１にて読み出した８枚のエッジ画像において、同一座標（ｘ、ｙ）の画素値同士を生成された順に比較して、０から１へ及び１から０へと時間的に変化した回数を当該座標におけるエッジの変動回数Ｎｆ（ｘ，ｙ）として計数する。
【００９６】
変動回数Ｎｆ（ｘ，ｙ）を予め設定したしきい値Ｔｆ２と比較して、変動回数Ｎｆ（ｘ，ｙ）がしきい値Ｔｆ２以上であれば（Ｓ４１８にてＹＥＳ）、カウンタＣｎ（ｘ，ｙ）の値を２分の１に修正し（Ｓ４１９）、ステップＳ４２２へ移行する。なお、カウンタの値は小数部を切り捨てた整数となる。
これにより、揺れていなかった草木が激しく揺れ始めた場合等にエッジ変動位置が誤って補正されないようにする。
【００９７】
一方、変動回数Ｎｆ（ｘ，ｙ）がしきい値Ｔｆ２より小さければ（Ｓ４１８にてＮＯ）、次にこの変動回数Ｎｆ（ｘ，ｙ）を予め設定したしきい値Ｔｆ３と比較し、変動回数Ｎｆ（ｘ，ｙ）がしきい値Ｔｆ３以上であれば（Ｓ４２０にてＹＥＳ）、カウンタＣｎ（ｘ，ｙ）の値を２だけ減少させる（Ｓ４２１）。カウンタＣｎ（ｘ，ｙ）の値が負になる場合は値を０に修正する。これにより、揺れていなかった草木が揺れ始めた場合等にエッジ変動位置が誤って補正されないようにする。
【００９８】
しきい値Ｔｆ２はより激しい揺れを検出するための値であるから、Ｔｆ１≦Ｔｆ３＜Ｔｆ２とするのが好適であり、本例ではしきい値Ｔｆ３を４、しきい値Ｔｆ２を５と設定した。また、ステップＳ４１９、Ｓ４２１におけるカウンタ値の除算、減算は一例であり、ステップＳ４２１の演算よりステップＳ４１９の演算の方がカウンタ値を大きく減らす思想の下で、各演算を適宜設定することができる。
【００９９】
カウンタＣｎ（ｘ，ｙ）を予め設定したしきい値Ｔｃと比較して、カウンタＣｎ（ｘ，ｙ）が予め定めたしきい値Ｔｃ以上であれば（Ｓ４２２にてＹＥＳ）、当該座標（ｘ，ｙ）に動背景物のエッジは出現していないものとして、動背景物画像の画素値Ｌ（ｘ，ｙ）に０を書き込む（Ｓ４２３）。なお、本例ではしきい値Ｔｃを９と設定した。
以上のように、各画素位置において、過去８時刻の無エッジ回数が７回以上であればカウンタを１増加させ、カウンタの値が９以上となった画素位置は定常的にエッジが出現しない位置と認定して補正の対象に決定する。最短時間で補正の対象に決定される場合の第二の所定時間は１６時刻、第二の所定回数は１４回となる。このように補正の対象の決定は逐次的に行い、その処理の過程において第二の所定時間は１６時刻以上の時間に動的に設定され、また第二の所定回数は１４回以上の回数に動的に設定される。
【０１００】
全画素について処理を行った場合（Ｓ４２４にてＹＥＳ）はエッジ変動位置補正処理を終了し、本処理にて補正されエッジ変動位置を保持している動背景物画像をエッジ一致度算出手段１０へ出力して、図２のステップＳ２８へ移行する。そうでなければ（Ｓ４２４にてＮＯ）、次に処理対象とする画素の座標（ｘ、ｙ）を設定して同様の処理を繰り返す。
【０１０１】
以上の処理により、侵入者等の移動物体によって一時的なエッジの出現と消滅が生じ、このためにエッジ変動位置検出手段８がエッジ変動位置を誤検出した場合に、これを補正することができる。
【０１０２】
［Ｓ２８及び図５；エッジ一致度算出］
制御部３は、エッジ一致度算出手段１０により、図２のＳ２８において、図５のフローチャートに詳細を示す「エッジ変動位置補正」サブルーチン処理を以下に説明するように実行する。
【０１０３】
ステップＳ５０１では、ステップＳ２４にて抽出され以下のステップＳ５０２〜Ｓ５０７で処理対象となる差分領域ｍを順次設定する。
【０１０４】
ステップＳ５０２では、エッジ画像と差分画像とを用い、差分領域ｍの内側に存在する現時刻のエッジ数ｅ（ｍ）を計数する。そのためには、エッジ画像と差分画像の論理積の総和を演算すればよい。
【０１０５】
エッジ数ｅ（ｍ）が予め設定したしきい値Ｔｅより少ない場合は（Ｓ５０３にてＮＯ）、ほぼ確実に動背景物ではないので後述する一致度r(m)に０を設定する（Ｓ５０４）。
【０１０６】
エッジ数ｅ（ｍ）が予め設定したしきい値Ｔｅ以上の場合は（Ｓ５０３にてＹＥＳ）、動背景物の可能性があるのでエッジ画像及び動背景物画像、差分画像を用い、差分領域ｍの内側に存在する現時刻のエッジ位置とエッジ変動位置との一致数ｄ（ｍ）を計数する（Ｓ５０５）。そのためには、エッジ画像と動背景物画像と差分画像の論理積の総和を演算すればよい。
【０１０７】
ステップＳ５０６では、次式（２）により、一致数ｄ（ｍ）を出現した現時刻のエッジ数ｅ（ｍ）で正規化して一致度ｒ（ｍ）を算出する。
ｒ（ｍ）＝ｄ（ｍ）／ｅ（ｍ）…（２）
【０１０８】
ｅ（ｍ）に代えて、差分領域ｍの内側に存在する現時刻のエッジ位置と差分領域ｍの内側に存在するエッジ変動位置との和を用いて、一致数ｄ（ｍ）を正規化しても良い。又は、ｅ（ｍ）に代えて、差分領域ｍの面積（画素数）を用いて一致数ｄ（ｍ）を正規化しても良い。
【０１０９】
更に、所定関数を用いて一致度ｒ（ｍ）に変換を施してもよい。所定関数は、実際にｒ（ｍ）を得たときに差分領域ｍが動背景物によるものである確率を実験的に求めておき、ｒ（ｍ）を前記確率（値域０〜１）に変換する関数に設定しておくことが好適である。
【０１１０】
全ての差分領域について処理を行った場合（Ｓ５０８にてＹＥＳ）はエッジ一致度算出処理を終了して、各差分領域における一致度を動背景物検出手段１１へ出力して、図２のステップＳ２９へ移行する。そうでなければ（Ｓ５０８にてＮＯ）、ステップＳ５０１に戻り、次に処理の対象とする差分領域ｍを設定して同様の処理を繰り返す。
【０１１１】
［Ｓ２９；動背景物検出］
制御部３は動背景物検出手段１１により以下の処理を実行する。
各差分領域ｍについて、エッジ一致度ｒ（ｍ）と予め設定したしきい値Ｔｒとを比較して、エッジ一致度ｒ（ｍ）がしきい値Ｔｒ以上であれば差分領域ｍは動背景物によるものであると判定し、エッジ一致度ｒ（ｍ）がしきい値Ｔｒ未満であれば差分領域ｍは動背景物によるものではないと判定する。動背景物を検出するためのしきい値Ｔｒは０．５以上の値とするのが好適であり、本例では０．５と設定した。
【０１１２】
［Ｓ３０；侵入者特徴量算出］
制御部３は侵入者検出手段１２により以下の処理を実行する。
各差分領域について、種々の画像特徴量を抽出し、各画像特徴量を予め設定した所定関数に入力して値に変換し、更にこれら変換された値を重み付け加算し、当該差分領域の人らしさを表す指標（値域０〜１）を算出する。
【０１１３】
抽出する画像特徴量と所定関数の特性を以下に例示する。
1)差分領域の面積（画素数）
所定関数は、面積が人とみなせる範囲内にあれば高い値を出力し、そうでなければ低い値を出力する。
2)差分領域の形状
所定関数は、縦に長い又は横に長いと高い値を出力し、そうでなければ低い値を出力する。
3)背景画像のテクスチャと監視画像のテクスチャの類似度
画像のテクスチャとは輝度のパターン乃至模様を意味する。テクスチャの類似度が高い場合は透過性の外乱（光や影）の可能性が高いので、所定関数は、類似度が高いと低い値を出力し、類似度が低ければ高い値を出力する。
4)背景画像に対する監視画像のエッジの増加率
所定関数は、増加率が高いと高い値を出力し、増加率が低いと低い値を出力する。
5)背景画像に対する監視画像のエッジの減少率
所定関数は、減少率が高いと高い値を出力し、減少率が低いと低い値を出力する。
【０１１４】
動背景物検出手段１１にて動背景物が検出されなかった差分領域については画像特徴量の抽出を省略しても良い。この場合、当該差分領域に関する指標は０とする。
【０１１５】
［Ｓ３１；侵入者検出］
制御部３は侵入者検出手段１２により各差分領域ｍについて以下の処理を実行する。
1)差分領域が侵入者によるものであるか否かを判定するためのしきい値Ｔｈ（ｍ）を設定する。
動背景物検出手段１１にて動背景物が検出された差分領域ｍの場合、エッジの一致度ｒ（ｍ）が高いほど、動背景物である確率が高くなると考えられるから、動背景物と侵入者を区別するために、しきい値Ｔｈ（ｍ）を高く設定することとする。
Ｔｈ（ｍ）＝（α・ｒ（ｍ）＋１）・Ｔｈ０    ( α＞０) …（３）
動背景物検出手段１１にて動背景物が検出されなかった差分領域ｍの場合であっても、直ちに侵入者によるものとはいえず、光等その他の原因で検出された可能性もあるので、動背景物が検出された場合のＴｈ（ｍ）よりも低く設定する。
Ｔｈ（ｍ）＝Ｔｈ０                                    …（４）
【０１１６】
2)人らしさを表す指標としきい値Ｔｈ（ｍ）とを比較し、該指標がしきい値Ｔｈ（ｍ  ）以上の場合に差分領域ｍは侵入者によるものと判定し、該指標がしきい値Ｔｈ（ｍ）未満の場合に差分領域ｍは侵入者によるものではないと判定する。
【０１１７】
侵入者による差分領域が１つでも存在した場合は、侵入者を検出したとする。
【０１１８】
エッジの一致度ｒ（ｍ）に応じてしきい値Ｔｈ（ｍ）を変更する例を示したが、エッジの一致度ｒ（ｍ）に応じて人らしさを表す指標を補正しても良い。この場合、エッジの一致度ｒ（ｍ）が高いほど、動背景物である確率が高くなると考えられるから、人らしさを表す指標を小さくする補正とし、しきい値Ｔｈ（ｍ）は一定値とする。
【０１１９】
［Ｓ３２〜Ｓ３４；侵入者検出結果に応じた処理］
侵入者を検出した場合（Ｓ３２にてＹＥＳ）、制御部３は出力部５を介して外部装置に検出信号を出力する（Ｓ３３）。侵入者を検出しなかった場合（Ｓ３２にてＮＯ）、制御部３は、照明変動による侵入者検出精度の低下を防ぐために差分領域抽出手段６により背景画像を以下のように更新する（Ｓ３４）。
【０１２０】
1)現時刻の監視画像と記憶部４に記憶した背景画像とを平均化した背景画像を記憶部４に上書きしてもよい。
2)極端に大きな差分領域が抽出されるなどして急激な照明変動を検知したときに記憶している背景画像をクリアしても良い。この場合、次の時刻に背景画像初期化のステップを実行する。
ステップＳ３４の処理に代えて侵入者が検出されたか否かによらず一定時刻おきに背景画像を現時刻の監視画像と置き換える更新を行っても良い。
【０１２１】
(3)画像データ処理の実例（図６〜図１３）
以上説明した本例の画像センサにおける画像処理例を具体的に説明する。
なお、参照する各図において、画像や拡大画像等の横方向の並びが２組ある場合は、これを段と称して上から上段、下段のように呼び、各段において横に並ぶ各図は、左図、中央図、右図のように称する。
【０１２２】
［エッジ変動位置検出処理の例］（図６〜図８）
現時刻をｔとし、１時刻前を（ｔ−１）、２時刻前を（ｔ−２）…と表す。
図６上段は、エッジ検出手段７により生成されたエッジ画像である。エッジ有りを黒、エッジ無しを白で示した。
【０１２３】
図６下段は、上段の各エッジ画像の一部を拡大したものである。
各ブロックは画素を表し、黒いブロックはエッジ有り（画素値１）、白いブロックはエッジ無し（画素値０）を示す。
【０１２４】
図７上段左図は差分領域抽出手段６により作成された、時刻ｔの差分画像を示す。図中に示すように、差分領域には移動物体（侵入者）の差分領域と、動背景物による差分領域が含まれる。
【０１２５】
図７上段中央図は、エッジ変動位置検出手段８により生成された時刻ｔの動背景物画像である。エッジ変動位置を黒、なしを白で表した。
【０１２６】
図７上段右図は、時刻ｔのエッジ画像を示す。エッジ有りを黒、エッジ無しを白で表した。
【０１２７】
図７下段は、時刻ｔの動背景物画像（図７上段中央図）の一部を拡大したものである。各ブロックは画素を表し、黒いブロックはエッジ変動有り（画素値１）、白いブロックはエッジ変動無し（画素値０）を示す。
【０１２８】
ここで、図６及び図７の各画像を構成するいくつかの画素について具体的に検討する。
座標（ｘ１，ｙ１）では、葉の揺れによりエッジの出現と消滅とが繰り返されて、エッジ画像の画素値は１０１００１０１となった。変動回数Ｎｆ（ｘ１，ｙ１）は６回と計数され、しきい値Ｔｆ１以上であるから座標（ｘ１，ｙ１）はエッジ変動位置として検出され、動背景物画像の画素値Ｌ（ｘ１，ｙ１）は１となった。
一般に、このエッジ変動には複数の葉によるエッジ変動が含まれている。
【０１２９】
座標（ｘ２，ｙ２）では、侵入者の通過により、時刻（ｔ−８）にエッジが出現して、エッジ画像の画素値は０１００００００となった。変動回数Ｎｆ（ｘ２，ｙ２）は２回と計数され、しきい値Ｔｆ１未満であるから座標（ｘ２，ｙ２）はエッジ変動位置としては検出されず、動背景物画像の画素値Ｌ（ｘ２，ｙ２）は０となった。
【０１３０】
座標（ｘ３，ｙ３）では、静止している幹の部分のエッジが常に存在して、エッジ画像の画素値は１１１１１１１１となった。変動回数Ｎｆ（ｘ３，ｙ３）は０回と計数され、しきい値Ｔｆ１未満であるから座標（ｘ３，ｙ３）はエッジ変動位置としては検出されず、動背景物画像の画素値Ｌ（ｘ３，ｙ３）は０となった。
【０１３１】
図８左図は、差分領域内におけるエッジ変動位置を示すものである。すなわち、差分領域の外縁を点線で表示し、エッジ変動位置を黒、そうでないものを白で示す。
【０１３２】
図８中央図は、差分領域内における時刻ｔでのエッジを示すものである。すなわち、差分領域の外縁を点線で表示し、エッジ位置を黒、そうでないものを白で示す。
【０１３３】
図８右図は、時刻ｔの差分領域内において、エッジ変動位置でありエッジである画素を示すものであり、差分領域の外縁を点線で表示し、エッジ変動位置でありエッジである画素を黒、そうでないものを白で示す。この図は、図８左図及び同中央図の２つの画像のＡＮＤをとったものであって、両者の合致した部分の数が一致数ｄとなる。
【０１３４】
エッジ一致度算出手段１０においては、まず抽出領域内でエッジの数e(m)をエッジ画像から調べる。同様に抽出領域内でエッジ変動位置かつ現時刻のエッジ位置である画素の数d(m)を動背景物画像とエッジ画像から調べる。そして、r(m)＝d(m)／e(m)を計算する。動背景物検出手段１１では、r(m)>0.5であれば動背景物を検出したとする。動背景物であれば、エッジでありかつエッジ変動位置である画素は多いのでd(m)が大きく、r(m)も大きくなる。逆に、侵入者であればエッジでありかつエッジ変動位置である画素は少ないのでd(m)は小さく、r(m)も小さくなる。
【０１３５】
動背景物画像は、略線状に検出されているエッジの情報に基づいて生成したので、エッジ変動位置は画像平面上で離散的に分布した状態となっている。このような分布であれば、エッジ変動位置とエッジ位置の一致の確認により動背景物を侵入者から区別して検出することができる。仮に、葉が移動した領域全体に（連続的に）エッジ変動位置が検出されてしまうと（領域が黒で塗りつぶされたような状態になると）、この領域において現時刻にエッジが出現した位置全てがエッジ変動位置と一致して一致度は常に１となってしまい動背景物と侵入者を区別できない。
【０１３６】
［無エッジ情報に基づくエッジ変動位置補正処理の例］（図９〜図１１）
現時刻をｔとし、１時刻前を（ｔ−１）、２時刻前を（ｔ−２）…と示す。
図９上段と図１０上段は、エッジ検出手段７により生成されたエッジ画像であり、エッジ有りを黒、エッジ無しを白で示した。図９下段と図１０下段は、図９上段と図１０上段に示す各エッジ画像の一部をそれぞれ拡大したものであり、黒いブロックはエッジ有り（画素値１）の画素、白いブロックはエッジ無し（画素値０）の画素を示す。図１１上段左図は、エッジ変動位置検出手段８により生成された動背景物画像の一部である。エッジ変動位置を黒、そうでないものを白で示す。図１１上段右図は、エッジ変動位置補正手段９により時刻ｔに生成されたカウンタＣｎを画像化したものである。説明を分かり易くするため、値がしきい値Ｔｃ以上である座標を黒、しきい値Ｔｃ未満である座標を白で示す。図１１下段は、エッジ変動位置補正手段９により補正された動背景物画像を示す。エッジ変動位置を黒、そうでない位置を白で示す。
【０１３７】
ここで図９〜図１１の各画像を構成するいくつかの画素について具体的に検討する。
まず、エッジ変動位置検出手段８による処理を検討する。
座標（ｘ１，ｙ１）では、侵入者によりエッジの出現と消滅とが一時的に繰り返され、時刻（ｔ−９）から（ｔ−１）のエッジ画像の画素値は１０００００１０となった。そのため、時刻ｔに変動回数Ｎｆ（ｘ１，ｙ１）は３と計数されてしきい値Ｔｆ１以上となり、侵入者による変動であるにもかかわらず座標（ｘ１，ｙ１）はエッジ変動位置として誤検出され、動背景物画像の画素値Ｌ（ｘ１，ｙ１）は１となった。他にも２箇所の誤検出が生じた。
【０１３８】
次に、エッジ変動位置補正手段９による処理を検討する。
座標（ｘ１，ｙ１）では、時刻（ｔ−２５）から（ｔ−１８）に渡りエッジが検出されず、時刻（ｔ−１７）にて無エッジ回数Ｎｎ（ｘ１，ｙ１）は８と計数されてしきい値Ｔｎ以上となり、カウンタＣｎ（ｘ１，ｙ１）は１となった。その後、時刻（ｔ−１６）から（ｔ−９）でも無エッジ回数は８と計数されてカウンタは増加し、時刻（ｔ−９）にてカウンタＣｎ（ｘ１，ｙ１）はしきい値Ｔｃ以上の９となり、座標（ｘ１，ｙ１）は補正の対象となった。更に、時刻（ｔ−９）からｔに至ってもカウンタは減少せずに座標（ｘ１，ｙ１）は補正の対象であり続けた。
【０１３９】
時刻ｔにおいて、座標（ｘ１，ｙ１）は補正の対象であるため、動背景物画像の画素値Ｌ（ｘ１，ｙ１）は１から０へと補正された。他に誤検出されていた２箇所についても同様にして動背景物画像の画素値は０に補正された。
【０１４０】
［定在エッジ情報に基づくエッジ変動位置補正処理の例］（図１２及び図１３）
現時刻をｔとし、１時刻前を（ｔ−１）、２時刻前を（ｔ−２）…と表す。
図１２上段は、エッジ検出手段７により生成されたエッジ画像を表す。エッジ有りを黒、エッジ無しを白で示した。図１２下段は、図１２上段に示す各エッジ画像の一部をそれぞれ拡大したものである。黒いブロックはエッジ有り（画素値１）の画素、白いブロックはエッジ無し（画素値０）の画素を示す。図１３上段左図は、エッジ変動位置検出手段８により生成された動背景物画像を示す。黒いブロックはエッジ変動あり、白いブロックはエッジ変動なしを示す。図１３上段右図は、エッジ変動位置補正手段９により生成された定在エッジ画像の一部である。黒いブロックはエッジ定在位置を、白いブロックはそうでない位置を示す。図１３下段は、エッジ変動位置補正手段９により補正された動背景物画像である。黒いブロックはエッジ変動あり、白いブロックはエッジ変動なしを示す。
【０１４１】
座標（ｘ１，ｙ１）、（ｘ１，ｙ２）、（ｘ１，ｙ３）では、静止物体である家のエッジが常に存在していて、エッジ画像における画素値は１１１１１１１１となった。エッジ変動位置検出手段８ではこれらの座標における変動回数は０と計数されて動背景物画像の画素値は０となった。一方、エッジ変動位置補正手段９では、これらの座標における有エッジ回数は８と計数されて定在エッジ画像の画素値は１となった。
【０１４２】
座標（ｘ２，ｙ２）に出現するエッジも家のエッジであるが、照明変動により出現と消滅とを繰り返して、エッジ画像における画素値は１０１１１１１０となった。そのため、エッジ変動位置検出手段８にて変動回数Ｎｆ（ｘ２，ｙ２）は３と計数されてしきい値Ｔｆ１以上となり、座標（ｘ２，ｙ２）はエッジ変動位置として誤検出され、動背景物画像の画素値Ｌ（ｘ２，ｙ２）は１となった。他にも３箇所の誤検出が生じた。
【０１４３】
しかしながら、定在エッジ画像において座標（ｘ２，ｙ２）の近傍である（ｘ１，ｙ１）、（ｘ１，ｙ２）、（ｘ１，ｙ３）の画素値が１であったため、エッジ変動位置補正手段９にて、近傍定在エッジ数Ｎｓ（ｘ２，ｙ２）は３と計数されてしきい値Ｔｓ以上となったため、動背景物画像の画素値Ｌ（ｘ２，ｙ２）は１から０へと補正された。他に誤検出されていた３箇所についても同様にして動背景物画像の画素値は０に補正された。
【図面の簡単な説明】
【０１４４】
【図１】図１は、本例の画像センサの構成を示す機能ブロック図である。
【図２】図２は本例の画像センサの基本動作の全体を示す流れ図である。
【図３】図３は前記基本動作におけるエッジ変動位置検出処理を示す流れ図である。
【図４】図４は前記基本動作におけるエッジ変動位置補正処理を示す流れ図である。
【図５】図５は前記基本動作におけるエッジ一致度算出処理を示す流れ図である。
【図６】図６は前記エッジ変動位置検出処理の一例の説明図である。
【図７】図７は前記エッジ変動位置検出処理の一例の説明図である。
【図８】図８は前記エッジ変動位置検出処理の一例の説明図である。
【図９】図９は前記エッジ変動位置補正処理の一例の説明図である。
【図１０】図１０は前記エッジ変動位置補正処理の一例の説明図である。
【図１１】図１１は前記エッジ変動位置補正処理の一例の説明図である。
【図１２】図１２は前記エッジ変動位置補正処理の一例の説明図である。
【図１３】図１３は前記エッジ変動位置補正処理の一例の説明図である。
【符号の説明】
【０１４５】
１…撮像部
２…画像取得部
３…制御部
４…記憶部
５…出力部
６…差分領域抽出手段
７…エッジ検出手段
８…エッジ変動位置検出手段
９…エッジ変動位置補正手段
１０…エッジ一致度算出手段
１１…動背景物検出手段
１２…侵入者検出手段
【図１】
0004828265.tif 000002
【図２】
0004828265.tif 000003
【図３】
0004828265.tif 000004
【図４】
0004828265.tif 000005
【図５】
0004828265.tif 000006
【図６】
0004828265.tif 000007
【図７】
0004828265.tif 000008
【図８】
0004828265.tif 000009
【図９】
0004828265.tif 000010
【図１０】
0004828265.tif 000011
【図１１】
0004828265.tif 000012
【図１２】
0004828265.tif 000013
【図１３】
0004828265.tif 000014