(57)【特許請求の範囲】
【請求項１】
撮像装置から得られる画像中の物体を検出する物体検出方法であって、
入力画像と基準画像との比較から物体を検出する物体検出ステップと、
前記物体の検出領域について前記入力画像と前記基準画像との各画素の輝度値の除算を行い輝度変化の割合を算出する輝度変化割合算出ステップと、
前記物体の検出領域のうち、前記基準画像に対して前記入力画像が明るくなった画素の前記輝度変化の割合の平均値と、前記基準画像に対して前記入力画像が暗くなった画素の前記輝度変化の割合の平均値を算出する平均輝度変化割合算出ステップと、
該算出された２つの平均値に基づいて検出すべき物体か否かを判定する物体判定ステップと、
を有することを特徴とする物体検出方法。
【請求項２】
撮像装置から得られる画像中の物体を検出する物体検出方法であって、
入力画像と基準画像との比較から物体を検出する物体検出ステップと、
前記物体の検出領域について前記入力画像と前記基準画像との各画素の輝度値の除算を行い輝度変化の割合を算出する輝度変化割合算出ステップと、
前記物体の検出領域のうち、前記基準画像に対して前記入力画像が明るくなった画素の前記輝度変化の割合のバラツキと、前記基準画像に対して前記入力画像が暗くなった画素の前記輝度変化の割合のバラツキを算出する輝度変化割合バラツキ算出ステップと、
該算出された２つのバラツキと所定のしきい値に基づいて検出すべき物体か否かを判定する物体判定ステップと、
を有することを特徴とする物体検出方法。
【請求項３】
撮像装置から得られる画像中の物体を検出する物体検出装置であって、
入力画像と基準画像との比較から物体を検出する物体検出手段と、
前記物体の検出領域について前記入力画像と前記基準画像との各画素の輝度値の除算を行い輝度変化の割合を算出する輝度変化割合算出手段と、
前記物体の検出領域のうち、前記基準画像に対して前記入力画像が明るくなった画素の前記輝度変化の割合の平均値と、前記基準画像に対して前記入力画像が暗くなった画素の前記輝度変化の割合の平均値を算出する平均輝度変化割合算出手段と、
該算出された２つの平均値に基づいて検出すべき物体か否かを判定する物体判定手段と、
を備えることを特徴とする物体検出装置。
【請求項４】
撮像装置から得られる画像中の物体を検出する物体検出装置であって、
入力画像と基準画像との比較から物体を検出する物体検出手段と、
前記物体の検出領域について前記入力画像と前記基準画像との各画素の輝度値の除算を行い輝度変化の割合を算出する輝度変化割合算出手段と、
前記物体の検出領域のうち、前記基準画像に対して前記入力画像が明るくなった画素の前記輝度変化の割合のバラツキと、前記基準画像に対して前記入力画像が暗くなった画素の前記輝度変化の割合のバラツキを算出する輝度変化割合バラツキ算出手段と、
該算出された２つのバラツキと所定のしきい値に基づいて検出すべき物体か否かを判定する物体判定手段と、
を備えることを特徴とする物体検出装置。
【請求項５】
撮像装置から得られる画像中の物体を検出する物体検出装置を構成するコンピュータに実行させるプログラムであって、
入力画像と基準画像との比較から物体を検出する物体検出機能と、
前記物体の検出領域について前記入力画像と前記基準画像との各画素の輝度値の除算を行い輝度変化の割合を算出する輝度変化割合算出機能と、
前記物体の検出領域のうち、前記基準画像に対して前記入力画像が明るくなった画素の前記輝度変化の割合の平均値と、前記基準画像に対して前記入力画像が暗くなった画素の前記輝度変化の割合の平均値を算出する平均輝度変化割合算出機能と、
該算出された２つの平均値に基づいて検出すべき物体か否かを判定する物体判定機能と、
を当該コンピュータにより実現することを特徴とするプログラム。
【請求項６】
撮像装置から得られる画像中の物体を検出する物体検出装置を構成するコンピュータに実行させるプログラムであって、
入力画像と基準画像との比較から物体を検出する物体検出機能と、
前記物体の検出領域について前記入力画像と前記基準画像との各画素の輝度値の除算を行い輝度変化の割合を算出する輝度変化割合算出機能と、
前記物体の検出領域のうち、前記基準画像に対して前記入力画像が明るくなった画素の前記輝度変化の割合のバラツキと、前記基準画像に対して前記入力画像が暗くなった画素の前記輝度変化の割合のバラツキを算出する輝度変化割合バラツキ算出機能と、
該算出された２つのバラツキと所定のしきい値に基づいて検出すべき物体か否かを判定する物体判定機能と、
を当該コンピュータにより実現することを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に木々の影や旗の影などの揺れが観察される監視環境下において、撮像視野内に侵入した物体を、撮像装置から入力する映像信号の中から自動的に検出するようにした侵入物体検出方法及び侵入物体検出装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を画像入力手段として用いた侵入物体検出装置は、従来の監視員による有人監視ではなく、監視視野内の侵入物体を検出したり、物体の種類を認識したりして、自動的に所定の報知や警報処置が得られるようしたものである。このようなシステムを実現するためには、先ず、カメラ等の画像入力手段より得られた入力画像と基準背景画像（即ち、検出すべき物体の写っていない画像）とを比較し、画素毎に輝度値の差分を求め、その差分の大きい領域を物体として抽出する方法がある。この方法は、差分法と呼ばれ、従来から広く用いられている。
差分法の処理を図６によって説明する。図６は差分法によって物体検出（物体抽出）を行う原理を説明するための図である。601は入力画像、602は基準背景画像、603は差分画像、604は二値化画像、605は減算器、606は二値化器である。
【０００３】
図６において、減算器605は入力画像601と予め用意した基準背景画像602との画素毎の輝度値の差分を計算し差分画像603を出力する。次に二値化器606は差分画像603の画素毎の輝度値が所定のしきい値Th未満の輝度値を“0”、しきい値Th以上の画素の輝度値を“255”（1画素の輝度値を8ビットで計算）として二値化画像604を得る。これによって入力画像601に写った人型の物体609は、減算器605によって差分が生じた領域610として計算され、二値化器606によって画像611として抽出される。差分法を応用した物体検出法として、例えば平成７年特許公開第７９４２９号公報がある。
しかし、この方式は入力画像と基準背景画像との画素毎の輝度値の違いを検出するため、例えば、風に揺れる木々や旗あるいはこれらの影などの、検出すべき侵入物体以外の動く物体も抽出してしまうという問題がある。これらの問題を解決する方法として、従来は、検出すべき侵入物体以外の動く物体が存在する領域を特定し、特定したその領域をマスク処理（不感帯として処理）することにより侵入物体のみを抽出していた。しかしこの方法では、検出すべき侵入物体以外の動く物体が特に影の場合には、時々刻々とその位置が変化するため、季節、時間帯、監視領域の位置（経度と緯度など）、天候等の条件によって影が存在する位置を推定し、マスクする領域を変化させなければならない。
また、このマスクした領域中に存在する侵入物体を検出することができない、あるいはマスクした領域中の検出すべき侵入物体以外の動く物体の抽出（誤検出）を抑制するためにこの領域における二値化のためのしきい値Thを高く設定する必要があり、しきい値Thを高く設定すると今度は逆に侵入物体の見逃しが発生し易くなる。このためマスク処理する領域の範囲は小さいことが望ましい。
【０００４】
【発明が解決しようとする課題】
前述の従来技術では、検出すべき侵入物体以外の動く物体を誤検出しないように、それらの物体が存在する領域を検出処理しないようにマスク処理した領域（不感帯）を設けなければならない欠点があった。また、特に検出すべき侵入物体以外の動く物体が風に揺れる木々や旗などの影の場合には時々刻々とその位置が変化するため、影の誤検出を防ぐためには、季節や、時間帯、監視領域の位置（緯度と経度など）、天候等の条件によって影の存在する位置を推定し、マスクする領域を時々刻々変化させなければならない欠点があった。
更に、マスク処理によってマスクされた領域に現れる侵入物体を検出できなくなってしまうか、あるいはマスクした領域中の検出すべき侵入物体以外の動く物体の誤検出（誤抽出）を抑制するためにこの領域における二値化のためのしきい値Thを高く設定する必要があるが、しきい値Thを高く設定すると侵入物体の見逃しが発生し易くなるという欠点があった。このため、マスク処理する領域の範囲はできるだけ小さいことが望ましい。
本発明の目的は、上記のような欠点を除去し、検出すべき対象物体以外の動く物体の影が存在した場合でも、その領域をマスクすることなしに、抽出された物体が検出すべき侵入物体か否かを判定するようにして、信頼性の高い侵入物体検出方法及び侵入物体検出装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記の目的を達成するために、本発明の侵入物体検出方法または侵入物体検出装置は、以下に述べるように、検出対象を正確に検出する、信頼性の高い侵入物体検出装置を提供するものである。
【０００６】
まず、本発明の侵入物体検出装置は、逐次入力する複数の画像信号から１つ以上の移動物体を差分法によって逐次抽出する物体抽出ステップと、入力画像信号と基準背景画像信号の画素毎の除算を行なって除算画像を得る除算処理ステップと、物体抽出ステップで抽出された抽出物体の除算画像のヒストグラムから抽出物体の平均比率を求める平均比率算出ステップと、平均比率に基づいて抽出物体が検出すべき侵入物体か否かを判定する平均比率判定ステップとを設け、監視視野内の侵入物体を検出するようにしたものである。
また、本発明の侵入物体検出装置は、逐次入力する複数の画像信号から１つ以上の移動物体を差分法によって逐次抽出する抽出ステップと、入力画像信号と基準背景画像信号の画素毎の除算を行なって除算画像を得る除算処理ステップと、抽出検出ステップで抽出された抽出物体の除算画像のヒストグラムから抽出物体のヒストグラムの先鋭度を求める先鋭度算出ステップと、先鋭度に基づいて抽出物体が検出すべき侵入物体か否かを判定する先鋭度判定ステップとを設け、監視視野内の侵入物体を検出するようにしたものである。
また、本発明の侵入物体検出装置では、逐次入力する複数の画像信号から１つ以上の移動物体を差分法によって逐次抽出する物体抽出ステップと、入力画像信号と基準背景画像信号の画素毎の除算を行なって除算画像を得る除算処理ステップと、物体抽出ステップで抽出された抽出物体の除算画像のヒストグラムから抽出物体の平均比率を求める平均比率算出ステップと、平均比率に基づいて抽出物体が検出すべき移動物体の候補か否かを判定する平均比率判定ステップと、検出すべき移動物体の候補として判定された抽出物体の除算画像のヒストグラムから抽出物体のヒストグラムの先鋭度を求める先鋭度算出ステップと、先鋭度に基づいて抽出物体が検出すべき侵入物体か否かを判定する先鋭度判定ステップとを設け、監視視野内の侵入物体を検出するようにしたものである。
さらに、抽出物体の入力画像の平均輝度値が所定の値以上となる検出物体について平均比率を求めるようにしたものである。
【０００７】
また、先鋭度に対するしきい値を変化させることによって、抽出物体が検出すべき侵入物体か否かの判定認識率を変化させるようにしたものである。
【０００８】
さらにまた、抽出物体の過去の判定結果を記憶する判定結果記憶ステップと、記憶した判定結果に基づいて抽出物体が検出すべき侵入物体か否かを判定する侵入物体判定ステップとを設け、監視視野内の侵入物体を検出するようにしたものである。
すなわち、本発明の侵入物体検出装置は、例えば監視対象とする監視範囲を撮像するカメラ等の画像入力手段と、カメラ等の画像入力手段が撮像した画像を入力する画像入力I/Fと、画像入力I/Fから入力された画像を記憶する画像メモリと、侵入物体検出を行なう侵入物体検出装置の動作プログラムを記憶しているプログラムメモリと、プログラムメモリに保持されているプログラムにしたがって侵入物体検出装置を動作させるCPUと、画像メモリに記憶された画像の解析を行なう際に一時的にデータを記憶するワークメモリと、音、可視光、振動、回転運動、上下運動等の少なくとも１つ以上で表し人間または補助動物が感知可能な信号を発生する警告表示手段と、監視モニタと、ワークメモリの解析結果に対応してCPUの指示によって警告手段に警告を表示させる信号を伝達する出力I/Fとワークメモリの解析結果に対応してCPUの指示によって監視モニタに画像を送る画像出力I/Fとを有し、プログラムメモリに保持されているプログラムが、画像メモリに記憶されてる入力画像及び基準背景画像から差分法によって動いている物体を逐次抽出する手段と、画像メモリに記憶されている入力画像及び基準背景画像から画像間の除算処理を行なう手段と、差分法によって抽出された物体と除算処理によって得られた除算画像に基づき除算画像のヒストグラムを求める手段と、ヒストグラムから検出物体の平均比率とヒストグラムの先鋭度を計算する手段と、平均比率及び該先鋭度に基づいて抽出物体を検出すべき侵入物体か否かを判定する手段を有し、判定手段によって検出すべき侵入物体を判定するようにして監視視野内の侵入物体の監視を行なうようにしたものである。
【０００９】
【発明の実施の形態】
本発明の侵入物体検出装置に係る実施形態の１つを図５に示す。図５は侵入物体検出装置のハードウエア構成を示すブロック構成図である。501はテレビジョンカメラ（以下TVカメラと呼ぶ）、502は画像入力I/F、511はデータバス、503は画像メモリ、504はワークメモリ、505はCPU、506はプログラムメモリ、507は出力I/F、508は画像出力I/F、509は警告灯、510は監視モニタである。TVカメラ501は画像入力I/F502に接続され、警告灯509は出力I/F507に接続され、監視モニタ510は画像出力I/F508に接続されている。また、画像入力I/F502、画像メモリ503、ワークメモリ504、CPU505、プログラムメモリ506、出力I/F507及び画像出力I/F508は、データバス511に接続されている。
図５において、TVカメラ501は監視対象区域を含めた撮像視野内を撮像する。またTVカメラ501は、撮像した画像を映像信号に変換し、映像信号を画像入力I/F502に入力する。入力I/F502は、入力した該映像信号を侵入物体検出装置で扱うフォーマット（例えば、幅320pix、高さ240pix、8bit/pix）の画像データに変換し、データバス511を介して画像メモリ503に送る。画像メモリ503は、送られてきた画像データを蓄積する。CPU505はプログラムメモリ506にあらかじめ保存されているプログラムに従って、ワークメモリ504内で画像メモリ503に蓄積された画像の解析を行なう。以上の解析結果、TVカメラ501の撮像視野内に対象物体が侵入した等の情報を得る。CPU505は、処理結果に応じてデータバス511から出力I/F507を介して警告灯509を点灯し、画像出力I/F508を介して監視モニタ510に例えば処理結果画像を表示する。画像出力I/F508は、CPU505からの信号を監視モニタ510が使用できるフォーマット（例えば、NTSC映像信号）に変換して、監視モニタ510に送る。監視モニタ510は、例えば侵入物体検出結果画像を表示する。以下に説明するフローチャートは、もちろん他のハードウエア構成からなる物体追跡監視装置でも実施可能であるが、すべて上記の物体追跡監視装置のハードウエア構成の一例である図５を使って説明している。
図２は本発明の第１の実施例を表すフローチャートの一例である。この第１の実施例は、入力画像と基準背景画像の除算画像のヒストグラムから、基準背景画像に対して入力画像が明るくなった画素の輝度変化の割合の平均値と、基準背景画像に対して入力画像が暗くなった画素の輝度変化の割合の平均値に基づいて抽出物体を検出すべき侵入物体であるかまたは影のような侵入物体ではないものであるかを判定するようにした方法である。
処理の流れを図６及び図７、図８、図９、図１０を用いて説明する。画像入力ステップ101では、TVカメラ501より例えば画素数320 pix×240 pixに対応する入力画像601を得る。図６の例では、入力画像601は侵入物体609を含む。
【００１０】
次に、差分処理ステップ102では、入力画像601と予め画像メモリ503に記憶しておいた基準背景画像602と画素毎の輝度値の差分を計算し、差分画像603を得る。
図６の例では、差分画像603は侵入物体609に対応する領域610を含む。
【００１１】
差分画像603は、二値化処理ステップ103において、しきい値処理を行ない（図６の二値化器606）、予め設定したしきい値（例えば Th=20）以上の画素の輝度値を、物体が存在する部分として“255”に変換し、しきい値未満の画素の輝度値を、物体が存在しない部分として“0”に変換して、二値化画像604を得る。以下、入力画像、基準背景画像、二値化画像を、それぞれ、f（x,y）、g（x,y）、b（x,y）と表す。（x,y）は画素の位置を表す。例えば、図６の二値化画像604において、横方向がx軸（右方向が＋方向）、縦方向がy軸（下方向が＋方向）であり、一番左上が原点（0，0）で、一番右下の座標が（320，240）である。
ラベリング処理ステップ104では、二値化画像604中で輝度値“255”となる個々の画素の塊である領域611をラベリングの方法で番号付けし、それぞれを抽出物体として検出する。次に除算処理ステップ105では、入力画像601と基準背景画像602の画素毎の輝度値の除算を行なう。この処理によって得られる除算画像 r（x,y）は、
【００１２】
【数１】
0003736836.tif 000002
【００１３】
として計算する。ここで、除算画像 r（x,y）は、f(x,y) と g(x,y) が同じ値（すなわち、除算結果が “1.0”）となる場合に“128”となり、除算画像 r(x,y)の輝度値（画素値）“0〜255”を使って除算結果“0.0〜2.0”の値を表現することができる。また、〔〕は、小数点以下の部分を切り捨てて、整数とすることを表す。即ち、r(x，y)の値が0〜127である場合は、基準背景画像に対して入力画像が暗くなった入力画像の領域であることを示し、r(x，y)の値が128〜255である場合は、基準背景画像に対して入力画像が明くなった入力画像の領域であることを示す。
次にヒストグラム算出ステップ108では、ラベリング処理ステップ104によって番号付けされたそれぞれの抽出物体について、除算画像r(x,y)のヒストグラムを計算し、これを h(i) とする（i は輝度値（画素値）を表し、h(i) は b(x,y)=255 かつ r(x,y)=i なる画素の個数を表す）。次に、ステップ109と110でこのヒストグラムの対称性を評価する。あるいは、このヒストグラムを使って抽出物体が侵入物体であるか否かの判定をするための評価をする。即ち、平均比率算出ステップ109では、ヒストグラム算出ステップ108によって得られたヒストグラム h(i) について、まず、輝度値（画素値）iが第1の範囲（128≦i≦255）にある除算画像の第1の平均輝度値（平均比率）μ+と、輝度値（画素値）iが第２の範囲（0≦i≦127）にある除算画像の第２の平均輝度値（平均比率）μ-とを下記のようにして求める。
【００１４】
【数２】
0003736836.tif 000003
【００１５】
すなわち、平均比率μ+は f(x,y)>=g(x,y) となる画素の除算画像 r(x,y) の平均値、平均比率μ-は f(x,y)<g(x,y) となる画素の除算画像 r(x,y) の平均値を表している。
次に、平均比率評価ステップ110では、平均比率算出ステップ109によって得られた平均比率μ+と平均比率μ-の逆数との差を計算し、それが所定のしきい値T1以上であった場合に侵入物体処理ステップ111、所定の値T1未満であった場合に影処理ステップ115へ分岐する。ステップ105からステップ110までの処理を図７〜図１０を用いて説明する。図７〜図１０は風に揺れる木々や旗の影の特徴を説明するための図で、風に揺れる影の動きを表し、説明のため簡略化して表現している。図７(b)において、横線で塗りつぶした領域701Aは風が吹く前の影の位置であり、画像701'は図６の基準背景画像602に相当する。また、図７(a)における画像701中の領域701Bは、風によって影が揺れて移動した後の位置であり、画像701に写り込んでいる影の部分画像である。即ち、画像701は図６の入力画像601に相当する。このように、基準背景画像としては、例えば、風が吹く前の画像701'、入力画像としては、例えば、風が吹いた後の画像701が使用される。図7(c)の画像701"は、画像701'と画像701に写り込んだ領域701Bと領域701Aの相対的な位置を示すための図である。
このような場面で差分法を適用すると図８に示すような二値化画像702が得られる。図８の二値化画像中、領域702Aは風が吹いたことによって影が消えて明るくなった領域、領域702Bは風が吹いたことによって影ができて暗くなった領域を表しており、風に揺れる木々や旗などの影は、二値化画像702のように２つの領域が対になって検出されるという特徴がある。
即ち、差分処理によって抽出された検出物体が、基準背景画像中にもともと写り込んでいる画像が移動したことによって抽出された場合には、例えば、影が移動して前に暗かった領域が明るくなる領域（後述の図８の702A）と、例えば、前は明るかった領域に影が移動して暗くなる領域（後述の図８の702B）という２つの領域が抽出される。このときこの2つの領域の除算画像上での輝度値はほぼ等しくなる。
従って、風に揺れる木々や旗などの影によって１つの抽出された検出物体について算出した除算画像のヒストグラムは、例えば図９Aに示すようになる。また、図９Bは図９Aのヒストグラムを模式化して表したものである。図９A、図９Bにおいて、横軸は輝度値i、縦軸は頻度h(i)である。図９Aにおいて、ヒストグラム703Aは領域702Aによるもの、ヒストグラム703Bは領域702Bによるものである。
また、図９Bにおいて、斜線部分703A'はヒストグラム703Aを模式化したもので、斜線部分703B'はヒストグラム703Bを模式化したものである。斜線部分703A'の面積は初め暗かった部分が明るくなった画素領域の輝度値の合計の大きさを表し、斜線部分703B'の面積は初め明かった部分が暗くなった画素領域の輝度値の合計の大きさを表している。更に横軸にあるμ+の位置は初め暗かった部分が明るくなった画素領域の輝度値の平均であり、μ-位置は初め暗かった部分が明るくなった画素領域の輝度値の平均である。またσ+は斜線部分703A'の幅であり、σ-は斜線部分703B'の幅である。このように、風によって影が消えて明るくなった画素の輝度値変化の割合（μ+）と影ができて暗くなった画素の輝度値変化の割合（1/μ-）は近い値となる。
一方、侵入者が原因で検出された検出物体の除算画像のヒストグラムは、例えば、図１０A、図１０Bのようになる。図１０A、図１０Bは、図９A、図９Bの風に揺れる木々や旗などの影が原因で検出された検出物体の除算画像のヒストグラムとは異なり、i＜128のヒストグラムと、i≧128のヒストグラムの形状が異なっている。（図１０A、図１０Bでは、i＜128の部分で約70から約115、i≧128の部分で約155から約235の分布を持つ）。この例のように、風に揺れる木々や旗などの影によって抽出された検出物体の除算画像のヒストグラムとは異なり、侵入者によって検出された物体の除算画像のヒストグラムは、i＜128の部分と、i≧128の部分とで、必ずしも、似た分布を持つわけではない。即ち、侵入者の持つ輝度分布に応じて、抽出された検出物体のヒストグラムには特徴がない。
したがって、除算画像のヒストグラムの、明るくなった画素の平均比率μ+ 'と、暗くなった画素の平均比率μ- 'の逆数とを比較することで、検出物体が、検出すべき侵入物体によるものなのか、影が動いたことによるものなのかを判定することができる。
【００１６】
判定の際に用いるしきい値T1は、例えば、平均比率のズレを輝度変化の割合の変化率 10% で許容する場合、除算画像は、256階調で0〜2.0を表現しているため
【００１７】
【数３】
0003736836.tif 000004
【００１８】
である。
続いて、平均比率評価ステップ110で侵入物体と判定された場合、侵入物体処理ステップ111において抽出物体を侵入者とし、続く警報・モニタ表示ステップ112においてCPU505は出力I/F507及び画像出力I/F508に命令を送る。これを受けて、出力I/F507は、例えば、警告灯510に警戒を示す発行をさせ、画像出力I/F508は、例えば、警戒を表す表示を監視モニタ511に表示させる。また、平均比率評価ステップ110で影と判定された場合、非侵入物体処理ステップ115において抽出物体を影とする。終了判定ステップ116は、ステップ108からステップ115までの処理が全ての抽出物体に対して行なわれた場合に、画像入力ステップ101へ処理を分岐し、そうでない場合は、ヒストグラム算出ステップ108へ処理を分岐する。したがって、この実施例によれば、差分法によって抽出された抽出物体の入力画像と基準背景画像の除算画像のヒストグラムを評価し、明るく変化した画素の輝度値変化の割合と暗く変化した輝度値変化の割合を比較することによって、抽出物体が検出すべき侵入物体か否かを判定するため、視野内に風が揺れる木々や旗などの影が存在する場合でも、検出すべき侵入物体か影かを正確に判定することができる。
本発明の第２の実施例について、図３を用いて説明する。この第２の実施例は、ヒストグラム算出ステップ108によって得られたヒストグラムの分布のバラツキに基づいて検出物体を検出すべき侵入物体か影かを判定するようにした方法である。
【００１９】
図３のフローチャートは、図２のフローチャートの平均比率算出ステップ109の代わりに先鋭度算出ステップ113、平均比率評価ステップ110の代わりに先鋭度評価ステップ114を加え、ステップ108によって得たヒストグラムを第２の実施例（図２）とは異なった観点から評価して、抽出物体が検出物体か否かを判定するものである。
図３において、図２で述べたものと同様の処理ステップを経て、ヒストグラムh(i)が算出される。先鋭度算出ステップ113では、ヒストグラム算出ステップ108によって得られたヒストグラム h(i) について、２つの先鋭度σ+とσ-を以下にして求める。
【００２０】
【数４】
0003736836.tif 000005
【００２１】
すなわち、除算画像の先鋭度σ+はb(x,y)=255かつ f(x,y)≧g(x,y) となる画素の除算画像 r(x,y) の輝度値分布の標準偏差、除算画像の先鋭度σ-はb(x,y)=255かつ f(x,y)＜g(x,y) となる画素の除算画像 r(x,y) の輝度値分布の標準偏差を表している。
【００２２】
次に、先鋭度評価ステップ114では、先鋭度算出ステップ113によって得られた先鋭度σ+及び先鋭度σ-と所定のしきい値T2を比較し、２つの先鋭度の内、少なくとも１つがしきい値以上であった場合に侵入物体処理ステップ111、２つ共所定の値T2未満であった場合に影処理ステップ115へ分岐する。
この処理を図８及び図９、図１０を用いて説明する。上述のように、風に揺れる木々や旗などの影は、二値化画像702のように２つの領域が対になって検出されるという特徴がある。さらに、風が吹くことによって影が消えて明るくなった領域の画素の輝度変化の割合はほぼ一定で、さらに影ができて暗くなった領域の画素の輝度変化の割合もほぼ一定になるという特徴がある。すなわち、それぞれの領域の除算画像の輝度値のバラツキ（即ち標準偏差）は小さくなる。
一方、侵入者によって検出された検出物体は、必ずしも、前述のように除算画像の輝度値のバラツキが小さくなるわけではない。したがって、除算画像のヒストグラムの、明るくなった画素の先鋭度σ+と暗くなった画素の先鋭度σ-をしきい値T2を用いて評価することで、抽出物体が、検出すべき侵入物体によるものなのか、影が動いたことによるもののように検出すべき侵入物体ではないものであるかを判定することができる。
判定の際に用いるしきい値T2は、例えば、先鋭度のバラツキを輝度変化の割合 15% で許容する場合、除算画像は、256階調で0〜2.0を表現しているため
【００２３】
【数５】
0003736836.tif 000006
【００２４】
とする。このとき、先鋭度がT2未満になるとは、除算画像の画素値が
【００２５】
【数６】
0003736836.tif 000007
【００２６】
の範囲に含まれていて、抽出物体がかげであることを意味する（図３のステップ114〜115）。したがって、この実施例によれば、差分法によって検出された検出物体の入力画像と基準背景画像の除算画像のヒストグラムを求め、明るく変化したまたは暗く変化した画素の除算画像の分布のバラツキをしきい値T2と比較することによって抽出物体が検出すべき侵入物体か影かを判定するため、視野内に風に揺れる木々や旗などの影が存在する場合でも、検出すべき侵入物体か影かを正確に判定することができる。
本発明の第３の実施例について、図４を用いて説明する。この第３の実施例は、ヒストグラム算出ステップ108によって得られたヒストグラムの基準背景画像に対して入力画像が明るくなった画素の輝度変化の割合の平均値と、基準背景画像に対して入力画像が暗くなった画素の輝度変化の割合の平均値と、ヒストグラムの分布のバラツキに基づいて抽出された検出物体を検出すべき侵入物体か否かを判定するようにした方法である。
図４のフローチャートは、図２のフローチャートの平均比率評価ステップ110において、平均比率μ+とμ-の逆数の差がT1未満と判定された場合に、前述の先鋭度算出ステップ113と先鋭度評価ステップ114を行なうように構成したものである。したがって、この実施例によれば、差分法によって抽出された抽出物体の入力画像と基準背景画像の除算画像のヒストグラムを求め、明るく変化した画素の輝度値変化の割合と暗く変化した画素の輝度値変化の割合を比較し、さらに、明るく変化した画素の除算画像の分布のバラツキと暗く変化した画素の除算画像の分布のバラツキをしきい値T2と比較することによって抽出物体が検出すべき侵入物体か影かを判定するため、視野内に風が揺れる木々や旗などの影が存在する場合でも、検出すべき侵入物体か影かを正確に判定することができる。
本発明の第４の実施例について、図１を用いて説明する。この第４の実施例は、上述の第３の実施例のステップ108からステップ110、ステップ113、114を抽出物体の平均輝度値が所定のしきい値T3以上の場合にのみ行なうようにした方法である。換言すると、本実施例は建物の影などの既に暗く、別の影の揺れなどが発生し得ない領域では、検出すべき侵入物体か否かの判定をしない様にしたものである。
図１のフローチャートは、図４のフローチャートの除算処理ステップ105の後に平均輝度値算出ステップ106、平均輝度値評価ステップ107を追加したものである。平均輝度値算出ステップ106では、注目するラベル番号を持ちb(x,y)=255なる画素の平均輝度値、即ち
【００２７】
【数７】
0003736836.tif 000008
【００２８】
によって計算する。ここでNは、b(x,y)=255となる画素数を表す。次に平均輝度値評価ステップ107では、平均輝度値算出ステップ106によって得られた平均輝度値μと所定のしきい値T3を比較し、平均輝度値μがしきい値T3以上であった場合にヒストグラム算出ステップ108へ処理を分岐し、平均輝度値μがしきい値T3未満であった場合に侵入物体処理ステップ111へ処理を分岐する。
【００２９】
ここで所定のしきい値T3は、影の揺れが発生する場面での入力画像の平均輝度値に設定し、例えばT3=128とする。こうすることによって、影の揺れが発生する様な明るい輝度分布を持つ領域のみについて抽出物体が検出すべき侵入物体なのか影かを判定するようにでき、処理の高速化を図ることができる。
本発明の第５の実施例について、図１１を用いて説明する。この実施例は、図４で示した上記第３の実施例における先鋭度に対するしきい値T2を変化させ、抽出物体が検出すべき侵入物体か否かの判定認識率を変化させるようにしたものである。
【００３０】
図１１は、T2を変化させた場合に、侵入物体でない抽出物体を侵入物体として判定してしまう割合（誤認識率）の変化801Aと、侵入物体を侵入物体でない物体として判定してしまう割合（見逃し率）の変化801Bを表している。これらの変化は、監視環境（対象とする物体の種類、カメラレンズの焦点距離等）が決定した場合に経験的に得られるものである。
図１１より、先鋭度に対するしきい値T2を大きく設定すると誤認識率を低下させることができ、また、逆にT2を小さく設定すると見逃し率を低下させることができる。したがって、監視対象に応じて誤認識を許容するか、見逃しを許容するかに応じてT2を設定することによって検出すべき侵入物体か否かの判定認識率を調整することができる。
本発明の第６の実施例について、図１２を用いて説明する。この実施例は、上記第３の実施例の侵入物体処理ステップ111、非侵入物体処理ステップ115を、それぞれ侵入物体候補処理ステップ901、非侵入物体候補処理ステップ902に代え、判定率算出ステップ903、判定率評価ステップ904を追加したものである。侵入物体候補処理ステップ901では、平均比率評価ステップ110あるいは先鋭度評価ステップ114によって抽出物体が侵入物体であると判定された場合に、検出物体をすぐさま侵入物体として判定せずに侵入物体の候補としてワークメモリ504に記憶する。
また、非侵入物体候補処理ステップ902では、先鋭度評価ステップ114によって抽出物体が非侵入物体であると判定された場合に、抽出物体をすぐさま非侵入物体として判定せずに非侵入物体の候補としてワークメモリ504に記憶する。次に判定率算出ステップ903では、ワークメモリ504に記憶された抽出物体の過去 Nk フレームで侵入物体候補と判定された回数 N1 に基づき判定率 k（k = N1/Nk）を算出する。次に判定率評価ステップ904では、判定率算出ステップ903によって得られた判定率 k と所定のしきい値T4とを比較し、T4以上であった場合に警報・モニタ表示ステップ112へ分岐し、T4未満であった場合に終了判定ステップ116へ分岐する。ここで、判定率 k は、過去 Nk フレーム中に抽出物体が侵入物体候補であると判定された割合を表し、抽出物体が侵入物体であった場合は大きく（全フレームで侵入物体候補として判定された場合は k = 1.0 となる）、抽出物体が非侵入物体の揺れによるものであった場合は小さくなる（全フレームで非侵入物体候補として判定された場合は k = 0.0 となる）。
また、判定対象とするフレーム数 Nk 、および判定率に対するしきい値T4は、経験的に設定する値で、例えば Nk = 10、T4= 0.5 とする。この場合、１フレームの処理速度が 5フレーム毎秒として、２秒間の間に5フレーム以上侵入物体候補として判定された抽出物体を侵入物体と判定することを意味する。したがって、この実施例によれば、過去数フレームの侵入物体候補判定結果に基づき抽出物体が検出すべき侵入物体か否かを判定するため、視野内に風に揺れる木々や旗の影が存在する場合でも、検出すべき侵入物体か否かを正確に判定することができる。
本発明の第７の実施例による侵入物体検出方法について図１３を用いて説明する。図１３は図２のフローチャートのステップ116での判定が“No”のとき、処理を除算処理ステップ105に移すようにした点が図２の第２の実施例の侵入物体検出方法と異なるもので、他の点は図２の方法と同じである。図２の方法の場合、ステップ104でラベリングした、個々の抽出物体に関してのみ除算を実施するので、除算演算量を少なくすることができるという効果がある。尚、他の実施例にもこの方法を適用できることは言うまでもない。
また、本発明は、以上で説明した撮像装置から逐次入力する画像信号中の侵入物体を検出するための方法を実施するコンピュータプログラムコード手段を実現したコンピュータ使用可能な媒体を有するコンピュータプログラム製品として実施できることは言うまでもない。
【００３１】
更に、図１２の侵入物体候補処理ステップ901、非侵入物体候補処理ステップ902、判定率算定ステップ903、判定率評価ステップ904を他の任意の実施例に適用してもよい。
更に、図１の平均輝度値算出ステップ106、平均輝度値評価ステップ107を他の任意の実施例に適用してもよい。
【００３２】
また、図２に言及して説明した侵入物体検出方法では、判定ステップ110においてμ+とμ- 'の逆数とを比較したが、μ-とμ+ 'の逆数との比較でもよいことは言うまでもない。
【００３３】
【発明の効果】
したがって、本発明によれば、カメラの視野内に存在する対象物体を、風に揺れる木々や旗などの影の検出すべき侵入物体以外の動く物体の存在する場面においても、正確に検出することができ、侵入物体検出装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】  本発明の一実施例の動作を説明するためのフローチャート。
【図２】  本発明の一実施例の動作を説明するためのフローチャート。
【図３】  本発明の一実施例の動作を説明するためのフローチャート。
【図４】  本発明の一実施例の動作を説明するためのフローチャート。
【図５】  侵入物体検出装置の構成の一例を示すブロック図。
【図６】  従来の差分法を説明するための図。
【図７】  風に揺れる木々や旗の影の特徴を説明するための第一の図。
【図８】  風に揺れる木々や旗の影の特徴を説明するための第二の図。
【図９】  風に揺れる木々や旗の影の特徴を説明するための第三の図。
【図１０】  侵入物体の特徴を説明するための図。
【図１１】  判定認識率の特徴を説明するための図。
【図１２】  本発明の一実施例の動作を説明するためのフローチャート。
【図１３】  本発明の一実施例の動作を説明するためのフローチャート。
【符号の説明】
101：画像入力ステップ、102：差分処理ステップ、103：二値化処理ステップ、104：ラベリング処理ステップ、105：除算処理ステップ、106：平均輝度値算出ステップ、107：平均輝度値評価ステップ、108：ヒストグラム算出ステップ、109：平均比率算出ステップ、110：平均比率評価ステップ、113：先鋭度算出ステップ、114：先鋭度評価ステップ、  501：TVカメラ、  502：画像入力I/F、  503：画像メモリ、  504：ワークメモリ、  505：CPU、  506：プログラムメモリ  、507：出力I/F、  508：画像出力I/F、  509：警告灯、  510：監視モニタ、  511：データバス、  601：入力画像、  602：基準背景画像、  603：差分画像、  604：二値化画像、  605：減算器、  606：二値化器。
【図１】
0003736836.tif 000009
【図２】
0003736836.tif 000010
【図３】
0003736836.tif 000011
【図４】
0003736836.tif 000012
【図５】
0003736836.tif 000013
【図６】
0003736836.tif 000014
【図７】
0003736836.tif 000015
【図８】
0003736836.tif 000016
【図９】
0003736836.tif 000017
【図１０】
0003736836.tif 000018
【図１１】
0003736836.tif 000019
【図１２】
0003736836.tif 000020
【図１３】
0003736836.tif 000021