(57)【要約】【課題】  撮像装置のズーム比や撮像方向の変更が必要なほど撮像位置が変化する場合でも、撮像視野内の物体を検出できるようにして、信頼性の高い物体検出方法及び物体検出装置及び物体検出プログラムを提供する。【解決手段】  撮像位置が変化する場合に対応する２フレーム以上の基準背景画像を内含する基準背景動画像を記録し、輝度値の差分を計算する時に基準背景動画像から適切な基準背景画像を適用することで、撮像装置のズームレンズや撮像方向、撮像位置が変化する場面でも撮像視野内の物体を検出できるようにして、信頼性の高い物体検出方法及び物体検出装置及び物体検出プログラムを実現した。【選択図】  図１
2005094791.tif 000002
【特許請求の範囲】
【請求項１】
所定区域内の物体を検出する物体検出方法であって、
撮像手段の撮像レンズを制御すること、又は、撮像手段を移動させること、の少なくともいずれか一方により予め前記所定区域内を前記撮像手段により異なる視野で撮像し、視野の異なる複数の撮像画像を登録するステップと、
前記撮像手段により撮像された現在の入力画像の視野に応じて前記登録された視野の異なる複数の撮像画像の中から少なくとも１つの撮像画像を選択するステップと、
該選択された撮像画像と前記入力画像との比較に基づいて物体を検出するステップと、
を備えたことを特徴とする物体検出方法。
【請求項２】
撮像手段の撮像レンズを制御すること、又は、撮像手段を移動させること、の少なくともいずれか一方により所定区域内を異なる視野で撮像する前記撮像手段からの画像に基づいて画像中の物体を検出する物体検出装置であって、
前記撮像手段からの視野の異なる複数の撮像画像を登録する画像登録手段と、
前記撮像手段により撮像された現在の入力画像の視野に応じて前記登録された視野の異なる複数の撮像画像の中から少なくとも１つの撮像画像を選択する画像選択手段と、
該画像選択手段により選択された撮像画像と前記入力画像との比較に基づいて物体を検出する物体検出手段と、
を備えたことを特徴とする物体検出装置。
【請求項３】
撮像手段の撮像レンズを制御すること、又は、撮像手段を移動させること、の少なくともいずれか一方により所定区域内を異なる視野で撮像する前記撮像手段からの画像に基づいて画像中の物体を検出する物体検出プログラムであって、
前記撮像手段からの視野の異なる複数の撮像画像を登録する画像登録処理と、
前記撮像手段により撮像された現在の入力画像の視野に応じて前記登録された視野の異なる複数の撮像画像の中から少なくとも１つの撮像画像を選択する画像選択処理と、
該画像選択処理により選択された撮像画像と前記入力画像との比較に基づいて物体を検出する物体検出処理と、
をコンピュータに行わせることを特徴とする物体検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を用いた物体検出に関し、特に撮像装置の撮像視野を変化させながら撮像視野内の物体を自動的に検出する物体検出方法及び物体検出装置並びに物体検出プログラムに関する。
【背景技術】
【０００２】
カメラ等の撮像装置を用いた侵入物体検出装置は、従来から広く用いられている。しかし、近年、このような侵入物体検出装置において、その監視視野領域内に入り込んでくる人間や自動車（車輌）などの侵入物体の検出を、モニタに表示される画像を見ながら行う有人監視によるものではなく、撮像装置から入力される画像信号から侵入物体を自動的に検出し、所定の報知や警報処置が得られるようにした侵入物体検出装置が要求されるようになってきている。
【０００３】
このような侵入物体検出装置を実現するためには、先ず、撮像装置から得られた入力画像と基準背景画像（即ち、検出すべき侵入物体が写っていない画像）とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を侵入物体として検出する。この方法は、差分法と呼ばれ、従来から広く用いられている。
【０００４】
差分法の処理を図９によって説明する。図９は差分法における物体検出の処理原理を説明するための図で、９０１は入力画像、９０２は基準背景画像、９０３は差分画像、９０４は差分画像９０３の二値化画像、９０５は減算器、９０６は二値化器、９０７は入力画像９０１内に撮像された人型の物体、９０８は差分によって生じた領域、９０９は差分によって生じた領域９０８を二値化処理した時の輝度値“２５５”のかたまりの画像である。
【０００５】
図９において、減算器９０５は入力画像９０１と基準背景画像９０２との画素毎の輝度値の差分を計算し差分画像９０３を出力する。差分画像９０３の中には、例えば、入力画像９０１内に撮像された人型の物体９０７を基準背景画像９０２と入力画像９０１との間で差分が生じた領域９０８として二値化器９０６に与える。
【０００６】
二値化器９０６は差分画像９０３の画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を“０”、しきい値Ｔｈ以上の画素の輝度値を“２５５”（１画素の輝度値を８ビットで計算）として二値化画像９０４を得る。これによって、入力画像９０１に写った人型の物体９０７は、減算器９０５によって差分が生じた領域９０８として計算され、二値化器９０６によって輝度値“２５５”となる画素のかたまりを表す画像９０９として検出される。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述の従来技術における差分法のように入力画像と物体の写っていない画像との比較によって侵入物体を検出する方法では、予め検出すべき侵入物体が写っていない基準背景画像を準備しておくことが必要だが、撮像装置のズームレンズのズーム設定や撮像方向を変えたり、撮像装置自身を移動したりしてカメラの視野が変化し、基準背景画像と異なる視野角、または視野方向となる場合には、予め準備しておいた基準背景画像を使うことができない。従って、この場合には、差分法のような入力画像と物体の写っていない画像との比較によって侵入物体を検出する方法を適用することができないという問題が起こる。また、もし、基準背景画像を作り直すとしても、その間は物体検出が行えなくなってしまうという問題が発生する。従って、差分法のような入力画像と物体の写っていない画像との比較によって侵入物体を検出する方法による従来の侵入物体検出方法では、撮像装置のズーム設定や撮像方向を変更しながら、あるいは撮像装置自身を移動しながらの侵入物体の検出は実質的に不可能であった。
【０００８】
本発明の目的は、上記のような欠点を除去し、撮像装置のズーム設定や撮像装置の位置を変更しても物体を検出することができる信頼性の高い物体検出方法及び物体検出装置並びに物体装置検出プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本例に係る物体検出方法では、所定区域内の物体を検出する物体検出方法であって、撮像手段の撮像レンズを制御すること、又は、撮像手段を移動させること、の少なくともいずれか一方により予め前記所定区域内を前記撮像手段により異なる視野で撮像し、視野の異なる複数の撮像画像を登録するステップと、前記撮像手段により撮像された現在の入力画像の視野に応じて前記登録された視野の異なる複数の撮像画像の中から少なくとも１つの撮像画像を選択するステップと、該選択された撮像画像と前記入力画像との比較に基づいて物体を検出するステップと、を備えた。
【００１０】
また、上記目的を達成するため、本例に係る物体検出装置では、撮像手段の撮像レンズを制御すること、又は、撮像手段を移動させること、の少なくともいずれか一方により所定区域内を異なる視野で撮像する前記撮像手段からの画像に基づいて画像中の物体を検出する物体検出装置であって、前記撮像手段からの視野の異なる複数の撮像画像を登録する画像登録手段と、前記撮像手段により撮像された現在の入力画像の視野に応じて前記登録された視野の異なる複数の撮像画像の中から少なくとも１つの撮像画像を選択する画像選択手段と、該画像選択手段により選択された撮像画像と前記入力画像との比較に基づいて物体を検出する物体検出手段と、を備えた。
【００１１】
また、上記目的を達成するため、本例に係る物体検出プログラムでは、撮像手段の撮像レンズを制御すること、又は、撮像手段を移動させること、の少なくともいずれか一方により所定区域内を異なる視野で撮像する前記撮像手段からの画像に基づいて画像中の物体を検出する物体検出プログラムであって、前記撮像手段からの視野の異なる複数の撮像画像を登録する画像登録処理と、前記撮像手段により撮像された現在の入力画像の視野に応じて前記登録された視野の異なる複数の撮像画像の中から少なくとも１つの撮像画像を選択する画像選択処理と、該画像選択処理により選択された撮像画像と前記入力画像との比較に基づいて物体を検出する物体検出処理と、をコンピュータに行わせる。
【発明の効果】
【００１２】
以上のように、本発明によれば、撮像装置のズーム比や撮像装置の位置が変わるような撮像装置の所定の変化に対する２フレーム以上の基準背景画像を内含する基準背景画像群を記録し、輝度値の差分を計算する時に基準背景画像群から適切な基準背景画像を適用するようにすることによって、撮像位置が変化する場面でも、撮像装置のズームレンズのズーム比の設定変更があった場合でも、撮像視野内の物体を検出することができ、物体検出装置の適用範囲を大きく広げることができる。
【００１３】
例えば、列車やパンチルトカメラ等、移動経路や撮像経路が決まっているような移動体に設置され、時々刻々視野が変わるカメラの映像を使った物体検出が可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施例を図面を用いて説明する。全図面を通して同様な構成要素には同様な参照符号を付す。
本発明の侵入物体監視装置の一実施例を図２によって説明する。図２は、侵入物体監視装置のハードウエア構成を示すブロック構成図である。
【００１５】
２０１はテレビジョンカメラ（以下ＴＶカメラと呼ぶ）、２０２は雲台、２０３はズームレンズ、２０４は画像入力Ｉ／Ｆ、２０５は画像出力Ｉ／Ｆ、２１６は監視モニタ、２１５はデータバス、２０６は通信Ｉ／Ｆ、２１３は雲台制御装置、２１４はズーム制御装置、２０７は出力Ｉ／Ｆ、２１７は警告灯、２０８はＣＰＵ（Central Processing Unit）、２０９は画像メモリ、２１０はプログラムメモリ、２１１はワークメモリ、２１２は外部記憶装置である。ＴＶカメラ２０１は雲台２０２に設置され、ＴＶカメラ２０１はズームレンズ２０３を備え、雲台２０２は雲台制御装置２１３に接続され、ズームレンズ２０３はズーム制御装置２１４に接続され、雲台制御装置２１３及びズーム制御装置２１４は通信Ｉ／Ｆ２０６に接続され、ＴＶカメラ２０１は画像入力Ｉ／Ｆ２０４に接続され、監視モニタ２１６は画像出力Ｉ／Ｆ２０５に接続され、警告灯２１７は出力Ｉ／Ｆ２０７に接続されている。また、画像入力Ｉ／Ｆ２０４、画像出力Ｉ／Ｆ２０５、通信Ｉ／Ｆ２０６、出力Ｉ／Ｆ２０７、ＣＰＵ２０８、画像メモリ２０９、プログラムメモリ２１０、ワークメモリ２１１及び外部記憶装置２１２は、データバス２１５に接続されている。
【００１６】
図２において、ＴＶカメラ２０１は、監視対象区域を含めた撮像視野内を撮像する。侵入物体監視装置は、例えば、雲台２０２ズームレンズ２０３を操作して、ＴＶカメラ２０１で監視対象区域全体を走査することにより監視対象区域全体を撮像する。
【００１７】
雲台２０２は、雲台制御装置２１３の雲台制御信号によってＴＶカメラ２０１の撮像方向を変え、ズームレンズ２０３はズーム制御装置２１４のズーム制御信号によってズームレンズのズーム比を変える。
【００１８】
ＴＶカメラ２０１は、撮像した画像を映像信号に変換し、変換された映像信号（画像データ）を画像入力Ｉ／Ｆ２０４に入力する。画像入力Ｉ／Ｆ２０４は、入力した画像データを侵入物体監視装置で扱うフォーマット（例えば、幅３２０ｐｉｘ、高さ２４０ｐｉｘ、８ｂｉｔ／ｐｉｘ）の画像データに変換し、データバス２１５を介して画像メモリ２０９に送る。画像メモリ２０９は、送られてきた画像データを蓄積する。また、蓄積する画像データの量に応じて画像データを画像メモリ２０９から外部記憶装置２１２に移し替える。
【００１９】
ＣＰＵ２０８はプログラムメモリ２１０に保存されているプログラムに従って、ワークメモリ２１１内で画像メモリ２０９に蓄積された画像の解析を行う。
上記解析の結果、もしＴＶカメラ２０１の撮像視野内に侵入物体が侵入したこと及びその関連の情報を得ると、ＣＰＵ２０８は、処理結果または所定の雲台制御信号またはズーム制御信号に応じて、データバス２１５から通信Ｉ／Ｆ２０６を介して雲台制御装置２１３に雲台制御信号を送信させ、また、通信Ｉ／Ｆ２０６を介してズーム制御装置２１４にズーム制御信号を送信させる。
【００２０】
更にＣＰＵ２０８は、画像出力Ｉ／Ｆ２０５を介して監視モニタ２１６に、例えば処理結果画像を表示し、出力Ｉ／Ｆ２０７を介して警告灯２１７を点灯する。通信Ｉ／Ｆ２０６は、ＣＰＵ２０８からの信号を雲台制御装置２１３及びズーム制御装置２１４が認識できるフォーマット（例えば、ＲＳ−２３２Ｃ通信信号）に変換し、雲台２０２のパン・チルトモータやズームレンズ２０３のズーム比を制御する。
【００２１】
また、画像出力Ｉ／Ｆ２０５は、ＣＰＵ２０８からの信号を監視モニタ２１６が使用できるフォーマット（例えば、ＮＴＳＣ映像信号）に変換して、監視モニタ２１６に送る。監視モニタ２１６は、例えば侵入物体検出結果画像を表示する。
【００２２】
図３は本発明の一実施例の処理動作を示すフローチャートの一例である。図３のフローチャートで示す処理動作は、図２に示した侵入物体監視装置を用いて実行される。この第１の実施例は、画像メモリ２０９あるいは外部記憶装置２１２に記憶されている基準背景画像群、即ち、複数の基準背景画像信号（基準背景動画像または複数のフレームの基準背景画像）の中から、監視視野内を撮像して得られる入力画像に対応する基準背景画像を選択し、図９で説明した差分法によってＴＶカメラ２０１の視野内に侵入した物体を検出する方法である。
【００２３】
上記基準背景画像群、即ち、複数の基準背景画像は、後述のように、所定の走査パターンに従ってＴＶカメラ２０１を移動させながらあるいは雲台でその撮像方向を変えながらＴＶカメラ２０１で検出対象物体が存在しない監視対象区域を走査して監視装置の監視視野を次々と変えて撮像することによって得ることができる。
【００２４】
「所定の走査パターン」とは、ＴＶカメラ２０１を移動させる際の所定の軌道や所定の撮像方向の変化を含めた時間経過に伴う撮像条件の変化パターンのことである。
所定の走査パターンには、更に、ＴＶカメラ２０１のズームレンズのズーム比を時間と共に変える際の所定のズーム比変化パターンを含む場合がある。
【００２５】
尚、以下の説明で、「所定の走査パターンに従ってＴＶカメラ２０１を移動させあるいは雲台でその撮像方向を変えながらＴＶカメラ２０１で監視対象区域を走査して監視装置の監視視野を次々に変えること」を簡単に「監視装置の所定の視野変化」という。
【００２６】
図３において、先ず、基準背景動画像初期化ステップ３００では、基準背景画像、即ち、基準背景画像群の初期化を行う。この処理を図１０を用いて説明する。図１０は、基準背景動画像初期化ステップ３００の処理の流れを表すフローチャートである。
【００２７】
先ず、基準背景動画像追加登録必要性判定ステップ１００１では、ワークメモリ２１１あるいは外部記憶装置２１２に記憶されている基準背景画像群が監視装置の所定の監視視野変化に対する全ての基準背景画像を保持しているか否かを判定する。
【００２８】
そして、基準背景画像群が全ての基準背景画像を保持している場合（予め監視装置の所定の監視視野変化に対する基準背景画像群を登録している場合）には、基準背景画像群の追加登録は必要ないものとして基準背景動画像初期化ステップ３００の処理を終了する（画像入力ステップ３０１へ進む）。
【００２９】
また、基準背景画像群を全く保持していない、あるいは一部しか保持していない場合には、基準背景画像群の追加登録が必要であるとして、フレーム番号算出ステップ１００２へ分岐する。
【００３０】
フレーム番号算出ステップ１００２では、追加すべき基準背景画像のフレーム番号を算出する。フレーム番号は、入力画像と基準背景画像群の中に保持されている基準背景画像との同期をとるために使用され、監視開始時刻のフレーム番号を、例えば、ｆｒａｍｅ＝０として表現する。
【００３１】
基準背景画像群内の基準背景画像を所定のサンプリング間隔（例えば、毎秒３０フレーム）で保持するときには、フレーム番号が３００であった場合、監視開始時刻から１０秒経過していることを表す。即ち、監視開始時刻から１０秒経過した入力画像に対応する基準背景画像のフレーム番号は、ｆｒａｍｅ＝３００となる。
【００３２】
フレーム番号算出ステップ１００２では、例えば、基準背景画像群が基準背景画像を全く保持していないときには、ｆｒａｍｅ＝０（監視装置の所定の監視視野変化の開始点（監視開始時刻時点の監視視野に相当）を表す）とする。
【００３３】
また、基準背景画像群が基準背景画像を一部（例えば、１０フレーム）保持しているときには、監視装置の所定の監視視野変化の開始点から、１０フレーム経過していることを表し、ｆｒａｍｅ＝１０とする。
【００３４】
次に、基準背景画像取得ステップ１００３では、撮像装置２０１より、例えば３２０×２４０画素の入力画像を得る。
更に、基準背景動画像追加登録ステップ１００４では、基準背景画像取得ステップ１００３で得られた入力画像をワークメモリ２１１または外部記憶装置２１２に記憶されている基準背景動画像に追加登録する。
【００３５】
追加登録完了判定ステップ１００５では、基準背景動画像に監視装置の所定の監視視野変化に対する全ての基準背景画像の追加登録が完了した場合には基準背景動画像の初期化処理を終了し（画像入力ステップ３０１へ復帰し）、追加登録が完了してない場合にはフレーム番号算出ステップ１００２へ分岐する。
【００３６】
図３に戻り、画像入力ステップ３０１では、ＴＶカメラ２０１によって撮像される入力映像信号を、例えば３２０×２４０画素の入力画像９０１として得る。
次に基準背景画像選択ステップ３０２では、画像入力ステップ３０１によって得られた入力画像９０１に対応する同じかまたは最も近い画角の基準背景画像９０２を複数の基準背景画像または基準背景画像群から選択する。
【００３７】
本実施例では、複数の基準背景画像（即ち、基準背景画像群）の中から対応する基準背景画像を選択するために、フレーム番号（ｆｒａｍｅ）による入力画像と基準背景画像の同期の管理を行なっている。フレーム番号は、監視開始時刻を例えばｆｒａｍｅ＝０と定め、監視開始時刻からの経過時間に合せて基準背景画像群のサンプリング間隔毎に増加する。即ち、例えば、基準背景画像群が毎秒３０フレームでサンプリングされた基準背景画像を保持している場合には、フレーム番号は１秒あたり３０増加する。基準背景動画像初期化ステップ３００において、基準背景画像群は、監視装置の所定の監視視野変化の開始点（監視開始時刻時点の監視視野に相当）を基準にフレーム番号を算出し（１００２）、基準背景画像群を取得し（１００３）、基準背景画像群に追加登録している（１００４）。
【００３８】
図１２を例にするならば、所定の監視視野変化とは、撮像視野が視野１２０２ａ、１２０２ｂ、１２０２ｃ、１２０２ｄ、１２０２ｅ、１２０２ｅ、１２０２ｄ、１２０２ｃ、１２０２ｂ、１２０２ａの変化であり、このような所定の監視視野変化に対して、基準背景画像群中に、ｆｒａｍｅ＝０から９の各フレーム番号の視野の基準背景画像が保持されている。
【００３９】
監視開始時刻において、撮像装置の視野は１２０２ａであり、時間が経過する毎に視野１２０２ａ、１２０２ｂ、１２０２ｃ、１２０２ｄ、１２０２ｅ、１２０２ｅ、１２０２ｄ、１２０２ｃ、１２０２ｂ、１２０２ａと変化し、それに伴いフレーム番号もｆｒａｍｅ＝０から９へと増加する。従って、フレーム番号（ｆｒａｍｅ）によれば、基準背景画像選択ステップ３０２において、基準背景動画像中から、入力画像と同じ視野で得られた基準背景画像を選択することができ、入力画像と選択すべき基準背景画像の同期を取ることが可能となる。
【００４０】
言い換えると、フレーム番号（ｆｒａｍｅ）は、基準背景画像群の中から入力画像に対応する基準背景画像を選択するためのカウンタとして使用されており、上述のように、例えば、監視開始時刻（基準時刻）をｆｒａｍｅ＝０とし、３０／ｓｅｃの割合（ＮＴＳＣ方式のテレビ放送に準拠するＴＶカメラによって撮像された場合）で増加するので、例えば、ｆｒａｍｅ＝３００であれば、基準時刻から１０秒経過したことが分かる。従って、基準背景画像も基準時刻から１０秒経過したものが選択される。
【００４１】
本実施例では、基準背景画像のサンプリング間隔がＴＶカメラの映像信号のフレーム間隔と等しいとしたが、サンプリング間隔は映像信号によらず、任意に決めることができる。即ち、ＴＶカメラのｎ番目毎のフレームの画像を基準背景画像とすることができ、ｎは１に限らず、２以上の整数でも良い。また、サンプリング間隔は、映像信号のフレーム間隔に限定されず、任意に決めることができる。このことについて、更に説明する。
【００４２】
本実施例では、ＮＴＳＣ方式の映像信号をフルフレーム（秒３０フレーム）でサンプリングする例を用いているが、例えば、毎秒１０フレームとした場合でも本発明と同様の効果を得ることができる。ただし、サンプリング間隔が長くなると、入力画像と選択された基準背景画像との視野のズレが大きくなるため、差分処理において誤検出が多くなってしまう。監視開始時刻（所定の視野変化の開始時点）からの経過時間ｔとフレーム番号ｆｒａｍｅとの間には、
ｔ＝△ｔ×ｆｒａｍｅ    ‥‥‥式（１）
の関係がある。ここで、△ｔとはサンプリング間隔（単位：秒）を表し、例えばＮＴＳＣ方式の映像信号をフルフレームでサンプリングする場合△ｔ＝１／３０秒となり、毎秒１０フレームの場合では、△ｔ＝１／１０秒となる。したがって、フレーム番号は、経過時間ｔによって、
ｆｒａｍｅ＝ｔ／△ｔ    ‥‥‥式（２）
として算出することができる（ただし、小数点以下は四捨五入）。
【００４３】
入力画像と選択すべき基準背景画像との同期をとる方法は、監視開始時刻からの経過時間ｔによって式（２）からフレーム番号を算出し、基準背景画像群から算出したフレーム番号の基準背景画像を選択するようにする。
【００４４】
なお、複数の基準背景画像（基準背景画像群、または、基準背景動画像）の記憶フォーマットとして、基準背景画像を所定フレーム分連続させたものでも、ＭＰＥＧ（Moving Pictures Experts Group）や、モーションＪＰＥＧ（Motion Joint Photographic Experts Group）等の圧縮された形式で記録されたものでも良い。
【００４５】
次に差分処理ステップ３０３では、入力画像９０１と選択された基準背景画像９０２の画素毎の輝度値の差分を計算して差分画像９０３を得る。
二値化処理ステップ３０４では、差分処理ステップ３０３によって得られた差分画像９０３を所定のしきい値Ｔｈ（例えば、Ｔｈ＝２０）を用いて、差分画像９０３の画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を“０”、しきい値Ｔｈ以上の画素の輝度値を“２５５”（１画素の輝度値を８ビットで計算）として二値化画像９０４を得る。
【００４６】
次に侵入物体存在判定ステップ３０５では、得られた二値化画像９０４で輝度値“２５５”となる画素のかたまりが存在すれば侵入物体ありと判定して警報・モニタ表示ステップ３０６へ分岐し、かたまりが存在しなければ侵入者なしと判定して画素入力ステップ３０１へ分岐する。
【００４７】
図３の処理を図１を用いて説明する。図１は、図９で示した差分法における基準背景画像を複数の基準背景画像（基準背景画像群）の中から選択することを説明する図である。１０１は入力画像、１０２は基準背景画像群、１０３は差分画像、１０４は二値化画像、１０５は基準背景画像選択器、１０６は差分器、１０７は二値化器、１０２Ａ，１０２Ｂ，１０２Ｃ，１０２Ｄ，１０２Ｅ，１０２Ｆ，１０２Ｇは基準背景画像群１０２に含まれる基準背景画像である。入力画像１０１、差分画像１０３、二値化画像１０４、差分器１０６、及び二値化器１０７については図９で説明した入力画像９０１、差分画像９０３、二値化画像９０４、差分器９０５、及び二値化器９０６とほぼ同一の要素であるため説明を省略する。
【００４８】
基準背景画像群１０２は、所定の監視視野変化に対する基準背景画像１０２Ａ、１０２Ｂ、１０２Ｃ、１０２Ｄ、１０２Ｅ、１０２Ｆ、１０２Ｇを撮像した時間順に内含しており、基準背景画像選択器１０５によって、例えば、入力画像１０１に対応する画角がほぼ同じ基準背景画像１０２Ｄを選択する。
【００４９】
この基準背景画像選択器１０５は、監視動作が行なわれた時間分だけｆｒａｍｅ（フレーム番号）を増加させていく。従って、監視視野が変化するような場面でも適切な基準背景画像を選択及び適用することができ、正確な侵入物体検出が可能となる。
【００５０】
上述の図１では、撮像装置が所定の軌道を所定の速度プロファイルで移動する物体の先頭部分に搭載された例である。このときの基準背景画像群は、検出すべき物体が存在しない場合に、この所定の軌道上を、所定の速度したときに撮像装置が撮像したフレーム画像について、所定の間隔（例えば、３０フレーム間隔）でサンプリングした画像を基準背景画像として、取得した時間順に連続して、画像メモリ２０９あるいは外部記憶装置２１２に記憶したものである。
【００５１】
しかし、その他にも、撮像装置の位置は固定とし、撮像装置をパンあるいはチルト（撮像方向）あるいはその両方を組合せた動作をさせたり、また撮像装置のズームレンズのズーム比の設定を変更したりする
図４は本発明の第２の実施例の処理動作を説明するフローチャートの一例である。図４は、図３のフローチャートに基準背景動画像更新ステップ４０１を追加したものである。
【００５２】
図４において、画像入力ステップ３０１から二値化処理ステップ３０４までの処理動作と警報・モニタ表示ステップ３０６は、図３で説明した通りなので説明を省略する。また同様に、これから以降で説明するフローチャートにおいて、同一の参照番号のステップについてはほぼ同一の機能を有しているので説明を省略する。
【００５３】
侵入物体存在判定ステップ３０５において、二値化処理ステップ３０４から得られた二値化画像９０４で輝度値が“２５５”の画素のかたまりが存在すれば警報・モニタ表示ステップ３０６に処理が進む。しかし、侵入物体存在判定ステップ３０５において、二値化処理ステップ３０４から得られた二値化画像９０４で輝度値が“２５５”の画素のかたまりが存在しなかったと判定されれば、処理動作は基準背景画像更新ステップ４０１に進む。
【００５４】
この基準背景動画像更新ステップ４０１は、侵入物体存在判定ステップ３０５によって侵入物体なしと判定された場合に基準背景画像群１０２を更新するようにしたものである。即ち、基準背景画像群１０２の更新は、何らかの形で入力画像１０１が入力画像１０１に対応する同じ画角の基準背景画像１０２Ｄに反映されるような方法であれば良い。例えば、基準背景画像１０２Ｄを入力画像１０１で置き換えるようにしても良い。あるいは、基準背景画像１０２Ｄと入力画像１０１の画素毎の平均値を求め、求めた各平均値で構成される画像を新たな基準背景画像１０２Ｄとしても良い。従って、監視視野が変化するような場面でも基準背景画像を逐次更新しながら適切な基準背景画像を適用することができ、正確な侵入物体検出が可能となる。
【００５５】
図５は本発明の第３の実施例を表すフローチャートの一例である。図５は、図４のフローチャートの基準背景画像選択ステップ３０２と差分処理ステップ３０３の間に位置ズレ補正ステップ５０１を挿入したものである。
【００５６】
位置ズレ補正ステップ５０１は、ＴＶカメラ２０１の移動の際の揺れに起因する入力画像１０１と基準背景画像１０２Ｄとの間の画像の位置ズレの量を計算し、計算した位置ズレ量に基づき入力画像１０１の画像上の位置を補正するものである。この処理の一実施例を図７によって説明する。
【００５７】
図７は、周知のテンプレートマッチングを利用した位置ズレ量の計算方法の一実施例を説明するための図である。図７（ａ）に示す７０１は基準背景画像、７０１Ａは基準背景画像７０１のブロック、図７（ｂ）に示す７０２は入力画像、７０２Ａは入力画像７０２中でブロック７０１Ａとして検出された領域、７０２Ｂはブロック７０１Ａに相当する場所の入力画像７０２中の領域、７０２Ｃは領域７０２Ｂと領域７０２Ａとの位置ズレ量を表す矢印、図７（ｃ）に示す７０３は基準背景画像７０１のすべてのブロックに対する位置ズレ量の分布を表す画像である。
【００５８】
図７は、基準背景画像７０１をいくつかのブロックに分割し（この例では８つ）、それぞれのブロックの画像が入力画像上でどの位置に存在するかをテンプレートマッチングによって判定するものである。
【００５９】
図７の実施例では、ブロック７０１Ａ（基準背景画像７０１中の斜線で塗りつぶした領域）を例に挙げており、ブロック７０１Ａの画像（入力画像７０２中でのブロックの位置を点線で囲んだ領域７０２Ｂで示す）は、入力画像７０２中で領域７０２Ａに存在するものとして検出され、その位置ズレ量は矢印７０２Ｃのようになる。このように、図７（ｃ）は、入力画像と基準背景画像の位置ズレを表す。このように、“位置ズレ”とは、基準背景画像に対して入力画像が空間的（上下左右）にずれることを言う。
【００６０】
テンプレートマッチングについては、例えば、１９８５年に総研出版から出版された田村秀行監修による『コンピュータ画像処理入門』と題する書籍のＰ１１８〜Ｐ１２５に解説されている。
【００６１】
更に、Azriel Rosenfeld et al.による『Digital Picture Processing』ACADEMIC PRESS,P296〜P303,1976や、U.S.Patent No.5,554,983にも開示されている。
このテンプレートマッチング処理を、全てのブロックについて行なうと位置ズレ量の分布７０３が得られる。そして、これらを平均化したものが入力画像の位置ズレ量ｖである。即ち、各ブロックの位置ズレ量ｖｎを次の式（３）で表すと、
【００６２】
【数１】
2005094791.tif 000003
【００６３】
入力画像の位置ズレ量ｖは、式（４）及び式（５）のようになる。
【００６４】
【数２】
2005094791.tif 000004
【００６５】
【数３】
2005094791.tif 000005
【００６６】
ここで、Ｎはブロック数（例では、Ｎ＝８）である。
次に、得られたｖ＝（ｄｘ，ｄｙ）について、式（６）を計算する。ここで、ｆ（ｘ，ｙ）は入力画像、ｆ′（ｘ，ｙ）は位置ズレを補正した入力画像を表す。
【００６７】
【数４】
2005094791.tif 000006
【００６８】
このようにすることで、入力画像１０１と基準背景画像１０２Ｄの位置ズレが存在する場面でもその位置ズレを補正することができ、正確な侵入物体検出が可能となる。
図６は本発明の第４の実施例を表すフローチャートの一例である。図６は、図４で示したフローチャートにフレームズレ検出ステップ６０１と、フレームズレが存在した場合に再度基準背景画像選択ステップ３０２を実行するように分岐する分岐ステップ６０２を追加したものである。
【００６９】
フレームズレ検出ステップ６０１は、入力画像１０１と選択された基準背景画像１０２Ｄと時間的なズレを判定するものである。この処理の一実施例を、図８と図１１を用いて説明する。図８は、テンプレートマッチングを利用したフレームズレの判定方法を表す図である。図８（ａ）に示す８０１は基準背景画像、図８（ｂ）に示す８０２は基準背景画像８０１内の分割したすべてのブロックに対するフレーム位置ズレ量の分布を表す画像である。
【００７０】
基準背景画像８０１を画面の左右いくつかのブロックに分割し（図８の実施例では左右それぞれ２つずつ）、図７と同様にそれぞれのブロックの画像が入力画像上でどの位置に存在するかをテンプレートマッチングによって判定する。
【００７１】
この判定処理を、図１１の（ａ）と（ｂ）を用いて説明する。図１１は、図１と同じ場面を想定した例であり、図１１（ａ）の１１０１は入力画像、図１１（ｂ）の１１１１は選択された基準背景画像を表す。領域１１０２、１１０３、１１０４、１１０５は、図８（ａ）で説明したブロックを表し、ブロックを図８（ａ）と同様に左右２つずつ配置した例である。
【００７２】
次に、基準背景画像１１１１において、点線で表した領域１１１２ａ、１１１３ａ、１１１４ａ、１１１５ａは、それぞれ、入力画像１１０１におけるブロックの領域１１０２、１１０３、１１０４、１１０５に相当する領域である。領域１１１２ｂ、１１１３ｂ、１１１４ｂ、１１１５ｂは、それぞれ、領域１１０２、１１０３、１１０４、１１０５の画像を用いてテンプレートマッチングを行なった結果得られた領域である。この領域１１１２ａ、１１１３ａ、１１１４ａ、１１１５ａの中央から、領域１１１２ｂ、１１１３ｂ、１１１４ｂ、１１１５ｂの中央のそれぞれの位置変化が各ブロックの位置ズレ（矢印１１１２ｃ、１１１３ｃ、１１１４ｃ、１１１５ｃで表現される）を表しており、それぞれの位置ズレ量をｖ１＝（ｘ１，ｙ１）、ｖ２＝（ｘ２，ｙ２）、ｖ３＝（ｘ３，ｙ３）、ｖ４＝（ｘ４，ｙ４）と表現する。この場合、ｖ１、ｖ２は画面左側の位置ズレ、ｖ３、ｖ４は画面右側の位置ズレを表す。
【００７３】
更に、左右それぞれのブロックの平均位置ズレ量から、画面左側のブロックの平均位置ズレ量ｖＬをｖＬ＝（ｘＬ，ｙＬ）、画面右側のブロックの平均位置ズレ量をｖＲ＝（ｘＲ，ｙＲ）を得る。
【００７４】
即ち、ｘＬ＝（Ｘ１＋Ｘ２）／２、ｙＬ＝（Ｙ１＋Ｙ２）／２、ｘＲ＝（Ｘ３＋Ｘ４）／２、ｙＲ＝（Ｙ３＋Ｙ４）／２として、画面左右の平均位置ズレを得る。図１１の入力画像１１０１と基準背景画像１１１１の場合、ｘＬは負（画面左上から右下に向う方向を正の方向とする）、ｘＲは正の値となる（すなわち矢印１１１２ｃ、１１１３ｃ、１１１４ｃ、１１１５ｃの向きは、画面中央から外に向う）。この場合、基準背景画像１１１１は、入力画像１１０１に対して時間的に進んでいる（ｆｒａｍｅが適切な値に比べ大きい）ことを表しているため、ｘＲ−ｘＬが所定の大きさＴｆ以上であった場合、ｆｒａｍｅを１減少させる。
【００７５】
次に逆の例を図１１の（ｃ）と（ｄ）を用いて説明する。図１１（ｃ）の１１２１は入力画像、図１１（ｄ）の１１３１は選択された基準背景画像を表す。上記、入力画像１１０１、基準背景画像１１１１の例と同様に、領域１１２２、１１２３、１１２４、１１２５は、図８で説明したブロックを表し、基準背景画像１１３１において、点線で表した領域１１３２ａ、１１３３ａ、１１３４ａ、１１３５ａは、それぞれ、入力画像１１２１におけるブロックの領域１１２２、１１２３、１１２４、１１２５に相当する領域である。領域１１３２ｂ、１１３３ｂ、１１３４ｂ、１１３５ｂは、それぞれ、領域１１２２、１１２３、１１２４、１１２５の画像を用いてテンプレートマッチングを行なった結果得られた領域である。この時、領域１１３２ａ、１１３３ａ、１１３４ａ、１１３５ａの中央から領域１１３２ｂ、１１３３ｂ、１１３４ｂ、１１３５ｂの中央の各々の位置変化が各ブロックの位置ズレ（矢印１１３２ｃ、１１３３ｃ、１１３４ｃ、１１３５ｃで表現される）を表しており、各々の位置ズレ量をＶ１＝（Ｘ１，Ｙ１）、Ｖ２＝（Ｘ２，Ｙ２）、Ｖ３＝（Ｘ３，Ｙ３）、Ｖ４＝（Ｘ４，Ｙ４）と表現する。この場合、Ｖ１、Ｖ２は画面左側の位置ズレ、Ｖ３、Ｖ４は画面右側の位置ズレを表す。さらに、ｘＬ＝（Ｘ１＋Ｘ２）／２、ｙＬ＝（Ｙ１＋Ｙ２）／２、ｘＲ＝（Ｘ３＋Ｘ４）／２、ｙＲ＝（Ｙ３＋Ｙ４）／２として、画面左右の平均位置ズレを得る。
【００７６】
図１１の入力画像１１２１と基準背景画像１１３１の場合、ｘＬは正、ｘＲは負の値となる（すなわち矢印１１１２ｃ、１１１３ｃ、１１１４ｃ、１１１５ｃの向きは、画面外から中央に向う）。この場合、基準背景画像１１３１は、入力画像１１２１に対して時間的に遅れている（ｆｒａｍｅが適切な値に比べ小さい）ことを表しているため、ｘＬ−ｘＲが所定の大きさＴｆ以上であった場合、ｆｒａｍｅを１増加させる。
【００７７】
ここで、Ｔｆはフレームズレに起因する画素の位置ズレの許容量を表し、その値は経験的に得られ、本実施例では、例えば、Ｔｆ＝５に設定する。
なお、この実施例では、ブロックを図８同様左右２つずつ計４つ配置した例であるが、これ以外の数のブロックを配置しても、さらには左右異なる数のブロックを配置しても良い。
【００７８】
次に分岐ステップ６０２では、ｆｒａｍｅの修正が行なわれた場合に再度基準背景画像選択ステップ３０２を実行するように分岐する。このようにすることで、撮像装置が撮像装置の光軸方向に移動している場面で、入力画像１０１と基準背景画像１０２Ｄの時間的なズレが存在する場面でもそのフレームズレを補正することができ、正確な侵入物体検出が可能となる。
【００７９】
このように、「フレームズレ」とは、入力画像に対応する本来あるべき基準背景画像と、基準背景画像選択器１０５によって選択された基準背景画像とのズレのことを言う。
次に本発明の第５の実施例を説明する。本発明の第５の実施例は、雲台２０２及びズームレンズ２０３により、ＴＶカメラ２０１の撮像方向とズーム比を周期的に変化させながら撮像装置の視野内に侵入した侵入物体を検出するようにしたものである。
【００８０】
即ち、検出すべき侵入物体が存在しない場合に、雲台２０２及びズームレンズ２０３を制御信号により制御し、ＴＶカメラ２０１の撮像方向とズームレンズ２０３のズーム比を１周期分変化させて、得られる入力画像を基準背景画像として基準背景動画像１０２に内含させておく。
【００８１】
基準背景画像選択器１０５は、１周期分の監視動作が行なわれたときにｆｒａｍｅを０にリセットする。
この処理を図１２を用いて説明する。図１２は、ＴＶカメラ１２０１の視野方向をフレーム番号ｆｒａｍｅ＝０〜９と変化させた場合の例である。図１２では、説明を簡単にするために視野方向のみの変化を表示しており、１２０２ａ、１２０２ｂ、１２０２ｃ、１２０２ｄ、１２０２ｅと撮像視野（入力画像）が周期的に変化している例を表している。監視開始時刻（ｆｒａｍｅ＝０）において、撮像視野は１２０２ａとなり、監視処理が経過する毎に撮像視野１２０２ａ、１２０２ｂ、１２０２ｃ、１２０２ｄ、１２０２ｅ、１２０２ｅ、１２０２ｄ、１２０２ｃ、１２０２ｂ、１２０２ａと変化する、それに伴いｆｒａｍｅも０〜９と変化する。本発明の第５の実施例では、撮像視野が１２０２ａに戻ったときにフレーム番号を０にする。このようにすることで、視野方向を変化させたときにフレームズレが発生した（入力画像と基準背景画像の同期がはずれた）場合でも、撮像視野が１２０２ａに戻った時点で入力画像と基準背景画像の同期を取ることができる。
【００８２】
また、例えば、撮像視野１２０２ｃ中の十字マーク１２０３のような特定の目印となる模様を予め設定しておき、入力画像中で該目印となる模様が写る瞬間にフレーム番号を所定の値（図１２の例では、撮像視野方向が１２０２ａから１２０２ｅに向っている場合はｆｒａｍｅ＝２、撮像視野方向が１２０２ｅから１２０２ａに向っている場合はｆｒａｍｅ＝７）に補正する。このようにすることで、フレームズレが発生した場合でも該目印となる模様が写る瞬間にフレーム番号を適切な値に補正することができる。このような補正は、撮像装置の位置情報（上記例では所定の基準位置などの情報）や、撮像視野情報（上記例では特定の目印となる模様などの情報）の、少なくとも１つ以上の指標によって実現される。
【００８３】
従って、本発明によれば、雲台２０２及びズームレンズ２０３の設定を周期的に変化させる場面でも、適切な基準背景画像を得ることができ、正確な侵入物体検出が可能となる。
【００８４】
本発明の第６の実施例は、撮像装置を所定の軌道を走行する車輌、例えば、線路を走行する列車に搭載し、侵入物体が存在しない場合に得られる入力画像を基準背景画像として基準背景画像群１０２に内含させておく。従って、本発明によれば、撮像装置が所定の軌道を走行する車輌に搭載されている場合でも、適切な基準背景画像を得ることができ、正確な侵入物体検出が可能となる。
【００８５】
上記実施例の図３〜図６に示したフローチャートでは、物体検出や侵入物体検出処理動作が終了しない記述となっている。しかし、図２で説明したような侵入物体監視装置のハードウエア構成において、ユーザの意思や停電等の不慮の事故により、監視装置の動作が終了すると、処理動作は途中で終了することは明らかである。
【００８６】
また、終了時には、それまでの検出結果や、基準背景画像をワークメモリ（もし不揮発性なら）や外部メモリ等の任意の記憶装置に保持しておいて、動作再開時には有効に再利用するようにしても良い。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施例を説明する図。
【図２】本発明の侵入物体監視装置の一実施例の構成を示すブロック図。
【図３】本発明の一実施例の動作を説明するためのフローチャート。
【図４】本発明の一実施例の動作を説明するためのフローチャート。
【図５】本発明の一実施例の動作を説明するためのフローチャート。
【図６】本発明の一実施例の動作を説明するためのフローチャート。
【図７】入力画像と基準背景画像の位置ズレを説明するための図。
【図８】入力画像と基準背景画像のフレームズレを説明するための図。
【図９】従来の背景画像差分法の処理原理を説明するための図。
【図１０】本発明の一実施例の動作を説明するためのフローチャート。
【図１１】テンプレートマッチングによるフレームズレの補正を説明するための図。
【図１２】本発明の一実施例を説明するための図。
【符号の説明】
【００８８】
101：入力画像、  102：基準背景動画像、  102A，102B，102C，102D，102E，102F，102G：基準背景画像、  103：差分画像、  104：二値化画像、  105：基準背景画像選択器、  106：差分器、  107：二値化器、  201：TVカメラ、  202：雲台、  203：ズームレンズ、  204：画像入力I/F、  205：画像出力I/F、  216：監視モニタ、  206：通信I/F、  207：出力I/F、  217：警告灯、  208：CPU、  209：画像メモリ、  210：プログラムメモリ、  211：ワークメモリ、  212：外部記憶装置、  213：雲台制御装置、  214：ズーム制御装置、  215：データバス、  701：基準背景画像、  701A：ブロック、  702：入力画像、  702A，702B：領域、  702C：位置ズレ量を表す矢印、  703：位置ズレ量の分布を表す画像、  801：基準背景画像、  802：フレームズレ量の分布を表す画像、  901：入力画像、  902：基準背景画像、  903：差分画像、  904：二値化画像、  905：減算器、  906：二値化器、  907：人型の物体、  908：差分によって生じた領域、  909：二値化処理した時の輝度値“255”のかたまりの画像。
【図１】
2005094791.tif 000007
【図２】
2005094791.tif 000008
【図３】
2005094791.tif 000009
【図４】
2005094791.tif 000010
【図５】
2005094791.tif 000011
【図６】
2005094791.tif 000012
【図７】
2005094791.tif 000013
【図８】
2005094791.tif 000014
【図９】
2005094791.tif 000015
【図１０】
2005094791.tif 000016
【図１１】
2005094791.tif 000017
【図１２】
2005094791.tif 000018