(57)【要約】【課題】移動速度の点で広範囲にわたって移動物体を検出することのできる方法を提供する。【解決手段】本方法は、時系列的に新しい順に３枚の画像Ａ，Ｂ，Ｃを取得する。画像ＢとＣの取得間隔Ｔ１と画像ＡとＢの取得間隔Ｔ２は異なるように設定される。画像Ａと画像Ｂを差分し２値化処理して画像Ｄを得、画像Ａと画像Ｃを差分し２値化処理して画像Ｅを得る。移動物体が比較的高速で移動する場合には取得間隔の短い画像Ｄに、比較的低速で移動する場合には取得間隔の長い画像Ｅに移動成分（「１」画素の集合）が含まれる。【選択図】図４
2004151980.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で所定の領域を撮像し、撮像した画像データを処理することで該領域内の移動物体を検出する方法において、
第１、第２および第３の画像を有する画像群であって、時系列的に古い順に第１、第２および第３の画像である画像群を得るステップと、
前記画像群から２枚の画像の組を選択して第１の差分画像を得るステップと、前記画像群から前記選択した２枚の画像の組と異なる組の画像を選択して第２の差分画像を得るステップとを含み、
第１の画像を得てから第２の画像を得るまでの時間間隔Ｔ１と、第２の画像を得てから第３の画像を得るまでの時間間隔Ｔ２とが異なることを特徴とする検出方法。
【請求項２】
第１の差分画像は第１の画像と第３の画像の差分画像であり、第２の差分画像は第２の画像と第３の画像の差分画像であることを特徴とする請求項１の検出方法。
【請求項３】
時間間隔Ｔ１が時間間隔Ｔ２より大きいことを特徴とする請求項２の検出方法。
【請求項４】
第１および第２の差分画像をそれぞれ２値化処理するステップをさらに含む請求項１〜３のいずれかに記載の検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置で所定の領域を撮像し、撮像した画像データを処理することで該領域内の移動物体を検出する方法に関する。
【０００２】
【従来の技術】
従来、所定の領域を撮影し、撮影時刻の異なる２つ画像の差分画像を得ることで、該領域内に移動物体が存在するか否かを検出する方法が知られている。
【０００３】
また、撮影時刻の異なる３つの画像（第１、第２および第３の画像）を等間隔で獲得し、第１の画像と第２の画像から第１の差分画像を、第１の画像と第３の画像から第２の差分画像を得て、第１および第２の差分画像の論理積をとることにより、背景のノイズを除去して移動する目標物の検出を行うものがある（例えば、特許文献１参照。）。
【０００４】
【特許文献１】
特公平６―６４６１３号公報
【０００５】
【発明が解決しようとする課題】
移動物体が高速で移動する場合、移動物体が撮影時刻と次の撮影時刻の間に撮影装置の画角内を通過する可能性がある。この場合、差分画像上に移動成分が存在しないため、移動物体を検出することができない。このように、処理に用いる画像の取得間隔に比べて移動物体の速度が大きいと移動物体の検出を行うことができない場合がある。
【０００６】
一方、移動物体が低速で移動する場合、差分を行う２つの画像での移動物体の像のずれ量が、撮像素子の分解能を下回るほど微小であれば、差分処理により移動成分を求めることができない。
【０００７】
前述の従来例のように３枚の画像を用いると、２枚の画像を用いる場合に比べて差分画像を基に移動物体を検出できる確率は高くなるが、それでもなお、移動物体が撮影間隔に比べて非常に高速で移動したり、逆に非常に低速で移動する場合に、差分画像から移動物体を検出できない可能性がある。
【０００８】
そこで、本発明は、移動速度の点で広範囲にわたって移動物体を検出することのできる方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的を達成するために、本発明に係る移動物体検出方法は、
撮像装置で所定の領域を撮像し、撮像した画像データを処理することで該領域内の移動物体を検出する方法において、
第１、第２および第３の画像を有する画像群であって、時系列的に古い順に第１、第２および第３の画像である画像群を得るステップと、
前記画像群から２枚の画像の組を選択して第１の差分画像を得るステップと、前記画像群から前記選択した２枚の画像の組と異なる組の画像を選択して第２の差分画像を得るステップとを含み、
第１の画像を得てから第２の画像を得るまでの時間間隔Ｔ１と、第２の画像を得てから第３の画像を得るまでの時間間隔Ｔ２とが異なることを特徴とする。
【００１０】
第１の差分画像を第１の画像と第３の画像の差分画像とし、第２の差分画像を第２の画像と第３の画像の差分画像としてもよい。この場合、時間間隔Ｔ１を時間間隔Ｔ２より大きくするのが好ましい。
【００１１】
第１および第２の差分画像をそれぞれ２値化処理するステップをさらに含むようにしてもよい。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明に係る実施の形態を説明する。以下の説明では、本発明に係る移動物体検出方法を監視カメラシステムに適用した例を説明するが、本発明はこれに限定されるものでなく、種々の分野に適用可能である。
【００１３】
図１は、監視カメラシステムの一実施形態を示す構成図である。このシステム２は、監視エリアで移動物体を検出した場合に、カメラの向きや倍率を調整して移動物体の静止画像を獲得し記録するためのものである。
【００１４】
監視カメラシステム２は、概略、複数の監視エリアを巡回監視するための監視カメラ装置４（以下、単にカメラと称する。）と、カメラ４の制御や所定の画像処理を行うプログラムを搭載したコンピュータ６とを備える。
【００１５】
カメラ４は、撮像素子であるＣＣＤセンサ（図示せず）と、ＣＣＤセンサに画像を結像するためのレンズ機構（図示せず）とを有する撮像ユニット８を備える。レンズ機構は、撮影倍率が可変のズームレンズ機構であって、レンズ機構の撮影倍率を変化させるためのズームアクチュエータ１０が併設されている。カメラ４はまた、撮像ユニット８をチルト方向及びパン方向に関してそれぞれ所定の角度だけ回転駆動するためのパン・チルトアクチュエータ１２を備える。
【００１６】
コンピュータ６のＣＰＵ（中央演算装置）１４には、カメラ制御部１５、画像処理部１６、画像記憶部１８、タイマ２０、および通信制御部２２が接続されている。カメラ制御部１５は、ズームおよびパン・チルトアクチュエータ１０、１２を制御してカメラ４の視野制御を行うためのものである。画像処理部１６は、カメラ４により撮像され画像記憶部１８に記憶された時系列画像データに対し、後述するような種々の画像処理を施すためのものである。画像記憶部１８は、カメラ４から時系列に入力される時系列画像、画像処理部１６で処理された画像、および移動物体の静止画像を記憶するためのものである。タイマ２０は、時計を内蔵しＣＰＵ１４に時間情報を提供するためのものである。通信制御部２２は、外部と通信を行うためのもので、例えば、画像記憶部１８に保存した静止画像を、必要に応じて、図示しないネットワーク（例えばインターネット、ＬＡＮなど）を介して、例えば遠隔地の監視センタなどに設置された外部端末に送信するためのものである。
【００１７】
図２、３は、図１の監視カメラシステムにより監視を行うための処理の一例を示すフローチャートである。まず、ステップＳ１でシステムを起動すると、カメラ４のアクチュエータ１０，１２を制御し、これによりカメラ４の視野に最初に巡回すべき監視エリアが入るようにする。なお、システム起動時にカメラが向いていたエリアを、最初に監視すべきエリアとしてもよい。カメラ４は、最初に巡回すべき監視エリアを予め設定された時間監視する（ステップＳ２）。
【００１８】
ステップＳ３では、現在の巡回位置での巡回時間が終了するまで、画像処理を繰り返す。
【００１９】
詳しくは、図３のサブルーチンおよび図４を参照して、ステップＳ３１で、撮影時刻の新しい順に画像Ａ，Ｂ，Ｃの３枚の画像を選択する。これら画像は同一の監視エリアに関する画像である。コンピュータ６は、カメラ４のＣＣＤセンサから、一定間隔Ｔすなわち垂直駆動（ＶＤ）信号に同期して画像を取得するが、移動物体を検出するための画像Ａ，Ｂ，Ｃの取得間隔は、間隔Ｔの整数倍である。また、画像ＢとＣの取得間隔Ｔ１と画像ＡとＢの取得間隔Ｔ２は異なるように設定されている。一例を挙げれば、ＶＤ信号が１秒間に３０回発生、すなわち３０ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）で画像が取得されるとして、Ｔ１をＶＤ信号２７周期分、Ｔ２を４周期分に設定する（画像ＡとＣの取得間隔は３１周期分）。
【００２０】
ステップＳ３２で画像Ａ，Ｂを差分し、続いてノイズ等の除去するために２値化処理を行って画像Ｄを取得する。２つの画像ともに移動物体が映っていなければ、差分画像Ｄの画素は全て「０」である。同様に、ステップＳ３３で画像Ａ，Ｃを差分し、２値化処理を行って画像Ｅを取得する。この結果、移動物体が比較的高速で移動する場合には取得間隔の短い画像Ｄに、比較的低速で移動する場合には取得間隔の長い画像Ｅに移動成分（「１」画素の集合）が含まれることになる。
【００２１】
ステップＳ３４では、画像ＤとＥの論理和としての画像Ｆを求める。この結果、画像Ｆに基づいて、移動速度の点で広範囲にわたって移動物体を検出することが可能となる。論理和画像Ｆを取得後、画像処理のフローを終了する。
【００２２】
２番目に新しい画像Ｂと最も古い画像Ｃの取得間隔Ｔ１は、最も新しい画像Ａと画像Ｂの取得間隔Ｔ２よりも大きく設定するのが好ましい。前述のように、画像Ａ，Ｂは比較的高速の移動物体を検出し、画像Ａ，Ｃは比較的低速の移動物体を検出するために用いられるが、Ｔ１がＴ２より小さいと、移動物体が非常に低速の場合に画像Ａ，Ｃの差分画像により移動成分を求めることができない可能性がある。また、画像Ａ，Ｂの時間間隔Ｔ２は、非常に高速の移動物体まで検出できる程度に小さく設定するのが好ましいが（例えば、前述のようにＶＤ信号４周期分）、Ｔ１をＴ２より小さく設定すると低速の移動物体を検出できない。
【００２３】
図２に戻って、ステップＳ４で論理和画像Ｆを基に移動物体を検出した場合、ステップＳ５に進み、カメラ４のアクチュエータ１０，１２を制御し、これにより移動物体がカメラ画像中央にくるようにする。例えば、図５（ａ）のように移動物体２４がカメラ画面２６の中央付近の一定領域２８内よりも画面２６の端部に近い位置にくる場合は、パン・チルトアクチュエータ１２を制御して移動物体２４が図５（ｂ）のように画面２６’中央にくるようカメラ姿勢を調整する。さらに、ズームアクチュエータ１０を制御して撮影倍率を調整する。ステップＳ６で、移動物体の静止画像を画像記憶部１８に記録する。
【００２４】
ステップＳ４で移動物体を検出しない場合、すなわち、論理和画像Ｆの画素が全て「０」の場合、フローはステップＳ２に戻る。
【００２５】
ステップＳ２で現在の巡回位置での巡回時間が終了した場合、ステップＳ１に戻り、次に巡回すべき監視エリアを監視するようカメラ４の視野を制御し、ステップＳ２〜Ｓ６の動作を繰り返す。
【００２６】
本実施形態によれば、低速から高速の広範囲にわたって移動物体を検出できる。カメラからの距離に関して、移動物体が比較的遠くを移動する場合、移動速度が大きくても撮像面上ではゆっくり動くことになり、従来例のように取得間隔の等しい画像を用いて移動成分を求めるには取得間隔を大きく設定する必要がある。しかしながら、このように設定するとカメラの近くを比較的高速で移動する移動物体を捉えることができない。これに対し、本実施形態のように取得間隔を異ならせることで、遠くを速く移動する物体も近くを速く移動する物体も捉えることができる。すなわち、本実施形態によれば、距離レンジの点で広範囲にわたって移動物体を検出できる。
【００２７】
（実験）
本発明者らは、以下の条件のもとで撮影時刻の異なる２枚の画像を取得し、差分画像をもとに移動物体を検出できるか否かを実験した。
【００２８】
▲１▼カメラ仕様
画素数：横３２０ｐｉｘｅｌ
撮像画素ピッチ：０．００７５ｍｍ
焦点距離：２．１８ｍｍ
ＶＤ信号：３０ｆｐｓ
▲２▼移動物体
大きさ：カメラ光軸と垂直方向に横幅５００ｍｍ
移動方向：カメラ光軸と垂直方向（画面の横方向）に直線運動
移動速度：１００〜５０００ｍｍ／ｓｅｃ
カメラから物体までの距離：２５０〜１００００ｍｍ
（この範囲で、横幅５００ｍｍの物体全体が撮像面３画素以上に投影される）
【００２９】
画像取得間隔がＶＤ信号４周期分、３１周期分に対し、移動物体の速度およびカメラからの距離（撮像面からの距離）を前記範囲内で変更して２枚の画像を撮影した場合の結果を、それぞれ図６（ａ），（ｂ）に示す。図中、白塗り部分は発見が可能な場合、黒塗り部分は不可能な場合を示す。差分画像に移動成分が３画素以上あり、横幅５００ｍｍの物体が２枚の画像のいずれかに３画素以上撮像されている場合に、移動物体の発見が可能とする。
【００３０】
図に示すように、画像取得間隔が一通りであると、発見不可能なカメラからの距離と移動速度の組み合わせがある。しかしながら、画像取得間隔が異なる２通りの結果を合わせると、移動物体のカメラからの距離と移動速度の前記範囲内での組み合わせの全ての場合において移動物体を発見することが可能となることがわかる。
【００３１】
ところで、本実施形態では３枚の画像を異なる時間間隔で取得するが、この方法では、ＣＣＤセンサのノイズ成分や、対象とする物体以外に画像に映りこんだ別の移動物体が検出される場合がある。特に監視エリアを屋外など背景成分に変化が生じやすい場所に設定した場合に、複数の移動物体が同時に検出される可能性が高い。前述した方法では、複数の移動物体を検出した場合に論理和処理を行った画像において全ての移動成分が現れるため、論理和画像から目標とする移動物体の画像上の位置を正確に識別できず、その結果、移動物体の静止画像を保存するステップＳ５，Ｓ６（図２）を行うことができない。
【００３２】
画像中の複数の成分を識別する方法としてラベリングが知られている。しかしながら、ラベリングは、計算量が多く必要となる点で、ある程度速い動きをする被写体にも対応できるよう高速に画像の取込みと処理を繰り返す必要のある移動物体検出方法には適さない。
【００３３】
以下では、図７、８のフローチャートおよび図９〜１４を参照して、複数の差分成分（「１」画素）の集合の中から最も面積の大きな集合を抽出するための簡易な方法を説明する。
【００３４】
まず、ステップＳ７１で、図４を参照して説明したように３枚の画像を用いて差分、２値化、論理和の処理を行うことにより、図９のような画像Ｑを取得する。図では、「１」画素の集合が５つあるが、これらをそれぞれＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５とする。ステップＳ７２で、画像Ｑ中の「１」画素の数を、画像Ｑの縦軸および横軸に投影してカウントする（すなわち、「１」画素が検出されるごとに、縦方向と横方向の対応する位置の計数値を１ずつ増加させる。）。図１０には、このように集計した値を示す周辺分布が示されている。ステップＳ７３で、投影された画素数が閾値（横軸に関してｔｈ＿ｈ、縦軸に関してｔｈ＿ｖ）以下の場合は、ノイズとみなして以後の処理対象に含めない（図１１参照）。例えば、集合Ｐ５のような微小領域、あるいは集合Ｐ１，Ｐ４の一部など図１１中点線で囲まれた領域は、処理対象から除かれる。さらに、ステップＳ７４で、周辺分布の軸方向に連続する長さが閾値（横軸に関してｌｅ＿ｈ、縦軸に関してｌｅ＿ｖ）以下の区間も、ノイズとみなして以後の処理対象に含めない。例えば、図１１では、区間長がＬ１，Ｌ２，Ｌ３，Ｌ４のうち、閾値ｌｅ＿ｈに満たない長さＬ２の区間は処理対象から除かれる。
【００３５】
ステップＳ７５では、前記２種類の閾値を用いた処理により画像中に切り出された領域（すなわち、縦方向および横方向に所定の幅を有する矩形領域）が存在するか否かを判断する。切り出された領域が存在する場合、フローはステップＳ７６に進む。図１２を参照して、横幅Ｌ１、縦幅Ｌ４の領域Ｒ１と、横幅Ｌ１、縦幅Ｌ３の領域Ｒ２が切り出される。ステップＳ７５で切り出された領域が存在しない場合、移動物体がなかったとしてフローを終了する。
【００３６】
ステップＳ７６では、切り出された領域が複数あるか否かを判断する。複数ある場合、フローはステップＳ７７に進む。図の例では領域はＲ１，Ｒ２の２つ存在する。縦方向および横方向に所定の長さ連続する矩形領域として、集合Ｐ１，Ｐ２を含む領域Ｒ１が切り出されるが、これは、軸投影をした際に集合Ｐ３の横方向の連続成分があったためである。このような場合、後述するように集合Ｐ１，Ｐ２を分割する処理を行う必要がある。
【００３７】
ステップＳ７７では、各領域（図の例では２つの領域Ｒ１，Ｒ２）に含まれる「１」画素の数をカウントし、最大となる領域Ｒｍを求める。図の例ではＲｍとしてＲ１が求められる。
【００３８】
ステップＳ７８で、領域Ｒｍ中の「１」画素の数を領域Ｒｍの縦軸および横軸に投影してカウントし、周辺分布を求める。以前の処理においてノイズ成分は除去しているので、得られた周辺分布に対しては、前述のｔｈ＿ｈ，ｔｈ＿ｖ，ｌｅ＿ｈ，ｌｅ＿ｖのような閾値による処理は行わない。
【００３９】
ステップＳ７６で切り出された領域が一つしかない場合、フローはステップＳ７９に進む。ステップＳ７９で切り出された領域をＲｍとして、ステップＳ７８に進む。
【００４０】
ステップＳ８１では、周辺分布が区間に分割されているか否かを判断する。分割していれば、ステップＳ８２に進み、領域Ｒｍから、縦方向および横方向に区間を有する矩形領域としてサブ領域を切り出す。図の例では、領域Ｒ１から、横幅Ｌ５、縦幅Ｌ４のサブ領域ｒ１と、横幅Ｌ６、縦幅Ｌ４のサブ領域ｒ２とが切り出される（図１３参照）。
【００４１】
ステップＳ８３で、複数のサブ領域それぞれ含まれる「１」画素の数をカウントし、最大となるサブ領域ｒｍを求める。図の例では２つのサブ領域ｒ１，ｒ２からｒｍとしてｒ１が求められる。
【００４２】
ステップＳ８４で、サブ領域ｒｍ（図の例では集合Ｐ１を含むｒ１）を元の画像Ｑに投影し（すなわち、サブ領域ｒｍを元の画像Ｑの座標に変換して）、最終的に図１４のような抽出画像Ｈを獲得し、フローを終了する。この抽出画像は、画像上のサブ領域ｒｍの位置を判断し、カメラの姿勢制御および撮影倍率調整を行って対象となる移動物体の静止画像を獲得し記録するのに用いられる。
【００４３】
ステップＳ８１で、周辺分布が分割されていない場合（すなわち、領域Ｒｍ内に「１」画素の集合が１つしかない場合）、フローはステップＳ８５に進む。ステップＳ８５で、領域Ｒｍを元の画像Ｑに投影して抽出画像を獲得し、フローを終了する。
【００４４】
以上の説明は本発明の一実施形態にかかるもので、本発明はこれに限らず種々改変可能である。例えば、前記実施形態では、時系列的に最も新しい画像と最も古い画像の差分、および最も新しい画像と２番目に新しい画像の差分をもとに移動物体の検出を行ったが、３枚の画像のうちどの２枚を組として二組の差分画像を求めるかは、本発明を限定するものではない。但し、最も古い画像と２番目に新しい画像から差分画像を得る場合、該差分画像に移動成分が含まれていても、移動物体の静止画像を得るためにカメラの制御を開始するのは少なくとも最も新しい画像を取得した後であるので、カメラの制御時には移動物体がカメラの画角から外れている可能性があるため、前記実施形態のようにいずれの組にも最も新しい画像を用いるのが好ましい。
【００４５】
【発明の効果】
本発明によれば、撮像装置で所定の領域（例えば監視エリア）を撮像し、撮像した画像データを処理することで該領域内の移動物体を検出する方法において、物体速度および撮像面からの距離の点で広範囲にわたって、移動物体を検出することができる。
【図面の簡単な説明】
【図１】本発明に係る移動物体検出方法の一実施形態を用いた監視カメラシステムを示す概略図。
【図２】図１の監視カメラシステムを用いた監視プロセス全体を示すフローチャート。
【図３】図２のステップＳ３の画像処理のサブルーチンを示すフローチャート。
【図４】図３の画像処理に用いる３枚の画像、差分画像、および論理和画像を示す図。
【図５】図２のステップＳ５でのカメラ視野制御を説明するための図。
【図６】画像取得間隔がＶＤ信号４周期分、３１周期分に対し、移動物体の速度およびカメラからの距離を変更して２枚の画像を撮影した場合において、移動物体が検出可能か否かを示す図。
【図７】特定の移動成分集合の抽出プロセスの第１の部分を示すフローチャート。
【図８】特定の移動成分集合の抽出プロセスの第２の部分を示すフローチャート。
【図９】図７のステップＳ７１で得られる論理和画像を示す図。
【図１０】図７のステップＳ７２で得られる周辺分布を示す図。
【図１１】図７のステップＳ７３，Ｓ７４でのノイズ除去を説明するためのす図。
【図１２】図７のステップＳ７５の切り出し領域を示す図。
【図１３】図７のステップＳ７８で得られる周辺分布、および、図８のステップＳ８３で得られる「１」画素数が最大のサブ領域を示す図。
【図１４】図８のステップＳ８４で得られる抽出画像を示す図。
【符号の説明】
２：監視カメラシステム、４：カメラ装置（撮像装置）、６：コンピュータ、８：撮像ユニット、１０：ズームアクチュエータ、１２：パン・チルトアクチュエータ。
【図１】
2004151980.tif 000003
【図２】
2004151980.tif 000004
【図３】
2004151980.tif 000005
【図４】
2004151980.tif 000006
【図５】
2004151980.tif 000007
【図６】
2004151980.tif 000008
【図７】
2004151980.tif 000009
【図８】
2004151980.tif 000010
【図９】
2004151980.tif 000011
【図１０】
2004151980.tif 000012
【図１１】
2004151980.tif 000013
【図１２】
2004151980.tif 000014
【図１３】
2004151980.tif 000015
【図１４】
2004151980.tif 000016