(57)【要約】【課題】従来の移動物体検出では、背景画像に樹木などの影が存在するような場合、影の動きや物体が影の中に入ったときの影響などにより、移動物体の検出が困難になり、その結果更新された背景画像の信頼性が問題となる。【解決手段】本発明は、固定されたカメラより入力した画像から、予め基準となる背景画像を作成しておき、入力した時間の異なる複数の画像を用いて、移動物体２０１の方向及び速度を示す動き情報を求め、求めた動き情報から移動物体を含む領域を判定し、移動物体２０１を含まない背景領域となる画像を背景画像に更新し、更新した背景画像と入力画像との差分画像を求め、求めた差分画像を基に移動物体の存在候補領域３０１を求め、求めた存在候補領域内で移動物体の位置を検出するように構成したものである。【選択図】　図１
2004046501.tif 000002
【特許請求の範囲】
【請求項１】
固定されたカメラより第１の画像を入力し、基準となる背景画像を作成する第１の第１のステップと、前記カメラより第２の画像を入力し、移動物体の方向及び速度を示す動き情報を求める第２のステップと、前記動き情報を伴う第２の画像から前記背景画像を更新する領域を求める第３のステップと、前記更新領域と前記背景画像との差分が予め定めた第１の閾値より小さい場合は前記背景画像を更新し、前記第１の閾値よりも大きい場合は、前記第２のステップに戻る第４のステップと、前記更新された背景画像及び前記カメラより入力される第３の画像から差分画像を求める第５のステップと、前記差分画像から前記移動物体が存在する領域である存在候補領域を、前記移動物体の外形矩形から生成した外形テンプレートとの比較により求める第６のステップと、前記存在候補領域内で移動物体の位置を、予め蓄積した画像の特徴との比較から検出する第７のステップを含む移動物体検出方法。
【請求項２】
第２のステップが、動き情報を蓄積し、入力された動き情報と前記蓄積された動き情報を比較し、前記入力された動き情報が予め定められた第２の閾値以上となる場合は、前記入力された動き情報を削除し、第１のステップに戻るステップを、更に含む請求項１記載の移動物体検出方法。
【請求項３】
第４のステップが、第１の閾値よりも大きい場合は、更に、更新領域と背景画像との差分が予め定めた第３の閾値より大きい場合は、急激な環境変化の発生とし、第２の入力画像を背景画像として出力するステップを、更に含む請求項１又は２記載の移動物体検出方法。
【請求項４】
動き情報が、道路上の進行方向に沿った動きである請求項１ないし３のいずれか記載の移動物体検出方法。
【請求項５】
更新領域が、移動物体が移動する部分を分割した領域である請求項１ないし４のいずれか記載の移動物体検出方法。
【請求項６】
外形テンプレートが、移動物体の種類、時刻及び天候条件を考慮し、複数種類作成される請求項１ないし５のいずれか記載の移動物体検出方法。
【請求項７】
画像の特徴が、移動物体の種類及び距離から複数生成される
請求項１ないし６に記載の移動物体検出方法。
【請求項８】
画像を入力する固定されたカメラと、入力した時間の異なる複数の画像から動き情報を求める動き検知手段と、前記動き情報を蓄積し、入力された動き情報と前記蓄積された動き情報を比較し、前記入力された動き情報が予め定められた第１の閾値以上となる場合は、前記入力された動き情報を削除する動き情報蓄積判断手段と、固定されたカメラより入力した画像から、予め基準となる背景画像を作成する基準画像作成手段と、前記動き情報から前記背景画像を更新する領域を求め、前記更新領域と前記背景画像との差分が予め定めた第２の閾値より小さい場合は前記背景画像を更新する背景画像更新手段と、前記更新した背景画像及び前記入力画像の差分画像を求める差分画像検出手段と、前記差分画像から前記移動物体が存在する領域である存在候補領域を、前記移動物体の外形矩形から生成した外形テンプレートとの比較により求める候補領域検出手段と、移動物体の種類、時刻及び天候条件を考慮し、複数種類作成された外形テンプレートが蓄積された外形データベースと、移動物体の種類及び距離から画像の特徴を予め複数生成し、蓄積した特徴データベースと前記存在候補領域内で移動物体の位置を、前記特徴データとの比較から検出する位置検出手段とを含む移動物体検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する利用分野】
本発明は、固定カメラを用いて道路上の移動物体を検出する技術に関する。
【０００２】
【従来の技術】
従来、移動物体を検出する技術として、特開平１１−１５９８２号公報に示されるものがある。図７を用いて、従来の方式を説明する。
【０００３】
ここで、６０１は、ｔ−１及びｔ時に撮影された入力画像の２枚から、濃淡値のことなる第１の画素を予め定めた第１の閾値から第１の移動領域を検出するフレーム間差分処理部を示し、６０２は、フレーム間差分処理部の出力及びｔ時に撮影された入力画像から、第１の移動領域毎にｔ時に入力された画像を分割する領域分割処理部を示し、６０３は、領域分割処理部の出力より、第１の移動領域に隣接する画素について、予め定めた第２の閾値により、濃淡値の判断を行い、同一移動物体を検出し、背景画像の更新領域を決定する画像変動領域検出処理部を示し、６０４は、背景画像の更新領域を基に、入力画像と過去の背景画像との合成処理を行い、背景画像を生成する合成処理部を示し、６０５は、合成処理部で決定した背景画像及びｔ時に撮影された入力画像の差分データを出力する背景差分部を示し、６０６は、背景差分部から出力された差分データから移動物体を検出する物体検出部を示す。
【０００４】
以上の構成より、移動物体を除去した画像を背景画像とし、この背景画像を用いて、入力画像から移動物体を抜き出し、環境変化が激しい屋外においても、移動物体の位置測定を行なうものである。
【０００５】
【発明が解決しようとする課題】
しかし、従来の技術においては、例えば、背景に樹木などの影が存在するような場合に、影の動きは、余計な動きを検出し、物体が影の中に入ったときは、影がまだら模様になり領域分割が不安定になるので、変動領域の検出が困難になり正確な背景画像が作成されない等の影響などにより、変動領域の検出が困難になり、その結果合成された背景画像の信頼性が問題となる。
【０００６】
【課題を解決するための手段】
この課題を解決するために本発明は、固定されたカメラより入力した画像から、予め基準となる背景画像を作成しておき、入力した時間の異なる２枚の画像を用いて、移動物体の位置、方向及び速度を示す動き情報を求め、求めた動き情報から移動物体を含む領域を判定し、移動物体を含まない背景領域となる画像を背景画像に更新し、更新した背景画像と入力画像との差分画像を求め、求めた差分画像を基に移動物体の存在候補領域を求め、求めた存在候補領域内で移動物体の位置を検出するように構成したものである。
【０００７】
特に、影の動きに対しては、動き情報を蓄積することによりノイズを排除し、物体が影の中に入ったときは、検出対象に合わせてあらかじめ領域分割しておくことで悪影響を低減することで、信頼性の高い背景画像を作成し、正確な移動物体の位置検出が可能となる。
【０００８】
【発明の実施の形態】
本発明の請求項１に記載の発明は、固定されたカメラより第１の画像を入力し、基準となる背景画像を作成する第１の第１のステップと、前記カメラより第２の画像を入力し、移動物体の方向及び速度を示す動き情報を求める第２のステップと、前記動き情報を伴う第２の画像から前記背景画像を更新する領域を求める第３のステップと、前記更新領域と前記背景画像との差分が予め定めた第１の閾値より小さい場合は前記背景画像を更新し、前記第１の閾値よりも大きい場合は、前記第２のステップに戻る第４のステップと、前記更新された背景画像及び前記カメラより入力される第３の画像から差分画像を求める第５のステップと、前記差分画像から前記移動物体が存在する領域である存在候補領域を、前記移動物体の外形矩形から生成した外形テンプレートとの比較により求める第６のステップと、前記存在候補領域内で移動物体の位置を、予め蓄積した画像の特徴との比較から検出する第７のステップを含む移動物体検出方法としたものであり、信頼性の高い背景画像を作成し、正確な移動物体の位置検出ができるという作用を有する。
【０００９】
請求項２に記載の発明は、第２のステップが、動き情報を蓄積し、入力された動き情報と前記蓄積された動き情報を比較し、前記入力された動き情報が予め定められた第２の閾値以上となる場合は、前記入力された動き情報を削除し、第１のステップに戻るステップを、更に含む請求項１記載の移動物体検出方法としたものであり、画像に含まれる雑音による誤差などを排除することができるという作用を有する。
【００１０】
請求項３に記載の発明は、第４のステップが、第１の閾値よりも大きい場合は、更に、更新領域と背景画像との差分が予め定めた第３の閾値より大きい場合は、急激な環境変化の発生とし、第２の入力画像を背景画像として出力するステップを、更に含む請求項１又は２記載の移動物体検出方法としたものであり、急激に環境が変化した場合でも、入力画像を背景画像とすることで、背景画像の更新が完了するまでの背景画像として使用することができ、移動物体の位置検出ができるという作用を有する。
【００１１】
請求項４に記載の発明は、動き情報が、道路上の進行方向に沿った動きである請求項１ないし３のいずれか記載の移動物体検出方法としたものであり、動き情報の内容を限定することで、正確な動き情報を得ることができるという作用を有する。
【００１２】
請求項５に記載の発明は、更新領域が、移動物体が移動する部分を分割した領域である請求項１ないし４のいずれか記載の移動物体検出方法としたものであり、更新領域を分割することで、背景画像の更新の処理負荷を軽減することができるという作用を有する。
【００１３】
請求項６に記載の発明は、外形テンプレートが、移動物体の種類、時刻及び天候条件を考慮し、複数種類作成される請求項１ないし５のいずれか記載の移動物体検出方法としたものであり、複数の外形テンプレートを用いることで、移動物体検出の処理負荷を軽減することが可能となるという作用を有する。
【００１４】
請求項７に記載の発明は、画像の特徴が、移動物体の種類及び距離から複数生成される請求項１ないし６に記載の移動物体検出方法としたものであり、画像の特徴を複数使用することで、移動物体の位置検出が正確に行なうことができるという作用を有する。
【００１５】
請求項８に記載の発明は、画像を入力する固定されたカメラと、入力した時間の異なる複数の画像から動き情報を求める動き検知手段と、前記動き情報を蓄積し、入力された動き情報と前記蓄積された動き情報を比較し、前記入力された動き情報が予め定められた第１の閾値以上となる場合は、前記入力された動き情報を削除する動き情報蓄積判断手段と、固定されたカメラより入力した画像から、予め基準となる背景画像を作成する基準画像作成手段と、前記動き情報から前記背景画像を更新する領域を求め、前記更新領域と前記背景画像との差分が予め定めた第２の閾値より小さい場合は前記背景画像を更新する背景画像更新手段と、前記更新した背景画像及び前記入力画像の差分画像を求める差分画像検出手段と、前記差分画像から前記移動物体が存在する領域である存在候補領域を、前記移動物体の外形矩形から生成した外形テンプレートとの比較により求める候補領域検出手段と、移動物体の種類、時刻及び天候条件を考慮し、複数種類作成された外形テンプレートが蓄積された外形データベースと、移動物体の種類及び距離から画像の特徴を予め複数生成し、蓄積した特徴データベースと前記存在候補領域内で移動物体の位置を、前記特徴データとの比較から検出する位置検出手段とを含む移動物体検出装置としたものであり、信頼性の高い背景画像を作成し、正確な移動物体の位置検出ができるという作用を有する。
【００１６】
以下、本発明の実施の形態について、図１から図６を用いて説明する。
【００１７】
（実施の形態１）
図１は、第１の実施の形態による移動物体検出装置を示している。
【００１８】
ここでは、１０１は、画像を入力する固定されたカメラを示し、１０２は、異なる時間に入力された２枚の入力画像から画像中の動きの方向や大きさなどを求める動き検知手段を示し、１０３は、入力された入力画像から基準となる背景画像を作成する基準画像作成手段を示し、１０４は、動き情報及び基準背景画像を基に、背景領域のみ背景画像を更新する背景画像更新手段を示し、１０５は、動き検知手段１０２で求めた動き情報を蓄積し、過去の動き情報から最新の動き情報の妥当性を判断する動き情報蓄積判断手段を示し、１０６は、入力画像及び更新された背景画像から、差分を求める差分画像検出手段を示し、１０７は、差分画像から移動物体が存在すると予想される探索領域を求める候補領域検出手段を示し、１０８は、天候及び時刻により変化する移動物体の外形を蓄積する外形テンプレートデータベースを示し、１０９は、候補領域検出手段１０７により検出された探索領域の中で、移動物体の位置を正確に求める位置検出手段を示し、１１０は、移動物体の種類及びカメラ１０１からの距離により変化する移動物体の特徴を蓄積する特徴データベースを示す。
【００１９】
以上のように構成された移動物体検出装置について、以下にその動作を説明する。
【００２０】
本発明の移動物体検出装置は、固定カメラ１０１により入力される画像から移動物体を検出する装置であるが、まず、基準となる背景画像を、入力画像から移動物体を削除することで、随時更新して作成する第１の処理と、背景画像及び入力画像から移動物体の外形を抽出し、移動物体の位置を検出する第２の処理から構成される。
【００２１】
まず、第１の処理について説明する。図２は、背景画像の作成手順を示すフローチャートである。
【００２２】
カメラ１０１は、路側などに固定設置され、道路、道路周辺の構造物及び道路上を走行する車両などが存在する画像を入力する。図３に、カメラ１０１から入力される画像を示す。２０１は移動物体を示す。カメラ１０１は、固定されているため、道路及び道路周辺の構造物が静止画像となり、道路上を走行する車両が移動物体２０１となる。
【００２３】
基準画像作成手段１０３は、基準となる背景画像の有無を判断し（Ｓ７０１）、カメラ１０１により入力された入力画像を読み込み、基準背景画像が保存されていない場合は、基準背景画像とする（Ｓ７０２）。通常は、装置の動作開始時のみ処理される。
【００２４】
ここで、予め移動物体２０１が存在しない状態、例えば、早朝などの交通量が少ない場合に、画像を撮影することで、正確な背景画像を容易に得ることができる。
【００２５】
動き検知手段１０２は、カメラ１０１により異なる時間に入力された複数枚の入力画像を入力し（Ｓ７０３）、画像中の動きの方向や大きさなどの動き情報を求める（Ｓ７０４）。ここで、動き情報を求める方式は、オプティカルフロー方式及びフレーム間差分方式などがある。
【００２６】
例えば、オプティカルフロー方式を用いると、動きの方向や大きさが検出される。一方、カメラ１０１は路側などに固定されているので、道路の形状、道路上を走行する車両の進行方向などは既知である。そこで、道路の進行方向に沿った方向であり、車両の走行速度に相当する大きさの動きのみを抽出することにより、有効な動き情報を正確に検知することが可能となる。
【００２７】
また、フレーム間差分方式では、フレーム単位での差分画像を求め、位置に伴う画像変化を考慮して、特定画像を追跡し、移動速度を算出することが可能となる。
【００２８】
動き情報蓄積判断手段１０５は、動き検知手段１０２により求めた動き情報には、誤りの情報が含まれていることも考えられるので、時間の異なる複数回の動き情報を動き情報蓄積手段により蓄積し、過去の動き情報との連続性が妥当であるかを判断し、動き情報が大幅に異なる場合は、動き情報の検出誤りと判断し、背景画像の更新しないとしても良い（Ｓ７０５）。
【００２９】
なお、蓄積した動き情報を基に、移動物体２０１数が多い場合は、更新間隔を短縮し、移動物体２０１数が少ない場合は、更新間隔を延長することで、更新の割合を制御することもできる。
【００３０】
これにより、動き情報の誤りにより、移動物体２０１を静止画像と判断し、背景画像に移動物体２０１が含まれてしまう状況を防ぐことが可能となる。
【００３１】
例えば、樹木などによる影が風などにより移動する場合は、余計な動きを検出してしまうので、変動領域の検出が困難になり正確な背景画像の作成が困難であるが、動き情報を蓄積することによりノイズである移動する樹木の影を排除し、正確な背景画像の作成が可能となる。
【００３２】
背景画像更新手段１０４は、動き検知手段１０２から入力される動き情報を伴う入力画像から静止部分を抽出し（Ｓ７０６）、背景画像と抽出された静止部分の差分値を、予め定められた閾値Ａと比較し（Ｓ７０７）、閾値Ａ以下であれば、背景画像を更新し（Ｓ７０８）、Ｓ７０３に戻り、背景画像の更新を継続する。
【００３３】
また、閾値Ａ以上である場合は、抽出された静止部分は、移動物体２０１を含む可能性があると判断し（Ｓ７０７）、再度、移動物体２０１の検出を行なう。
【００３４】
更に、閾値Ａよりも大きい予め定めた閾値Ｂとを比較することで、天候の変化により、晴天から夕立が発生し、画面の輝度が大幅に低下するなどの急激な環境変化を検知し（Ｓ７０９）、閾値Ｂ以上である場合は、環境が変化とした判断し、入力画像を背景画像として出力しても良い（Ｓ７１０）。これにより、処理時間が必要とされる背景画像の更新を省略することで、急激な環境変化が発生した場合においても、第２の処理における移動物体２０１の位置検出の精度を向上することができる。
【００３５】
ここで、背景領域として判断される領域は、画像中の道路の形状などを基に、図４に示すように、道路に沿った形状に分割する。これにより、画像中の移動物体２０１である走行車両を、領域毎に抽出することが可能となり、背景画像の更新を行なう場合は、領域を指定することで効率的な更新が可能となる。
【００３６】
また、領域の分割方法は、移動物体２０１の形状や動きの方向に合わせた領域の分割の仕方を選択することで、高精度な背景画像を出力することが可能となる。
【００３７】
図４では、２車線の道路の場合を示し、ＡからＦの６個の領域に分割している。ここで、移動物体２０１が領域Ｃに存在すると判定された場合は、残りの領域Ａ、Ｂ、Ｄ、Ｅ及びＦの５領域を静止画像として判断し、背景画像を更新する。
【００３８】
ここで、移動物体２０１が、樹木等の影の中に入った場合は、影がまだら模様になり領域分割が不安定になるので、変動領域の検出が困難になり正確な背景画像が作成されないが、検出対象に合わせてあらかじめ領域分割しておくことで悪影響を低減し、正確な背景画像の作成が可能となる。
【００３９】
次に、第２の処理について説明する。図５は移動物体２０１の検出及び位置判定を示すフローチャートである。
【００４０】
まず、カメラ１０１により画像が入力される（Ｓ８０１）。差分画像検出手段１０６は、カメラ１０１により撮影された入力画像と、背景画像更新手段１０４により更新された背景画像とから差分を求める。求めた差分を適当な閾値により２値化し、ノイズ除去処理などを施し、差分画像を作成する（Ｓ８０２）。このとき、道路領域以外の走行車両が存在し得ない領域などは無視することにより、誤検出を防ぐことが可能となる。
【００４１】
候補領域検出手段１０７は、差分画像検出手段１０６により作成された差分画像から、移動物体２０１の存在領域を求める。例えば、差分画像の２値化領域から実際の移動物体２０１を囲む最小の矩形である外接矩形を求め、予め作製した外形矩形の外形テンプレート５０１と比較することで、移動物体２０１の存在候補領域３０１を求めることができる。また、移動物体２０１の存在が予想できない場合は、Ｓ８０１に戻る（Ｓ８０３）。
【００４２】
ここで、外形テンプレート５０１の大きさは差分画像に合わせて、伸縮することで、画像の位置を問わずに検索することができる。更に、外形テンプレート５０１は、車種毎に外形テンプレートデータベース１０８に蓄積することで、車種の限定も可能となる（Ｓ８０４）。
【００４３】
ここで、外形テンプレートについて説明する。図６（ａ）は、移動物体２０１を示し、図６（ｂ）は、図６（ａ）の移動物体２０１の外形矩形から求めた外形テンプレート５０１を示し、図６（ｃ）は、移動物体２０１及び移動物体の影５０２を示し、図６（ｄ）は、図６（ｃ）の移動物体の影５０２及び移動物体２０１の外形矩形から求めた影を含む外形テンプレート５０３を示す。外形テンプレート５０１は車種毎のみでなく、天候及び時刻により外形矩形は変化するため、同一車種であっても、複数種類用意することにより、正確な探索を行なうことが可能となる。
【００４４】
位置検出手段１０９は、候補領域検出手段１０７により検出された存在候補領域３０１の中で、移動物体２０１の位置を精度良く求めて検出結果を出力する。
【００４５】
例えば、予め移動物体２０１の画像を、固有値分解による主因子分析を行い、固有値及び固有ベクトルにより再構成し、更に、十分小さい固有値の項を削除し、膨大な画像の次元を大幅に落とすことで画像の特徴抽出する固有空間法により、車種及び距離毎に移動物体２０１の特徴を分類し、特徴データとして特徴データベース１１０に保持する。
【００４６】
次に、差分画像の移動物体２０１の画像特徴を算出し、検出された存在候補領域３０１に適した特徴データと比較することで、車両の正確な位置検出ができる（Ｓ８０５）。
【００４７】
なお、以上の説明では、主に対象となる移動物体２０１が、道路上を走行する車両とした例で説明したが、その他の物体についても、状況設定を対象物体に適したものに変換することにより同様に実施可能である。
【００４８】
【発明の効果】
以上のように本発明によれば、信頼性の高い背景画像を作成することにより、例えば背景に樹木などの影が存在するような条件に置いても、正確な移動物体の位置を検出できるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明第１の実施の形態による移動物体検出装置を示す図
【図２】同第１の実施の形態による背景画像の作成手順を示すフローチャート
【図３】同第１の実施の形態による入力画像を示す図
【図４】同第１の実施の形態による存在候補領域を示す図
【図５】同第１の実施の形態による移動物体の位置検出手順を示すフローチャート
【図６】（ａ）同第１の実施の形態による移動物体を示す図
（ｂ）同第１の実施の形態による外形テンプレートを示す図
（ｃ）同第１の実施の形態による影を含む移動物体を示す図
（ｄ）同第１の実施の形態による影を含む外形テンプレートを示す図
【図７】従来の移動物体検出装置を示す図
【符号の説明】
１０１　カメラ
１０２　動き検知手段
１０３　基準画像作成手段
１０４　背景画像更新手段
１０５　動き情報蓄積判断手段
１０６　差分画像検出手段
１０７　候補領域検出手段
１０８　外形テンプレートデータベース
１０９　位置検出手段
１１０　特徴データベース
２０１　移動物体
３０１　存在候補領域
５０１　外形テンプレート
５０２　移動物体の影
５０３　影を含む外形テンプレート
【図１】
2004046501.tif 000003
【図２】
2004046501.tif 000004
【図３】
2004046501.tif 000005
【図４】
2004046501.tif 000006
【図５】
2004046501.tif 000007
【図６】
2004046501.tif 000008
【図７】
2004046501.tif 000009