(57)【要約】【課題】予め設定した車両走行方向に沿った検出スリット部分の画素データについて時間経過による変化の検出を行い、変化した部分について線分検出を行って画像領域のどの部分が背景か或いはどの部分が車両か判定する方法であると、予め移動体の移動方向が決められていない場合は検知不能となるおそれがあった。【解決手段】平行して設定された複数の検出スリットから検出スリットに対応した画素情報を読み出して画素情報を画素単位で時系列に蓄積すると共に、蓄積した画素情報から背景色を算出してこの背景色と入力された画素情報を比較して背景色以外の検出スリットに対応する画素を検出し、検出スリットに対応する画素を複数のブロックに分割し、この得られたブロックと隣接するブロックの存在形態により移動体の有無を検出する。移動体の画素をブロック化し、ブロックの存在形態から移動体を推定し、移動方向が不定な移動体の検出を可能とする。【選択図】図１
2008008640.tif 000002
【特許請求の範囲】
【請求項１】
映像を入力する映像入力手段と、前記映像入力手段から入力された映像情報を画素情報として記憶する画素情報記憶手段と、入力された映像から移動体を検出する移動体検出手段と、検出結果を出力する検出結果出力手段を有する移動体検出装置において、前記移動体検出手段は、
前記画素情報記憶手段に記憶された画素情報のフレームに対して平行して設定された複数の検出スリットから前記検出スリットに対応した画素情報を読み出す画素読み出し部と、
前記画素読み出し部から読み出した画素情報を画素単位で時系列に保存する蓄積部と、
前記蓄積部で蓄積した画素情報から背景色を算出する背景色算出部と、
前記背景色算出部から算出された背景色と前記画素情報記憶手段からの画素情報を比較して背景色以外の前記検出スリットに対応する画素を検出する移動体画素検出部と、
前記移動体画素検出部から得られた前記検出スリットに対応する画素を複数のブロックに分割するブロック化部と、
前記ブロック化部によって得られたブロックと隣接するブロックの存在形態により移動体の有無を検出する移動体検出部
とより構成されていることを特徴とする移動体検出装置。
【請求項２】
請求項１において、前記移動体検出手段は前記検出スリット及びブロックの情報の変化から移動体が上下、左右もしくは接近・遠ざかりの三次元方向の移動を検知する移動方向検出部を備えていることを特徴とする移動体検出装置。
【請求項３】
請求項１において、前記移動体検知手段は隣接する複数ブロックをグループとしてまとめ、グループ単位で移動体の検出を行う複数画面移動体検出部を備えていることを特徴とする移動体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば道路における自動車の走行状態の監視システムや鉄道車両の線路、踏切における監視システム等に使用される移動体検出装置に係り、特にＴＶカメラ等により入力された映像情報の背景画像から移動体を抽出するのに好適な移動体検出装置に関するものである。
尚、本発明では上記したシステム以外にも駐車場の監視システムのようなシステムにも本発明になる移動体検出装置は適用可能であるが、説明の都合で自動車の走行状態の監視システムに適用した例を説明する。
【背景技術】
【０００２】
道路における自動車の走行状態の監視システムにおいてはＴＶカメラ等により入力された映像情報から移動体を抽出する移動体検出装置が設けられている。
【０００３】
例えば、特許文献１には移動体の検出方法として、従来提案されていた画像領域全体について時間経過毎の変化を調べる方法では大規模な演算が必要であり、背景及び個々の車両の領域を自動的かつ安定に判定して分離／検知することは困難であるという理由から、画像領域のうちで予め設定した車両走行方向に沿った検出スリット部分の画素データについて時間経過による変化の検出を行い、変化した部分について線分検出を行って画像領域のどの部分が背景か或いはどの部分が車両か、及び画像上での移動量を判定して個々の車両毎に別々の画像として重畳してゆき車両毎に分離して抽出できるようにした技術が開示されている。
【特許文献１】特開平５−１１２１９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の移動体の検出方法では画像領域のうちで予め設定した車両走行方向に沿った検出スリット部分の画素データについて時間経過による変化の検出を行い、変化した部分について線分検出を行って画像領域のどの部分が背景か或いはどの部分が車両か判定する方法であるため、検出スリットを車両走行方向に沿ったスリットとしなければならず予め移動体の移動方向が決められていない場合は検知不能となるおそれがあった。
本発明の目的は移動方向が不定な移動体であっても正確に移動体を検出することができる移動体検出装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の特徴は、画素情報記憶手段に記憶された画素情報のフレームに対して平行して設定された複数の検出スリットから前記検出スリットに対応した画素情報を読み出す画素読み出し部と、画素読み出し部から読み出した画素情報を画素単位で時系列に保存する蓄積部と、蓄積部で蓄積した画素情報から背景色を算出する背景色算出部と、背景色算出部から算出された背景色と画素情報記憶手段からの画素情報を比較して背景色以外の前記検出スリットに対応する画素を検出する移動体画素検出部と、移動体画素検出部から得られた前記検出スリットに対応する画素を複数のブロックに分割するブロック化部と、ブロック化部によって得られたブロックと隣接するブロックの存在形態により移動体の有無を検出する移動体検出部とより構成されていることを特徴とする。
【発明の効果】
【０００６】
上記した本発明によれば、移動体の画素をブロック化し、ブロックの存在形態から移動体を推定するため移動方向が不定な移動体の検出が可能となるものである。
【発明を実施するための最良の形態】
【０００７】
次に本発明の代表的な実施例を図面に基づき以下詳細に説明する。
図１に記載のブロック図は本発明になる移動体検出装置の機能を示しているが、実際にはこれらはコンピュータのソフトウエアプログラムによってこれらの機能が実行されるものである。
【０００８】
ＴＶカメラ等よりなる映像入力手段１０１は監視対象となる車両走行状態の情景を撮影し、これを映像信号に変換して移動体検出装置１００に送る。移動体検出装置１００では映像信号を毎秒２５枚から３０枚程度の静止画像としてフレーム化し、このフレーム毎に静止画像はデジタル化されて移動体検出装置１００内のメモリに格納される。
【０００９】
移動体検出装置１００ではそのメモリ内容を読みとり、メモリ内の別のアドレスに格納された処理プログラムに従って、フレーム画像上の画素が背景であるか移動体であるかの判定と、移動物体の切り出し、運動方向・速度の推定を行う。抽出された移動物体の画像とそれに付随する他の処理結果等はディスプレ等よりなる結果出力手段１０８に伝送される。
【００１０】
結果出力手段１０８は移動体検出装置１００で処理された背景画像や移動体の画像、運動方向、速度を画面上に出力するものである。
そして、上記した移動体検出装置１００は画像メモリ１０２、蓄積メモリ１０３、背景色決定手段１０４、移動体画素検出手段１０５、ブロック化手段１０６及び移動体検出手段１０７等より構成されている。ここで、移動体検出装置１００はフレーム毎にデジタル画像データに変換して得られた映像情報を記憶する機能を有している。
【００１１】
また、蓄積メモリ１０３は画像メモリ１０２のひとつのフレーム上で設定された検出スリットによって読み出された画素情報を時系列で記憶する機能を有している。尚、時系列で記憶するとは映像信号を毎秒２５枚から３０枚の静止画像とし、所定の時間間隔でこの静止画像を記憶、管理することを意味する。
【００１２】
ここで、フレーム上で設定された検出スリットは図３に示してあるようにフレーム３０１で複数の検出スリット３０３（ここでは１３個の検出スリット）が設定されており、蓄積メモリ１０３にはフレーム上で１３個の検出スリット３０３の画素情報が記憶されることになる。上述した通り、この１３個の検出スリット３０３の画素情報は蓄積メモリ１０３に時系列で記憶されるが、自動車の画像３０２以外は背景として記憶されることになる。
【００１３】
背景色決定手段１０４は蓄積メモリ１０３の画素データから背景色を決定する機能を有しており、これは時間的に濃度変化のない画素は背景色として処理するといった公知の背景色決定方法を用いることで実現できる。
【００１４】
移動体画素検出手段１０５は画像メモリ１０２からの画素データと背景色決定手段１０４からの画素データを比較することにより移動体の画素を検出する機能を有しており、これも背景との差分画像の論理和をとるといった公知の画素検出方法を用いることで実現できる。
【００１５】
ブロック化手段１０６は移動体として検出された複数の画素をブロック単位の画素として管理する機能を有している。このブロック化という概念は図４に示されているように検出スリット３０３で検出された画素のうち複数の画素が連続したものをブロックとして定義している。ブロックを構成する画素数は検出スリット３０３で抽出された画素によってそれぞれ異なっており、１本のスリット上には１個以上のブロックが存在するものである。このように、移動体として検出された画素はブロック化手段１０６により複数画素をブロックとしてまとめられる。
【００１６】
移動体検出手段１０７はブロック化された画素の存在形態によって移動体の存在を推定して移動体の検出をおこなう機能を有している。すなわち、図５に示されているように検出スリットの画素に上下、左右、右上・右下、左上・左下の８方向に連続した移動体をあらわす画素が存在するかどうかを判断して移動体の検出を行なうものである。
【００１７】
以上のような移動体検出装置１００は実際にはコンピュータプログラムによってその機能を実行されるものであり図２に基づきそのフローチャートを説明する。
まず、映像入力手段１０１から入力された動画映像はステップ１(以下ステップをＳと表記して説明する)で静止画としてデジタル化して時系列で画像メモリ１０２に読み込まれて記憶される。
【００１８】
次に、Ｓ２において画像メモリ１０２に記憶された画像は図３に示されているように複数の検出スリット３０３によって予め設定された位置にある画素情報が読み出され、Ｓ３に進んでこの複数のスリットの画素情報が蓄積メモリ１０３に保存される。この蓄積メモリ１０３は先に説明した通り時系列の画素情報が記憶されているものである。
【００１９】
Ｓ３で複数の検出スリット３０３の画素情報が記憶されると、次にS４に進んで検出スリット３０３の各スリットＳＬ１〜ＳＬ１３までの画素毎の背景色を決定する。この背景色は時系列な画素情報から濃度変化がない画素については背景色として設定するものである。そしてこの場合検出スリット３０３のＳＬ１から背景色の決定が開始される。
【００２０】
Ｓ４で検出スリット３０３のＳＬ１の背景色が決定されると、次にＳ５に進み画素単位で移動体の画素の存在を検出するが、移動体の画素の検出は画像メモリの画素データと背景色の画素データを比較して背景との差分画像の論理和をとるといった方法を用いることで実現できる。
【００２１】
Ｓ４及びＳ５で検出スリット３０３のＳＬ１の背景色の決定、移動体画素の検出が終了すると、Ｓ６に進んでＳＬ２〜ＳＬ１３までのすべての検出スリット３０３についてＳ４及びＳ５で背景色の決定、移動体画素の検出を実行する。
【００２２】
すべての検出スリット３０３について画素の処理が実行されるとＳ７に進んで検出スリットのブロック化を実行する。ここで、図４に基づきこのブロック化について説明する。
図４にある通り、検出スリット３０３は複数の画素が連続して配置されており、ブロックはこの連続した複数画素を一まとめにしたものとして定義してある。ブロックを構成する画素数は検出スリット３０３で抽出された画素によってそれぞれ異なっており、１本のスリット上には１個以上のブロックが存在するものである。このように、移動体として検出された画素はブロック化手段１０６により複数画素をブロックとしてまとめられる。
【００２３】
Ｓ７ですべての検出スリット３０３のブロック化が完了するとＳ８に進んでブロック化された画素に基づいて移動体の検出を実行する。ここで、図５に基づきこの移動体の検出方法について説明する。
図５は隣接するブロックの関連付けを示した図であり、移動体として検出したブロック５０１に対して上下、左右、右上・右下、左上・左下の周囲８方向に隣接する移動体があるかどうかで移動体の検出を行うものである。
【００２４】
（ａ）に示す事例はブロック５０１に対して縦方向にブロック５０２が隣接して存在している場合を示し、（ｂ）に示す事例はブロック５０１に対して横方向にブロック５０２が隣接して存在している場合を示し、（ｃ）に示す事例はブロック５０１に対して斜め方向にブロック５０２が隣接して存在している場合を示している。これらの場合はブロック５０１とブロック５０２は一つの移動体として検知されるものである。
【００２５】
一方、（ｄ）に示す事例はブロック５０１に対してブロック５０３が隣接して存在していない場合を示し、移動体として検出したブロック５０３はブロック５０１に対し隣接していないため、ブロック５０１とブロック５０３は別々の移動体として検知されるものである。
このように、ブロック単位の移動体は隣接するブロックが同じ移動体である場合は一つの移動体として検知される。
【００２６】
Ｓ８で移動体が検出されるとS９に進み、検知した移動体の情報は画像メモリ１０２にある入力画像と合成され、結果出力手段１０８によりそれぞれの画像が重畳して出力される。
このように、移動体の画素をブロック化し、ブロックの存在形態から移動体を推定するため移動方向が不定な移動体の検出が可能となるものである。
【００２７】
次に移動体の移動方向の検出方法について説明する。
図６は上記した実施例で説明した移動体検出結果から移動体の移動方向を検出する方法のフローチャートであり、Ｓ１０で移動体の検出結果を取り込み、Ｓ１１に進んでこの検出結果である移動体情報を蓄積メモリ１０３に保存し、更にＳ１２に進んで移動方向の検出を実行する。Ｓ１２で実行される移動方向の検出方法としては図７に示す蓄積メモリ１０３に形成されたテーブル７０１から移動方向が推定される。
【００２８】
図７において、移動体情報は画面左上の位置に対するスリットの位置およびこのスリットに形成されたブロックの位置と、移動体の大きさを示すスリット数およびブロック数を時系列にテーブル７０１に保存する。
【００２９】
Ｓ１２での移動方向の検出ではテーブル７０１から読み出された各情報値の時系列の情報値変化を調べて、（ａ）のように時間(t)が経過するにつれて値が小さくなる場合、もしくは(ｂ)のように時間(t)が経過するにつれて値が大きくなる場合は移動体が画面に対し上下、左右もしくは接近、遠ざかる状態であると推定する。
【００３０】
また、(ｃ)のように時間(t)が経過につれて情報値は振動状態で変化するがその変化は大きくなく、一定の範囲内で変化する場合は例えば風に揺られる木の枝のような移動体であると推定する。したがって、この場合は検出目標とする移動体ではないとして処理を行なう。
【００３１】
図８はＳ１２で実行される移動体の移動方向の推定例を説明した図であり、時系列の上記した情報値から移動前の移動体８０１と移動後の移動体８０２の状態変化により移動方向が推定される。
【００３２】
(a)に示した左移動の場合は、テーブル７０１に保存される移動体情報は左上スリット位置の値が減少し、その他の項目の値は変化しないという状態になる。
【００３３】
(b)に示した上方移動の場合は、テーブル７０１に保存される移動体情報は左上ブロック位置の値が減少し、その他の項目の値は変化しないという状態になる。
【００３４】
(c)に示した接近の場合は、テーブル７０１に保存される移動体情報は左上スリット位置および左上ブロック位置の値が減少し、スリット数およびブロック数の値は増加するという状態になる。
このようにテーブル７０１の各情報値の時系列的な変化から移動体の移動方向が推定されて移動方向が検出されるようになる。
【００３５】
次に複数の入力映像を使用する場合の例を簡単に説明する。図９において、入力映像９０１は映像１〜映像４までの４つの映像を２×２のマス目に連結した映像であり、移動体検出装置は入力映像９０１の４つの映像にあわせてブロック化しこのブロックをグループ化してグループ毎に移動体検出処理を行うことにより、映像を連結してもこの連結に影響されない移動体の検出を実現することができる。
【００３６】
図１０は上記したブロックのグループ化を説明したものである。複数のブロック１００１をグループ１００２にまとめるが、この時に入力映像９０１中の連結した境界にあわせてグループ化を行い、グループ毎に移動体検出処理を行うことができる。
以上述べたように、本実施例によれば移動方向が不定な移動体の検知が可能となり、さらに移動体の三次元方向の移動を検知することが可能となるものである。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施例なる移動体検出装置のブロック図である。
【図２】移動体検出装置の動作フローチャート図である。
【図３】フレームにおける検出スリットの設定状態を示した図である。
【図４】スリットをブロックに分割する例を説明する図である。
【図５】ブロックの集合状態から移動体の検出を行なう例を説明する図である。
【図６】移動体の移動方向検出方法の動作フローチャート図である。
【図７】移動体の移動方向の検出方法を説明する図である。
【図８】移動体の移動例を説明する図である。
【図９】複数映像を連結した入力映像を説明する図である。
【図１０】ブロックのグループ化を説明する図である。
【符号の説明】
【００３８】
１００…移動体検出装置、１０１…映像入力手段、１０２…画像メモリ、１０３…蓄積メモリ、１０４…背景色決定手段、１０５…移動体画素検出手段、１０６…ブロック化手段、１０７…移動体検出手段１０７、１０８…結果出力手段、３０１…フレーム、３０２…移動体、３０３…スリット、５０１、５０２、５０３…ブロック。
【図１】
2008008640.tif 000003
【図２】
2008008640.tif 000004
【図３】
2008008640.tif 000005
【図４】
2008008640.tif 000006
【図５】
2008008640.tif 000007
【図６】
2008008640.tif 000008
【図７】
2008008640.tif 000009
【図８】
2008008640.tif 000010
【図９】
2008008640.tif 000011
【図１０】
2008008640.tif 000012