(57)【要約】【課題】画像上で重なった移動物体同士を分割して認識する。【解決手段】複数の時系列画像と背景画像とが格納される画像記憶部と、時間を遡って画像処理を行う画像処理部とを備えている。該画像処理部は、（Ｓ２）該複数の時系列画像のうち時刻ｔの画像について、該背景画像と比較して移動物体を認識し、認識された該移動物体に識別符号を付与し、（Ｓ３）時刻ｔの画像に含まれる各移動物体の動きベクトルを求め、（Ｓ４）（ｔ−１）の画像に含まれる移動物体上の領域が識別符号Ｘを持っていると仮定して、該領域に対応した該時刻ｔでの画像上の領域を動きベクトルに基づき推定し、両領域の相関度を求め、複数の識別符号Ｘの各々について求めた相関度の大小関係に基づいて、該領域に付与すべき識別符号を決定することにより時刻（ｔ−１）の画像に含まれている非分離移動物体を分割する。【選択図】          図１
2010113732.tif 000002
【特許請求の範囲】
【請求項１】
複数の時系列画像が格納される画像記憶部と、
画像処理部とを有し、該画像処理部は、
（１）該複数の時系列画像のうち時刻ｔの画像と時刻（ｔ−１）の画像とのブロックマッチングにより、時刻（ｔ−１）の画像に含まれる移動物体の時刻ｔから時刻（ｔ−１）への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定し、
処理（１）を１回行い又は複数回繰り返して該移動物体を、時間を遡ってトラッキングすることにより、非分離移動物体を分割することを特徴とする移動物体認識装置。
【請求項２】
移動物体を撮像する電子カメラと、
該電子カメラで撮像された、複数の時系列画像が格納される画像記憶部と、
画像処理部とを有し、該画像処理部は、
（１）該複数の時系列画像のうち時刻ｔの画像と時刻（ｔ−１）の画像とのブロックマッチングにより、時刻（ｔ−１）の画像に含まれる移動物体の時刻ｔから時刻（ｔ−１）への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定し、
処理（１）を１回行い又は複数回繰り返して該移動物体を、時間を遡ってトラッキングすることにより、非分離移動物体を分割することを特徴とする移動物体認識装置。
【請求項３】
複数の時系列画像を処理する移動物体認識方法において、
（１）該複数の時系列画像のうち時刻ｔの画像と時刻（ｔ−１）の画像とのブロックマッチングにより、時刻（ｔ−１）の画像に含まれる移動物体の時刻ｔから時刻（ｔ−１）への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定し、
処理（１）を１回行い又は複数回繰り返して該移動物体を、時間を遡ってトラッキングすることにより、非分離移動物体を分割することを特徴とする移動物体認識方法。
【請求項４】
複数の時系列画像を処理するプログラムが記録されたコンピュータ読み取り可能な記録媒体において、該プログラムは、コンピュータに対し
（１）該複数の時系列画像のうち時刻ｔの画像と時刻（ｔ−１）の画像とのブロックマッチングにより、時刻（ｔ−１）の画像に含まれる移動物体の時刻ｔから時刻（ｔ−１）への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定させ、
処理（１）を１回行わせ又は複数回繰り返し行わせて該移動物体を、時間を遡ってトラッキングさせることにより、非分離移動物体を分割させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体認識方法及び装置に係り、特に非分離移動物体を分割してトラッキングする移動物体認識方法及び装置に関する。
【背景技術】
【０００２】
図６は、高速道路の上方に設置されたカメラの撮像画像である。
【０００３】
画像上で車両同士が頻繁に重なるので、画像処理により各車両をトラッキングするのが困難になる。この問題を解決するには、道路に沿って複数台のカメラを設置し、それらの画像を総合的に処理する必要がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１６１０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、カメラ及び画像処理装置を複数台備える必要があるので、コスト高になる。また、各カメラの撮影画像を関係付けて総合的に処理しなければならないので、処理が複雑になる。
【０００６】
本発明の目的は、簡単な構成で、画像上で重なった移動物体同士の動きベクトルがほぼ同一であってもこれらを分割して認識することが可能な移動物体認識方法及び装置を提供することにある。
【課題を解決するための手段】
【０００７】
例えば、図３に示すように、カメラの近くの移動物体は分離している。
【０００８】
そこで、本発明による移動物体認識装置の一態様では、複数の時系列画像が格納される画像記憶部と、時間を遡って画像処理を行う画像処理部とを備えている。該画像処理部は、
１）該複数の時系列画像のうち時刻ｔの画像と時刻（ｔ−１）の画像とのブロックマッチングにより、時刻（ｔ−１）の画像に含まれる移動物体の時刻ｔから時刻（ｔ−１）への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定し、
処理（１）を１回行い又は複数回繰り返して該移動物体を、時間を遡ってトラッキングすることにより、非分離移動物体を分割する。
【発明の効果】
【０００９】
この移動物体認識装置によれば、画像上で重なった移動物体同士の動きベクトルがほぼ同一であってもこれらを分割して認識することが可能となり、道路の長手方向に沿った広い範囲での移動物体をトラッキングすることが可能となる。したがって、道路に沿って複数組のカメラと画像処理装置とを備えてカメラ間の画像データを関連付け複雑な処理を行なう必要がなく、コストを低減することができる。
【００１０】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例に係る移動物体認識方法の処理手順を示すフローチャートである。
【図２】時系列画像に対する移動物体認識処理の説明図である。
【図３】道路中央線上方に設置されたカメラで撮像された時系列画像を模式的に示す図である。
【図４】分岐した道路での、カメラで撮像された時系列画像を模式的に示す図である。
【図５】道路の側方にカメラを設置して道路の長手方向に沿った広い範囲で移動物体を撮像した場合の時系列画像を模式的に示す図である。
【図６】高速道路の上方に設置されたカメラの撮像画像である。
【図７】本発明の実施例１に係る移動物体認識装置の概略ブロック図である。
【図８】図７中のＩＤ生成／消滅部での処理説明図である。
【図９】（Ａ）〜（Ｃ）は図７の移動物体更新部２７での処理説明図であって、それぞれ時刻ｔのオブジェクトマップ、時刻（ｔ−１）での移動物体の存在予測範囲及び時刻（ｔ−１）のオブジェクトマップである。
【図１０】（Ａ）及び（Ｂ）は、図７の移動物体更新部２７の処理の利点説明図であって、それぞれ時刻（ｔ−１）及び時刻ｔのオブジェクトマップを車両の画像と共に示す図である。
【図１１】図７中の不明ＩＤ決定部の入出力関係を模式的に示す図である。
【図１２】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。
【図１３】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。
【図１４】本発明の実施例２に係る移動物体認識装置の不明ＩＤ決定部での処理を示すフローチャートである。
【実施例１】
【００１２】
以下、図面を参照して本発明の実施例を説明する。
【００１３】
最初に、図３を参照して本実施例１の移動物体認識方法を概説する。図３は、カメラで撮像された時刻ｔ＝１〜４での画像を模式的に示す。
【００１４】
１台のカメラで道路１０の長手方向に沿った広い範囲を撮像して移動物体をトラッキングするために、カメラは道路１０の中央線上方に設置されている。このようにカメラを設置すると、移動物体が画像上で重なるというオクルージョンが頻繁に生ずる。図３では、時刻ｔ＝１〜３で車両Ｍ１とＭ２の像が重なっており、両者を区別してトラッキングすることができない。
【００１５】
しかし、時刻ｔ＝４の画像のように、車両Ｍ１とＭ２とがカメラに近づいたときには、両者が衝突していなければ車両Ｍ１とＭ２の像は分離する。
【００１６】
そこで、これら４フレームの時系列画像を一時記憶しておき、ｔ＝４から出発して車両Ｍ１とＭ２を識別し、車両Ｍ１とＭ２の動きベクトルを求め、この動きベクトルでｔ＝４の画像中の車両Ｍ１とＭ２を移動させて、車両Ｍ１とＭ２が識別されているｔ＝３の画像を想定し、これとｔ＝３の実際の画像との相関関係から、ｔ＝３の画像中の車両Ｍ１とＭ２を識別する。
【００１７】
次に、ｔ＝３とｔ＝２の画像について同様の処理により、ｔ＝２の画像中の車両Ｍ１とＭ２を識別する。次に、ｔ＝２とｔ＝１の画像について同様の処理により、ｔ＝１の画像中の車両Ｍ１とＭ２を識別する。
【００１８】
このような処理により、車両Ｍ１とＭ２とをトラッキングすることが可能となる。
【００１９】
図１は、この移動物体認識方法の処理手順を示すフローチャートである。図１では、ｎフレームの画像について、時間を逆上って移動物体をトラッキングする場合を示す。例えばｎ＝３６で毎秒１２フレームである。なお、移動物体が写っていない背景画像は、予め記憶装置に格納されている。
【００２０】
（Ｓ１）時刻ｔに初期値ｎを代入する。
【００２１】
（Ｓ２）ｔの画像と背景画像とを比較して、ｔの画像中の移動物体を認識し、認識された各移動物体に識別符号（ＩＤ）を付与する。
【００２２】
（Ｓ３）ｔの画像と、これと時間的に前又は後の画像とに基づいて、ＩＤが付与されたｔの画像中の移動物体の動きベクトルを求める。この時間的に前又は後の画像は、ｔ＝ｎとｔ＝ｎ＋１との間又はｔ＝ｎとｔ＝ｎ−１との間の、動きベクトルを求めるためだけの画像であってもよい。
【００２３】
（Ｓ４）ｔと（ｔ−１）の画像間の上述のような相関関係から、（ｔ−１）の画像中の移動物体のＩＤを決定する。
【００２４】
（Ｓ５）ｔ＞２であればステップＳ６へ進み、ｔ＝２であればｔ＝１〜ｎの時系列画像についての移動物体認識処理を終了する。
【００２５】
（Ｓ６）ｔの値を１だけデクリメントし、ステップＳ３へ戻る。
【００２６】
図２において、ｔ＝１〜ｎのＦ（１）〜Ｆ（ｎ）からなる時系列画像１に対し、図１の処理を行なう。次の時刻の画像Ｆ（ｎ＋１）を取得し、これを画像Ｆ（１）の記憶領域に格納する。そして、Ｆ（２）〜Ｆ（ｎ＋１）からなる時系列画像２をｔ＝１〜ｎの画像として、図１の処理を行なう。このような処理を繰り返して行う。
【００２７】
時系列画像２に対する処理において、画像Ｆ（２）〜Ｆ（ｎ）については、背景画像と比較して移動物体を認識する処理及び図１のステップＳ３での動きベクトルを求める処理が時系列画像１に対し既に行なわれているので、これらの処理を省略することができる。
【００２８】
本実施例１によれば、１組のカメラと画像処理装置とにより、道路の長手方向に沿った広い範囲での移動物体をトラッキングすることが可能となる。したがって、道路に沿って複数組のカメラと画像処理装置とを備えてカメラ間の画像データを関連付け複雑な処理を行なう必要がなく、コストを大幅に低減することができる。
【００２９】
図４は、道路１１がその一方側で道路１１ａと１１ｂとに分岐し他方側で道路１１ｃと１１ｄとに分岐している場合の時系列画像を模式的に示す。この場合、上述のトラッキングにより、車両Ｍ１とＭ２が道路１１ａと１１ｂのどちらから来て道路１１ｃと１１ｄのどちらへ行ったかを判別することができ、道路利用状況の交通情報を得ることができる。
【００３０】
図５は、道路１２の側方にカメラを設置して、道路１２の長手方向に沿った広い範囲で移動物体を撮像した場合の時系列画像を模式的に示す。この場合も、図３及び図４と同様に時間を逆上ることにより、移動物体をトラッキングすることが可能となる。
【００３１】
トラッキング結果は、画像上での移動物体の重なりのために従来できなかった交通違反の判別や交通事故の自動判定に利用することができる。例えば、車線変更禁止区域で車線を変更して図５に示すように車両Ｍ１がＭ２を追い越したことや、スピード違反を判定することが可能となる。
【００３２】
図１は、本発明の実施例１に係る移動物体認識装置の概略ブロック図である。
【００３３】
この装置は、移動物体が通る道路を撮像して画像信号を出力する電子カメラ１５と、その画像を処理して移動物体をトラッキングし交通違反を判定する画像処理装置２０と、交通違反検出時の画像を格納する外部記憶装置４０とを備えている。
【００３４】
電子カメラ１５からの画像信号は、デジタル化されており、ｎフレームの時系列画像が画像メモリ２１に一時記憶される。例えば、１／１２秒毎に１フレームの画像が画像メモリ２１に格納される。格納領域は、画像メモリ２１中の時系列画像の最も古い画像が記憶されている領域である。
【００３５】
背景画像生成部２２は、画像メモリ２１をアクセスし、例えば過去１０分間の全画像について、対応するピクセルの画素値のヒストグラムを作成し、その最頻値（モード）をそのピクセルの画素値とする画像を背景画像として生成し、画像メモリ２１内の所定領域に格納する。背景画像は、背景画像生成部２２により定期的に更新される。
【００３６】
トラッキング処理部２３は、メモリ２４内にオブジェクトマップを作成する。例えば、１フレームの画像が４８０×６４０ピクセルの場合、トラッキング処理部２３は、オブジェクトマップメモリ２４に、８×８ピクセルを１ブロックに対応させた６０×８０ブロックの情報を書き込む。トラッキング処理部２３は、時系列画像に移動物体が存在するかどうかをブロック単位で判断し、存在すれば、このブロックに移動物体ＩＤを付与する。あるブロックに移動物体が存在するかどうかは、オブジェクトマップに対応してフレーム画像に設定したブロックの各ピクセルと背景画像の対応するピクセルとの差の絶対値の総和が所定値以上であるかどうかにより判定する。移動物体が存在すると判定された隣接ブロックに同一ＩＤを付すことにより、該移動物体に対応したクラスタができる。図８は、図３のｔ＝４での画像に対応したオブジェクトマップであり、車両Ｍ１及びＭ２に対応してそれぞれＩＤ＝１及びＩＤ＝２が付与されている。
【００３７】
トラッキング処理部２３は、ＩＤ生成／消滅部２５、動きベクトル算出部２６、移動物体更新部２７及び不明ＩＤ決定部２８を備え、時間を遡って移動物体の軌跡を求め、これを軌跡メモリ２９に格納する。
【００３８】
交通違反判定部３０は、交通ルール記憶部３１に格納されたルールに基づいて、上述のように求めた軌跡がルール違反していないかどうかを判定し、違反していると判定した場合には画像メモリ２１に対し、違反時の時系列画像を外部記憶装置４０に格納させる。
【００３９】
ＩＤ生成／消滅部２５は、画像上の道路の出口側でＩＤを付与し、入り口側でＩＤを消滅させ、また、上述のオブジェクトマップを作成する。
【００４０】
動きベクトル算出部２６は、時刻ｔのオブジェクトマップ中のＩＤが付与された各ブロックについて、対応するｔの画像中のブロックと、時刻（ｔ−１）の画像中の、ピクセル単位で位置が可変のブロックとの間で、MPEGの符号化で用いられているブロックマッチングを適用して、ｔの画像中の該ブロックの動きベクトルを求める。動きベクトル算出部２６はさらに、クラスタ（移動物体）毎に、求めた複数の動きベクトルの代表値、例えばモード、メジアン又は平均値を、その移動物体の動きベクトルと推定し、これをＩＤと対応させて記憶する。代表値がメジアン又は平均値である場合には、中心分布から著しく離れる動きベクトルを除外した後に代表値を求めることにより、より正確な値を得るようにしてもよい。
【００４１】
動きベクトル算出部２６は、画像上欠落のある移動物体についても、その動きベクトルを推定する。
【００４２】
なお、MPEGでの動きベクトルは、データ圧縮のためのものであって、クラスタ単位の動きベクトルという概念はない。また、動きベクトルが小さい場合には、ブロックマッチングの他にオプティカルフローの推定も有用な手法として用いることができる。
【００４３】
ある移動物体に属するブロック内の各ピクセルの色がほぼ同一である場合、すなわちテクスチャの少ないブロックがクラスタに存在する場合、ブロックマッチングやオプティカルフローなどの手法により正確な動きベクトルを得ることができない。
【００４４】
そこで動きベクトル算出部２６は、このようなブロック、例えばそのブロック内の全画素値の散布度、例えば分散σ2、標準偏差σ、平均偏差ＭＤ、四分偏差ＱＤ、範囲Ｒ又はエントロピーなどが所定値以下であるブロックについては、動きベクトルを求めず、移動物体の動きベクトル推定に使用しない。この場合であっても、タイヤの部分のように色が一様でないブロック群が存在するので、動きベクトル算出部２６は移動物体の動きベクトルを推定することができる。
【００４５】
動きベクトルを求めるべきブロックであるかどうかを判断するのに、エッジ画像を利用することができる。すなわち、原画像に対しエッジ強調処理を行い、次いで２値画像に変換し、ブロック内に‘１’のエッジ画素の数が所定値以下であれば、動きベクトルを求めるのに適しないブロックと判定してもよい。エッジ強調画像は、原画像に１次微分オペレータ又はラプラシアンオペレータなどの２次微分オペレータをかけて簡単なフィルタ処理を行うことにより得られる。エッジ画像取得には、Sobel、Roberts又はPrewittなどの公知手法を用いてもよい。
【００４６】
次に、移動物体更新部２７での処理の具体例を、図９を参照して説明する。
【００４７】
（Ａ）移動物体更新部２７は、オブジェクトマップメモリ２４からｔのオブジェクトマップを読み込む。
【００４８】
（Ｂ）該オブジェクトマップ内でクラスタを−ＭＶ平行移動させる。ここにＭＶは、このクラスタの動きベクトルである。さらに、移動したクラスタの周囲を１ブロック外側まで拡大させる。
【００４９】
（Ｃ）拡大した範囲（太線で示す領域）内について、（ｔ−１）の画像に移動物体が存在するかどうかを、ブロック毎に判定することにより、（ｔ−１）のクラスタを決定する。
【００５０】
このようにすることにより、時刻ｔでカメラに分離して写っていた車同士が時刻（ｔ−１）で隣接し、その際にカメラと移動物体との間の距離及びアングルに依存してクラスタのブロック数や形が変化しても、両者を異なる車として認識することが可能になる。例えば図１０（Ａ）に示す１つのクラスタを２台の車として認識することができる。図１０中、濃部は移動体のブロックである。
【００５１】
移動物体更新部２７は、前記拡大範囲が移動物体間で重なった場合、重なったブロックがどの移動物体に属するかどうかが不明であるので、重なったブロックはＩＤ不明ブロックと判定する。
【００５２】
不明ＩＤ決定部２８は、以下のようにしてＩＤ不明ブロックの移動物体ＩＤを決定する。
【００５３】
図１１は、不明ＩＤ決定部２８の入出力関係を模式的に示す。
【００５４】
図１１中、Ｆ１及びＦ２はそれぞれ時刻ｔ及び（ｔ−１）での、図７の画像メモリ２１に格納されている画像の一部を概略的に示す。１つの枡目は１画素を表している。ＢＬ１ｔ及びＢＬ１（ｔ−１）はそれぞれ、時刻ｔ及び（ｔ−１）での移動物体Ｍ１の境界線であり。ＢＬ２（ｔ−１）は時刻（ｔ−１）での移動物体Ｍ２の境界線である。
【００５５】
Ｑ１及びＱ２はそれぞれ画像Ｆ１及びＦ２に対応した、図７のオブジェクトマップメモリ２４に格納されているオブジェクトマップの概略を示す図である。１つの枡目は１つのブロックを表している。オブジェクトマップは、移動体ＩＤを持っているブロックと持っていないブロックとからなる。図１１では理解を容易にするために、オブジェクトマップ中にも移動物体の境界線を太線で表している。オブジェクトマップＱ１及びＱ２中のハッチングは、ＩＤが付されたブロックであることを示している。右上がり斜線が付されたブロックはＩＤ＝１を持ち、右下がり斜線が付されたブロックはＩＤ＝２を持っている。
【００５６】
オブジェクトマップＱ２中のブロックＢ１、Ｂ２及びＢ３のいずれにも移動物体Ｍ１とＭ２の一部が含まれているので、移動物体更新部２７は、これらのブロックがいずれの移動物体に属するかを判定することができない。
【００５７】
不明ＩＤ決定部２８は、これら画像Ｆ１、Ｆ２、オブジェクトマップＱ１及びＱ２並びに移動物体Ｍ１及びＭ２の動きベクトルに基づき、ブロックＢ１、Ｂ２及びＢ３のＩＤを決定して、オブジェクトマップＱ３を得る。
【００５８】
以下、オブジェクトマップＱ２中のブロックＢ２が移動物体Ｍ１とＭ２のいずれに属するかを決定する方法を、具体的に説明する。この決定は、ブロックＢ２が移動物体Ｍ１であると仮定したときの評価値と、ブロックＢ２が移動物体Ｍ２であると仮定したときの評価値との大小関係に基づいて行なわれる。評価値は、以下の要素（１）〜（３）を含んでいる。
【００５９】
（１）時刻（ｔ−１）でのオブジェクトマップのみに関係した評価要素ＵＮ
ブロックＢ２と隣接する８ブロックについて、ＩＤ＝１を持ったブロックの数Ｎ１が多いほどブロックＢ２が移動物体Ｍ１のブロックである確度が高いと考えられる。そこで、ブロックＢ２のＩＤが１であることを評価する要素ＵＮ（１）を例えば次式で表す。
【００６０】
ＵＮ（１）＝α（Ｎ１−９）2
ここに、αは正の定数である。ブロックＢ１は仮定したＩＤ＝１を持っていると考える。Ｎ１は、ブロックＢ２とこれに隣接する８ブロックの合計９ブロックについてＩＤ＝１を持ったブロックの数である。ＵＮ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【００６１】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＮ（２）を次式で表す。
【００６２】
ＵＮ（２）＝α（Ｎ２−９）2
ブロックＢ２は仮定したＩＤ＝２を持っていると考える。Ｎ２は、ブロックＢ２とこれに隣接する８ブロックの合計９ブロックについてＩＤ＝２を持ったブロックの数である。
【００６３】
図１１の場合、ＵＮ（１）＝９α、ＵＮ（２）＝４９αである。したがって、オブジェクトマップＱ２のみから判断すると、ブロックＢ２は、ＩＤ＝１である確度が、ＩＤ＝２である確度よりも高いと言える。
【００６４】
（２）時刻ｔでのオブジェクトマップと移動物体の動きベクトルとに関係した評価要素ＵＳ
図１２（Ａ）は大略、図１１中のオブジェクトマップＱ１とＱ２とを重ね合わせ、かつ、ハッチングを削除したものである。ＭＶ１は移動物体Ｍ１の動きベクトルであり、点線はＢＬ１ｔを−ＭＶ１だけ平行移動させたものである。
【００６５】
図１２（Ｂ）に示す如く、ブロックＢ２をＭＶ１だけ平行移動させることにより、移動物体Ｍ１に固定された座標系から見て、時刻ｔでのブロックＢ２に対応すると推定される判定枠Ｂ２１が得られる。時刻（ｔ−１）でブロックＢ２に移動物体Ｍ１の一部と移動物体Ｍ２の一部とが含まれていても、時刻ｔで判定枠Ｂ２１には移動物体Ｍ２の一部が含まれていない場合があり、この場合、判定枠Ｂ２１内を見ることにより、ブロックＢ２がＩＤ＝１であるかどうかをより正確に推定することが可能となる。
【００６６】
判定枠Ｂ２１内の右上がり斜線部（ＩＤ＝１の部分）の面積Ｓ１が広いほど、ブロックＢ２がＩＤ＝１を持つことの確度が高くなると考えられる。
【００６７】
そこで、オブジェクトマップの各ブロックを、８×８の同一ＩＤアレイに拡大したマップを作成し、この拡大マップ上で、図１３（Ａ）に示す如く、ＩＤ＝１の画素の個数を数えることにより、斜線部面積Ｓ１を求める。図１３（Ａ）中の斜線部はＩＤ＝１の領域を示している。Ｓ１が６４であるとき、ＩＤ＝１である確度が最大となる。そこで、ブロックＢ２のＩＤが１であることを評価する要素ＵＳ（１）を例えば次式で表す。
【００６８】
ＵＳ（１）＝β（Ｓ１−６４）2
ここに、βは正の定数である。ＵＳ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【００６９】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＳ（２）を次式で表す。
【００７０】
ＵＳ（２）＝β（Ｓ２−６４）2
ここにＳ２は、図１３（Ａ）に示す如く、ブロックＢ２をＭＶ２だけ平行移動させて得られる判定枠Ｂ２２内のＩＤ＝２の個数（右下がり斜線部面積）である。ＭＶ２は、移動物体Ｍ２の動きベクトルである。
【００７１】
（３）時刻（ｔ−１）及びｔの画像と移動物体の動きベクトルとに関係した評価要素ＵＤ
図１２（Ｂ）のブロックＢ２と判定枠Ｂ２１とに対応した図１１の画像Ｆ２及びＦ１中の局所画像の相関が強いほど、ブロックＢ２がＩＤ＝１である確度が高いと言える。図１３（Ｂ）に示すＢ２Ｆ及びＢ２１Ｆはそれぞれ、図１２中のブロックＢ２及び判定枠Ｂ２１に対応した画像Ｆ２及びＦ１中の局所画像を示す。
【００７２】
ブロックＢ２のＩＤが１であることを評価する要素ＵＤ（１）を例えば次式で表す。
【００７３】
ＵＤ（１）＝γΣ｜Ｂ２１Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、γは正の定数であり，Ｂ２１Ｆ（ｉ，ｊ）及びＢ２Ｆ（ｉ，ｊ）はそれぞれ局所画像Ｂ２Ｆ及びＢ２１Ｆ内の第ｉ行第ｊ列の画素値であり、Σはｉ＝１〜８及びｊ＝１〜８についての総和（ブロック内全画素についての総和）を意味している。
【００７４】
ＵＤ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【００７５】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＤ（２）を次式で表す。
【００７６】
ＵＤ（１）＝γΣ｜Ｂ２２Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、Ｂ２２Ｆ（ｉ，ｊ）は局所画像Ｂ２２Ｆ内の第ｉ行第ｊ列の画素値であり、局所画像Ｂ２２Ｆは図１３（Ａ）中の判定枠Ｂ２２に対応した画像Ｆ１中の局所画像である。
【００７７】
不明ＩＤブロックのＩＤをより正確に推定するために、以上の（１）〜（３）を総合し、評価関数の値
Ｕ（１）＝ＵＮ（１）＋ＵＳ（１）＋ＵＤ（１）と、
Ｕ（２）＝ＵＮ（２）＋ＵＳ（２）＋ＵＤ（２）との大小関係に基づいて、ブロックＢ２のＩＤを決定する。すなわち、
Ｕ１２＝Ｕ（１）−Ｕ（２）の値が負であればＩＤ＝１と決定し、正であればＩＤ２＝２と決定する。Ｕ（１）及びＵ（２）の最小値はいずれも０である。Ｕ１２の値が小さいほど、ブロックＢ２がＩＤ＝１である確度が高くなる。
【００７８】
図１１のオブジェクトマップＱ２において、上記具体例ではブロックＢ１及びＢ３のＩＤを考慮しなかったが、実際には、ブロックＢ１、Ｂ２及びＢ３のＩＤを同時に仮定し、ブロックＢ１、Ｂ２及びＢ３の各々の評価関数の総和が最小となるように、ブロックＢ１、Ｂ２及びＢ３のＩＤを決定する。
【００７９】
この際、メトロポリス（Metropolis）アルゴリズム又はギッブスサンプラー（Gibbs Sampler）アルゴリズムなどの確率的緩和アルゴリズムを用いて最小値へ導く。また、評価値の極小値を最小値と間違えないようにすると共に、極小の谷から速く脱出するために、公知のシミュレーティッドアニーリング（Simulated Annealing）法を適用する。
【００８０】
これにより、複数のＩＤ不明ブロックのＩＤを、より正確かつ容易に決定することができる。
【００８１】
定数α、β及びγは、実際の画像を処理して、移動物体トラッキング成功率が高くなるように定められる。
【００８２】
本発明者らは、上記のような評価関数を用いることが適切であることを数学的に確かめた。すなわち、マルコフ・ランダム・フィールド（Markov Random Field）モデルを時空間画像に拡張して適用し、表現された画像のエネルギー分布を確率緩和過程により最適化した結果、上記結果評価関数の最小化と同一になった。この点は、後述する実施例２についても同様である。
【実施例２】
【００８３】
上記実施例１では、時刻（ｔ−１）でのＩＤ不明ブロックが、互いに接近し又は重なった移動物体Ｍ１又はＭ２に属すると仮定して評価関数の値の大小関係に基づき不明ＩＤを決定した。
【００８４】
しかし、１つのブロックに３以上の移動物体の一部が含まれる場合がある。また、多くの移動物体について、互いに接近しようとしている移動物体がどれであるかを判断しなければならない。
【００８５】
他方、評価要素ＵＳ及びＵＤはいずれも、時刻ｔと時刻（ｔ−１）での相関度が低いブロック間では値が大きく高いブロック間では値が小さい。これらの値を見るだけで上記のことを判断することができる。また、評価値の計算は容易である。
【００８６】
そこで、本発明の実施例２では、図７の不明ＩＤ決定部２８において、ＩＤ不明ブロックは、時刻ｔのオブジェクトマップに含まれる全てのＩＤ＝１〜ｍのいずれかを持つと考えて、評価関数の値の大小関係に基づき不明ＩＤを決定する。
【００８７】
時刻（ｔ−１）でのＩＤ不明ブロックを、ＢＫ１〜ＢＫｐで表し、ＩＤ不明ブロックＢＫｉのＩＤがＩＤｊ（１≦ＩＤｊ≦ｍ）であると仮定したときの、ＩＤ不明ブロックＢＫｉの上記評価関数Ｕ＝ＵＮ＋ＵＳ＋ＵＤの値をＵ（ＢＫｉ，ＩＤｊ）で表すと，次のようにしてＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤを決定する。
【００８８】
すなわち、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤをそれぞれＩＤ１〜ＩＤｐと仮定し、評価関数の値
Ｕｔ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）を計算する。この値が最小になるＩＤ１〜ＩＤｐを、繰り返し計算により求め、求めたものをＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤと決定する。この繰り返し計算において、上記確率的緩和アルゴリズム及びシミュレーティッドアニーリング法を適用する。
【００８９】
他の点は上記実施例１と同一である。
【００９０】
次に、図１４を参照して、メトロポリスアルゴリズムを用いて解を求める場合を説明する。
【００９１】
（Ｓ１）ＩＤ不明ブロックＢＫ１〜ＢＫｐの識別符号ＩＤ１〜ＩＤｐ及びその解ＩＩＤ１〜ＩＩＤｐに初期値ＩＤ１０〜ＩＤｐ０を与える。ｉ及びｊに初期値１を代入する（ｉ←１、ｊ←１）。Ｕｔの前回値ＵｔＢに、大きな初期値ＵｔＢmaxを与える。
【００９２】
（Ｓ２）評価関数の値
Ｕｔ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）
を計算する。
【００９３】
（Ｓ３、Ｓ４）Ｕｔ＜ＵｔＢであれば、ＩＩＤｉ←ＩＤｉ、ＵｔＢ←Ｕｔ。
【００９４】
（Ｓ５）ｊ←ｊ＋１
（Ｓ６、Ｓ７）ｊ≦ｍであればブロックＢＫｉのＩＤｉの値を更新してステップＳ２へ戻り、そうでなければ次のステップＳ６へ進む。
【００９５】
（Ｓ８）ＩＤｉ←ＩＩＤｉ、ｉ←ｉ＋１
（Ｓ９）ｉ≦ｐであればステップＳ２へ戻り、そうでなければ処理を終了する。
【００９６】
このようにして、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤがそれそれＩＩＤ１〜ＩＩＤｐと決定される。
【００９７】
理論的には、時刻（ｔ−１）での全ブロックをＩＤ不明ブロックとして上記計算により適正なＩＤを決定可能である。
【００９８】
なお、本発明には外にも種々の変形例が含まれる。
【００９９】
例えば、要求される処理速度によっては、図７の画像処理装置での全処理をコンピュータで実行することも可能である。
【０１００】
また、評価関数は上記３要素のうち少なくとも１つを含むものであればよい。各要素の上記関数は一例であり、推定の確度が上がるほど一方向に変化（単調変化）する種々の形のものを用いることができる。
【０１０１】
（付記１）  複数の時系列画像と背景画像とが格納される画像記憶部と、
画像処理部とを有し、該画像処理部は、
（１）該複数の時系列画像のうち時刻ｔの画像について、該背景画像と比較して移動物体を認識し、認識された該移動物体に識別符号を付与し、
（２）該時刻ｔの画像と、該時刻ｔより前の時刻（ｔ−１）の画像との相関関係から該時刻（ｔ−１）の画像に含まれる移動物体に識別符号を付与する、
ことにより該時刻（ｔ−１）の画像に含まれている非分離移動物体を分割することを特徴とする移動物体認識装置。
【０１０２】
（付記２）  上記画像処理部は、上記（２）の処理を繰り返すことにより上記移動物体をトラッキングすることを特徴とする付記１記載の移動物体認識装置。
【０１０３】
（付記３）  上記画像処理部は、上記トラッキングにより得られた軌跡が交通ルールに違反しているかどうかを判定することを特徴とする付記２記載の移動物体認識装置。
【０１０４】
（付記４）  上記画像処理部は、
（３）上記時刻（ｔ−１）の画像について、上記背景画像との比較により移動物体の存否を判定し、
上記（２）では、該時刻（ｔ−１）の画像中に移動物体が存在すると判定された各領域が、上記時刻ｔの画像中の移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該領域に付与すべき識別符号を決定する、
ことを特徴とする付記１記載の移動物体認識装置。
【０１０５】
（付記５）  上記画像処理部は、
（４）上記時刻ｔの画像に含まれる各移動物体の動きベクトルを求め、
上記（２）では、
上記時刻（ｔ−１）の画像に含まれる移動物体上の第１領域が識別符号Ｘを持っていると仮定して、該第１領域に対応した該時刻ｔでの画像上の第２領域を該動きベクトルに基づき推定し、
該第１領域と該第２領域との相関度を含む上記評価関数の値を求め、
複数の該識別符号Ｘの各々について求めた該評価関数の値の大小関係に基づいて、該第１領域に付与すべき識別符号を決定する、
ことを特徴とする付記４記載の移動物体認識装置。
【０１０６】
（付記６）  上記画像処理部は、
（５）上記時刻（ｔ−１）での画像を、複数ピクセルからなるブロックに分割し、
（６）移動物体を含む各ブロックに識別符号を仮りに付与し、
上記評価関数は、着目ブロックと隣接するブロックについて、該着目ブロックと同一識別符号のブロック数が多いほど、該着目ブロックが該同一識別符号を持つ確度が高くなる関数を含む、
ことを特徴とする付記５記載の移動物体認識装置。
【０１０７】
（付記７）  上記画像処理部は、上記（４）において、
上記時刻ｔの第１画像とこれと時間的に前又は後の第２画像とを、複数ピクセルからなるブロックに分割し、
移動物体の一部が含まれる各ブロックについて、互いに類似した該第１画像中のブロックの画像と該第２画像中のブロックの画像とを見つけて、該ブロックの動きベクトルを求め、
動きベクトルを持つ連続した複数のブロックの各動きベクトルの代表値を、この連続した複数のブロックに対応した移動物体の動きベクトルと決定する、
ことを特徴とする付記５記載の移動物体認識装置。
【０１０８】
（付記８）  移動物体を撮像する電子カメラと、
該電子カメラで撮像された、複数の時系列画像と背景画像とが格納される画像記憶部と、
画像処理部とを有し、該画像処理部は、
（１）該複数の時系列画像のうち時刻ｔの画像について、該背景画像と比較して移動物体を認識し、認識された該移動物体に識別符号を付与し、
（２）該時刻ｔの画像と、該時刻ｔより前の時刻（ｔ−１）の画像との相関関係から該時刻（ｔ−１）の画像に含まれる移動物体に識別符号を付与する、
ことにより該時刻（ｔ−１）の画像に含まれている非分離移動物体を分割することを特徴とする移動物体認識装置。
【０１０９】
（付記９）  複数の時系列画像を処理する移動物体認識方法において、
時刻ｔの画像について、背景画像と比較して移動物体を認識し、認識された該移動物体に識別符号を付与し、
該時刻ｔの画像と、該時刻ｔより前の時刻（ｔ−１）の画像との相関関係から該時刻（ｔ−１）の画像に含まれる移動物体に識別符号を付与する、
ことにより該時刻（ｔ−１）の画像に含まれている非分離移動物体を分割することを特徴とする移動物体認識方法。
【０１１０】
（付記１０）  複数の時系列画像を処理するプログラムが記録されたコンピュータ読み取り可能な記録媒体において、該プログラムは、
時刻ｔの画像について、背景画像と比較して移動物体を認識し、認識された該移動物体に識別符号を付与し、
該時刻ｔの画像と、該時刻ｔより前の時刻（ｔ−１）の画像との相関関係から該時刻（ｔ−１）の画像に含まれる移動物体に識別符号を付与する、
ことにより該時刻（ｔ−１）の画像に含まれている非分離移動物体を分割することを特徴とするコンピュータ読み取り可能な記録媒体。
【符号の説明】
【０１１１】
１０〜１２、１１ａ〜１１ｄ  道路
１５  電子カメラ
２０  画像処理装置
２１  画像メモリ
２２  背景画像生成部
２３  トラッキング処理部
２４  オブジェクトマップメモリ
２５  ＩＤ生成／消滅部
２６  動きベクトル算出部
２７  移動物体更新部
２８  不明ＩＤ決定部
２９  軌跡メモリ
３０  交通違反判定部
３１  交通ルール記憶部
４０  外部記憶装置
Ｍ１、Ｍ２  車両
【図１】
2010113732.tif 000003
【図２】
2010113732.tif 000004
【図３】
2010113732.tif 000005
【図４】
2010113732.tif 000006
【図５】
2010113732.tif 000007
【図６】
2010113732.tif 000008
【図７】
2010113732.tif 000009
【図８】
2010113732.tif 000010
【図９】
2010113732.tif 000011
【図１０】
2010113732.tif 000012
【図１１】
2010113732.tif 000013
【図１２】
2010113732.tif 000014
【図１３】
2010113732.tif 000015
【図１４】
2010113732.tif 000016
【手続補正書】
【提出日】平成22年2月16日(2010.2.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有し、該プログラムは該プロセッサに対し、
（１）該複数の時系列画像のうち時刻ｔの画像と時刻（ｔ−１）の画像とのブロックマッチングにより、該時刻（ｔ−１）の画像に含まれる移動物体の時刻ｔから時刻（ｔ−１）への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定し、
処理（１）を１回行い又は複数回繰り返して該移動物体を、時間を遡ってトラッキングすることにより、非分離移動物体を分割する、
移動物体認識装置であって、該プログラムは該プロセッサに対し、該時刻（ｔ−１）の画像に含まれる１つのブロックの移動物体識別符号を決定させる場合に、
該ブロックを、該時刻（ｔ−１）の画像上の複数の移動物体の動きベクトルのそれぞれに基づいて、該時刻ｔの画像上に移動させて得られる各領域ｉの該ブロックに対する相関の評価関数の値を、この領域への動きベクトルに対応する移動物体の識別符号ｉに関して求めさせ、該複数の移動物体のそれぞれについての該値のうち相対的な最適値に対応した移動物体識別符号を該ブロックに付与させる、
ことを特徴とする移動物体認識装置。
【請求項２】
時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有し、該プログラムは該プロセッサに対し、
（１）該複数の時系列画像のうち時刻ｔの画像と時刻（ｔ−１）の画像とのブロックマッチングにより、該時刻（ｔ−１）の画像に含まれる移動物体の時刻ｔから時刻（ｔ−１）への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定し、
処理（１）を１回行い又は複数回繰り返して該移動物体を、時間を遡ってトラッキングすることにより、非分離移動物体を分割する、
移動物体認識装置であって、該プログラムは該プロセッサに対し、該時刻（ｔ−１）の画像に含まれる複数のブロックの移動物体識別符号を決定させる場合に、該複数のブロックの各ブロックについて、
該ブロックを、該時刻（ｔ−１）の画像上の複数の移動物体の動きベクトルのそれぞれに基づいて、該時刻ｔの画像上に移動させて得られる各領域ｉの該ブロックに対する相関の評価関数の値を、この領域への動きベクトルに対応する移動物体の識別符号ｉに関して求めさせ、
該複数のブロックのそれぞれの該評価関数の値の総和が相対的な最適値となる移動物体識別符号を該複数のブロックのそれぞれに付与させる、
ことを特徴とする移動物体認識装置。
【請求項３】
該評価関数は、複数のサブ評価関数の和で表され、該領域ｉに含まれる移動物体識別符号ｉのブロック片の合計面積が大きいほど適値になる第１サブ評価関数を該複数のサブ評価関数の１つとして含む、
ことを特徴とする請求項１又は２に記載の移動物体認識装置。
【請求項４】
該評価関数は、複数のサブ評価関数の和で表され、該１つのブロックに含まれる画素の値と該領域ｉに含まれる対応する画素の値との差の絶対値の、該１つのブロックに含まれる各画素についての総和が小さいほど適値になる第２サブ評価関数を該複数のサブ評価関数の１つとして含む、
ことを特徴とする請求項１又は２に記載の移動物体認識装置。
【請求項５】
該評価関数は、該時刻（ｔ−１）の画像上の該１つのブロックの周囲のブロックに付与されている移動物体識別符号のうち、移動物体識別符号ｉのブロック数が多いほど適値になる第３サブ評価関数を該複数のサブ評価関数の１つとして含む、
ことを特徴とする請求項３又は４に記載の移動物体認識装置。
【請求項６】
該評価関数は、
該領域ｉに含まれる移動物体識別符号ｉのブロック片の合計面積が大きいほど適値になる第１サブ評価関数と、
該１つのブロックに含まれる画素の値と該領域ｉに含まれる対応する画素の値との差の絶対値の、該１つのブロックに含まれる各画素についての総和が小さいほど適値になる第２サブ評価関数と、
該時刻（ｔ−１）の画像上の該１つのブロックの周囲のブロックに付与されている移動物体識別符号のうち、移動物体識別符号ｉのブロック数が多いほど適値になる第３サブ評価関数と、
の和を含むことを特徴とする請求項１又は２に記載の移動物体認識装置。
【請求項７】
複数の時系列画像を処理するプログラムが記録されたコンピュータ読み取り可能な記録媒体において、該プログラムは、コンピュータに対し、
（１）該複数の時系列画像のうち時刻ｔの画像と時刻（ｔ−１）の画像とのブロックマッチングにより、時刻（ｔ−１）の画像に含まれる移動物体の時刻ｔから時刻（ｔ−１）への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定させ、
処理（１）を１回行わせ又は複数回繰り返し行わせて該移動物体を、時間を遡ってトラッキングさせることにより、非分離移動物体を分割させ、
該プログラムは、該コンピュータに対し、該時刻（ｔ−１）の画像に含まれる１つのブロックの移動物体識別符号を決定させる場合に、
該ブロックを、該時刻（ｔ−１）の画像上の複数の移動物体の動きベクトルのそれぞれに基づいて、該時刻ｔの画像上に移動させて得られる各領域ｉの該ブロックに対する相関の評価関数の値を、この領域への動きベクトルに対応する移動物体の識別符号に関して求めさせ、該複数の移動物体のそれぞれについての該値のうち相対的な最適値に対応した移動物体識別符号を該ブロックに付与させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項８】
複数の時系列画像を処理するプログラムが記録されたコンピュータ読み取り可能な記録媒体において、該プログラムは、コンピュータに対し、
（１）該複数の時系列画像のうち時刻ｔの画像と時刻（ｔ−１）の画像とのブロックマッチングにより、該時刻（ｔ−１）の画像に含まれる移動物体の時刻ｔから時刻（ｔ−１）への動きベクトルと移動物体識別符号とを、複数画素を含むブロック単位で決定させ、
処理（１）を１回行わせ又は複数回繰り返させて該移動物体を、時間を遡ってトラッキングさせることにより、非分離移動物体を分割させ、
該プログラムは、該コンピュータに対し、該時刻（ｔ−１）の画像に含まれる複数のブロックの移動物体識別符号を決定させる場合に、該複数のブロックの各ブロックについて、
該ブロックを、該時刻（ｔ−１）の画像上の複数の移動物体の動きベクトルのそれぞれに基づき、該時刻ｔの画像上に移動させて得られる各領域ｉの該ブロックに対する相関の評価関数の値を、この領域への動きベクトルに対応する移動物体の識別符号ｉに関して求めさせ、
該複数のブロックのそれぞれの該評価関数の値の総和が相対的な最適値となる移動物体識別符号を該複数のブロックのそれぞれに付与させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。