(57)【特許請求の範囲】
【請求項１】
撮像手段により得られる画像信号に基づいて画像中の物体を検出し追跡する物体追跡方法において、
本来一つの物体が複数に分裂して検出されたか否かを判定する分裂判定ステップと、
当該分裂判定ステップによって分裂して検出されたと判定された複数の物体を一つの物体として補正する分裂補正ステップとを備え、
前記分裂判定ステップは、分裂後の各物体同士の距離が所定の物体の大きさより小さく、かつ、分裂後の各物体の面積の総和が分裂前の物体の面積より小さく、かつ、所定時間経過後に再び１つの物体として検出された場合に、本来一つの物体が複数に分裂して検出されたと判定する、
ことを特徴とする物体追跡方法。
【請求項２】
撮像手段により得られる画像信号に基づいて画像中の物体を検出し追跡する物体追跡方法において、
本来複数の物体が一つに連結して検出されたか否かを判定する連結判定ステップと、
当該連結判定ステップによって連結して検出されたと判定された一つの物体を複数の物体として補正する連結補正ステップとを備え、
前記連結判定ステップは、連結前の各物体同士の距離が所定の物体の大きさより大きく、かつ、連結前の各物体の面積の総和が連結後の物体の面積より大きく、かつ、所定時間経過後に再び複数の物体として検出された場合に、本来複数の物体が一つに連結して検出されたと判定する、
ことを特徴とする物体追跡方法。
【請求項３】
撮像手段により得られる画像信号に基づいて画像中の物体を検出し追跡する物体追跡装置において、
本来一つの物体が複数に分裂して検出されたか否かを判定する分裂判定手段と、
当該分裂判定手段によって分裂して検出されたと判定された複数の物体を一つの物体として補正する分裂補正手段とを備え、
前記分裂判定手段は、分裂後の各物体同士の距離が所定の物体の大きさより小さく、かつ、分裂後の各物体の面積の総和が分裂前の物体の面積より小さく、かつ、所定時間経過後に再び１つの物体として検出された場合に、本来一つの物体が複数に分裂して検出されたと判定する、
ことを特徴とする物体追跡装置。
【請求項４】
撮像手段により得られる画像信号に基づいて画像中の物体を検出し追跡する物体追跡装置において、
本来複数の物体が一つに連結して検出されたか否かを判定する連結判定手段と、
当該連結判定手段によって連結して検出されたと判定された一つの物体を複数の物体として補正する連結補正手段とを備え、
前記連結判定手段は、連結前の各物体同士の距離が所定の物体の大きさより大きく、かつ、連結前の各物体の面積の総和が連結後の物体の面積より大きく、かつ、所定時間経過後に再び複数の物体として検出された場合に、本来複数の物体が一つに連結して検出されたと判定する、
ことを特徴とする物体追跡装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビジョンカメラを用いた監視装置に係り、テレビジョンカメラの撮像視野内に侵入した複数の物体を、該テレビジョンカメラの映像信号の中から自動的に検出し、該検出物体の動きを自動的に追尾するようにした物体追跡方法及び物体追跡監視装置に関する。
【０００２】
【従来の技術】
テレビジョンカメラ（以下ＴＶカメラと呼ぶ）を用いた映像監視装置は、従来より広く用いられている。しかし、近年、このような監視システムにおいて、その監視視野内に入り込んでくる人間や自動車などの移動物体の検出及び追跡を、画像モニタ面での有人監視によるのではなく、画像信号から自動的に検出し、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
【０００３】
このようなシステムを実現するためには、まず、ＴＶカメラより得られた入力画像信号と基準背景画像、すなわち、検出すべき物体の写っていない画像信号とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出する。この方法は、差分法と呼ばれ、従来より広く用いられている。この方法の応用例としては、例えば、特開平０９−７３５４１号公報に記載されている。差分法の処理を図７を用いて説明する。まず、ＴＶカメラにより得られた入力画像701と予め登録してある基準背景画像702との画素毎の差分を計算し差分画像703を得る。次にその差分画像の画素値が所定のしきい値未満の画素を“０”、しきい値以上の画素を“２５５”（１画素が８ビットであると仮定）として二値化画像704を得る。これによって、入力画像701に写った人型の物体は、二値化画像704中の画像Ｄ01として検出される。
【０００４】
検出物体の自動追跡は、差分法による物体の検出を逐次的に行い、各時刻毎の検出物体の画像上の位置に基づき対象物体の動きを求めることにより行う。図８を用いて自動追跡原理を説明する。図８において、801は時刻ｔ0での二値化画像で、802は時刻ｔ0+1での二値化画像、803は時刻ｔ0+2での二値化画像を表す。また804は、前記二値化画像801，802，および803のすべての検出物体と重心位置を、説明のため同時に表したものであり、805は前記画像804の検出物体の重心位置を点として表したものである。図８の時刻ｔ0、ｔ0+1、ｔ0+2のそれぞれの時刻で得られた二値化画像801，802，803において、それぞれの時刻で検出物体Ｄ02，Ｄ03，Ｄ04の位置で物体が検出できたとき、この物体の動きは画像804におけるそれぞれの時刻の検出物体Ｄ02，Ｄ03，Ｄ04のそれぞれの重心Ｃ01，Ｃ02，Ｃ03を結んだ矢印Ｖ01，Ｖ02で表される。
【０００５】
ここで、重心は式(1)より求めることができる。重心Ｃは、ｆ（ｘ，ｙ）を差分の二値化画像（しきい値以上を“２５５”、未満を“０”）として、
【０００６】
【数１】
0003657116.tif 000002
【０００７】
と定義される。ただし［Ｂ］は、［Ｂ］=｛（ｘ，ｙ）｜ｆ（ｘ，ｙ）=２５５｝となる画素数である。
【０００８】
この差分法では、背景画像に近い輝度値を持つ物体を検出した場合は、一部が欠けたり、分裂して複数の物体として検出されることがある。従って差分法を用いた物体の追跡法では、視野内の一つの物体が複数の物体として検出された場合に、検出された数だけ物体が存在するものと判断し、一つの物体であるにも関わらず複数の物体があるものとして追跡してしまう。また、差分法では見かけ上繋がって写る物体は一つの物体として検出される。従って、視野内に複数の物体が存在したとき、複数の物体が、ある時刻で繋がって写った場合には、その時刻では物体が一つしかないものと判断してしまうため、複数の物体が存在するにも関わらず一つの物体として追跡してしまう。また、画像の形状や画像パターンを比較して追跡していないため、検出物体が複数存在した場合、同一の対象を追跡していることを確実に保証することはできない。
【０００９】
検出物体の位置変化を基にした追跡法の応用例としては、例えば、１９８９年１２月発行、“テレビジョン学会誌”、Vol.43, No.12, pp.1370-1374に記載の、「スキーヤの動きの画像処理的解析」と題する論文がある。該論文では、矢印Ｖ01，Ｖ02を求める際に、数フレーム過去の検出位置の変化から物体の進行方向を推測し、接続すべき重心の選択範囲を制限することで複数の検出物体が存在する場面でも追跡を行なえるようにしている。しかし、この方法では一時的に分裂した物体や、複数の物体が並走するような場合には正確に物体を追跡することができない。
【００１０】
【発明が解決しようとする課題】
前述のように従来より広く用いられている差分法では、検出される物体がカメラ視野内の背景画像に近い輝度値を持つと物体が分裂して検出されるという問題と、複数の物体が存在しそれらが繋がって写る場合に正確な物体追跡が行なえないという問題があった。
【００１１】
本発明の第１の目的は、上記のような欠点を除去し、一つの物体が分裂したという判断と、複数の物体が存在していてそれらが繋がったという判断を行なうようにした信頼性の高い物体追跡監視装置を提供することにある。
【００１２】
また本発明の第２の目的は、１つの物体が分裂して検出された場合でも正確な物体の位置を推定し、複数の検出物体が繋がって検出された場合でもそれぞれの物体の正確な位置を推定し、それぞれの物体の追跡経路を検出することができる物体追跡監視装置を提供することにある。
【００１３】
また本発明の第３の目的は、１つの物体が分裂して検出されても、複数の物体が繋がって検出されても、その時刻の前後の検出状態からそれぞれの追跡経路を補正し物体を正確に追跡するように判断することができる物体追跡監視装置を提供することにある。
【００１４】
また本発明の第４の目的は、物体が複数存在しても同一の対象を追跡していることを保証する物体追跡監視装置を提供することにある。
【００１５】
【課題を解決するための手段】
本発明は上記の目的を達成するために、検出した物体の数の変化を求め、その検出状態の変化から物体の分裂や連結を検出するようにしたものである。
【００１６】
このため本発明は、入力画像信号中の物体を検出するステップと、連続したフレームでの検出物体の数の変化を求める物体数変化検出ステップと、検出した物体数変化から物体の検出状態変化を分類する検出状態変化分類ステップとを設け、物体の状態変化を分類することによって上記物体の分裂、連結かの判定を行なうようにしたものである。
【００１７】
更に、前記の検出状態変化から各時刻毎に検出した物体の位置の変化と検出した領域の面積の変化を表す接続情報を作成する接続情報作成ステップと、不定長の可変時間内での検出位置変化を評価することで物体の軌跡を推定する軌跡推定ステップとを設け、検出物体を追跡することにより、長時間内での物体の検出位置変化を評価することでより正確な物体追跡を実現したものである。
【００１８】
更にまた、前述の接続情報から物体検出時に一つの物体が複数に分裂して検出されたことを判定する分裂判定ステップと、分裂と判定された物体の複数の検出領域を一つに補正する分裂補正ステップとを設けて検出物体の追跡を行うことにより、一時的に一つの物体が分裂して複数の物体として検出されてもその物体は一つの物体であるように補正したものである。
【００１９】
更にまた、前述の接続情報から物体検出時に複数の物体が繋がって検出されたことを判定する連結判定ステップと、連結と判定された物体をその前後の接続情報から複数の物体として補正する連結補正ステップとを設け、検出物体の追跡を行うことにより、一時的に複数の物体が繋がって一つの物体として検出されても、前後の関係によりその物体は複数の物体であるように補正したものである。
【００２０】
更にまた、前記分裂補正ステップで分裂補正が行なわれた場合、分裂補正が行なわれたことを判定する分裂補正再帰判定ステップを設け、再帰的に分裂補正を行ない、一つの物体が分裂して複数の物体として検出されてもその物体は一つの物体であることをより正確に補正するようにしたものである。
【００２１】
更にまた、前記連結補正ステップで連結補正が行なわれた場合、連結補正が行なわれたことを判定する連結補正再帰判定ステップを設け、再帰的に連結補正を行い、複数の物体が繋がって一つの物体として検出されてもその物体は複数の物体であることをより正確に補正することができるようにしたものである。
【００２２】
更にまた、前記接続情報作成ステップで接続情報として検出した物体の位置および検出した領域の面積と共に検出した領域の画素パターンも接続情報として保持し、連結判定ステップにおいて保持している画素パターンとのマッチングによって連結を判定し、検出物体の追跡を行い、複数の物体が存在していても同一の物体を追跡していることを保証することができるようにしたものである。
【００２３】
即ち本発明は、例えば監視対象とする視野範囲を撮像するＴＶカメラと、該ＴＶカメラからの信号を画像信号に変換する画像入力インターフェース手段と、少なくともＣＰＵと画像メモリとワークメモリとプログラムメモリとによって前記画像信号を処理する処理手段を有する物体追跡監視装置において、前記ＴＶカメラからの入力画像信号と、検出すべき物体の写っていない基準背景画像信号との差を、画素毎の輝度値の差分を求めその差分値の大きい領域を物体として検出し、連続する入力画像信号中の検出した物体の数の変化から検出状態変化を分類し、該検出状態変化から各時刻毎の検出物体の位置及び検出領域の面積、検出物体の画像パターンを接続情報として保存し、分裂して検出された物体の検出位置の補正と、連結して検出された複数物体の軌跡の補正を行ったものである。
【００２４】
【発明の実施の形態】
図９に、本発明の各実施例に共通する物体追跡装置のハードウエア構成の一例を示す。
【００２５】
図９において、901はＴＶカメラ、902は画像入力Ｉ／Ｆ、903はデータバス、904は画像メモリ、905はワークメモリ、906はＣＰＵ、907はプログラムメモリ、908は出力Ｉ／Ｆ、909は画像出力Ｉ／Ｆ、910は警告灯、911は監視モニタである。ＴＶカメラ901は画像入力Ｉ／Ｆ902に接続され、警告灯910は出力Ｉ／Ｆ908に接続され、監視モニタ911は画像出力Ｉ／Ｆ909に接続されている。画像入力Ｉ／Ｆ902，画像メモリ904，ワークメモリ905，ＣＰＵ906，プログラムメモリ907，出力Ｉ／Ｆ908及び画像出力Ｉ／Ｆ909はデータバス903に接続されている。図９において、ＴＶカメラ901は対象区域（視野範囲）を撮像する。撮像された映像信号は画像入力Ｉ／Ｆ902からデータバス903を介して画像メモリ904に蓄積される。ＣＰＵ906はプログラムメモリ907に保存されているプログラムに従って、ワークメモリ905内で前記画像メモリ904に蓄積された画像の解析を行う。前記ＣＰＵ906は解析結果に応じて出力Ｉ／Ｆ908を介して警告灯910を点灯し、画像出力Ｉ／Ｆ909を介して監視モニタ911に画像を表示する。以下に説明するフローチャートは全て、上述の物体追跡装置のハードウエア構成の一例を使って説明する。
【００２６】
図１は本発明の基本となるフローチャートの一例である。時刻ｔ0において画像入力ステップ101ではＴＶカメラ901（図９）より例えば画素数３２０×２４０に対応する入力画像信号701（図７）を得、差分処理ステップ102であらかじめ登録した検出すべき物体の写っていない基準背景画像702（図７）と画素毎に差分を計算し、差分画像703（図７）を得る。次に二値化処理ステップ103にて前記差分画像703（図７）のしきい値処理を行い、予め設定したしきい値以上の部分の輝度値を、検出すべき物体として“２５５”に変換し、該しきい値未満の部分の輝度値を、検出すべき物体が存在しない部分として“０”に変換して、二値画像704（図７）を得る。このとき輝度値“２５５”となる一固まりの領域Ｄ01をラベリング等の方法で抽出し、時刻ｔ0の検出物体とし、この検出領域Ｄ01の重心を検出物体の位置とする。尚、上記“予め設定したしきい値”とは、入力画像と背景画像との差分値に対して、物体有無を判定する値であり、監視対象物体に依存し、経験的な値を設定する。例えば、洋上の船の侵入を監視する１つの条件では20〜40程度である。上記検出物体に対してワークメモリ905（図９）内に、物体情報記憶領域を確保し、検出物体位置、検出領域面積、状態変化、接続ポインタ集合を格納する。
図１７は本発明における物体情報記憶領域に格納された情報内容（リスト構造）の一例を示す図で、オブジェクト（物体）の情報として、検出時刻，検出状態（出現、単連結、結合，消滅，分離），検出位置・検出領域面積・他データ（画素パターン等），確定した軌跡，接続物体へのポインタ集合を格納している。なお状態変化と接続ポインタ集合については、後述する。次に、検出物体数変化算出ステップ104では、時刻ｔ0において検出されたある検出物体の位置（重心）と時刻ｔ0-1と時刻ｔ0+1の各検出物体の位置との距離を求める。この距離が所定の値以下となる物体（接続可能物体）の数を計数し、時刻ｔ0の検出物体にたいし時刻ｔ0-1で計数した接続可能物体の数をＮp、時刻ｔ0+1で計数した接続可能物体の数をNnとする。この処理を時刻ｔ0において検出された検出物体についてそれぞれ求める。尚、上記“所定の値”とは、連続したフレームで検出された物体を、同一物体である（同一物体として接続できる）可能性があるとみなす距離のことであり、例えばこの“所定の値”は監視対象物体の見かけの速度より大きく（２倍程度）設定する。大きめに設定する理由は、追跡に用いる検出物体の代表位置を重心とした場合、必ずしも検出物体の一定の部位を示しているわけではないか
らである。また、この“所定の値”が大きいと、連続するフレーム間で正しく物体を接続できる確率が高くなるが、ノイズ等による検出部分を接続してしまう確率も高くなり、後に続くステップの軌跡補正（分裂判定，分裂補正）や軌跡推定が困難になる。逆にこの“所定の値”が小さ過ぎると連続するフレームで同一物体の接続ができなくなる。
実際の設定値は撮像条件、監視対象物体の移動速度による。
例えば、本発明の一例では“所定の値”を“２０”に設定した。このとき、
1/2型CCD（素子の大きさ  6.5mm×4.8mm），レンズの焦点距離 25mmを用い、50m離れた撮像面に対して水平方向に移動する監視対象物体（移動速度5km/h（1.4m/sec）を想定）を320×240pix，0.3frames/secの画像で監視する場合、
水平方向の視野： 6.5mm/25mm×50m = 13.0m
見かけの速度  ： 1.4m/sec×0.3sec/frame/13.0m×320pix = 10.3pix/frame
となり、接続可能とみなす距離は20pix程度となる。
尚また、上記時刻ｔ0-1，時刻ｔ0，時刻ｔ0+1は、処理する画像を入力する時刻（時間間隔）であり、追跡対象の移動物体が視野に入ってから出るまでに最低5フレーム程度写るような時間間隔を設定する。この時間間隔の値が低いと対象物体を追跡できるフレームが少なくなってしまい、高精度の追跡ができない。この時間間隔の値は、
例えば前述の洋上の船の侵入を監視する１つの条件では、2〜3 frames/secに設定した。
【００２７】
検出状態変化分類ステップ105では、注目物体のＮpとＮnの値に応じて五つの検出状態を割り当てる。  図１０は、時刻ｔ0のある検出物体に対するこの五つの検出状態を説明する図である。図１０において、黒丸は検出物体の位置を表し、白丸は時刻ｔ0-1または時刻ｔ0+1で接続可能物体が存在しなかったことを表す。まずＮp＝０となる例1001は、時刻ｔ0で検出されたある物体Ｃ04が時刻ｔ0-1では視野内に存在しなかったことを表し、以降この状態変化を「出現」と呼ぶ。Ｎp＝１となる例1002は、時刻ｔ0で検出されたある物体Ｃ05が時刻ｔ0-1では物体Ｃ06であったことを表し、以降この状態変化を「単連結」と呼ぶ。Ｎp＞１となる例1003は、時刻ｔ0で検出されたある物体Ｃ07が時刻ｔ0-1では物体Ｃ08と物体Ｃ09であった可能性があることを表す。この例1003は、Ｎp＝２の例であり、Ｎpが２以上の場合にも適用できる。以降この状態変化を「結合」と呼ぶ。Ｎn＝０となる例1004は、時刻ｔ0で検出されたある物体Ｃ10が時刻ｔ0+1では視野内から消えたことを表し、以降この状態変化を「消滅」と呼ぶ。Ｎn＞１となる例1005は、時刻ｔ0で検出されたある物体Ｃ11が時刻ｔ0+1で物体Ｃ12と物体Ｃ13になった可能性があることを表す。この例1005は、Ｎn＝２の例であり、Ｎnが２以上の場合にも適用できる。以降この状態変化を「分離」と呼ぶ。尚、これらの状態変化は２つ以上同時に起る場合もある。次に接続情報作成ステップ106では、検出状態変化分類ステップ105によって割り当てられた状態変化に対して、ワークメモリ905（図９）内の物体情報記憶領域の接続ポインタ集合を変更する。まず、例1002のように「単連結」と判断された物体Ｃ05に対しては、該物体Ｃ05の確定した軌跡を格納する領域に物体Ｃ06の検出位置を加え、前記物体Ｃ05の接続ポインタ集合に前記物体Ｃ06の物体情報記憶領域があるアドレスを加えると共に、前記物体Ｃ06の接続ポインタ集合にワークメモリ905内の前記物体Ｃ05の物体情報記憶領域があるアドレスを加え、前記物体Ｃ06の接続可能物体へののポインタとして指定する。次に、例1003のように「結合」と判断された物体Ｃ07に対しては、該物体Ｃ07の確定した軌跡を格納する領域に物体Ｃ08と物体Ｃ09の検出位置を加え、前記物体Ｃ07の接続ポインタ集合にワークメモリ905内の前記物体Ｃ08と前記物体Ｃ09の物体情報記憶領域があるアドレスを加えると共に、該前記物体Ｃ08と前記物体Ｃ09のそれぞれの接続ポインタ集合に前記物体Ｃ07のワークメモリ905内の物体情報記憶領域があるアドレスを加え、前記物体Ｃ08と前記物体Ｃ09の次のポインタとして指定する。また例1005のように「分離」と判断された物体Ｃ11に対しては、該物体Ｃ11の接続ポインタ集合に物体Ｃ12と物体Ｃ13のワークメモリ905内の物体情報記憶領域があるアドレスを加えると共に、前記物体Ｃ12と前記物体Ｃ13のそれぞれの確定した軌跡を格納する領域に前記物体Ｃ11の検出位置を加え、前記物体Ｃ11の物体情報記憶領域があるアドレスを加える。つまり接続情報作成ステップ106を行なうことで、今までに検出された各物体のワークメモリ905内の物体情報記憶領域が接続ポインタ集合を介してリスト構造で接続され、各検出物体に接続可能な検出物体を記憶することができる。
【００２８】
次に、物体情報記憶領域のリスト構造を図１１と図１２を用いて説明する。図１１は時刻ｔ0から時刻ｔ0+4の間に検出した物体の状態を説明する図で、図１２は図１１の検出物体のリスト構造を接続構造図として表したものである。この図１１と図１２において、黒丸は検出物体の位置または検出物体であることを示すだけのものであって、検出された２値化画像の領域面積を表すものではない。図１１において、時刻ｔ0から時刻ｔ0+4の間に検出した物体の位置が黒丸で示すようになっている場合、前述の検出物体数変化算出ステップ104及び、検出状態変化分類ステップ105並びに、接続情報作成ステップ106により各物体の物体情報記憶領域は図１２のように連結された接続構造となる。例えば、図１１の時刻ｔ0+2の物体Ｃ19に注目すると、その直後の時刻ｔ0+3に検出された物体はＣ16，Ｃ20，Ｃ21である。ここで該３つの物体Ｃ16，Ｃ20，Ｃ21と前記物体Ｃ19との距離を求めると、前記物体Ｃ19と前記物体Ｃ16との距離が所定値以上となるので除外され、前述の検出物体数変化算出ステップ104によって前記物体Ｃ20と前記Ｃ21は物体Ｃ19の接続可能物体と判定され、検出状態変化分類ステップ105によって前記時刻ｔ0+2の物体Ｃ19と物体Ｃ20，Ｃ21は「分離」という状態変化に分類される。一方同じ時刻ｔ0+2の物体Ｃ15も上記と同様の方法により、距離が所定値以内の物体Ｃ16と「単連結」という状態変化に分類される。次に軌跡推定ステップ113では、物体情報記憶領域内に記憶されている物体の検出位置の変化を接続ポインタを遡って行い、物体の軌跡を推定する。例えば、図１２中の物体Ｃ22は、物体Ｃ20，Ｃ19，Ｃ18，Ｃ17の順で遡ることができ、物体Ｃ22の軌跡は、物体Ｃ17，Ｃ18，Ｃ19，Ｃ20，Ｃ22の検出位置を通ったものと推定することができる。次に異常判定ステップ108では、軌跡推定ステップ107で得られた物体の軌跡を時間と移動距離によって評価する。例えば、停止車輌の有無の判定を行なう場合、所定時間内の物体の軌跡が所定範囲内に収まるか否かを評価し、所定範囲を越えている（移動距離が大）場合は画像入力ステップ101に戻り、所定範囲内に収まっている（移動距離が小）場合は停止車輌と判断し警報・モニタ表示ステップ109に進む。該警報・モニタ表示ステップ109では出力Ｉ／Ｆ908（図９）と画像出力Ｉ／Ｆ909（図９）に指令を送る。これを受けて、前記出力Ｉ／Ｆ908（図９）は警告灯910（図９）に異常を示す発光をさせ、前記画像出力Ｉ／Ｆ909（図９）は異常状態を監視モニタ911に表示させる。この実施例によれば、検出状態の変化から物体の分裂や結合を検出しながら物体を追跡することができる。
【００２９】
前述の停車車両を故障したための停車と判断する時間（所定時間）は、例えば5秒（5sec）に設定すると、5秒停止していればその停車車両を故障車両と判断する。また、前述の移動距離が小である所定範囲（停止とみなす最大移動距離）は、例えば対象物体の見かけに大きさに設定する。これは、検出処理では対象物体の重心を代表位置として用いており、検出状態によっては代表位置が車両の前部になったり後部になったりして、対象物体の位置が常に一定の位置を示さないためである。
【００３０】
実際の設定値は撮像条件、監視対象物体の大きさによる。
例えば、本発明の一例では“所定の範囲”を“40×25 pix”の矩形範囲に設定し、軌跡の位置変化がこの範囲内に収まる場合に停止車両と判定した。このとき、
1/2型CCD（素子の大きさ  6.5mm×4.8mm），レンズの焦点距離 25mmを用い、200m離れた撮像面に対して水平方向に移動する監視対象物体（大きさ 6.0mm×4.8mmを想定）を320×240pix，0.3frames/secの画像で監視する場合、対象物体の水平方向の見かけの大きさは、
水平方向の視野： 6.5mm/25mm×200m = 52.0m
見かけの大きさ： 6.0m/52.0m×320pix = 36.9pix
となる。
【００３１】
また、図１２の物体C14，物体C15，物体C16は一つの接続ポインタ集合であり、図１０の分類によれば「単連結」の状態変化を示している。この軌跡の判定方法を図１７によって説明する。図１７は本発明における単連結の状態変化を起こしている物体の軌跡判定と補正後のリスト構造の一例を示す図で、図１２の物体Ｃ14が単連結の状態変化を起こした場合の例である。今までリスト構造で接続されていた物体Ｃ15の検出位置を物体Ｃ14の確定した軌跡を格納する領域に追加し、更に、物体Ｃ15を指していた物体Ｃ14のポインタを物体Ｃ16を指すようにに変更し、最後に物体Ｃ15の接続情報を削除している。
【００３２】
ここで、異常を表す表示として警告灯による発光を例に挙げたが、光だけではなく、音や振動またはそれらの組み合せ等、オペレータあるいは犬などの補助生物が感知する手段であればなんでもよいことは自明である。
【００３３】
本発明の他の実施例について、図２，図１３，図１４を用いて説明する。この実施例はＴＶカメラに写った一つの物体が分裂して複数の物体として検出された場合でも、これを補正しながら追跡を行なうものである。この実施例をフローチャートで表すと、図２のようになる。このフローチャートは、図１の実施例に分裂判定ステップ110と分裂補正ステップ111を追加したものである。分裂判定ステップ110では、接続情報作成ステップ106によって得られたリスト構造の状態変化から検出物体が分裂して見えたか否かを判定する。これを図１３と図１４を用いて説明する。図１３は時刻ｔ0から時刻ｔ0+1，‥‥，時刻ｔ1-1から時刻ｔ1の間に検出した物体の分裂補正を行なう前の検出物体のリスト構造を接続構造図として表した図で、図１４は図１３の検出物体の分裂補正を行なった後を接続構造図として表したものである。この図１３と図１４において、黒丸は検出物体の位置または検出物体であることを示すだけのものであって、検出された２値化画像の領域面積を表すものではない。図１３において物体Ｃ23は、時刻ｔ0では前述の状態変化の一つである「分離」の状態変化をし、物体Ｃ23から時刻ｔ1まで状態変化を繰り返して、時刻ｔ1では物体Ｃ28で「結合」の状態変化をしている。分裂判定ステップ110では、この時刻ｔ0の物体Ｃ23とリスト構造により接続される時刻ｔ0+1の物体Ｃ24と物体Ｃ25について、該物体Ｃ24と物体Ｃ25との距離が所定の物体の最大の大きさ以下で、かつ、前記物体Ｃ24と物体Ｃ25の領域面積の和が物体Ｃ23の領域面積以下となる場合、および、時刻ｔ1の物体Ｃ28とリスト構造により接続される時刻ｔ1-1の物体Ｃ26と物体Ｃ27について、該物体Ｃ26と物体Ｃ27との距離が所定の物体の最大の大きさ以下で、かつ、前記物体Ｃ26と物体Ｃ27の領域面積の和が前記物体Ｃ28の領域面積以下となる場合、物体Ｃ23，Ｃ24，Ｃ25，‥‥，Ｃ26，Ｃ27，Ｃ28を「分裂」と判定する。即ち、この時刻ｔ0での一つの物体Ｃ23が何らかの影響で時刻ｔ0+1と時刻ｔ1-1との間で二つの物体に分離して検出され、時刻ｔ1で物体Ｃ28として一つの物体に戻って検出されたと推定する。尚、上記“所定の物体の最大の大きさ”は停止車両の判定に関連して説明した“所定範囲”の設定と同様、対象物体の見かけの大きさに設定すればよい。その設定値は上記と同様に撮影条件と対象物体の大きさによる。
【００３４】
次に分裂補正ステップ111では、ワークメモリ905内に時刻ｔ0+1で検出された物体として新たに物体Ｃ29と物体Ｃ30の物体情報記憶領域を作成し、物体Ｃ29の検出位置を物体Ｃ24と物体Ｃ25の検出位置の面積による加重平均とし、物体C29の領域面積は物体C24と物体C25の領域面積の和とし、物体C30の検出位置を物体C26と物体C27の面積による加重平均とし、物体Ｃ30の領域面積は物体Ｃ26と物体Ｃ27の領域面積の和とし、物体Ｃ29の状態変化を「単連結」とし、物体Ｃ23の接続ポインタ集合から物体Ｃ24と物体Ｃ25のワークメモリ905内の物体情報記憶領域があるアドレスを削除し、物体Ｃ23の接続ポインタ集合に物体Ｃ29のワークメモリ905内の物体情報記憶領域があるアドレスを追加する。同様に時刻ｔ0+1から時刻ｔ1-1までの各時刻に対しても新たにワークメモリ905内に物体情報記憶領域を作成する。そして、物体Ｃ23と物体Ｃ28の検出状態を「単連結」に変更する。これにより、時刻ｔ0+1から時刻ｔ1-1までの分裂と判定された物体の物体情報記憶領域及びリンク構造を正確に補正することができる。この実施例によれば、一つの物体が分裂を起こして複数の物体として検出された場合でも、これを補正し正確な物体追跡を行うことができる。
【００３５】
次に、本発明の他の実施例について図３，図１５，図１６を用いて説明する。この実施例はＴＶカメラに写った複数の物体が連結して一つの物体として検出された場合でも、これを補正しながら追跡を行なうものである。この実施例をフローチャートで表すと図３のようになる。図３のフローチャートは、図１の実施例に連結判定ステップ112と連結補正ステップ113を追加したものである。連結判定ステップ112では、連結情報作成ステップ106によって得られたリスト構造の状態変化から検出物体が連結して見えたか否かを判定する。図１５は時刻ｔ0-1から時刻ｔ0，‥‥，時刻ｔ1から時刻ｔ1+1の間に検出した物体の連結補正を行なう前の検出物体のリスト構造を接続構造図として表した図で、図１６は図１５の検出物体の連結補正を行なった後を接続構造図として表したものである。この図１５と図１６において、黒丸は検出物体の位置または検出物体であることを示すだけのものであって、検出された２値化画像の領域面積を表すものではない。図１５において、物体Ｃ33は時刻ｔ0では前述の状態変化の一つである「結合」の状態変化をし、物体Ｃ33から時刻ｔ1まで状態変化を繰り返して、時刻ｔ1では物体Ｃ34で「分離」の状態変化をしている。連結判定ステップ112では、時刻ｔ0の物体Ｃ33とリスト構造により接続される時刻ｔ0-1の物体Ｃ31と物体Ｃ32について、該物体Ｃ31と物体Ｃ32との距離が所定の物体の最大の大きさ以上で、かつ、前記物体Ｃ33の領域面積が前記物体Ｃ31と物体Ｃ32の領域面積の和以下となる場合、および、時刻ｔ1の物体Ｃ34とリスト構造により接続される時刻ｔ1+1の物体Ｃ35と物体Ｃ36について、該物体Ｃ35と物体Ｃ36との距離が所定の物体の最大の大きさ以上で、かつ、物体Ｃ34の領域面積が前記物体Ｃ35と物体Ｃ36の領域面積の和以下となる場合、物体Ｃ31，Ｃ32，Ｃ33，‥‥，Ｃ34，Ｃ35，Ｃ36を「連結」と判定する。即ち、この時刻ｔ1-1での二つの物体Ｃ31と物体Ｃ32とが何らかの影響で時刻ｔ0と時刻ｔ1との間で一つの物体に結合して検出され、時刻ｔ1+1で物体Ｃ28として二つの物体に戻って検出されたと推定する。
【００３６】
次に連結補正ステップ113では、物体Ｃ31の時刻ｔ0-Nから時刻ｔ0-1までの軌跡の平均移動ベクトルＶ03と、物体Ｃ32の時刻ｔ0-Nから時刻ｔ0-1までの軌跡の平均移動ベクトルＶ04と、物体Ｃ35の時刻ｔ1+1から時刻ｔ1+Nまでの軌跡の平均移動ベクトルＶ05と、物体Ｃ36の時刻ｔ1+1から時刻ｔ1+Nまでの軌跡の平均移動ベクトルＶ06を求める。移動ベクトルｖは、軌跡が（ｘ1,ｙ1）、（ｘ2,ｙ2）、…（ｘN,ｙN）と変化した場合は、
【００３７】
【数２】
0003657116.tif 000003
【００３８】
として計算する。尚、Nは平均ベクトルを求める際に使用するフレーム数を指定するもので、本発明の一例ではN=5に設定した。計算した平均移動ベクトルから、Ｖ03とＶ05，Ｖ03とＶ06，Ｖ04とＶ05，Ｖ04とＶ06のベクトルのなす角をそれぞれ計算し、その中で最も小さい角度の組み合わせを連結候補とする。更に前記の連結候補とした組み合わせを除いたベクトルのなす角の中から最も小さい角度の組み合わせを更に連結候補とする。この処理を移動ベクトルの組がなくなるまで行なう。移動ベクトルｖ1＝（ｘ1,ｙ1）とｖ2＝（ｘ2,ｙ2）のなす角θは、
【００３９】
【数３】
0003657116.tif 000004
【００４０】
として計算する。図１６の例では、平均移動ベクトルＶ03とＶ05，Ｖ04とＶ06の組み合わせになったとしている。連結補正ステップ113では更に、時刻ｔ0から時刻ｔ1までの各時刻で検出された物体として新たに物体Ｃ37，Ｃ38，‥‥，Ｃ39，Ｃ40の物体情報記憶領域を作成し、物体Ｃ37と物体Ｃ38の検出位置を物体Ｃ33の検出位置にし、物体Ｃ39と物体Ｃ40の検出位置を物体Ｃ34の検出位置にする。更に、物体Ｃ37と物体Ｃ38の領域面積を物体Ｃ33の領域面積の半分の値とし、物体Ｃ39と物体Ｃ40の領域面積を物体Ｃ34の領域面積の半分の値とする。また、物体C31，物体C37，‥‥‥，物体C39の状態変化と物体C32，物体C38，‥‥‥，物体C40の状態変化とを「単連結」とする。これにより、時刻ｔ0から時刻ｔ1までの連結と判定された物体の物体情報記憶領域及びリスト構造を正確に補正することができる。この実施例によれば、複数の物体が連結を起こして一つの物体として検出された場合でも、これを補正し正確な物体追跡を行うことができる。
【００４１】
次に、本発明の他の実施例について図４のフローチャートを用いて説明する。この図４の実施例は、図２の実施例に分裂補正再帰判定ステップ114を追加したものである。この分裂補正再帰判定ステップ114は分裂補正が行なわれたか否を判定し、分裂補正が行なわれたときには分裂判定ステップ110へ戻り、分裂補正後の新しい接続情報に基づいて再度分裂補正を行う。また、分裂補正が行なわれなかった場合には軌跡推定ステップ107へ進む。この実施例によれば、複数の物体が二重三重に分裂を起こして複数の物体として検出された場合、分裂補正を行なえる限り補正することができるためより正確な物体追跡を行なうことができる。
【００４２】
次に、本発明の他の実施例について図５のフローチャートを用いて説明する。この図５の実施例は、図３の実施例に連結補正再帰判定ステップ115を追加したものである。この連結補正再帰判定ステップ115は連結が行なわれたか否かを判定し、連結補正後の新しい接続情報に基づいて再度連結補正を行う。また、連結補正が行なわれなかった場合には軌跡推定ステップ107へ進む。この実施例によれば、複数の物体が二重三重に連結を起こして検出された場合でも、連結補正がおこなえる限り補正することができるためより正確な物体追跡を行なうことができる。
【００４３】
次に、本発明の他の実施例について図６を用いて説明する。この実施例は、図４と図５で表された実施例の分裂判定ステップ110，分裂補正ステップ111，分裂補正再帰判定ステップ114，連結判定ステップ112，連結補正ステップ113及び連結補正再帰判定ステップ115を組み合わせて構成したもので、分裂補正再帰判定ステップ114と連結補正再帰判定ステップ115をまとめ合わせ補正再帰判定ステップ116としてある。図６のフローチャートにおいて、補正再帰判定ステップ116によって少なくとも分裂補正または連結補正のどちらかが行なわれたか否かを判定し、補正が行なわれたときには分裂判定ステップ110に戻り、補正後の新しい接続情報に基づいて再度分裂補正または連結補正を行う。また、分裂補正と連結補正が行なわれなかったときには軌跡推定ステップ107に進む。この実施例によれば、分裂や連結といった現象が同時にかつ二重三重に生じた場合でも、これらを補正することができるためより正確な物体追跡を行なうことができる。
【００４４】
図１８，図２０および図２１の接続構造図によって、上記補正再帰判定ステップ116が必要となる例を説明する。この図１８から図２１において、黒丸は検出物体の位置または検出物体であることを示すだけのものであって、検出された２値化画像の領域面積を表すものではない。図１８において、物体Ｃ50が物体Ｃ51と物体Ｃ52に分離して物体Ｃ59で結合し、その途中の物体Ｃ54で別の物体Ｃ71からの結合を生じ、次の物体Ｃ56で物体C58とＣ74に分離している。図２０は、図１８の接続構造について連結補正を行なった後の接続構造を示す図で、算出した移動ベクトルから、物体Ｃ54は物体C84と物体Ｃ72に補正され、物体Ｃ56は物体C85と物体Ｃ73に補正される。この場合次に、物体Ｃ49から物体Ｃ60までの接続について分裂補正を行う必要がある。従って、図６の補正再帰判定ステップ116によって分裂判定ステップ110に戻り補正を繰り返す必要がある。図２１は補正再帰判定ステップ116を通過後に分裂判定ステップ110に戻って、分裂補正ステップ113にて分裂補正を行なった後の接続構造を示す。分裂補正ステップ113によって、物体C51，C52，C53，C84，C55，C85，C57，C58が物体C80，C81，C82，C83に補正される。
【００４５】
次に、本発明の他の実施例について説明する。この実施例は、図３，図５または図６で示されている発明において、接続情報ステップ106でオブジェクト（物体）の情報として、検出物体の画像パターンも記憶するようにし、連結補正ステップ113において該画像パターンのパターンマッチングによる類似度に基いて連結して検出された物体の補正を行うものである。尚前記パターンマッチング法は、例えば田村秀行監修「コンピュータ画像処理入門」総合出版(株)、１９８７、pp.148-153に記載されている。
連結補正ステップ113では、図１５における物体C31とC35、物体C31とC36、物体C32とC35、物体C32とC36のマッチングを行い、それぞれの画像パターンの類似度を計算し、その中で最も高い類似度を持つ組合せを連結候補とする。この処理を画像パターンすべてについて行う。先の実施例と同様に、図１６の例では物体C31とC35、物体C32とC36の組合わせを連結候補とし、続く連結補正ステップ113では、時刻ｔ0から時刻ｔ1までの各時刻で検出された物体として、新たに物体C37，C38，…，C39，C40の物体情報記憶領域を作成し、物体C37と物体C38の検出位置を物体C33の検出位置にし、物体C39と物体C40の検出位置を物体C34の検出位置にする。更に、物体C37と物体C38の領域面積を物体Ｃ33の領域面積の半分の値とし、物体Ｃ39と物体Ｃ40の領域面積を物体Ｃ34の領域面積の半分の値とする。これにより、時刻ｔ0から時刻ｔ1までの連結と判定された物体の物体情報記憶領域及びリスト構造を正確に補正することができる。この実施例によれば、複数の物体が連結を起こして一つの物体として検出された場合でも、これを補正し正確な物体追跡を行うことができる。
【００４６】
以上述べたように上記実施例によれば、連続する入力画像に対する検出物体の数の変化から検出状態変化を分類し、検出状態変化の接続情報を保持し、その接続情報から一つの物体の分裂や複数物体の連結を補正しながらそれらの検出物体を追跡することで、より正確な追跡を行なうことができる。
【００４７】
【発明の効果】
従って、本発明によれば、ＴＶカメラの視野内に複数物体が存在するときに、一時的に分裂した物体や複数の物体が交錯する場合に個々の物体を正確に追跡することが難しかった欠点を解決し、しかも正確に物体を追跡することができ、物体追跡監視装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】本発明の実施例の動作を説明するためのフローチャート
【図２】本発明の実施例の動作を説明するためのフローチャート
【図３】本発明の実施例の動作を説明するためのフローチャート
【図４】本発明の実施例の動作を説明するためのフローチャート
【図５】本発明の実施例の動作を説明するためのフローチャート
【図６】本発明の実施例の動作を説明するためのフローチャート
【図７】差分法における物体検出原理を説明するブロック図
【図８】従来の検出物体の追跡追跡原理を説明するブロック図
【図９】本発明の実施例のハードウエアの一例を示す構成ブロック図
【図１０】本発明の検出状態変化を説明する図
【図１１】本発明の検出物体の接続情報を説明する図
【図１２】図１１のリスト構造を説明する接続構造図
【図１３】本発明の分裂判定を説明する図
【図１４】本発明の分裂補正後の物体の接続状況を説明する図
【図１５】本発明の連結判定を説明する図
【図１６】本発明の連結補正後の物体の接続状況を説明する図
【図１７】本発明の物体情報記憶領域に格納された情報内容（リスト構造）の一例を示す図
【図１８】本発明の単連結の状態変化を起こしている物体の軌跡判定と補正後のリスト構造の一例を示す図
【図１９】本発明の補正再帰ステップを説明する図
【図２０】図１９の連結補正後の物体の接続状況を説明する図
【図２１】図２０の分裂補正後の物体の接続状況を説明する図
【符号の説明】
101：画像入力ステップ、  102：差分処理ステップ、  103：二値化処理ステップ、 104：検出物体数変化検出ステップ、  105：検出状態変化分類ステップ、  106：接続情報作成ステップ、  107：軌跡推定ステップ、  108：異常判定ステップ、  109：警報・モニタ表示ステップ、  110：分裂判定ステップ、  111：分裂補正ステップ、   112：連結判定ステップ、  113：連結補正ステップ、  114：分裂補正再帰判定ステップ、  115：連結補正再帰判定ステップ、  116：補正再帰判定ステップ、  901：ＴＶカメラ、  902：画像入力Ｉ／Ｆ、  903：データバス、  904：画像メモリ、  905：ワークメモリ、  906：ＣＰＵ、  907：プログラムメモリ、  908：出力Ｉ／Ｆ、  909：画像出力Ｉ／Ｆ、  910：警告灯、  911：モニタ、  1001：出現を表す検出状態変化、  1002：単連結を表す検出状態変化、  1003：結合を表す検出状態変化、  1004：消滅を表す検出状態変化、  1005：分離を表す検出状態変化
【図１】
0003657116.tif 000005
【図２】
0003657116.tif 000006
【図３】
0003657116.tif 000007
【図４】
0003657116.tif 000008
【図５】
0003657116.tif 000009
【図６】
0003657116.tif 000010
【図７】
0003657116.tif 000011
【図８】
0003657116.tif 000012
【図９】
0003657116.tif 000013
【図１０】
0003657116.tif 000014
【図１１】
0003657116.tif 000015
【図１２】
0003657116.tif 000016
【図１３】
0003657116.tif 000017
【図１４】
0003657116.tif 000018
【図１５】
0003657116.tif 000019
【図１６】
0003657116.tif 000020
【図１７】
0003657116.tif 000021
【図１８】
0003657116.tif 000022
【図１９】
0003657116.tif 000023
【図２０】
0003657116.tif 000024
【図２１】
0003657116.tif 000025