(57)【特許請求の範囲】
【請求項１】
物体が撮像された２次元の画像を時系列に入力する画像入力手段と、
前記画像入力手段により入力された画像を記憶する入力画像記憶手段と、
過去の時点における追跡対象物体を含む画像およびその画像に関する情報を一組以上記憶する経過情報記憶手段と、
前記入力画像記憶手段に記憶された画像中での追跡対象物体の位置およびそのサイズを推測し、前記追跡対象物体の撮像領域を抽出するための参照画面として前記経過情報記憶手段に記憶された画像中から切り出された部分画像を、前記推測した追跡対象物体の位置およびそのサイズに応じて縮小または拡大する画像サイズ変換手段と、
前記画像サイズ変換手段によりサイズ変換された参照画像と前記入力画像記憶手段に記憶された画像とを照合して前記追跡対象物体の撮像領域を抽出する画像照合手段と、
前記画像照合手段により抽出された前記追跡対象物体の位置情報を出力する出力手段と
を具備することを特徴とする物体領域追跡装置。
【請求項２】
前記画像サイズ変換手段は、前記追跡対象物体が移動する面と監視カメラとの位置関係に応じて前記画像中での追跡対象物体の位置およびそのサイズを算出する請求項１記載の物体領域追跡装置。
【請求項３】
前記経過情報記憶手段に記憶された画像中の最新の画像から生成される参照画像と、それ以前の画像から生成される参照画像とのそれぞれについて重み係数を設定し、前記入力画像記憶手段に記憶された画像と前記参照画像との照合をそれぞれに行って評価値を各々算出し、この各評価値に前記設定したそれぞれの重み係数を乗じて総和を取ることにより線形和を求め、この線形和に基づいて前記追跡対象物体の撮像領域を抽出するように前記画像照合手段および画像サイズ変換手段を制御する照合処理制御手段をさらに具備することを特徴とした請求項１記載の物体領域追跡装置。
【請求項４】
監視対象が移動する面と監視カメラとの位置関係とに応じて前記画像中の照合処理を施す必要のある画像領域を算出し、その算出した画像領域について前記入力画像記憶手段に記憶された画像と参照画像との照合処理が行なわれるように前記画像照合手段および画像サイズ変換手段を制御する照合処理制御手段をさらに具備することを特徴とした請求項１記載の物体領域追跡装置。
【請求項５】
物体が撮像された２次元の画像を時系列として入力し、
前記入力した画像を記憶し、
過去の時点における追跡対象物体を含む画像およびその画像に関する情報を一組以上記憶し、
前記記憶した入力画像中での追跡対象物体の位置およびそのサイズを推測し、前記追跡対象物体の撮像領域を抽出するための参照画面として前記記憶した過去の画像中から切り出された部分画像を、前記推測した追跡対象物体の位置およびそのサイズに応じて縮小または拡大し、
前記サイズ変換した参照画像と前記記憶した入力画像とを照合して前記追跡対象物体の撮像領域を抽出し、
前記抽出した前記追跡対象物体の位置情報を出力する
ことを特徴とする物体領域追跡方法。
【請求項６】
前記入力画像中での追跡対象物体の位置およびそのサイズの算出は、前記追跡対象物体が移動する面と監視カメラとの位置関係に応じて行なわれる請求項５記載の物体領域追跡方法。
【請求項７】
前記変換した参照画像と前記記憶した入力画像との照合は、前記記憶した過去の画像中の最新の画像から生成される参照画像と、それ以前の画像から生成される参照画像とのそれぞれについて重み係数を設定し、前記記憶した入力画像と前記参照画像との照合をそれぞれに行って評価値を各々算出し、この各評価値に前記設定したそれぞれの重み係数を乗じて総和を取ることにより線形和を求め、この線形和に基づいて前記追跡対象物体の撮像領域を抽出するように行われる請求項５記載の物体領域追跡装置。
【請求項８】
前記変換した参照画像と前記記憶した入力画像との照合は、監視対象が移動する面と監視カメラとの位置関係とに応じて前記画像中の照合処理を施す必要のある画像領域として算出された画像領域について行なわれる請求項５記載の物体領域追跡方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、たとえば道路などに据え付けられた監視カメラが撮像する画像から交通流の自動計測や突発事象の自動検出などを行なう監視システムの画像処理技術に係り、特にその画像処理によってたとえば道路を走行する自動車の領域を追跡するための物体領域追跡装置および物体領域追跡方法に関する。
【０００２】
また、たとえば駅構内の監視カメラなどのように画像として撮像される範囲が広い場合に平面上を移動する物体を追跡するためなどにも広く応用可能な画像処理による物体領域追跡装置および物体領域追跡方法に関する。
【０００３】
【従来の技術】
近年、高速道路や幹線道路などに据え付けられた監視カメラが撮像する画像から交通流を自動計測したり突発事象を自動的に検出する監視システムの開発が求められている。
【０００４】
交通流の計測としては、たとえば車両ごとの走行速度の測定があり、このためには画像中で各時刻での各車両の位置を精密に抽出する必要がある。
突発事象の検出としては、渋滞や急停止などの通常時と異なる流れであることの検出や、事故や停止車両などのために車線変更が頻発していることの検出などがあるが、これらの検出のためにも各車両の走行軌跡を抽出することは重要な要素である。
【０００５】
画像中の車両の走行軌跡を抽出するための従来の手法としては、まず背景画像と入力画像との差分をとることによって車両の画像位置を抽出し、それを時間的に累積することによって走行軌跡を抽出する手法が多くとられる（たとえば、「特開平９−９１４３９号（物体監視装置）」や「特開平６−３３７９３８号（画像処理装置及び距離測定装置）」など）。また、別の方法としては、物体の特徴点を画像中で抽出して車両の画像位置を抽出し、それを時間的に累積することによって走行経路を抽出する手法がある（たとえば、「特開平６−１９５４６４号（対象物体の検出装置）」など）。
【０００６】
しかしながら、背景画像を用いる手法では、画像中に車両の映っていない画像を背景画像として用意する必要がある。この背景画像は、天候、時刻または照明状況などにより明るさも色も激しく変動するものであるため、頻繁な更新が必要となる。また、交通量の多い道路では、車両の映らないタイミングは非常に稀であるため、背景画像の生成は困難である。さらに、複数の車両が重なった場合には、一つになってしまった変化領域を複数の領域に分割しなければならないという難しい問題が残る。
【０００７】
一方、物体の特徴点を画像中から抽出する方法では、車両が重なって特徴点が隠れた場合に処理が行き詰まってしまう問題がある。また、特徴点は天候、時刻または照明状況などによって見え方が大きく変動するために、安定して抽出することは困難である。
【０００８】
したがって、交通流監視や突発事象の自動検出など、それぞれの車両の移動軌跡を抽出する必要がある場合には、画像処理手法として背景画像を使った方法や物体の特徴点を画像中から抽出する方法を用いるべきではない。
【０００９】
ところで、道路に設置された監視カメラに車両が進入したタイミングを検出する方法は、これらとは別にいくつか存在する。たとえば、走行経路を後方から撮像するカメラであれば、車両は画面の下から進入して上に抜けるように撮像されることになる。このときは、画面下端の走査線だけに着目し、その輝度変化を観測することで車両の進入を検知することができる。これは、一般に時空間画像による方法として知られている。
【００１０】
車両の進入したタイミングが分かれば、進入時の車両の領域を画像中から切り出してそれを参照画像とし、各時刻の画像に対して参照画像に対応する画像領域を画像間のパターンマッチング手法により抽出し、その画像領域を切り出す処理を続けていけば、その車両の走行軌跡が抽出できることになる。すなわち、画像領域（ウィンドウ）を画像系列中で追跡することで、走行軌跡を抽出する方法である。
【００１１】
この画像領域を追跡する方法は、その時点の画像しか用いないという点で、背景画像を用いる方法に比べて照明条件など環境の変化に耐性がある。
また、参照画像を画像系列で追跡する方法としては、大きく二つの手法がある。第一は、車両進入時に車両を含むような初期参照画像領域を設定し、それをテンプレートとして各時刻の画像と相関マッチングを行う手法であり、第二は、時系列中の各時刻で、マッチングの結果得られた画像領域を切り出してそれを次の時刻のためのテンプレートとして更新する手法である。
【００１２】
ところが、たとえば車両の進行方向の後方から撮影するカメラで入力された映像では、各車両は時間の経過とともにその画像中のサイズが縮小していく。したがって、初期参照画像をテンプレートとし、車両の進入時から通過し終わるまで終始そのテンプレートを利用し続ける手法は、車両の移動とともに追跡に失敗する危険性が大きい。一方、テンプレートを時間更新する手法であっても、参照画像として切り出す画像のサイズが一定であれば、車両の大きさがテンプレートのサイズに比べて小さくなっていくのは同様である。このため、参照画像の画像パターンとしては、車両自体の濃淡パターンに比べて、背景の模様や濃淡パターンが時間経過とともに支配的になっていくため、やはり最終的には追跡に失敗する。
【００１３】
監視カメラの撮像範囲を広くとれば、奥行き方向も広い範囲で撮影されるのであって、このように画像中で車両のサイズが変化する問題は必ず発生する。
また、テンプレートのサイズを可変にして追跡を行なう手法も提案されているが、（たとえば、「Ｇｒｅｇｏｒｙ  Ｄ．Ｈａｇｅｒ  ａｎｄ  Ｐｅｔｅｒ．Ｂｅｌｈｕｍｅｕｒ「Ｒｅａｌ−Ｔｉｍｅ  Ｔｒａｃｋｉｎｇ  ｏｆ  ＩｍａｇｅＲｅｇｉｏｎｓ  ｗｉｔｈ  Ｃｈａｎｇｅｓ  ｉｎ  Ｇｅｏｍｅｔｒｙ  ａｎｄ  Ｉｌｌｕｍｉｎａｔｉｏｎ」“Ｐｒｏｃｅｅｄｉｎｇｓ  ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ '９６”ｐｐ．４０３−４１０」）、これらの手法はサイズ変化を考慮して探索空間を拡大するだけであり、したがって処理量は一方的に増えるだけである。
【００１４】
つまり、従来の参照画像を画像系列で追跡する方法では、このような画像中での車両のサイズの変化に着目し、追跡性能を向上させるような手法は提案されてこなかった。
【００１５】
【発明が解決しようとする課題】
このように、従来の画像中から車両の存在位置を抽出しそれを累積することで車両の走行軌跡を抽出する方法では、第一の段階となる車両位置の抽出処理が車両の重なりや環境の変化などに対して不安定であるという問題があった。
【００１６】
また、参照画像を各画像系列で追跡する方法も、物体の運動が奥行き方向に生じた場合に発生する対象物体のサイズの変化に対して不安定であるという問題があった。
【００１７】
この発明は、このような実情に鑑みてなされたものであり、画像から切り出した参照画像を用いて物体を追跡する上で、物体がカメラに対して固定された平面を移動することを利用して、物体の画像中のサイズ変化に対しても安定して追跡対象物体の画像領域を抽出することのできる物体領域追跡装置および物体領域追跡方法を提供することを目的とする。
【００１８】
【課題を解決するための手段】
前述した目的を達成するために、この発明は、物体が撮像された２次元の画像を時系列に入力する画像入力手段と、前記画像入力手段により入力された画像を記憶する入力画像記憶手段と、過去の時点における追跡対象物体を含む画像およびその画像に関する情報を一組以上記憶する経過情報記憶手段と、前記入力画像記憶手段に記憶された画像中での追跡対象物体の位置およびそのサイズを推測し、前記追跡対象物体の撮像領域を抽出するための参照画面として前記経過情報記憶手段に記憶された画像中から切り出された部分画像を、前記推測した追跡対象物体の位置およびそのサイズに応じて縮小または拡大する画像サイズ変換手段と、前記画像サイズ変換手段によりサイズ変換された参照画像と前記入力画像記憶手段に記憶された画像とを照合して前記追跡対象物体の撮像領域を抽出する画像照合手段と、前記画像照合手段により抽出された前記追跡対象物体の位置情報を出力する出力手段とを具備することを特徴とする。
【００１９】
すなわち、この発明は、追跡対象物体の撮像領域を抽出するための参照画像と入力画像とを照合する際に、追跡対象物体が設置したカメラに対して固定された平面上を運動するという仮定に基づき、その照合位置における参照画像の適切な画像サイズを推定し変換してから照合処理を行なうことによって、追跡対象物体のサイズの変化に対応するようにしたものである。
【００２０】
これにより、物体の運動が奥行き方向に生じた場合に発生する追跡対象物体のサイズの変化に対しても安定に画像領域を抽出できるようになり、画像処理により自動化された監視システムの実現に途が開かれる。
【００２１】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態を説明する。
（第1 実施形態）
図１はこの発明の第１実施形態に係る物体領域追跡装置の構成を示すブロック図である。
【００２２】
以下、時間的な順序にしたがってこの第１実施形態の物体領域追跡装置の動作を説明する。
画像入力部１１によって撮像された画像は、Ａ／Ｄ変換されて入力画像記憶部１２に格納される。追跡対象となる物体が画面に進入して来たばかりの初期段階（時刻ｔ＝０）では、図示しない進入検知部から物体の画面中での初期位置とこの初期領域の形状の情報とが経過情報記憶部１６に送信される。
【００２３】
物体進入段階では、進入検知部から送信された物体の位置情報と領域情報とにしたがって入力画像から当該位置の当該領域を切り出し、それを経過情報記憶部１６に物体識別番号とともに記憶する。つまり、入力画像から対象物体を含む部分画像を切り出して経過情報記憶部１６に記憶する。
【００２４】
これからの説明では、抽出する物体の画像領域をウィンドウとも表現し、「追跡ウィンドウ」や「ウィンドウ内部の画像特徴」などと表現する。また、照合処理のための参照画像として用いられるウィンドウをテンプレートと表現する。そして、この初期段階（時刻ｔ＝０）で抽出されたテンプレートをテンプレートＴ（０；ｉ，ｊ）と呼ぶことにする。
【００２５】
なお、この第1 実施形態の物体領域追跡装置においては、進入検知部は、この物体進入段階にのみ動作するものであり、この発明の主目的である追跡処理を行なう段階では不要である。
【００２６】
初期段階以外の一般的時刻での動作を説明する前に、まず、照合処理制御部１３、画像サイズ変換部１４および画像照合部１５の基本的な機能について説明する。
【００２７】
照合処理制御部１３および画像照合部１５の基本的動作は、時刻ｔにおいて位置情報と領域情報とが特定された部分画像Ｔ（ｔ；ｉ，ｊ）をテンプレートとして、時刻ｔ＋１における画像Ｉ中から、テンプレートに対応する画像領域Ｉ（ｕ，ｖ；ｉ，ｊ）を求めることである。
【００２８】
テンプレートＴ（ｔ；ｉ，ｊ）の（ｉ，ｊ）は一般にテンプレートが大きさと形を持っていることの表現である。画像はＵ−Ｖの２軸で張られた２次元空間である。たとえばテンプレートＴ（ｔ；ｉ，ｊ）がｍ×ｎの矩形であれば、
【００２９】
【数１】
0003651745.tif 000002
ということを意味する。
【００３０】
テンプレートとなる部分画像領域は、追跡対象物体を含むような形状であれば良く、たとえば矩形、円形または平行四辺形などでも良いし、領域内部の（ｉ，ｊ）の組合せを記憶すれば、どんな複雑な形状でも扱うことができる。この第1 実施形態においては、説明の簡単化のために、最も分かりやすい例としてテンプレートの形状が矩形である場合について説明する。
【００３１】
時刻ｔにおける画像領域（テンプレートＴ（ｔ；ｉ，ｊ））の時刻ｔ＋１における対応位置（ｕ，ｖ）を求めるためには、時刻ｔ＋１の画像中から（２）式で表される残差Ｒ（ｔ；ｕ，ｖ）（添字のｔはテンプレートＴ（ｔ；ｉ，ｊ）との計算結果という意味である）が最小となるような位置を求めれば良い。この機能は画像照合部１５により実現される。
【００３２】
【数２】
0003651745.tif 000003
【００３３】
ここで、ｍ，ｎはテンプレートＴ（ｔ；ｉ，ｊ）の画像中のサイズであり、幅ｍ画素、高さｎ画素である。
また、テンプレートと対応位置の対応の良さを示す値として、（２）式の代わりに相関係数Ｃ（ｔ；ｕ，ｖ）が最大となるような画像領域を求めるようにしても良い。
【００３４】
【数３】
0003651745.tif 000004
【００３５】
他にも画像輝度の差の絶対値の総和の最小化なども適用できる。いずれにしろ部分画像間で明度の相関による領域同士のパターンマッチングを行なう。以後の説明では、これら「画像間の相関の良さを表現する指標」をまとめて相関値と表現する。
【００３６】
ところで、道路に据え付けられた監視カメラの画像により車両を追跡する状況を考えてみると、図２に示したように、車両が道路上を奥の方向に移動するにつれて車両の画像中のサイズが変化（縮小）するという問題がある。
【００３７】
このため、テンプレートのサイズを固定にしたまま、（２）式または（３）〜（７）式によるパターンマッチングをしただけでは、正しい対応位置を求めることができない。
【００３８】
そこで、この第1 実施形態においては、車両の移動に伴なう画像中のサイズの変化に対応するために画像サイズ変換部１４を用意する。
具体的には、（２）式の代わりに（８）式でパターンマッチングを行なう。
【００３９】
【数４】
0003651745.tif 000005
また、（３）式に対応する式は（９）式となる。
【００４０】
【数５】
0003651745.tif 000006
【００４１】
ここで、Ｍ（ｕ，ｖ）はテンプレートＴ（ｔ；ｉ，ｊ）が画像位置（ｕ，ｖ）に移動したときのテンプレートＴｓ（ｔ；ｕ，ｖ；ｉ，ｊ）の幅であり、Ｎ（ｕ，ｖ）は同様にテンプレートＴ（ｔ；ｉ，ｊ）が画像位置（ｕ，ｖ）に移動したときのテンプレートＴｓ（ｔ；ｕ，ｖ；ｉ，ｊ）の高さである。また、テンプレートＴｓ（ｔ；ｕ，ｖ；ｉ，ｊ）はＴ（ｔ；ｉ，ｊ）をＭ（ｕ，ｖ）×Ｎ（ｕ，ｖ）のサイズに縮小または拡大したものである。そして、Ｍ（ｕ，ｖ）とＮ（ｕ，ｖ）とはテンプレートの画像位置（ｕ，ｖ）と時刻ｔの時点におけるテンプレートの大きさ（ｍとｎ）とから計算できる。
【００４２】
画像位置（ｕ，ｖ）におけるテンプレートのサイズの計算のために、画像サイズ変換部１４には、図3 に示すように平面情報記憶部１４１が用意される。この平面情報記憶部１４１には、道路上を走行する車両が画像中でいかなる大きさに撮影されるかを計算するためのパラメータが予め測定されて記憶されている。
【００４３】
たとえば、図４に示すように、カメラの水平レベルを水平に設置し、道路面が水平な面であると仮定できる場合、カメラ光軸の伏角ψ、カメラの焦点位置の高さＨｃ、カメラレベルの焦点距離ｆをカメラパラメータとして記憶する。このとき、車両の背面の高さをＨh 、車両の横幅をＷとした場合、画像中の背面の縦の長さｈおよび画像中の車両の横幅ｗと画像中の座標値（ｕ，ｖ）との間には以下の（１０）〜（１１）式の関係が成り立つ。
【００４４】
【数６】
0003651745.tif 000007
【００４５】
すなわち、追跡対象物体が水平な面上を移動する場合、追跡対象物体の画像中の大きさは、座標値（ｖ座標値）と（１０）式および（１１）式で示されるように１次式の関係にある。この関係は図２の（ｂ−１）および（ｂ−２）のように曲線道路の場合であっても同様に成り立つ。
【００４６】
あるいは、追跡物体の画像中の大きさと座標値とが１次式の関係にあるという知識を使って、その関係式をサンプル画像から計測することで求めてしまう方法もある。
【００４７】
具体的には、予め入力画像記憶部１２からサンプル画像を採取し、ｖ座標とそのｖ座標上での画像上の道路の幅とを道路のペイントのエッジ等を用いて計測してテーブルに記憶する作業を行なう。実空間上の道路の幅が一定であれば（そのような区間からサンプリングすれば良い）画像中の道路幅のｖ座標に対する変化率が計算でき、その変化率は車両の横幅に対しても同値である。
【００４８】
画像の歪みや道路の傾きを考慮する場合は、ｖ座標と道路幅の参照点を幾つかサンプルした後で１次式や高次関数などで内挿して近似すれば良い。
あるいは、カメラパラメータや１次式として記憶するのでなく、画像中のｖ座標と物体の大きさとをテーブルにして記憶する方法もある。道路面に若干の傾きがある場合や、カメラ据え付け時にカメラパラメータの測定ができなかった場合などは、こちらの方法の方が簡便である。
【００４９】
さらなる一般的条件で考えれば、物体の移動方向は固定された平面上に限られる物ではなく、凹凸や傾きのある面上と考えることができる。いずれにしろ、追跡対象物体が飛行機や虫など空中を飛ぶもので無い限り、追跡対象物体はカメラに対して固定された一定の面上を物体は移動するのである。したがって、この面上を移動すると仮定した場合には、画面上の各位置でどのようなサイズの映像となるかを事前に調べ、テーブルとして記憶すれば良いのであって、その意味でこの発明は平面上の移動物体の監視だけに限られるものではない。
【００５０】
以上のように、画像中のテンプレートの位置（ｕ，ｖ）を受信すれば画像サイズ変換部１４は当該位置に最適なテンプレートのサイズＭ（ｕ，ｖ）×Ｎ（ｕ，ｖ）を算出することができる。時刻ｔにおけるテンプレートＴ（ｔ；ｉ，ｊ）のサイズはｍ×ｎであるから、計算された最適なテンプレートのサイズが異なる場合は、各種の画像の幾何変換によりテンプレートのサイズを変換すればよい。
【００５１】
以上説明したように、画像サイズ変換部１４の機能は、幾何学的位置関係によるパラメータまたはテーブルにより車の背面の高さと画像位置（ｕ，ｖ）との関係が記憶されており、対象物体を含む部分画像Ｔ（ｔ；ｉ，ｊ）が与えられると、車両の移動に伴なうサイズの変換を考慮して、各画像位置（ｕ，ｖ）に対して適切な大きさのテンプレートを作成し、画像照合部１５に送信することである。
【００５２】
以上の照合処理制御部１３、画像サイズ変換部１４および画像照合部１５を持つ物体領域抽出装置の一般的時刻（時刻ｔ＋１）の動作は以下のようになる。
まず、新たな画像が画像入力部１１によって入力され入力画像記憶部１２に格納される。照合処理制御部１３は、経過情報記憶部１６から時刻ｔまでの対象物の軌跡情報を利用して探索範囲を決定する。最も簡単に決めるには、たとえば時刻ｔの位置（Ｕ，Ｖ）を中心としてΔＵ×ΔＶの矩形内で探索するように決めれば良い。また、探索範囲の別の決定方法については、後述する第２実施形態で説明する。
【００５３】
照合処理制御部１３は、さらに経過情報記憶部１６に制御信号を送信し、経過情報記憶部１６は、参照画像となるテンプレートを生成して画像照合部１５に送信する。経過情報記憶部１６には、時刻ｔにおける入力画像、追跡対象物体を含む画像領域の位置（ｕ，ｖ）および大きさｍ×ｎが保有されている。経過情報記憶部１６は、照合処理制御部１３から制御信号を受信すると、当該領域の画像を切り出して（予め切り出した画像を記憶しておいても良い）、それをテンプレートＴ（ｔ；ｉ，ｊ）とする。
【００５４】
照合処理制御部１３は、ΔＵ×ΔＶの矩形内でテンプレートのサイズを適切に変換しながら、入力画像とのマッチング処理を行なう。マッチング作業を模式的に示したものが図５である。
【００５５】
いま、たとえばテンプレートの制御点を図６のように設定したとする。照合処理制御部１３は、時刻ｔ＋１における制御点の周囲ΔＵ×ΔＶに制御点を走査し、画像サイズ変換部１４は、制御点のｖ座標に応じてテンプレートＴｓ（ｔ；ｕ，ｖ；ｉ，ｊ）のサイズＭ（ｕ，ｖ）×Ｎ（ｕ，ｖ）を算出して、適応するサイズに変換された画像を生成し、画像照合部１５が、生成されたサイズ変換処理後のテンプレートＴS （ｔ；ｕ，ｖ；ｉ，ｊ）と入力画像との相関の良さを（２）式や（３）式などで計算し、相関値の最も大きい、あるいは２乗誤差の最も小さい位置（ｕmax （ｔ＋１），ｖmax （ｔ＋１））を抽出するという作業を行なう。
【００５６】
以上の処理により、時刻ｔ＋１における対象物体の画像位置（ｕmax （ｔ＋１），ｖmax （ｔ＋１））と画像領域のサイズＭ（ｕmax （ｔ＋１），ｖmax （ｔ＋１））×Ｎ（ｕmax （ｔ＋１），ｖmax （ｔ＋１））とが求められ、結果が出力部１７から数値的あるいは図的情報として出力される。さらに経過情報記憶部１６に時刻ｔ＋１における位置と領域として記憶される。
【００５７】
以上で時刻ｔ＋１の段階の処理の流れが終了し、次の時刻の処理に移る。図７にはこの第１実施形態の物体領域追跡装置の基本的な処理手順が、図８には照合処理の詳細な処理手順が示されている。
【００５８】
（第２実施形態）
次に、この発明の第２実施形態を説明する。
この第２実施形態では、第１実施形態で説明した矩形の探索領域の設定方法とは別の設定方法について説明する。
【００５９】
第１実施形態では、車両の実際のサイズが一定であれば画像中の座標値と画像中のサイズとの間には（１０）式および（１１）式のような１次式の関係があることを利用して、追跡のためのテンプレートの大きさを能動的に変化させて車両を追跡した。
【００６０】
同様に、車両の移動距離が一定範囲内であれば、画像中の座標値と車両の画像中の移動距離（テンプレートの移動画素数）との間にも、１次式の関係が成り立つ。つまり、車両が奥に移動するにしたがって画像中の移動距離も比例関係で小さくなり、その結果、テンプレートの照合処理を行なう範囲は小さくて済む。
【００６１】
具体的には、たとえば、車両の最大時速を１２０ｋｍと仮定し、画像入力はテレビ信号のフレームレート（１／３０秒）で行なわれていると仮定する。このとき、車両は１フレーム当たり約１ｍ進行することになるので、前述した図４のパラメータを用いて画像上で移動する画素数の最大限を推測できる。
【００６２】
もっと簡単には、幾つかの画像サンプルを用いて、まず、車両進入時の走行車両の画像中の移動量を十分含むように照合領域ΔＵ（０）×ΔＶ（０）を設定する。処理時間に余裕があるならば照合領域は大きめに設定すれば良い。
【００６３】
車両進入時の画像中の移動量と車両が移動して画像中の車両の位置が変化してからの移動量とにも、（１０）式や（１１）式と同様に１次式で近似できる関係があるので、画像サイズ変換部１４が記憶する関係にしたがって、照合領域の大きさΔＵ（０）×ΔＶ（０）を当該位置に対応する大きさΔＵ（ｔ）×ΔＶ（ｔ）に変更して、照合処理を行なえば良い。
【００６４】
（第３実施形態）
次に、この発明の第３実施形態を説明する。
第１実施形態では、時刻ｔにおける画像から部分画像を抽出してテンプレートＴ（ｔ；ｉ，ｊ）とし、時刻ｔ＋１における画像から対応する位置と領域とを求めた。この方法はテンプレートを逐次更新することに相当する。
【００６５】
テンプレートの逐次更新は、路面位置による照明条件の違い（手前が明るく、奥は暗い場合など）や、走行車両の通過時間内の照明条件の変化（急に雲がかかった場合など）や、車両を俯瞰する角度の変化による車両の見え方の変化（カメラの真下の時点では車両の屋根の部分が大きく見えるが、カメラから遠ざかるにしたがって車両後方だけが見えるようになることなど）に対しても、ロバストな追跡能力を発揮する。しかしその反面、ウィンドウ内で背景が支配的になった場合などに追跡能力が悪化する特性がある。
【００６６】
たとえば、図９のように道路脇に樹が植えられている場合を想定してみる。図９（ａ）ではテンプレート内のほとんどを車両が占めているので車両の進行とともに追跡ウィンドウは車両を追跡する。そして、図９（ｂ）の階段まで進行するとウィンドウ内部に樹木のテクスチャが入り込んでくる。
【００６７】
車両の色が暗く道路に近い色の場合など、車両の画像的特徴（テクスチャ）が乏しい場合には、（２）式や（３）式などの画像間の相関の良さを示す値に対して、樹木のテクスチャの部分の計算値への寄与が車両のテクスチャによる計算値への寄与より大きくなる場合がある。この場合、ウィンドウ内部では樹木のテクスチャが支配的になる。
【００６８】
したがって、このままテンプレートの逐次更新により追跡処理を続けると、図９（ｃ）や図９（ｄ）のように追跡ウィンドウは樹木に貼りついたままになる。その他にも、たとえば図１０のように低速車両に後方から高速の車両が接近し画像上でオーバーラップする場合を想定してみる。この場合、図１０（ａ），（ｂ）ではそれぞれが重なることのない別々の矩形で覆われているので問題はないが、図１０（ｃ），（ｄ）のような状態になると二つの領域が重なり合い、特に図１０（ｄ）の状態では、前方を走行する車両のための追跡ウィンドウ内に後方の車両の一部が入り込んでしまう。さらに時間が進むと後方の車両が前方の車両の追跡ウィンドウ内で支配的になり、前方の車両のための追跡ウィンドウは、後方の車両を追跡するようになってしまう。
【００６９】
図９および図１０のおのおの時刻間では、追跡ウィンドウ同士の相関値は高く、このような現象がおきていることを判別できない。
また、車両が遠ざかるにしたがってテンプレートが小さくなると、追跡のための十分なテクスチャが不足する場合がある。たとえば、図１１の場合、図１１（ａ）の時点ではテンプレートの大きさが十分大きいので（たとえば１００×１００画素程度）、図１１（ａ）の時刻Ｊ、図１１（ｂ）の時刻Ｊ＋１、のウィンドウとも十分なテクスチャを有している。しかし、時間が進んで図１１（ｃ），（ｄ）のような状態になるとテンプレートの大きさが小さくなり（たとえば１０×１０画素程度）、図１１（ｃ）の時刻Ｎ、図１１（ｄ）の時刻Ｎ＋１のテンプレート間の相関値を計算するにはテクスチャが不足する場合がある。
【００７０】
この場合、テンプレートの逐次更新をやめ、車両進入時のテンプレートＴ（０；ｉ，ｊ）を車両進入から車両が通り抜けるまで（サイズ変換して）、一貫して利用する方法もあるが、この方法では、位置的なあるいは時間的な照明条件の変化や車両の見え方の変化に対して不安定になる。
【００７１】
図１０の例では、複数の追跡ウィンドウが画像上で重なった時点で前方の車両の追跡を終了して良い場合には、時間的に古く発生したウィンドウ追跡を終了し古いウィンドウを消去し新しいウィンドウだけを残す処理によってこの問題に対処できる。
【００７２】
また、図９のように背景に追跡ウィンドウが張りつく現象には、予め背景領域を無視するように設定できるのならば、背景領域との相関を計算しないことでこの問題に対処できる。
【００７３】
しかし、このような対応ができない場合が多々存在する。そこで、この第３実施形態では、車両のサイズが小さくなった場合を含め、このような沢山の問題を統一的に解決し、ロバストな追跡を可能とするための方法について説明する。
【００７４】
以上説明したような問題点を解決するために、この第３実施形態の物体領域追跡装置では、経過情報記憶部１６に記憶された車両のこれまでの追跡結果の情報を照合処理に利用する。
【００７５】
図１２は経過情報記憶部１６の内部構成を示す図であり、経過情報記憶部１６は画像系列記憶部１６１と位置系列記憶部１２とにより構成されている。位置系列記憶部１６２には、物体識別番号ごとに、画像番号（入力画像のフレーム番号）と物体の画像中の位置（テンプレートの制御点）および物体の画像中の大きさ（テンプレートの大きさ）が記憶される。
【００７６】
また、画像系列記憶部１６１には、物体識別番号ごとに、画像番号（フレーム番号）と当該画像番号における物体の位置と領域とにしたがって抽出した部分画像（テンプレート）が画像系列として記憶される。もしくは、画像番号とともに入力画像そのものを系列として記憶しておき、必要な時に切り出しても良い。
【００７７】
したがって、時刻ｔ＋１において経過情報記憶部１６には部分画像系列Ｔ（０；ｉ，ｊ），Ｔ（１；ｉ，ｊ），Ｔ（２；ｉ，ｊ），…，Ｔ（ｔ；ｉ，ｊ）が記憶されていることになる。
【００７８】
時刻ｔ＋１におけるマッチング処理は、時刻ｔの位置（ｕ（ｔ），ｖ（ｔ））を中心とするΔＵ（ｔ）×ΔＶ（ｔ）の照合探索領域から、以下の（１２）式で表される残差ＳR が最小となる位置を求める処理になる。
【００７９】
【数７】
0003651745.tif 000008
【００８０】
ここでｗ（ｋ）はｋ番目のテンプレートに対する重み係数である。この重み係数は、追跡装置の仕様（テンプレートの重なりがあった場合にどの程度まで追跡を続行するかなど）に基づいて決めれば良い。
【００８１】
通常は、照明環境の空間的なあるいは時間的な変化にロバストにするために、前時刻の画像から切り出したテンプレートの重みを１／２に、それ以前の時刻の画像から切り出したテンプレートの重みが全体で１／２になるように設定すれば良い。
【００８２】
【数８】
0003651745.tif 000009
【００８３】
この第３実施形態では、複数のテンプレートに対して相関値の投票値の線形和を算出し、投票値が最大となる位置（ｕ，ｖ）を抽出する処理によって、複数のテンプレートの情報を利用した。
【００８４】
しかし、複数のテンプレートの利用方法はこれに限られたものではなく、様々な利用方法があることを付け加えておく。たとえばおのおのテンプレートＴ（ｔ；ｉ，ｊ）ごとに投票値を求め、投票値が最大となる位置（ｕ（Ｔ（ｔ）），ｖ（Ｔ（ｔ）））を求め、その位置をまた新たな投票値として用いて最適な位置を抽出する方法や、それぞれのテンプレートごとに得られた位置（ｕ（Ｔ（ｔ）），ｖ（Ｔ（ｔ）））の重みつき重心位置を計算して求めても良い。
【００８５】
また、実際にはメモリ容量や計算時間の制約から、すべての時刻の画像領域を記憶し、（１２）式や（１３）式の計算をすることが困難な場合もある。この場合は、たとえば一定時間間隔で画像領域を記憶したり（たとえば５フレームごとや１秒ごとに画像領域を記憶する）、一定時間間隔のテンプレートだけで（１２２）式や（１３）式の計算をするなどとすれば、記憶領域や計算量の負荷が小さくなる。
【００８６】
記憶あるいは計算対象のサンプリングを時間間隔で制御することも可能であるが、テンプレートの画像中の位置の間隔でサンプリングする方法もある。
たとえば、入力画像の大きさが高さ３００画素であるとき、１０画素ごとにサンプリングラインを設定し、追跡ウィンドウがサンプリングラインを横切るたびにサンプルを抽出すれば良いのである。位置間隔によるサンプリングのメリットは、各車両ごとに記憶しなければならないテンプレート画像系列の数が車両の通過時間に関係なく一定になるので、記憶装置の容量を一定にできることである（たとえば渋滞時は通過時間が長くなるので、時間間隔によるサンプリングでは大きな記憶装置が必要となる）。
【００８７】
一方、時間間隔によるサンプリングは、テンプレート系列を逐次更新していくことに相当するので、時間変化によって照明環境などに変化が生じた場合でも、安定して追跡できるというメリットがある。
【００８８】
以上のように、このような構成の経過情報記憶部１６を備えて追跡結果の系列画像を利用することによって、背景や車両の見え方の変化にロバストな追跡が可能となる。
【００８９】
（第４実施形態）
次に、この発明の第４実施形態を説明する。
この発明の応用は、車両監視システムに限らず、移動物体の移動方向がカメラに対して固定された平面を移動する環境における追跡装置であれば何にでも応用することができる。そこで、この第４実施形態では、駅構内の監視カメラを例にして説明する。図１３は監視カメラの設置環境を模式的に示した図であり、図１４は監視カメラの入力画像を模式的に示した図である。
【００９０】
駅構内の監視カメラの場合も、監視対象となる人物はカメラに対して固定された平面上を移動する。また、図１４の模式図では背景を省略したが、監視カメラの画角内には複雑な形や模様の物体が数多くあり、背景は極めて複雑である。
【００９１】
このような環境下では、この発明を応用して追跡対象の移動による画像サイズの変化を考慮した追跡処理を行なわなければ安定な追跡は困難である。この発明の応用は、追跡対象の進入時に初期領域を設定してしまえば、その後の追跡処理は全く同様に利用できる。
【００９２】
この場合、道路上の車両監視と異なるのは、画像サイズ変換部１４に平面の位置情報を記憶させる段階で道路のペイントを利用できないこと位であり、平面の位置情報は第１実施形態で説明したように、カメラの設置角度や設置位置などのパラメータから計算すれば良い。
【００９３】
また、この発明は、テンプレートの逐次更新を基本としているので（第３実施形態では単なる逐次更新よりさらに安定な手法を説明した）、追跡対象物体が人間のように非剛体の場合でも適用できる。初期テンプレートを車両進入から車両が通り抜けるまで一貫して用いる方法では非剛体の追跡は困難であることは明らかである。
【００９４】
【発明の効果】
以上詳述したように、この発明によれば、画像中の追跡対象物体を画像処理により自動的に追跡する課題に対して、物体がカメラに対して固定された平面を移動することを利用することによって、物体の画像中のサイズ変化に対しても安定して追跡対象物体の画像領域を抽出することが可能となる。この結果、道路や駅構内に据え付けられた監視カメラの自動化に重要な役割を果たすことが可能であり、この実用的効果はまことに多大である。
【図面の簡単な説明】
【図１】この発明の第１実施形態に係る物体領域追跡装置の構成を示すブロック図。
【図２】同第１実施形態の車両が道路上を奥の方向に移動するにつれて車両の画像中のサイズが変化（縮小）する事象を示すための図。
【図３】同第１実施形態の画像サイズ変換部の内部構成を示す図。
【図４】同第１実施形態の画像サイズ変換部の平面情報記憶部に記憶されるパラメータを説明するための図。
【図５】同第１実施形態のマッチング作業を模式的に示した図。
【図６】同第１実施形態のテンプレートの制御点を例示する図。
【図７】同第１実施形態の物体領域追跡装置の基本的な処理手順を示すフローチャート。
【図８】図７中の照合処理の詳細な処理手順を示すフローチャート。
【図９】同第３実施形態の追跡ウインドウが背景に張り付いてしまう事象を説明するための図。
【図１０】同第３実施形態の追跡ウインドウが重なってしまう事象を説明するための図。
【図１１】同第３実施形態の追跡ウインドウのサイズが非常に小さくなってしまう事象を説明するための図。
【図１２】同第３実施形態の経過情報記憶部の内部構成を示す図。
【図１３】同第４実施形態の監視カメラの設置環境を模式的に示した図。
【図１４】同第４実施形態の監視カメラの入力画像を模式的に示した図。
【符号の説明】
１１…画像入力部
１２…入力画像記憶部
１３…照合処理制御部
１４…画像サイズ変換部
１５…画像照合部
１６…経過情報記憶部
１７…出力部
１４１…平面情報記憶部
１４２…最適サイズ算出部
１４３…サイズ変換化画像生成部
１６１…画像系列記憶部
１６２…位置系列記憶部
【図１】
0003651745.tif 000010
【図２】
0003651745.tif 000011
【図３】
0003651745.tif 000012
【図４】
0003651745.tif 000013
【図５】
0003651745.tif 000014
【図６】
0003651745.tif 000015
【図７】
0003651745.tif 000016
【図８】
0003651745.tif 000017
【図９】
0003651745.tif 000018
【図１０】
0003651745.tif 000019
【図１１】
0003651745.tif 000020
【図１２】
0003651745.tif 000021
【図１３】
0003651745.tif 000022
【図１４】
0003651745.tif 000023