(57)【特許請求の範囲】
【請求項１】
入力画像中の２つの移動物体間の距離を算出する装置において、
移動物体の背景に設置されたマーカの位置データを辞書部に設置するマーカ設置手段と、
前記移動物体の背景に設置されたマーカにラベルを付与する連結領域抽出手段と、
付与された同一のラベルの位置と形状を持つ同一ラベル領域を算出する連結領域位置形状算出手段と、
前記辞書部を読み出して、算出された同一ラベル領域が前記移動物体と重なっているマーカか否かを判断するマーカ照合手段と、
前記マーカ照合手段で重なっていると判断された移動物体を抽出する移動物体抽出手段と、
前記辞書部を読み出して、算出された同一ラベル領域の大きさと形状が前記辞書部に格納されたものと同一か否かを判断して同一のものをマーカとして抽出し、前記移動物体抽出手段で抽出された移動物体の間にあるマーカの数から前記移動物体間の距離を算出する移動物体間マーカ抽出手段、
を具備したことを特徴とする距離測定装置。
【請求項２】
前記距離測定装置は、
前記移動物体が存在する時刻と前記移動物体の背景に設置されたマーカの位置との時系列関係を表す時系列テーブルを作成する移動物体マーカ時系列テーブル作成手段と、
作成された時系列テーブルから同一移動物体と判断されるものに対して同一の番号を付与して前記移動物体の対応付けを行う移動物体マーカ対応付け手段と、
対応付けられた時系列テーブルから前記移動物体間の距離を前記マーカの距離で算出する移動物体間距離測定手段と、
を更に有することを具備したことを特徴とする請求項１記載の距離測定装置。
【請求項３】
前記距離測定装置は、
前記移動物体間の距離を測定すべき範囲を前記入力画像中に設定する処理領域設定手段と、
設定された範囲内にある画像の点を任意の閾値を基準に２値化して出力する２値化手段と、
出力された点が孤立点である場合この孤立点を除去する雑音除去手段と、
を更に具備したことを特徴とする請求項１または２記載の距離測定装置。
【請求項４】
前記連結領域位置形状算出手段を、ラベリングにより連結成分に分離し、連結成分毎に投影値を求め、投影値により連結成分の縦と横の長さを算出し、縦横の積と投影値の総和を比較して、矩形か否かを判別するようにしたことを特徴とする請求項１、２または３記載の車両間の距離測定装置。
【請求項５】
前記連結領域位置形状算出手段を、２値化又は色抽出した２次元ＸＹ画像に対して輪郭抽出を行い、そのＸ、Ｙの最大値及び最小値と周囲長を求め、これらの値があらかじめ保持されているものと一致するか否かを比較して一致したとき矩形と判断することを特徴とする請求項１、２、３または４記載の車両間の距離測定装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、背景画像と、静止物体またはある速度までの移動物体と背景が含まれる画像を組み合わせ、差分処理を行うことにより静止物体または移動物体を同定したり、移動物体の動きを解析できるようにした画像処理装置に関する。
【０００２】
また物体が移動する背景にマーカを設置し、マーカを画像処理で抽出してマーカが定常状態か否かを検出することにより、移動体とマーカの重なり部分を断定し、移動物体間に存在する定常状態のマーカサイズを算出して移動物体間の距離を求めることができるようにした画像処理装置に関する。
【０００３】
画像中の移動物体を抽出し、解析し、何らかの情報を得る技術は様々な産業分野において必要不可欠である。例えば人間や動物等生物の動きを解析し、それから得た知識を基にして商品の設計等に応用するようなことは、より安全で合理的な商品開発に必要である。
【０００４】
また画像を用いた監視処理は種々の場所において利用されており、事故や災害等の発見に寄与している。しかも近年では単に異常や有事を検知するのみにとどまらず、事故や災害を未然に防ぐという防災の目的が強くなってきている。
【０００５】
そのためには事故や災害をもたらす異常な動きを示す対象物をいち早く検出する必要がある。そこで移動物体の動きを捕らえ解析したり、移動物体間の距離を精度よく算出したりして、その値からいち早く事故や災害をもたらす異常な動きをする移動物体を検出する効率的な手法が必要である。
【０００６】
【従来の技術】
ところで、画像処理を応用した移動物体の解析として、本特許出願人の出願にかかる例えば特願平３−３２０５９４号、特願平３−３２０５９７号等が先行技術としてあるが、これらでは始めに移動物体があるかも知れない領域抽出を行い、それらの領域のサイズや中心位置等の特徴から対象物を区別し、この対象物の時間的な変化からその動きを捕らえている。
【０００７】
例えば人間の運動解析を行う場合、始めに解析したい部分を抽出する。この抽出した対象に対して投影値や領域の中心値等の特徴量を算出し、この特徴量を基にして物体を区別する。次にこのような上記の特徴量の算出処理を時間的な流れのある画像つまり連続画像に対して処理を行い、特徴量から画像間での物体の対応付けを行い、動きを解析している。
【０００８】
このような上記の手法では、時系列画像それぞれに対して、物体全ての領域抽出・同定処理を行い、且つ画像間での物体の対応付けを求めなければ、移動物体の属性の抽出、例えば速度を求めることができない。
【０００９】
移動物体がただ１つのみであれば画像間の対応付けは単純であり、比較的簡単にこの時間軸の変化を含めた、例えば速度の如き属性を求めることができる。しかし移動物体が数多く存在する場合においては画像間の対応付けは難しく、しかも物体が静止していたり、別々の速度で移動している場合は、それら全てについてビデオレート処理を行うのは困難である。
【００１０】
移動物体が数多く存在する場合でも、静止していたり異なる速度で移動している場合でもビデオレートでこれらの動きが解析できる画像処理装置を提供することが要求される。
【００１１】
このため、本発明の関連技術では、図１に示す如く、ビデオカメラの如き画像入力部１と、背景画像抽出部２と、第１平均背景抽出部３と、第２平均背景抽出部４と、第１差分演算処理部５と、第２差分演算処理部６と、第３差分演算処理部７を設ける。
【００１２】
背景画像抽出部２は静止物体及び移動物体を除き背景のみを抽出し、保持するものであり、例えば静止物体も移動物体も抽出されない時に入力画像を保持蓄積するものである。この背景は予めシステムに組み込んでおくこともできる。第１平均背景抽出部３は、停止物体と低速移動物体及び背景を抽出するもの、第２平均背景抽出部４は、停止物体と低速移動物体と中速移動物体及び背景を抽出するものである。
【００１３】
また第１差分演算処理部５は背景画像抽出部２の保持している背景と、第１平均背景抽出部３の出力との差分を取るものである。第２差分演算処理部６は第１平均背景抽出部３の出力と第２平均背景抽出部４の出力との差分を取るものである。第３差分演算処理部７は第２平均背景抽出部４の出力と画像入力部１の出力との差分を取るものである。
【００１４】
いま、図１のａで示すように、道路の左車線に停止車両が存在しかつ低速車両が走行し、黒印で示す障害物が存在しており、また右車線に２台の中速車両が走行している場合について、本発明の関連技術の動作を説明する。
【００１５】
画像入力部１から画像ａが入力されると、第１平均背景抽出部３からｃで示す画像が出力され、第２平均背景抽出部４からｄで示す画像が出力される。また背景画像抽出部２ではｂで示す背景画像が保持、出力されている。
【００１６】
したがって、第１差分演算処理部５からは背景画像ｂと画像ｃとの差分である画像ｅが出力され、第２差分演算処理部６からは画像ｃと画像ｄとの差分である画像ｆが出力される。そして第３差分演算処理部７からは画像ｄと画像ａの差分である画像ｇが出力される。
【００１７】
これにより、第１差分演算処理部５からは左車線に存在する２台の停止車両又は低速車両と障害物が画像ｅとして出力され、第２差分演算処理部６からは右車線に存在する２台の中速車両が画像ｆとして出力される。しかし画像ａには中速より速く走行する車両が存在しないので、第３差分演算処理部６の出力する画像ｇには何も出力されないものとなる。
【００１８】
このようにして異なる速度で移動する複数の移動物体の動きをビデオレートで処理することができる。
【００１９】
Ａ．第１の関連技術
本発明の第１の関連技術を図２〜図１０にもとづき説明する。図２は本発明の関連技術構成図、図３は本発明の関連技術における原画像説明図、図４は本発明の関連技術における局所領域説明図、図５は本発明の関連技術における速度画像抽出説明図、図６は本発明の関連技術における局所領域内特徴量抽出部の説明図、図７は停止物体と低速移動物体の存在する場合の説明図、図８は中速移動物体説明図、図９は高速移動物体説明図、図１０は大型移動物体説明図である。
【００２０】
図中他図と同記号は同一部を示し、１は画像入力部、２は背景画像抽出部、３は第１平均背景抽出部、４′は第ｎ平均背景抽出部、５は第１差分演算処理部、６は第２差分演算処理部、７′は第ｎ＋１差分演算処理部、８は第１局所領域内特徴量抽出部、９は第２局所領域内特徴量抽出部、１０は第ｎ＋１局所領域内特徴量抽出部、２０は軌跡算出部である。
【００２１】
画像入力部１は監視すべき領域の画像をビデオレートで入力するものであり、例えばビデオカメラである。
背景画像抽出部２は監視すべき領域の背景画像を入力し、保持するものであり、後述するように移動物体と静止物体のいずれも抽出されないときに随時入力して、後述する図５（Ａ）で示す背景画像メモリ２−１に蓄積したり、予めシステムに保持しておくこともできる。
【００２２】
第１平均背景抽出部３は停止物体と低速移動物体及び背景を抽出するものであり、また第ｎ平均背景抽出部４′は停止物体と低速〜高速の移動物体及び背景を抽出するものである。これらの第１平均背景抽出部３〜第ｎ平均背景抽出部４′により移動物体の速度別画像を作成することができる。
【００２３】
勿論第１平均背景抽出部３と第ｎ平均背景抽出部４′との間に、停止物体と低速〜中速の移動物体及び背景を抽出する他の平均背景抽出部（例えば図１における第２平均背景抽出部４）を設けれることもできる。
【００２４】
第１差分演算処理部５は背景画像抽出部２の出力と第１平均背景抽出部３の出力との差分を取るものであり、第２差分演算処理部６は第１平均背景抽出部３の出力と第ｎ平均背景抽出部４′の出力との差分を取るものである。そして第ｎ＋１差分演算処理部７′は第ｎ平均背景抽出部４′の出力と画像入力部１の出力との差分を取るものである。
【００２５】
これら差分演算処理部により、目的の速度で移動している物体のみを抽出することができる。勿論図１に示す如く、ｎ＝２の状態で構成することもできる。
差分演算処理部の種類は前段の平均画像抽出部に依存しており、その種類つまりどの平均画像抽出部間の出力差を求めるのかということは定まったものではない。しかし最大数は、平均背景画像抽出部の数と背景画像抽出部と原画像すなわち画像入力部の出力画像の和をＸ（図１の場合は４）とすると、Ｘ＊（Ｘ−１）／２（＊は乗算を示す）だけの種類の差分演算処理部を設定することができる。
【００２６】
第１局所領域内特徴量抽出部８は、第１差分演算処理部５の出力を受けて、後述するように、その定められた領域内の特徴量の有無や物体の形状特徴等を求める。ここで求めた特徴量の有無とは位置変化を表し、形状特徴は例えばバス乗用車等の対象物体の属性を表すものである。
【００２７】
第２局所領域内特徴量抽出部９は、第２差分演算処理部６の出力を受けてその定められた領域内の特徴の有無や物体の形状特徴等を求めるものである。第ｎ＋１局所領域内特徴量抽出部１０は、同様に第ｎ＋１差分演算処理部７′の出力を受けてその定められた領域内の特徴の有無や物体の形状特徴等を求めるものである。
【００２８】
軌跡算出部２０はこれら第１局所領域内特徴抽出部９〜第ｎ＋１局所領域内特徴部１０の出力にもとづき、特徴量の有無の時系列変化から物体の軌跡を算出したり、さらに形状特徴から同一物体の軌跡を求める等の処理を行うものであり、物体の形状特徴解析を行う特徴解析部２０−１、作表を行う作表部２０−２、表の解析を行う表解析部２０−３等を具備している。
【００２９】
本発明の関連技術を道路監視用、例えばトンネル内の監視用に使用した場合について以下に説明する。
図３（Ａ）はトンネル内に設置した画像入力部１で撮影したある時刻の画像であり、同（Ｂ）はそれから数秒後に撮影した画像である。画像入力部１ではビデオレートで連続して撮影しているので、この２つの画像の間に図示省略した画像が連続撮影されている。
【００３０】
図３（Ａ）、（Ｂ）において右車線Ｒは正常に車両が流れているが、左車線には故障車Ｐ1 が停車しており尾燈を点滅させている。しかもこの故障車Ｐ1 の後方には障害物Ｐ2 があり、この障害物Ｐ2 に気づいた後続車両Ｐ3 は減速して低速走行しているものと仮定する。以後この２枚を用いて説明するが、ビデオレートで連続して処理を行っているものと仮定する。
【００３１】
また画像入力部１で撮影される画像領域は、図４に示す如く、複数の局所領域に設定される。図４においてＬ０〜Ｌ４は左車線用の車両追跡用局所領域であり、このうちＬ０は大型車検出用の局所領域であり、Ｌ１〜Ｌ４は追跡用の局所領域である。同様にＲ０〜Ｒ４は右車線用の車両追跡用局所領域であり、Ｒ０は右車線での大型車検出用局所領域であり、Ｒ１〜Ｒ４は追跡用の局所領域である。
【００３２】
次に図５により本発明の関連技術における速度画像抽出状態を説明する。図５は、停止物体と低速移動物体、中速移動物体、高速移動物体の３種類をそれぞれ出力するものであり図１に対応するものであり、また図２に関して対応させる場合には、ｎ＝２の場合における背景画像抽出部２、第１平均背景抽出部３、第ｎ平均背景抽出部４′、第１差分演算処理部５、第２差分演算処理部６、第ｎ＋１差分演算処理部７′に相当するものである。
【００３３】
背景画像抽出部２の画像メモリ２−１には背景が保持されており、この背景がルックアップテーブル▲２▼のｉとして入力される。ルックアップテーブル▲２▼の他方の入力ｊは、ルックアップテーブル▲３▼の出力である背景＋停止物体＋低速物体が入力される。
【００３４】
ルックアップテーブル▲２▼は、図５（Ｂ）に示す如く、｜ｉ−ｊ｜の値が閾値ｔｈ２（例えばｔｈ２＝５０）より大きいとき｜ｉ−ｊ｜を出力する。したがって背景の部分についてはｉ＝ｊのためルックアップテーブル▲２▼からの出力ｋはｋ＝０であるので、ルックアップテーブル▲２▼の出力は停止物体と低速物体の存在する部分だけ｜ｉ−ｊ｜が出力され、ルックアップテーブル▲１▼にｉとして入力される。
【００３５】
このときルックアップテーブル▲１▼の他方の入力ｊには画像入力部１で撮影された入力画像が入力される。この入力画像は、背景と停止物体（障害物も含む）と低速物体と中速物体と高速物体が含まれており、このうち、停止物体（障害物も含む）と低速物体の存在する部分にのみ｜ｉ−ｊ｜の値が入力されることになる。
【００３６】
なお、ルックアップテーブル▲１▼は、図５（Ｂ）に示す如く、ｉの値が閾値ｔｈ１（例えばｔｈ１＝５）のときｊからの入力を出力ｋとし、それ以外はｋ＝０となる。それ故、ルックアップテーブル▲１▼から入力画像の内の停止物体（障害物も含む）と低速物体のみが出力される。
【００３７】
ところでルックアップテーブル▲３▼は画像入力部１で撮影された入力画像がｉとして入力され、画像メモリ３−１に保持された画像がｊとして入力される。そしてｉ＝ｊのとき出力ｋとして画像メモリ３−１に保持された画像が、そのまま出力されまた画像メモリ３−１に保持される。
【００３８】
この外０≦（ｉ−ｊ）≦ｔｈ３１（例えば閾値ｔｈ３１＝１０）の場合はｊにオフセット値α３１（例えばα３１＝１）を加算した値のｋ＝ｊ＋α３１を出力し、同時に画像メモリ３−１に保持する。０≦（ｊ−１）≦ｔｈ３１の場合はｊからα３１を減算した値のｋ＝ｊ−α３１を出力し、同時に画像メモリ３−１に保持する。
【００３９】
ｔｈ３１＜（ｉ−ｊ）≦ｔｈ３２（例えば閾値ｔｈ３２＝２５５）の場合はｊにオフセット値α３２（例えばα３２＝３）を加算した値のｋ＝ｊ＋α３２を出力し、同時に画像メモリ３−１に保持する。ｔｈ３１＜（ｊ−ｉ）≦ｔｈ３２の場合はｊからα３２を減算した値のｋ＝ｊ−α３２を出力し、同時に画像メモリ３−１に保持する。
【００４０】
このようにして後述する理由により背景と停止物体（これらはいずれもｉ＝ｊ）の外に低速物体の存在する部分にもルックアップテーブル▲３▼よりｋが出力され、ルックアップテーブル▲２▼′にｉとして入力される。
【００４１】
ルックアップテーブル▲２▼′の他方の入力ｊは、ルックアップテーブル▲４▼の出力である背景＋停止物体＋低速物体＋中速物体が入力される。ルックアップテーブル▲２▼′は、図５（Ｂ）の▲２▼に示す如く設定され、｜ｉ−ｊ｜の値が閾値ｔｈ２より大きいとき｜ｉ−ｊ｜を出力する。
【００４２】
したがって、背景と低速の部分についてはｉ＝ｊのためルックアップテーブル▲２▼′からの出力ｋはｋ＝０であり、このためルックアップテーブル▲２▼′の出力は入力画像に中速物体の存在する部分だけ｜ｉ−ｊ｜が出力され、ルックアップテーブル▲１▼′にｉとして入力される。
【００４３】
このときルックアップテーブル▲１▼′の他方の入力ｊには画像入力部１で撮影された入力画像が入力される。この入力画像は、背景と停止物体と低速物体と中速物体と高速物体が含まれており、このうち中速物体の存在する部分のみ｜ｉ−ｊ｜の値が入力される。ルックアップテーブル▲１▼′は図５（Ｂ）に示す▲１▼と同様に動作設定されているので、ルックアップテーブル▲１▼′からは中速物体のみが出力される。
【００４４】
またルックアップテーブル▲４▼は画像入力部１で撮影された入力画像がｉとして入力され、画像メモリ４−１に保持された画像がｊとして入力される。そしてｉ＝ｊのとき出力ｋとして画像メモリ４−１に保持された画像がそのまま出力され、また画像メモリ４−１に保持される。
【００４５】
この外０≦（ｉ−ｊ）≦ｔｈ４１（例えば閾値ｔｈ４１＝１０）の場合はｊにオフセット値α４１（例えばα４１＝１）を加算した値のｋ＝ｊ＋α４１を出力し、同時に画像メモリ４−１に保持する。０≦（ｊ−ｉ）≦ｔｈ４１の場合はｊからα４１を減算した値のｋ＝ｊ−α４１を出力し、同時に画像メモリ４−１に保持する。
【００４６】
ｔｈ４１＜（ｉ−ｊ）≦ｔｈ４２（例えば閾値ｔｈ４２＝２５５）の場合はｊにオフセット値α４２（例えばα４２＝１０）を加算した値のｋ＝ｊ＋α４２を出力し、同時にこれを画像メモリ４−１に保持する。ｔｈ４１＜（ｊ−ｉ）≦ｔｈ４２の場合はｊからα４２を減算した値のｋ＝ｊ−α４２を出力し、同時にこれを画像メモリ４−１に保持する。
【００４７】
このようにして後述する理由によりルックアップテーブル▲４▼より背景、停止物体、低速物体の外に中速物体の存在する部分にはｋが出力され、ルックアップテーブル▲２▼′及び▲２▼″にｉとして入力される。
【００４８】
ルックアップテーブル▲２▼″の他方の入力ｊには画像入力部１で撮影された入力画像が入力される。ルックアップテーブル▲２▼″は、図５（Ｂ）の▲２▼に示す如く設定され、｜ｉ−ｊ｜の値が閾値ｔｈ２より大きい時｜ｉ−ｊ｜を出力する。従って、背景と低速と中速の部分についてはｉ＝ｊのため、ルックアップテーブル▲２▼″の出力ｋはｋ＝０であり、入力画像に高速物体の存在する部分だけルックアップテーブル▲２▼″から｜ｉ−ｊ｜が出力され、ルックアップテーブル▲１▼″にｉとして入力される。
【００４９】
このときルックアップテーブル▲１▼″の他方の入力ｊは画像入力部１で撮影された、背景、停止物体、低速物体、中速物体、高速物体が含まれており、このうち高速物体の存在する部分のみ｜ｉ−ｊ｜の値が入力されるので、ルックアップテーブル▲１▼″からは高速物体のみが出力されるものとなる。
【００５０】
このように、移動物体の速度別に画像を求め、対象物を抽出することで、監視対象を限定することができる。
ところで前記の如くルックアップテーブル▲３▼又は▲４▼の出力にオセフット値を加算または減算して画像メモリ３−１または画像メモリ４−１のデータを修正し、保持する理由について説明する。
【００５１】
これら画像メモリと入力画像の差が閾値以上の場合、オフセット値を加算又は減算して画像メモリを修正する。
対象物体の動きが遅い場合には小さなオフセット値により何度か修正すれば、画像メモリの保持出力する値が入力画像と同じになる。しかし動きが早い対象物の場合少ない修正回数で画像メモリの値を修正しないと入力画像の領域外に移動し、消えることになる。
【００５２】
このため速度の大きな対象物の検出に対してはオフセット値を大きくして早く修正し、速度の小さな対象物の検出に対してはオフセット値を小さくして修正回数を多くして、時間をかけることにより行う。このようにオフセット値を変えることにより対象物体の速度の違いを判断し、目的とする対象物のみを検出することができる。
【００５３】
また、図６により平均背景抽出部による各物体の移動速度に応じて、物体を分離した画像を抽出する他の手法を説明する。図６（Ａ）に示す如く、矢印方向に移動している移動物体Ａと停止物体Ｂが存在しているとき、時刻ｔ1 、ｔ2 ・・・ｔn で移動物体Ａと停止物体Ｂがそれぞれ図示の状態になるが、これらのｔ1 〜ｔn の各画像を図示省略したメモリに累積する。そしてその累積画像を平均して平均背景を算出する。
【００５４】
この場合、停止物体Ｂはｎ個の画像を累積した値をｎ等分した値で算出されるが、停止物体Ｂは各時刻において停止、つまり位置変化がないので、物体Ｂは変化なく抽出できる。
【００５５】
一方、移動物体Ａは、特にこの移動物体Ａの移動速度が速い場合には、各時刻の画像間での移動物体Ａの重なりがなく、１時刻の移動物体Ａと、（ｎ−１）個の背景との平均をとることになるため、平均の濃度値が小さく閾値より小さな値になり移動物体Ａは消失される。かくして平均背景に停止物体Ｂが残り、移動物体Ａは存在しないものとなる。
【００５６】
なお、移動物体Ａだけを含む画像は、平均背景と各時刻の画像との差を算出することにより抽出することが可能となる。
また図６（Ｂ）に示す如く、停止物体Ｂに加えて、低速移動物体Ｄと、中速移動物体Ｅが存在する場合、これらの移動物体Ｄ、Ｅは次のようにして区分できる。
【００５７】
低速の移動物体Ｄは、時刻ｔ2 、ｔ3 、の時刻ではいずれも、時刻ｔ1 の画像とその一部が重複しているが時刻ｔ4 の画像は時刻ｔ1 の画像と重なりがなくなる。
【００５８】
また中速の移動物体Ｅは、時刻ｔ2 では時刻ｔ1 の画像とその一部が重複しているが、時刻ｔ3 の画像は時刻ｔ1 の画像と重なりがない。
したがって時刻ｔ1 とｔ4 の画像を累積して２等分すれば低速の移動物体Ｄと中速の移動物体Ｅの値は、いずれも閾値以下となり停止物体Ｂが得られる。また時刻ｔ1 とｔ2 とｔ3 の画像を累積して３等分すれば、同様に中速の移動物体Ｅのみの画像濃度値が閾値以下となる。しかし低速の移動物体Ｄは、これらの時刻の重なり部分が存在するため、これにもとづき得ることができる。このとき停止物体Ｂも得られるが、停止物体Ｂは前記の如く別に得たものとの差で消去すれば低速の移動物体Ｄを得ることができる。
【００５９】
また低速の移動物体Ｄと停止物体Ｂを原画像より消去することにより中速の移動物体Ｅを抽出することができる。同様にして、更に高速の移動物体が存在するとき、これを抽出することができる。なお、停止物体の背景も、停止物体と一緒に得ることができる。
【００６０】
このようにして、図５（Ａ）に示すものとは別の手法により、第１平均背景抽出部から「背景＋停止物体＋低速移動物体」を出力し、第２平均背景抽出部から「背景＋停止物体＋低速移動物体＋中速移動物体」を出力することができる。  これらにもとづき、第１差分演算処理部において、背景画像抽出部から出力される背景と、第１平均背景抽出部から出力される「背景＋停止物体＋低速移動物体」との差分を求めることにより、第１差分演算処理部から「停止物体＋低速移動物体」が得られる。
【００６１】
第２差分演算処理部において第１平均背景抽出部から出力される「背景＋停止物体＋低速移動物体」と第２平均背景抽出部から出力される「背景＋停止物体＋低速移動物体＋中速移動物体」との差分を求めることにより、第２差分演算処理部から中速移動物体が得られる。
【００６２】
さらに第３差分演算処理部において、第２平均背景抽出部から出力される「背景＋停止物体＋低速移動物体＋中速移動物体」と入力画像との差分を求めることにより、第３差分演算処理部から高速移動物体が得られる。
【００６３】
例えば図１において、第１平均背景抽出部３が背景＋停止物体（障害物も含む）＋低速移動物体のみを抽出し、第２平均背景抽出部４では背景＋停止物体（障害物も含む）＋低速移動物体＋中速移動物体のみを抽出する場合、第１平均背景抽出部３より得られるものは画像ｃであり、第２平均背景抽出部４から得られるものは画像ｄとなる。
【００６４】
この結果第１差分演算処理部５から停止物体＋低速移動物体のみの画像ｅが得られ、第２差分演算処理部６から中速移動物体のみの画像ｆが得られ、第３差分演算処理部７から高速移動物体のみの画像ｇが得られる。ただし図１の例では画像入力部１から得られた入力画像に高速移動物体が存在していない場合であり、このとき画像ｇには何も検出されないものとなる。従って、画像ｅ、ｆ、ｇに何も存在しない時に画像入力部１の入力を背景画像抽出部２で蓄積保持することにより背景を更新することができる。
【００６５】
次に第１局所領域内特徴量抽出部８、第２局所領域内特徴量抽出部９、第ｎ＋１局所領域内特徴量抽出部１０については、いずれも同一構成のため、図６により第１局所領域内特徴量抽出部８について代表的に説明する。
【００６６】
本発明の関連技術では、画像入力部１で撮影される画像領域を予め複数の局所領域に設定しておく。例えば図４に示す如く、左車線用の車両追跡用局所領域としてＬ０〜Ｌ４を設定し、右車線用の車両追跡用局所領域としてＲ０〜Ｒ４を設定する。
【００６７】
そして各車両追跡用局所領域に対して、図７に示す局所領域内特徴抽出処理部８−１、８−２・・・８−ｍが用意されている。従って図４に示す如く、車両追跡用局所領域Ｌ０〜Ｌ４、Ｒ０〜Ｒ４が設定されているときにはｍ＝１０即ち１０個の局所領域内特徴抽出処理部が必要となる。
【００６８】
局所領域内特徴量抽出処理部８−１は局所領域決定部１１−１と、雑音除去部１２−１と、ラベリング処理部１３−１と、特徴量算出部１４−１を有する。局所領域決定部１１−１はその局所領域内特徴量抽出処理部８−１が処理すべき車両追跡用局所領域の１つを定義するものであり、Ｌ０についての処理を行うものであればＬ０の範囲を定義しておき、この局所領域内の入力画像を抽出するものである。雑音除去部１２−１は局所領域決定部１１−１から伝達された信号より雑音を除去するものであり、例えばロ−パス・フィルタで構成されている。
【００６９】
ラベリング処理部１３−１は局所領域内の入力画像に対し同一の物体について同一のラベルを付与するラベリング処理を行うものである。そして特徴算出部１４−１は、ラベル付けされた領域の有無を検出し、ラベル付けされた領域があれば同一ラベルの領域に対してそのラベル領域の重心位置や、面積、横方向・縦方向の投影値等を求め、各ラベル領域毎の特徴量を算出するものである。
【００７０】
局所領域内特徴量抽出処理部８−２・・・８−ｍも前記局所領域内特徴量抽出処理部８−１と同様に構成され、それぞれ局所領域決定部１１−２・・・１１−ｍ、雑音除去部１２−２・・・１２−ｍ、ラベリング処理部１３−２・・・１３−ｍ、特徴量算出部１４−２・・・１４−ｍを具備している。
【００７１】
いま、図８（Ａ）に示す如く、時刻ｔにおいて、ランプの点滅している停止物体Ｐ1 と障害物Ｐ2 と低速移動物体Ｐ3 が存在する場合、図２に示す第１差分演算処理部５の出力は図８（Ｃ）に示す如きものとなり、この車両抽出画像（障害物も含まれる）に、図４に示す局所領域を重ねると図８（Ｅ）に示す如きものとなる。この場合、局所領域Ｌ１、Ｌ２、Ｌ４の部分に車両があり、特徴量を算出することができる。
【００７２】
図８（Ａ）に示す速度画像は、ｔ１＋数秒後の時点において、同（Ｂ）に示す如き速度画像となり、これにより同（Ｄ）に示す如き車両抽出画像が得られる。これに局所領域を重ねると図８（Ｆ）に示す如きものとなる。この場合は、局所領域Ｌ２、Ｌ４に車両が存在するので、これに対して特徴量を計算する。
【００７３】
これらの結果、図２に示す軌跡算出部２０の作表部２０−２により時系列的にまとめられた表１が作成される。表１における○印は、局所領域Ｌ０〜Ｌ４、Ｒ０〜Ｒ４において各時刻に特徴量が求められたもの、即ち何らかの物体（障害物も含む）が存在していたことを示している。
【００７４】
【表１】
0003816785.tif 000002
【００７５】
図９は、中速移動物体が存在する場合の時刻ｔ及びｔ＋数秒時の速度画像、車両抽出画像、局所領域重ね合わせ状態を示し、図９に対応する時系列的な特徴量検出状態を表２に示す。
【００７６】
【表２】
0003816785.tif 000003
【００７７】
また図１０は高速移動物体に関する時刻ｔ及びｔ＋数秒時の速度画像、車両抽出画像、局所領域重ね合わせ状態を示すが、この場合高速移動物体が存在していないので、図９には高速移動物体は図示されていない。従って、これに対応する表３でも○印はない。
【００７８】
【表３】
0003816785.tif 000004
【００７９】
従って軌跡算出部２０において表解析部２０−３が表３を解析することにより高速で走行している車両が、この場合は存在していないと判断することができる。
【００８０】
また表２を解析することによりＬ０〜Ｌ４には○印がないので、左車線には中速で走行中の車両がこの時点では存在しないこと、また右車線には時刻ｔとｔ１には○印がＲ１とＲ４の２ヶ所に有ることから中速で走行中の車両が２台走行していることがわかる。
【００８１】
なお時刻ｔ３も○印が２ヶ所有るが、これはＲ１とＲ２という隣接局所領域であり、続く時刻ｔ４には○印が１ヶ所しかないことより、時刻ｔ３におけるＲ１に存在する対象物とＲ２に存在する対象物とは同一であると判断できる。
【００８２】
停止物体と低速移動物体についてまとめた前記表１からは、多少複雑であるが以下のことが判断できる。Ｒ０〜Ｒ４には○印がないので、右車線に停止または低速走行している車両が存在していない。しかしＬ１〜Ｌ４には○印があり停止または低速走行車両が存在していると判断できる。
【００８３】
この場合、局所領域Ｌ４には一定間隔で○が現れたり消えたりしており、隣接するＬ３には静止物体が存在しているものと推測できる。一方Ｌ１とＬ２における○印の時間的変化（ｔ〜ｔ３まではＬ１に、ｔ４〜ｔ７はＬ１とＬ２と、ｔ８以降はＬ２に存在）から、何か低速で移動している物体が存在していることを判断できる。
【００８４】
なお、前記の解析は時刻と場所の関係において、対象物体が存在するか否かについてのみ判断した例について説明したが、これ以外に特徴量として面積や縦横比等を使用するとより多くの情報を抽出することができる。
【００８５】
表４は、車線変更を行っている車両について示した例であり、いままでの説明から容易に推察できる。ある領域にある時刻まで存在していた対象物体が瞬間的に消える。しかしその時刻と前後して別の領域、特に隣車線領域に対象物体が出現した場合には車線変更を行った車両であると判断できる。
【００８６】
【表４】
0003816785.tif 000005
【００８７】
表４において、時刻ｔ３までＬ１に存在した○印が、時刻ｔ４でＬ１、Ｌ２、Ｒ２でも○印が表れ、以下時刻ｔ５、ｔ６、ｔ７においてＲ２に表れるようなとき、車線変更と判断できる。
【００８８】
なお、物体の移動時間と各局所領域の大きさの実測値がわかれば移動物体の速度も算出することができる。例えばある局所領域の長さをＬ、その領域に存在していた時間をＴとするとＬ／Ｔで速度を求めることができる。
【００８９】
また図１１に示す如く、右車線に大型車ＰL と小型車ＰS が走行しているとき、これに図４で示す局所領域を重ねると図１１（Ｂ）に示す状態となる。これにより大型車ＰL の走行によりＲ０に○印が連続して存在するので大型車の存在を検出できる。
【００９０】
【表５】
0003816785.tif 000006
【００９１】
なお、表５、図１１では、小型車ＰS が時刻ｔ４ではＲ４より外に走行した状態を示し、時刻ｔ５では大型車がＲ１を走行し終わりＲ２に入ったことを示している。
【００９２】
大型車により走行中の車が隠された状態を表６により説明する。
【００９３】
【表６】
0003816785.tif 000007
【００９４】
表６では、時刻ｔ１において大型車が局所領域Ｒ１を走行し、他の車（例えば小型車）が局所領域Ｒ３を走行しており、時刻ｔ４において大型車が局所領域Ｒ２を走行していることを示す。そして時刻ｔ７において大型車がＲ３を走行しており、このとき大型車がその前を走行中の他の車を隠した状態を示す。なおこの隠された車は時刻ｔ１１において局所領域Ｒ４を走行し、大型車の前方に再び出現した状態を示す。このようなことは表解析部２０−３により判断することができる。
【００９５】
軌跡算出部２０ではその特徴解析部２０−１が物体の形状特徴を解析して、同一移動物体を判別し、これにもとづき同一移動物体の軌跡を作表部２０−２に指示してその軌跡を算出作成することができる。
【００９６】
Ｂ．第２の関連技術
本発明の第２の関連技術を、空港のスポット監視の場合について説明する。この例では低速で移動している大きな移動物体（例えば航空機）と、中速或いは、高速で移動している小さな物体例えば作業用の特殊車両）とを分離し、その属性について判断するものである。
【００９７】
この例では、図１２（Ａ）に示す状態で局所領域Ｃ０、Ｌ０〜Ｌ７、Ｒ０〜Ｒ７を設定した。局所領域Ｃ０は航空機の機体検出を目的としたものであり、それ以外のＬ０〜Ｌ７、Ｒ０〜Ｒ７は作業用の特殊車両を検出するための局所領域である。
【００９８】
図１２（Ｂ）は航空機Ｊがスポットに停止している状態を示し、同（Ｃ）は特殊車両ＳＰ１、ＳＰ２が行き交って走行している状態を示す。そして図１２（Ｂ）及び（Ｃ）に、同（Ａ）で示す局所領域を被せた状態を示したのが同（Ｄ）及び（Ｅ）である。
【００９９】
航空機がスポットに近づき低速し、停止すると局所領域Ｃ０に航空機Ｊの機体が表れる。この状態を前記低速移動物体抽出の手法を用いて検出する。この場合、図１３（Ａ）で示すように、局所領域Ｃ０内の長辺方向に航空機Ｊの投影を落としてその長さを求めると、機体の長さを測定することができる。そしてこの機体の長さから機種を判定することができる。航空機がスポットに近づき、停止するまでの投影値の変化を示したのが表７である。
【０１００】
【表７】
0003816785.tif 000008
【０１０１】
表７より明らかなように、時刻ｔ１、ｔ２、ｔ３・・・と変化すると共に投影の長さ即ち投影値が増加し、ある時刻（この例ではｔ４）を越えるとその増加が停止する。そして投影値の変動が止まり安定した段階で航空機が停止したと判断する。一方投影値と実際の長さの関係を求めて変換式を求めておけば航空機の実際の長さが分かり、長さの違いから航空機の種類が判断できる。
【０１０２】
また図１２（Ｃ）、（Ｅ）に示している特殊車両ＳＰ１、ＳＰ２に関しては、前記中速・高速移動物体抽出の手法を用いてこれらを検出できる。航空機と同様に投影値を求めることにより局所領域内に存在している対象物の個数を求めることができる。
【０１０３】
例えば図１２（Ｅ）において、局所領域Ｌ５について投影値を求めたものが図１３（Ｂ）である。これにより投影値がそれぞれ２つ存在するので、局所領域内に２種類の独立した対象物体が存在していることが判断できる。
【０１０４】
図１２（Ｅ）の様に特殊車両が移動した場合の局所領域における対象物体の検出個数の変化を時系列的に示したのが表８である。
【０１０５】
【表８】
0003816785.tif 000009
【０１０６】
この表８により車両の移動とともに局所領域内の対象物体の数が変動しているのがわかる。これにもとづき、時刻ｔ５では、局所領域Ｌ６に存在した特殊車両が局所領域Ｌ７に移動して、その個数が２になったこと、時刻ｔ７では局所領域Ｌ７を走行していた２個のうちの１つが局所領域Ｌ５に移動したこと、時刻ｔ９では他の１つも局所領域Ｌ５に移動して再びその個数が２になったこと等が解析できる。
【０１０７】
前記説明ではトンネル及び空港の例について説明したが本発明の関連技術は勿論これのみに限定されるものではない。走行速度も低中高の３種類の例について説明したが勿論これに限定されるものではなく、例えば０〜３０ｋｍ、３０〜６０ｋｍ、６０〜９０ｋｍ、９０〜１２０ｋｍ、１２０〜１５０ｋｍ、１５０ｋｍ以上というように細かく区分することも勿論できる。
【０１０８】
Ｃ．第３の関連技術
本発明の第３の関連技術について説明する。第３の関連技術は移動物体間の距離を精度よく算出するものである。移動物体間の距離は、前記第１の関連技術を適用して検出することができる。
【０１０９】
例えば図９及び表２に示す如く、時刻ｔ、ｔ1 に中速の移動物体が領域Ｒ１、Ｒ４に存在していることがわかる。第１実施例により移動物体間の距離を求めるために、図１４（Ａ）に示す如く、前記の手法により移動物体抽出部１００にて移動物体を抽出し、移動物体対応づけ部１０１において、サンプリング時間毎にこれらの移動物体の特徴量を抽出し、それらの値と移動物体の速度限界から同一の移動物体を対応づける。このとき、入力画像から濃淡や色の情報を用いて対象となる移動物体の輪郭や面の移置／傾き等の特徴量を抽出してもよい。そして移動物体間の距離測定部１０２により、対応づけそして移動物体間の距離測定部１０２により、対応づけした移動物体から物体間の距離を測定する。このようにして画像データから数値データに情報を圧縮し、これらを用いて移動物体の動きの解析及び予測を行うことができる。
【０１１０】
ところでこのような、第１の関連技術の手法を用いて移動物体間の距離を求める場合、入力画像に存在する移動物体の速度に応じて画像を分離し、分離した画像ごとに移動物体の対応づけを行っており、速度の違う移動物体の対応づけの精度が高くなる。
【０１１１】
【発明が解決しようとする課題】
しかしながら、この手法により移動物体間の距離を抽出する場合には、移動物体の輪郭や面の位置の情報を使用しており、図１４（Ｂ）、（Ｃ）に例示する如く、距離計算上、同じ輪郭の同一点あるいは同じ面上の同一点で対応づけができず、距離の誤差が大きくなるという問題がある。
【０１１２】
図１４（Ｂ）、（Ｃ）は、移動物体間の距離を求めるために、移動物体の上部にカメラを設置し、画像を入力したものである。道路の上にカメラを設置し、その真下を通過する自動車のような移動物体を入力するとき、道路は黒っぽい色でありその上を走行する移動物体を入力することになる。
【０１１３】
そのため、図１４（Ｂ）に示す原画像Ｂ１において、車ＣＡ１、ＣＡ２が存在する場合、これをエッジ抽出処理すると、Ｂ２に示す如く車の色の関係により車ＣＡ１、ＣＡ２の一部が抜けて検出されることがある。そしてこれにもとづき車頭間距離を計算すると、図１４（Ｂ）のＢ３に示す如く計算され、実際値とは大きな誤差の存在するものとなる。
【０１１４】
また図１４（Ｃ）に示す如く、原画像Ｃ１では１台の大型車ＬＣを入力したにもかかわらず、エッジ抽出によりＣ２に示す如くなって全てのエッジが完全に抽出できず、１台の大型車を２台の車と誤って認識して、図１４（Ｃ）のＣ３に示す如く、１台の大型車を２台の車と誤認識して車間距離の計算値を求めることがある。
【０１１５】
【課題を解決するための手段】
本発明の原理を図１５に示す。図１５において、１１０はマーカ設置部、１１１はマーカ移動体抽出部、１１２はマーカ・移動物体対応づけ部、１１３は移動物体距離測定部、１１４は入力部である。
本発明の前記課題は下記Ａにより達成される。
Ａ．２つの移動物体間の距離を算出する装置において、画像を入力する画像入力手段と、背景にマーカを設置するマーカ設置手段と、移動物体を抽出する移動物体抽出手段と、移動物体を追跡する追跡手段と、異なる移動物体間に存在するマーカを抽出するマーカ抽出手段と、マーカのサイズにもとづき移動物体間の距離を算出する距離測定手段を具備したことを特徴とする距離測定装置。
これにより画像処理のしやすいマーカの抽出を基盤としており、移動物体の一部しか抽出できない場合でも、設置したマーカの抽出により、移動物体とマーカが重なった部分を断定できて、それらの重なった部分間の距離を算出することにより、物体間の距離を精度良く算出できる。
【発明の実施の形態】
本発明の実施の形態では、このような問題点を解決するために、図１５に示す如く、あらかじめ物体が動く背景にマーカをマーカ設置部１１０により設置しておく。その際、マーカの位置、形状、サイズ等を算出しておく。第３実施例では、道路に白線をある間隔毎に画くことによりマーカを設置しておくが、マーカは白線に限定されるべきものではなく、他の適宜形状のものが使用できる。なお図１５において、１１４は画像を入力する入力部である。
【０１１６】
実際の入力画像に対し、マーカ・移動体抽出部１１１が移動物体とマーカが重なっている部分を求め、移動物体の抽出を行う。そして連続的に入力されてくる複数の画像に対し、移動物体とマーカの重なり部分を抽出する。
【０１１７】
このようにして求められた移動物体とマーカの重なり部分の時系列データに対し、マーカ・移動物体対応づけ部１１２が対応づけを行って同一の移動物体を求める。そしてこの異なる移動物体間に存在するマーカの数にもとづき、移動物体距離測定部１１３が移動物体間の距離を算出する。
【０１１８】
この場合、移動物体の時系列データの代わりに、移動物体間に存在するマーカの時系列データを対応づけ、同一の移動物体間に存在するマーカを捉えて移動物体間の距離を算出してもよい。このようにして算出した移動物体間の距離を解析し、異常を予測することができる。
【０１１９】
本発明の実施の形態を、図１６にもとづき説明する。図１６において他図と同記号は同一部を示し、１１０はマーカ設置部、１１１はマーカ・移動体抽出部、１１２はマーカ・移動体対応づけ部、１１３は移動物体距離測定部、１２１は処理領域設定部、１２２は２値化部、１２３は雑音除去部、１２４は連結領域抽出部、１２５は連結領域位置・形状算出部、１２６はマーカ照合部、１２７はマーカ辞書部、１２８は移動物体抽出部、１２９は移動物体間マーカ抽出部、１３１は移動物体・マーカ時系列テーブル作成部、１３２は移動物体・マーカ対応づけ部である。
【０１２０】
マーカ設置部１１０は、移動物体の背面に設置したマーカのデータをマーカ辞書部１２７に格納するものである。マーカとしては、図１７（Ａ）に示す如く、移動物体が車両の場合、道路上に例えば白線Ｐ1 、Ｐ2 ・・・Ｐ25を等間隔に道路面上に塗装する。図１７の場合は、白線はその幅が５０ｃｍであり、これを５０ｃｍ間隔で道路面上に例えば２５本引いた例を示す。
【０１２１】
いま５０ｃｍを画面上で１０ドットのサイズで表示するものとし、白線の左端をｘ座標で５０ドットの位置とし、右端をｘ座標で５００ドットの位置とすれば、白線Ｐ25の左上端の座標（ｘ、ｙ）は（５０、４８０）で表示され、右下端の座標（ｘ、ｙ）は（５００、４９０）で表示される。このようにして、マーカ設置部１１０により、マーカ辞書部１２７に、マーカＰ1 、Ｐ2 ・・・の左上端の座標と右下端の座標が登録される。この外マーカの形状が矩形であることも登録される。
【０１２２】
処理領域設定部１２１は、白線マーカ設置内で移動物体が存在したとき測定すべき範囲を設定するものである。例えば図１８（Ａ）に示す如く、矢印方向に車が進行する対面通行道路があるとき、斜線した左側車線範囲及び右側車線範囲だけを処理対象領域と定め、他は処理対象外領域とするいわゆるマスク処理を行うものである。
【０１２３】
例えば図１７で、対面走行の場合の処理領域を図１７の斜線部のように設定する。これに応じてマーカ辞書部１２７も更新する。図１８（Ｂ）は左側車線の処理領域を示すものである。勿論あらかじめ、マーカの設置を、このように左側車線、右側車線の処理領域を考慮して行う場合には、処理領域設定は行わなくともよい。
【０１２４】
処理領域の矩形サイズが図１９（Ａ）に示す左上端が（ｘ１、ｙ１）で右下端が（ｘ２、ｙ２）の場合、画素（ｉ、ｊ）の入力画像をＩＮｉｊとし、その出力画像をＯＵＴｉｊとするとき、次式（数１）で示す如く、この処理領域のもののみ入力画像がそのまま出力画像として出力されるが、処理領域外のものは０が出力される。
【０１２５】
【数１】
0003816785.tif 000010
【０１２６】
２値化部１２２は、図１９（Ｂ）に示す如く、入力画像ＩＮｉｊがある閾値ｔｈ１以下で且つ閾値ｔｈ２以上であれば出力画像ＯＵＴｉｊ１を出力し、それ以外は０を出力するものである。ここで閾値ｔｈ１、ｔｈ２は照明環境に応じて適切に設定するが、照明変化が生じる環境では、濃度ヒストグラムを算出するなどして適応的に閾値ｔｈ１、ｔｈ２を変える。
【０１２７】
雑音除去部１２３は、２値化部１２２の出力に孤立点が存在する場合これを除去するものであって、４連結等のドットが連続するパターンを抽出するものである。このため、図１９（Ｃ）に示す如く３×３の論理フィルタＦを用いて中心画素（ｉ、ｊ）の上下左右がいずれも１のとき出力画像ＯＵＴｉｊ＝１を出力するが、それ以外は０を出力するものである。
【０１２８】
連結領域抽出部１２４は、例えば８連結で接続するパターン（中心画素に対し上下左右方向の外に、斜め方向の合計８方向の少なくとも１つが１の場合）に同じラベルを付加する処理を行うものであり、図２０（Ａ）におけるパターンＡ１の入力画像に対して、Ａ２の如くラベル付け処理を行うものである。
【０１２９】
このラベル付け処理は、例えば図２０（Ｂ）に示す如くＡ〜Ｆの２×３のパターンで入力画像を走査し、注目画素Ｅが１のとき周囲のＡ〜Ｆの値に応じてラベルを更新していく。例えばＤ≠０のときにはＤのラベルを伝播して注目画素Ｅに付ける。さらにＢ≠０でかつＢ≠Ｄのときには、ＢとＤのラベルが同一であることをテーブルに格納する。Ｂ＝０でかつＣ≠ＤのときにもＣとＤのラベルが同一であることをテーブルに格納する。Ａ〜Ｄまでがすべて０のとき注目画素Ｅに新しいラベルを付ける。
【０１３０】
このようにして一度入力画像を走査した後にラベルの対応関係を格納したテーブルを使用して再び入力画像にラベル付けを行う。これらの詳細は、「ラスタ走査型ラベリング処理方式」（特願平０２−００１１０９号、特開平０３−２０６５７４号公報）を参照することにより明らかとなる。
【０１３１】
これらの処理は、基本的には汎用ＣＰＵ、ディジタルシグナルプロセッサ（ＤＳＰ）で実現できる方式であるが、ビデオレート（３３ｍｓ／画像）の専用パイプライン・プロセッサにもとづく処理については「ディジタル画像領域へのラベル付け方式」（特願昭６０−０８４１２号、特開昭６１−２４３５６９号公報、特公平０３−０４４３４９号公報）、または「連結領域のラベル付け回路」（特願昭６１−１６４９５５号、特開昭６３−０２０５７８号公報）を参照することにより明らかとなる。
【０１３２】
これらのラベル付与処理により、図２０（Ｃ）に示す如く、移動物体が存在しない場合には、処理対象領域内の各白線には同一のラベルが付与される。例えば白線Ｐ1 にはラベル（１）が付与され、白線Ｐ2 にはラベル（２）が付与される。そして白線Ｐ25にはラベル（２５）が付与される。
【０１３３】
連結領域位置・形状算出部１２５は、同一ラベルの部分の位置と形状を算出するものであり、図２１（Ａ）に示す如く、同一ラベルの付与されたラベル画像ＬＫの水平方向の投影と垂直方向の投影をとり、その位置・形状を求める。すなわちラベル毎の投影を求める。
【０１３４】
水平方向の投影Ｈは、水平方向にヒストグラムを求めることにより得ることができ、垂直方向の投影Ｖは垂直方向にヒストグラムを求めることができる。そしてその位置は縦位置及び大きさが（Ｐｊｈ２、Ｐｊｈ１）であり、横位置及び大きさが（Ｐｊｖ２、Ｐｊｖ１）である。このようにしてラベルの形状として縦（Ｐｊｈ２、Ｐｊｈ１）、横（Ｐｊｖ２、Ｐｊｖ１）及び面積ＳＵＭが得られる。そして縦の大きさ×、横の大きさがヒストグラムの面積ＳＵＭと等しい場合、このラベル画像ＬＫは矩形であることが確認できる。
【０１３５】
ラベル画像は濃淡画像であるため、各濃度ごと、すなわち各ラベル毎に投影を算出する。具体的には、図２１（Ｂ）に示す如く、画像サイズがＭ×Ｎの場合において、ラベルＫについてｊ行目の水平投影値Ｐｊｈ〔ｋ〕〔ｊ〕と、ｉ列目の垂直投影値Ｐｊｖ〔ｋ〕〔ｉ〕は、入力画像ＩＮ（ｉ、ｊ）について式（１）、式（２）のようにして算出できる。
【０１３６】
【数２】
0003816785.tif 000011
【数３】
0003816785.tif 000012
【０１３７】
すなわち、同一ラベルの領域範囲内において、水平方向、垂直方向にそれぞれ＋１加算することによりそのｊ行目、ｉ列目の投影値を算出することができる。このようにして投影を求めることができる。
【０１３８】
また投影の総和ＳＵＭ〔ｋ〕は式（３）により求めることができる。
【０１３９】
【数４】
0003816785.tif 000013
【０１４０】
マーカ照合部１２６では、連結領域位置・形状算出部１２５により算出された同一ラベル領域が、移動物体と重なっているマーカか否かを判断するために、マーカ辞書１２７を調べるものである。マーカ辞書部１２７内の白線マーカの左上端部Ｐｎ（ｘ１、ｙ１）、右下端部Ｐｎ（ｘ２、ｙ２）を読み出す。マーカ辞書部１２７には、前記の如く、図１７（Ｃ）に示す白線データや、図１８（Ｂ）に示す如き白線データ等が格納されている。
【０１４１】
移動物体抽出部１２８はマーカと重なっている移動物体を抽出するものである。白線のマーカ上に黒とか赤とか紺色等の白以外の車両が通過するとき、図２２（Ａ）に示す如く、車両Ｃ1 、Ｃ2 とマーカ部分が重なり、これを上よりカメラで画像入力したとき、車両Ｃ1 、Ｃ2 がマーカ部分を分離するので、これにより移動物体例えば車両を抽出することができる。すなわち、図２２（Ｂ）に示す如く、マーカと車両が重なった部分は、１本のマーカが車両で分断されてラベルが２つ付与されることになる。この結果、図２２（Ｂ）に示す如く、ラベル（１）、（２）、（３）、（４）、及び（６）、（７）、（８）、（９）と分断された部分はラベル数が大幅に増加し、またその１つのラベルの領域も小面積のものとなるので、マーカ辞書部１２７を照合することにより、車両が重なったマーカか否かを判断して車両を抽出できる。
【０１４２】
もし、対象とする移動物体つまり車両の色がマーカの色と異なる場合には、図２３（Ａ）の如く、移動物体よりもはるかに大きなマーカＬＭを道路上に設置し、同（Ｂ）に示す如く、車両Ｃ1 、Ｃ2 がこのマーカ上に移動したとき同（Ｃ）に示す如く、水平投影値を求めることにより車両の位置を抽出できるので、ラベリングせずにこれを求めることができる。
【０１４３】
また、白線のマーカ上に白の車両が通過した場合、マーカと車両Ｃ1 、Ｃ2 の状態は図２４（Ａ）に示す状態となる。しかしこれを入力画像としてラベル付けする場合、車両Ｃ1 とそれが重なるマーカの白線部分が連結してこれらに同一のラベルが付与され、車両Ｃ2 とそれが重なるマーカの白線部分にも同一のラベルが付与されるので、例えば図２４（Ｂ）に示す如くラベル（１）、（３）が付与されることになる。したがって、連結領域位置・形状算出部１２５における形状算出では、各ラベルの面積（投影の総和ＳＵＭ）がマーカ辞書部１２７に格納したマーカ１個の面積よりも大きな値で算出される。また矩形形状の確認においても縦（Ｐｊｈ２−Ｐｊｈ１）×横（Ｐｊｖ２−Ｐｊｖ１）の値がマーカの辞書に格納した値と異なるものとなる。このような判断より車両の抽出が可能となる。白の車両と白線のマーカが重ならない場合は、図２４（Ｂ）のラベル（２）の部分のように、マーカ辞書部１２７に格納した面積、形状（矩形）が一致するので、車間距離の検出が可能となる。
【０１４４】
移動物体間マーカ抽出部１２９は、移動物体間のマーカを抽出し、その間の距離を算出するものであり、白以外の車両が通過する場合は、図２２（Ｂ）のラベル（５）に示す如く、同一ラベルの付与された領域の大きさと形状（矩形）がマーカ辞書部１２７に格納されたものと同一か否かを判断し、同一のものをマーカとして抽出する。これによりマーカ辞書部１２７よりそのマーカのサイズ、マーカ間隔を求め、移動物体間、例えば車両間の距離を算出する。
【０１４５】
なお、マーカが、図２３（Ａ）に示す形状の場合、同（Ｃ）に示す如く、元のマーカの投影値と等しい連続する領域Ｐｊｈ１′〜Ｐｊｈ２′を求めることにより、これを移動物体間の距離として簡単に算出することができる。
【０１４６】
移動物体・マーカ時系列テーブル作成部１３１は移動物体とその存在するマーカの時系列テーブルを作成するものであって、マーカ上の移動物体の時系列を作る場合には、図２５（Ａ）に示す如く、どのマーカ上に車両の如き移動物体が存在するのかを示すものである。この場合、移動物体の進行方向はＰ25→Ｐ1 とする。
【０１４７】
移動物体だけに注目したとき、図２５（Ａ）に○印で示す如く、移動物体が存在する時刻とマーカ位置を示すマーカの時系列テーブルを作る。
また車両間隔で示すとき、図２５（Ｃ）に示す如く、移動物体間に存在するマーカを示すテーブルを作成する。これにより車間のマーカの軌跡を示すことができる。
【０１４８】
移動物体・マーカ対応づけ部１３２は、図２５（Ａ）に示す移動物体存在時刻のテーブルから、このテーブル上である距離内にあり、かつ方向性（進行方向はＰ25→Ｐ1 ）を考慮して、同一移動物体と判断されるものに対して同一の番号を付与し、図２５（Ｂ）の如く移動物体の対応づけを行う。
【０１４９】
また図２５（Ｃ）に示す如く、移動物体間に存在するマーカの時系列テーブルについては、この時系列テーブル上である距離内にあり、かつ方向性を考慮して同一の車両間隔情報については同一の番号を付与し、図２５（Ｄ）の如く対応づけを行う。
【０１５０】
このように、移動物体間のマーカだけに着目してマーカを追跡することにより、対応づけの場合の数が減り、移動物体そのもので処理する場合に比較して処理速度が速くなる。勿論この手法は、移動物体間の距離が計測中に急激に変化しないことを前提として、移動物体間のマーカの大きさ、即ち移動物体間の距離の変化の滑らかさの条件も導入して対応づけられ、より正確な対応づけが可能となる。
【０１５１】
この場合、例えば図２５（Ａ）に示す如く、車両間隔が時刻Ｔ2 においてＰ4 、Ｐ5 であり時刻Ｔ3 においてＰ3 、Ｐ4 の如き場合には、同（Ｅ）に示す如く、複数のマーカにまたがり同一印をつけて車両間隔を示すこともできる。
【０１５２】
移動物体間距離測定部１１３は移動物体間の距離を測定するものである。例えば図２５（Ｂ）に示す如く、移動物体の対応づけテーブルから、各時刻の移動物体間の距離をマーカ、つまり白線間の距離で算出する。そしてその最大値、最小値および平均値を算出する。平均値は、例えば移動物体を時刻Ｔｎ〜Ｔｍで対応づけ、各時刻の白線番号の差をΔｎ〜Δｍとするとき、式（４）により得られる。
【０１５３】
【数５】
0003816785.tif 000014
【０１５４】
これにより精度の高い移動物体間距離算出ができる。
図１６に示す本発明の実施の形態の動作について説明する。まず実際に道路面に例えば図１７に示す如く、マーカとしての白線を引く。そしてその情報をマーカ設置部１１０からマーカ辞書部１２７に記入しておく。また図１７に示す如く、処理領域が設定される場合には、そのマスク情報も処理領域設定部１２１にて演算し、マーカ辞書部１２７に格納する。
【０１５５】
いま道路上に設置したＴＶカメラ等の入力装置から入力画像が伝達されると、処理領域設定部１２１が、図１９（Ａ）に示す如く、その処理領域範囲内の入力画像のみを出力画像として出力する。２値化部１２２は図１９（Ｂ）に示す如く、これを１または０に２値化出力する。そして雑音除去部１２３が、図１９（Ｃ）に示す如く、論理フィルタＦを用いて孤立点を雑音除去する。
【０１５６】
そして連結領域抽出部１２４が、この２値化された入力画像に対し、図２０（Ａ）に示す如く、ラベル付け処理を行う。これにより例えば、白線のマーカのみの入力画像に対しては、図２０（Ｃ）に示す如く、ラベル（１）〜（２５）が付加されることになる。
【０１５７】
このラベル付けされた画像は、連結領域位置・形状算出部１２５において、同一ラベルの部分に対する位置と形状を算出する。マーカ照合部１２６では、これをマーカ辞書部１２７と照合してどれが白線のマーカであるか否かを判別する。
【０１５８】
これらのデータにより、マーカ部分でないところはマーカに移動物体が重ね合わされた部分であるので、移動物体抽出部１２８がこれにより移動物体を抽出する。
【０１５９】
また移動物体間マーカ抽出部１２９は、移動物体と重ね合わされていない白線のマーカ部分を抽出する。
これらの情報により移動物体・マーカ時系列テーブル作成部１３１が、例えば図２５（Ａ）に示す如き移動物体存在時刻テーブルを作成する。移動物体・マーカ対応づけ部１３２は、この図２５（Ａ）に示すテーブルから、同（Ｂ）に示す移動物体の対応づけテーブルを作成し、これを移動物体間距離測定部１１３に送出する。
【０１６０】
これにより移動物体間距離測定部１１３は、マーカ間つまり白線間の距離をこの対応づけした車両の白線数に乗算し、移動物体間の距離を算出する。
勿論図２５（Ｃ）、（Ｄ）に示す如く、移動物体間のマーカつまり白線の時系列テーブルを作成してこれにもとづき移動物体間の距離を算出することもできる。
【０１６１】
このようにして移動物体の対応づけ、あるいは移動物体間のマーカの数の対応づけを対応テーブルから時系列的に行い、その距離を算出し、それらの最大値、最小値および平均値を算出することにより、精度のよい移動物体の運動の解析、予測を行うことが可能となる。従ってこれを車両に応用した場合には事故発生の予防を行うこともできる。
【０１６２】
なお本発明の実施の形態において、連結領域抽出部１２４及び連結領域位置・形状算出部１２５の他の例を図２６により説明する。
連結領域抽出部１２４において、２値化されたデータあるいは色抽出（マーカの色）された、図２６（Ａ）に示す如きデータを、その１の部分又は色抽出された部分の輪郭を抽出する。
【０１６３】
白線の探索開始点及びｘ、ｙの最大値、最小値、周囲長を例えばマーカ辞書部１２７に格納しておき、輪郭を一周探索する。探索の際、ｘ、ｙの最大値、最小値、周囲長を求める。図２６（Ｂ）に示す如く、白線だけの輪郭抽出の場合には、これらの値がマーカ辞書部１２７に格納されたものと一致する。しかし移動物体が白線上に重なっているときは、例えば図２６（Ｃ）、（Ｄ）に示す如く、これらの値が少なくとも１つは一致しない。なお色抽出については、例えば「ビデオレート色抽出装置」（特開昭６３−３１４９８８号公報）を用いる。
【０１６４】
連結領域位置・形状算出部１２５は、これらの値をマーカ辞書部１２７に格納された値と比較したり、縦横の値を乗算することにより物体が重ね合わされた状態か、ラベル付けされた形状が矩形か否かあるいはマーカそれ自体か等の判断ができる。
【０１６５】
なお輪郭抽出に際しては、図２６（Ｅ）に示す、例えば３×３の論理フィルタを用いて走査しその中心画素（ｉ、ｊ）の周囲の８区分がオール１のとき、これをマーカ内部と判断して０を出力し、それ以外を境界として１を出力する。
【０１６６】
【発明の効果】
本発明により以下の如くすぐれた効果が得られる。
【０１６７】
本発明によれば、画像処理のしやすいマーカの抽出を基盤としており、移動物体の一部しか抽出できない場合でも、設置したマーカの抽出により、移動物体とマーカが重なった部分を断定できて、それらの重なった部分間の距離を算出することにより、物体間の距離を精度の良く算出できる。
【０１６８】
本発明によれば、移動物体の抽出ではなく、画像処理のしやすいマーカの抽出を基盤としており、１つの大型の移動物体を２つの小型の移動物体と誤ることなく、移動物体のサイズに関係なく安定に移動物体を抽出でき、物体間の距離など精度の良い解析、動きの予測ができる。
【０１６９】
本発明によれば、複数の連結していないマーカを背景に用い、連結成分ごとにマーカを抽出する手段を備えており、移動物体とマーカの色が同じであっても、その連結成分の形状、面積を調べることにより、容易に移動物体とマーカの重なり部分を断定でき、移動物体間の距離を算出できる。
【０１７０】
本発明によれば、時系列で移動物体間を対応づけ、物体間の距離の最大値、最小値、平均距離を算出できることから精度のよい物体間の距離算出と、それの詳細な解析が可能になる。
【図面の簡単な説明】
【図１】本発明の関連技術の原理図である。
【図２】本発明の関連技術構成図である。
【図３】本発明の関連技術に使用される原画像説明図である。
【図４】本発明の関連技術における局所領域説明図の一例である。
【図５】本発明の関連技術における速度画像抽出説明図である。
【図６】本発明の関連技術における速度画像抽出の他の例である。
【図７】本発明の関連技術における局所領域内特徴量抽出部の説明図である。
【図８】停止物体と低速移動物体の存在する場合の説明図である。
【図９】中速移動物体説明図である。
【図１０】高速移動物体説明図である。
【図１１】大型移動物体説明図である。
【図１２】本発明の関連技術を空港のスポット監視用に使用した場合の説明図である。
【図１３】本発明の関連技術における投影値算出説明図である。
【図１４】移動物体の動きの解析・予測の先行技術説明図である。
【図１５】本発明の一実施の形態の概略図である。
【図１６】本発明の一実施の形態の具体的構成図である。
【図１７】マーカ設置状態及びマーカ辞書登録状態説明図である。
【図１８】通行用処理領域設定説明図である。
【図１９】処理対象出力、２値化状態及び雑音除去状態説明図である。
【図２０】ラベル付加状態説明図である。
【図２１】ラベルの投影状態説明図である。
【図２２】白以外の車両が通過する場合の説明図である。
【図２３】他の形状のマーカ説明図である。
【図２４】白の車両が通過する場合の説明図である。
【図２５】テーブル説明図である。
【図２６】連結領域の輪郭情報抽出説明図である。
【符号の説明】
１１０  マーカ設置部
１１１  マーカ・移動体抽出部
１１２  マーカ・移動体対応づけ部
１１３  移動体距離測定部
１１４  入力部
【図１】
0003816785.tif 000015
【図２】
0003816785.tif 000016
【図３】
0003816785.tif 000017
【図４】
0003816785.tif 000018
【図５】
0003816785.tif 000019
【図６】
0003816785.tif 000020
【図７】
0003816785.tif 000021
【図８】
0003816785.tif 000022
【図９】
0003816785.tif 000023
【図１０】
0003816785.tif 000024
【図１１】
0003816785.tif 000025
【図１２】
0003816785.tif 000026
【図１３】
0003816785.tif 000027
【図１４】
0003816785.tif 000028
【図１５】
0003816785.tif 000029
【図１６】
0003816785.tif 000030
【図１７】
0003816785.tif 000031
【図１８】
0003816785.tif 000032
【図１９】
0003816785.tif 000033
【図２０】
0003816785.tif 000034
【図２１】
0003816785.tif 000035
【図２２】
0003816785.tif 000036
【図２３】
0003816785.tif 000037
【図２４】
0003816785.tif 000038
【図２５】
0003816785.tif 000039
【図２６】
0003816785.tif 000040