(57)【特許請求の範囲】
【請求項１】
複数台の撮像装置によって撮影された複数の画像を用いて、前記複数の画像間の対応付けをすることで視差を計測し、前記視差を用いて基準平面を３次元的に推定し、前記基準平面より上に存在する物体を抽出し、抽出された前記物体の３次元位置を順次追跡し、追跡中に得られる前記物体の３次元情報の時間的変化を特徴量として前記物体を識別するステレオ画像処理方法。
【請求項２】
複数台の撮像装置によって撮影された複数の画像を用いて、前記複数の画像間の視差を計測する対応付け部と、前記視差を用いて基準平面を３次元的に推定する平面推定部と、前記基準平面より上に存在する物体を抽出する物体抽出部と、前記物体抽出部で抽出された前記物体の３次元位置を順次追跡する追跡部と、追跡中に得られる前記物体の３次元情報の時間的変化を特徴量として前記物体を識別する識別部を持つステレオ画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像処理を用いた侵入者等の監視方法および装置に関する。
【０００２】
【従来の技術】
画像処理を用いて侵入者等を検出する従来の技術として、一台の撮像装置を用いる単眼画像処理では、撮影時刻の異なる過去と現在の画像同士を差分処理することによって、変化が生じた画像領域を抽出し、この領域を侵入者が存在する領域と判断し、画像上での侵入者領域の重心位置を２次元的に追跡するなどして、画像上での２次元的な移動量、見かけの大きさ、移動方向等から前記動物体が侵入者であるか、検出する必要のない小動物等であるかを識別していた。
【０００３】
一方、ステレオ画像処理を用いた技術としては、例えば特開平７−９７３３７号公報に記載の侵入物監視装置がある。検出すべき物体の識別において、あらかじめ物体の存在しない時の３次元情報を獲得しておき、現在の３次元情報と比較して、過去と現在の３次元情報の間に変化があり、かつ物体の大きさが所定の大きさであれば警報を出力するようになっている。
【０００４】
具体的な構成を図８を用いて説明する。光軸が互いに平行であり、かつ互いの画像が水平になるように配置された２台の撮像装置からなるステレオカメラ１０によって撮影された画像は、ステレオ画像処理装置２０に入力される。ステレオ画像処理装置２０では、例えば左の撮像装置の画像をいくつかの小領域に分割し、各小領域ごとに右画像から小領域と相関の高い領域を見つける。左右画像間にて相関の高い領域、すなわち同一物体の同一部分が撮像されている領域を見つける処理は一般的に対応付け、あるいはマッチングと呼ばれる。左右画像間において対応付けられた領域の水平方向位置のズレ量が視差であり、視差は遠方の物体ほど小さくなる。侵入物検出装置７０では、まず、視差を３画測量の原理を用いて座標変換することによって、実空間上の一点を示す位置データに変換する。
【０００５】
次に、実空間を仮想的に０. ２ｍ〜０. ５ｍの立方格子状に分割し、各立方格子内に含まれる位置データの数をカウントし、一定以上の位置データが獲得できている場合に物体が存在すると判断する。既存の物体ではないと判断されれば、次に大きさによって物体を識別し、検出すべき物体であれば警報装置９０によって警報を発する。そして、物体が撮像範囲から外れないように物体を追跡処理し、必要があればカメラ回転装置１３によりカメラを回転しながら撮影する。また、ステレオ画像処理では、複数の撮像装置からなるステレオカメラを用いるが、撮像装置と画像処理部間の画像データの伝送は、図８からも明らかなように、撮像装置の台数分の映像ケーブル６０を必要としていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の単眼画像処理による侵入者の検出では、２次元情報である画像を用いているため、撮像装置の光軸方向である、奥行き方向の位置や実空間での大きさは把握することができなかった。代わりに画像上で２次元的に物体を追跡し、見かけの移動量や大きさを特徴量として用いて、侵入者等とその他の物体を識別していたが、識別の精度は十分でなく、誤った警報が発生しやすかった。
【０００７】
一方、従来のステレオ画像処理を応用した侵入者の検出では、左右２枚の画像を用いることによって、実空間の３次元情報を獲得しており、過去と現在、時刻の異なる３次元情報を比較して侵入物体を抽出し、実空間での大きさを計測して侵入物体が侵入者であるかを識別していた。しかし、ある瞬間だけの大きさを用いて、侵入物体が侵入者であるかその他の物体であるかを識別するのでは、３次元情報等の計測誤差の影響を受けやすく、誤った識別結果となることが考えられる。また、移動方向や移動速度等といった３次元情報の時間的変化も計測することが出来ない。
【０００８】
また、従来のステレオ画像処理装置において、複数の撮像装置からの画像データの入力は、撮像装置の台数分の映像ケーブルを必要としていたため、配線が通常の監視カメラに比較して複雑であり、配線の簡単化が望まれている。
【０００９】
本発明は、上記従来の課題を解決するものであり、高精度で物体識別が可能であり、結果として誤報が少ないステレオ画像処理方法および装置を提供することを目的とする。また本発明は、画像を多重化することで、一本の伝送路で複数の撮像装置の画像データを伝送することが可能な侵入物体監視システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明は、ステレオ画像処理によって基準平面より上に存在する物体を抽出し、これによって得られる物体の実空間における３次元位置を順次追跡することで、見かけの大きさや移動量ではなく、実際の大きさや移動量といった、３次元情報の時間的変化を獲得することにより、高精度で物体識別が可能であり、誤報を少なくすることができる。
【００１１】
【発明の実施の形態】
請求項１に記載の発明は、複数台の撮像装置によって撮影された複数の画像を用いて、前記複数の画像間の対応付けをすることで視差を計測し、前記視差を用いて基準平面を３次元的に推定し、前記基準平面より上に存在する物体を抽出し、前記物体の３次元位置を順次追跡し、追跡中に得られる前記物体の３次元情報の時間的変化を特徴量として前記物体を識別するステレオ画像処理方法である。
【００１２】
請求項２に記載の発明は、複数台の撮像装置によって撮影された複数の画像を用いて、前記複数の画像間の視差を計測する対応付け部と、前記視差を用いて基準平面を３次元的に推定する平面推定部と、前記基準平面より上に存在する物体を抽出する物体抽出部と、前記物体の３次元位置を順次追跡する追跡部と、追跡中に得られる前記物体の３次元情報の時間的変化を特徴量として前記物体を識別する識別部を持つステレオ画像処理装置である。
【００１３】
これらの構成により、ステレオ画像処理によって撮像空間の３次元情報を獲得し、道路、床等基準平面より上に存在する物体を抽出し、物体の３次元位置を順次追跡する事ができるため、算出される特徴量の精度も向上し、結果的にこれを用いて行う物体識別の精度をも向上することができる。特徴量として用いている３次元情報の時間的変化とは具体的に以下の様である。
【００１４】
第一の特徴量として、検出開始時刻と検出終了時間の差分を計測する。一定時間以上の間検出され続けなかった物体は、３次元情報に含まれる単発的なエラーや、飛来する鳥等、侵入者以外であると判断することができる。
【００１５】
第二の特徴量として、現在検出されている物体を３次元的に追跡し、検出開始時から検出終了時までの実空間での移動量を算出する。これによって何らかの要因で静止物体等が監視領域に置かれた場合等と、移動する侵入者を識別することができる。
【００１６】
第三の特徴量として、現在検出されている物体の追跡中に、物体の実空間での幅、高さ、奥行き等の大きさの最大値、最小値、平均値、分散値等を算出する。これによって侵入者と小動物等の物体を識別することができる。
【００１７】
第四の特徴量として、現在検出されている物体の追跡中に、物体の実空間での移動方向を算出する。これによって侵入者と退出者を区別することができる。
【００１８】
第五の特徴量として、現在検出されている物体の追跡中に、物体の実空間での移動速度を算出する。これによって侵入者と鳥等を区別することができる。なお、第一から第五の特徴量を統合的にすべて用いて物体を識別しても良いし、一部のみで侵入者を精度よく識別することも可能であるし、その他の特徴量も併せて用いてもかまわない。
【００１９】
請求項３に記載の発明は、複数台の撮像装置と、請求項２記載のステレオ画像処理装置と、前記ステレオ画像処理装置からの警報信号を受けて、前記警報信号が発せられる前後の画像を記録する画像蓄積部とを持つことを特徴とする侵入物体監視システムである。以上の構成により、請求項１、請求項２の発明の効果と同様に、ステレオ画像処理によって、撮像空間の３次元情報を獲得し、床、道路等基準平面の位置を実空間座標系で推定し、基準平面より上に存在する物体を抽出し、抽出された物体の実空間での３次元位置や大きさ等を用いて追跡する事ができるため、算出される特徴量の精度も向上し、結果的には物体を識別する精度をも向上することができる。
【００２０】
請求項４に記載の発明は、複数台の撮像装置と、前記複数台の撮像装置によって得られる複数の画像を多重して伝送する画像多重伝送部と、多重化された画像を再度複数の画像に復元する画像多重受信部と、請求項２記載のステレオ画像処理装置と、前記ステレオ画像処理装置からの警報信号を受けて、前記警報信号が発せられる前後の画像を記録する画像蓄積部を持つことを特徴とする侵入物体監視システムとしたものである。以上の構成により、複数の撮像装置とステレオ画像処理装置間の画像データ伝送において、複数の撮像装置によって得られる複数の画像を多重化して伝送する事ができるため、画像データの伝送路である映像用ケーブルが一本で済み、既設の監視カメラ用映像ケーブルを用いても複数の撮像装置の映像をステレオ画像処理装置に伝送することができると同時に、請求項１、請求項２、請求項３の発明と同様にステレオ画像処理によって得られた撮像範囲の３次元情報を用いて、基準平面を推定し、基準平面より上にある物体を抽出し、抽出された物体の実空間での３次元位置や大きさ等を用いて高度に追跡する事ができるため、算出される特徴量の精度も向上し、結果的には物体を識別する精度をも向上することができる。
【００２１】
（第１の実施の形態）
以下、本発明の実施の形態を図面を参照して説明する。
本発明の第１の実施の形態は、対応付け部と平面推定部と物体抽出部と追跡部と識別部を備えたステレオ画像処理装置であり、以下、図１、図２、図３を用いて説明する。図１において、ＳＴＣＡＭは複数台の撮像装置を示しており、ここでは光軸が平行でかつ水平に配置された左右２台の撮像装置から構成されるステレオカメラであるとする。ＳＴＰＲＣはステレオ画像処理装置を示し、その内部に対応付け部３ＤＳＮＳ、平面推定部ＥＳＴ、物体抽出部ＥＸＴ、追跡部ＴＲＣ、識別部ＲＣＧ、等を備える。以下、各部の機能について具体的に説明する。
【００２２】
（対応付け部３ＤＳＮＳ）
対応付け部３ＤＳＮＳでは、ステレオカメラによって得られた画像を逐次入力する。２台のカメラから得られる画像の内、左カメラの画像を基準画像として考える。基準画像を水平Ｘ方向へＮ分割、垂直Ｙ方向へＭ分割し、図２の基準画像I ＭＰようにＮ×Ｍ個の格子状のブロックに区切る。このブロックの単位で、もう一方の右画像中から相関の高い同一矩形領域を見つけだす対応付け処理を行う。例えば基準画像内における水平位置Ｌｘのブロックと、右画像内の水平位置Ｒｘの領域が対応づけられた場合、（１）式によって左右画像間における水平方向のズレ量Ｄが得られ、このズレ量は視差と呼ばれている。基準画像中のブロックの水平方向インデックスをＸ、垂直方向のインデックスをＹとして各ブロック毎の視差Ｄは以下のように求めることができる。
Ｄ（Ｘ，Ｙ）＝｜Ｒｘ−Ｌｘ｜                ・・・（１）
【００２３】
（平面推定部ＥＳＴ）
次に、計測されたブロック単位の視差を用い、道路、床等、画像中の大部分を占める、床や道路等の基準平面の位置を３次元的に推定し、平面の視差ＤＰ（Ｘ，Ｙ）として出力する。まず、ブロック毎に得られた視差Ｄ（Ｘ，Ｙ）を、図２に示すＸ−Ｙ−Ｄ座標上にプロットする。インデックスＹ（１≦Ｙ≦Ｎ）を固定したときの平面自体の視差Ｄ（Ｘ，Ｙ）は一本の直線上にあるはずなので、ハフ変換によってこの直線を近似する。この直線は推定しようとする平面を通過していることから平面通過直線ＰＬＮＬと呼ぶことにする。ハフ変換によって得られる平面通過直線の直線パラメータとして、直線からＹ軸へ下ろした垂線の長さρと、垂線の傾きθを用いることにすると、各平面通過直線ＰＬＮＬには（２）式のような関係が成立する。
ρY ＝Ｘsin θY ＋Ｙsin θY   ｛１≦Ｘ≦Ｍ、１≦Ｙ≦Ｎ｝・・・（２）
ただし、ρY ：Ｙ軸から平面通過直線までの距離
θY ：平面通過直線から下ろした垂線とＸ−Ｙ平面がなす角度
（添字Ｙは各インデックスＹを示す）
【００２４】
同様にすべての各インデックスＹ毎に平面通過直線を近似すると、結果として基準平面ＰＬＮは平面通過直線群で近似できるようになり、平面の位置すなわち平面の視差ＤＰ（Ｘ，Ｙ）を大局的に推定する事ができる。平面の位置を推定する場合は、画像中に検出すべき物体が無い状況で行うことが望ましいが、必ずしも無い状況でなければならない訳ではない。
【００２５】
（物体抽出部ＥＸＴ）
物体抽出部では、視差Ｄ（Ｘ，Ｙ）と、推定した平面の視差ＤＰ（Ｘ，Ｙ）を用いて座標変換を行い、物体の高さＨ、平面上での奥行き方向の距離Ｖ、平面上における幅方向の距離Ｕを算出した後、基準平面より上に存在している物体を抽出する。
実空間での物体の高さＨ（Ｘ，Ｙ）は、図３に示すような複数台の撮像装置ＳＴＣＡＭと基準平面ＰＬＮと物体ＯＢＪとの幾何学的関係において（３）式を用いて算出できる。
【数１】
0003664892.tif 000002
・・・（３）
ただし、Ｄ（Ｘ，Ｙ）：物体ＯＢＪの視差
ｈ  ：撮像装置の道路面からの高さ
ＤＰ（Ｘ，Ｙ）：平面ＰＬＮの視差
【００２６】
図３中、平面上での奥行き方向の距離Ｖ（Ｘ，Ｙ）もまた、撮像装置と基準平面と物体との幾何学的関係から（４）式を用いて算出できる。（４）式では撮像装置からの距離ＺおよびＺＰが必要となるが、これらは（５）式によって視差Ｄおよび平面の視差ＤＰからそれぞれ変換して得られる。
【数２】
0003664892.tif 000003
0003664892.tif 000004
ただし、Ｚ（Ｘ，Ｙ）：撮像装置から物体までの距離
ｈ  ：撮像装置の平面からの高さ
ＺＰ（Ｘ，Ｙ）：撮像装置から平面までの距離
θ  ：撮像装置の俯角
距離＝Ｂ×ｆ／視差                              ・・・（５）
ただし、Ｂ  ：撮像装置の配置間隔
ｆ  ：撮像装置のレンズ焦点距離
【００２７】
また、基準画像上での水平方向位置Ｌｘを、物体の実空間における幅方向位置Ｕに変換するには、（６）式を用いる。
【数３】
0003664892.tif 000005
0003664892.tif 000006
ただし、ｈ  ：ステレオカメラの平面からの高さ
θ  ：ステレオカメラの俯角
f   ：レンズの焦点距離
Ｌｘ，Ｌｙ：基準画像中のブロックの水平位置と垂直位置
以上の座標変換処理により、物体の各部の位置を図３のような実空間における３次元座標系（Ｕ，Ｖ，Ｈ）で示すことができるようになる。
【００２８】
次に、物体の存在しているであろう領域を抽出する物体抽出処理を行う。床、道路等の平面から一定以上の高さＨをもつブロックを抽出し、実空間で互いに近距離にあるならば、同一物体と見なしてこれらをラベリングする事により実空間における重心位置を算出し、物体の３次元位置とする。
【００２９】
（追跡部ＴＲＣ）
追跡部ＴＲＣでは、前記物体検出処理にて基準平面より上に物体が存在すると判断された場合、物体の実空間上での３次元位置を順次追跡する。ある時刻Ｔにおける物体の３次元位置をＰ１（ｕ１，ｖ１．ｈ１）とし、以降の時刻Ｔ＋Δ（Δは対応付け部の処理周期）における位置をＰ２（ｕ２，ｖ２，ｈ２）とすると、実空間での移動量は（７）式で算出され、処理周期Δ間における位置変化量がある範囲以内であり、物体の幅、高さ等の変化量も一定範囲内であれば、時刻Ｔと時刻Ｔ＋Δに抽出された物体は同一物体であると考えられ、物体はＰ１（ｕ１，ｖ１. ｈ１）からＰ２（ｕ２，ｖ２，ｈ２）に移動したこととする。以上の追跡処理は物体抽出部において物体が抽出されている期間、繰り返し行われる。
【数４】
0003664892.tif 000007
0003664892.tif 000008
各時刻における物体の位置や大きさを、追跡データとして追跡終了まで保持する。
【００３０】
（識別部ＲＣＧ）
識別部ＲＣＧでは、追跡によって得られる前記物体の３次元情報である位置や大きさの時間的変化を示す特徴量を算出して前記物体を識別する。３次元情報の時間的変化とは、例えば検出時間、移動量、大きさ、移動方向、移動速度等の特徴量である。
【００３１】
検出時間は、同一物体を追跡によって得られる追跡開始時刻Ｔ１から追跡終了時刻Ｔ２までの差分によって算出される。一般的に鳥等は比較的高速で移動して撮像範囲から外れるので連続して検出される時間が短く、人間は比較的低速で移動するので連続して撮像範囲中で検出される時間が長い。検出時間の長短によって鳥等と侵入者とを識別することができる。
【００３２】
移動量は、物体の追跡開始時から追跡終了時までにおいて、実空間での３次元的な追跡開始位置から追跡終了位置までの距離や、追跡開始位置から物体が最遠となる距離である。対応付けのエラーや、照明変化等によって、新たな物体があるかのような３次元情報が物体抽出部により得られた場合や、木が大きく揺れている場合であっても、これらがさらに侵入者等のように移動することは考えられないので、移動する侵入者等と識別することができる。
【００３３】
大きさは、実空間での物体の幅や高さ等であり、追跡中に随時計測する。追跡中の平均の大きさや分散であっても、追跡中の最大あるいは最小の大きさであってもよい。人間の標準的な大きさと比較してある割合以上小さい場合や、ある割合以上大きい場合にこれらを侵入者以外の物体であると識別することができる。実空間における幅は物体抽出部において得られる平面上での幅方向の距離Ｕ（Ｘ，Ｙ）を用いて、物体の左端位置と右端位置の差分によって得られ、高さは床、道路等からの高さであり、物体抽出部で得られる高さＨ（Ｘ，Ｙ）を用いる。
【００３４】
移動方向は、実空間で物体が移動する方向である。追跡開始時から追跡終了時までに物体がどの方向に移動したかを算出する。例えば実空間における追跡開始点と追跡終了点を結ぶことで得られるベクトルから求めることができる。移動方向によって、施設内からの退出者と、施設外からの侵入者を識別することができる。
【００３５】
移動速度は、実空間で物体が移動する速度である。追跡中のある時刻Ｔ１からＴ２までの実空間での移動量を、所要時間であるＴ１とＴ２の差分絶対値で除算することで得られる。移動速度は鳥等小動物が比較的速く、人間等は比較的遅いので移動速度が閾値以下であれば侵入者等人間であると判断することができる。
【００３６】
検出時間、移動量、大きさ、移動方向、移動速度の合計５つの特徴量を統合的に用いて物体が何であるかの識別を行う方法としては、まず各特徴量毎に物体が侵入者であるかどうかを識別し、識別結果が真である特徴量の数が閾値ＴＨ以上あれば物体は侵入者であると判断することが考えられる。閾値ＴＨはこの場合５以下１以上の値である。
【００３７】
なお、上記の５つの特徴量をすべて用いて物体を識別しても、一部を用いて識別しても、その他の３次元情報の時間的変化を示す特徴量と併せて用いて物体識別を行ってもかまわない。
【００３８】
以上のように、本実施の形態１によれば、ステレオ画像処理によって得られる物体の実空間上の位置や大きさを用いて３次元的に追跡できるため、物体識別の特徴量である３次元情報の時間的変化を高精度に算出でき、結果として侵入物体の識別の精度も向上し、誤報の少ないステレオ画像処理装置とすることができる。
【００３９】
なお、本実施の形態１と、従来の単眼画像処理と、従来のステレオ画像処理との構成の違いを比較したのが表１である。
【表１】
0003664892.tif 000009
【００４０】
（第２の実施の形態）
本発明の第２の実施の形態は、左右画像の対応付けによって視差を計測し、視差を用いて基準平面の位置を３次元的に推定し、基準平面上に存在する物体を抽出し、これを３次元的に追跡して、検出時間、移動量、大きさ、移動方向、移動速度等を算出し、これらを統合的に用いた識別処理を行うことで、物体の種別を識別するステレオ画像処理方法である。図４の処理のフロー図を用いて各処理ステップの処理概要を説明する。なお、各ステップのより具体的処理内容は第１の実施の形態でも説明したので省略する。
【００４１】
ステップＦ０１では、ステレオ画像を入力する。ステップＦ０２では、左右画像間で対応付け処理を行い、左画像に設定したブロック単位で視差を獲得する。ステップＦ０３では、床、道路等基準平面の位置を３次元的に推定し、ステップＦ０４では、平面位置を基準とした座標系で物体の３次元情報を表現できるよう座標変換を行う。ステップＦ０５では、平面上に存在する物体を抽出する。ステップＦ０６では、Ｆ０５にて平面上に物体が存在すると判断された場合はステップＦ０７に進み、物体がないと判断された場合はＳＴＡＲＴに戻る分岐処理を行う。ステップＦ０７では、処理周期毎に物体の位置を３次元的に順次追跡する。ステップＦ１１では、追跡によって得られる追跡開始時刻と追跡終了時刻の差分から検出時間を算出し、検出時間の長短によって物体を識別できるようにする。ステップＦ１２では、追跡によって、物体の実空間での移動方向を計測し、例えば入場者と退場者を識別できるようにする。ステップＦ１３では、物体の実空間における幅や高さ等の大きさを計測し、大きさによって、猫、鳥等小動物と、侵入者等を識別することができるようにする。ステップＦ１４では、物体の実空間における移動速度を計測し、鳥等高速に移動する物体と人間等、低速で移動する物体を区別できるようにする。ステップＦ１５では、物体の実空間における移動量を算出し、移動しない静止物体と移動する動物体を識別できるようにする。ステップＦ１６では、ステップＦ１１〜Ｆ１５にて得られた特徴量の一部あるいは全部を利用して物体の識別を行う。数種の特徴量を統合的に用いて物体を識別する方法としては、例えば侵入者の条件を満たしているかを各特徴量毎にまず判定し、各特徴量毎の識別結果が真であった数が一定以上であった場合に、物体は侵入者であると識別することが考えられる。そして、侵入者等警報を発すべき物体であったと識別された場合は、警報信号を出力する。
【００４２】
以上のように、本実施の形態２によれば、ステレオ画像処理によって得られる物体の３次元情報を用いて高度に物体追跡することによって、物体の３次元情報の時間的変化を示す特徴量が正しく得られ、結果的に精度良く物体の識別が行えるため、誤報の少ないステレオ画像処理方法とすることができる。
【００４３】
（第３の実施の形態）
本発明の第３の実施の形態は、ステレオ画像処理を用いた侵入物体監視システムである。図５に本実施の形態３におけるの侵入物体監視システムの構成を示す。複数の撮像装置ＳＴＣＡＭによって撮影された左右一組のステレオ画像は、第１の実施の形態に記載したステレオ画像処理装置ＳＴＯＲＣに入力され、このステレオ画像処理装置内の識別部によって、侵入者等警報を発すべき物体と識別された場合、警報部ＡＬＭと画像蓄積部ＳＴＲに警報信号を出力し、警報部ＡＬＭは警報を発し、画像蓄積部ＳＴＲは警報の前後の画像を磁気ディスク等に蓄積する。なお、複数の撮像装置ＳＴＣＡＭ、ステレオ画像処理装置ＳＴＰＲＣについては第１の実施の形態でも説明したので詳細は省略する。
【００４４】
警報部ＡＬＭは、画像中に侵入者等が存在すると判断された場合に、識別部ＲＣＧより出力される警報信号を受けて、音、光、振動等で監視員に注意を喚起し、あるいは侵入者に警報を発する。画像蓄積部ＳＴＲは、識別部ＲＣＧから警報信号が出力された時点の前後の画像をＨＤＤや光ディスク、テープに記録蓄積する。画像蓄積部ＳＴＲでは、画像遅延手段であるフレームバッファ等を用いることで、警報信号が発せられた数秒間前の画像も記録することができる。なお、画像のみではなく、音声等も同時に記録しておくことも可能である。モニターＭＮＴＲは、複数の画像を表示したり、画像蓄積部ＳＴＲに記録された画像を表示したりする。
【００４５】
以上のように、本実施の形態３によれば、物体の３次元位置と大きさ等ステレオ画像処理によって得られる３次元情報を用いて３次元的に物体を追跡する事で、物体識別の特徴量である３次元情報の時間的変化が高精度に得られ、最終的には誤報が少ない侵入物体監視システムとすることができる。
【００４６】
（第４の実施の形態）
本発明の第４の実施の形態は、図６に示すように、第３の実施の形態で説明した侵入物体監視装置システムの複数の撮像装置ＳＴＣＡＭとステレオ画像処理装置ＳＴＰＲＣの間に、画像多重伝送部ＳＮＤと画像多重受信部ＲＣＶを挿入した侵入物体監視システムである。複数の撮像装置ＳＴＣＡＭによって撮影された左右一組のステレオ画像は、画像多重伝送部ＳＮＤに入力される。画像多重伝送部ＳＮＤでは、複数の画像であるステレオ画像を多重化して伝送、送出する。画像多重受信部ＲＣＶでは、多重化された画像データを再度複数の画像、つまりステレオ画像に戻す処理を行う。ステレオ画像処理装置ＳＴＰＲＣ内の識別部ＲＣＧで物体を識別し、侵入者等警報を発すべき物体であるとされた場合、警報部ＡＬＭと画像蓄積部ＳＴＲに警報信号を出力し、警報部ＡＬＭは警報を発し、画像蓄積部ＳＴＲは、警報の前後の画像を磁気ディスク等に蓄積する。なお、複数の撮像装置ＳＴＣＡＭ、ステレオ画像処理装置ＳＴＰＲＣについては第１の実施の形態、警報部ＡＬＭおよび画像蓄積部ＳＴＲについては第３の実施の形態で説明したので詳細は省略する。
【００４７】
画像多重伝送部ＳＮＤは、同一時刻に撮影された複数の画像を多重して伝送する。複数の画像の多重化方法としては、フィールド毎に多重、周波数多重、時分割多重が考えられる。フィールド毎に多重する場合は、２枚のフィールド画像を同一フレーム内の第一フィールドと第二フィールドに多重化して画像を伝送する。図７を用いて具体的に説明する。ステレオ画像処理においては、同時刻に撮影された左右２枚からなるステレオ画像を用いる必要があるため、一旦それぞれの画像をフィールドメモリまたはフレームメモリＦＭＲ、ＦＭＬに保持する。次に左右の画像が保持されているメモリから、奇数あるいは偶数のいずれか同じフィールドの画像を取り出し、一枚のフレーム画像として合成、多重したのが左右多重画像ＭＬＴＩＭＧである。画像多重伝送部ＲＣＶでは、この左右多重画像を伝送、送出する。この場合、画像多重受信部ＲＣＶでは、左右多重画像像からそれぞれ左フィールド画像と右フィールド画像を分離して復調する。
【００４８】
周波数多重して伝送する場合は、多重化する左右画像の映像信号帯域が互いに重ならないように周波数をずらして周波数軸上に配置して伝送する。この場合、画像多重受信部ＲＣＶは、複数の画像が周波数多重された信号から、それぞれの画像の映像信号帯域を、帯域通過フィルタを用いて分離して復調する。周波数多重は、放送、電話網等でも用いられている。
【００４９】
時分割多重して伝送する場合は、複数の画像が同時刻に撮影された右画像と左画像の２つの画像であるとした場合、時刻Ｔ１には右画像の信号、時刻Ｔ２には左画像の信号、時刻Ｔ３には右画像の信号といった順に順次切り替えて伝送する。この場合画像多重受信部では、伝送された順番で各画像のデータを受信して左右の画像を復調する。なお、いずれの多重化方法も伝送路は無線であってもかまわないし、光ケーブルを用いて多重化した画像を伝送することも可能である。
【００５０】
以上のように、本実施の形態４によれば、ステレオ画像処理によって得られる物体の３次元位置と大きさ等を用いて３次元的に追跡する事で、特徴量である３次元情報の時間的変化が高精度に得られ、最終的には誤報なく侵入者等を識別することができる。また、複数の撮像装置によって撮影された画像を一本の伝送路に多重化して伝送することで、複数の撮像装置と３次元情報処理部との間の配線を簡単にすることができ、また、既存の監視カメラ用の映像信号伝送路をそのまま用いても、複数の画像からなるステレオ画像を伝送することができるようになる。
【００５１】
【発明の効果】
以上のように、本発明によれば、第１の効果として、ステレオ画像処理によって、撮像範囲内の視差を獲得し、床や道路等基準平面を３次元的に推定し、基準平面より上にある物体を抽出し、この物体の３次元位置を順次追跡する事で、見かけではなく実際の移動量、大きさ、移動方向、移動速度等、物体の３次元情報の時間的変化を示す特徴量を精度良く取得でき、これを用いて物体を識別するため、結果として誤報の少ないステレオ画像処理方法およびステレオ画像処理装置と、侵入物体監視システムを提供することができる。
【００５２】
第２の効果として、複数の撮像装置からステレオ画像処理装置へ画像を伝送する際、多重化して伝送することによって、複数の伝送路を必要としない侵入物体監視システムとする事ができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるステレオ画像処理装置の構成図
【図２】本発明の第１の実施の形態における平面推定部が道路、床等の平面の位置を３次元的に推定する際の原理を示す説明図
【図３】本発明の第１の実施の形態にけるステレオ画像処理装置の物体抽出部が座標変換を行う様子の説明図
【図４】本発明の第２の実施の形態におけるステレオ画像処理方法の処理の流れを示すフロー図
【図５】本発明の第３の実施の形態における侵入物体監視システムの構成図
【図６】本発明の第４の実施の形態における侵入物体監視システムの構成図
【図７】本発明の第４の実施の形態における画像多重伝送部の動作内容を示す説明図
【図８】従来の技術である侵入者監視装置の構成図
【符号の説明】
ＳＴＣＡＭ  複数台の撮像装置、ステレオカメラ
ＳＴＰＲＣ  ステレオ画像処理装置
３ＤＳＮＳ  対応付け部
ＥＳＴ  平面推定部
ＥＸＴ  物体抽出部
ＴＲＣ  追跡部
ＲＣＧ  識別部
ＰＬＮ  道路、床等の平面
ＰＬＮＬ  平面通過直線
ＩＭＰ  基準画像面
ＯＢＪ  侵入者等の物体
ＳＮＤ  画像多重伝送部
ＲＣＶ  画像多重受信部
ＳＴＲ  画像蓄積部
ＭＮＴＲ  モニタ
ＡＬＭ  警報部
ＦＭＲ，ＦＭＬ  左右それぞれの画像データを保持するフレームメモリ
ＭＬＴＩＭＧ  左右多重画像
ＬＩＭＧ，ＲＩＭＧ  左右それぞれのフィールド画像
【図１】
0003664892.tif 000010
【図２】
0003664892.tif 000011
【図３】
0003664892.tif 000012
【図４】
0003664892.tif 000013
【図５】
0003664892.tif 000014
【図６】
0003664892.tif 000015
【図７】
0003664892.tif 000016
【図８】
0003664892.tif 000017