(57)【要約】【課題】複数の撮像装置を用いることなく道路、建築物等の３次元構造を推定して、道路上の障害物などの３次元構造物を検知するための監視領域を容易に設定することができる映像監視システム及び監視領域設定方法を提供する。【解決手段】垂直線群検出部２は、複数のオブジェクトが存在する映像中の複数の垂直線からなる垂直線群を検出し、垂直面推定部３は、垂直線群検出部２が検出した映像中の垂直線群から垂直面の領域を推定し、領域分割部４は、垂直面推定部３が推定した垂直面の領域を用いて映像中の垂直面の領域と水平面の領域を分割し、そして、分割した水平面の領域の水平方向に最も狭い部位を検出して消失線と設定すると共に設定した消失線より下側の領域を地平面の領域と設定し、さらに設定した垂直面の領域、及び、水平面の領域、もしくは、地平面の領域について、個別にオブジェクトを検知するための監視領域として設定する。【選択図】図１
2008293400.tif 000002
【特許請求の範囲】
【請求項１】
１つの撮像装置で撮影された複数のオブジェクトが存在する映像の中から複数の垂直線からなる垂直線群を検出する垂直線群検出手段と、
前記垂直線群検出手段で検出された前記映像中の垂直線群から垂直面の領域を推定する垂直面推定手段と、
前記垂直面推定手段で推定された垂直面の領域を用いて前記映像中の垂直面の領域と水平面の領域を分割する領域分割手段と、
を備える映像監視システム。
【請求項２】
前記垂直線群検出手段は、前記映像中の任意の監視領域の垂直線群を検出する請求項１に記載の映像監視システム。
【請求項３】
前記垂直線群検出手段は、前記映像中の垂直線群の検出分解能を任意に設定し、垂直線群を検出する請求項１又は請求項２に記載の映像監視システム。
【請求項４】
前記垂直面推定手段は、前記映像中の前記垂直線群の空間密度を検出し、垂直面の領域を推定する請求項１乃至請求項３のいずれかに記載の映像監視システム。
【請求項５】
前記垂直面推定手段は、前記映像中の前記垂直線群の空間密度の検出分解能を任意に設定し、垂直面の領域を推定する請求項４に記載の映像監視システム。
【請求項６】
前記領域分割手段は、前記垂直面推定手段で推定された垂直面の領域に基づき、前記映像中の垂直面の領域と水平面の領域を分割する請求項１乃至請求項５のいずれかに記載の映像監視システム。
【請求項７】
前記領域分割手段は、前記映像中で分割された水平面の領域の水平方向に最も狭い部位を検出し、消失線と設定する請求項６に記載の映像監視システム。
【請求項８】
前記領域分割手段は、前記映像中で設定された水平面の領域の消失線より下側の領域を地平面の領域と設定する請求項７に記載の映像監視システム。
【請求項９】
前記領域分割手段は、前記映像中で設定された垂直面の領域、及び、水平面の領域、もしくは、地平面の領域について、個別にオブジェクトを検知するための監視領域として設定する請求項８に記載の映像監視システム。
【請求項１０】
前記領域分割手段によって設定された前記オブジェクトの監視領域を操作者が任意に修正できる請求項９に記載の映像監視システム。
【請求項１１】
１つの撮像装置で撮影された複数のオブジェクトが存在する映像の中から複数の垂直線からなる垂直線群を検出する工程と、
前記工程で得られた前記映像中の垂直線群から垂直面の領域を推定する工程と、
前記工程で得られた垂直面の領域を用いて前記映像中の垂直面の領域と水平面の領域を分割する工程と、
前記工程で得られた水平面の領域の水平方向に最も狭い部位を検出し、消失線と設定する工程と、
前記工程で得られた前記消失線より下側の領域を地平面の領域と設定する工程と、
前記工程で得られた垂直面の領域、及び、水平面の領域、もしくは、地平面の領域について、個別にオブジェクトを検知するための監視領域として設定する工程と、
を備える監視領域設定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等で撮影された映像内で物体検知や動き検知を行う映像監視システム及び該映像監視システムにおける監視領域設定方法に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置で撮像された映像から立体物を検出する手法が提案されている。特許文献１には、映像中の白線や道路端を画像処理によって抽出した画像道路情報と、地図道路情報を用い、３次元道路形状を推定する手法が開示されている。また、特許文献２には、複数のカメラによる左右画像の任意の点の対応関係を表すパラメータを計算し、道路平面に対して実質的に垂直上方向に一定以上の大きさを有する物体を検出する手法が開示されている。
【０００３】
【特許文献１】特開２００１−３３１７８７号公報
【特許文献２】特開２００６−５３８９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示されている手法は、道路、建築物等の３次元構造を推定するために、映像中の白線や道路端を画像処理によって抽出した画像道路情報の他に地図データを必要とし、また道路上の障害物などの３次元構造物を検知するために、レーダなどの別の計測手段を必要とするため、カメラ等の撮像装置で撮像された映像のみで、３次元形状を推定することができない。
【０００５】
また、特許文献２に示されている手法は、３次元構造物を推定するために、複数のカメラ等の撮像装置を必要とし、また左右画像と左右画像の任意点の対応関係を表すパラメータの計算が必要となるため、設備の規模が大きくなり且つ高価になる。
【０００６】
本発明は、係る事情に鑑みてなされたものであり、複数の撮像装置を用いることなく道路、建築物等の３次元構造を推定して、道路上の障害物などの３次元構造物を検知するための監視領域を容易に設定することができる映像監視システム及び監視領域設定方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の映像監視システムは、１つの撮像装置で撮影された複数のオブジェクトが存在する映像の中から複数の垂直線からなる垂直線群を検出する垂直線群検出手段と、前記垂直線群検出手段で検出された前記映像中の垂直線群から垂直面の領域を推定する垂直面推定手段と、前記垂直面推定手段で推定された垂直面の領域を用いて前記映像中の垂直面の領域と水平面の領域を分割する領域分割手段と、を備える。
【０００８】
この構成によれば、１つの撮像装置で撮影された映像から、道路、建築物等の３次元構造物を画像処理によって推定し、撮影された映像中の水平面の領域、垂直面の領域を分離／抽出することが可能となる。
【０００９】
また、上記構成において、前記垂直線群検出手段は、前記映像中の任意の監視領域の垂直線群を検出する。
【００１０】
この構成によれば、撮像装置で撮影された映像中の一部の監視領域のみの垂直線群を検出することが可能となり、演算量を削減することが可能となる。
【００１１】
また、上記構成において、前記垂直線群検出手段は、前記映像中の垂直線群の検出分解能を任意に設定し、垂直線群を検出する。
【００１２】
この構成によれば、撮像装置で撮影された映像の全ての領域を監視領域として、垂直線群を検出する場合、検出分解能を低くすることにより、演算量の削減と、検出の高速化を実現することが可能となる。
【００１３】
また、上記構成において、前記垂直面推定手段は、前記映像中の前記垂直線群の空間密度を検出し、垂直面の領域を推定する。
【００１４】
この構成によれば、撮像装置で撮影された映像中の３次元構造物の垂直面の領域を、映像中から抽出することが可能となる。
【００１５】
また、上記構成において、前記垂直面推定手段は、前記映像中の前記垂直線群の空間密度の検出分解能を任意に設定し、垂直面の領域を推定する。
【００１６】
この構成によれば、撮像装置で撮影された映像中の３次元構造物の垂直面の領域を、映像中から抽出する場合、検出分解能を低くすることにより、演算量の削減と、検出の高速化を実現することが可能となる。
【００１７】
また、上記構成において、前記領域分割手段は、前記垂直面推定手段で推定された垂直面の領域に基づき、前記映像中の垂直面の領域と水平面の領域を分割する。
【００１８】
この構成によれば、撮像装置で撮影された映像中から、３次元構造物の垂直面の領域とそれ以外の水平面領域と、映像中の領域を分割することが可能となる。
【００１９】
また、上記構成において、前記領域分割手段は、前記映像中で分割された水平面の領域の水平方向に最も狭い部位を検出し、消失線と設定する。
【００２０】
この構成によれば、撮像装置で撮影された映像中の消失線を設定することが可能となる。
【００２１】
また、上記構成において、前記領域分割手段は、前記映像中で設定された水平面の領域の消失線より下側の領域を地平面の領域と設定する。
【００２２】
この構成によれば、撮像装置で撮影された映像中から検出された、映像中の水平面の領域から、地平面の領域と空間の領域を分割することが可能となる。
【００２３】
また、上記構成において、前記領域分割手段は、前記映像中で設定された垂直面の領域、及び、水平面の領域、もしくは、地平面の領域について、個別にオブジェクトを検知するための監視領域として設定する。
【００２４】
この構成によれば、撮像装置で撮影された映像中から、垂直面の領域、及び、水平面の領域、もしくは、地平面の領域の、それぞれの領域に対応した物体検知や動き検知等のオブジェクトの監視領域を設定することが可能となる。
【００２５】
また、上記構成において、前記領域分割手段によって設定された前記オブジェクトの監視領域を操作者が任意に修正できる。
【００２６】
この構成によれば、撮像装置で撮影された映像中から、自動的に設定された垂直面の領域、及び、水平面の領域、もしくは、地平面の領域の、それぞれの領域に対応した物体検知や動き検知等のオブジェクトの監視領域に基づき、操作者がより詳細な監視領域の設定を行うことが可能となる。
【００２７】
本発明の監視領域設定方法は、１つの撮像装置で撮影された複数のオブジェクトが存在する映像の中から複数の垂直線からなる垂直線群を検出する工程と、前記工程で得られた前記映像中の垂直線群から垂直面の領域を推定する工程と、前記工程で得られた垂直面の領域を用いて前記映像中の垂直面の領域と水平面の領域を分割する工程と、前記工程で得られた水平面の領域の水平方向に最も狭い部位を検出し、消失線と設定する工程と、前記工程で得られた前記消失線より下側の領域を地平面の領域と設定する工程と、前記工程で得られた垂直面の領域、及び、水平面の領域、もしくは、地平面の領域について、個別にオブジェクトを検知するための監視領域として設定する工程と、を備える。
【００２８】
この方法によれば、１つの撮像装置で撮影された映像から抽出した、垂直面の領域、及び、水平面の領域、もしくは、地平面の領域の、それぞれの領域について、個別に人、自動車等のオブジェクトを検知するための監視領域を設定することができる。
【発明の効果】
【００２９】
本発明によれば、１つの撮像装置で撮影された映像から、道路、建築物等の３次元構造物を画像処理によって推定し、撮影された映像中の水平面の領域、垂直面の領域を分離／抽出し、さらに、撮影された映像中の水平面の領域、垂直面の領域を分離／抽出した結果から消失線を推定し、地平面の領域と空間面の領域を分離／抽出することができる。
【００３０】
また、１つの撮像装置で撮影された映像から抽出した、垂直面の領域、及び、水平面の領域、もしくは、地平面の領域の、それぞれの領域について、個別に人、自動車等のオブジェクトを検知するための監視領域を設定することができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００３２】
（実施の形態１）
図１は、本発明の実施の形態１に係る映像監視システムの概略構成を示すブロック図である。同図において、本実施の形態に係る映像監視システム１０は、垂直線群検出部２と、垂直面推定部３と、領域分割部４と、検知部５と、出力部６とを備えて構成される。映像監視システム１０は、撮像装置１と組み合わせて使用する。撮像装置１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いた一般的なカメラであり、撮影した映像の映像信号を映像監視システム１０に入力する。なお、カメラは赤外線カメラなどでも良い。
【００３３】
映像監視システム１０において、垂直線群検出部２は、撮像装置１で撮像された映像中の任意の領域を選択し、垂直線成分を検出する。図２は、撮像装置１で撮像された映像（図２（ａ））から、全ての領域を選択し、垂直線群を検出した場合の映像（図２（ｂ））を示す模式図である。垂直線群検出部２は、図２（ａ）に示す撮像装置１で撮像された映像中の任意の領域の垂直線成分を検出し、図２（ｂ）に示す映像（垂直線群検出映像）を出力する。
【００３４】
図３は、垂直線群検出部２の概略構成を示すブロック図である。同図において、垂直線群検出部２は、垂直線検出部２１と、検出領域設定部２２と、検出分解能設定部２３とを備える。垂直線検出部２１は、撮像装置１から入力された映像の１フレームの画像中の垂直線を検出する。垂直線の検出は、画像の横方向への１次微分フィルタを適用することによって容易に実施することができ、画像中に存在する複数の垂直線（垂直線群）が同時に検出される。なお、１次微分フィルタには、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ等が好適である。
【００３５】
検出領域設定部２２は、撮像装置１から入力された映像の１フレームの画像中の垂直線を検出する際の該画像中の検出領域を設定する。検出領域の設定とは、例えば図４に示すように、前記画像を４分割して少なくとも１つの領域を選択することである。検出領域設定部２２は、設定した検出領域の情報を垂直線検出部２１に入力する。垂直線検出部２１は、前記画像中の設定された検出領域の垂直線群を検出する。この構成により、撮像装置１で撮影された映像の一部の監視領域のみの垂直線を検出することが可能となり、演算量の削減が可能となる。なお、前記領域の選択は、操作が任意に設定できるようにするのが好適である。また、本実施の形態では、１フレームの画像を４分割する例を示したが、分割数、分割する形を操作者が任意に設定できるようにしても良い。
【００３６】
図３において、検出分解能設定部２３は、撮像装置１から入力された映像の１フレームの画像中の垂直線群を検出する際の該画像中の検出分解能を設定する。検出分解能の設定とは、前記画像から垂直線群を検出する際の該画像の横方向の分解能を画素数で設定するもので、前記画素数を小さく設定すれば細かく、大きく設定すれば荒く、前記画像中の垂直線群の検出が可能となる。例えば、単調な画像においては、検出分解能を細かく、複雑な画像においては、検出分解能を荒く設定するのが好適である。なお、操作者が前記検出分解能を任意に設定できるようにしても良い。
【００３７】
単調な画像、もしくは、複雑な画像の判別は、離散コサイン変換（ＤＣＴ）等の画像の周波数解析手法を用いて、画像の周波数特性を検出することで容易にかつ自動的に把握することができる。例えば、高周波成分の少ない画像は単調な画像、一方、高周波成分の多い画像は複雑な画像と判断でき、検出分解能設定部２３に前記画像の周波数解析手段を構成するのも好適である。この構成により、撮像装置１で撮影された映像に応じて、垂直線群を検出することが可能となり、また、映像の性質に応じて検出分解能を設定することにより、不必要な演算量を削減することが可能となる。
【００３８】
図１において、垂直面推定部３は、垂直線群検出部２で検出された映像の１フレームの画像中の垂直線群の空間密度を検出し、垂直面を推定した映像を領域分割部４に入力する。図５は、垂直面推定部３の概略構成を示すブロック図である。同図において、垂直面推定部３は、空間密度検出部３１と空間密度分解能設定部３２とを備える。空間密度検出部３１は、垂直線群検出部２で検出された画像中の垂直線群の空間密度を検出する。垂直線群の空間密度検出は、前記画像中の予め設定した領域内における垂直線に対応する画素の占める割合に基づき、予め設定した領域が垂直面か否かを判定することにより行う。
【００３９】
図６は、垂直線群検出部２で検出された画像中の垂直線群を示す模式図である。図６は、映像内の１フレーム分の画像について、垂直線群検出部２で垂直線検出を行った画像（図６（ａ））の予め設定した領域を拡大したもの（図６（ｂ））を示しており、図６（ｂ）は、垂直線群検出部２で検出された垂直線群を、画像中の画素において黒として表現した場合を示している。
【００４０】
なお、垂直線群検出部２で検出された垂直線群は画像中で、ある値を持った画素として表現される。例えば、黒の背景に白で垂直線が検出される場合、もしくは、白の背景に黒で垂直線が検出される場合があり、予め設定した閾値を基準に２値化し、垂直線群の画素と背景を区別して表すようにしても良い。
【００４１】
空間密度検出部３１は、図６（ｂ）に示した予め設定した領域における、垂直線に対応する画素の占める割合から、予め設定した領域が垂直面か否かの判定を行う。前記垂直線に対応する画素の占める割合は、例えば５０％を超える値などと予め設定した固定値にするのが好適であるが、操作者が任意に設定できるようにしても良い。
【００４２】
空間密度分解能設定部３２は、空間密度検出部３１において、垂直線群検出部２で検出された画像中の垂直線群の空間密度から、垂直面を検出するための領域のサイズを設定する。画像中の垂直面を検出するための領域のサイズを大きく取った場合、垂直面検出の空間分解能は荒くなり、該領域のサイズを小さく取った場合、垂直面検出の空間分解能は細かくなる。また、画像中の領域のサイズの最大は前記画像全面と同じサイズ、最小は画像を構成する１画素となる。なお、前記領域のサイズは、予め設定した固定値にするのが好適であるが、操作者が任意に設定できるようにしても良い。
【００４３】
図１において、領域分割部４は、垂直面推定部３で推定された画像中の垂直面の領域に基づき、前記画像中の垂直面の領域と水平面の領域を分割し、画像中の垂直面の領域の情報と水平面の領域の情報を検知部５に入力する。図７は、領域分割部４の概略構成を示すブロック図である。同図において、領域分割部４は、垂直・水平面分離部４１と、消失線推定部４２と、地平面推定部４３とを備える。垂直・水平面分離部４１は、垂直面推定部３で推定された画像中の垂直面の領域に基づき、前記画像中の垂直面の領域と水平面の領域を分割し、前記画像中の垂直面の領域情報と水平面の領域情報を作成する。
【００４４】
図８（ａ）は、図２（ａ）に示した撮像映像について、垂直面の領域情報を黒の表示、垂直面以外の領域情報を白の表示で示したものである。同様に、図８（ｂ）は、図２（ａ）に示した撮像映像について、水平面の領域情報を黒の表示、水平面以外の領域情報を白の表示で示したものである。
【００４５】
なお、図８に示した画像中の垂直面の領域情報と水平面の領域情報は、前記画像と同じ画像サイズの１ｂｉｔのマスクデータとするのが好適である。また、本実施の形態では、垂直面の領域情報と水平面の領域情報を別のものとして扱ったが、図８（ａ）に示す情報で、黒の領域を垂直面、白の領域を水平面として、「０」もしくは「１」の１ｂｉｔのデータに割り振り、１つの情報として扱っても良い。
【００４６】
図７において、消失線推定部４２は、垂直・水平面分離部４１において作成された、画像中の水平面の領域の水平方向で最も狭い部位を検出し、消失線と設定する。
【００４７】
図９は、図８（ｂ）に示した垂直・水平面分離部４１において作成された画像中の水平面領域から消失線を推定する実施の形態であり、図２（ａ）に示した撮像映像について、水平面の領域情報を黒の表示で示したものである。図９中の（ａ）は、水平面の領域情報の水平方向（画像中の横方向）で、水平面の領域情報の間隔が最も狭くなる部位を示したもので、図２（ａ）に示した撮影映像の中の最も奥の部位となり、ほぼ画像中の消失点の位置となる。また、図９中の（ｂ）は、水平面の領域情報の間隔が最も狭くなる部位を水平方向に延長したものであり、ほぼ画像中の消失線の位置となる。
【００４８】
なお、水平面の領域情報の間隔が最も狭くなる部位が、同じ間隔で縦方向に連続して存在する場合は、水平面の領域情報の間隔が最も狭くなる部位の縦方向の中心部位を、消失線の位置として設定するのが好適である。
【００４９】
消失線推定部４２は、図９に示した消失線情報を地平面推定部４３に入力する。なお、前記消失線情報は、前記画像と同じ画像サイズの１ｂｉｔのマスクデータ、あるいは、消失線両端の画像中の座標情報とするのが好適である。地平面推定部４３は、消失線推定部４２において推定された消失線情報から、垂直・水平面分離部４１で推定された前記画像中の水平面の領域情報を、地平面の領域と空間面の領域に分割する。
【００５０】
図１０は、図９に示した水平面の領域情報を、消失線推定部４２で推定した消失線（図１０中の（ｂ））を境に、空間面の領域（図１０中Ａ）と地平面の領域（図１０中Ｂ）に分割した例である。
【００５１】
地平面推定部４３は、図１０に示した空間面の領域情報及び地平面の領域情報を検知部５に入力する。なお、図１０に示した空間面の領域情報及び地平面の領域情報は、前記画像と同じ画像サイズの１ｂｉｔのマスクデータとするのが好適である。また、本実施の形態では、空間面の領域情報と、地平面の領域情報を別のものとして扱ったが、図１０において、Ａの領域を空間面の領域情報、Ｂの領域を地平面の領域情報として、それぞれを、「０」もしくは「１」の１ｂｉｔのデータに割り振り、１つの情報として扱っても良い。
【００５２】
図１において、検知部５は、領域分割部４において、前記画像中において設定された垂直面の領域情報、及び、水平面の領域情報、もしくは、空間面／地平面の領域情報を用いて、それぞれの領域について、個別にオブジェクトの検知領域として設定する。また、検知部５は、前記画像中において、設定された垂直面の領域情報、及び、水平面の領域情報、もしくは、空間面／地平面の領域情報の、それぞれの領域に応じたオブジェクトの物体検知、動き検出を行った結果を出力部６に入力する。
【００５３】
図１１は、図２（ａ）の撮像画像について、領域分割部４において、画像中で設定された垂直面の領域情報、及び、水平面の領域情報、もしくは、地平面の領域情報を用いて、それぞれの領域について、個別にオブジェクトの検知領域として設定した場合の模式図である。図１１において、Ａの領域は、水平面の領域情報から地平面の領域情報を差し引いた空間面領域、Ｂの領域は地平面領域、Ｃの領域は垂直面領域を示しており、それぞれ、Ａの領域は空や天井など、Ｂの領域は道路や広場など、Ｃの領域は建物の壁や塀、柵などに対応する。
【００５４】
検知部５は、図１１に示した、Ａ、Ｂ、及び、Ｃの領域について、領域それぞれに応じた検知条件の設定を行う。例えば、主に空間面となるＡの領域は、空間を飛来するような映像上の横方向、縦方向を交えた複雑な動き検知、主に地平面となるＢの領域は、奥行方向の移動となる映像上の縦方向、左右方向の移動となる映像上の横方向を交えた動き検出、主に垂直面となるＣの領域は、上下方向となる映像上の縦方向の動き検出のような、それぞれの領域内のオブジェクトの動きの性質に応じた検知条件の設定を行う。また、検知部５で自動的に設定した映像内のＡ、Ｂ、及び、Ｃそれぞれの領域は、操作者が任意に修正でき、これにより、映像内のＡ、Ｂ、及び、Ｃそれぞれの領域の境界面などの修正などが可能となる。
【００５５】
図１２は、図１に示した撮像装置１でセンターラインのある道路を中心に撮像した場合に、地平面である道路のセンターラインを検出する例を示した模式図である。図１２（ａ）は、道路中心部にセンターラインがあった場合の撮像装置１で撮像された映像である。図１２（ｂ）は、垂直線群検出部２で、図１２（ａ）から垂直線群を検出した場合の映像を示した模式図である。図１２（ｂ）に示すように、道路上のセンターライン垂直線として検出される。
【００５６】
なお、垂直面推定部３では、映像中の垂直線の密度に基づき、垂直面を推定するため道路中のセンターラインは垂直面と推定されず、水平面と推定され、また、図７に示した領域分割部４内の地平面推定部４３で地平面と推定される。図７に示した領域分割部４内の地平面推定部４３において、地平面と推定された領域における垂直線群を検出する機能を追加することにより、図１２（ｃ）に示すように、垂直面Ａ、地平面Ｂ、空間面Ｃ、に併せて、道路上のセンターラインＤなどを推定することが可能となる。
【００５７】
また、領域分割部４内の地平面推定部４３において、地平面と推定された領域における垂直線群を検出する分解能を低くすることにより、図１２（ｄ）に示すように、道路上のセンターラインなどを地平面Ｂと異なる別の領域Ｄと推定することも可能となる。なお、地平面推定部４３において垂直線群を検出せずに、図１に示した垂直線群検出部２の結果を流用し、地平面推定部４３において地平面と推定された領域でマスク処理をした上で用いるような構成にしても良い。この構成により、自動車などの道路上を連続的に移動する物体の進行方向に設置した場合において、自動操縦などの運転者支援の制御の情報作成が可能となる。
【００５８】
このように本実施の形態の映像監視システム１０によれば、垂直線群検出部２は、複数のオブジェクトが存在する映像中の複数の垂直線からなる垂直線群を検出し、垂直面推定部３は、垂直線群検出部２が検出した映像中の垂直線群から垂直面の領域を推定し、領域分割部４は、垂直面推定部３が推定した垂直面の領域を用いて映像中の垂直面の領域と水平面の領域を分割し、そして、分割した水平面の領域の水平方向に最も狭い部位を検出して消失線と設定すると共に設定した消失線より下側の領域を地平面の領域と設定し、さらに設定した垂直面の領域、及び、水平面の領域、もしくは、地平面の領域について、個別にオブジェクトを検知するための監視領域として設定する。したがって、複数の撮像装置を用いることなく、１つの撮像装置１で、道路上の障害物などの３次元構造物を検知するための監視領域を容易に設定することができる。
【００５９】
また、垂直線群検出部２は、映像中の任意の監視領域の垂直線群を検出するので、撮像装置１で撮影された映像中の一部の監視領域のみの垂直線群を検出することが可能となり、演算量を削減することが可能となる。
【００６０】
また、垂直線群検出部２は、映像中の垂直線群の検出分解能を任意に設定し、垂直線群を検出するので、撮像装置１で撮影された映像の全ての領域を監視領域として、垂直線群を検出する場合、検出分解能を低くすることにより、演算量の削減と、検出の高速化を実現することが可能となる。
【００６１】
また、垂直面推定部３は、映像中の垂直線群の空間密度を検出し、垂直面の領域を推定するので、撮像装置１で撮影された映像中の３次元構造物の垂直面の領域を、映像中から抽出することが可能となる。
【００６２】
また、垂直面推定部３は、映像中の垂直線群の空間密度の検出分解能を任意に設定し、垂直面の領域を推定するので、撮像装置１で撮影された映像中の３次元構造物の垂直面の領域を、映像中から抽出する場合、検出分解能を低くすることにより、演算量の削減と、検出の高速化を実現することが可能となる。
【００６３】
また、領域分割部４によって設定されたオブジェクトの検知領域を、操作者が任意に修正できるので、撮像装置１で撮影された映像中から、自動的に設定された垂直面の領域、及び、水平面の領域、もしくは、地平面の領域の、それぞれの領域に対応した物体検知や動き検知等のオブジェクトの検知領域に基づき、操作者がより詳細な検知領域の設定を行うことが可能となる。
【００６４】
（実施の形態２）
図１３は、図７に示した領域分割部４内の消失線推定部４２にノイズ除去機能を付加した場合の概略構成を示したブロック図である。ノイズ除去機能を付加した消失線推定部４２は、消失線検出器４２１とノイズ除去部４２２を備える。消失線検出器４２１は、垂直・水平面分離部４１において作成された、画像中の水平面の領域の水平方向で最も狭い部位を検出し、消失線と設定し、消失線情報をノイズ除去部４２２に入力する。
【００６５】
消失線検出器４２１は、撮像装置１から連続して映像がフレーム単位で入力されることにより、垂直線群検出部２、垂直面推定部３、及び、図７に示した領域分割部４内の垂直・水平面分離部４１を介して、連続して入力されるフレーム単位の水平面の領域情報から、消失線情報をフレーム単位で連続的に推定し、ノイズ除去部４２２に入力する。
【００６６】
ノイズ除去部４２２は、消失線検出器４２１からフレーム単位で連続的に入力される消失線情報の複数フレーム分を、一時的に記憶する機能を有し、前記一時的に記憶した複数フレーム分の消失線情報を用いて、ノイズ成分の除去を行う。なお、前記複数フレーム分の消失線情報の一時的な記憶は、新しい情報が入力されることによって、一番古い情報が破棄されるＦＩＦＯ（First In First Out）型の記憶が好適である。
【００６７】
図１４は、撮像装置１を、自動車、鉄道などの地上を連続的に移動する物体の進行方向に設置した場合に、連続して入力されるフレーム単位の水平面の領域情報から、フレーム単位で消失線を推定した場合の結果を示す模式図である。同図において、（ａ）は、フレーム１の、（ｂ）はフレーム１に続くフレーム２の消失線を推定した結果を示している。例えば、撮像装置１を、自動車、鉄道などの地上を連続的に移動する物体の進行方向に設置した場合、撮像装置１で撮像される映像は、画面上の左右の動きよりも、上下の動きが振動として現れることにより、（ａ）フレーム１、及び、（ｂ）フレーム２に対して推定した消失線情報には上下変動が現れる。
【００６８】
ノイズ除去部４２２は、このような連続するフレームで発生する消失線情報の上下変動をノイズ成分として、一時的に記憶している複数フレーム分の消失線情報を用いて除去する。ノイズ除去の手法として、平均化、最小二乗整合、ＬＰＦ（Low Pass Filter）を用いた高周波振動成分の除去などが好適であり、複数を組み合わせて使用しても良い。
【００６９】
なお、本実施の形態では、上下方向の変動の除去について示したが、画面上で回転方向に発生する変動についても、同様に変動を除去することが可能である。この構成により、自動車、鉄道などの地上を連続的に移動する物体の進行方向に設置した場合においても、安定した消失線の推定が可能となる。
【産業上の利用可能性】
【００７０】
本発明は、複数の撮像装置を用いることなく道路、建築物等の３次元構造を推定して、道路上の障害物などの３次元構造物を検知するための監視領域を容易に設定することができるといった効果を有し、カメラ等で撮影された映像内の物体検知や動き検知を行う映像監視システムなどへの適用が可能である。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施の形態１に係る映像監視システムの概略形態を示すブロック図
【図２】図１の撮像装置で撮像された映像と図１の映像監視システムの垂直線群検出部で処理された映像を示す模式図
【図３】図１の垂直線群検出部の概略構成を示すブロック図
【図４】図１の撮像装置から入力された映像内の１フレームの画像を４つの領域に分割した場合の一例を示す模式図
【図５】図１の垂直面推定部の概略構成を示すブロック図
【図６】図１の垂直線群検出部で検出された映像中の垂直線群を示す模式図
【図７】図１の領域分割部の概略構成を示すブロック図
【図８】図１の領域分割部で作成された垂直面領域情報と水平面領域情報を示す模式図
【図９】図７の垂直・水平面分離部において作成された画像中の水平面領域から、消失線を推定する一例を示す模式図
【図１０】図９に示した水平面情報を、図７の消失線推定部で推定した消失線を境に空間面領域と地平面領域に分割する一例を示す模式図
【図１１】図１の領域分割部において、画像中で設定された垂直面情報、及び、水平面情報、もしくは、地平面情報を用いて、個別にオブジェクトの検知領域として設定した一例を示す模式図
【図１２】図１に示した撮像装置でセンターラインのある道路の中心部を撮像した場合に、地平面である道路のセンターラインを検出する例を示す模式図
【図１３】本発明の実施の形態２に係る映像監視システムの消失線推定部の概略構成を示すブロック図
【図１４】図１３の消失線推定部の特徴を説明するための模式図
【符号の説明】
【００７２】
１  撮像装置
２  垂直線群検出部
３  垂直面推定部
４  領域分割部
５  検知部
６  出力部
１０  映像監視システム
２１  垂直線検出部
２２  検出領域設定部
２３  検出分解能設定部
３１  空間密度検出部
３２  空間密度分解能設定部
４１  垂直・水平面分離部
４２  消失線推定部
４３  地平面推定部
４２１  消失線検出器
４２２  ノイズ除去部
【図１】
2008293400.tif 000003
【図２】
2008293400.tif 000004
【図３】
2008293400.tif 000005
【図４】
2008293400.tif 000006
【図５】
2008293400.tif 000007
【図６】
2008293400.tif 000008
【図７】
2008293400.tif 000009
【図８】
2008293400.tif 000010
【図９】
2008293400.tif 000011
【図１０】
2008293400.tif 000012
【図１１】
2008293400.tif 000013
【図１２】
2008293400.tif 000014
【図１３】
2008293400.tif 000015
【図１４】
2008293400.tif 000016