(57)【特許請求の範囲】
【請求項１】
所定領域を撮像する撮像手段と、
前記撮像手段で撮像された画像中から１次元信号を抽出する１次元信号変換手段と、
前記撮像手段によって障害物が撮像されていない場合の１次元信号を基準値として、前記１次元信号変換手段によって変換された１次元信号の値と前記基準値を比較することにより障害物の有無を判別する障害物検出手段と、
自車両の速度および操舵角を検出する自車両速度操舵角検出手段と、
を備え、
前記１次元信号変換手段は、前記撮像手段で撮像された画像の１次元信号への変換方法を設定する１次元信号生成方法設定手段と、前記１次元信号生成方法設定手段で設定された変換方法に従って、前記画像を１次元信号へ変換する１次元信号生成手段とを備え、
前記１次元信号生成方法設定手段は、障害物が存在すると疑われる領域をラインとして設定する障害物存在ライン設定手段と、前記障害物存在ライン設定手段で設定されたライン上の画素に基づいて１次元信号を生成する方法を定める障害物存在ライン１次元信号化方法設定手段とを備え
前記障害物存在ライン設定手段は、前記障害物が存在すると疑われる領域を、前記自車両速度操舵角検出手段で検出した自車両の速度および操舵角に応じて補正し、前記ラインとして設定すること
を特徴とする障害物監視装置。
【請求項２】
所定領域を撮像する撮像手段と、
前記撮像手段で撮像された画像中から１次元信号を抽出する１次元信号変換手段と、
前記撮像手段によって障害物が撮像されていない場合の１次元信号を基準値として、前記１次元信号変換手段によって変換された１次元信号の値と前記基準値を比較することにより障害物の有無を判別する障害物検出手段と、
自車両の現在位置と現在位置周辺の地図情報とを算出するナビゲーション手段と、
を備え、
前記１次元信号変換手段は、前記撮像手段で撮像された画像の１次元信号への変換方法を設定する１次元信号生成方法設定手段と、前記１次元信号生成方法設定手段で設定された変換方法に従って、前記画像を１次元信号へ変換する１次元信号生成手段とを備え、
前記１次元信号生成方法設定手段は、障害物が存在すると疑われる領域をラインとして設定する障害物存在ライン設定手段と、前記障害物存在ライン設定手段で設定されたライン上の画素に基づいて１次元信号を生成する方法を定める障害物存在ライン１次元信号化方法設定手段とを備え、
前記障害物存在ライン設定手段は、前記ナビゲーション手段で算出した自車両の現在位置と現在位置周辺の地図情報に基づいて前記障害物が存在すると疑われる領域を前記ラインとして設定することを特徴とする障害物監視装置。
【請求項３】
所定領域を撮像する撮像手段と、
前記撮像手段で撮像された画像中から１次元信号を抽出する１次元信号変換手段と、
前記撮像手段によって障害物が撮像されていない場合の１次元信号を基準値として、前記１次元信号変換手段によって変換された１次元信号の値と前記基準値を比較することにより障害物の有無を判別する障害物検出手段と、
前記撮像手段によって撮像された画像中での車線を認識する車線認識手段と、
を備え、
前記１次元信号変換手段は、前記撮像手段で撮像された画像の１次元信号への変換方法を設定する１次元信号生成方法設定手段と、前記１次元信号生成方法設定手段で設定された変換方法に従って、前記画像を１次元信号へ変換する１次元信号生成手段とを備え、
前記１次元信号生成方法設定手段は、障害物が存在すると疑われる領域をラインとして設定する障害物存在ライン設定手段と、前記障害物存在ライン設定手段で設定されたライン上の画素に基づいて１次元信号を生成する方法を定める障害物存在ライン１次元信号化方法設定手段とを備え、
前記障害物存在ライン設定手段は、前記車線認識手段によって検出された車線情報に基づいて前記障害物が存在すると疑われる領域を前記ラインとして設定することを特徴とする障害物監視装置。
【請求項４】
請求項１〜３のいずれかに記載の障害物監視装置において、
前記撮像対象に関連するデータを取得する取得手段を備え、
前記１次元信号生成方法設定手段は、前記取得手段によって取得されたデータに基づいて前記変換方法を変更すること
を特徴とする障害物監視装置。
【請求項５】
請求項１〜４のいずれかに記載の障害物監視装置において、
前記障害物存在ライン設定手段は、前記撮像手段のパラメータおよび前記撮像手段による撮像対象の特性を示すデータに基づいて前記ラインを設定すること
を特徴とする障害物監視装置。
【請求項６】
請求項１〜５のいずれかに記載の障害物監視装置において、
前記障害物存在ライン１次元信号化方法設定手段は、前記障害物存在ライン設定手段で設定したライン上の画素を所定の軸へ投影することで前記１次元信号を生成する手法を前記変換方法として設定すること
を特徴とする障害物監視装置。
【請求項７】
請求項１〜６のいずれかに記載の障害物監視装置において、
前記障害物存在ライン１次元信号化方法設定手段は、前記障害物存在ライン設定手段で設定したライン上の画素を所定の位置からの距離情報に基づいて並べることで前記１次元信号を生成する手法を前記変換方法として設定すること
を特徴とする障害物監視装置。
【請求項８】
請求項１〜７のいずれかに記載の障害物監視装置において、
前記基準値は、前記１次元信号変換手段によって変換された１次元信号の値の頻度に基づいて決定すること
を特徴とする障害物監視装置。
【請求項９】
請求項１〜８のいずれかに記載の障害物監視装置において、
前記障害物検出手段は、前記１次元信号に対応づけた部分毎に障害物の有無を判別すること
を特徴とする障害物監視装置。
【請求項１０】
請求項９に記載の障害物監視装置において、
前記部分毎の障害物の有無に基づいて前記１次元信号における障害物候補領域を算出すること
を特徴とする障害物監視装置。
【請求項１１】
請求項１０に記載の障害物監視装置において、
前記障害物検出手段は、前記１次元信号変換手段で変換された時間の異なる２つの１次元信号の相関に基づいて１次元信号の各部分における相対速度を算出し、算出した各部分の相対速度に基づいて前記障害物候領域が障害物であるか否かを判別すること
を特徴とする障害物監視装置。
【請求項１２】
請求項１〜１０のいずれかに記載の障害物監視装置において、
前記障害物検出手段は、前記１次元信号変換手段で変換された時間の異なる２つの１次元信号の相関に基づいて１次元信号の各部分における相対速度を算出すること
を特徴とする障害物監視装置。
【請求項１３】
請求項１〜１２のいずれかに記載の障害物監視装置において、
前記障害物検出手段は、
前記１次元信号変換手段で変換した時間の異なる２つの１次元信号の相関に基づいて１次元信号の各点における相対速度を算出する相対速度モデル化手段と、
前記相対速度モデル化手段で算出した相対速度を用いて障害物を判定する障害物判定手段とを備えること
を特徴とする障害物監視装置。
【請求項１４】
請求項１〜１２のいずれかに記載の障害物監視装置において、
前記障害物検出手段は、
前記１次元信号変換手段で変換した１次元信号の信号値変化に基づいて障害物が存在すると推定される障害物候補領域を算出する障害物候補領域モデル化手段と、
時間の異なる２つの前記１次元信号変換手段で変換した１次元信号の相関に基づいて１次元信号の各点における相対速度を算出する相対速度モデル化手段と、
前記障害物候補領域モデル化手段で算出した障害物候補領域と前記相対速度モデル化手段で算出した相対速度を用いて障害物を判定する障害物判定手段とを備えること
を特徴とする障害物監視装置。
【請求項１５】
請求項１４に記載の障害物監視装置において、
前記相対速度モデル化手段は、
前記１次元信号変換手段で変換した時間の異なる２つの１次元信号を、前記障害物候補領域とそれ以外の領域との差を強調した１次元信号に変換する相対速度用信号変換手段と、
前記相対速度用信号変換手段で変換した時間の異なる２つの１次元信号の相関に基づいて１次元信号の各点における相対速度を算出する相対速度算出手段とを備えること
を特徴とする障害物監視装置。
【請求項１６】
請求項１４に記載の障害物監視装置において、
前記障害物候補領域モデル化手段は、
前記１次元信号変換手段で変換した１次元信号を信号値変化に基づいて前記障害物候補領域とそれ以外の領域との差を強調した１次元信号に変換する障害物候補領域算出用信号変換手段と、
前記障害物候補領域算出用信号変換手段で変換した１次元信号の信号値変化に基づいて前記障害物候補領域を算出する障害物候補領域算出手段とを備えること
を特徴とする障害物監視装置。
【請求項１７】
請求項１５に記載の障害物監視装置において、
前記相対速度用信号変換手段は、前記１次元信号変換手段で変換した１次元信号において背景領域をマスクし前記障害物候補領域のみを表現した１次元信号へと変換すること
を特徴とする障害物監視装置。
【請求項１８】
請求項１６に記載の障害物監視装置において、
前記障害物候補領域算出用信号変換手段は、前記１次元信号変換手段で変換した１次元信号において背景領域をマスクし前記障害物候補領域のみを表現した１次元信号へと変換すること
を特徴とする障害物監視装置。
【請求項１９】
請求項１３〜１８のいずれかに記載の障害物監視装置において、
前記障害物判定手段は、前記相対速度モデル化手段で算出した相対速度において前記撮像手段側に接近する方向である点をグループ化し、グループ化された領域がある大きさ以上の場合はその領域を障害物として判定する障害物有無判定手段を備えること
を特徴とする障害物監視装置。
【請求項２０】
請求項１９に記載の障害物監視装置において、
前記障害物判定手段は、前記障害物有無判定手段で障害物と判定された領域の領域端点を基に障害物の相対位置を算出する障害物相対位置算出手段を備えること
を特徴とする障害物監視装置。
【請求項２１】
請求項１９または２０に記載の障害物監視装置において、
前記障害物判定手段は、前記障害物有無判定手段で障害物と判定された領域の相対速度を基に障害物の相対速度を算出する障害物相対速度算出手段を備えること
を特徴とする障害物監視装置。
【請求項２２】
請求項１４に記載の障害物監視装置において、
前記障害物判定手段は、
前記障害物候補領域モデル化手段で算出された障害物候補領域とその周辺の領域内における前記相対速度モデル化手段で算出した相対速度に注目し、前記相対速度が前記撮像手段側に接近する方向である点の数と前記撮像手段側に離遠する方向である点の数とを比較することで前記障害物候補領域が障害物であるかどうかを判定する障害物有無判定手段を備えること
を特徴とする障害物監視装置。
【請求項２３】
請求項１９〜２２のいずれかに記載の障害物監視装置において、
前記障害物判定手段は、前記障害物有無判定手段で障害物と判定された領域端点を基に障害物の相対位置を算出する障害物相対位置算出手段を備えること
を特徴とする障害物監視装置。
【請求項２４】
請求項１９〜２３のいずれかに記載の障害物監視装置において、
前記障害物判定手段は、前記障害物有無判定手段で障害物と判定された障害物候補領域およびその周辺領域内の相対速度を基に障害物の相対速度を算出する障害物相対速度算出手段を備えること
を特徴とする障害物監視装置。
【請求項２５】
請求項１〜２４のいずれかに記載の障害物監視装置において、
前記撮像手段で撮像された複数フレームに基づく前記障害物検出手段の結果を統合し、障害物の検出精度を高める複数フレーム障害物検出結果統合手段を備えること
を特徴とする障害物監視装置。
【請求項２６】
請求項１〜２５のいずれかに記載の障害物監視装置において、
前記撮像手段で撮像した画像に対して複数の１次元信号を前記１次元信号変換手段で抽出し、前記１次元信号変換手段で抽出した１次元信号各々に対して障害物の有無を判別し、前記各１次元信号に対する前記障害物検出手段の結果を統合し、障害物の検出精度を高める複数ライン障害物検出結果統合手段を備えること
を特徴とする障害物監視装置。
【請求項２７】
請求項１〜２６のいずれかに記載の障害物監視装置において、
前記障害物検出手段の検出結果に基づき警告を発する告知手段を備えること
を特徴とする障害物監視装置。
【請求項２８】
請求項１〜２７のいずれかに記載の障害物監視装置において、
前記撮像手段は自車両に設置されており、
前記障害物は他の車両であること
を特徴とする障害物監視装置。
【請求項２９】
請求項１〜２８のいずれかに記載の障害物監視装置における機能をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
障害物監視装置等に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来、自車両から所定領域を監視して障害物を検出する障害物監視装置として、例えば前方領域監視に関しては特開平６−１０７０９６号公報に記載された「車両用前方監視方法」が、後側方領域監視に関しては特開平９−１５６３４３７号公報に記載された「警報装置」や特開２０００−２８５２４５号公報に記載された「移動体の衝突防止装置、衝突防止方法、および記録媒体」が知られている。
【０００３】
これら監視装置では、自車両に設置したビデオカメラで前方あるいは後側方を撮影した画像を用いる。そして、この画像中から処理対象領域を抽出し、前記領域に限定して障害物検出処理をすることでリアルタイム性を実現しようとしている。
【０００４】
例えば、特開平６−１０７０９６号公報に記載された「車両用前方監視方法」では自車両走行車線上およびその周辺に存在し消失点から発生する直線上に設定した微小領域において、消失点から湧き出す動きであるオプティカルフローを持つ微小領域に注目して先行他車両を検出している。
【０００５】
また特開２０００−２８５２４５号公報に記載された「移動体の衝突防止装置、衝突防止方法、および記録媒体」では隣接車線上およびその周辺に存在し消失点（ＦＯＥ）から発生する直線上に設定した微小領域において、消失点から湧き出す動きであるオプティカルフローを持つ微小領域に注目して後側方より接近する他車両を検出している。また、前記オプティカルフローをパラメータ空間へ投票し、領域併合することで他車両をオブジェクトとして認識している。
【０００６】
また、特開平９−２４０３９７号公報に記載された「後側方車両の報知装置」では連続するフレーム中の線領域を時系列に並べた時空間画像に対してＨｏｕｇｈ変換を適用して後側方より接近する他車両を検出している。
しかしながら、上記手法での処理対象は２次元領域、つまり画像であり、この２次元領域に対してオプティカルフロー算出処理、領域併合やＨｏｕｇｈ変換などの画像処理手法を適用することで障害物である接近他車両を検出しているため、処理範囲を限定したとしても２次元領域を対象とした画像処理手法を適用していることに変わりはなく、演算負荷が大きい。更に、２次元領域である前記処理対象範囲の画素値を演算の際にメモリに保持しなければならないため、使用するメモリ容量も必然的に大きくなってしまう。また、例えば障害物監視装置を複数の装置で構成する場合、装置間で２次元領域分のデータをやりとりしなければならなくなり、通信量が多くなってしまう。したがって、例えば車両の衝突防止のような高いリアルタイム性が要求され、かつ、車載が可能なコストの装置などには、こうした方法はまだまだ不向きであるという問題がある。
【０００７】
また、こうした問題は車両の検出以外の種々の障害物の検出の場合にも発生している。
そこで本発明は、このような従来技術が抱える状況に鑑みてなされたもので、２次元画像から障害物を検出するときの演算量、メモリ使用量及び通信量を減らすことができ、これにより処理のリアルタイム化および実現装置の低コスト化を図るとともに、比較的低い演算能力・少ないメモリ容量であっても障害物を確実に検出することができる障害物監視装置を提供することを目的とする。
【０００８】
【課題を解決するための手段及び発明の効果】
上述した問題点を解決するためになされた請求項１に記載の障害物監視装置によれば、撮像した映像から注目する１次元信号を抽出して、その抽出した１次元信号と障害物がない場合の１次元信号を基準値として、１次元信号変換手段によって変換された１次元信号とこの基準値を比較することで障害物の有無を判別する。したがって、２次元の画像信号を処理する場合に比べ演算量、メモリ使用量及び通信量を低減することができる。よって例えば障害物監視装置を構成する回路規模、マイコン等に必要な性能やプログラムの規模、通信に必要な回線容量等を小さくすることが可能となり、２次元の画像を処理する従来の障害物監視装置に比べコストを削減できる。
また、撮像した２次元の画像信号を１次元信号へ変換する方法（変換方法）を設定し、この設定された変換方法に従って１次元信号に変換するので、変換方法を障害物の特性に応じて変更したり、状況に応じて変更したりすることが容易にできる。
また、障害物が存在すると疑われるライン状の領域であるラインを設定し、そのライン上の画素の信号に基づいて１次元信号を生成するので、設定したライン内の障害物の有無を判定することができる。例えば、請求項２８に示すように障害物監視装置が車両における他車両等の障害物の検出のためのものであれば、障害物存在ライン設定手段で設定するラインとして想定される障害物が後側方車両の場合には隣接車線中心線を、想定される障害物が前方車両の場合には走行車線中心線をラインとして用いるとよい。なお、ラインが例えば複数のピクセル幅で構成される場合のように、２次元的広がりを持つ場合などには、このままでは１次元信号にできない。そのため、このような場合にも変換可能なように障害物存在ライン１次元信号化方法設定手段によって１次元化の方法を設定する。
さらに、自車両の速度と操舵角に基づいて障害物が存在すると疑われる領域を自車両の走行状態に即した補正し、ラインとして設定することで、障害物存在ラインの設定精度を向上させることができ、その結果、障害物の有無判定の精度を向上させることができる。例えば、後側方車両認識において隣接車線中心線を障害物存在ラインとして設定するとき、自車両の速度と操舵角に応じて隣接車両中心線を変形することで、障害物存在ラインは現実の隣接車線形状に近いものとなる。その結果、１次元信号に障害物情報が含まれる可能性がさらに高くなり、障害物の有無の判定をさらに的確に行うことができる。
【０００９】
また、上述した問題点を解決するためになされた請求項２に記載の障害物監視装置によれば、撮像した映像から注目する１次元信号を抽出して、その抽出した１次元信号と障害物がない場合の１次元信号を基準値として、１次元信号変換手段によって変換された１次元信号とこの基準値を比較することで障害物の有無を判別する。したがって、２次元の画像信号を処理する場合に比べ演算量、メモリ使用量及び通信量を低減することができる。よって例えば障害物監視装置を構成する回路規模、マイコン等に必要な性能やプログラムの規模、通信に必要な回線容量等を小さくすることが可能となり、２次元の画像を処理する従来の障害物監視装置に比べコストを削減できる。
また、撮像した２次元の画像信号を１次元信号へ変換する方法（変換方法）を設定し、この設定された変換方法に従って１次元信号に変換するので、変換方法を障害物の特性に応じて変更したり、状況に応じて変更したりすることが容易にできる。
また、障害物が存在すると疑われるライン状の領域であるラインを設定し、そのライン上の画素の信号に基づいて１次元信号を生成するので、設定したライン内の障害物の有無を判定することができる。例えば、請求項２８に示すように障害物監視装置が車両における他車両等の障害物の検出のためのものであれば、障害物存在ライン設定手段で設定するラインとして想定される障害物が後側方車両の場合には隣接車線中心線を、想定される障害物が前方車両の場合には走行車線中心線をラインとして用いるとよい。なお、ラインが例えば複数のピクセル幅で構成される場合のように、２次元的広がりを持つ場合などには、このままでは１次元信号にできない。そのため、このような場合にも変換可能なように障害物存在ライン１次元信号化方法設定手段によって１次元化の方法を設定する。
さらに、ナビゲーション手段で算出した自車両の現在位置と現在位置周辺の地図情報と、例えば撮像手段のパラメータおよび道路構造令データとに基づいて障害物が存在すると疑われる領域をラインとして設定する。したがって、さらに障害物存在ラインの設定精度を向上させることができ、障害物の有無判定の精度を向上させることができる。例えば、側方車両認識において隣接車線中心線を障害物存在ラインとして設定するとき、ナビゲーション手段により、正確な隣接車線形状を知ることができるため、隣接車線中心線を正確に設定できる。また、例えば、隣接車線が存在しない場合に障害物存在ラインを設定しないようにすれば、誤認識を防ぐこともできる。
【００１０】
また、上述した問題点を解決するためになされた請求３に記載の障害物監視装置によれば、撮像した映像から注目する１次元信号を抽出して、その抽出した１次元信号と障害物がない場合の１次元信号を基準値として、１次元信号変換手段によって変換された１次元信号とこの基準値を比較することで障害物の有無を判別する。したがって、２次元の画像信号を処理する場合に比べ演算量、メモリ使用量及び通信量を低減することができる。よって例えば障害物監視装置を構成する回路規模、マイコン等に必要な性能やプログラムの規模、通信に必要な回線容量等を小さくすることが可能となり、２次元の画像を処理する従来の障害物監視装置に比べコストを削減できる。
また、撮像した２次元の画像信号を１次元信号へ変換する方法（変換方法）を設定し、この設定された変換方法に従って１次元信号に変換するので、変換方法を障害物の特性に応じて変更したり、状況に応じて変更したりすることが容易にできる。
また、障害物が存在すると疑われるライン状の領域であるラインを設定し、そのライン上の画素の信号に基づいて１次元信号を生成するので、設定したライン内の障害物の有無を判定することができる。例えば、請求項２８に示すように障害物監視装置が車両における他車両等の障害物の検出のためのものであれば、障害物存在ライン設定手段で設定するラインとして想定される障害物が後側方車両の場合には隣接車線中心線を、想定される障害物が前方車両の場合には走行車線中心線をラインとして用いるとよい。なお、ラインが例えば複数のピクセル幅で構成される場合のように、２次元的広がりを持つ場合などには、このままでは１次元信号にできない。そのため、このような場合にも変換可能なように障害物存在ライン１次元信号化方法設定手段によって１次元化の方法を設定する。
さらに、車線認識手段によって検出された車線情報に基づいて障害物が存在すると疑われる領域をラインとして設定する。したがって、正確な走行車線形状を車線情報から求めることができるため、障害物存在ラインを正確に設定できる。例えば車線は、走行車線中心線や歩道と車道の境界線に基づいて設定できる。請求項３に示すようにすれば障害物存在ライン形状の設定精度を向上させることができ、障害物の有無の判定精度を向上させることができる。なお、車線認識の方法としては、例えば、大池達也、”モデルベースの認識手法による道路白線認識”、信学技報  ＰＲＭＵ９９−２１１、ｐｐ．５３−６０などが知られている。
【００１１】
ところで、撮像した２次元の画像信号を１次元信号へ変換する方法（変換方法）は、請求項４に示すように、撮像対象に関連するデータに基づいて変更するようにするとよい。
変換方法としては、種々の方法があり、例えば画像中の予め定めた所定の座標の画素の信号を所定の演算によって１次元信号に並べる方法などがある。どの座標の画素を用いるか、またどのように１次元信号に変換するかは、例えば画像中で障害物の検出を行いたい位置や、障害物の想定される挙動等から決定すればよい。例えば、障害物が画像内を横切る可能性が高い場合などには、その横切る可能性の高いライン状の領域を１次元信号に変換するとよい。
【００１２】
また、請求項１〜請求項３において設定したラインは例えば請求項５のように撮像手段のパラメータと、撮像対象の特性を示すデータとに基づいて設定することができる。撮像手段のパラメータとしては、例えばカメラ設置位置座標・カメラの光軸方向ベクトル・焦点距離・画角・解像度等の設置状況や特性等を用いることができ、撮像対象の特性を示すデータとしては、例えば監視すべき障害物が道路走行中の車両である場合には、例えば道路構造令といった道路構造に関する法規で規定されるデータを用いることができる。こうした道路構造令データとしては、車線幅などを用いることができる。これらのパラメータ等は既知であるため、これらに基づき、事前に障害物存在領域をラインとして設定して記憶しておくことができる。例えば、撮像された画像に基づいて、自車両から所定の距離だけ離れたライン領域（例えば、隣接車線の中心ライン領域、走行車線の白線から走行車線幅の１／３に相当する距離だけ隣接車線にへ離れた位置に存在するライン領域）を設定すれば、１次元信号に障害物情報が含まれる可能性が高くなる。ライン領域を決定する方法としては、例えば、画像を見て障害物が含まれる可能性が高い領域をライン領域として決めたり、２次元空間に存在する隣接車両と自車両位置を２次元画面に射影変換してライン領域を決める方法などがある。
なお、障害物存在ラインは、つながっていてもよいし、とびとびに設定されていてもよい。また、ラインは線に限らず所定の幅や領域をもってもよい。
【００１７】
ところで、障害物存在ラインは前述のように所定の領域をもってもよい。このように領域を持つ場合には、１次元信号への変換方法として例えば請求項６に示すように、このライン上の画素を所定の軸へ投影して１次元信号を生成する方法とすることができる。このようにして、ラインが太さ（幅）を持つ場合に、その太さを１にすることができる。
【００１８】
また、請求項７に示すように、ライン上の画素を所定の位置からの距離情報に基づいて並べて１次元信号化してもよい。例えば、射影変換により各画素の実測距離を算出し、算出した実測距離に応じて１次元信号の各点間が均等になるように並べて１次元信号化してもよいし、シティブロック距離に応じて並べて１次元信号化してもよい。
【００１９】
また、求めた１次元信号を適宜間引くなどして１次元信号の情報量を減らすようにしてもよい。このようにすれば少ないメモリ量及び処理量で処理を行うことができる。
そして、こうして得られた１次元信号と、例えば予め撮像手段で障害物を撮像して得た１次元信号を比較し、予め撮像手段で障害物を撮像して得た１次元信号の特性が、こうして得られた１次元信号に含まれるか否かに基づいて障害物の有無を判別することができる。すなわち、障害物がある場合の１次元信号特性が１次元信号変換手段によって変換された１次元信号に含まれれば障害物があると判別することができ、障害物がある場合の１次元信号特性が１次元信号変換手段によって変換された１次元信号に含まれなければ障害物がないと判別することができる。
【００２０】
ところで、１次元信号の基準値は、例えば、予め障害物のない状態を撮像して求めておき、その値を記憶しておいて利用するようにしてもよいが、請求項８に示すように１次元信号変換手段によって変換された１次元信号の値の頻度に基づいて決定するとよい。例えば１次元信号の値が輝度値を示す場合には、最も頻度の高い輝度値（最頻値）を基準値とする。そして１次元信号がこの基準値を挟んで所定の範囲の値のみの場合には障害物無しと判別し、この所定の範囲から外れる値がある場合には障害物有りと判別する。このようにすれば、１次元信号全体の中で一部のみに検出された値を障害物とする可能性が高くなり、１次元信号の全体の変化に適応的に障害物の有無を判別できる。すなわち、例えば、障害物でない背景の中に障害物が点在する場合には、背景に多く含まれる輝度値が最頻値となる。したがって背景の輝度値が変化したとしても、背景の一部に障害物があり障害物の輝度値が背景の輝度値と異なる場合であれば、障害物を判別できる。なお、１次元信
号としては、障害物の特性に応じて、輝度値に代えて種々の値を用いることができ、例えば色の値などを利用することもできる。このようにすれば色の違いに基づいて障害物の有無を判別できる。
【００２１】
障害物の有無の判別は、例えば１次元信号全体の中に障害物が有るか無いかを判別するだけとしてもよいが、請求項９に示すように、１次元信号の各部分毎に障害物の有無を判別するとよい。すなわち例えば１次元信号の各部分の値毎に、その値が前述の基準値を挟んだ所定の範囲内であれば障害物無しと判別し、所定の範囲から外れる場合には障害物有りと判別する。なお部分毎とは、例えば各点の値毎でもよいし、例えば所定の範囲の各点の値の平均値毎等でもよい趣旨である。
【００２２】
そして、請求項１０に示すように、このような部分毎の障害物の有無に基づいて前記１次元信号における障害物候補領域を算出することができる。例えば、連続して障害物ありと判定された部分をまとめて障害物候補領域とすることができる。
【００２３】
こうして障害物候補領域を算出すると、例えばノイズ等の影響により、実際には障害物でないのに障害物候補領域として算出されてしまう部分や、障害物であるのに障害物候補領域でないと判別される部分がでてくる可能性がある。
そこで、種々の方法でこうした誤判別を抑制することができる。例えば、請求項１１に示すように、１次元信号変換手段で変換された時間の異なる２つの１次元信号の相関に基づいて１次元信号の各部分における相対速度を算出し、算出した障害物の相対速度に基づいて前記障害物候領域が障害物であるか否かを判別するとよい。例えば、遠ざかる物は障害物でないという前提がある場合には、相対速度が近づく部分について障害物候補領域であると判別する。こうすることで、大幅に障害物候補領域の誤判別を抑制することができる。
【００２４】
なお請求項１２に示すようにして単に各部分における相対速度を求めることもできる。
そしてこのような障害物監視装置は種々の構成を採ることができる。
例えば、請求項１３に示すように、時間の異なる２つの１次元信号の相関に基づいて１次元信号の各点における相対速度を求め、その相対速度情報を用いて障害物を判定する。例えば、ライン上の各点の１次元フローを算出し、算出した１次元フローが似通った点を用いてオブジェクトとする。そして、障害物の特性に対応する特定の相対速度を持つオブジェクトを障害物として検出することができる。
【００２５】
また、請求項１４に記載のように１次元信号の信号値変化に基づいて障害物候補領域を算出し、時間の異なる２つの１次元信号の相関に基づいて１次元信号の各点における相対速度を算出し、これら算出した障害物候補領域と相対速度を用いて障害物であるか否かを判定して、障害物を検出することもできる。このようにすることでさらに正確に障害物の有無を判定できる。
【００２６】
こうした相対速度を求める場合には、請求項１５に示すようにして時間の異なる２つの１次元信号を相関が取りやすい１次元信号に変換してから相対速度を算出するとよい。例えば、１次元信号中から背景領域（例えば道路上の車両を障害物とした場合には道路領域が背景領域に相当する）の成分を除去することで、１次元信号の相関を取りやすくしてもよいし、例えば、１次元信号のエッジ成分を強調して元の１次元信号に付加して相関を取りやすくしてもよいし、これら双方を行ってもよい。
【００２７】
同様に相対位置を求める場合も、請求項１６に示すようにして、障害物候補物体が存在する領域を算出しやすい１次元信号に変換して、変換した１次元信号に基づいて障害物候補物体の相対位置を算出するとよい。例えば、エッジ成分を強調して元の１次元信号に付加し、この信号を基に基準値と比較して道路領域と車両候補領域の区別をする。このようにすれば、例えば道路領域と車両領域の区別などを明確に表現できるので、車両をより正しくオブジェクト領域として分割できる。
【００２８】
そしてこうした変換は、請求項１７、請求項１８に示すように背景領域をマスクし、障害物候補領域のみを表現した１次元信号へ変換することで行うとよい。このようにすれば、相対速度や相対位置をより適切に求めることができる。例えば背景が道路であれば道路領域をマスクすることにより、道路上の他車両を検出することができる。
【００２９】
そして、障害物か否かの判定は、請求項１９に示すように算出された相対速度から撮像手段側へ接近する方向である点をグループ化し、グループ化された領域が所定の大きさ以上である場合に、障害物であると判定するようにできる。この所定の大きさは検出すべき障害物の大きさに基づいて決定すればよい。例えば障害物として検知すべき対象が請求項２８に示すように車両であれば、自車両へ接近する方向である点をグループ化し、グループ化された領域が所定の大きさ以上である場合に、他の車両であると判定するようにできる。この場合の所定の大きさは検出すべき車両の大きさに基づいて決定すればよい。このように自車両に接近する方向の相対速度を持つオブジェクトがあるか否かによって障害物であるか否かを判定することで、誤検出の発生等を抑えることができる。
【００３０】
このようにグループ化された領域のいずれの部分を利用して相対位置を求めてもよい。例えば、グループ化された領域の中心を利用して相対位置を求めてもよいし、請求項２０に示すように、障害物と判定された領域の領域端点を基に障害物の相対位置を算出してもよい。例えば検出すべき障害物が車両であれば、障害物相対位置算出手段が自車両に対して接近する方向の相対速度を持つオブジェクトの領域端点を射影変換するよう作用させ、実空間での自車両−障害物間の実測距離が算出できるので、例えばドライバーに障害物までの実測距離を告知するために用いることができるというメリットがある。例えば、オブジェクトの領域端点を射影変換して実空間での実測距離を算出するように構成することもできるし、予め画面空間と実空間の対応付けを格納したルックアップテーブルを用いて領域端点から実測距離を算出するよう構成してもよい。
【００３１】
さらに請求項２１に示すように領域の相対速度を求めるとよい。例えば障害物が車両であれば、車両相対速度算出手段がオブジェクト内の各点の１次元フローを統合するよう作用することで障害物の相対速度が算出できるので、例えばドライバーに障害物の相対速度を告知するために利用できるというメリットがある。
【００３２】
なお１次元フローの統合は、１次元フローを実空間の相対速度に変換してから統合してもよいし、１次元フローを統合してから実空間の相対速度に統合してもよい。また、実空間への変換法は、射影変換でもよいし、LUTを参照して行ってもよい。
【００３３】
また、障害物の有無は種々の方法で判定することができるが、例えば、請求項２５に示すようにして判定するとよい。このようにすることで、障害物と推定されるオブジェクトを正確に切り出すことができる。例えば障害物が請求項２８に示すように車両の場合、障害物有無判定手段が障害物候補物体（とその周辺の）領域内部にある点の１次元フロー方向に注目し、自車両に接近する方向を示す点の数が基準を満たすかどうか判断するよう作用することで、自車両に対して接近する方向の相対速度を持つオブジェクトを障害物として検出できるというメリットがある。この基準は、自車両に接近する方向を示す点＞自車両に離遠する方向を示す点でもよいし、それ以外でもよい。
【００３４】
さらに、請求項２３に示すようにして、障害物の相対位置を求めることができる。このようにすれば、例えば障害物が請求項２８に示すように車両の場合、障害物相対位置算出手段が自車両に対して接近する方向の相対速度を持つオブジェクトの領域端点を射影変換するよう作用することで、実空間での自車両と障害物間の実測距離が算出できるので、ドライバーに障害物までの実測距離を告知するために利用できるというメリットがある。なお、オブジェクトの領域端点を射影変換して実空間での実測距離を算出するように構成することもできるし、予め画面空間と実空間の対応付けを格納したルックアップテーブルを用いて領域端点から実測距離を算出するよう構成してもよい。
【００３５】
さらに、請求項２４に示すようにして、障害物の相対速度を求めることができる。例えば障害物が車両であれば、車両相対速度算出手段がオブジェクト内の各点の１次元フローを統合するよう作用することで、障害物の相対速度が算出できるので、ドライバーに障害物の相対速度を告知するために利用できるというメリットがある。なお１次元フローの統合は、１次元フローを実空間の相対速度に変換してから統合してもよいし、１次元フローを統合してから実空間の相対速度に統合してもよい。また実空間への変換法は、射影変換してもいいし、LUTを参照してよい。
【００３６】
そして、請求項２５のように複数フレームでの結果を統合することで、検出精度を高めることができる。例えば、過去Nフレームに渡る障害物検出結果を保持し、過去フレーム
の結果と現在フレームの結果とを統合することで、時間方向に連続した障害物を検出することができ、突発的な雑音成分を除去できるメリットがある。
【００３７】
また、請求項２６に示すように複数の１次元信号に対する障害物の検出結果を統合するようにしてもよい。このようにすれば、障害物の検出精度を高めることができる。複数ライン障害物検出結果統合手段が複数の１次元信号に対して処理した結果を統合するよう作用することで、空間的により広い範囲で障害物を検出できるので、障害物検出精度を向上できるメリットがある。例えば障害物が車両の場合、１ラインだけでは、例えば２輪車などの想定された車両より小さい障害物が設定されたライン上に載らなかった場合、見落としてしまったり、矢印などの路面ペイントなどを障害物として拾ってしまったりする可能性もある。そこで、ラインを複数化することで、あるラインで誤りが生じても他のラインでリカバリーできる。
【００３８】
こうして検出した検出結果は例えばディスプレイやランプ等で表示したり、音声等で出力して報知するとよい。すなわち、障害物の有無、障害物との距離、障害物の速度などを報知するとよい。また、請求項２７に示すように、検出結果に基づき警告を発するようにしてもよい。例えば障害物が車両の場合、ドライバーの障害物見逃しを低減できるメリットがある。
【００３９】
なお、請求項２９に示すように、請求項１〜２８のいずれかに記載の障害物監視装置における各手段としての機能をコンピュータシステムにて実現する場合、例えば、コンピュータシステム側で起動するプログラムとして備えることができる。このようなプログラムの場合、例えば、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータシステムにロードして起動することにより用いることができ、また、ネットワークを介してロードして起動することにより用いることもできる。
【００４０】
【発明の実施の形態】
以下、本発明が適用された実施例について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施例に何ら限定されることなく、本発明の技術的範囲に属する限り種々の形態を採りうることは言うまでもない。
【００４１】
本実施例の障害物監視装置１は車両に搭載されており、図１（ａ）に示すように、ビデオカメラから構成される撮像手段１１と、マイクロコンピュータから構成される１次元信号変換手段１００及び障害物検出手段２００を備える。マイクロコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ、Ｉ／Ｏに接続された周辺回路等を備えており、周辺回路としては、タイマや入出力回路などを備えている。そして、入出力回路として画像信号を取り込むためのＡ／Ｄコンバータを備えており、撮像手段１１によって撮像された画像信号のうち指定した画素に対応する画素値をデジタルデータとしてメモリに取り込むことができる。
【００４２】
１次元信号変換手段１００及び障害物検出手段２００としての機能を実現するためのプログラムは、マイクロコンピュータのＲＯＭに格納され、このプログラムに従ってＣＰＵが処理を行うことで、１次元信号変換手段１００及び障害物検出手段２００としての機能を実現する。
【００４３】
図１（ａ）に示すように１次元信号変換手段１００は、１次元信号生成手段３１と１次元信号生成方法設定手段２０を備える。１次元信号生成手段３１は、撮像手段１１より入力した画像信号から１次元信号生成方法設定手段２０で設定された変換方法に基づいて１次元信号を生成する。この１次元信号生成方法設定手段２０は、自車両速度操舵角検出手段２２と障害物存在ライン設定手段２１と障害物存在ライン１次元信号化方法設定手段２３を備えている。障害物存在ライン１次元信号化方法設定手段２３は、障害物存在ライン設定手段２１によって設定されたラインを元に画像を１次元信号に変換する方法を定めており、障害物存在ライン設定手段２１は、自車両速度操舵角検出手段２２で検出された自車両速度と操舵角に応じて適切な車線形状にラインを補正する。
【００４４】
例えば、障害物存在ライン設定手段２１は、撮像手段１１によって撮像された画像に基づいて自車両から所定の距離だけ離れたライン領域を自車両速度操舵角検出手段２２で得た自車両速度・操舵角に応じて適切な車線形状に補正し、この隣接車線中心線を後側方車両が存在すると疑われるラインとして設定する。このラインは、例えば隣接車線の中心ライン領域、走行車線の白線から走行車線幅の１／３に相当する距離だけ隣接車線へ離れた位置に存在するライン領域などに相当する部分にするとよい。これらは例えば車線幅やカメラパラメータによる射影変換で算出できる。また撮像される画像の風景はある程度固定なため、その画像を見て障害物が検出可能な領域にラインを設定してもよい。
【００４５】
このように撮像手段１１で撮像した画像の全画素を後段処理に用いるのではなく、障害物存在ライン設定手段２１で設定した領域を基に画像を１次元信号に変換する方法を定める障害物存在ライン１次元信号化方法設定手段２３と障害物存在ライン１次元信号化方法設定手段２３で設定した変換方法に従って、１次元信号生成手段３１で画像を１次元信号に変換する。
【００４６】
また、障害物検出手段２００は、障害物候補領域モデル化手段４０と相対速度モデル化手段５０と障害物判定手段６０を備える。
障害物候補領域モデル化手段４０は、障害物候補領域算出用信号変換手段４１と障害物候補領域算出手段４２を備える。障害物候補領域算出用信号変換手段４１は、１次元信号生成手段３１で得た１次元信号を、道路領域をマスクし車両候補領域のみを抽出した１次元信号に変換する。そして、障害物候補領域算出手段４２は、障害物候補領域算出用信号変換手段４１で得た１次元信号を基に、車両候補領域（障害物候補物体）の相対位置モデルを算出する。
【００４７】
一方、相対速度モデル化手段５０は、相対速度用信号変換手段５１と相対速度算出手段５２を備える。相対速度用信号変換手段５１は、１次元信号生成手段３１で得た１次元信号に対し、道路領域をマスクし車両候補領域のみを抽出した１次元信号に変換する。そして、相対速度算出手段５２は、相対速度用信号変換手段５１で得た現在フレームでの１次元信号と、現在からあるフレーム分だけ過去のフレームでの１次元信号とを基に相対速度を算出する。
【００４８】
そして、障害物判定手段６０は、特許請求の範囲における障害物有無判定手段としての車両有無判定手段６１と、障害物相対位置算出手段としての車両相対位置算出手段６２と、障害物相対速度算出手段としての車両相対速度算出手段６３を備える。
【００４９】
車両有無判定手段６１は、障害物候補領域算出手段４２と相対速度算出手段５２とで得た車両候補領域である相対位置モデルと、相対速度モデルを基に後側方車両の有無を判定する。
車両相対位置算出手段６２は、車両有無判定手段６１で車両と判定された車両候補領域（障害物候補物体）の相対位置の領域端点を基に障害物としての車両の相対位置を算出する。
【００５０】
そして、車両相対速度算出手段６３は、前記車両有無判定手段６１で車両と判定された車両候補領域（障害物候補物体）とその周辺領域内の相対速度を基に障害物としての車両との相対速度を算出する。
このようにして、撮像手段１１から得た画像に基づいて生成した１次元信号に基づいて障害物の有無を判定することができ、また障害物の相対位置や相対速度を算出することができる。よって画像全体をフレームメモリー等に取り込む必要がなく、例えばラインとして設定された特定の画素に対応する画素の信号のみをメモリに取り込んで処理を行うようにすることができる。このように障害物の有無や位置・速度を求めるためのメモリを削減することができ、演算量を削減することが可能となり、コストを削減することができる。
【００５１】
次に、このような障害物監視装置１を後側方車両認識アプリケーションに適用した場合の一例として、自車両の後側方領域を撮像した画像から隣接車線を走行し自車両を追い越す車両（以下、後側方車両と呼ぶ）を監視する場合の例について説明する。
【００５２】
撮像手段１１は、自車両のドアミラーに搭載され、図２に示すように自車両の後側方領域を撮像するように設置している。以下、１次元信号変換手段１００及び障害物検出手段２００としての処理の流れを主に説明する。
１）撮像手段１１で、自車両の後側方領域を撮像した画像を得る。
【００５３】
２）障害物存在ライン設定手段２１で、撮像手段１１で撮像された画像に基づいて自車両から所定の距離だけ離れたライン領域、例えば、隣接車線の中心ライン領域や走行車線の白線から走行車線幅の１／３に相当する距離だけ隣接車線へ離れた位置に存在するライン領域などを、自車両速度操舵角検出手段２２で得た自車両速度・操舵角に応じて適切な車線形状に補正し、この隣接車線中心線を後側方車両が存在すると疑われるラインとして設定する（図２参照）。これらは車線幅やカメラパラメータによる射影変換で算出でき、また撮像される画像の風景はある程度固定なため、画像を見てラインを設定してもよい。
【００５４】
３）障害物存在ライン１次元信号化方法設定手段２３で、撮像手段１１で撮像した画像を１次元信号へ変換する手法を、”前記ライン上に存在する画素をＸ軸方向へ投影し、投影結果である１次元データをそのまま１次元信号とする。”として設定する。そして１次元信号生成手段３１で、前記障害物存在ライン１次元信号化方法設定手段２３で設定した方法に従って前記画像を１次元信号に変換する（図３参照）。図３中で番号を記載している画素が、障害物存在ラインとして設定した画素であり、この画素の値をＸ軸へ投影して平均値を求めることで、矢印の方向へ示す１次元信号を生成している。例えば画像信号中の同期信号を利用して障害物存在ラインとして設定された座標の画素の輝度値を画像信号から随時取り込んで行うようにすると、画像サイズ分のフレームメモリーを用意する必要がなく、必要なメモリ量を大幅に削減することができる。
【００５５】
例えば、従来の方法で、３５２画素×２８８画素×１バイトのｃｉｆ形式の画像全体を取り込んで処理を行う場合、約１００ＫＢのメモリが必要となっていた。一方、上述のラインをこのｃｉｆ画像の対角線として取った場合、必要なメモリ量は、ｓｑｒｔ（３５２画素×３５２画素＋２８８画素×２８８画素）×１バイト＝４５５バイトとなり、２００分の１のメモリ容量で済む。またこのような１次元信号に基づいて演算を行えば、演算量も大幅に削減できる。例えば上述したｃｉｆ画像の場合、従来の方法で８画素×８画素のブロックに分割して処理することとすると上述の画像は１５８４ブロックに分けることができる。そして、３２画素×３２画素の範囲で対応ブロック探索処理を行うと、１５８４ブロック×３２画素×３２画素＝１６２２０００処理単位について処理を行う必要がある。これに対し画像の対角線をラインとして１次元信号に基づいて処理を行う場合には、対角線を８画素のブロックに分割すると５７ブロックとなり、３２画素の範囲で対応ブロック探索処理を行うと、５７ブロック×３２画素＝１８２４処理単位となり、従来に比べ本手法は約８８０分の１の処理単位で済む。このように従来に比べて大幅に演算量を削減できる。
【００５６】
４）障害物候補領域算出用信号変換手段４１で、１次元信号生成手段３１で生成した１次元信号において、道路領域の輝度値の範囲をマスクし車両候補領域のみを抽出した１次元信号へ変換する。道路領域の輝度値は既知であるのを利用して、車両候補領域を抽出するのである。具体的な処理を以下４ａ）〜４ｃ）に記す（図４参照、以下本文中の「４ａ）」等の番号と図面中の番号が対応する内容を示す）。
【００５７】
４ａ）１次元信号生成手段３１で生成した１次元輝度信号OrgLumの輝度値ヒストグラムを作成し、最大頻度を持つ輝度値 Lmaxを探す。
４ｂ) 最大頻度を持つ信号値Lmax が道路領域と想定する輝度値範囲内(RoadLower≦L≦RoadUpper)である場合は、道路領域輝度値域の中心輝度値RoadCenterを最大頻度を持つ輝度値 Lmaxに更新する。想定する範囲外である場合は、道路領域輝度値域の中心輝度値RoadCenterを更新しない。そして、道路領域輝度値域の中心輝度値RoadCenter を中心とした片幅Roadwidthを持つ輝度値域 ((RoadCenter - Roadwidth)≦L≦(RoadCenter + Roadwidth))を道路領域の輝度値域と設定する。
【００５８】
４ｃ）上記道路領域の輝度値域((RoadCenter - Roadwidth)≦L≦(RoadCenter + Roadwidth))に基づいたしきい値処理を1次元輝度信号OrgLumに施し、道路領域を除去した1次元信号TranLumを得る。
しきい値処理は次のように行う。
【００５９】
■道路領域内輝度値 (RoadCenter - Roadwidth)≦OrgLum (t)≦(RoadCenter + Roadwidth)
TranLum (t) = 0
■道路領域を上回る輝度値 (RoadCenter + Roadwidth) ＜ OrgLum (t)
TranLum (t) = 輝度値 OrgLum (t) - 道路領域上限輝度値 (RoadCenter + Roadwidth)
■ 道路領域を下回る輝度値 OrgLum (t) ＜ (RoadCenter - Roadwidth)
TranLum (t) = 輝度値 OrgLum (t) - 道路領域下限輝度値 (RoadCenter - Roadwidth)
上記処理を施した理由は、図５に示すような微細な環境変化に起因する道路領域を示す輝度値域の変動に適応するためである。また上記処理４ａ）においてしきい値処理を採用した理由は、１次元信号中の乱雑さ情報をできるだけ表現するためである。
【００６０】
５）障害物候補領域算出手段４２で、前記障害物候補領域算出用信号変換手段４１で生成した１次元信号TranLumを基に車両候補領域を領域端点２点で表現したモデルへ変換する。具体的な処理を以下５ａ）〜５ｃ）に記す（図６参照）。５ａ）上記４）の処理により道路領域を除去した１次元輝度信号TranLumを、幅(2 × Swidth)を持つ区分S(t - Swidth＜s≦t + Swidth；tは領域中心点)に分割し（区分が重複するように分割しても良い）、区分S中において輝度値 TranLum(s) が0（道路領域）を示す点数ZeroPNumを算出する。そして、輝度値TranLum(s) が0を示す点数ZeroPNumが区分の半数Swidth未満の場合は区分SのラベルLabel(T) を”車両候補”として、そうでない場合は区分S のラベルLabel(T)を”道路”としてラベル付ける。
【００６１】
５ｂ）ラベル付け結果を示す１次元信号Label を走査し、”車両候補”ラベルに挟まれた”道路”ラベル範囲の大きさがしきい値ThresCarSRより小さい場合、前記”道路”ラベルを”車両候補”ラベルに変更し、グループを形成する。ここで、修正したラベル付け結果を示す１次元信号をModLabelとする。
【００６２】
５ｃ）修正したラベル付け結果を示す１次元信号ModLabelを走査し、”道路”⇒”車両候補”と変化する点を車両候補の始点、”車両候補”⇒”道路”と変化する点を車両候補の終点とし、１次元輝度信号を始点と終点の領域端点２点でモデル表現した車両候補領域を分割する。
【００６３】
上記処理５ｂ）を採用した理由は、１次元輝度信号TranLumの符号変化点周辺において車両候補領域を構成する点にも関らず道路領域としてマスクせざる得なかった場合を救済するためである。処理５ｃ）で車両候補領域を領域端点２点でモデル表現した理由は、車両候補領域の先頭相対位置および末尾相対位置を直接的に算出するためである。
【００６４】
６）相対速度用信号変換手段５１で、前記１次元信号生成手段３１で生成した１次元信号OrgLumにおいて道路領域の輝度値は予め既知であるのを利用して信号値に関する道路領域を設定し、前記道路領域を用いて道路領域をマスクし車両候補領域のみを抽出した１次元信号TranLumへ変換する。本実施例では障害物候補領域算出用信号変換手段４１と同様の処理を施すため、相対速度用信号変換手段５１は障害物候補領域算出用信号変換手段４１で代用する。すなわち、相対速度用信号変換手段５１では、上記４ａ）に示した道路領域分割処理と同じ処理をする。この処理により１次元輝度信号中の車両候補領域の乱雑さを際立たせることができる。そのため、後段での相関計算の精度が向上する。
【００６５】
７）相対速度算出手段５２で、前記相対速度用信号変換手段５１で変換した時刻tでの１次元信号（以下、被比較１次元輝度信号ComparedLum）と時刻t-Δtでの１次元輝度信号（以下、基準１次元信号YardstickLum）とを用いて相関を取ることで相対速度を算出する。具体的な処理を以下７ａ）〜７ｃ）に記す（図７参照）。
【００６６】
７ａ）上記６）の処理により道路領域を除去した時刻 t での１次元輝度信号を被比較１次元輝度信号ComparedLum として、S1により道路領域を除去した時刻t- Δtでの1次元輝度信号を基準１次元信号YardstickLumとして用意する。 基準１次元輝度信号YardstickLumを、５）の障害物候補領域算出手段４２と同様に、幅(2 × Swidth)を持つ区分S  (t - Swidth＜s≦t + Swidth；tは区分中心点)に分割する。次に、基準１次元輝度信号YardstickLumの区分S 毎に被比較１次元輝度信号 ComparedLum での相関計算範囲 R (CorrLower≦r≦CorrUpper)を設定する。そして、相関計算範囲R内において、被比較区分中心点i を点単位でずらしながら被比較区分J (i - Swidth＜j≦i + Swidth)を設定する。
【００６７】
７ｂ）基準１次元輝度信号YardstickLum中の対象区分をS (t - Swidth＜s≦t + Swidth；tは区分中心点)とする。被比較１次元輝度信号ComparedLumでの相関計算範囲R (CorrLower≦r≦CorrUpper)内において、被比較区分中心点iを点単位でずらしながら被比較区分J (i - Swidth＜j≦i + Swidth)を設定する。それから、対象区分S と被比較区分J との相関を計算する。本実施例で用いる相関計算の詳細フローを次に示す。
【００６８】
１）対象区分Sを2つの副区分SS1、SS2に分割する。
２）副区分SS1、SS2それぞれにおいて輝度値の最大値および最小値を取る点を特徴点とする。つまり対象区分Sにおいて４つの特徴点(SS1Min,SS1Max,SS2Min,SS2Max)が抽出される。
【００６９】
３）対象区分Sにおいて抽出した特徴点での輝度値と、被比較区分Jにおいて前記特徴点に対応する点での輝度値との絶対値差を４特徴点それぞれについて算出し、4特徴点における絶対値差分総和を求める。
４）絶対値差分総和が最小だった被比較区分Jを、最も相関の強い区分Jmaxとして対応付ける。
【００７０】
７ｃ）前記相関計算の結果、最も相関が強い被比較区分Jmaxでの区分中心点imaxと対象区分Sでの区分中心点iとの差を取ることで単位時間当たりの移動量、つまり相対速度を算出する。
なお、処理７ｂ）の相関計算は上記以外の手法が多数存在するので、それらを用いてもよい。
【００７１】
８）車両有無判定手段６１で、前記障害物候補領域算出手段４２で得た障害物候補領域の相対位置モデルと前記相対速度算出手段５２とで得た相対速度モデルを基に後側方車両の有無を判定する。更に、後側方車両が存在する場合は車両相対位置算出手段６２で自車両から、その後側方車両の実測距離と、車両相対速度算出手段６３で自車両に対する実測相対速度を算出する。具体的な処理を以下に記す（図８参照）。
【００７２】
８ａ）車両候補領域（車両／ペイント／影・日向）とその相対速度の向きは、図９のような関係になる。すなわち、障害物である車両は自車両に接近する一方、ノイズとして排除すべきペイント／影・日向等は自車両の走行に伴って自車両から離縁する。こうした関係に基づき、上記７）の相対速度算出手段５２で得た相対速度を活用してＳ２で得た車両候補領域から後側方車両（後側方から自車両に対して接近する車両）を判別する。
【００７３】
車両切り出し処理の具体的なアルゴリズムを図１０に示す。まず、上記５）の障害物候補領域算出手段４２で得た各車両候補領域の始点から幅Bwidth分だけ、終点から幅Ewidth分だけ拡張した領域EnCarSRを設定する。次に、この拡張領域EnCarSR中における上記７）の相対速度算出手段５２で得た各区分（部分）の相対速度に関して、自車両に接近する向きを示す区分の総数SpeedPlusNumと自車両から離遠する向きを示す区分の総数SpeedMinusNumを算出する。そして、自車両に接近する向きを示す区分の総数SpeedPlusNumが自車両から離遠する向きを示す区分の総数SpeedMinusNum以上の場合は、その車両候補領域を追い越し／追い抜きを仕掛ける車両、つまり「警告を発すべきオブジェクト」として検出する。そうでない場合は、その車両候補領域を「静止物体」つまり雑音として検出する。
【００７４】
そして、警告を発すべきオブジェクトが検出された場合には、障害物監視装置１のマイクロコンピュータに接続されたスピーカーから警告音を発する。このようにして、１次元信号に基づく処理によって、追い越し／追い抜きを仕掛ける車両があることをドライバに告知することができる。
【００７５】
なお、本発明は前述のように上記実施例に限定されるものではない。例えば上記実施例では、車両候補領域の相対位置モデルと相対速度モデルを求めて障害物を検出することとしたが、相対速度モデルから相対位置モデルを求めるようにしてもよい。例えば図１１に示すように、相対速度モデルから相対速度方向が接近を示す区分をオブジェクトとして統合して、オブジェクト１、オブジェクト２のように相対位置モデルを求めてもよい。また、オブジェクト間の距離が所定値以下の場合には、オブジェクト同士を統合してもよい。すなわち、図１１のようにオブジェクト１とオブジェクト２の距離が所定値以下であれば、図１１の最下段に示すようにオブジェクト１として統合するようにしてもよい。
【００７６】
また、図３に例示した障害物存在ライン１次元信号化方法設定手段２３における１次元信号抽出方法は、”基準画素からのシティブロック距離に応じて並べかえ、その並び替えた信号値を適当に間引いて１次元信号にする”という方法を用いても良い。例えば図３中で番号を記載している画素をその番号の順に並べてもよい。
【００７７】
また相対速度算出手段５３における相関計算には、正規化相関などの他の手法を用いてもよい。
さらに、上記実施例で得た複数フレームに渡る障害物検出結果を統合してより精度の高い障害物検出する手段、すなわち複数フレーム障害物検出統合手段を備えてもよい。
【００７８】
また、入力画像から複数の１次元信号を抽出し、それら１次元信号それぞれに対して障害物検出手段で処理し、それら障害物検出結果を統合してより精度の高い障害物検出する手段、すなわち複数ライン障害物検出統合手段を備えてもよい。
【００７９】
また、図１（ｂ）に示すように、ビデオカメラから構成される撮像手段１１とロジック・ＲＯＭ・ＲＡＭ・Ｉ／Ｏ・周辺回路等で構成されるバッファ等を備えた１次元信号変換手段１００とをカメラユニットとして一体に構成し、１次元信号変換手段１００によって撮像手段１１によって撮像された画像信号を１次元信号に変換し、変換した１次元信号を通信線を介して障害物検出手段２００としての車両内に設置されたマイコン（例えば車載ＥＣＵ）へ送信するように構成してもよい。このようにすれば、通信線で伝送される信号は１次元信号となり、従来のように取り込んだ２次元信号を通信線を介してマイコンに送る場合に比べて、通信容量を大幅に低減することができる。したがって通信線を比較的低速な回線で構成することが可能となり障害物監視装置を安価に構成できる。また例えば通信線として車内ＬＡＮを利用する場合、車内ＬＡＮの帯域占有量を小さくすることができ、車内ＬＡＮを介した他の通信への影響を抑えることができる。なお、このような構成においてラインを設定する場合には、障害物検出手段２００からの通信線を介した指示に応じて、１次元信号変換手段１００のバッファがラインを設定すればよい。
【図面の簡単な説明】
【図１】実施例の障害物監視装置の構成を示すブロック図である。
【図２】障害物存在ラインの設定方法を示す説明図である。
【図３】１次元信号抽出方法設定手段の設定内容を示す説明図である。
【図４】道路領域分割の処理内容を示す説明図である。
【図５】道路領域輝度値の例を示す説明図ある。
【図６】車両候補領域の個別分割の処理内容を示す説明図である。
【図７】相関計算による相対速度場算出の処理内容を示す説明図である。
【図８】車両切り出しの処理内容を示す説明図である。
【図９】オブジェクト毎の相対速度の向きを示す説明図である。
【図１０】車両検出手段としての処理内容を示す説明図である。
【図１１】相対速度からオブジェクトを抽出する場合の処理内容を示す説明図である。
【符号の説明】
１…障害物監視装置
１１…撮像手段
２０…１次元信号生成方法設定手段
２１…障害物存在ライン設定手段
２２…自車両速度操舵角検出手段
２３…障害物存在ライン１次元信号化方法設定手段
３１…１次元信号生成手段
４０…障害物候補領域モデル化手段
４１…障害物候補領域算出用信号変換手段
４２…障害物候補領域算出手段
５０…相対速度モデル化手段
５１…相対速度用信号変換手段
５２…相対速度算出手段
５３…相対速度算出手段
６０…障害物判定手段
６１…車両有無判定手段
６２…車両相対位置算出手段
６３…車両相対速度算出手段
１００…１次元信号変換手段
２００…障害物検出手段
【図１】
0003849505.tif 000002
【図２】
0003849505.tif 000003
【図３】
0003849505.tif 000004
【図４】
0003849505.tif 000005
【図５】
0003849505.tif 000006
【図６】
0003849505.tif 000007
【図７】
0003849505.tif 000008
【図８】
0003849505.tif 000009
【図９】
0003849505.tif 000010
【図１０】
0003849505.tif 000011
【図１１】
0003849505.tif 000012