(57)【要約】      （修正有）【課題】車両以外の物体を車両と誤検出することを防止した物体検出装置を提供する。【解決手段】水平エッジ抽出部は、カメラによる撮像画像２１から、水平エッジｈ１を抽出する。特徴点抽出部は、水平エッジｈ１の上方向に設定した第１探索範囲ＳＡ１内に存在する特徴点Ｐ１〜Ｐ５を抽出する。３次元座標算出部は、時系列の撮像画像における対応関係が特徴点対応判定部により判定された特徴点群について、実空間の３次元座標を算出する。対象物認識部は、対応する実空間位置の高さが所定以上である特徴点が存在するときに、水平エッジｈ１は車両の画像部分であると認識する。【選択図】図３
2016053867.tif 000002
【特許請求の範囲】
【請求項１】
周辺を撮像するカメラによる撮像画像から、水平エッジを抽出する水平エッジ抽出部と、
前記撮像画像において、前記水平エッジの上方向に設定した第１探索範囲内に存在する特徴点を抽出する特徴点抽出部と、
前記特徴点に対応する実空間位置の高さを算出する実空間位置算出部と、
対応する実空間位置の高さが所定値以上である前記特徴点が存在するときに、前記水平エッジは車両の画像部分であると認識する車両認識部と
を備えたことを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記車両認識部は、対応する実空間位置の高さが前記所定値以上である前記特徴点が所定個数以上存在するときに、前記水平エッジは車両の画像部分であると認識することを特徴とする物体検出装置。
【請求項３】
請求項１又は請求項２に記載の物体検出装置において、
前記車両認識部は、前記撮像画像において、車両の画像部分であると認識した水平エッジの上方向に設定した第２探索範囲内に存在する他の水平エッジを、該車両の画像部分であると認識することを特徴とする物体検出装置。
【請求項４】
請求項３に記載の物体検出装置において、
前記車両認識部は、前記第１探索範囲内の前記特徴点の分布に応じて前記第２探索範囲を設定することを特徴とする物体検出装置。
【請求項５】
請求項３又は請求項４に記載の物体検出装置において、
前記車両認識部は、前記物体検出装置が使用される国又は地域に応じて、前記第２探索範囲の設定範囲を変更することを特徴とする物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮像画像に基づいて周囲に存在する物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
従来、車載カメラによる自車両前方の撮像画像から水平エッジ成分を抽出して、先行車両を検出する物体検出装置が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１に記載された物体検出装置においては、抽出された水平エッジの幅と道路幅との比を算出し、比が所定範囲内である水平エッジを先行車両の下端候補として検出する。そして、下端候補として検出した水平エッジの上方向の所定範囲内に他の水平エッジ線が存在する場合に、下端候補として検出した水平エッジは先行車の下端部の画像部分であると認識している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−４３０８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された物体検出装置では、実空間上で奥行方向（カメラの撮像方向）に長い平面物（路面標識、道路脇に存在する物体の影等）の画像部分について、複数の水平エッジが抽出されたときに、下端の水平エッジが先行車の下端部の画像部分であると誤認識されてしまう。
【０００６】
本発明はかかる背景に鑑みてなされたものであり、車両以外の物体を車両と誤検出することを防止した物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するためになされたものであり、本発明の物体検出装置は、
周辺を撮像するカメラと、
前記カメラの撮像画像から水平エッジを抽出する水平エッジ抽出部と、
前記撮像画像において、前記水平エッジの上方向に設定した第１探索範囲内に存在する特徴点を抽出する特徴点抽出部と、
前記特徴点に対応する実空間位置の高さを算出する実空間位置算出部と、
対応する実空間位置の高さが所定値以上である前記特徴点が存在するときに、前記水平エッジは車両の画像部分であると認識する車両認識部と
を備えたことを特徴とする。
【０００８】
かかる本発明によれば、前記カメラの撮像画像から前記水平エッジ抽出部により水平エッジが抽出され、水平エッジの上方向に設定された前記第１探索範囲内に存在する特徴点が、前記特徴点抽出部によって抽出される。そして、前記車両認識部は、前記第１探索範囲内で抽出された特徴点のうち、対応する実空間位置の高さが前記所定値以上である特徴点が存在するときに、水平エッジは車両の画像部分であると認識する。この場合、前記第１探索範囲内で抽出された特徴点のうち、対応する実空間位置の高さが前記所定値以下であるもの（路面標識、道路の補修跡等の高さを有しない物体の画像部分から抽出された特徴点が該当する）を除外することができる。そのため、車両以外の平面的な物体を、車両であると誤認識することを防止することができる。
【０００９】
また、前記車両認識部は、対応する実空間位置の高さが前記所定値以上である前記特徴点が所定個数以上存在するときに、前記水平エッジは車両の画像部分であると認識することを特徴とする。
【００１０】
この構成によれば、水平エッジの画像部分に対応する実空間位置の上方に特徴部分を複数備えた物体を、車両としてより精度良く認識することができる。
【００１１】
また、前記車両認識部は、前記撮像画像において、車両の画像部分であると認識した水平エッジの上方向に設定した第２探索範囲内に存在する他の水平エッジを、該車両の画像部分であると認識することを特徴とする。
【００１２】
この構成によれば、車両の画像部分であると認識された水平方向の上方の付近に存在する他の水平エッジ（窓枠や屋根等の画像部分であると想定される）を、同一車両の画像部分として認識することができる。
【００１３】
また、前記車両認識部は、前記第１探索範囲内の前記特徴点の分布に応じて前記第２探索範囲を設定することを特徴とする。
【００１４】
この構成によれば、前記第１探索範囲内の前記特徴点の分布から推定される物体の存在位置に応じた適切な範囲を、前記第２探索範囲として設定することができる。
【００１５】
また、前記車両認識部は、前記物体検出装置が使用される国又は地域に応じて、前記第２探索範囲の設定範囲を変更することを特徴とする。
【００１６】
この構成によれば、例えば、前記物体検出装置が大型車の通行量が多い国又は地域で使用されときは、前記第２探索範囲を広く設定し、前記物体検出装置が小型車の通行量が多い国又は地域で使用されるときには、前記第２探索範囲を狭く設定することにより、同一物体の画像部分であると認識される水平エッジを効率良く探索することができる。
【図面の簡単な説明】
【００１７】
【図１】物体検出装置の構成図。
【図２】車両認識処理のフローチャート。
【図３】車両認識処理における水平エッジと特徴点の抽出の説明図。
【発明を実施するための形態】
【００１８】
本発明の物体検出装置の実施形態の一例について、図１〜図３を参照して説明する。
【００１９】
図１を参照して、物体検出装置１０は、カメラ２（カラーカメラ）、警告制御部３、車両制御部４等を備えた車両１に搭載されている。
【００２０】
物体検出装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子回路ユニットであり、メモリに保持された物体検出用のプログラムをＣＰＵで実行することによって、撮像画像取得部１１、水平エッジ抽出部１２、特徴点抽出部１３、特徴点対応判定部１４、３次元座標算出部１５、検出対象エッジ選択部１６、対象物認識部１７、対象物位置算出部１８として機能する。
【００２１】
撮像画像取得部１１は、所定の制御周期毎に、カメラ２から出力される車両１の周辺（本実施形態では前方）の映像信号を入力して、この映像信号のカラー成分（Ｒ値、Ｇ値、Ｂ値）をデモザイキングし、各画素のデータとしてＲ値、Ｇ値、Ｂ値を有するカラーの時系列の撮像画像を取得する。
【００２２】
水平エッジ抽出部１２は、カラーの撮像画像の各画素を階調に変換する処理を行って、グレーの撮像画像（多値画像）２１を生成する。このようにして生成された時系列のグレーの撮像画像２１（２１ａ，２１ｂ，…，２１ｎ）のデータは、画像メモリ２０に保持される。
【００２３】
なお、カメラ２がモノクロカメラであるときには、各画素の階調からグレースケール画像が得られるので、上述したカラーの撮像画像からグレーの撮像画像２１を生成する処理は不要である。
【００２４】
水平エッジ抽出部１２は、グレーの撮像画像２１について、エッジ点（周囲部の画素との階調差（階調の変化量）が所定値以上である画素。階調が暗から明に変化する正のエッジ点、及び階調が明から暗に変化する負のエッジ点を含む）を抽出して、水平エッジ（水平方向（図３に示したｘ方向）に連続したエッジ点により構成される線分）を抽出する。図３のグレーの撮像画像２１からは、ｈ１〜ｈ７の７本の水平エッジが抽出されている。
【００２５】
物体検出装置１０は、水平エッジ抽出部１２により抽出された水平エッジについて、図２に示したフローチャートによる処理（車両認識処理）を行って、各水平エッジが車両（先行車両）の画像部分であるか否かを判断する。以下、図２に示したフローチャートによる処理について、図３に示した撮像画像の例を参照しつつ説明する。
【００２６】
図３に示したグレーの撮像画像２１は、水平座標ｘと垂直座標ｙによる２次元の画像であり、先行車両の画像部分６０、道路の補修跡の画像部分６１、及び路肩に存在する物体の影の画像部分６２が含まれている。垂直座標ｙの負方向は本発明の撮像画像における上方向に相当する。
【００２７】
図２のＳＴＥＰ１は検出対象エッジ選択部１６による処理である。検出対象エッジ選択部１６は、ＳＴＥＰ２以下の処理の対象とする水平エッジ（図３ではｈ１〜ｈ７）を順次選択する。
【００２８】
続くＳＴＥＰ２は特徴点抽出部１３による処理である。特徴点抽出部１３は、選択されている水平エッジの上方に第１探索範囲を設定して、特徴点を抽出する。例えば、図３において、車両の画像部分６０の下端に対して抽出された水平エッジｈ１に対して、ｈ１の上方（ｙ軸の負方向）に第１探索範囲ＳＡ１が設定され、第１探索範囲ＳＡ１内で５個の特徴点Ｐ１〜Ｐ５が抽出されている。
【００２９】
また、道路補修跡の画像部分６１の下端に対して抽出された水平エッジｈ５に対して、ｈ５の上方に第１探索範囲ＳＡ２が設定され、第１探索範囲ＳＡ２内で２個の特徴点Ｐ６，Ｐ７が抽出されている。
【００３０】
また、道路脇に存在する物体の影の画像部分６２の下端に対して抽出された水平エッジｈ６に対して、ｈ６の上方に第１探索範囲ＳＡ３が設定され、第１探索範囲ＳＡ３内で２個の特徴点Ｐ８，Ｐ９が抽出されている。
【００３１】
ここで、特徴点としては、コーナー端や矩形等の人工物に特有の形状を有する画像部分が抽出される。
【００３２】
次のＳＴＥＰ３は対象物認識部１７による処理である。対象物認識部１７は、ＳＴＥＰ２の処理により所定個数（例えば４個）以上の特徴点が抽出されたか否かを判断する。そして、所定個数以上の特徴点が抽出されなかったときには、選択中の水平エッジは立体物の下端の画像部分ではないと判断できるため、ＳＴＥＰ２０に分岐し、対象物認識部１７は、選択中の水平エッジを車両の検出対象から除外してＳＴＥＰ８に進む。
【００３３】
一方、所定個数以上の特徴点が抽出されたときにはＳＴＥＰ４に進み、特徴点対応判定部１４及び３次元座標算出部１５によって、特徴点に対応する実空間位置の高さ（地表からの高さ）を算出する。
【００３４】
特徴点対応判定部１４は、時系列のグレーの撮像画像２１ａ，２１ｂ，…間で、第１探索範囲から抽出された複数の特徴点の対応関係を判定する。そして、３次元座標算出部１５は、公知のＳＦＭ（Structure From Motion）の手法を用いて、複数の時系列画像間における特徴点の対応点群から行列を作成し、特徴点の３次元位置を表す行列とカメラ２の位置を表す行列とに因子分解をして、特徴点に対応する実空間位置の３次元座標（車両１の進行方向をＺ、車幅方向をＸ、車高方向をＹとする３次元座標）を算出する。
【００３５】
なお、特徴点対応判定部１４と３次元座標算出部１５とにより、特徴点に対応する実空間位置を算出する構成が、本発明の実空間位置算出部に相当する。
【００３６】
対象物認識部１７は、特徴点に対応する実空間位置の高さ（Ｙ座標）が閾値（本発明の所定値に相当する）以上であるか否かを判断する。高さが閾値以上であったときには、立体物の画像部分であると判断できる。
【００３７】
そして、特徴点の高さが閾値以上であったときはＳＴＥＰ５に進み、対象物認識部１７は、選択中の水平エッジを検出対象（車両の画像部分）とする。図３の例では、水平エッジｈ１に対して抽出された特徴点Ｐ１〜Ｐ５の高さが閾値以上であると判定されて、水平エッジｈ１は車両の画像部分であると認識される。
【００３８】
続くＳＴＥＰ６で、対象物認識部１７は、図３に示したように、水平エッジｈ１の上側に、第１探索範囲ＳＡ１内で抽出された特徴点Ｐ１〜Ｐ５の分布に応じて、特徴点Ｐ１〜Ｐ５の位置を外側にオフセットさせた領域を、第２探索領域ＳＢ１として設定する。なお、このように、特徴点Ｐ１〜Ｐ５の位置ぎりぎりではなく、外側にオフセットさせた領域を第２探索領域ＳＢ１として設定するのは、特徴点Ｐ１〜Ｐ５の多くは車両のコーナー部の画像部分であり、特徴点Ｐ１〜Ｐ５ぎりぎりに第２探索領域ＳＢ１を設定すると、第２探索領域ＳＢ１からはみ出す水平線の画像部分が多くなって、後述する同一車両の画像部分の水平エッジを除外する処理を効果的に行うことができないからである。
【００３９】
また、第２探索範囲ＳＢ１の設定の仕方として、特徴点Ｐ１〜Ｐ５間の距離や分布位置を、予め設定された車両の種別判定条件に適用して、特徴点Ｐ１〜Ｐ５がトラック、バス、乗用車等のいずれの種別の車両の画像部分である可能性が高いかを推定し、推定した種別の車両の標準的なサイズに応じて、第２探索領域ＳＢ１の範囲を設定してもよい。
【００４０】
さらに、物体検出装置１０が使用されている国又は地域に応じて、第２探索領域ＳＢ１の設定範囲を変更するようにしてもよい。例えば、大型車が多い米国で使用されるときは、小型車が多い日本よりも第２探索領域ＳＢ１を広めに設定するようにしてもよい。また、トラックの走行量が多い幹線道で物体検出装置１０が使用されているときは、第２探索領域ＳＢ１を上方向（実空間上の車両の高さ方向）に広く設定するようにしてもよい。
【００４１】
なお、対象物認識部１７が、水平エッジが車両の画像部分であると認識する構成、及び第２探索範囲ＳＢ１を設定する構成は、本発明の車両認識部に相当する。
【００４２】
次のＳＴＥＰ７で、対象物認識部１７は、他の水平エッジの有無を判断し、他の水平エッジがあるときにはＳＴＥＰ３０に分岐し、他の水平エッジがないときにはＳＴＥＰ８に進む。ＳＴＥＰ３０で、対象物認識部１７は、見つかった水平エッジを検出対象から除外して、ＳＴＥＰ８に進む。
【００４３】
図３の例では、第２探索範囲ＳＢ１内で見つかった水平エッジｈ２、ｈ３、ｈ４が、検出対象から除外される。このように、同一車両の画像部分から抽出されたと想定される水平エッジを検出対象から除外することによって、以後の車両の認識処理を効率良く行うことができる。
【００４４】
ＳＴＥＰ８で、対象物認識部１７は、未判定の水平エッジがあるか否かを判断する。そして、未判定の水平エッジがあるときは、ＳＴＥＰ１に戻って次の認識対象とする水平エッジを選択し、ＳＴＥＰ２以下の処理を実行する。また、未判定の水平エッジがないときにはＳＴＥＰ９に進んで、処理が終了する。
【００４５】
対象物位置算出部１８は、対象物認識部１７により車両の画像部分であると認識された水平エッジに対応する実空間上の位置から、車両１（自車両）に対する前走車の位置を算出する。そして、物体検出装置１０は、必要に応じて、警告制御部３による警告音声の出力と表示部（図示しない）への警告表示、車両制御部４による制動制御、操舵制御等を行う。
【００４６】
なお、本実施形態では、車両１に搭載されたカメラの撮像画像を処理して車両を認識する物体検出装置１０を示したが、他の実施形態として、歩行者が携帯するカメラ内蔵型の情報処理端末（スマートフォン、携帯電話、タブレット等）の機能として構成する実施形態や、道路脇に設置されてカメラの撮像画像により道路状況を認識する交通インフラ設備の機能として構成する実施形態も可能である。
【符号の説明】
【００４７】
１…車両、２…カメラ、３…警告制御部、４…車両制御部、１０…物体検出装置、１１…撮像画像取得部、１２…水平エッジ抽出部、１３…特徴点抽出部、１４…特徴点対応判定部、１５…３次元座標算出部、１６…検出対象エッジ選択部、１７…対象物認識部、１８…対象物位置算出部。
【図１】
2016053867.tif 000003
【図２】
2016053867.tif 000004
【図３】
2016053867.tif 000005