(57)【要約】【課題】道路に存在する対象物を効率的に認識することができる対象物認識装置を提供する。【解決手段】候補画像部分抽出部１３は、カメラ２による撮像画像から生成されたエッジ画像Ｉｍ２から、実空間における鉛直方向に相当するｙ方向について所定長以上の長さを有し、且つ一定方向に連続した複数の候補画像部分４１ｂ，４２ｂ，４３ｂを抽出する。対象物認識部１４は、複数の候補画像部分４１ｂ，４２ｂ，４３ｂを繋ぐ近似線６０を底辺としてｙ方向に延びる範囲６５を除外した領域に基づいて、対象物を認識する。【選択図】  図４
2015203993.tif 000002
【特許請求の範囲】
【請求項１】
カメラによる撮像画像から、実空間における鉛直方向に相当する特定方向について所定長以上の長さを有し、且つ一定方向に連続した複数の候補画像部分を抽出する候補画像部分抽出部と、
前記撮像画像において、前記複数の候補画像部分を繋ぐ線を底辺として前記特定方向に延びる範囲を除外した領域に基づいて、対象物を認識する対象物認識部とを
を備えたことを特徴とする対象物認識装置。
【請求項２】
請求項１に記載の対象物認識装置において、
前記対象物認識部は、前記複数の候補画像部分を繋ぐ線として、前記複数の候補画像部分の前記特定方向の下端部を繋ぐ線を用いることを特徴とする対象物認識装置。
【請求項３】
請求項１又は請求項２に記載の対象物認識装置において、
前記カメラは車両に搭載されて該車両の前方を撮像し、
前記一定方向は前記車両の進行方向であることを特徴とする対象物認識装置。
【請求項４】
周辺を撮像するカメラと、
前記カメラによる撮像画像から、実空間における鉛直方向に相当する特定方向について所定長以上の長さを有し、且つ一定方向に連続した複数の候補画像部分を抽出する候補画像部分抽出部と、
前記撮像画像において、前記複数の候補画像部分を繋ぐ線を底辺として前記特定方向に延びる範囲を除外した領域に基づいて、対象物を認識する対象物認識部とを
を備えたことを特徴とする車両。
【請求項５】
カメラによる撮像画像から、実空間における鉛直方向に相当する特定方向について所定長以上の長さを有し、且つ一定方向に連続した複数の候補画像部分を抽出する候補画像抽出工程と、
前記撮像画像において、前記複数の候補画像部分を繋ぐ線を底辺として前記特定方向に延びる範囲を除外した領域に基づいて、対象物を認識する対象物認識工程と
を含むことを特徴とする対象物認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮像画像に基づいて、道路の状況を認識する対象物認識装置に関する。
【背景技術】
【０００２】
従来より、車載カメラにより撮像された車両前方の道路の画像から、道路に設けられた走行車線区分用の白線等のレーンマークを認識する対象物認識装置が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１に記載された対象物認識装置においては、カメラにより撮像された時系列の画像間で、同一物体の画像部分であると推定される画像部分を抽出し、この画像部分について複数の特徴部分の移動ベクトルを算出する。そして、複数の特徴部分の移動ベクトルの相違度が所定レベル以上である物体を、鉛直方向の高さを有する物体（道路脇の立体標識等）であると判断して、レーンマークの検出対象から除外している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１０８６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された対象物認識装置によれば、立体標識の画像部分を除外することによって、立体標識がレーンマークであると誤認識されることを防止することができる。
【０００６】
しかしながら、特許文献１に記載された対象物認識装置では、カメラにより撮像された画像から多数のレーンマークの画像部分の候補が抽出されたときに、各画像部分について複数の移動ベクトルを算出する必要があるため、画像処理の演算量が多くなって効率的ではないという不都合がある。
【０００７】
本発明はかかる背景に鑑みてなされたものであり、道路に存在する対象物を効率的に認識することができる対象物認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するためになされたものであり、カメラにより撮像された周辺画像に基づいて対象物を認識する対象物認識装置、車両、及び対象物認識方法に関する。
【０００９】
そして、本発明の対象物認識装置は、
カメラによる撮像画像から、実空間における鉛直方向に相当する特定方向について所定長以上の長さを有し、且つ一定方向に連続した複数の候補画像部分を抽出する候補画像部分抽出部と、
前記撮像画像において、前記複数の候補画像部分を繋ぐ線を底辺として前記特定方向に延びる範囲を除外した領域に基づいて、対象物を認識する対象物認識部とを
を備えたことを特徴とする。
【００１０】
かかる本発明によれば、前記候補画像部分抽出部によって抽出される複数の候補画像部分は、実空間において鉛直方向にある程度の長さを有して、一定方向に連続して配置されている物体の画像部分であるから、道路脇に設けられた連続路側物（車線の境界に設けられたポール等）の画像部分である可能性が高い。そして、道路に存在する物体（道路に敷設されたレーンマーク、他車両、歩行者等）を認識対象とする場合、道路外の範囲については認識処理を行う必要がない。
【００１１】
そこで、前記対象物認識部は、前記撮像画像において、前記複数の候補画像部分を繋ぐ線を底辺として前記特定方向に延びる範囲（実空間において連続路側物により区切られる道路脇の範囲に対応する）を除外した領域に基づいて、対象物を認識する。これにより、移動ベクトルの算出等の負荷が重い演算処理を行うことなく、道路脇の画像範囲を除外して、道路に存在する対象物を効率良く認識することができる。
【００１２】
また、前記対象物認識部は、前記複数の候補画像部分を繋ぐ線として、前記複数の候補画像部分の前記特定方向の下端部を繋ぐ線を用いることを特徴とする。
【００１３】
この構成によれば、前記複数の候補画像部分の下端部（実空間における接地部に相当する）を繋ぐ線を用いることによって、道路脇に相当する画像範囲をより精度良く除外することができる。
【００１４】
また、前記カメラは車両に搭載されて該車両の前方を撮像し、
前記一定方向は前記車両の進行方向であることを特徴とする。
【００１５】
この構成によれば、車両の進行方向は道路の延伸方向であると推定できるため、道路の延伸方向に配列された連続路側物の画像部分を、他の画像部分から区別して抽出することができる。
【００１６】
次に、本発明の車両は、
周辺を撮像するカメラと、
前記カメラによる撮像画像から、実空間における鉛直方向に相当する特定方向について所定長以上の長さを有し、且つ一定方向に連続した複数の候補画像部分を抽出する候補画像部分抽出部と、
前記撮像画像において、前記複数の候補画像部分を繋ぐ線を底辺として前記特定方向に延びる範囲を除外した領域に基づいて、対象物を認識する対象物認識部とを
を備えたことを特徴とする。
【００１７】
かかる本発明によれば、上記対象物認識装置と同様に、前記対象物認識部は、前記撮像画像において、前記複数の候補画像部分を繋ぐ線を底辺として前記特定方向に延びる範囲（実空間において連続路側物により区切られる道路脇の範囲に対応する）を除外した領域に基づいて、対象物を認識する。これにより、移動ベクトルの算出等の負荷が高い演算処理を行うことなく、道路脇の画像範囲を除外して、道路に存在する対象物を効率良く認識することができる。
【００１８】
次に、本発明の対象物認識方法は、
カメラによる撮像画像から、実空間における鉛直方向に相当する特定方向について所定長以上の長さを有し、且つ一定方向に連続した複数の候補画像部分を抽出する候補画像抽出工程と、
前記撮像画像において、前記複数の候補画像部分を繋ぐ線を底辺として前記特定方向に延びる範囲を除外した領域に基づいて、対象物を認識する対象物認識工程と
を含むことを特徴とする。
【００１９】
かかる本発明によれば、前記候補画像工程によって抽出される複数の候補画像部分は、実空間において鉛直方向にある程度の長さを有して、一定方向に連続して配置されている物体の画像部分であるから、道路脇に設けられた連続路側物（車線の境界に設けられたポール等）の画像部分である可能性が高い。そして、道路に存在する物体（道路に敷設されたレーンマーク、他車両、歩行者等）を認識対象とする場合、道路外の範囲については認識処理を行う必要がない。
【００２０】
そこで、前記対象物認識工程により、前記撮像画像において、前記複数の候補画像部分を繋ぐ線を底辺として前記特定方向に延びる範囲（実空間において連続路側物により区切られる道路脇の範囲に対応する）を除外した領域に基づいて、対象物を認識する。これにより、移動ベクトルの算出等の負荷が重い演算処理を行うことなく、道路脇の画像範囲を除外して、道路に存在する対象物を効率良く認識することができる。
【図面の簡単な説明】
【００２１】
【図１】対象物認識装置の構成図。
【図２】対象物認識処理のフローチャート。
【図３】撮像画像及びエッジ画像の説明図。
【図４】道路脇の画像範囲を除外する処理の説明図。
【発明を実施するための形態】
【００２２】
本発明の対象物認識装置の実施形態について、図１〜図４を参照して説明する。
【００２３】
図１を参照して、対象物認識装置１０は、カメラ２（カラーカメラ）、スピーカ５、表示器６、及び操舵機構７を備えた車両１（本発明の車両に相当する）に搭載されている。
【００２４】
対象物認識装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持された対象物認識及び操舵制御用のプログラムをＣＰＵで実行することにより、撮像画像取得部１１、エッジ画像生成部１２、候補画像部分抽出部１３、対象物認識部１４、及び操舵制御部１５として機能する。また、対象物認識装置１０により、本発明の対象物認識方法が実施される。
【００２５】
以下、図２に示したフローチャートに従って、対象物認識装置１０により、道路上に存在する対象物（レーンマーク、他車両等）を認識する処理について説明する。対象物認識装置１０は、所定の制御周期毎に図２に示したフローチャートによる処理を実行して、車両１が走行している道路上に存在する対象物を認識する。
【００２６】
図２のＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、カメラ２から出力される車両１の周囲（前方）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングし、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像２１を取得する。そして、この車両１の前方の撮像画像２１のデータを画像メモリ２０に保持する。
【００２７】
続くＳＴＥＰ２はエッジ画像生成部１２による処理である。エッジ画像生成部１２は、撮像画像２１の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像（多値画像）を生成する。そして、エッジ画像生成部１２は、グレースケール画像からエッジ点（周囲部の画素（画像部分）との輝度差（輝度の変化量）が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む）を抽出して、エッジ画像２２（図１参照）を生成する。
【００２８】
なお、カメラ２がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるで、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。
【００２９】
ここで、図３（ａ）に示したＩｍ１は撮像画像２１から生成されたグレースケール画像の例であり、車両１（自車両）が走行している道路３０に敷設された右端の連続線レーンマークの画像部分３１ａ、左端の連続線レーンマークの画像部分３２ａ、及び中央部の破線レーンマークの画像部分３３ａ〜３５ａが含まれている。また、Ｉｍ１には、道路３０の脇に沿って設置された連続路側物（車線分離ポール等）の画像部分４１ａ〜４３ａが含まれている。
【００３０】
図３（ｂ）に示したＩｍ２は、グレースケール画像Ｉｍ１に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Ｉｍ２においては、Ｉｍ１の画像部分３１ａに対応する画像部分３１ｂ、画像部分３２ａに対応する画像部分３２ｂ、画像部分３３ａ〜３５ａに対応する画像部分３３ｂ〜３５ｂ、画像部分４１ａ〜４３ａに対応する画像部分４１ｂ〜４３ｂが抽出されている。
【００３１】
続くＳＴＥＰ３〜ＳＴＥＰ４は、候補画像部分抽出部１３による処理である。候補画像部分抽出部１３は、エッジ画像Ｉｍ２に対して、ひとかたまりになっているエッジ点（以下、エッジ部分という）にラベルを付するラべリングと、近接したエッジ部分を同一物体の画像部分であるとして関連付けるクラスタリングを行う。
【００３２】
また、候補画像部分抽出部１３は、ＳＴＥＰ４で、クラスタリングされた画像部分のうち、ｙ方向（実空間における鉛直方向に対応する方向、本発明の特定方向に相当する）に所定長以上の長さを有し、且つ、一定方向（例えば、車両１の進行方向）に並んだ画像部分を、候補画像部分として抽出する。図３（ｂ）の例では、Ｄ１方向に並んだ画像部分４１ｂ〜４３ｂ（連続路側物の画像部分）が、複数の候補画像部分として抽出される。
【００３３】
なお、候補画像部分抽出部１３による処理工程は、本発明の対象物認識方法における候補画像抽出工程に相当する。
【００３４】
続くＳＴＥＰ５〜ＳＴＥＰ７は、対象物認識部１４による処理である。なお、対象物認識部１４による処理工程は、本発明の対象物認識方法における対象物認識工程に相当する。
【００３５】
対象物認識部１４は、ＳＴＥＰ５で、図４に示したように、候補画像部分４１ｂ〜４３ｂの下端部を繋ぐ線６０（最小二乗法等により求めた近似曲線）を求める。そして、線６０を底辺としてｙ方向に延びる範囲６５（図４では斜線で示している）を除外して、撮像画像における注目領域を設定する。これにより、連続路側物の画像部分を含む道路脇の画像範囲を除外した注目領域に基づいて、対象物を効率良く認識することを可能としている。
【００３６】
続くＳＴＥＰ６で、対象物認識部１４は、注目領域からレーンマークの画像部分の候補（図４では、３１ｂ，３２ｂ，３３ｂ〜３５ｂ）を抽出し、各レーンマークの画像部分の候補に対して、カメラ座標から実空間座標への逆射影変換を行って、各レーンマークの画像部分の候補に対応する実空間での位置を算出する。次のＳＴＥＰ７で、対象物認識部１４は、レーンマークの画像部分の候補に対応する実空間での位置に基づいて、車線の境界を認識する。
【００３７】
ＳＴＥＰ８は操舵制御部１５による処理である。操舵制御部１５は、車両１が車線の中心位置付近を走行するように、又は車線からの逸脱を抑制するように操舵機構７を作動させて、車両１の運転者の運転操作をアシストする。この場合、操舵制御部１５は、必要に応じて、スピーカ５からの音出力及び表示器６への表示により、運転者に対する注意喚起を行う。
【００３８】
［変形形態］
対象物認識部１４による認識対象は、道路に敷設されたレーンマークの他、先行車等の他車両や、道路標識等の道路上に存在する物体であってもよい。この場合にも、道路脇の画像領域を除外して、道路上に存在する物体を効率良く認識することができる。
【００３９】
上記実施形態では、図４に示したように、候補画像部分４１ｂ〜４３ｂの下端部を接続する線を用いて除外範囲６５を決定したが、候補画像部分４１ｂ〜４３ｂの下端部以外（上端部、中間部等）を繋ぐ線を用いてもよい。
【符号の説明】
【００４０】
１…車両（自車両）、２…カメラ、７…操舵機構、１０…対象物認識装置、１１…撮像画像取得部、１２…エッジ画像生成部、１３…候補画像部分抽出部、１４…対象物認識部、１５…操舵制御部、２０…画像メモリ、２１…撮像画像、２２…エッジ画像。
【図１】
2015203993.tif 000003
【図２】
2015203993.tif 000004
【図３】
2015203993.tif 000005
【図４】
2015203993.tif 000006