(57)【要約】【課題】鳥瞰図変換を行うことなく、道路を撮影するカメラから得られた画像に基づいて、車線の状況を識別することが可能な技術を提供する。【解決手段】車線状況判別装置１Ａは、車両に搭載され、車両の進行方向の道路を被写体とした画像を取得するカメラ１１と、画像から、道路の車線を規定する複数のラインを抽出し、複数のラインそれぞれに近似する複数の直線を検出する直線検出部１４１と、複数の直線それぞれを延長した延長線の交点を特定する交点特定部１４２と、当該交点と画像において予め設定された無限遠点との位置を比較することによって、車線の状況を判別する車線状況判別部１４３とを備えている。【選択図】図１
2014041460.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、前記車両の進行方向の道路を被写体とした画像を取得するカメラと、
前記画像から、前記道路の車線を規定する複数のラインを抽出し、前記複数のラインそれぞれに近似する複数の直線を検出する検出手段と、
前記複数の直線それぞれを延長した延長線の交点を特定する特定手段と、
前記交点と、前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する判別手段と、
を備える車線状況判別装置。
【請求項２】
前記判別手段は、前記画像上において、前記交点の位置が前記無限遠点に対して水平方向にずれている場合、前記車両の進行方向の車線は曲線であると判別する請求項１に記載の車線状況判別装置。
【請求項３】
前記判別手段は、前記画像上において、前記交点の位置が前記無限遠点に対して垂直方向にずれている場合、前記車両の進行方向の車線は勾配のある車線であると判別する請求項１または請求項２に記載の車線状況判別装置。
【請求項４】
前記検出手段は、前記画像中の路面領域を抽出する抽出手段を有し、
前記検出手段は、前記路面領域のうち、前記画像において前記無限遠点に比較的近い領域から前記道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線を検出する請求項１から請求項３のいずれかに記載の車線状況判別装置。
【請求項５】
ａ）車両の進行方向の道路を被写体とした画像から、前記道路の車線を規定する複数のラインを抽出し、前記複数のラインそれぞれに近似する複数の直線を検出する工程と、
ｂ）前記複数の直線それぞれを延長した延長線の交点を特定する工程と、
ｃ）前記交点と、前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する工程と、
を備える車線状況判別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車線の状況を判別する技術に関する。
【背景技術】
【０００２】
従来、道路を撮影するカメラから得られた画像に基づいて、車線の状況を識別する技術が存在する。
【０００３】
例えば、特許文献１には、道路を撮影した画像に鳥瞰図変換（俯瞰変換）を施して得られる俯瞰画像を用いて道路状況を把握し、自車の走行状況を判定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１２２８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画像に鳥瞰図変換を施して俯瞰画像を取得する構成をハードウェアで実現した場合、高コストになっていた。
【０００６】
そこで、本発明は、鳥瞰図変換を行うことなく、道路を撮影するカメラから得られた画像に基づいて、車線の状況を識別することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る車線状況判別装置の第１の態様は、車両に搭載され、前記車両の進行方向の道路を被写体とした画像を取得するカメラと、前記画像から、前記道路の車線を規定する複数のラインを抽出し、前記複数のラインそれぞれに近似する複数の直線を検出する検出手段と、前記複数の直線それぞれを延長した延長線の交点を特定する特定手段と、前記交点と、前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する判別手段とを備える。
【０００８】
また、本発明に係る車線状況判別装置の第２の態様は、上記第１の態様であって、前記判別手段は、前記画像上において、前記交点の位置が前記無限遠点に対して水平方向にずれている場合、前記車両の進行方向の車線は曲線であると判別する。
【０００９】
また、本発明に係る車線状況判別装置の第３の態様は、上記第１の態様または上記第２の態様であって、前記判別手段は、前記画像上において、前記交点の位置が前記無限遠点に対して垂直方向にずれている場合、前記車両の進行方向の車線は勾配のある車線であると判別する。
【００１０】
また、本発明に係る車線状況判別装置の第４の態様は、上記第１の態様から上記第３の態様のいずれかであって、前記検出手段は、前記画像中の路面領域を抽出する抽出手段を有し、前記検出手段は、前記路面領域のうち、前記画像において前記無限遠点に比較的近い領域から前記道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線を検出する。
【００１１】
また、本発明に係る車線状況判別方法は、ａ）車両の進行方向の道路を被写体とした画像から、前記道路の車線を規定する複数のラインを抽出し、前記複数のラインそれぞれに近似する複数の直線を検出する工程と、ｂ）前記複数の直線それぞれを延長した延長線の交点を特定する工程と、ｃ）前記交点と、前記画像において予め設定された無限遠点との位置を比較することによって、前記車線の状況を判別する工程とを備える。
【発明の効果】
【００１２】
本発明によれば、鳥瞰図変換を行うことなく低コストで、道路を撮影するカメラから得られた画像に基づいて、車線の状況を識別することが可能になる。
【００１３】
本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る車線状況判別装置の構成を示すブロック図である。
【図２】車線状況判別装置の実動作前のフローチャートである。
【図３】画像上に設定された無限遠点を示す図である。
【図４】車線状況判別装置の実動作のフローチャートである。
【図５】様々な車線の車線状況を検出する様子を示す図である。
【図６】様々な車線の車線状況を検出する様子を示す図である。
【図７】様々な車線の車線状況を検出する様子を示す図である。
【図８】様々な車線の車線状況を検出する様子を示す図である。
【図９】路面領域の分割態様の一例を示す図である。
【図１０】路面領域の一部から車線の状況を検出する様子を示す図である。
【発明を実施するための形態】
【００１５】
以下、各実施形態について図面を参照して説明する。なお、異なる図面において同一の符号を付した要素は、同一または相応する要素を示すものとする。
【００１６】
＜１．第１実施形態＞
［１−１．構成］
図１は、第１実施形態に係る車線状況判別装置１Ａの構成を示すブロック図である。
【００１７】
図１に示されるように、車線状況判別装置１Ａは、カメラ１１と、画像処理部１２と、フレームメモリ１３と、情報処理部１４と、中間メモリ１５とを備えている。
【００１８】
カメラ１１は、車両に搭載され、車両周辺の道路を撮影可能となっている。本実施形態では、カメラ１１が車両のフロント部（例えば、ルームミラー（車両室内のバックミラー））に備えられ、当該カメラ１１は、車両の進行方向の道路を被写体とした画像を取得するものとする。
【００１９】
画像処理部１２は、カメラ１１によって取得された画像の画像データに各種画像処理を施す。画像処理部１２で実行される画像処理としては、例えば、不足している色成分を補間により求める画素補間処理、画像データの色空間を変換する色空間変換処理等がある。
【００２０】
フレームメモリ１３は、画像処理部１２から出力される画像処理後の画像データを一時的に記憶するためのメモリである。
【００２１】
情報処理部１４は、ＣＰＵ、ＲＡＭおよびＲＯＭ等で構成され、ＲＯＭ内に格納されたプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、直線検出部１４１、交点特定部１４２および車線状況判別部１４３を機能的に実現する。なお、当該情報処理部１４おいて実現される各機能は、ハードウェア回路で実現される態様であってもよい。
【００２２】
直線検出部１４１は、フレームメモリ１３から画像データを読み出し、画像中の路面領域を抽出する。路面領域の抽出は、例えば、路面を表す一般的な画素値を、路面に関する基準画素値として予め保持し、画像中の各画素の画素値と当該基準画素値とを比較することによって行うことができる。さらに、直線検出部１４１は、抽出された路面領域に対して、エッジ検出処理を施し、検出されたエッジに対して、直線検出処理を施す。エッジ検出処理により、道路の車線を規定する複数のライン（例えば、白線）が検出され、直線検出処理により、当該複数のラインそれぞれに沿った複数の直線が近似的に検出されることになる。直線検出部１４１における各処理は、処理中のデータを中間メモリ１５に記憶しつつ行われる。なお、直線検出処理としては、例えばハフ変換を採用することができるが、他の手法を採用してもよい。
【００２３】
交点特定部１４２は、複数の直線をそれぞれ延長して得られる、２つの延長線の画像上の交点を特定する。
【００２４】
車線状況判別部１４３は、交点特定部１４２で特定された交点と、画像において予め設定された無限遠点との位置を比較することによって、車線の状況を判別する。
【００２５】
［１−２．動作］
次に、車線状況判別装置１Ａの動作について説明する。図２は、車線状況判別装置１Ａの実動作前のフローチャートであり、図４は、車線状況判別装置１Ａの実動作のフローチャートである。図３は、画像上に設定された無限遠点を示す図である。図５〜図８は、様々な車線の車線状況を検出する様子を示す図である。
【００２６】
実動作前には、図２に示されるように、カメラ１１によって取得される画像上で無限遠点の設定が行われる。無限遠点は、実世界で互いに平行な直線が、撮像された画像上で交差する点であり、「消失点」とも称される。図３には、カメラ１１によって取得される画像ＧＨ１上に設定された無限遠点ＶＰが示されている。なお、画像ＧＨ１中の水平線ＢＬは、当該画像ＧＨ１を撮影するカメラ１１を搭載した車両が平坦な場所に位置したときに画像ＧＨ１に表れる地平線の位置を示している。
【００２７】
実動作では、図４に示されるように、ステップＳＰ１１において、まず、カメラ１１によって、車両の進行方向の道路を被写体とした画像が取得される。取得された画像には、画像処理部１２によって所定の画像処理が施される。
【００２８】
次のステップＳＰ１２では、直線検出部１４１によって、道路の車線を規定する複数のラインそれぞれに近似する複数の直線が検出される。図５には、道路の車線を規定する複数のラインそれぞれに近似する複数の直線ＳＬ１，ＳＬ２が検出された様子が示されている。
【００２９】
ステップＳＰ１３では、交点特定部１４２によって、複数の直線それぞれを延長した各延長線の交点が特定される。
【００３０】
そして、ステップＳＰ１４〜ステップＳＰ１９では、車線状況判別部１４３によって、各延長線の交点と無限遠点との位置が比較され、画像上での無限遠点に対する交点の位置に応じて、前方の車線の状況が判別される。
【００３１】
具体的には、ステップＳＰ１４では、交点が無限遠点を基準にして左右にずれているか否か（水平方向にずれているか否か）が判定される。交点が無限遠点に対して左右にずれているか否かの判定は、例えば、ずれ量が閾値（左右用の第１閾値）を超えるか否かに基づいて行われる。
【００３２】
交点が無限遠点に対して左右どちらかにずれていると判定された場合、動作工程はステップＳＰ１５に移行され、ステップＳＰ１５では、車両の進行方向の車線は、曲線である（カーブである）と判別される。なお、カーブの方向は、無限遠点に対する交点のずれ方向から特定することができる。
【００３３】
一方、交点が無限遠点に対して左右にずれていないと判定された場合、動作工程はステップＳＰ１６に移行され、ステップＳＰ１６では、車両の進行方向の車線は、直線であると判別される。
【００３４】
例えば、図６では、複数の直線ＳＬ１１，ＳＬ１２の交点ＣＰ２が、無限遠点ＶＰに対して右にずれている態様が示されており、交点と無限遠点ＶＰとが図６のような位置関係であった場合、車両の進行方向の車線は、右方向に曲がる曲線であると判別されることになる。
【００３５】
これに対し、図５のように、複数の直線ＳＬ１，ＳＬ２の交点ＣＰ１が、無限遠点ＶＰに対して左右にずれていない場合、車両の進行方向の車線は、直線であると判別される。
【００３６】
次に、ステップＳＰ１７では、交点が無限遠点を基準にして上下にずれているか否か（垂直方向にずれているか否か）が判定される。交点が無限遠点に対して上下にずれているか否かの判定は、例えば、ずれ量が閾値（上下用の第２閾値）を超えるか否かに基づいて行えばよい。
【００３７】
交点が無限遠点に対して上下どちらかにずれていると判定された場合、動作工程はステップＳＰ１８に移行され、ステップＳＰ１８では、車両の進行方向の車線は、勾配のある車線であると判別される。なお、下り勾配であるか或いは上り勾配であるかは、無限遠点に対する交点のずれ方向から特定することができる。
【００３８】
一方、交点が無限遠点に対して上下にずれていないと判定された場合、動作工程はステップＳＰ１９に移行され、ステップＳＰ１９では、車両の進行方向の車線は、勾配のない車線であると判別される。
【００３９】
例えば、図７では、複数の直線ＳＬ１３，ＳＬ１４の交点ＣＰ３が、無限遠点ＶＰに対して上にずれている態様が示されており、交点ＣＰ３と無限遠点ＶＰとが図７のような位置関係であった場合、車両の進行方向の車線は、上り勾配の車線であると判別されることになる。
【００４０】
これに対し、図８のように、複数の直線ＳＬ１５，ＳＬ１６の交点ＣＰ４が、無限遠点ＶＰに対して下にずれている場合、車両の進行方向の車線は、下り勾配の車線であると判別される。
【００４１】
以上のように、車線状況判別装置１Ａは、車両に搭載され、車両の進行方向の道路を被写体とした画像を取得するカメラ１１と、画像から、道路の車線を規定する複数のラインを抽出し、複数のラインそれぞれに近似する複数の直線を検出する直線検出部１４１と、複数の直線それぞれを延長した延長線の交点を特定する交点特定部１４２と、交点と、画像において予め設定された無限遠点ＶＰとの位置を比較することによって、車線の状況を判別する車線状況判別部１４３とを備えている。
【００４２】
このような車線状況判別装置１Ａによれば、鳥瞰図変換を行うことなく、道路を撮影するカメラから得られた画像に基づいて、車線の状況を識別することが可能になる。このように、車線状況判別装置１Ａでは、鳥瞰図変換を実現する構成が不要となるため、低コストで車線の状況を識別することが可能になる。
【００４３】
＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態に係る車線状況判別装置１Ａは、画像中の路面領域を全て用いて、道路の車線を規定する複数のラインを検出していたが、第２実施形態に係る車線状況判別装置１Ｂは、画像中の路面領域のうち、無限遠点に比較的近い領域から道路の車線を規定する複数のラインを検出する。なお、車線状況判別装置１Ｂは、車線状況判別装置１Ａとほぼ同様の構造および機能（図１参照）を有しており、共通する部分については同じ符号を付して説明を省略する。
【００４４】
上述のように、車線状況判別装置１Ｂでは、画像中の路面領域のうち一部の路面領域から道路の車線を規定する複数のラインを検出する。図９は、路面領域の分割態様の一例を示す図である。図１０は、路面領域の一部を用いて車線の状況を検出する様子を示す図である。
【００４５】
具体的には、車線状況判別装置１Ｂの直線検出部１４１（図１）は、画像から抽出した路面領域のうち、無限遠点に比較的近い領域に対してエッジ検出処理および直線検出処理を施す。すなわち、直線検出部１４１は、無限遠点に比較的近い領域から道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線を検出する。
【００４６】
より詳細には、直線検出部１４１は、画像から抽出した路面領域を、例えば、図９に示されるように、無限遠点ＶＰから比較的近い領域ＮＲと、比較的遠い領域ＦＲとに分ける。そして、図１０に示されるように、直線検出部１４１は、無限遠点ＶＰから比較的近い路面領域ＮＲから道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線ＳＬ２１，ＳＬ２２を検出する。
【００４７】
交点特定部１４２は、複数の直線ＳＬ２１，ＳＬ２２をそれぞれ延長して、交点ＣＰ５を特定し、車線状況判別部１４３は、当該交点ＣＰ５と無限遠点ＶＰとの位置を比較することによって、車線の状況を判別する。
【００４８】
図９に示されるように、画像中の道路領域を、無限遠点ＶＰから比較的近い領域ＮＲと、比較的遠い領域ＦＲとに分けた場合、画像中に存在する道路の車線が曲線であったとき、無限遠点ＶＰから近い領域ＮＲにおいて車線の曲がりが顕著になる。
【００４９】
このため、車線状況判別装置１Ｂのように、画像上において、無限遠点ＶＰから比較的近い路面領域ＮＲから道路の車線を規定する複数のラインを抽出し、当該複数のラインそれぞれに近似する複数の直線ＳＬ２１，ＳＬ２２を検出することによれば、車線状況の判別精度を向上させることができる。
【００５０】
なお、上記では、路面領域を水平２分割した上で、無限遠点ＶＰに近い領域から道路の車線を規定する複数のラインを抽出していたが、路面領域のうち、無限遠点ＶＰから所定の距離に存在する領域から道路の車線を規定する複数のラインを抽出するようにしてもよい。
【００５１】
本発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【００５２】
１Ａ，１Ｂ  車線状況判別装置
１１  カメラ
１２  画像処理部
１３  フレームメモリ
１４  情報処理部
１４１  直線検出部
１４２  交点特定部
１４３  車線状況判別部
ＧＨ１  画像
ＶＰ  無限遠点
ＢＬ  水平線
ＣＰ１〜ＣＰ５  交点
【図１】
2014041460.tif 000003
【図２】
2014041460.tif 000004
【図３】
2014041460.tif 000005
【図４】
2014041460.tif 000006
【図５】
2014041460.tif 000007
【図６】
2014041460.tif 000008
【図７】
2014041460.tif 000009
【図８】
2014041460.tif 000010
【図９】
2014041460.tif 000011
【図１０】
2014041460.tif 000012