(57)【要約】【課題】本発明は、車道検出装置及び方法、電子機器を提供する。【解決手段】まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。【選択図】図１
2020205041.tif 000002
【特許請求の範囲】
【請求項１】
車道検出装置であって、
複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得する検出ユニット；及び
各入力画像の車道検出結果に基づいて、車道の統合検出結果を得る統合ユニットを含み、
前記検出ユニットは、
語義分割に基づいて前記入力画像における各類別の物体の領域を確定する分割ユニット；
前記入力画像における各類別の物体の領域に基づいて、前記入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得する前処理ユニット；
前記入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出する抽出ユニット；
抽出された前記車道領域画像に対して透視変換を行い、上面視画像を取得する変換ユニット；
上面視画像に対して車線の捜索及びフィッティングを行い、前記上面視画像における車線を確定する捜索ユニット；及び
車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて前記入力画像の車線を確定することで、前記入力画像の車道検出結果を得る逆変換ユニットを含む、装置。
【請求項２】
請求項1に記載の装置であって、
前記前処理ユニットは、
前記入力画像の2値画像を得る2値化ユニット；及び
各物体のうちの干渉物体の所在する領域に基づいて、前記2値画像から前記干渉物体を除去し、前処理後の2値画像を取得する除去ユニットを含む、装置。
【請求項３】
請求項1に記載の装置であって、
前記抽出ユニットは、
各類別の物体のうちの車道の所在する領域に基づいて、前処理後の2値画像中の車道の所在する領域の画像を取得する第一抽出ユニット；及び
前記車道の所在する領域の画像に対して修正を行い、前記車道領域画像を得る修正ユニットを含む、装置。
【請求項４】
請求項1に記載の装置であって、
前記捜索ユニットは、
前記上面視画像の累積画素値のヒストグラムを計算する計算ユニット；
前記ヒストグラム中の波形数に基づいて、前記上面視画像における車線数を確定する第一確定ユニット；
スライディングウィンドウを用いて、前記上面視画像中の各車線に対して捜索を行い、非ゼロ画素を検出する第一捜索ユニット；及び
検出された非ゼロ画素に対してフィッティングを行い、前記上面視画像における車線を確定するフィッティングユニットを含む、装置。
【請求項５】
請求項1に記載の装置であって、
前記検出ユニットは、さらに、
前記上面視画像中で確定された車線に基づいて、各車線中の線分の長さ及び／又は線分間の間隔の長さを確定する第二確定ユニット；及び
各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定する第三確定ユニットを含む、装置。
【請求項６】
請求項5に記載の装置であって、
前記第三確定ユニットは、車線中の線分の長さ及び／又は線分間の間隔の長さが以下の条件のうちの少なくとも1つの条件を満足する場合、前記車線を実線と確定し、そうでない場合、前記車線を点線と確定し、
即ち、
前記車線中の最も長い線分と最も短い線分との比が第一閾値よりも大きく；
前記車線中の最も長い線分の長さが第二閾値よりも小さく；及び
前記車線中の全ての線分間の間隔の平均値が第三閾値よりも小さい
という条件である、装置。
【請求項７】
請求項1に記載の装置であって、
前記統合ユニットは、全部の車線が検出された入力画像の車道検出結果を統合して車道の統合検出結果を取得する、装置。
【請求項８】
請求項5に記載の装置であって、
前記統合ユニットは、各入力画像中の、同一の車線についてそれぞれ確定された車線類型の比に基づいて、前記車線の類型を確定する、装置。
【請求項９】
請求項1-8のうちの任意の1項に記載の車道検出装置を含む電子機器。
【請求項１０】
車道検出方法であって、
複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得し；及び
各入力画像の車道検出結果に基づいて、車道の統合検出結果を得ることを含み、
前記複数の入力画像のうちの1つの入力画像に対して検出を行うことは、
語義分割に基づいて前記入力画像における各類別の物体の領域を確定し；
前記入力画像における各類別の物体の領域に基づいて、前記入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；
前記入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；
抽出された前記車道領域画像に対して透視変換を行い、上面視画像を取得し；
上面視画像に対して車線の捜索及びフィッティングを行い、前記上面視画像における車線を確定し；及び
車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて前記入力画像の車線を確定することで、前記入力画像の車道検出結果を得ることを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術分野に関する。
【背景技術】
【０００２】
車道検出が交通ビデオ監視及び自動運転において非常に重要で且つ挑戦性のあるタスクである。一般的に言えば、車線を検出することで車道を検出するときに、多くのファクターの影響を受けることがある。例えば、車道上で移動する車両、車道間の緑化帯（グリーンベルト）、車道領域を抽出する正確性などにより、車線の検出結果の不正確さを引き起こすことができる。
【０００３】
車線を検出するときに、良く用いられ方法の1つとしては、ハフ変換（Hough  transformation）に基づいて車線を検出する方法がある。該方法では、まず、オリジナル画像に対して前処理を行って2値画像を取得し、その後、手動で目標車道領域を抽出し、ハフ変換により車線を検出し、最後に、車線の傾き（Slope）の正負を判断することにより、左右車線を区別する。
【０００４】
また、スライディングウィンドウによる捜索（サーチ）に基づく方法も車線の検出のために提案されている。該方法では、まず、手動で透視変換領域を設けて透視変換によりオリジナル画像を上面図画像に変換し、その後、スライディングウィンドウを用いて車線の画素を捜索し、カーブフィッティングにより車道曲線を生成し、最後に、上面図画像をオリジナル角度に逆変換する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の発明者は次のようなことを発見した。即ち、上述の従来の方法のうち、ハフ変換に基づく方法は、手動で画像から目標車道領域を抽出する必要がある。また、該方法は、車線の傾きの正負を判断することで左右車線を区別する。よって、該方法は、単車道の検出にのみ適用される。また、車線検出の正確性も、移動する車両、緑化帯などの干渉物体の影響を受けやすい。
【０００６】
また、スライディングウィンドウによる捜索に基づく方法について言えば、それは、手動で透視変換領域を設ける必要があるという制限があるため、異なる道路シーンに適用することができない。さらに、該方法は、車線の数及び位置を特定することができず、単車線の検出にのみ適用され、即ち、上面図画像の左半分及び右半分でそれぞれ車線を捜索することしかできない。
【０００７】
本発明の実施例は、車道検出装置及び方法、電子機器を提供する。まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて全ての車道を含む車道領域画像を自動で抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
【課題を解決するための手段】
【０００８】
本発明の実施例の第一側面によれば、車道検出装置が提供され、前記装置は、
検出ユニットであって、複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を得るもの；及び
統合ユニットであって、各入力画像の車道検出結果に基づいて、車道の統合検出結果を得るものを含み、
そのうち、前記検出ユニットは、
分割ユニットであって、語義分割に基づいて前記入力画像における各類別の物体の領域を確定するもの；
前処理ユニットであって、前記入力画像における各類別の物体の領域に基づいて、前記入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を得るもの；
抽出ユニットであって、前記入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出するもの；
変換ユニットであって、抽出された前記車道領域画像に対して透視変換を行い、上面視画像を得るもの；
捜索ユニットであって、上面視画像に対して車線の捜索及びフィッティングを行い、前記上面視画像における車線を確定するもの；及び
逆変換ユニットであって、車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて前記入力画像の車線を確定することで、前記入力画像の車道検出結果を得るものを含む。
【０００９】
本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は、本発明の実施例の第一側面に記載の装置を含む。
【００１０】
本発明の実施例の第三側面によれば、車道検出方法が提供され、前記方法は、
複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得し；及び
各入力画像の車道検出結果に基づいて、車道の統合検出結果を取得することを含み、
そのうち、前記複数の入力画像のうちの１つの入力画像に対して検出を行うことは、
語義分割に基づいて前記入力画像における各類別の物体の領域を確定し；
前記入力画像における各類別の物体の領域に基づいて、前記入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；
前記入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；
抽出された前記車道領域画像に対して透視変換を行い、上面視画像を取得し；
上面視画像に対して車線の捜索及びフィッティングを行い、前記上面視画像における車線を確定し；及び
車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて前記入力画像の車線を確定することで、前記入力画像の車道検出結果を得ることを含む。
【００１１】
本発明の有益な効果は次の通りであり、即ち、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例1における車道検出装置を示す図である。
【図２】本発明の実施例1における検出ユニット102を示す図である。
【図３】本発明の実施例1における入力画像に対して語義分割を行った後の様子を示す図である。
【図４】本発明の実施例1における前処理ユニット112を示す図である。
【図５】本発明の実施例1における入力画像の2値画像を示す図である。
【図６】本発明の実施例1における前処理後の2値画像を示す図である。
【図７】本発明の実施例1における抽出ユニット113を示す図である。
【図８】本発明の実施例1における車道の所在する領域の抽出を示す図である。
【図９】本発明の実施例1における修正後の車道領域画像を示す図である。
【図１０】本発明の実施例1における透視変換後の上面視画像を示す図である。
【図１１】本発明の実施例1における捜索ユニット115を示す図である。
【図１２】本発明の実施例1における上面視画像の累積画素値のヒストグラムを示す図である。
【図１３】本発明の実施例1におけるスライディングウィンドウによる捜索を示す図である。
【図１４】本発明の実施例1における車線の類型の確定方法を示す図である。
【図１５】本発明の実施例1における車道検出結果を示す図である。
【図１６】本発明の実施例2における電子機器を示す図である。
【図１７】本発明の実施例2における電子機器のシステム構成を示すブロック図である。
【図１８】本発明の実施例3における車道検出方法を示す図である。
【図１９】本発明の実施例3におけるステップ1801で複数の画像のうちの1つの入力画像に対して検出を行う方法を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付した図面を参照しながら、本発明を実施するための好ましい実施例について詳細に説明する。
【実施例１】
【００１４】
本発明の実施例は、車道検出装置を提供する。図1は、本発明の実施例1における車道検出装置を示す図である。図2は、本発明の実施例1における検出ユニット102を示す図である。図1及び図2に示すように、車道検出装置100は、以下のものを含む。
【００１５】
検出ユニット110：複数の入力画像に対してそれぞれ進行検出、各入力画像の車道検出結果を取得し；及び
統合ユニット120：各入力画像の車道検出結果に基づいて、車道の統合検出結果を取得する。
【００１６】
そのうち、検出ユニット110は、以下のものを含む。
【００１７】
分割ユニット111：語義分割に基づいて入力画像における類別の物体の領域を確定し；
前処理ユニット112：入力画像における各類別の物体の領域に基づいて、入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；
抽出ユニット113：入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；
変換ユニット114：抽出された車道領域画像に対して透視変換を行い、上面視画像を取得し；
捜索ユニット115：上面視画像に対して車線の捜索及びフィッティングを行い、上面視画像における車線を確定し；及び
逆変換ユニット116：車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて入力画像の車線を確定することで、入力画像の車道検出結果を取得する。
【００１８】
上述の実施例から分かるように、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
【００１９】
本実施例では、検出ユニット110は、複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得する。本実施例では、例えば、複数の入力画像は、同一のシーンを撮像した監視ビデオにおける連続した複数のフレーム、又は、監視ビデオにおける不連続的な（間隔有り）複数のフレームであっても良い。
【００２０】
本実施例では、複数の入力画像の数が実際のニーズに応じて設定されても良い。
【００２１】
本実施例では、検出ユニット110は、それぞれ、複数の入力画像のうちの各入力画像に対して検出を行うことができるが、その検出の順序については、限定しない。
【００２２】
検出ユニット110が各入力画像に対して行う検出方法は、同じである。以下、検出ユニット110が複数の入力画像のうちの1つの入力画像に対して行う検出方法について説明する。
【００２３】
図2に示すように、分割ユニット111は、語義分割に基づいて、入力画像における各類別の物体の領域を確定する。
【００２４】
本実施例では、分割ユニット111は、語義分割を行うときに、従来の方法、例えば、DeepLab  V3に基づく語義分割の方法を使用しても良い。
【００２５】
図3は、本発明の実施例1における入力画像に対しての語義分割後の様子を示す図である。図3に示すように、語義分割後に、入力画像における異なる類別の物体を異なる色で示すことで、各類別の物体の所在する領域を確定することができる。このようにして、車道上で移動する車両、道路間の緑化帯などの干渉物体の所在する領域を確定することができる。
【００２６】
本実施例では、前処理ユニット112は、分割ユニット111の入力画像に対しての分割結果、即ち、入力画像における各類別の物体の領域に基づいて、入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得する。
【００２７】
図4は、本発明の実施例1における前処理ユニット112を示す図である。図4に示すように、前処理ユニット112は、以下のものを含む。
【００２８】
2値化ユニット401：入力画像の2値画像を取得し；及び
除去ユニット402：各類別の物体のうちの干渉物体の所在する領域に基づいて、2値画像から干渉物体を除去し、前処理後の2値画像を取得する。
【００２９】
本実施例では、2値化ユニット401は、従来の方法により2値画像を得ることができる。
【００３０】
図5は、本発明の実施例1における入力画像の2値画像を示す図である。図5に示すように、車線、車両、緑化帯などの物体の画素値が“1”に設定され、例えば、車線間の車道部分などの物体の画素値が“0”に設定される。
【００３１】
除去ユニット402は、分割ユニット111の入力画像に対しての分割結果、即ち、各類別の物体のうちの干渉物体の所在する領域に基づいて、2値画像から干渉物体を除去し、前処理後の2値画像を取得する。
【００３２】
図6は、本発明の実施例1における前処理後の2値画像を示す図である。図3で確定された車道上で移動する車両、道路間の緑化帯などの干渉物体の所在する領域に基づいて、これらの干渉物体を図5に示す2値画像から除去し、即ち、これら物体の画素値を“0”に設定することで、図6に示す前処理後の2値画像を取得する。
【００３３】
本実施例では、除去する必要のある干渉物体に含まれる物体の類型が実際の応用シーンに応じて確定されても良く、車線の検出に影響し得る全ての物体が干渉物体とされ得る。本実施例では、干渉物体は、例えば、車道上で移動する車両、道路間の緑化帯、街路灯などを含んでも良い。
【００３４】
本実施例では、抽出ユニット113は、分割ユニット111の入力画像に対しての分割結果、即ち、入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出する。
【００３５】
本実施例では、抽出される車道領域画像の形状は、変換ユニット114が透視変換を行う要求に応じて確定されても良く、例えば、抽出される車道領域画像は、台形である。
【００３６】
図7は、本発明の実施例1における抽出ユニット113を示す図である。図7に示すように、抽出ユニット113は、以下のものを含む。
【００３７】
第一抽出ユニット701：各類別の物体のうちの車道の所在する領域に基づいて、前処理後の2値画像における車道の所在する領域の画像を抽出し；及び
修正ユニット702：車道の所在する領域の画像を修正し、車道領域画像を得る。
【００３８】
図8は、本発明の実施例1における車道の所在する領域の抽出を示す図である。図8に示すように、第一抽出ユニット701は、図3で確定された道路領域に基づいて、図6に示す2値画像から、車道の所在する領域の画像、即ち、枠801により示される部分を確定（抽出）する。
【００３９】
修正ユニット702は、第一抽出ユニット701により抽出された車道の所在する領域の画像を修正し、例えば、抽出された画像の形状を充填及び拡張により完全な台形に修正する。図9は、本発明の実施例1における修正後の車道領域画像を示す図である。図9に示すように、図8において枠801により示される部分に対して延伸及び拡張を行うことで、完全な台形領域901を取得しており、台形領域901の画像は、修正後の車道領域画像である。
【００４０】
抽出ユニット113が車道領域画像を抽出した後に、変換ユニット114は、抽出された車道領域画像に対して透視変換（perspective  transformation）を行い、上面視画像を取得する。
【００４１】
本実施例では、変換ユニット114は、従来の方法を採用して透視変換を行うことができる。
【００４２】
例えば、以下の公式（1）及び（2）に基づいて透視変換を行う。
【数１】
2020205041.tif 000003
【００４３】
そのうち、(u,v)は、車道領域画像中の画素の座標であり、(x=x'/w'，y=y'/w')は、上面視画像中の画素の座標であり、w'及びwは、座標変換係数であり、Tは、透視変換行列であり、a11，……，a33は、透視変換行列の要素である。
【００４４】
図10は、本発明の実施例1における透視変換後の上面視画像である。図9における台形領域901の画像に対して透視変換を行った後に、図10に示す上面視画像を取得することができる。
【００４５】
変換ユニット114により上面視画像を取得した後、捜索ユニット115は、上面視画像に対して車線の捜索及びフィッティングを行うことで、上面視画像における車線を確定する。以下、捜索ユニット115の構造及び捜索方法について例示的に説明する。
【００４６】
図11は、本発明の実施例1における捜索ユニット115を示す図である。図11に示すように、捜索ユニット115は、以下のものを含む。
【００４７】
計算ユニット1101：上面視画像の累積画素値のヒストグラムを計算し；
第一確定ユニット1102：ヒストグラムにおける波形数（波形の数）に基づいて、上面視画像における車線数（車線の数）を確定し；
第一捜索ユニット1103：スライディングウィンドウを用いて、上面視画像における各車線に対して捜索を行い、非ゼロ画素を検出し；及び
フィッティングユニット1104：検出された非ゼロ画素に対してフィッティングを行い、上面視画像における車線を確定する。
【００４８】
本実施例では、計算ユニット1101は、上面視画像の累積画素値のヒストグラムを計算する。図12は、本発明の実施例1における上面視画像の累積画素値のヒストグラムを示す図である。図12に示すように、横座標は、上面視画像の幅方向の座標を示し、縦座標は、累積画素値を示す。
【００４９】
第一確定ユニット1102は、ヒストグラム中の波形数に基づいて、上面視画像における車線数を確定し、言い換えれば、ヒストグラム中の波形の数は、上面視画像中の車線の数に対応する。また、振幅（amplitude）が所定閾値よりも小さい波形を除去することで、ノイズの干渉を除去しても良い。
【００５０】
例えば、図12に示すように、ヒストグラムには、4つの波形があり、これは、上面視画像中の車線数が4であることを意味する。
【００５１】
第一捜索ユニット1103は、スライディングウィンドウを用いて、上面視画像中の各車線に対して捜索を行い、非ゼロ画素を検出する。
【００５２】
本実施例では、第一捜索ユニット1103は、各車線に対してそれぞれ捜索を行い、また、各車線に対しての捜索プロセスは、並列に実行されても良く、逐一に実行されても良く、本発明の実施例は、車線の捜索順序について限定しない。以下、第一捜索ユニット1103が1つの車線を捜索する方法について例示的に説明する。
【００５３】
例えば、第一捜索ユニット1103は、1つの車線に対して捜索を行うときに、まず、捜索の開始点を確定し、例えば、ヒストグラムの、該車線に対応する波形のピークの所在する位置の画素点を開始点とし；その後、上下方向上でスライディングウィンドウを移動してグリッド捜索（grid  search）を行い、捜索済みの領域内の全ての非ゼロの画素点を確定する。そのうち、スライディングウィンドウ中で検出された全ての非ゼロの画素点の平均座標を、移動する次の1つのスライディングウィンドウの開始点とする。
【００５４】
本実施例では、スライディングウィンドウのサイズは、実際の状況に基づいて確定されても良い。例えば、スライディングウィンドウの幅は、上面視画像の幅の、例えば、1/10（所定比）であり、スライディングウィンドウの高さは、上面視画像の高さをスライディングウィンドウ移動の回数で除算した結果であっても良い。
【００５５】
フィッティングユニット1104は、第一捜索ユニット1103が検出した非ゼロ画素に対してフィッティングを行い、上面視画像における車線を確定する。
【００５６】
例えば、フィッティングユニット1104は、該車線上の検出された全ての非ゼロの画素点に対して、2次多項式フィッティングを用いて、該車線のフィッティング曲線のパラメータを取得することで、該車線の形状を確定する。
【００５７】
図13は、本発明の実施例1におけるスライディングウィンドウによる捜索を示す図である。図13に示すように、左側の一番目の車線と例とし、1つのスライディングウィンドウを用いて下から上へ捜索を行い、非ゼロの画素点を検出する。なお、図13における複数のスライディングウィンドウが実際に表すのは、1つのスライディングウィンドウの移動プロセスである。
【００５８】
本実施例では、捜索ユニット115は、検出された非ゼロの画素点に基づいて、上面視画像中の各車線の形状及び位置を確定し、また、捜索ユニット115が確定した車線に基づいて、さらに、各車線の類型を確定することもできる。
【００５９】
例えば、図2に示すように、検出ユニット110は、さらに、以下のものを含んでも良い。
【００６０】
第二確定ユニット117：上面視画像中で確定された車線に基づいて、各車線中の線分の長さ及び／又は線分間の間隔の長さを確定し；及び
第三確定ユニット118：各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定する。
【００６１】
本実施例では、車線の類型は、例えば、実線及び点線を指す。
【００６２】
このようにして、各車線の類型を検出することで、実線と点線を区別することができる。
【００６３】
本実施例では、第二確定ユニット117は、上面視画像中で確定された車線に基づいて、各車線中の線分の長さ及び／又は線分間の間隔の長さを確定する。
【００６４】
例えば、捜索ユニット115は、検出された非ゼロの画素点に基づいて、上面視画像中の各車線を確定した場合、連続した非ゼロの画素点が線分を構成しており、この場合、各線分の長さを確定することができ、また、隣接する線分間の間隔の長さを確定することもできる。
【００６５】
第三確定ユニット118は、各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定し、例えば、車線中の線分の長さ及び／又は線分間の間隔の長さが次の条件のうちの少なくとも1つの条件を満たしたときに、該車線を実線と確定し、そうでないときに、該車線を点線と確定し、即ち、車線中の最も長い線分と最も短い線分との比が第一閾値L1よりも大きく、車線中の最も長い線分の長さが第二閾値L2よりも小さく；及び、車線中の全ての線分間の間隔の平均値が第三閾値L3よりも小さい。
【００６６】
本実施例では、第一閾値L1、第二閾値L2及び第三閾値L3の具体的な値は、実際のニーズに応じて設定されても良い。
【００６７】
図14は、本発明の実施例1における1つの車線の類型の確定方法を示す図である。図14に示すように、該方法は、
ステップ1401：1つの車線中の各線分の長さを計算し；
ステップ1402：該車線中の最も長い線分と最も短い線分との比が第一閾値L1よりも大きいかを判断し、判断結果が“はい”のときに、ステップ1407に進入し、判断結果が“いいえ”のときに、ステップ1403に進入し；
ステップ1403：該車線中の最も長い線分の長さが第二閾値L2よりも小さいかを判断し、判断結果が“はい”のときに、ステップ1407に進入し、判断結果が“いいえ”のときに、ステップ1404に進み；
ステップ1404：該車線中の各線分間の間隔の長さを計算し；
ステップ1405：該車線中の全ての線分間の間隔の平均値が第三閾値L3よりも小さいかを判断し、判断結果が“はい”のときに、ステップ1407に進入し、判断結果が“いいえ”のときに、ステップ1406に進入し；
ステップ1406：該車線を点線と確定し；及び
ステップ1407：該車線を実線と確定する。
【００６８】
本実施例では、捜索ユニット115が上面視画像中の各車線の位置及びその類型を確定した後に、車線の位置及び類型に基づいて、対応する車線をマークすることができる。その後、逆変換ユニット116は、車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて、入力画像の車線を確定することで、該入力画像の車道検出結果を取得する。
【００６９】
逆変換ユニット116は、従来の方法を用いて、上面視画像に対して逆透視変換を行っても良い。
【００７０】
例えば、以下の公式（3）を用いて、上面視画像に対して逆透視変換を行う。
【数２】
2020205041.tif 000004
【００７１】
そのうち、(u，v)は、逆透視変換後の画像中の画素の座標を示し、(x=x'/w'，y=y'/w')は、上面視画像中の画素の座標を示し、w'及びwは、座標変換係数であり、T(-1)は、透視変換行列Tの逆行列である。
【００７２】
上面視画像に対して逆透視変換を行った後に、逆透視変換後の画像を入力画像に重畳（overlap）し、該入力画像の車道検出結果、例えば、車線がマークされている入力画像を得ても良い。
【００７３】
図15は、本発明の実施例1における車道検出結果を示す図である。図15に示すように、入力画像中の各車線について、その類型に従ってマークしている。
【００７４】
本実施例では、車線に対しての検出により、車道に対しての検出を実現することができ、また、隣接する2つの車線によって1つの車道を構成することができる。
【００７５】
以上、検出ユニット110が複数の入力画像のうちの1つの入力画像に対して行う検出プロセスについて説明した。複数の入力画像の場合、それぞれ、上述の検出を行うことで、各入力画像の車道検出結果を取得し、その後、統合ユニット120は、各入力画像の車道検出結果に基づいて、車道の統合検出結果を得ることができる。
【００７６】
例えば、統合ユニット120は、全部（全ての数）の車線が検出された入力画像の車道検出結果を統合することで、車道の統合検出結果を取得する。
【００７７】
例えば、複数の入力画像がそれぞれ入力画像1、入力画像2、……、入力画像8で計8つの入力画像であり、そのうち、入力画像1、3、4、6、7、8から4つの車線が検出され、入力画像2、5から3つの車線が検出されるとする。この場合、入力画像2、5の車道検出結果を除去し、即ち、全部の車線が検出された入力画像の車道検出結果を残す。
【００７８】
本実施例では、統合ユニット120は、全部の車線が検出された各入力画像中の各車線上の非ゼロ画素点に対して重畳加算を行い、重畳加算後の車線、即ち、統合検出結果を得ることができる。
【００７９】
また、各車線の類型を確定した場合、統合ユニット120は、各入力画像中の、同一の車線についてそれぞれ確定された車線類型の比に基づいて、該車線の類型を確定することができる。
【００８０】
例えば、全部の車線が検出された入力画像1、3、4、6、7、8において、一番左側の車線について、入力画像1、3、6、7、8の検出結果が実線であり、入力画像4の検出結果が点線であるので、該車線を実線と検出する比が5/6であり、所定閾値0.5を超えているため、該車線を実線と確定することができる。
【００８１】
上述の実施例から分かるように、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、また、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
【実施例２】
【００８２】
本発明の実施例は、さらに、電子機器を提供する。図16は、本発明の実施例2における電子機器を示す図である。図16に示すように、電子機器1600は、車道検出装置1601を含み、該車道検出装置1601の構造及び機能は、実施例1中の記載と同じであるため、ここでは、その詳しい説明を省略する。
【００８３】
図17は、本発明の実施例2における電子機器のシステム構成を示す図である。図17に示すように、電子機器1700は、中央処理装置1701及び記憶器1702を含んでも良く、該記憶器1702は、該中央処理装置1701に接続される。該図は、例示に過ぎず、さらに、該構造に対して他の類型の構造を用いて補充又は代替を行うことで、電気通信機能又は他の機能を実現することもできる。
【００８４】
図17に示すように、該電子機器1700は、さらに、入力ユニット1703、表示器1704、電源1705などを含んでも良い。
【００８５】
1つの実施方式では、実施例1に記載の車道検出装置の機能が該中央処理装置1701に集積されても良い。そのうち、該中央処理装置1701は、次のように構成されても良く、即ち、複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得し；及び、各入力画像の車道検出結果に基づいて、車道の統合検出結果を取得し、そのうち、複数の入力画像のうちの1つの入力画像に対して検出を行うことは、語義分割に基づいて、入力画像における各類別の物体の領域を確定し；入力画像における各類別の物体の領域に基づいて、入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；抽出された車道領域画像に対して透視変換を行い、上面視画像を取得し；上面視画像に対して車線の捜索及びフィッティングを行い、上面視画像における車線を確定し；及び、車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて入力画像の車線を確定することで、入力画像の車道検出結果を取得することを含む。
【００８６】
例えば、入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出することは、各類別の物体のうちの車道の所在する領域に基づいて、前処理後の2値画像中の車道の所在する領域の画像を抽出し；及び、車道の所在する領域の画像に対して修正を行い、車道領域画像を得ることを含む。
【００８７】
例えば、上面視画像に対して車線の捜索及びフィッティングを行い、上面視画像における車線を確定することは、上面視画像の累積画素値のヒストグラムを計算し；ヒストグラム中の波形数に基づいて、上面視画像における車線数を確定し；スライディングウィンドウを用いて上面視画像中の各車線に対して捜索を行い、非ゼロ画素を検出し；及び、検出された非ゼロ画素に対してフィッティングを行い、上面視画像における車線を確定することを含む。
【００８８】
例えば、複数の入力画像のうちの1つの入力画像に対して検出を行うことは、さらに、上面視画像中で確定された車線に基づいて、各車線中の線分の長さ及び／又は線分間の間隔の長さを確定し；及び、各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定することを含む。
【００８９】
例えば、各車線中の線分の長さ及び／又は線分間の間隔の長さに基づいて、各車線の類型を確定することは、車線中の線分の長さ及び／又は線分間の間隔の長さが次の条件のうちの少なくとも1つの条件を満足するときに、車線を実線と確定し、そうでないときに、車線を点線と確定し、即ち、車線中の最も長い線分と最も短い線分との比が第一閾値よりも大きく；車線中の最も長い線分の長さが第二閾値よりも小さく；及び、車線中の全ての線分間隔の平均値が第三閾値よりも小さい。
【００９０】
例えば、各入力画像の車道検出結果に基づいて、車道の統合検出結果を得ることは、全部の車線が検出された入力画像の車道検出結果を統合して、車道の統合検出結果を得ることを含む。
【００９１】
例えば、各入力画像の車道検出結果に基づいて、車道の統合検出結果を得ることは、各入力画像中の、同一車線についてそれぞれ確定された車線類型の比に基づいて、車線の類型を確定することを含む。
【００９２】
他の実施方式では、実施例1に記載の車道検出装置が該中央処理装置1701と別々で配置されても良く、例えば、該車道検出装置を、該中央処理装置1701に接続されるチップとして構成し、該中央処理装置1701の制御により、該車道検出装置の機能を実現しても良い。
【００９３】
本実施例では、該電子機器1700は、図17中の全ての部品を含む必要がない。
【００９４】
図17に示すように、該中央処理装置1701は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ又は他の処理器装置及び／又は論理装置を含んでも良く、該中央処理装置1701は、入力を受信して該電子機器1700の各部品の操作を制御することができる。
【００９５】
該記憶器1702は、例えば、バッファ、フレッシュメモリ、ＨＤＤ、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの1つ又は複数であっても良い。該中央処理装置1701は、該記憶器1702に記憶されたプログラムを実行することで、情報の記憶、処理などを実現することができる。他の部品の機能は、従来と同様であるから、ここでは、その詳しい説明を省略する。該電子機器1700の各部品は、ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良いが、これらは、全て、本発明の範囲に属する。
【００９６】
上述の実施例から分かるように、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
【実施例３】
【００９７】
本発明の実施例は、さらに、車道検出方法を提供し、該方法は、実施例1の車道検出装置に対応する。図18は、本発明の実施例3における車道検出方法を示す図である。図18に示すように、該方法は、以下のステップを含む。
【００９８】
ステップ1801：複数の入力画像に対してそれぞれ検出を行い、各入力画像の車道検出結果を取得し；及び
ステップ1802：各入力画像の車道検出結果に基づいて、車道の統合検出結果を得る。
【００９９】
図19は、本発明の実施例3におけるステップ1801で複数の画像のうちの1つの入力画像に対して検出を行う方法を示す図である。図19に示すように、該方法は、以下のステップを含む。
【０１００】
ステップ1901：語義分割に基づいて、入力画像における各類別の物体の領域を確定し；
ステップ1902：入力画像における各類別の物体の領域に基づいて、入力画像の2値画像における干渉物体を除去し、前処理後の2値画像を取得し；
ステップ1903：入力画像における各類別の物体の領域に基づいて、前処理後の2値画像から車道領域画像を抽出し；
ステップ1904：抽出された車道領域画像に対して透視変換を行い、上面視画像を取得し；
ステップ1905：上面視画像に対して車線の捜索及びフィッティングを行い、上面視画像における車線を確定し；及び
ステップ1906：車線が確定された上面視画像に対して逆透視変換を行い、逆透視変換の結果に基づいて入力画像の車線を確定することで、入力画像の車道検出結果を取得する。
【０１０１】
本実施例では、上述の各ステップの具体的な実現方法については、実施例1中の記載を参照することができ、ここでは、その詳しい説明を省略する。
【０１０２】
上述の実施例から分かるように、まず、語義分割に基づいて前処理を行って2値画像における干渉物体を除去することで、車線検出の正確性を向上させ、各種の道路シーンに適用することができ、そして、語義分割の結果に基づいて自動で全ての車道を含む車道領域画像を抽出することで、自動で透視変換を行って車線の捜索及びフィッティングを実行し、多車道の検出を実現することができ、さらに、複数の入力画像の検出結果を統合することで、車線検出の正確性及び完全性をより一層向上させることができる。
【０１０３】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、車道検出装置又は電子機器中で前記プログラムを実行するときに、前記プログラムは、コンピュータに、前記車道検出装置又は電子機器中で実施例3に記載の車道検出方法を実行させる。
【０１０４】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、車道検出装置又は電子機器中で実施例3に記載の車道検出方法を実行させる。
【０１０５】
また、本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図1及び図2に示す機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図18及び図19に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable  gate  array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
【０１０６】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。
【０１０７】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2020205041.tif 000005
【図２】
2020205041.tif 000006
【図３】
2020205041.tif 000007
【図４】
2020205041.tif 000008
【図５】
2020205041.tif 000009
【図６】
2020205041.tif 000010
【図７】
2020205041.tif 000011
【図８】
2020205041.tif 000012
【図９】
2020205041.tif 000013
【図１０】
2020205041.tif 000014
【図１１】
2020205041.tif 000015
【図１２】
2020205041.tif 000016
【図１３】
2020205041.tif 000017
【図１４】
2020205041.tif 000018
【図１５】
2020205041.tif 000019
【図１６】
2020205041.tif 000020
【図１７】
2020205041.tif 000021
【図１８】
2020205041.tif 000022
【図１９】
2020205041.tif 000023