(57)【特許請求の範囲】
【請求項１】
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップと、
２次元フィルタリングに基づいて、前記逆射影変換を行われた画像から車線の画像領域を認識するステップと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率を、前記モデルの出力確率として取得するステップと、
前記出力確率に基づいて、入力画像における車線を認識するステップと、を含む
ことを特徴とする車線の認識方法。
【請求項２】
前記出力確率に基づいて、入力画像における車線を認識するステップには、
下式でモデルの再構築を行うステップを含み、
【数１】
0006739517.tif 000036
ここで、
0006739517.tif 000037
と
0006739517.tif 000038
はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
0006739517.tif 000039
と
0006739517.tif 000040
はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す
ことを特徴とする請求項１に記載の方法。
【請求項３】
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップには、
下式で前記原画像に逆射影変換を行うステップを含み、
【数２】
0006739517.tif 000041
ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータである
ことを特徴とする請求項１に記載の方法。
【請求項４】
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップには、
異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するステップと、
前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成するステップと、
改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うステップと、を含む
ことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
認識された画像領域によってモデル訓練データを構築するステップには、
前記連結領域を拡大して、画像上の関心領域を形成するステップと、
前記関心領域を含む画像を前記モデル訓練データとするステップと、を含む
ことを特徴とする請求項４に記載の方法。
【請求項６】
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整する逆射影変換モジュールと、
２次元フィルタリングに基づいて、前記逆射影変換を行われた画像から車線の画像領域を認識する領域認識モジュールと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率を、前記モデルの出力確率として取得する確率計算モジュールと、
前記出力確率に基づいて、入力画像における車線を認識するモデル再構築モジュールと、を備える
ことを特徴とする車線の認識装置。
【請求項７】
前記モデル再構築モジュールは、具体的には、
下式でモデルの再構築を行うことに用いられ、
【数３】
0006739517.tif 000042
ここで、
0006739517.tif 000043
と
0006739517.tif 000044
はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
0006739517.tif 000045
と
0006739517.tif 000046
はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す
ことを特徴とする請求項６に記載の装置。
【請求項８】
前記変換モジュールは、具体的には、
下式で前記原画像を逆射影変換することに用いられ、
【数４】
0006739517.tif 000047
ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータであることを特徴とする請求項６に記載の装置。
【請求項９】
前記認識モジュールは、
異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するフィルタリングユニットと、
前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成する二値化ユニットと、
改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うフィッティングユニットと、を備える
ことを特徴とする請求項６〜８のいずれか１項に記載の装置。
【請求項１０】
前記構築モジュールは、
前記連結領域を拡大して、画像上の関心領域を形成する拡大ユニットと、
前記関心領域を含む画像を前記モデル訓練データとするデータ取得ユニットと、を備える
ことを特徴とする請求項９に記載の装置。
【請求項１１】
コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線の認識方法を実行し、前記方法は、
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップと、
２次元フィルタリングに基づいて、前記逆射影変換を行われた画像から車線の画像領域を認識するステップと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率を、前記モデルの出力確率として取得するステップと、
前記出力確率に基づいて、入力画像における車線を認識するステップと、を含む
ことを特徴とする記憶媒体。
【請求項１２】
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備えており、
前記１つ以上のプログラムが前記メモリに記憶され、前記１つ以上のプロセッサにより実行される時に、
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整する操作と、
２次元フィルタリングに基づいて、前記逆射影変換を行われた画像から車線の画像領域を認識する操作と、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率を、前記モデルの出力確率として取得する操作と、
前記出力確率に基づいて、入力画像における車線を認識する操作と、を実行する
ことを特徴とする機器。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本特許出願は２０１５年８月３日に提出された、出願番号が２０１５１０４８２９９０．１で、出願人が百度オンラインネットワーク技術（北京）有限公司で、発明名称が「車線認識のモデリング方法及び装置、車線の認識方法及び装置」である中国特許出願に基づく優先権を主張し、当該出願の全文を引用により本願に組み込む。
【技術分野】
【０００２】
本開示の実施形態は位置情報サービス（location-based service）の技術分野に関し、特に車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器に関する。
【背景技術】
【０００３】
様々な位置情報サービスの技術では、車線の位置、タイプ、幅、色及び数の検出は、自動／補助運転、地図ナビゲーション及び地理的な基本データの生成に重要な意義がある。
【０００４】
従来の車線の検出は、ほとんど、原画像に対してエッジ検出を行い、エッジ検出の結果に対して二値化処理を行い、二値化処理結果にＨｏｕｇｈ変換、ランダムＨｏｕｇｈ変換又はｒａｎｓａｃアルゴリズムを行って車線を抽出し、最後、抽出された車線を微細化処理するという手順によって行われる。上記方法は画像が明瞭で、車線が他の物体に遮られていない場合、車線に対する認識正確率が高い。しかしながら、画像における車線のエッジが明瞭ではなく、又は車線が他の物体に遮られる場合、従来の検出方法の検出の正確さが低い。
【発明の概要】
【０００５】
上記技術的問題に対して、本開示の実施形態は車線認識のモデリング方法、装置、記憶媒体及び機器、並びに認識方法、装置、記憶媒体及び機器を提供し、それにより車線を検出する検出の正確さを向上させる。
【０００６】
第１態様では、本開示の実施形態は車線認識のモデリング方法を提供し、この方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
認識された画像領域によってモデル訓練データを構築するステップと、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練するステップと、を含む。
【０００７】
第２態様では、本開示の実施形態は車線認識のモデリング装置をさらに提供し、この装置は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する認識モジュールと、
認識された画像領域によってモデル訓練データを構築する構築モジュールと、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する訓練モジュールと、を備える
【０００８】
第３態様では、本開示の実施形態は車線の認識方法をさらに提供し、この方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得するステップと、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップと、を含む。
【０００９】
第４態様では、本開示の実施形態は車線の認識装置をさらに提供し、この装置は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する領域認識モジュールと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する確率計算モジュールと、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するモデル再構築モジュールと、を備える。
【００１０】
第５態様では、本開示の実施形態はコンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線認識のモデリング方法を実行し、当該方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
認識された画像領域によってモデル訓練データを構築するステップと、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練するステップと、を含む。
【００１１】
第６態様では、本開示の実施形態は機器を提供し、この機器は
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備えており、
前記１つ以上のプログラムが前記メモリに記憶され、前記１つ以上のプロセッサにより実行される時に、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する操作と、
認識された画像領域によってモデル訓練データを構築する操作と、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する操作と、を実行する。
【００１２】
第７態様では、本開示の実施形態はコンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線の認識方法を実行し、当該方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得するステップと、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップと、を含む。
【００１３】
第８態様では、本開示の実施形態は機器を提供し、この機器は、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備えており、
前記１つ以上のプログラムが前記メモリに記憶され、前記１つ以上のプロセッサにより実行される時に、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する操作と、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する操作と、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する操作と、を実行する。
【発明の効果】
【００１４】
本開示の実施形態に係る技術案では、２次元フィルタリングに基づいて、画像から車線の画像領域を認識して、車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得して、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識することで、画像における車線画像領域に発生可能な各種の異常状況を統合的に考慮し、車線検出の正確さを向上させる。
【図面の簡単な説明】
【００１５】
本発明の実施例における技術案をより明確的に説明するために、以下、実施例の記述に使用される添付図面について簡単に紹介し、無論、下記の説明される添付図面は、ただ本発明のいくつかの実施例であり、当業者にとって、創造的労働なしに、これらの添付図面を修正したり、置き換えたりしてもよい。
【００１６】
【図１】本開示の第１実施例に係る車線認識のモデリング方法のフローチャートである。
【図２】本開示の第２実施例に係る車線認識のモデリング方法のフローチャートである。
【図３】本開示の第３実施例に係る車線認識のモデリング方法の認識ステップのフローチャートである。
【図４】本開示の第４実施例に係る車線認識のモデリング方法の構築ステップのフローチャートである。
【図５】本開示の第４実施例に係る関心領域の概略図である。
【図６】本開示の第５実施例に係る車線の認識方法のフローチャートである。
【図７Ａ】本開示の第５実施例に係る障害物が多く存在するシーンでの車線認識の認識結果図である。
【図７Ｂ】本開示の第５実施例に係る影のあるシーンでの車線認識の認識結果図である。
【図７Ｃ】本開示の第５実施例に係る照明変化シーンでの車線認識の認識結果図である。
【図７Ｄ】本開示の第５実施例に係る地上標識の妨害があるシーンでの車線認識の認識結果図である。
【図８】本開示の第６実施例に係る車線の認識方法のフローチャートである。
【図９】本開示の第７実施例に係る車線認識のモデリング装置の構造図である。
【図１０】本開示の第８実施例に係る車線の認識装置の構造図である。
【図１１】本開示の第１０実施例に係る車線認識のモデリング方法を実行する機器のハードウェア構造の概略図である。
【図１２】本開示の第１２実施例に係る車線の認識方法を実行する機器のハードウェア構造の概略図である。
【発明を実施するための形態】
【００１７】
以下、図面と実施例を参照しながら、本発明についてさらに詳細に説明する。なお、ここで説明する具体的な実施例が本発明を解釈するものにすぎず、本発明を限定するものでない。なお、説明の便宜上、図面は本発明に関連する全部構造ではなく、一部の構造のみを示す。
【００１８】
第１実施例
本実施例は車線認識のモデリング方法の技術案を提供する。前記車線認識のモデリング方法は車線認識のモデリング装置により実行される。且つ、前記車線認識のモデリング装置はパソコン、ワークステーション又はサーバ等のコンピューティング装置に集積されることができる。
【００１９】
図１に示されるように、前記車線認識のモデリング方法は、Ｓ１１と、Ｓ１２と、Ｓ１３とを含む。
【００２０】
Ｓ１１：２次元フィルタリングに基づいて、画像から車線の画像領域を認識する。
【００２１】
前記画像は走行車線において実際に収集された、車線を含む画像データである。従来の車線認識方法は適応性が低く、認識の正確さが低いという問題が多い。具体的には、画像の収集環境が変化する（例えば、画像における車線の大部分が他の物体により遮られたり、画像に大量の影領域が出現したりする）と、画像における車線の認識結果には誤警報又は誤判定が発生する。
【００２２】
本実施例は車線認識の適応性と正確さを向上させるために、車線の認識モデルの訓練方法、つまり車線認識のモデリング方法を提供する。前記車線認識のモデリング方法により、画像における車線を正確に認識するための畳み込みニューラルネットワークを訓練することができる。且つ、前記畳み込みニューラルネットワークが画像のシーン変化に適応することができ、適応範囲がより広い。
【００２３】
具体的には、画像をフィルタリングすることにより、車線の画像領域を強調することができ、強調した後に、前記車線の画像領域を取得する。より具体的には、前記画像をフィルタリングするためのｈａｔ-ｌｉｋｅフィルタカーネルを構築し、前記ｈａｔ-ｌｉｋｅフィルタカーネルで画像をフィルタリングすることにより車線の画像領域を強調し、強調した画像領域に基づいて前記車線に対応する連結領域を取得し、最後に、前記連結領域の境界に直線フィッティングを行い、それにより車線の画像領域に対する認識を完了する。
【００２４】
Ｓ１２：認識された画像領域によってモデル訓練データを構築する。
【００２５】
前記車線の画像領域に対する認識が完了した後に、前記車線の画像領域に基づいて、車線認識モデルを訓練するためのモデル訓練データを構築する。
【００２６】
具体的には、前記車線の画像領域を外向きに拡大し、且つ拡大した後の画像領域を関心領域とする。前記関心領域は前記車線認識モデルを訓練するための訓練データである。
【００２７】
Ｓ１３：前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する。
【００２８】
本発明では、前記車線認識モデルは畳み込みニューラルネットワークに基づく車線認識モデルである。前記畳み込みニューラルネットワークはいくつかの畳み込み層とサブサンプリング層を含む。前記畳み込み層の数が前記サブサンプリング層の数と同じである。前記畳み込みニューラルネットワークはいくつかの完全接続層をさらに含む。前記畳み込みニューラルネットワークに入力された画像を取得した後に、前記畳み込みニューラルネットワークは前記画像の実車線に属する確率
0006739517.tif 000002
の値、つまり、前記車線認識モデルの出力確率の値を与えることができる。
【００２９】
本実施例は２次元フィルタリングに基づいて、画像から車線の画像領域を認識し、認識された画像領域によってモデル訓練データを構築し、前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練することにより、画像における車線画像領域に発生する可能性がある各種の異常場合を統合的に考慮することを実現し、車線検出の正確さを向上させる。
【００３０】
第２実施例
本実施例は本開示の上記実施例をもとにして、さらに車線認識のモデリング方法の技術案を提供する。当該技術案では、２次元フィルタリングに基づいて、背景画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
【００３１】
図２に示されるように、前記車線認識のモデリング方法は、Ｓ２１と、Ｓ２２と、Ｓ２３と、Ｓ２４とを含む。
【００３２】
Ｓ２１：原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整する。
【００３３】
一般的には、道路の路面画像を収集する時に、画像を収集するためのカメラの光軸が路面にほぼ平行する方向において画像を収集することを理解することができる。畳み込みニューラルネットワークに入力された車線画像の特徴をより統一させ、車線認識の正確さを向上させるために、画像を収集する時に光軸が路面に垂直ではない画像に逆射影変換を行う必要がある。
【００３４】
前記逆射影変換は逆透視マッピングとも呼ばれ、カメラにより取得された２次元画像におけるピクセルを３次元空間にマッピングすることに用いられる。より具体的には、画像を収集する時にカメラのピッチ角、ヨー角及びロール角はそれぞれα、β及びγであり、カメラの垂直と水平方向の焦点距離はそれぞれｆｕ、ｆｖであり、カメラの光学中心の座標点の横座標及び縦座標はそれぞれｃｕ、ｃｖであり、正規化パラメータはｓであると仮定すれば、式（１）で逆射影変換を行って、
【数１】
0006739517.tif 000003
ここで、（ｕ，ｖ）はピクセルの２次元画像における位置座標であり、（ｘｗ，ｙｗ，ｚｗ）はピクセルの変換後の三次元空間における位置座標である。
【００３５】
Ｓ２２：２次元フィルタリングに基づいて、画像から車線の画像領域を認識する。
【００３６】
Ｓ２３：認識された画像領域によってモデル訓練データを構築する。
【００３７】
Ｓ２４：前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する。
【００３８】
本実施例は２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整することにより、前記畳み込みニューラルネットワークに入力された画像が畳み込みニューラルネットワークに入力される前に光軸方向の統一を行い、画像における車線の認識の正確さを向上させる。
【００３９】
第３実施例
本実施例は本開示の上記実施例をもとにして、車線認識のモデリング方法の認識ステップの技術案をさらに提供する。当該技術案では、２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップもは、異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するステップと、前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成するステップと、改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うステップと、を含む。
【００４０】
図３に示されるように、２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップには、Ｓ３１と、Ｓ３２と、Ｓ３３とを含む。
【００４１】
Ｓ３１：異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択する。
【００４２】
前記ｈａｔ-ｌｉｋｅフィルタカーネルによるフィルタリング操作は下式で表示され、
【数２】
0006739517.tif 000004
ここで、Ｉ（ｘ，ｙ）はフィルタリングしたピクセルのグレースケール値であり、Ｉ（ｕ，ｖ）はフィルタリングする前のピクセルのグレースケール値であり、ｗはフィルタリング過程の幅パラメータであり、ｈはフィルタリング過程の高さパラメータである。理想的な場合、パラメータｗは車線自体の幅と同じであり、パラメータｈは車線自体の高さと同じである。
【００４３】
カメラの撮影パラメータの変化、車線自体の寸法ばらつきにより、異なる車線に対して、異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルを応用すべきである。従って、本実施例では、異なる幅パラメータ及び高さパラメータを有するる一組のｈａｔ-ｌｉｋｅフィルタカーネルによって画像をそれぞれフィルタリングして、フィルタリング結果から画像強調効果が最も明らかな１枚の画像を選択し、当該画像をフィルタリング結果画像とする。
【００４４】
Ｓ３２：前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成する。
【００４５】
ｈａｔ-ｌｉｋｅフィルタカーネルの画像強調処理を行ったので、前記フィルタリング結果画像における車線に対応する領域と画像の他の領域とは顕著な相違がある。この時、前記フィルタリング結果画像を二値化して、二値化した結果がより信頼できる。
【００４６】
前記フィルタリング結果画像を二値化処理する操作については、具体的には、グレースケール値が所定グレースケール閾値より高い画素を前記連結領域内の画素として、且つグレースケール値が所定グレースケール閾値以下の画素を前記連結領域外の画素とする。上記操作に応じて、前記フィルタリング結果画像内には少なくとも１つの連結領域を形成する。一般的には、前記連結領域は画像における車線の大体な位置領域を示す。
【００４７】
Ｓ３３：改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行う。
【００４８】
フィルタリングと二値化処理を行った後に、前記車線認識モデルを訓練するための画像内部にいくつかの連結領域を形成する。画像には照度ムラが発生したり、車線が他の物体に遮られたりする可能性があるため、取得した連結領域の実際境界が直線ではない可能性がある。従って、本実施例では、改良したｒａｎｓａｃアルゴリズムによって連結領域の境界に直線フィッティングを行う。
【００４９】
Ｒａｎｓａｃ（Ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ、ランダムサンプルコンセンサス）アルゴリズムは異常データを含む一組のサンプルデータセットに基づいて、データの数学モデルパラメータを算出して、有効なサンプルデータを取得するアルゴリズムである。従来のｒａｎｓａｃアルゴリズムは直線フィッティングを行う時に、直線フィッティング用のサンプル点の応答強度を配慮しない。言い換えれば、従来のｒａｎｓａｃアルゴリズムでは、あらゆるサンプル点は同一地位を有する。通常のｒａｎｓａｃアルゴリズムに比べて、本実施例に係るｒａｎｓａｃアルゴリズムは異なるサンプル点の応答強度を当該サンプル点の加重パラメータとして、各サンプル点を加重して、加重後の数値に基づいて直線フィッティングを行う。
【００５０】
具体的には、前記連結領域の境界箇所にいくつかのサンプル点を選択し、これらのサンプルのグレースケール値をそれら自体の加重パラメータとして、現在モデルがカバーした内点の数を計算する。このように、複数回の繰り返し計算によれば、本実施例に係る改良したｒａｎｓａｃアルゴリズムによってフィッティングして得られた直線を取得することができる。
【００５１】
本実施例は異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択し、前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成し、改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うことにより、車線の画像領域に対する正確な認識を実現する。
【００５２】
第４実施例
本実施例は本開示の上記実施例をもとにして、車線認識のモデリング方法の構築ステップのフローチャートをさらに提供する。当該技術案では、認識された画像領域によってモデル訓練データを構築するステップには、前記連結領域を拡大して、画像上の関心領域を形成するステップと、前記関心領域を含む画像を前記モデル訓練データとするステップと、を含む。
【００５３】
図４に示されるように、認識された画像領域によってモデル訓練データを構築するステップには、Ｓ４１と、Ｓ４２とを含む。
【００５４】
Ｓ４１：前記連結領域を拡大して、画像上の関心領域を形成する。
【００５５】
境界の直線フィッティングを行った連結領域に対して、境界を拡大する。具体的には、幅方向において、前記連結領域を所定数のピクセルで拡大し、次に高さ方向において、前記連結領域を所定数のピクセルで拡大する。このように、拡大した関心領域を形成する。
【００５６】
Ｓ４２：前記関心領域を含む画像を前記モデル訓練データとする。
【００５７】
図５は前記関心領域の一実施例を示す。図５に示されるように、当該実施例では、実線５１により限定される領域は前記関心領域である。
【００５８】
前記車線に対応する連結領域を拡大して、拡大して得られた関心領域をモデル訓練の訓練データとする原因として、訓練データに認識されるべきターゲット画像を含ませるだけでなく、いくつかの背景画像情報をさらに含ませ、これらの背景画像情報を前記車線のコンテキストとして、それにより訓練して得られた車線認識モデルの認識の正確さを向上させることに寄与する。
【００５９】
本実施例は前記連結領域を拡大して、画像上の関心領域を形成し、前記関心領域を含む画像を前記モデル訓練データとすることにより、モデル訓練データの構築を実現し、構築した訓練データに基づいて車線認識モデルをモデリングすることができる。
【００６０】
第５実施例
本実施例は車線の認識方法の技術案を提供する。本開示の上記実施例に記載の車線認識のモデリング方法との相違点として、前記車線認識のモデリング方法は車線認識モデルをモデリングすることに用いられ、本実施例に係る車線の認識方法は上記実施例で作成した車線認識モデルによって画像から車線を認識することである。
【００６１】
図６に示されるように、前記車線認識方法は、Ｓ６１と、Ｓ６２と、Ｓ６３とを含む。
【００６２】
Ｓ６１：２次元フィルタリングに基づいて、画像から車線の画像領域を認識する。
【００６３】
本実施例では、本発明の第３実施例に記載の方式を用いて画像から車線の画像領域を認識する。すなわち、まずｈａｔ-ｌｉｋｅフィルタカーネルによって画像をフィルタリングして、フィルタリングした画像を二値化処理して、最後に、改良したｒａｎｓａｃアルゴリズムによって、二値化した連結領域の境界に直線フィッティングを行い、それにより車線の画像領域に対する認識を実現する。
【００６４】
Ｓ６２：車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する。
【００６５】
車線の画像領域が認識された画像を前記畳み込みニューラルネットワークに入力し、入力した画像を取得した後に、前記畳み込みニューラルネットワークは前記画像を計算し、前記画像における、認識されたそれぞれの車線の画像領域が実車線の画像領域に属する確率
0006739517.tif 000005
を出力する。
【００６６】
Ｓ６３：前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する。
【００６７】
本実施例では、深さ探索（depth search）技術に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する。具体的には、用可能な車線をｋ組に分け、各組の車線における各本の車線の長さ重み、車線間の角度ばらつきの重みと距離ばらつきの重みを計算する。ここで、車線の長さ重み
0006739517.tif 000006
が式（３）に示され、
【数３】
0006739517.tif 000007
（３）
ここで、Ｈとｌｉはそれぞれ車線の高さと幅を示す。
【００６８】
第ｉ本の車線と第ｊ本の車線との間の角度ばらつきの重み
0006739517.tif 000008
は式（４）に示され、
【数４】
0006739517.tif 000009
（４）
ここで、
0006739517.tif 000010
は第ｉ本の車線の角度を示し、
0006739517.tif 000011
は第ｊ本の車線の角度を示し、
0006739517.tif 000012
は角度ばらつきの閾値を示す。
【００６９】
第ｉ本の車線と第ｊ本の車線との間の距離ばらつきの重み
0006739517.tif 000013
は式（５）に示され、
【数５】
0006739517.tif 000014
（５）
ここで、
0006739517.tif 000015
は距離の最大閾値を示し、
0006739517.tif 000016
は距離の最小閾値を示す。
【００７０】
続いて、上記３種のパラメータ及びモデルの出力確率、つまり実車線に属する確率は、モデル再構築の目的関数を共に形成し、
【数６】
0006739517.tif 000017
（６）
式（６）に示される目的関数の値が最も大きい一組の車線は、実車線と認定されることができる。
【００７１】
上記車線の認識方法によれば、サンプル画像の異なる撮影シーンの変化に適応することができる。図７はいくつかの特殊シーンにおいて撮影したサンプル画像を示す。図７Ａは障害物が多く存在するシーンでのサンプル画像を示す。図７Ｂは影のあるシーンでのサンプル画像を示す。図７Ｃは照明変化シーンでのサンプル画像を示す。図７Ｄは地上標識の妨害があるシーンでのサンプル画像を示す。本実施例に係る車線の認識方法を利用してこれらのサンプル画像の車線を認識して、サンプル画像における車線を正確に認識することができる。図７Ａ〜図７Ｄにおける実線７１、実線７２、実線７３、実線７４により限定される領域は認識した車線である。
【００７２】
本実施例は２次元フィルタリングに基づいて、画像から車線の画像領域を認識し、車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得して、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識することにより、入力画像の異なる変化に適応することができ、車線認識の正確さを向上させる。
【００７３】
第６実施例
本実施例は本開示の第５実施例をもとにして、車線の認識方法の技術案をさらに提供する。当該技術案では、２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
【００７４】
図８に示されるように、前記車線の認識方法は、Ｓ８１と、Ｓ８２と、Ｓ８３と、Ｓ８４とを含む。
【００７５】
Ｓ８１：原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整する。
【００７６】
モデルの訓練過程と類似し、車線を認識する必要があるサンプル画像に、撮影する時に光軸が地面に垂直ではない画像が含まれる可能性もある。このような場合、原画像に逆射影変換を行う必要もある。具体的には逆射影変換過程は本発明の第２実施例における説明を参照すればよい。
【００７７】
Ｓ８２：２次元フィルタリングに基づいて、画像から車線の画像領域を認識する。
【００７８】
Ｓ８３：車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する。
【００７９】
Ｓ８４：前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する。
【００８０】
本実施例は２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整して、車線を認識する必要がある画像が畳み込みニューラルネットワークに入力される前に光軸方向の統一を行い、画像における車線の認識の正確さを向上させる。
【００８１】
第７実施例
本実施例は車線認識のモデリング装置の技術案を提供する。図９に示されるように、前記車線認識のモデリング装置は、認識モジュール９２と、構築モジュール９３と、訓練モジュール９４と、を備える。
【００８２】
前記認識モジュール９２は、２次元フィルタリングに基づいて、画像から車線の画像領域を認識することに用いられる。
【００８３】
前記構築モジュール９３は、認識された画像領域によってモデル訓練データを構築することに用いられる。
【００８４】
前記訓練モジュール９４は、前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練することに用いられる。
【００８５】
さらに、前記車線認識のモデリング装置は、変換モジュール９１をさらに備える。
【００８６】
前記変換モジュール９１は、２次元フィルタリングに基づいて背景画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整することに用いられる。
【００８７】
さらに、前記変換モジュール９１は、具体的には、下式で前記原画像を逆射影変換することに用いられ、
【数７】
0006739517.tif 000018
ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータである。
【００８８】
さらに、前記認識モジュール９２は、フィルタリングユニットと、二値化ユニットと、フィッティングユニットと、を備える。
【００８９】
前記フィルタリングユニットは異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択することに用いられる。
【００９０】
前記二値化ユニットは前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成することに用いられる。
【００９１】
前記フィッティングユニットは改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うことに用いられる。
【００９２】
さらに、前記構築モジュール９３は、拡大ユニットと、データ取得ユニットと、を備える。
【００９３】
前記拡大ユニットは、前記連結領域を拡大して、画像上の関心領域を形成することに用いられる。
【００９４】
前記データ取得ユニットは、前記関心領域を含む画像を前記モデル訓練データとすることに用いられる。
【００９５】
第８実施例
本実施例は車線の認識装置の技術案を提供する。図１０に示されるように、前記車線の認識装置は、領域認識モジュール１０２、確率計算モジュール１０３及びモデル再構築モジュール１０４を備える。
【００９６】
前記領域認識モジュール１０２は、２次元フィルタリングに基づいて、画像から車線の画像領域を認識することに用いられる。
【００９７】
前記確率計算モジュール１０３は、車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得することに用いられる。
【００９８】
前記モデル再構築モジュール１０４は、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識することに用いられる。
【００９９】
さらに、前記車線の認識装置は、逆射影変換モジュール１０１をさらに備える。
【０１００】
前記逆射影変換モジュール１０１は、２次元フィルタリングに基づいて画像から車線の画像領域を認識する前に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整することに用いられる。
【０１０１】
さらに、前記モデル再構築モジュール１０４は、具体的には、
下式でモデルの再構築を行うことに用いられ、
【数８】
0006739517.tif 000019
ここで、
0006739517.tif 000020
と
0006739517.tif 000021
はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
0006739517.tif 000022
と
0006739517.tif 000023
はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す。
【０１０２】
第９実施例
本開示の実施例はコンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線認識のモデリング方法を実行し、前記方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
認識された画像領域によってモデル訓練データを構築するステップと、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練するステップと、を含む。
【０１０３】
上記記憶媒体は前記方法を実行する時に、２次元フィルタリングに基づいて、背景画像から車線の画像領域を認識する前に、
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
【０１０４】
上記記憶媒体が前記方法を実行する時に、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップには、
下式で前記原画像を逆射影変換するステップを含み、
【数９】
0006739517.tif 000024
ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータである。
【０１０５】
上記記憶媒体が前記方法を実行する時に、２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップには、
異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するステップと、
前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成するステップと、
改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うステップと、を含む。
【０１０６】
上記記憶媒体が前記方法を実行する時に、認識された画像領域によってモデル訓練データを構築するステップには、
前記連結領域を拡大して、画像上の関心領域を形成するステップと、
前記関心領域を含む画像を前記モデル訓練データとするステップと、を含む。
【０１０７】
第１０実施例
図１１は本開示の第１０実施例に係る車線認識のモデリング方法を実行する機器ハードウェアの構造概略図である。図１１で示されるように、当該機器は、
１つ以上のプロセッサ１１１０（図１１において、一つのプロセッサ１１１０を例にする）と、
メモリと１１２０、
１つ以上のモジュールと、を備える。
【０１０８】
前記機器はさらに、入力装置１１３０と出力装置１１４０と、を備えてもよい。前記装置のプロセッサ１１１０、メモリ１１２０、入力装置１１３０及び出力装置１１４０はバス又はその他の方式によって接続されることができ、図１１において、バス接続を例にする。
【０１０９】
メモリ１１２０はコンピュータ読み取り可能な記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば本発明の実施形態における車線認識のモデリング方法に対応するプログラム命令／モジュール（例えば、図９に示される車線認識のモデリング装置における変換モジュール９１、認識モジュール９２、構築モジュール９３、及び訓練モジュール９４）を記憶することに用いられてもよい。プロセッサ１１１０はメモリ１１２０に記憶されるソフトウェアプログラム、命令及びモジュールを実行して、それによりサーバの各種の機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施形態における車線認識のモデリング方法を実現する。
【０１１０】
メモリ１１２０はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶できるプログラム記憶領域、及び端末装置の使用に応じて作成されるデータ等を記憶できる記憶データ領域を備える。また、メモリ１１２０は高速ランダムアクセスメモリを備えてもよく、さらに不揮発性メモリ、例えば少なくとも１つのディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスを備えてもよい。いくつかの例では、メモリ１１２０は、プロセッサ１１１０に対して遠隔に設置されるメモリを備えてもよく、これらの遠隔メモリはネットワークで端末装置に接続されてもよい。上記ネットワークの例はインターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びその組合せを含むが、それらに限定されない。
【０１１１】
入力装置１１３０は入力されたデジタル又は文字情報を受信し、及び端末のユーザ設定及び機能制御に関連するキー信号入力を生成することに用いられてもよい。出力装置１１４０はディスプレイスクリーン等の表示装置を備えてもよい。
【０１１２】
前記１つ以上のモジュールが前記メモリ１１２０に記憶され、前記１つ以上のプロセッサ１１１０により実行される時に、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する操作と、
認識された画像領域によってモデル訓練データを構築する操作と、
前記モデル訓練データによって、畳み込みニューラルネットワークに基づく車線認識モデルを訓練する操作と、を実行する
【０１１３】
さらに、２次元フィルタリングに基づいて、背景画像から車線の画像領域を認識する前に、
原画像に逆射影変換を行って、前記原画像の光軸方向を地面に垂直な方向に調整するステップを含む。
【０１１４】
さらに、原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップには、
下式で前記原画像に逆射影変換を行うステップを含み、
【数１０】
0006739517.tif 000025
ここで、α、β、γはそれぞれカメラのピッチ角、ヨー角及びロール角であり、ｆｕ、ｆｖはカメラの垂直と水平方向の焦点距離であり、ｃｕ、ｃｖはカメラの光学中心の座標点の横座標及び縦座標であり、ｕ、ｖはそれぞれ変換する前の画像の２次元平面における座標点の横座標及び縦座標を示し、ｘｗ、ｙｗ及びｚｗはそれぞれ変換した後の三次元空間における前記座標点の三次元座標を示し、ｓは正規化パラメータである。
【０１１５】
さらに、２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップには、
異なる幅パラメータ及び高さパラメータを有するｈａｔ-ｌｉｋｅフィルタカーネルによって、背景画像をフィルタリングして、画像エッジが最も明らかな１枚の画像をフィルタリング結果画像として選択するステップと、
前記フィルタリング結果画像を二値化して、少なくとも１つの連結領域を形成するステップと、
改良したｒａｎｓａｃアルゴリズムによって、前記連結領域に境界の直線フィッティングを行うステップと、を含む
【０１１６】
さらに、認識された画像領域によってモデル訓練データを構築するステップには、
前記連結領域を拡大して、画像上の関心領域を形成するステップと、
前記関心領域を含む画像を前記モデル訓練データとするステップと、を含む
【０１１７】
第１１実施例
本開示の実施例はコンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行される時に、車線の認識方法を実行し、前記方法は、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識するステップと、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得するステップと、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップと、を含む
【０１１８】
上記記憶媒体は前記方法を実行する時に、２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
【０１１９】
上記記憶媒体は前記方法を実行する時に、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップには、
下式でモデルの再構築を行うステップを含み、
【数１１】
0006739517.tif 000026
ここで、
0006739517.tif 000027
と
0006739517.tif 000028
はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
0006739517.tif 000029
と
0006739517.tif 000030
はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す。
【０１２０】
第１２実施例
図１２は本開示の第１２実施例に係る車線認識のモデリング方法を実行する機器ハードウェアの構造概略図である。図１２で示されるように、当該機器は、
１つ以上のプロセッサ１２１０（図１２において、一つのプロセッサ１２１０を例にする）と、
メモリと１２２０、
１つ以上のモジュールと、を備える。
【０１２１】
前記機器はさらに、入力装置１２３０と出力装置１２４０と、を備えてもよい。前記装置のプロセッサ１２１０、メモリ１２２０、入力装置１２３０及び出力装置１２４０はバス又はその他の方式によって接続されることができ、図１２において、バス接続を例にする。
【０１２２】
メモリ１２２０はコンピュータ読み取り可能な記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば本発明の実施形態における車線の認識方法に対応するプログラム命令／モジュール（例えば、図１０に示される車線の認識装置における逆射影変換モジュール１０１、領域認識モジュール１０２、確率計算モジュール１０３及びモデル再構築モジュール１０４）を記憶することに用いられてもよい。プロセッサ１２１０はメモリ１２２０に記憶されるソフトウェアプログラム、命令及びモジュールを実行して、それによりサーバの各種の機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施形態における車線の認識方法を実現する。
【０１２３】
メモリ１２２０はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶できるプログラム記憶領域、及び端末装置の使用に応じて作成されるデータ等を記憶できる記憶データ領域を備える。また、メモリ１２２０は高速ランダムアクセスメモリを備えてもよく、さらに不揮発性メモリ、例えば少なくとも１つのディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスを備えてもよい。いくつかの例では、メモリ１２２０は、プロセッサ１２１０に対して遠隔に設置されるメモリを備えてもよく、これらの遠隔メモリはネットワークで端末装置に接続されてもよい。上記ネットワークの例はインターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びその組合せを含むが、それらに限定されない。
【０１２４】
入力装置１２３０は入力されたデジタル又は文字情報を受信し、及び端末のユーザ設定及び機能制御に関連するキー信号入力を生成することに用いられてもよい。出力装置１２４０はディスプレイスクリーン等の表示装置を備えてもよい。
【０１２５】
前記１つ以上のモジュールが前記メモリ１２２０に記憶され、前記１つ以上のプロセッサ１２１０により実行される時に、
２次元フィルタリングに基づいて、画像から車線の画像領域を認識する操作と、
車線の画像領域が認識された画像を畳み込みニューラルネットワークに基づく車線認識モデルに入力して、前記モデルの出力確率を取得する操作と、
前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識する操作と、を実行する。
【０１２６】
さらに、２次元フィルタリングに基づいて、画像から車線の画像領域を認識する前に、
原画像に逆射影変換を行い、前記原画像の光軸方向を地面に垂直な方向に調整するステップをさらに含む。
【０１２７】
さらに、前記出力確率に基づいてモデルの再構築を行い、それにより入力画像における車線を認識するステップには、
下式でモデルの再構築を行うステップを含み、
【数１２】
0006739517.tif 000031
ここで、
0006739517.tif 000032
と
0006739517.tif 000033
はそれぞれ第ｉ本の車線の長さ及び実車線に属する確率を示し、
0006739517.tif 000034
と
0006739517.tif 000035
はそれぞれ第ｉ本と第ｊ本の車線の角度類似性及び距離の制約関係を示す。
【０１２８】
上記実施形態の説明によれば、当業者は、本発明がソフトウェア、および必要な汎用ハードウェアにより実現されてもよく、勿論ハードウェアにより実現されてもよいが、多くの場合、前者が好ましい実施形態であると理解すべきである。このような理解に基づいて、本発明の技術案は、実質的な部分、または従来技術を改良する部分をソフトウェア製品の形態で実現してもよい。当該コンピュータソフトウェア製品は、コンピュータ読み取り可能な記録媒体、例えばコンピュータのフロッピーディスク、光ディスク、読み出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）などに記憶されてもよく、且つコンピュータ機器（パソコン、サーバ、またはネットワーク機器などであってもよく）に本発明の各実施例に係る方法を実行させる複数の命令を含む。
【０１２９】
注意すべきのは、上記車線認識のモデリング装置及び車線の認識装置の実施形態に含まれる各ユニットとモジュールが、機能ロジックのみに応じて区画されるが、上記区画に限定されない。対応する機能を実現することができればよい。また、各機能ユニットの具体的な名称は、単に区別を容易にするためのものであり、本発明の保護範囲を限定するものではない。
【０１３０】
以上で説明したのは、本発明の具体的な実施形態だけであり、本発明の保護範囲は、これらに限定されるものではない。いかなる当業者が本発明に開示された技術範囲内に容易に想到できる変更または置換の全ては、本発明の保護範囲内に入るべきである。従って、本発明の保護範囲は、添付される特許請求の範囲を基準としているものである。
【図１】
0006739517.tif 000048
【図２】
0006739517.tif 000049
【図３】
0006739517.tif 000050
【図４】
0006739517.tif 000051
【図５】
0006739517.tif 000052
【図６】
0006739517.tif 000053
【図７Ａ】
0006739517.tif 000054
【図７Ｂ】
0006739517.tif 000055
【図７Ｃ】
0006739517.tif 000056
【図７Ｄ】
0006739517.tif 000057
【図８】
0006739517.tif 000058
【図９】
0006739517.tif 000059
【図１０】
0006739517.tif 000060
【図１１】
0006739517.tif 000061
【図１２】
0006739517.tif 000062