(57)【要約】      （修正有）【課題】車線を検出するための方法及び装置を提供する。【解決手段】方法は、自動車の周囲の道路画像を取得するステップと、前記現在の道路画像をディープラーニングモデルに入力し、ディープラーニングモデルから出力された結果に基づいて現在の道路画像中の車線領域を検出するステップと、を含む。ディープラーニングモデルは、第１のモデルユニット及び第２のモデルユニットを含む。第１のモデルユニットは、少なくとも１つの第１のモデルサブユニットを含む。第１のモデルサブユニットは、畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含む。第２のモデルユニットは、少なくとも１つの第２のモデルサブユニットを含む。第２のモデルサブユニットは、逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含む。【選択図】図３ａ
2019102049.tif 000002
【特許請求の範囲】
【請求項１】
車線を検出するための方法であって、
自動車の周囲の道路の現在の道路画像を取得するステップと、及び、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて前記現在の道路画像中の車線領域を検出するステップと、を含み、
前記ディープラーニングモデルは過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の関係に基づいて訓練されたモデルであり、
前記ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、かつ前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たし、
前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの入力の役割を果たし、並びに、
前記第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす、
車線を検出するための方法。
【請求項２】
請求項１に記載の方法であって、
第１の再帰型ニューラルネットワーク及び第２の再帰型ニューラルネットワークの各々が双方向長・短期記憶ネットワークである、
車線を検出するための方法。
【請求項３】
請求項１に記載の方法であって、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワークの出力結果により第１のシーケンスが形成され、第１の再帰型ニューラルネットワークに入力され、並びに、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットワークに入力される、
車線を検出するための方法。
【請求項４】
請求項１に記載の方法であって、
ディープラーニングモデルがさらに第３の再帰型ニューラルネットワークを含み、
前記第２のモデルユニットから複数の道路画像を処理することにより出力された結果から第３のシーケンスが形成され、前記第３の再帰型ニューラルネットワークに入力され、
前記複数の道路画像は前記現在の道路画像及び直近の様々な時刻に取得された道路画像を含む、
車線を検出するための方法。
【請求項５】
車線を検出するための装置であって、
自動車の周囲の道路の現在の道路画像を取得するよう設定された画像取得モジュールと、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて前記現在の道路画像中の車線領域を検出するよう設定されたモデル処理モジュールと、を含み、
前記ディープラーニングモデルは過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の関係に基づいて訓練されたモデルであり、
前記ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、かつ前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たし、
前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの入力の役割を果たし、並びに、
前記第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす、
車線を検出するための装置。
【請求項６】
請求項５に記載の装置であって、
第１の再帰型ニューラルネットワーク及び第２の再帰型ニューラルネットワークの各々が双方向長・短期記憶ネットワークである、
車線を検出するための装置。
【請求項７】
請求項５に記載の装置であって、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワークの出力結果により第１のシーケンスが形成され、第１の再帰型ニューラルネットワークに入力され、並びに、
現在の道路画像中の各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットワークに入力される、
車線を検出するための装置。
【請求項８】
請求項５に記載の装置であって、
ディープラーニングモデルがさらに第３の再帰型ニューラルネットワークを含み、
前記第２のモデルユニットから複数の道路画像を処理することにより出力された結果から第３のシーケンスが形成され、前記第３の再帰型ニューラルネットワークに入力され、
前記複数の道路画像は前記現在の道路画像及び直近の様々な時刻に取得された道路画像を含む、
車線を検出するための装置。
【請求項９】
車線を検出するためのデバイスであって、
プロセッサと、
メモリと、を含み、
メモリはプログラムコードを格納し、プログラムコードをプロセッサに送信するよう設定され、及び、
プロセッサはプログラムコードの命令に反応して、請求項１〜４のいずれか１つに記載の車線を検出するための方法を実行するよう設定される、
車線を検出するためのデバイス。
【請求項１０】
請求項１〜４に記載の車線を検出するための方法を実行するためのプログラムコードを格納する、
記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理の技術分野、特に車線検出のための方法及び装置に関する。
【背景技術】
【０００２】
自動車の運転の分野に知能システムが適用される中で、ますます多くの自動車が自動運転又は補助運転を可能にする知能システムを装備されている。自動運転又は補助運転を実現するために、自動車上の知能システムは通常、自動車の周囲の道路の道路画像から車線を検出する必要があり、それにより自動車の周囲の運転車線を決定して運転を誘導する。マシンラーニングモデルとして、ニューラルネットワークが車線検出技術に適用されている。しかしながら、ニューラルネットワークに基づく検出スキームにおいて、すべての車線が正確に検出できるわけではなく、また特に、不完全な車線、部分的に重なっている車線、又は極端に光量の変化する環境下の車線の場合に、車線は正確にかつ効果的に検出されることができない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
車線を検出するための方法及び装置であって、道路画像の各ピクセル点の画像特徴は画像処理において保存されることができ、それにより不完全な車線、部分的に重なっている車線、又は極端に光量の変化する環境下の車線といった車線を正確にかつ効果的に検出する、方法及び装置が提供される。
【課題を解決するための手段】
【０００４】
第１の様相において、本開示の実施形態により、車線を検出するための方法が提供される。方法は、
自動車の周囲の道路の現在の道路画像を取得するステップ、及び、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて前記現在の道路画像の車線領域を検出する、ステップを含み、
前記ディープラーニングモデルは、過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の対応関係に基づいて訓練されており、
前記ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、かつ前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たし、
前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの入力の役割を果たし、並びに、
前記第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす、
方法である。
【０００５】
いくつかの実施形態では、第１の再帰型ニューラルネットワーク及び第２の再帰型ニューラルネットワークの各々は、双方向長・短期記憶ネットワークであってよい。
【０００６】
いくつかの実施形態では、現在の道路画像の各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワークの出力結果及び、前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワークの出力結果により、第１のシーケンスが形成され、第１の再帰型ニューラルネットに入力され、並びに、
現在の道路画像の各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び、前記ピクセル点の近傍内の複数のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットに入力される。
【０００７】
いくつかの実施形態では、ディープラーニングモデルはさらに第３の再帰型ニューラルネットワークを含んでよく、
現在の道路画像及び最近様々な時刻において取得された道路画像を含む、複数の道路画像を処理することで第２のモデルユニットにより出力された結果から、第３の再帰型ニューラルネットワークに入力される第３のシーケンスが形成される。
【０００８】
第２の様相において、本開示の実施形態により、車線を検出するための装置が提供される。前記装置は、
自動車の周囲の道路の現在の道路画像を取得するよう設定された画像取得モジュールと、及び、
前記現在の道路画像をディープラーニングモデルに入力し、前記ディープラーニングモデルから出力された結果に基づいて、前記現在の道路画像における車線領域を検出するよう設定されたモデル処理モジュールと、を含み、
ディープラーニングモデルは、過去の道路画像及び前記過去の道路画像中の既知の車線領域の間の対応関係に基づいて訓練された、モデルであり、
ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たし、
前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含み、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの入力の役割を果たし、
前記第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす、
装置である。
【０００９】
いくつかの実施形態では、第１の再帰型ニューラルネットワーク及び第２の再帰型ニューラルネットワークの各々は、双方向長・短期記憶ネットワークであってよい。
【００１０】
いくつかの実施形態では、現在の道路画像の各ピクセル点に対して、そのピクセル点に対する畳み込みニューラルネットワークの出力結果及び、そのピクセル点に近接するピクセル点に対する畳み込みニューラルネットワークの出力結果により第１のシーケンスが形成され、第１の再帰型ニューラルネットに入力され、並びに、
現在の道路画像の各ピクセル点に対して、そのピクセル点に対する逆畳み込みニューラルネットワークの出力結果及び、そのピクセル点に近接するピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットに入力される。
【００１１】
いくつかの実施形態では、ディープラーニングモデルがさらに第３の再帰型ニューラルネットワークを含んでよく、
現在の道路画像及び最近様々な時刻において取得された道路画像を含む、複数の道路画像を処理することで第２のモデルユニットにより出力された結果から第３のシーケンスが形成され、第３の再帰型ニューラルネットワークに入力される。
【００１２】
第３の様相において、本開示の実施形態により、車線を検出するためのデバイスが提供される。デバイスは、
プロセッサと、及び、
メモリと、を含み、
前記メモリはプログラムコードを保持して前記プログラムコードを前記プロセッサに送信するよう設定され、
前記プロセッサは前記プログラムコード内の命令に反応して、前記第１の様相による、車線を検出するための方法を実行するよう設定される。
【００１３】
第４の様相において、本開示の実施形態による記憶媒体が提供される。前記記憶媒体は、第１の様相による車線を検出するための方法を実行するためのプログラムコードを保持するよう設定される。
【００１４】
本開示の実施形態によると、自動車の周囲の道路の道路画像中の車線が、ディープラーニングモデルにより検出される。畳み込みニューラルネットワーク（ＮＣＣ）に加え、ディープラーニングモデルには再帰型ニューラルネットワーク（ＲＮＮ）も使用される。従って、再帰型ニューラルネットワークによる道路画像処理において、入力画像中の各ピクセル点に対して画像特徴に基づいた知覚結果が出力され、それにより道路画像中の各ピクセル点の画像特徴が保存され得、かつ道路画像中の車線の空間特徴が抽出され得て、それゆえ不完全な車線、部分的に塞がれた車線、又は極端に光量が変化する環境下の車線の場合であっても、車線が正確にかつ効果的に検出され得る。
【図面の簡単な説明】
【００１５】
本開示の実施形態又は従来技術における技術的解決をより明瞭に示すために、実施形態又は従来技術の説明において用いられる図面は以下で簡単に説明される。以下の説明における図面は本開示のいくつかの実施形態のみを示すものであり、これらの図面から他の図面が当業者により創作的努力なく獲得され得ることは明らかである。
【００１６】
【図１】図１は、本開示の実施形態に係る、ある適用事例に関係するシステムのフレームワークの模式図である。
【図２】図２は、本開示の実施形態に係る、車線を検出するための方法の模式的なフローチャートである。
【図３ａ】図３ａは、本開示の実施形態に係る、ディープラーニングモデルの構造の模式図である。
【図３ｂ】図３ｂは、本開示の実施形態に係る、ディープラーニングモデルの別の構造の模式図である。
【図４】図４は、本開示の実施形態に係る、畳み込みニューラルネットワークの出力結果に対して実行される特徴変換を示す模式図である。
【図５】図５は、本開示の実施形態に係る、ピクセル点Ａに対して形成する第１のシーケンスの模式図である。
【図６】図６は、本開示の実施形態に係る、ディープラーニングモデルの別の構造の模式図である。
【図７】図７は、本開示の実施形態に係る、第３の再帰型ニューラルネットワークに対する特徴変換を示す模式図である。
【図８】図８は、本開示の実施形態に係る、車線を検出するための装置の構造の模式図である。
【図９】図９は、本開示の実施形態に係る、車線を検出するためのデバイスの構造の模式図である。
【発明を実施するための形態】
【００１７】
本開示の解決手段を当業者によりよく理解されるようにするため、本開示の実施形態における技術的解決は、本開示の実施形態における図面と組み合わせて以下で明瞭に説明される。以下で説明される実施形態は本開示のいくつかの実施形態に過ぎず、すべての実施形態ではないことは明らかである。本開示の実施形態に基づいて当業者が創作的努力なく獲得した他のすべての実施形態は、本開示の保護の範囲に含まれる。
【００１８】
道路画像は道路画像処理方法の中で、畳み込みニューラルネットワークにより処理される。しかしながら、畳み込みニューラルネットワークにより道路画像が処理された後、道路画像のピクセルサイズは減縮され、それゆえ画像特徴の一部が失われる。具体的には、畳み込みニューラルネットワークによる道路画像処理において、畳み込みニューラルネットワークは、入力画像中の複数のピクセル点を含む画像領域に対する１つの画像特徴結果を出力することで、その画像領域の画像特徴を特徴付ける。たとえば、畳み込みニューラルネットワークへ入力される画像中の９ピクセル点を含む画像領域に対して、畳み込みニューラルネットワークは、その画像領域を処理した後、その画像領域の画像特徴を表現するために１つの点の画像特徴のみを出力する。こうすると、もし入力画像が本来９×ｎ個のピクセル点の画像特徴を持っているならば、処理の後に畳み込みニューラルネットワークにより出力された画像はｎ点の画像特徴しか持たず、つまり、入力画像のピクセルサイズが９分の１に減縮されている。従って、畳み込みニューラルネットワークによる道路画像処理において、あらゆるピクセル点に対する画像特徴が出力されることはあり得ない。この場合、いくつかの画像情報が道路画像処理の間に失われ、結果として畳み込みニューラルネットワークによる道路画像から識別された車線情報は不正確なものとなる。再帰型ニューラルネットワークは道路画像の処理において、各ピクセル点に対する画像特徴結果を出力することができる。この場合、処理の後に再帰型ニューラルネットワークにより出力される画像のピクセルサイズは入力画像のものと比べて変化しないままであり、これにより画像情報の損失を避け、畳み込みニューラルネットワークの欠点を補う。
【００１９】
上記の観点において、本開示の実施形態によるディープラーニングモデルによって、自動車の周囲の道路の道路画像中の車線が検出される。畳み込みニューラルネットワークに加え、ディープラーニングモデル内では再帰型ニューラルネットワークも使用されている。従って、再帰型ニューラルネットワークによる道路画像処理において、画像特徴に基づいた知覚結果は入力画像中の各ピクセル点に対して出力され、これにより道路画像中の各ピクセル点の画像特徴が保存され得、かつ道路画像中の車線の空間特徴が抽出され得て、それゆえ不完全な車線、部分的に塞がれた車線、又は極端に光量が変化する環境下の車線の場合であっても、車線が正確にかつ効果的に検出され得る。
【００２０】
本開示の実施形態に係る事例は、図１に示したようなシステムであり得る。システムはたとえば、運転アシストシステムであってよい。具体的には、システムはたとえば、車線の自動検出システムであってよい。システムは処理デバイス１０１、ディスプレイデバイス１０２及び撮影デバイス１０３を含む。このシステムにおいて、撮影デバイス１０３は撮影して車線の現在の道路画像を取得し、及び現在の道路画像を処理デバイス１０１に送信してよい。処理デバイス１０１は現在の道路画像をディープラーニングモデルに入力し、ディープラーニングモデルから出力された結果に基づいて現在の道路画像中の車線領域を決定してよい。処理デバイス１０１はその後、現在の道路画像上の決定された車線領域を識別して、現在の道路画像を識別された車線領域とともに、表示のためのディスプレイデバイス１０２に送信してもよい。
【００２１】
適用事例はただ本開示の理解を容易にするために示されたものであり、本開示の実施形態における適用事例がそれに限定されることはないことは注意されるべきである。本開示の実施形態は、どのような適用可能な事例にも適用され得る。
【００２２】
図２を参照して、図２は本開示の実施形態に係る、車線を検出するための方法の模式的なフローチャートである。実施形態に係る車線を検出するための方法は、以下のＳ２０１〜Ｓ２０２を含む。
【００２３】
Ｓ２０１では、自動車の周囲の道路の現在の道路画像が取得される。
【００２４】
この実施形態において、自動車の周囲の現在の道路は自動車上の前方に向けたカメラによりキャプチャされてよく、カメラによりキャプチャされた画像は、自動車の周囲の道路の現在の道路画像として取得され及び使用されてよい。
【００２５】
通常、自動車の前方に向けたカメラのカバー範囲は大きいため、カメラによりキャプチャされた道路画像の全体が処理されるならば、処理される道路画像のデータ量は大きくなり、処理速度に影響を与える。加えて、自動車の現在の位置から遠く離れた道路画像コンテンツを処理することには何の重要性もない。この観点から、可能な実装では、自動車の周囲の道路の現在の道路画像は、以下のステップＡ〜Ｂにより取得され得る。
【００２６】
ステップＡでは、自動車のカメラによりキャプチャされた現在の周辺画像が取得される。
【００２７】
ステップＢでは、自動車の前方の所定の領域の画像が現在の周辺画像から切り出され、現在の道路画像として使用される。
【００２８】
たとえば、自動車の前方の所定の領域は、自動車のすぐ前方の長方形領域であってよく、その長方形領域の長さ及び幅は実際の状況に即して決定されてよい。たとえば、長方形領域の長さは自動車の現在の運転速度に基づいて決定され、長方形領域の幅は自動車の車体の幅に基づいて決定される。加えて、自動車の前方の所定の領域は他の形の領域でもよく、この実施形態に限定されることはない。
【００２９】
Ｓ２０２では、現在の道路画像がディープラーニングモデルへと入力され、ディープラーニングモデルから出力された結果に基づいて、現在の道路画像中の車線領域が検出される。
【００３０】
この実施形態におけるディープラーニングモデルは、過去の道路画像及び過去の道路画像における既知の車線領域の間の対応関係に基づいて訓練されたモデルであるということには注意すべきである。つまり、ディープラーニングモデルは大量の過去のデータに基づいて訓練されており、現在の道路画像が入力されるディープラーニングモデルが結果を出力し、現在の道路画像の車線情報がその結果に基づいて決定され得る。
【００３１】
ディープラーニングモデルはディープラーニングモデルに現在の道路画像が入力された後、現在の道路画像に基づいて各ピクセル点の画像特徴を抽出でき、つまり各ピクセル点に対する結果を出力することができ、各ピクセル点に対する出力結果に基づいて現在の道路画像の車線情報が決定できるということは注意されるべきである。ディープラーニングモデルから出力された各ピクセル点に対する結果が、そのピクセル点が車線領域内の点であるかどうかを示してよいということは理解しておくべきである。ピクセル点ｉに対する出力結果は、Ｐ（ｉ）で表される。たとえばＡ≠Ｂとして、Ｐ（ｉ）＝Ａという関係はピクセル点ｉが車線領域内の点であることを示し、Ｐ（ｉ）＝Ｂという関係は、ピクセル点ｉが車線領域の外側の点であることを示す。他の例として、Ｃ及びＤを所定の値として、Ｐ（ｉ）∈［Ｃ，Ｄ］という関係はｉが車線領域内の点であることを示し、
【数１】
2019102049.tif 000003
という関係は点ｉが車線領域の外側の点であることを示す。
【００３２】
この実装において、ディープラーニングモデルには畳み込みニューラルネットワーク及び再帰型ニューラルネットワークの両方が採用され、現在の道路画像の処理において画像情報が失われるのを避ける。これにより、畳み込みニューラルネットワークによる画像処理において画像情報が損失されるのに対し、再帰型ニューラルネットワークによる画像処理においては画像情報が保存される。従って、現在の道路画像の全ての画像情報がニューラルネットワークにより処理されることができ、現在の道路画像における車線の検出結果は正確なものとなる。
【００３３】
たとえば、図３ａ及び図３ｂを参照して、これらは本実施形態に係るディープラーニングモデルの２つの典型的な構造の模式図である。両方の構造において、ディープラーニングモデルは第１のモデルユニット３００及び第２のモデルユニット４００を含み、前記第１のモデルユニット３００の出力は前記第２のモデルユニット４００の入力の役割を果たしている。
【００３４】
第１のモデルユニット３００に入力されるデータは自動車の現在の道路画像であってよく、第１のモデルユニット３００からその道路画像を処理することで出力された結果が、第２のモデルユニット４００へと入力されるということは注意されるべきである。第２のモデルユニット４００は第１のモデルユニット３００により出力された結果を処理した後、処理結果を出力する。処理結果はディープラーニングモデルの出力で、現在の道路画像における車線領域を決定するためのものであってよい。
【００３５】
第１のモデルユニット３００は少なくとも１つの第１のモデルサブユニット３１０を含む。前記第１のモデルサブユニットは畳み込みニューラルネットワーク３１１及び第１の再帰型ニューラルネットワーク３１２を含む。前記畳み込みニューラルネットワーク３１１の出力は、前記第１の再帰型ニューラルネットワーク３１２の入力の役割を果たす。
【００３６】
第２のモデルユニット４００は少なくとも１つの第２のモデルサブユニット４１０を含む。前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク４１１及び第２の再帰型ニューラルネットワーク４１２を持つ。前記逆畳み込みニューラルネットワーク４１１の出力は、前記第２の再帰型ニューラルネットワーク４１２の入力の役割を果たす。
【００３７】
この実施形態では、自動車の現在の道路画像は畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークの組み合わせを備える第１のモデルユニット３００によって処理され、第１のモデルユニット３００の出力はさらに、逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークの組み合わせを備える第２のモデルユニット４００によって処理される。
【００３８】
第１のモデルユニット３００は畳み込みニューラルネットワーク３１１及び第１の再帰型ニューラルネットワーク３１２からなる少なくとも１つのグループを含み、すなわち、少なくとも１つの第１のモデルサブユニット３１０を含むことは理解されるべきである。これはつまり、第１のモデルユニット３００は図３ａに示したように、ただ１つの第１のモデルサブユニット３１０を含んでもよいということである。代替的に、第１のモデルユニット３００は図３ｂに示されたように、複数の第１のモデルサブユニット３１０を含んでもよい。
【００３９】
この実施形態では、ディープラーニングモデルに現在の道路画像が入力された後、現在の道路画像中の各ピクセル点が車線領域内に位置しているかどうかを示す結果が、ディープラーニングモデルにより出力される必要がある。従って、画像がディープラーニングモデルにより処理された後、処理された画像のピクセルサイズは変化しない必要がある。従って、畳み込みニューラルネットワーク３１１及び逆畳み込みニューラルネットワーク４１１の両方がディープラーニングモデルに採用される。画像はまず畳み込みニューラルネットワーク３１１により処理され、処理画像のピクセルサイズが減縮される。その後画像は逆畳み込みニューラルネットワーク４１１により処理され、処理画像のピクセルサイズは拡張される。こうすることで、ディープラーニングモデルにより処理された後の画像及び元来ディープラーニングモデルに入力された画像は同じピクセルサイズを持ち、現在の道路画像のあるピクセル点が車線領域に位置しているかどうかを示す結果が、現在の道路画像の各ピクセル点に対して取得され得る。
【００４０】
第１のモデルユニット３００における第１の再帰型ニューラルネットワーク３１２及び、第２のモデルユニット４００における第２の再帰型ニューラルネットワーク４１２の各々は、どのような再帰型ニューラルネットワークでもよいということは注意されるべきである。第１の再帰型ニューラルネットワーク３１２及び第２の再帰型ニューラルネットワークの間の差異は、第１の再帰型ニューラルネットワーク３１２の入力が畳み込みニューラルネットワーク３１１の出力であり、第２の再帰型ニューラルネットワーク４１２の入力は逆畳み込みニューラルネットワーク４１１の出力であるという点である。例として、第１の再帰型ニューラルネットワーク３１２及び第２の再帰型ニューラルネットワーク４１２の各々は、双方向長・短期メモリ（ＬＳＴＭ）ネットワークであってよい。双方向ＬＳＴＭネットワークにより、道路画像における各ピクセル点の空間特徴が十分に保存され、検出された車線領域は正確なものとなる。
【００４１】
第１のモデルユニット３００の構造及び処理の手順は、第２のモデルユニット４００のそれらと類似のものだということは理解されるべきである。差異は、第１のモデルユニット３００における畳み込みニューラルネットワーク３１１が、第２のモデルユニット４００では逆畳み込みニューラルネットワーク４１１で置き換えられているという点である。以下では例として、第１のモデルユニット３００の構造及び処理の手順を説明している。
【００４２】
第１のモデルユニット３００では、第１のモデルユニット３００の入力画像が畳み込みニューラルネットワーク３１１に入力され、畳み込みニューラルネットワーク３１１により処理されて、第１の出力結果が獲得される。畳み込みニューラルネットワーク３１１の前記第１の出力結果はさらに再帰型ニューラルネットワーク３１２によって処理され、第２の出力結果が獲得される。
【００４３】
再帰型ニューラルネットワークの入力変数は通常少なくとも１つの要素を含むシーケンスであるということは注意されるべきである。この観点では、図４に示すように、第１のモデルユニット３００内の畳み込みニューラルネットワーク３１１及び第１の再帰型ニューラルネットワーク３１２の間に、特徴変換処理が採用されてよい。特徴変換処理においてシーケンスは、畳み込みニューラルネットワーク３１１の各ピクセル点に対する出力結果からある規則に従って形成されてよく、その後前記シーケンスが第１の再帰型ニューラルネットワーク３１２に入力される。前記シーケンスは複数の点に対する畳み込みニューラルネットワーク３１１の出力結果を含んでもよい。
【００４４】
例として、特徴変換処理は以下のようであり得る。第１のモデルサブユニット３１０において各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワーク３１１の出力結果及び前記ピクセル点の近傍内の複数のピクセル点に対する畳み込みニューラルネットワーク３１１の出力結果により第１のシーケンスが形成され、第１の再帰型ニューラルネットワーク３１２に入力される。たとえば、各ピクセル点の近傍に８つのピクセル点が存在する場合、各ピクセル点に対して、前記ピクセル点に対する畳み込みニューラルネットワーク３１１の出力結果及び前記ピクセル点の近傍内の８つのピクセル点に対する畳み込みニューラルネットワーク３１１の出力結果により第１のシーケンスが形成される。例として、ピクセル点ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉがすべてピクセル点ａの近傍内のピクセル点であるとして、ピクセル点ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉに対する畳み込みニューラルネットワーク３１１の出力結果が取得される場合、第１のシーケンスＸ＝［Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ］はピクセル点ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉに対する畳み込みニューラルネットワーク３１１の出力結果により形成されてよい。第１のシーケンスは第１の再帰型ニューラルネットワーク３１２の入力の役割を果たしてよい。第１のシーケンスにおいて、Ａはピクセル点ａに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｂはピクセル点ｂに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｃはピクセル点ｃに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｄはピクセル点ｄに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｅはピクセル点ｅに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｆはピクセル点ｆに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｇはピクセル点ｇに対する畳み込みニューラルネットワーク３１１の出力結果を表し、Ｈはピクセル点ｈに対する畳み込みニューラルネットワーク３１１の出力結果を表し、かつＩはピクセル点ｉに対する畳み込みニューラルネットワーク３１１の出力結果を表す。
【００４５】
各第１のシーケンス内のピクセル点に対する出力結果が、一定の規則に従ってランクづけされ、各ピクセル点の空間特徴を効果的に保存してもよいということは注意されるべきである。前記一定の規則は、ピクセル点に対する出力結果のランク及びそれらピクセル点の位置の間の一定の対応関係を示す。従って、画像中の、出力結果に対応するピクセル点の位置は第１のシーケンスにおける出力結果のランクに基づいて決定され得、それにより各ピクセル点の空間特徴を復元し、それゆえ現在の道路画像の空間特徴が表現され得る。
【００４６】
たとえば、異なる２つの第１のシーケンスＭ及びＮがあるとする。第１のシーケンスＭは画像領域１中のピクセル点に対する出力結果、つまり、点ａ１に対する出力結果Ａ１、点ｂ１に対する出力結果Ｂ１、点ｃ１に対する出力結果Ｃ１及び点ｄ１に対する出力結果Ｄ１、を含む。第１のシーケンスＮは画像領域２内のピクセル点に対する出力結果、つまり、点ａ２に対する出力結果Ａ２、点ｂ２に対する出力結果Ｂ２、点ｃ２に対する出力結果Ｃ２及び点ｄ２に対する出力結果Ｄ２を含む。画像領域１において、ピクセル点ａ１は左上の角に位置し、ピクセル点ｂ１は右上の角に位置し、ピクセル点ｃ１は左下の角に位置し、ピクセル点ｄ１は右下の角に位置している。画像領域２において、ピクセル点ａ２は左上の角に位置し、ピクセル点ｂ２は右上の角に位置し、ピクセル点ｃ２は左下の角に位置し、ピクセル点ｄ２は右下の角に位置している。第１のシーケンスＭにおけるピクセル点に対する出力結果は、Ａ１→Ｂ１→Ｃ１→Ｄ１の順でランク付けされており、これはつまり第１のシーケンスＭが［Ａ１，Ｂ１，Ｃ１，Ｄ１］であるということである。第１のシーケンスＮにおけるピクセル点に対する出力結果は、Ａ２→Ｂ２→Ｃ２→Ｄ２の順でランク付けされており、これはつまり第１のシーケンスＮが［Ａ２，Ｂ２，Ｃ２，Ｄ２］であるということである。この場合、第１のシーケンスＭにおけるピクセル点に対する出力結果のランクに対応するピクセル点の中の位置の対応関係は第１のシーケンスＮと同じであり、その位置対応関係は一定、すなわち、画像領域の左上の角→画像領域の右上の角→画像領域の左下の角→画像領域の右下の角というものである。
【００４７】
例として、９つのピクセル点に対する出力結果により形成されたピクセル点Ａに対する第１のシーケンスについて、ピクセル点Ａに対する第１のシーケンスにおける出力結果のランクは：ピクセル点Ａの近傍内の左上の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左下の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の下側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右下の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右上の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の上側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、並びに、ピクセル点Ａに対する畳み込みニューラルネットワークの出力結果、というようというように定められてよい。
【００４８】
たとえば、図５にはピクセル点Ａ及びピクセル点Ａの近傍内のピクセル点Ａ１〜Ａ８に対する第１のシーケンスを形成する手順の例が示されている。その第１のシーケンスにおいて、ピクセル点の出力結果のランクは、Ａ１→Ａ２→Ａ３→Ａ４→Ａ５→Ａ６→Ａ７→Ａ８→Ａであり、これはつまり、第１のシーケンスは［Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８，Ａ］であってよいということである。
【００４９】
第１のモデルユニット３００と同様、第２のモデルユニット４００における逆畳み込みニューラルネットワーク４１１及び第２の再帰型ニューラルネットワーク４１２の間にも、特徴変換処理が採用され得るということは理解されるべきである。たとえば、特徴変換処理は以下のようであってよい。各ピクセル点に対して、前記ピクセル点に対する逆畳み込みニューラルネットワーク４１１の出力結果及び、前記ピクセル点の近傍内のピクセル点に対する逆畳み込みニューラルネットワーク４１１の出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットワーク４１２に入力される。
【００５０】
第２のシーケンス内のピクセル点に対する出力結果も第１のシーケンスと同様、効果的に各ピクセル点の空間特徴を保存するために、一定の規則に従ってランク付けされてよいということは注意されるべきである。例として、９つのピクセル点に対する出力結果から形成されたピクセル点Ａに対する第２のシーケンスについて、ピクセル点Ａに対する第２のシーケンスにおける出力結果のランクは：ピクセル点Ａの近傍内の左上の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左下の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の下側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右下の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右上の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の上側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、そして、ピクセル点Ａに対する逆畳み込みニューラルネットワークの出力結果、というように定められてよい。
【００５１】
実施形態に係るディープラーニングモデルから出力される結果をより正確なものとするため、現在の道路画像中の車線領域は、現在の道路画像を処理することで得られたディープラーニングモデルの処理結果に基づいて、現在の道路画像が収集された時刻よりも前のある期間の間に収集された道路画像を処理することで得られたディープラーニングモデルの処理結果と組み合わせて決定され得る。これにより車線領域はある期間の間の複数の時刻で収集された複数の道路画像に基づいて検出され得、単一の道路画像に基づいて車線領域を検出しているために起こり得る誤りを避け、より正確に車線領域を検出できる。
【００５２】
図６に示したように、複数の時刻に獲得された道路画像との組み合わせで車線領域を検出するために、ディープラーニングモデルはさらに、第３の再帰型ニューラルネットワークを含む第３のモデルユニット５００を含んでもよい。現在の道路画像及び直近の様々な時刻に取得された複数の道路画像に対して、第２のモデルユニット４００が現在の道路画像及び直近の様々な時刻に取得された複数の道路画像を処理することで出力される結果により第３のシーケンスが形成され、第３の再帰型ニューラルネットワークに入力される。第３の再帰型ニューラルネットワークは第１の再帰型ニューラルネットワーク３１２や第２の再帰型ニューラルネットワーク４１２と同様、双方向ＬＳＴＭネットワークであってよい。
【００５３】
第１の再帰型ニューラルネットワーク３１２及び第２の再帰型ニューラルネットワーク４１２と同様、第３の再帰型ニューラルネットワークの入力変数も、少なくとも１つの要素を含むシーケンスであってよいということは理解されるべきである。この観点から、図７で示したように、ディープラーニングモデルの中の第３のモデルユニット５００に特徴変換処理が採用されてよい。特徴変換処理では、様々な時刻に収集された複数の道路画像中のある同じピクセル点に対する第２のモデルユニット４００の出力結果によりシーケンスが形成され、シーケンスはその後第３の再帰型ニューラルネットワーク（たとえば、双方向ＬＳＴＭネットワーク）に入力される。現在の道路画像における車線領域は、第３の再帰型ニューラルネットワークの出力結果に基づいて決定される。
【００５４】
ある実装において、ディープラーニングモデルは以下のような表現で表される：
【数２】
2019102049.tif 000004
【数３】
2019102049.tif 000005
【００５５】
ここでＰはディープラーニングモデルの時刻ｔに取得された道路画像に対する出力結果を、ｉはピクセル点を、ｔおよびｋは各々時刻を示す。Ｐｔ（ｉ）は、時刻ｔ＝１〜ｎにそれぞれ対応するＭit=kを処理することで第３の再帰型ニューラルネットワークにより出力される結果を示す。Ｐｔ（ｉ）が時刻ｎにおいて取得された道路画像中のピクセル点ｉを処理することでディープラーニングモデルにより出力された結果であり、その結果は道路画像中のピクセル点ｉが車線領域内に位置しているかどうかを示していることが見て取れる。加えて、Ｍｉｔは時刻ｔ（ｔ＝１，２，３，…ｎ）において取得された道路画像中のピクセル点ｉに対する第２のモデルユニットの出力結果を示し、すなわち、Ｍｉｔが時刻ｔにおいて取得された道路画像中のピクセル点ｉの画像特徴であり、当該画像特徴は第１のモデルユニット及び第２のモデルユニットによって抽出されたものである。Ｉは入力された現在の道路画像を示す。
【００５６】
Ｆは変数関数である。たとえば、ＦＢｉＬＳＴＭは双方向ＬＳＴＭを示し、ＦＣＮＮは畳み込みニューラルネットワークを示す。
【００５７】
本開示の実施形態に係る車線を検出するための方法では、自動車の周囲の道路の道路画像における車線はディープラーニングモデルにより検出される。ディープラーニングモデルでは畳み込みニューラルネットワークに加えて再帰型ニューラルネットワークも使用される。従って、再帰型ニューラルネットワークによる道路画像処理において、入力画像中の各ピクセル点に対して画像特徴結果が出力され、それにより道路画像中の各ピクセル点の画像特徴が保存されて道路画像中の車線の空間特徴が抽出され、それゆえ不完全な車線、部分的に塞がれた車線、又は極端に光量が変化する環境下の車線の場合であっても、車線が正確にかつ効果的に検出できる。
【００５８】
図８を参照して、図８は本開示の実施形態に係る車線を検出するための装置の構造の模式図である。たとえば装置は、画像取得モジュール８１０及びモデル処理モジュール８２０を含んでよい。
【００５９】
画像取得モジュール８１０は自動車の周囲の道路の現在の道路画像を取得するよう設定される。
【００６０】
モデル処理モジュール８２０は、現在の道路画像をディープラーニングモデルに入力して、ディープラーニングモデルから出力された結果に基づいて現在の道路画像中の車線領域を検出するよう設定されている。
【００６１】
ディープラーニングモデルは、過去の道路画像及び過去の道路画像中の既知の車線領域の間の対応関係に基づいて訓練されたモデルである。
【００６２】
ディープラーニングモデルは第１のモデルユニット及び第２のモデルユニットを含み、前記第１のモデルユニットの出力は前記第２のモデルユニットの入力の役割を果たす。
【００６３】
前記第１のモデルユニットは少なくとも１つの第１のモデルサブユニットを含み、前記第１のモデルサブユニットは畳み込みニューラルネットワーク及び第１の再帰型ニューラルネットワークを含む。また、前記畳み込みニューラルネットワークの出力は前記第１の再帰型ニューラルネットワークの出力の役割を果たす。
【００６４】
第２のモデルユニットは少なくとも１つの第２のモデルサブユニットを含み、前記第２のモデルサブユニットは逆畳み込みニューラルネットワーク及び第２の再帰型ニューラルネットワークを含み、前記逆畳み込みニューラルネットワークの出力は前記第２の再帰型ニューラルネットワークの入力の役割を果たす。
【００６５】
いくつかの実施形態では、前記第１の再帰型ニューラルネットワーク及び前記第２の再帰型ニューラルネットワークの各々は双方向長・短期記憶ネットワークである。
【００６６】
いくつかの実施形態では、前記第１のモデルサブユニットにおいて、現在の道路画像中の各ピクセル点に対して、そのピクセル点に対する畳み込みニューラルネットワークの出力結果及びそのピクセル点の近傍内のピクセル点に対する畳み込みニューラルネットワークの出力結果により第一のシーケンスが形成され、前記第１の再帰型ニューラルネットワークに入力される。
【００６７】
第２のモデルサブユニットにおいては、現在の道路画像中の各ピクセル点に対して、そのピクセル点に対する逆畳み込みニューラルネットワークの出力結果及びそのピクセル点の近傍内のピクセル点に対する逆畳み込みニューラルネットワークの出力結果により第２のシーケンスが形成され、第２の再帰型ニューラルネットワークに入力される。
【００６８】
いくつかの実施形態では、ピクセル点Ａに対する第１のシーケンスにおける出力結果のランクは：ピクセル点Ａの近傍内の左上の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左下の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の下側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右下の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右上の角に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の上側の中央に位置するピクセル点に対する畳み込みニューラルネットワークの出力結果、並びにピクセル点Ａに対する畳み込みニューラルネットワークの出力結果、というようであってよい。
【００６９】
ピクセル点Ａに対する第２のシーケンスにおける出力結果のランクは：ピクセル点Ａの近傍内の左上の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の左下の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の下側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右下の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の右上の角に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、ピクセル点Ａの近傍内の上側の中央に位置するピクセル点に対する逆畳み込みニューラルネットワークの出力結果、並びにピクセル点Ａに対する逆畳み込みニューラルネットワークの出力結果、というようであってよい。
【００７０】
いくつかの実施形態では、ディープラーニングモデルはさらに第３の再帰型ニューラルネットワークを含んでもよい。
【００７１】
第３の再帰型ニューラルネットワークに入力する第３のシーケンスは、複数の道路画像を処理することで第２のモデルユニットにより出力された結果により形成されている。複数の画像は、現在の道路画像及び最近様々な時刻に取得された道路画像を含む。
【００７２】
いくつかの実施形態では、画像取得モジュール８１０は取得サブモジュール及び切り出しサブモジュールを含んでよい。
【００７３】
前記取得サブモジュールは、自動車上のカメラによりキャプチャされた現在の周辺画像を取得するよう設定されている。
【００７４】
前記切り出しサブモジュールは、現在の周辺画像から自動車の前方の所定の領域の画像を切り出して、現在の道路画像とするよう設定されている。
【００７５】
実施形態に係る車線を検出するための装置によると、自動車の周囲の道路の道路画像中の車線がディープラーニングモデルにより検出される。ディープラーニングモデルでは畳み込みニューラルネットワークに加えて再帰型ニューラルネットワークも使用される。従って、再帰型ニューラルネットワークによる道路画像処理において、入力画像中の各ピクセル点に対して画像特徴結果が出力され、それにより道路画像中の各ピクセル点の画像特徴が保存されて道路画像中の車線の空間特徴が抽出され、それゆえ不完全な車線、部分的に塞がれた車線、又は極端に光量が変化する環境下の車線の場合であっても、車線が正確にかつ効果的に検出できる。
【００７６】
図９を参照して、図９は本開示の実施形態に係る車線を検出するためのデバイスの構造の模式図である。デバイスはプロセッサ９１０及びメモリ９２０を含む。
【００７７】
メモリ９２０はプログラムコードを格納し、通信バス９３０を通じてプロセッサ９１０にプログラムコードを送信するよう設定されている。
【００７８】
プロセッサ９１０はプログラムコード内の命令に反応して、本開示の上記実施形態のいずれか１つに係る車線を検出するための方法を実行するよう設定されている。
【００７９】
加えて、本開示の実施形態に係る記憶媒体が更に提供される。記憶媒体は、本開示の上記実施形態のいずれか１つに係る車線を検出するための方法を実行するためのプログラムコードを格納するよう設定されている。
【００８０】
「第１の」「第２の」といった関係的用語は本明細書では、あるエンティティ又は動作を他と区別するためにのみ使用され、それらエンティティ又は動作の間に実際の関係又は順序が存在することを要求又は示唆するものではないことは注意されるべきである。さらに、「含む」「包含する」又は他のいずれの変形も、非排他的であることを意図している。従って、複数の要素を含む処理、方法、物体又はデバイスは、その要素だけでなく列挙されていない他の要素をも含み、又は、その処理、方法、物体又はデバイスに固有の要素をも含む。明示的に限定されない限り、「１つの〜を含む」という記述はその処理、方法、物体又はデバイスに他の類似の要素が存在する場合を除外するものではない。
【００８１】
デバイスの実施形態について、デバイスの実施形態は方法の実施形態に実質的に対応しており、方法の実施形態の関係する説明を参照することができる。上述のシステムの実施形態は模式的なものに過ぎず、個別のコンポーネントとして図示されたモジュールが物理的に隔てられていてもいなくてもよく、かつ、モジュールとして表示されたコンポーネントが物理的なモジュールであってもそうでなくともよく、つまり、複数のコンポーネントが同一の場所に位置していても、複数のネットワークユニットに分散されていてもよい。実施形態の解決策の目的は必要に応じて、モジュールの一部又は全部を選択することで達成され得る。当業者は創作的努力を伴わず、本開示を理解し実施し得る。
【００８２】
前述では本開示の特定の実施形態のみを示す。当業者は本開示の範囲を逸脱することなくいくつかの改善及び変更を行うことができ、その改善及び変更は本開示の保護範囲に含まれると考えられるべきことは注意されるべきである。
【図１】
2019102049.tif 000006
【図２】
2019102049.tif 000007
【図３ａ】
2019102049.tif 000008
【図３ｂ】
2019102049.tif 000009
【図４】
2019102049.tif 000010
【図５】
2019102049.tif 000011
【図６】
2019102049.tif 000012
【図７】
2019102049.tif 000013
【図８】
2019102049.tif 000014
【図９】
2019102049.tif 000015
【外国語明細書】
2019102049.tif 000016
2019102049.tif 000017
2019102049.tif 000018
2019102049.tif 000019
2019102049.tif 000020
2019102049.tif 000021
2019102049.tif 000022
2019102049.tif 000023
2019102049.tif 000024
2019102049.tif 000025
2019102049.tif 000026
2019102049.tif 000027
2019102049.tif 000028
2019102049.tif 000029
2019102049.tif 000030
2019102049.tif 000031
2019102049.tif 000032
2019102049.tif 000033
2019102049.tif 000034
2019102049.tif 000035
2019102049.tif 000036
2019102049.tif 000037
2019102049.tif 000038
2019102049.tif 000039
2019102049.tif 000040
2019102049.tif 000041
2019102049.tif 000042
2019102049.tif 000043
2019102049.tif 000044
2019102049.tif 000045
2019102049.tif 000046