(57)【要約】  本発明の実施例は、車線属性検出方法、装置、電子デバイス、及びスマートデバイスを提供し、当該方法は、スマートデバイスに装着された画像収集装置が収集した路面画像を取得するステップと、前記路面画像に基づいて確率マップを確定するステップと、前記確率マップに基づいて前記路面画像における車線属性を確定するステップと、含み、前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、各々の色属性確率マップは、前記路面画像における点が当該種の色に属する確率を表し、各々の線形属性確率マップは、前記路面画像における点が当該種の線形に属する確率を表し、各々のエッジ属性確率マップは、前記路面画像における点が当該種のエッジに属する確率を表す。【選択図】図２
2021532449.tif 000002
【特許請求の範囲】
【請求項１】
車線属性検出方法であって、
スマートデバイスに装着された画像収集装置が収集した路面画像を取得するステップと、
前記路面画像に基づいて確率マップを確定するステップと、
前記確率マップに基づいて前記路面画像における車線属性を確定するステップと、を含み、
前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、
前記色属性確率マップは、Ｎ１個あり、前記線形属性確率マップは、Ｎ２個あり、前記エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、
各々の前記色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、
各々の前記線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、
各々の前記エッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す
ことを特徴とする車線属性検出方法。
【請求項２】
前記Ｎ１個の色属性確率マップに対応する色は、白色、黄色、および、青色の中の少なくとも１つを含む
ことを特徴とする請求項１に記載の車線属性検出方法。
【請求項３】
前記Ｎ２個の線形属性確率マップに対応する線形は、破線、実線、二重破線、二重実線、破線実線二重線、実線破線二重線、三重破線、および、破実破三重線の中の少なくとも１つを含む
ことを特徴とする請求項１または２に記載の車線属性検出方法。
【請求項４】
前記Ｎ３個のエッジ属性確率マップに対応するエッジは、縁石型エッジ、フェンス型エッジ、壁または画壇型エッジ、仮想エッジ、および、非エッジの中の少なくとも１つを含む
ことを特徴とする請求項１乃至３の何れか１項に記載の車線属性検出方法。
【請求項５】
前記確率マップは、第１属性確率マップと第２属性確率マップとを含み、前記第１属性確率マップと前記第２属性確率マップとは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の２種であり、かつ、前記第１属性確率マップと前記第２属性確率マップとは、互いに異なり、
前記確率マップに基づいて前記路面画像における前記車線属性を確定するステップは、
前記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＬ個の前記第１属性確率マップにおける対応する位置のそれぞれの確率値を確定するステップと、
当該点に対して、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とするステップと、
前記路面画像における当該本の車線の位置のところの各点の第１属性の値に基づいて、当該本の車線の第１属性の値を確定するステップと、
前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＳ個の前記第２属性確率マップにおける対応する位置のそれぞれの確率値を確定するステップと、
当該点に対して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とするステップと、
前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定するステップと、
当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせるステップと、
組み合わせた後の属性の値を当該本の車線の属性の値とするステップと、を含み、
ここで、前記第１属性確率マップが前記色属性確率マップである場合、ＬはＮ１に等しく、前記第１属性は色属性であり、
前記第１属性確率マップが前記線形属性確率マップである場合、ＬはＮ２に等しく、前記第１属性は線形属性であり、
前記第１属性確率マップが前記エッジ属性確率マップである場合、ＬはＮ３に等しく、第１属性はエッジ属性であり、
前記第２属性確率マップが前記色属性確率マップである場合、ＳはＮ１に等しく、前記第２属性は前記色属性であり、
前記第２属性確率マップが前記線形属性確率マップである場合、ＳはＮ２に等しく、前記第２属性は前記線形属性であり、
前記第２属性確率マップが前記エッジ属性確率マップである場合、ＳはＮ３に等しく、前記第２属性は前記エッジ属性である
ことを特徴とする請求項１乃至４の何れか１項に記載の車線属性検出方法。
【請求項６】
前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第１属性の値が互いに異なることに応答して、当該本の車線の位置のところの各々の点の中の、第１属性の値が同一である点の数が最多である点の前記第１属性の値を、当該本の車線の前記第１属性の値とするステップを含む
ことを特徴とする請求項５に記載の車線属性検出方法。
【請求項７】
前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第１属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第１属性の値を当該本の車線の前記第１属性の値とするステップを含む
ことを特徴とする請求項５または６に記載の車線属性検出方法。
【請求項８】
前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第２属性の値が互いに異なることに応答して、当該本の車線の位置のところの各々の点の中の、第２属性の値が同一である点の数が最多である点の前記第２属性の値を、当該本の車線の前記第２属性の値とするステップを含む
ことを特徴とする請求項５乃至７の何れか１項に記載の車線属性検出方法。
【請求項９】
前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第２属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第２属性の値を当該本の車線の前記第２属性の値とするステップを含む
ことを特徴とする請求項５乃至８の何れか１項に記載の車線属性検出方法。
【請求項１０】
前記確率マップは、第３属性確率マップをさらに含み、前記第３属性確率マップは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の１種であり、かつ、前記第３属性確率マップ、前記第２属性確率マップ、および、前記第１属性確率マップは、その属性がいずれも互いに異なる確率マップであり、
当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせるステップの前に、前記車線属性検出方法は、
前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＵ個の前記第３属性確率マップにおける対応する位置のそれぞれの確率値を確定するステップと、
当該点に対して、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とするステップと、
前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定するステップと、をさらに含み、
ここで、前記第３属性確率マップが前記色属性確率マップである場合、ＵはＮ１に等しく、前記第３属性は前記色属性であり、
前記第３属性確率マップが前記線形属性確率マップである場合、ＵはＮ２に等しく、前記第３属性は前記線形属性であり、
前記第３属性確率マップが前記エッジ属性確率マップである場合、ＵはＮ３に等しく、前記第３属性は前記エッジ属性であり、
当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせるステップは、
当該本の車線の前記第１属性の値、当該本の車線の前記第２属性の値、および、当該本の車線の前記第３属性の値を組み合わせるステップを含む
ことを特徴とする請求項５乃至９の何れか１項に記載の車線属性検出方法。
【請求項１１】
前記路面画像における当該本の車線の位置のところの各点の前記第３属性の値に基づいて、当該本の車線の前記第３属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第３属性の値が互いに異なることに応答して、当該本の車線の位置のところの各々の点の中の、第３属性の値が同一である点の数が最多である点の前記第３属性の値を、当該本の車線の前記第３属性の値とするステップを含む
ことを特徴とする請求項１０に記載の車線属性検出方法。
【請求項１２】
前記路面画像における当該本の車線の位置のところの各点の前記第３属性の値に基づいて、当該本の車線の前記第３属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第３属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第３属性の値を当該本の車線の前記第３属性の値とするステップを含む
ことを特徴とする請求項１０または１１に記載の車線属性検出方法。
【請求項１３】
前記路面画像に基づいて前記確率マップを確定するステップは、
前記路面画像をニューラルネットワークに入力し、ニューラルネットワークが前記確率マップを出力するステップを含み、
ここで、前記ニューラルネットワークは、色種類、線形種類、および、エッジの種類のラベル情報を含む路面トレーニング画像セットを使用して監督トレーニングして得られたものである
ことを特徴とする請求項１乃至１２の何れか１項に記載の車線属性検出方法。
【請求項１４】
前記路面画像を前記ニューラルネットワークに入力する前に、前記車線属性検出方法は、
前記路面画像に対して歪み除去処理を実行するステップをさらに含む
ことを特徴とする請求項１３に記載の車線属性検出方法。
【請求項１５】
車線属性検出装置であって、
スマートデバイスに装着された画像収集装置が収集した路面画像を取得するための第１取得モジュールと、
前記路面画像に基づいて確率マップを確定するための第１確定モジュールと、
前記確率マップに基づいて前記路面画像における車線属性を確定するための第２確定モジュールと、を備え、
前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、
前記色属性確率マップは、Ｎ１個あり、前記線形属性確率マップは、Ｎ２個あり、前記エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、
各々の前記色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、
各々の前記線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、
各々の前記エッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す
ことを特徴とする車線属性検出装置。
【請求項１６】
前記Ｎ１個の色属性確率マップに対応する色は、白色、黄色、および、青色の中の少なくとも１つを含む
ことを特徴とする請求項１５に記載の車線属性検出装置。
【請求項１７】
前記Ｎ２個の線形属性確率マップに対応する線形は、破線、実線、二重破線、二重実線、破線実線二重線、実線破線二重線、三重破線、および、破実破三重線の中の少なくとも１つを含む
ことを特徴とする請求項１５または１６に記載の車線属性検出装置。
【請求項１８】
前記Ｎ３個のエッジ属性確率マップに対応するエッジは、縁石型エッジ、フェンス型エッジ、壁または画壇型エッジ、仮想エッジ、および、非エッジの中の少なくとも１つを含む
ことを特徴とする請求項１５乃至１７の何れか１項に記載の車線属性検出装置。
【請求項１９】
前記確率マップは、第１属性確率マップと第２属性確率マップとを含み、前記第１属性確率マップと前記第２属性確率マップとは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の２種であり、かつ、前記第１属性確率マップと前記第２属性確率マップとは、互いに異なり、
前記第２確定モジュールは、具体的に、
前記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＬ個の前記第１属性確率マップにおける対応する位置のそれぞれの確率値を確定し、
当該点に対して、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とし、
前記路面画像における当該本の車線の位置のところの各点の第１属性の値に基づいて、当該本の車線の第１属性の値を確定し、
前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＳ個の前記第２属性確率マップにおける対応する位置のそれぞれの確率値を確定し、
当該点に対して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とし、
前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定し、
当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせ、
組み合わせた後の属性の値を当該本の車線の属性の値とし、
ここで、前記第１属性確率マップが前記色属性確率マップである場合、ＬはＮ１に等しく、前記第１属性は色属性であり、
前記第１属性確率マップが前記線形属性確率マップである場合、ＬはＮ２に等しく、前記第１属性は線形属性であり、
前記第１属性確率マップが前記エッジ属性確率マップである場合、ＬはＮ３に等しく、第１属性はエッジ属性であり、
前記第２属性確率マップが前記色属性確率マップである場合、ＳはＮ１に等しく、前記第２属性は前記色属性であり、
前記第２属性確率マップが前記線形属性確率マップである場合、ＳはＮ２に等しく、前記第２属性は前記線形属性であり、
前記第２属性確率マップが前記エッジ属性確率マップである場合、ＳはＮ３に等しく、前記第２属性は前記エッジ属性である
ことを特徴とする請求項１５乃至１８の何れか１項に記載の車線属性検出装置。
【請求項２０】
前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定することは、
当該本の車線の位置のところの各点の前記第１属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第１属性の値が同一である点の数が最多である点の前記第１属性の値を、当該本の車線の前記第１属性の値とすることを含む
ことを特徴とする請求項１９に記載の車線属性検出装置。
【請求項２１】
前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定することは、
当該本の車線の位置のところの各点の前記第１属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第１属性の値を当該本の車線の前記第１属性の値とすることを含む
ことを特徴とする請求項１９または２０に記載の車線属性検出装置。
【請求項２２】
前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定することは、
当該本の車線の位置のところの各点の前記第２属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第２属性の値が同一である点の数が最多である点の前記第２属性の値を、当該本の車線の前記第２属性の値とすることを含む
ことを特徴とする請求項１９乃至２１の何れか１項に記載の車線属性検出装置。
【請求項２３】
前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定することは、
当該本の車線の位置のところの各点の前記第２属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第２属性の値を当該本の車線の前記第２属性の値とすることを含む
ことを特徴とする請求項１９乃至２２の何れか１項に記載の車線属性検出装置。
【請求項２４】
前記確率マップは、第３属性確率マップをさらに含み、前記第３属性確率マップは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の１種であり、かつ、前記第３属性確率マップ、前記第２属性確率マップ、および、前記第１属性確率マップは、その属性がいずれも互いに異なる確率マップであり、
前記第２確定モジュールは、さらに、
当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせる前に、前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＵ個の前記第３属性確率マップにおける対応する位置のそれぞれの確率値を確定し、
当該点に対して、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とし、
前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定し、
ここで、前記第３属性確率マップが前記色属性確率マップである場合、ＵはＮ１に等しく、前記第３属性は前記色属性であり、
前記第３属性確率マップが前記線形属性確率マップである場合、ＵはＮ２に等しく、前記第３属性は前記線形属性であり、
前記第３属性確率マップが前記エッジ属性確率マップである場合、ＵはＮ３に等しく、前記第３属性は前記エッジ属性であり、
前記第２確定モジュールが、当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせることは、
当該本の車線の前記第１属性の値、当該本の車線の前記第２属性の値、および、当該本の車線の前記第３属性の値を組み合わせることを含む
ことを特徴とする請求項１９乃至２３の何れか１項に記載の車線属性検出装置。
【請求項２５】
前記第２確定モジュールが、前記路面画像における当該本の車線の位置のところの各点の前記第３属性の値に基づいて、当該本の車線の前記第３属性の値を確定することは、
当該本の車線の位置のところの各点の前記第３属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第３属性の値が同一である点の数が最多である点の前記第３属性の値を、当該本の車線の前記第３属性の値とすることを含む
ことを特徴とする請求項２４に記載の車線属性検出装置。
【請求項２６】
前記第２確定モジュールが、前記路面画像における１本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定することは、
当該本の車線の位置のところの各点の前記第３属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第３属性の値を当該本の車線の前記第３属性の値とすることを含む
ことを特徴とする請求項２４または２５に記載の車線属性検出装置。
【請求項２７】
前記第１確定モジュールは、具体的に、
前記路面画像をニューラルネットワークに入力し、ニューラルネットワークが前記確率マップを出力し、
ここで、前記ニューラルネットワークは、色種類、線形種類、および、エッジの種類のラベル情報を含む路面トレーニング画像セットを使用して監督トレーニングして得られたものである
ことを特徴とする請求項１５乃至２６の何れか１項に記載の車線属性検出装置。
【請求項２８】
前記路面画像に対して歪み除去処理を実行するための前処理モジュールをさらに備える
ことを特徴とする請求項２７に記載の車線属性検出装置。
【請求項２９】
電子デバイスであって、
プログラム命令を記憶するためのメモリと、
前記メモリ中の前記プログラム命令を呼び出して実行することによって、請求項１乃至１４の何れか１項に記載の方法のステップを実行するためのプロセッサと、を備える
ことを特徴とする電子デバイス。
【請求項３０】
スマートデバイスに用いられるスマート運転方法であって、
路面画像を取得するステップと、
請求項１乃至１４の何れか１項に記載の車線属性検出方法を使用して、取得した前記路面画像における車線属性を検出するステップと、
検出して得た前記車線属性に基づいてプロンプト情報を出力するか、または、前記スマートデバイスに対して走行制御を実行するステップと、を含む
ことを特徴とするスマート運転方法。
【請求項３１】
スマートデバイスであって、
路面画像を取得するための画像収集装置と、
プログラム命令を記憶するためのメモリであって、記憶されたプログラム命令が実行されると、請求項１乃至１４の何れか１項に記載の車線属性検出方法が実現されるメモリと、
前記画像収集装置が取得した前記路面画像に基づいて、前記メモリに記憶された前記プログラム命令を実行することによって、前記路面画像における車線属性を検出し，検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、スマートデバイスに対して走行制御を実行するためのプロセッサと、を備える
ことを特徴とするスマートデバイス。
【請求項３２】
コンピュータプログラムが記憶されている不揮発性可読記憶媒体であって、
前記コンピュータプログラムは、請求項１乃至１４の何れか１項に記載の方法のステップを実行する
ことを特徴とする不揮発性可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は、コンピュータ技術に関し、特に、車線属性検出方法、装置、電子デバイス、及びスマートデバイスに関する。
【背景技術】
【０００２】
補助運転と自動運転は、スマート運転分野における２つの重要な技術であり、補助運転または自動運転によって、車両間の間隔を縮小し、交通事故の発生を減らし、運転者の負担を軽減することができるため、スマート運転の分野で重要な役割を果たしている。補助運転技術と自動運転技術では、車線属性検出を実行する必要があり、車線属性検出によって、白色実線、白色破線などの、路面上の車線の種類を識別する。車線属性の検出結果に基づいて、経路計画、経路オフセット警告、交通流分析などを実行することができ、精確なナビゲーションに参照を提供することもできる。
【０００３】
したがって、車線属性検出は、補助運転と自動運転にとって非常に重要であり、どのように正確かつ効率的な車線属性検出を実行するかは、研究に値する重要な課題である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施例は、車線属性検出の技術的解決策を提供する。
【課題を解決するための手段】
【０００５】
本発明の実施例の第１の態様によると、車線属性検出方法を提供し、当該方法は、
スマートデバイスに装着された画像収集装置が収集した路面画像を取得するステップと、前記路面画像に基づいて確率マップを確定するステップと、前記確率マップに基づいて前記路面画像における車線属性を確定するステップと、を含み、前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、ここで、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、各々の色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、各々の線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、各々のエッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す。
【０００６】
本発明の実施例の第２の態様によると、車線属性検出装置を提供し、当該装置は、
スマートデバイスに装着された画像収集装置が収集した路面画像を取得するための第１取得モジュールと、前記路面画像に基づいて確率マップを確定するための第１確定モジュールと、前記確率マップに基づいて前記路面画像における車線属性を確定するための第２確定モジュールと、を備え、前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、ここで、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、各々の色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、各々の線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、各々のエッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す。
【０００７】
本発明の実施例の第３の態様によると、電子デバイスを提供し、当該電子デバイスは、
プログラム命令を記憶するためのメモリと、前記メモリ中のプログラム命令を呼び出して実行することによって、上記の第１の態様に記載の方法のステップを実行するためのプロセッサと、を備える。
【０００８】
本発明の実施例の第４の態様によると、スマートデバイスに用いられるスマート運転方法を提供し、当該方法は、
路面画像を取得するステップと、上記の第１の態様に記載の車線属性検出方法を使用して、取得した路面画像における車線属性を検出するステップと、検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、前記スマートデバイスに対して走行制御を実行するステップと、含む。
【０００９】
本発明の実施例の第５の態様によると、スマートデバイスを提供し、当該デバイスは、
路面画像を取得するための画像収集装置と、プログラム命令を記憶するためのメモリであって、記憶されたプログラム命令が実行されると、上記の第１の態様に記載の車線属性検出方法が実現されるメモリと、前記画像収集装置が取得した路面画像に基づいて、前記メモリに記憶されたプログラム命令を実行することによって、前記路面画像における車線属性を検出し，検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、スマートデバイスに対して走行制御を実行するためのプロセッサと、を備える。
【００１０】
本発明の実施例の第６の態様によると、不揮発性可読記憶媒体を提供し、前記可読記憶媒体には、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、上記の第１の態様に記載の方法のステップを実行する。
【発明の効果】
【００１１】
本発明の実施例によって提供される車線属性検出方法、装置、電子デバイス、及びスマートデバイスによると、車線属性を色、線形、および、エッジのような３種の次元に区分し、得られた路面画像の各点を利用してこの３種の次元における３種の属性確率マップを確定し、この３種の属性確率マップの中の少なくとも２種に基づいて、路面画像における車線属性を確定することができる。上記の過程で得られた３種の属性確率マップは、それぞれ１種の次元の車線属性に対するものであるため、路面画像に基づいて各種の確率マップを確定することを単一のタスクの検出を実行することとして見なすことができ、タスク検出の複雑度を軽減した。その後、各々のタスクで検出した結果に基づいて路面画像における車線属性を確定し、つまり、各種の検出結果を結合することで車線属性を得ることになる。したがって、車線属性の種類がより多い場合、または、車線の属性を精密に確定する必要がある場合、本発明の実施例によって提供される車線属性検出方法は、車線属性を検出する際に、異なる属性を別々に検出し、検出結果を結合する方式を使用することによって、車線属性を予測する正確性と堅牢性を向上させた。したがって、上記の方法を複雑度がより高いシーンに適用する場合、もう一層正確な車線属性検出結果を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の１実施例によって提供される車線属性検出方法のシーンの模式図である。
【図２】本発明の１実施例によって提供される車線属性検出方法のフローの模式図である。
【図３】本発明のもう１実施例によって提供される車線属性検出方法のフローの模式図である。
【図４】本発明の別の１実施例によって提供される車線属性検出方法のフローの模式図である。
【図５】本発明の１実施例によって提供される車線属性検出を実行するためのニューラルネットワークのトレーニング方法のフローの模式図である。
【図６】本発明の１実施例によって提供される畳み込みニューラルネットワークの構成の模式図である。
【図７】本発明の１実施例によって提供される車線属性検出を実行するためのニューラルネットワークが路面画像処理を実行するフローの模式図である。
【図８】本発明の１実施例によって提供される車線属性検出装置のモジュールの構成図である。
【図９】本発明のもう１実施例によって提供される車線属性検出装置のモジュールの構成図である。
【図１０】本発明の１実施例によって提供される電子デバイスの構成の模式図である。
【図１１】本発明の１実施例によって提供されるスマートデバイスの構成の模式図である。
【図１２】本発明の１実施例によって提供されるスマート運転方法のフローの模式図である。
【発明を実施するための形態】
【００１３】
以下、本発明の目的、技術的解決策、および、利点をいっそう明確にするために、本発明の実施例の図面と結合して、本発明の実施例の技術的解決策を明確かつ完全に叙述し、当然ながら、叙述する実施例は、本発明の一部の実施例に過ぎず、全部の実施例ではない。当業者が本発明の実施例に基づいて創造的な仕事なしで取得したすべての他の実施例は、いずれも、本発明が保護する範囲に属する。
【００１４】
図１は、本発明の実施例によって提供される車線属性検出方法のシーンの模式図である。図１に示すように、当該方法は、画像収集装置１１０が装着されている車両１２０に適用され得る。ここで、当該画像収集装置１１０は、車両１２０に装着されている撮影機能を有するデバイスであり得、例えば、カメラ、ドライビングレコーダーなどデバイスであり得る。車両が路面上に位置しているときに、車両上の画像収集装置を利用して路面画像を収集し、本発明によって提供される方法を利用して車両が位置している路面上の車線属性を検出し、さらに、得られた検出結果が補助運転または自動運転中に適用されるようにする。例えば、経路計画、経路オフセット警告、交通流分析などを実行する。
【００１５】
いくつかの例において、本発明によって提供される車線属性検出方法は、ロボットまたはブラインド案内デバイスなどの道路識別を実行する必要があるスマートデバイスにも適用される。
【００１６】
図２は、本発明の実施例によって提供される車線属性検出方法のフローの模式図であり、図２に示すように、当該方法は、ステップＳ２０１〜Ｓ２０３を含む。
【００１７】
Ｓ２０１において、スマートデバイスに装着された画像収集装置が収集した路面画像を取得する。
【００１８】
スマートデバイスが車両である例を挙げると、車両上に装着された画像収集装置は、車両が走行している路面上の路面画像をリアルタイムに収集することができる。さらに、後続のステップを通じて、継続的に、画像収集装置によって収集された路面画像に基づいて、継続的に更新される車線属性検出結果を得ることができる。
【００１９】
Ｓ２０２において、上記路面画像に基づいて確率マップを確定する。
【００２０】
ここで、上記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含む。
【００２１】
上記色属性確率マップは、Ｎ１個あり、各々の色属性確率マップは、１種の色に対応し、Ｎ１個の色属性確率マップは、Ｎ１種の色に対応する。上記線形属性確率マップは、Ｎ２個あり、各々の線形属性確率マップは、１種の線形に対応し、Ｎ２個の線形属性確率マップは、Ｎ２種の線形に対応する。上記エッジ属性確率マップは、Ｎ３個あり、各々のエッジ属性確率マップは、１種のエッジに対応し、Ｎ３個のエッジ属性確率マップは、Ｎ３種のエッジに対応する。ここで、各々の色属性確率マップは、上記路面画像における各点が対応する当該種の色に属する確率を表し、各々の線形属性確率マップは、上記路面画像における各点が対応する当該種の線形に属する確率を表し、各々のエッジ属性確率マップは、上記路面画像における各点が対応する当該種のエッジに属する確率を表す。ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数である。
【００２２】
いくつかの例において、ニューラルネットワークを利用して上記確率マップを確定することができる。具体的に、上記路面画像をニューラルネットワークに入力し、ニューラルネットワークによって上記確率マップが出力される。ここで、上記のニューラルネットワークは、畳み込みニューラルネットワークを含んでもよいが、これらに限定されない。
【００２３】
本発明の実施例において、車線の属性を、色、線形、および、エッジのような３個の次元にしたがって分割し、ニューラルネットワークを利用して路面画像の各点それぞれの上記の３個の次元の中の少なくとも２個の次元における確率マップを予測する。
【００２４】
１例において、色の次元の場合、上記のＮ１種の色は、白色、黄色、および、青色の中の少なくとも１つを含んでもよい。この３種の色に加えて、色の次元の場合、無車線と他の色のような２種の結果をさらに含んでもよく、すなわち、無車線と他の色もそれぞれ１種の色とする。ここで、無車線は、路面画像の点が車線に属しないことを表し、他の色は、路面画像の点の色が白色、黄色、および、青色以外の色であることを表す。
【００２５】
表１は、上記色の次元での色種類の例であり、表１に示すように、色の次元では、５種の色種類を含んでもよく、Ｎ１の値は５である。
【００２６】
【表１】
2021532449.tif 000003
【００２７】
１例において、線形の次元の場合、上記のＮ２種の線形は、破線、実線、二重破線、二重実線、破線実線二重線、実線破線二重線、三重破線、および、破実破三重線の中の少なくとも１つを含んでもよい。これら線形に加えて、線形の次元の場合、無車線と他の線形のような２種の結果をさらに含んでもよく、すなわち、無車線と他の線形もそれぞれ１種の線形とする。ここで、無車線は、路面画像の点が車線に属しないことを表し、他の線形は、路面画像の点の線形が上記線形以外の線形であることを表す。上記の破線実線二重線は、左から右への方向において、１本目の線が破線であり、２本目の線が実線であり、これに応じて、上記の実線破線二重線は、左から右への方向において、１本目の線が実線であり、２本目の線が破線である。
【００２８】
表２は、上記線形の次元での線形の例であり、表２に示すように、線形の次元では、１０種の線形を含んでもよく、Ｎ２の値は１０である。
【００２９】
【表２】
2021532449.tif 000004
【００３０】
１例において、エッジの次元の場合、上記のＮ３種のエッジは、縁石型エッジ、フェンス型エッジ、壁または画壇型エッジ、仮想エッジ、および、非エッジの中の少なくとも１つを含んでもよい。ここで、非エッジは、路面画像の点がエッジに属せずに、車線に属することを表す。これらエッジ種類に加えて、エッジの次元の場合、無車線と他のエッジのような２種の結果をさらに含んでもよく、すなわち、無車線と他のエッジもそれぞれ１種のエッジとする。ここで、無車線は、路面画像の点が、車線にも属しないし、エッジにも属しないことを表し、他のエッジは、路面画像の点が上記エッジ種類以外のエッジ種類に属することを表す。
【００３１】
表３は、上記エッジの次元でのエッジの例であり、表３に示すように、エッジの次元上は、７種のエッジ種類を含んでもよく、Ｎ３の値は７である。
【００３２】
【表３】
2021532449.tif 000005
【００３３】
上記の表１、表２、および、表３に示した各属性の種類を例とすると、本ステップにおいて、路面画像をニューラルネットワークに入力した後に、ニューラルネットワークによって、５個の色属性確率マップ、１０個の線形属性確率マップ、および、７個のエッジ属性確率マップが出力されることができる。ここで、５個の色属性確率マップの中の各々の色属性確率マップは、路面画像における各点が上記の表１中の１種の色に属する確率を代表し、１０個の線形属性確率マップの中の各々の線形属性確率マップは、路面画像における各点が上記の表２中の１種の線形に属する確率を代表し、７個のエッジ属性確率マップの中の各々のエッジ属性確率マップは、路面画像における各点が上記の表３の中の１種のエッジに属する確率を代表する。
【００３４】
色属性を例とすると、上記の表１に示したナンバーを使用し、５個の色属性確率マップが、それぞれ、確率マップ０、確率マップ１、確率マップ２、確率マップ３、および、確率マップ４であると仮定する。すると、色属性確率マップと表１中の色種類との対応関係は、表４に示すようであってもよい。
【００３５】
【表４】
2021532449.tif 000006
【００３６】
さらに、上記の表４に示した対応関係に基づいて、例示的に、確率マップ２は、路面画像における各々の点が白色に属する確率を表すことができる。路面画像を２００＊２００サイズのマトリックスを使用して表すと仮定すると、当該マトリックスを上記のニューラルネットワークに入力した後、もう１つの２００＊２００大きさのマトリックスを出力することができ、ここで、出力したマトリックスの中の各々の要素の値が路面画像上の対応する位置の点が白色に属する確率である。例えば、ニューラルネットワークが出力した２００＊２００大きさのマトリックスにおいて、１行目１列目の要素の値が０．４であると、路面画像における１行目１列目の点が白色の種類に属する確率が０．４であることを表す。さらに、ニューラルネットワークによって出力されたマトリックスは、色属性確率マップの形式で表すことができる。
【００３７】
Ｓ２０３において、上記確率マップに基づいて上記路面画像における車線属性を確定する。
【００３８】
本発明の実施例において、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップは、３種の確率マップに属し、ここでの１種の確率マップを使用する場合、当該種の確率マップの中の複数の確率マップを同時に使用することができることを説明する必要がある。例えば、色属性確率マップを使用する場合、Ｎ１個の色属性確率マップを同時に使用して路面画像の色属性を確定することができる。
【００３９】
１種の選択可能な形態において、上記確率マップは、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップの中の２種であり得、すなわち、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップの中の２種を使用して路面画像における車線属性を確定することができる。
【００４０】
このような形態において、路面画像における車線属性を確定する場合、車線属性の数は、使用する２種の確率マップに対応する属性の数の組み合わせの数であり、各々の車線属性は、使用する２種の確率マップ中の各々の属性のセットである。
【００４１】
例示的に、色属性確率マップと線形属性確率マップを使用して路面画像における車線属性を確定し、色属性確率マップがＮ１個あり、線形属性確率マップがＮ２個あると、確定する路面画像における車線属性の数は、Ｎ１＊Ｎ２である。ここで、１つの車線属性は、１つの色属性と１つの線形属性のセットであり、すなわち、１つの車線属性は、１つの色属性と１つの線形属性を含む。例えば、特定の車線属性が白色破線であることは、白色と破線のセットであることである。
【００４２】
もう１種の選択可能な形態において、上記確率マップは、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップの中の３種であり得、すなわち、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップを同時に使用して、路面画像における車線属性を確定することができる。
【００４３】
このような形態において、路面画像における車線属性を確定する場合、車線属性の数は、使用する３種の確率マップに対応する属性の数の組み合わせの数であり、各々の車線属性は、使用する３種の確率マップ中の各々の属性の組み合わせである。
【００４４】
例示的に、色属性確率マップがＮ１個あり、線形属性確率マップがＮ２個あり、エッジ属性確率マップがＮ３個あると、確定する路面画像における車線属性の数は、Ｎ１＊Ｎ２＊Ｎ３である。ここで、１つの車線属性は、１つの色属性、１つの線形属性、および、１つのエッジ属性の組み合わせであり、すなわち、１つの車線属性は、１つの色属性、１つの線形属性、および、１つのエッジ属性を含む。例えば、特定の車線属性が白色破線の車線であることは、白色、破線、および、非エッジの組み合わせである。
【００４５】
上記のＮ１＊Ｎ２＊Ｎ３は、本発明の実施例がサポートできるすべての組み合わせであり、具体的な実施過程において特定の組み合わせが実際の使用過程で出現されない可能性があることを説明する必要がある。
【００４６】
上記の３種の形態の具体的な実施過程は、下記の実施例で詳細に説明される。
【００４７】
本実施例において、車線属性を色、線形、および、エッジのような３種の次元に区分し、さらに、路面画像の各点のこの３種の次元における３種の属性確率マップを得ることができ、この３種の属性確率マップの中の少なくとも２種に基づいて、路面画像における車線属性を確定することができる。上記の過程で得られた３種の属性確率マップは、それぞれ１種の次元の車線属性に対するものであるため、路面画像に基づいて各種の確率マップを確定することを単一のタスクの検出を実行することとして見なすことができ、タスク検出の複雑度を軽減した。その後、各々のタスクで検出した結果に基づいて路面画像における車線属性を確定し、つまり、各種の検出結果を結合して、車線属性を得る必要がある。したがって、車線属性の種類がより多い場合、または、車線の属性を精密に確定する必要がある場合、本発明の実施例によって提供される車線属性検出方法は、車線属性を検出際に、異なる属性を別々に検出し、検出結果を結合する方式を使用することによって、車線属性を予測する正確性と堅牢性を向上させた。上記の過程を複雑度がより高いシーンに適用する場合、もう一層正確な車線属性検出結果を得ることができる。また、本発明において、エッジを１種の属性次元とすることによって、本発明は、車線標示線が標示されている構造化された路面シーンで車線種類などを正確に検出できるだけでなく、車線標示線が欠落しているか、または車線標示線が標示されていないシーン、例えば地方の道路走行シーンでも、本実施例の方法によって各種類のエッジ種類などを正確に検出することができる。
【００４８】
上記の実施例を基として、本実施例は、確率マップを使用して路面画像における車線属性を確定する過程を具体的に叙述する。
【００４９】
１種の選択可能な形態において、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップの中の２種を使用して路面画像における車線属性を確定することができる。
【００５０】
１例において、上記のステップＳ２０３で使用した確率マップは、第１属性確率マップと第２属性確率マップとを含み、第１属性確率マップと第２属性確率マップとは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の２種であり、第１属性確率マップと第２属性確率マップと互いに異なる。
【００５１】
図３は、本発明のもう１実施例によって提供される車線属性検出方法のフローの模式図であり、図３に示すように、上記確率マップが第１属性確率マップと第２属性確率マップとを含む場合、上記のステップＳ２０３で確率マップに基づいて路面画像における車線属性を確定する過程は、以下のステップを含む。
【００５２】
Ｓ３０１において、上記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＬ個の第１属性確率マップにおける対応する位置のそれぞれの確率値を確定する。
【００５３】
Ｓ３０２において、当該点に対して、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とする。
【００５４】
Ｓ３０３において、上記路面画像における当該本の車線の位置のところの各点の第１属性の値に基づいて、当該本の車線の第１属性の値を確定する。
【００５５】
上記のステップＳ３０１の前に、まず、上記路面画像に対して前処理を実行して、路面画像における車線を得ることができる。例えば、路面画像を特定の既にトレーニングされたニューラルネットワークに入力し、当該ニューラルネットワークによって当該路面画像における車線結果を出力することができる。さらに、例えば、路面画像を特定の既にトレーニングされたセマンティック分割ネットワークに入力し、当該セマンティック分割ネットワークによって当該路面画像における車線分割結果を出力することができる。その後、図３に示した方法を使用して、車線に対して属性処理を実行して、車線の属性を算出する。このようにして、車線識別の正確性を向上させる。
【００５６】
上記のステップＳ３０１〜Ｓ３０３は、路面画像における１本の車線の第１属性の値を確定することができる。ここで、第１属性は、第１属性確率マップに対応する属性であり、例示的に、第１属性確率マップが色属性確率マップであると、第１属性は色属性であり、第１属性の値は、白色、黄色、青色、他の色などであり得る。
【００５７】
ニューラルネットワークを使用して確率マップを得る例を挙げると、当該過程で、路面画像をニューラルネットワークに入力した後、ニューラルネットワークは、Ｌ個の第１属性確率マップを出力することができ、路面画像における１本の車線中の１つの点に対して、各々の第１属性確率マップはいずれも１つの対応する位置の確率値を有し、確率値が大きいほど、当該点が当該確率マップに対応する属性に属する確率が大きいことを意味し、したがって、当該点に対して、Ｌ個の第１属性確率マップ中の対応する位置の確率値と比較し、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とすることができる。
【００５８】
例示的に、第１属性確率マップが色属性確率マップであり、第１属性が色属性であり、Ｌが５であり、すなわち、５個の色属性確率マップを含み、それぞれ、上記の表４に示した確率マップ０、確率マップ１、確率マップ２、確率マップ３、および、確率マップ４であると仮定すると、各々の確率マップが１種の色属性に対応する。路面画像における１本の車線中の１つの点の確率マップ１における確率値が最大であると仮定すると、当該点の色属性の値を確率マップ１に対応する色属性として確定することができる。
【００５９】
上記の方法を使用して路面画像における１本の車線の位置のところの各点の第１属性の値を得ることができ、これを基礎として、各点の第１属性の値に基づいて当該本の車線の第１属性の値を確定することができる。
【００６０】
例えば、当該本の車線の位置のところの各点の第１属性の値が互いに異なると、当該本の車線の位置のところの、第１属性の値が同一である点の数が最多である点の第１属性の値を、当該本の車線の第１属性の値とすることができる。
【００６１】
例示的に、第１属性が色属性であり、当該本の車線中の各点の中で、第１属性の値が白色である点の数が総点の数の８０％を占め、第１属性の値が黄色である点の数が総点の数の１７％を占め、第１属性の値が他の色である点の数が総点の数の３％を占めると仮定すると、白色を当該本の車線の第１属性の値とし、すなわち色属性の値とすることができる。
【００６２】
さらに、例えば、当該本の車線の位置のところの各点の第１属性の値が同一であると、当該本の車線の位置のところの点の第１属性の値を当該本の車線の第１属性の値とすることができる。
【００６３】
例示的に、第１属性が色属性であり、当該本の車線位置上のすべての点の第１属性の値がいずれも黄色であると仮定すると、黄色を当該本の車線の第１属性の値とし、すなわち色属性の値とすることができる。
【００６４】
Ｓ３０４において、上記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＳ個の第２属性確率マップにおける対応する位置のそれぞれの確率値を確定する。
【００６５】
Ｓ３０５において、当該点に対して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とする。
【００６６】
Ｓ３０６において、上記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定する。
【００６７】
上記のステップＳ３０４〜Ｓ３０６は、路面画像における１本の車線の第２属性の値を確定することができる。ここで、第２属性は、第２属性確率マップに対応する属性であり、例示的に、第２属性確率マップが線形属性確率マップであると、第２属性は、線形属性であり、第２属性の値は、実線、破線、二重実線、二重破線などであり得る。
【００６８】
ニューラルネットワークを使用して確率マップを得る例を挙げると、当該過程で、路面画像をニューラルネットワークに入力した後、ニューラルネットワークは、Ｓ個の第２属性確率マップを出力することができ、路面画像における１本の車線中の１つの点に対して、各々の第２属性確率マップはいずれも１つの対応する確率値を有し、確率値が大きいほど、当該点が当該確率マップに対応する属性に属する確率が大きいことを意味し、したがって、当該点に対して、Ｓ個の第２属性確率マップ中の対応する位置の確率値を比較して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とすることができる。
【００６９】
例示的に、第２属性確率マップが線形属性確率マップであり、第２属性が線形属性であり、Ｓが１０であり、すなわち、１０個の線形属性確率マップを含むと仮定すると、各々の確率マップが１種の線形属性に対応する。路面画像における１本の車線中の１つの点の１番目の線形属性確率マップにおける確率値が最大であると仮定すると、当該点の線形属性の値を１番目の線形属性確率マップに対応する線形属性として確定できる。
【００７０】
上記の方法を使用して路面画像における１本の車線の位置のところの各点の第２属性の値を得ることができ、これを基礎として、各点の第２属性の値に基づいて当該本の車線の第２属性の値を確定することができる。
【００７１】
例えば、当該本の車線の位置のところの各点の第２属性の値が互いに異なると、当該本の車線の位置のところの、第２属性の値が同一である点の数が最多である点の第２属性の値を、当該本の車線の第２属性の値とすることができる。
【００７２】
例示的に、第２属性が線形属性であり、当該本の車線中の各点の中で、第２属性の値が実線である点の数が総点の数の８１％を占め、第２属性の値が破線である点の数が総点の数の１５％を占め、第２属性の値が他の線形である点の数が総点の数の４％を占めると仮定すると、実線を当該本の車線の第２属性の値とし、すなわち線形属性の値とすることができる。
【００７３】
さらに、例えば、当該本の車線の位置のところの各点の第２属性の値が同一であると、当該本の車線の位置のところの点の第２属性の値を当該本の車線の第２属性の値とすることができる。
【００７４】
例示的に、第２属性が線形属性であり、当該本の車線位置上のすべての点の第２属性の値がいずれもが実線であると仮定すると、実線を当該本の車線の第２属性の値とし、すなわち線形属性の値とすることができる。
【００７５】
上記のステップＳ３０１〜Ｓ３０３は、順に実行され、上記のステップＳ３０４〜Ｓ３０６も、順に実行されるが、本発明の実施例は、Ｓ３０１〜Ｓ３０３およびＳ３０４〜Ｓ３０６の実行順序に対して限定しなく、まずＳ３０１〜Ｓ３０３を実行してから、Ｓ３０４〜Ｓ３０６を実行してもよいし、まずＳ３０４〜Ｓ３０６を実行してから、Ｓ３０１〜Ｓ３０３を実行してもよいし、Ｓ３０１〜Ｓ３０３およびＳ３０４〜Ｓ３０６を並行して実行してもよいことを説明する必要がある。
【００７６】
上記のステップＳ３０１〜Ｓ３０６において、第１属性確率マップは、Ｌ個であり、第２属性確率マップは、Ｓ個である。上述したように、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個ある。すると、Ｌ、Ｓと、前述したＮ１、Ｎ２、Ｎ３との関係は、以下である。
【００７７】
第１属性確率マップが色属性確率マップであると、ＬはＮ１に等しく、第１属性は色属性である。第１属性確率マップが線形属性確率マップであると、ＬはＮ２に等しく、第１属性は線形属性である。第１属性確率マップがエッジ属性確率マップであると、ＬはＮ３に等しく、第１属性はエッジ属性である。第２属性確率マップが色属性確率マップであると、ＳはＮ１に等しく、第２属性は色属性である。第２属性確率マップが線形属性確率マップであると、ＳはＮ２に等しく、第２属性は線形属性である。第２属性確率マップがエッジ属性確率マップであると、ＳはＮ３に等しく、第２属性はエッジ属性である。
【００７８】
第１属性確率マップが第２属性確率マップと互いに異なるため、第１属性確率マップが色属性確率マップであると、第２属性確率マップは、線形属性確率マップまたはエッジ属性確率マップであり得、第１属性確率マップが線形属性確率マップであると、第２属性確率マップは、色属性確率マップまたはエッジ属性確率マップであり得、第１属性確率マップがエッジ属性確率マップであると、第２属性確率マップは、色属性確率マップまたは線形属性確率マップであり得ることに注意する必要がある。
【００７９】
Ｓ３０７において、当該本の車線の第１属性の値と当該本の車線の第２属性の値とを組み合わせる。
【００８０】
Ｓ３０８において、組み合わせた後の属性の値を当該本の車線の属性の値とする。
【００８１】
例えば、１本の車線の第１属性の値と第２属性の値とを得た後、第１属性の値と第２属性の値とに対して組み合わせ処理を実行することによって、組み合わせた後の属性の値を当該本の車線の属性の値とすることができる。組み合わせ処理の方式は、例えば、第２属性の値を第１属性の値の後の重ね合せること、または、第１属性の値を第２属性の値の後に重ね合せることであり得る。
【００８２】
例示的に、第１属性が色属性であり、第２属性が線形属性であり、前述したステップを通じて、路面画像における特定本の車線の第１属性の値が白色であり、第２属性の値が実線であると仮定すると、第２属性の値を第１属性の値の後に重ね合せて、「白色実線」を得、「白色実線」が当該本の車線の属性の値である。
【００８３】
１例において、上記色属性確率マップ、上記線形属性確率マップ、および、上記エッジ属性確率マップを同時に使用して、路面画像における車線属性を確定することができる。
【００８４】
このような形態において、上記のステップＳ２０３で使用した確率マップは、前述した第１属性確率マップと第２属性確率マップに加えて、第３属性確率マップをさらに含む。ここで、当該第３属性確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の１種であり、かつ、当該第３属性確率マップ、上記の第２属性確率マップ、および、上記の第１属性確率マップは、その属性がいずれも互いに異なる確率マップである。
【００８５】
図４は、本発明の別の１実施例によって提供される車線属性検出方法のフローの模式図であり、図４に示すように、上記確率マップが、第１属性確率マップと第２属性確率マップも含むし、さらに、第３属性確率マップも含む場合、上記のステップＳ３０７で第１属性の値と第２属性の値とを組み合わせる前に、以下のステップを実行することができる。
【００８６】
Ｓ４０１において、上記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＵ個の第３属性確率マップにおける対応する位置のそれぞれの確率値を確定する。
【００８７】
Ｓ４０２において、当該点に対して、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とする。
【００８８】
Ｓ４０３において、上記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定する。
【００８９】
上記のステップＳ４０１〜Ｓ４０３は、路面画像における１本の車線の第３属性の値を確定することができる。ここで、第３属性は、第３属性確率マップに対応する属性であり、例示的に、第３属性確率マップがエッジ属性確率マップであると、第３属性はエッジ属性であり、第３属性の値は、縁石型エッジ、フェンス型エッジ、仮想エッジなどであり得る。
【００９０】
ニューラルネットワークを使用して確率マップを得る例を挙げると、当該過程で、路面画像をニューラルネットワークに入力した後、ニューラルネットワークは、Ｕ個の第３属性確率マップを出力することができ、路面画像における１本の車線中の１つの点に対して、各々の第３属性確率マップはいずれも１つの対応する確率値を有し、確率値が大きいほど、当該点が当該確率マップに対応する属性に属する確率が大きいことを意味し、したがって、当該点に対して、Ｕ個の第３属性確率マップ中の対応する位置の確率値を比較し、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とすることができる。
【００９１】
例示的に、第３属性確率マップがエッジ属性確率マップであり、第３属性がエッジ属性であり、Ｕが７であり、すなわち、７個のエッジ属性確率マップを含むと仮定すると、各々の確率マップは、１種のエッジ属性に対応する。路面画像における１本の車線中の１つの点の７番目のエッジ属性確率マップにおける確率値が最大であると仮定すると、当該点のエッジ属性の値を第７個のエッジ属性確率マップに対応するエッジ属性として確定することができる。
【００９２】
上記の方法を使用して路面画像における１本の車線の位置のところの各点の第３属性の値を得ることができ、これを基礎として、各点の第３属性の値に基づいて当該本の車線の第３属性の値を確定することができる。
【００９３】
例えば、当該本の車線の位置のところの各点の第３属性の値が互いに異なると、当該本の車線の位置のところの、第３属性の値が同一である点の数が最多である点の第３属性の値を、当該本の車線の第３属性の値とすることができる。
【００９４】
例示的に、第３属性がエッジ属性であり、当該本の車線中の各点の中で、第３属性の値が縁石型エッジである点の数が総点の数の８２％を占め、第３属性の値が仮想エッジである点の数が総点の数の１４％を占め、第３属性の値が非エッジである点の数が総点の数の４％を占めると仮定すると、縁石型エッジを当該本の車線の第３属性の値とし、すなわちエッジ属性の値とすることができる。
【００９５】
さらに、例えば、当該本の車線の位置のところの各点の第３属性の値が同一であると、当該本の車線の位置のところの点の第３属性の値を当該本の車線の第３属性の値とすることができる。
【００９６】
例示的に、第３属性がエッジ属性であり、当該本の車線位置上のすべての点の第３属性の値がいずれも縁石型エッジであると仮定すると、縁石型エッジを当該本の車線の第３属性の値とし、すなわちエッジ属性の値とすることができる。
【００９７】
具体的な実施過程で、上記のステップＳ４０１〜Ｓ４０３は、順に実行されるが、本発明の実施例は、Ｓ４０１〜Ｓ４０３、Ｓ３０１〜Ｓ３０３、および、Ｓ３０４〜Ｓ３０６の実行順序に対して限定しない。例示的に、まずＳ３０１〜Ｓ３０３を実行してから、Ｓ３０４〜Ｓ３０６を実行し、その後に、Ｓ４０１〜Ｓ４０３を実行してもよいし、まずＳ３０４〜Ｓ３０６を実行してから、Ｓ３０１〜Ｓ３０３を実行し、その後に、Ｓ４０１〜Ｓ４０３を実行してもよいし、まずＳ４０１〜Ｓ４０３を実行してから、Ｓ３０４〜Ｓ３０６を実行し、その後に、Ｓ３０１〜Ｓ３０３を実行してもよいし、Ｓ３０１〜Ｓ３０３、Ｓ３０４〜Ｓ３０６、および、Ｓ４０１〜Ｓ４０３を並行して実行してもよいことを説明する必要がある。
【００９８】
上記のステップＳ４０１〜Ｓ４０３において、第３属性確率マップは、Ｕ個であり、上述したように、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個ある。すると、Ｕと前述したＮ１、Ｎ２、Ｎ３との関係は、以下である。
【００９９】
第３属性確率マップが色属性確率マップであると、ＵはＮ１に等しく、第３属性は色属性である。第３属性確率マップが線形属性確率マップであると、ＵはＮ２に等しく、第３属性は線形属性である。第３属性確率マップがエッジ属性確率マップであると、ＵはＮ３に等しく、第３属性はエッジ属性である。
【０１００】
１例において、上記確率マップが、第１属性確率マップ、第２属性確率マップ、および、第３属性確率マップを含む場合、上記のステップＳ３０７で１本の車線の第１属性の値と第２属性の値を組み合わせるときに、具体的に、当該本の車線の第１属性の値、当該本の車線の第２属性の値、および、当該本の車線の第３属性の値を組み合わせることができる。
【０１０１】
例示的に、組み合わせ処理の方式は、例えば、第３属性の値を第２属性の値と第１属性の値の後に重ね合せること、または、第３属性の値を第２属性の値と第１属性の値の前に重ね合せることができる。
【０１０２】
例示的に、第１属性が色属性であり、第２属性が線形属性であり、第３属性がエッジ属性であり、前述した方式を通じて路面画像における特定本の車線の第１属性の値が白色であり、第２属性の値が実線であり、第３属性の値が非エッジであると仮定すると、第３属性の値を第２属性と第１属性の後に重ね合せて、「白色実線の非エッジ」を得ることができ、上述したように、非エッジは、エッジに属せずに、車線に属することを表し、したがって、当該例で得られた車線属性は、白色実線の車線である。
【０１０３】
上記のように、確率マップに基づいて路面画像における車線属性を確定する過程を説明した。上述したように、当該確率マップは、ニューラルネットワークによって得ることができ、路面画像をニューラルネットワークに入力して、ニューラルネットワークによって上記確率マップを出力することができる。
【０１０４】
以下、実施例を使用して上記の実施例に関するニューラルネットワークのトレーニングおよび使用過程を説明する。
【０１０５】
上記のニューラルネットワークを使用する前に、上記のニューラルネットワークに対して、事前に、色種類、線形種類、および、エッジの種類のラベル情報を含む路面トレーニング画像セットを使用して、監督トレーニングを実行することができる。当該路面トレーニング画像セットは、大量のトレーニング用画像を含む。各々のトレーニング用画像は、実際の路面画像を収集してラベル付けを実行する過程で得たものである。１例において、まず、昼、夜、雨、トンネル、直線道路、カーブ、強い光などの複数の種類のシーンでの複数枚の実際路面画像を収集し、さらに、各枚の実際路面画像に対して、ピクセルレベルのラベル付けを実行し、すなわち、実際路面画像における各々のピクセル点の種類を、色種類、線形種類、および、エッジの種類のラベル情報にラベル付けすることによって、トレーニング画像セットを得る。ニューラルネットワークのパラメータは、豊富なシーンで収集したトレーニング画像セットを利用して監督トレーニングを実行して得られたものであり、したがって、トレーニングされた後のニューラルネットワークは、いくつかの簡単なシーン、例えば、天気条件と光の条件がいずれもより良い昼のシーンで、正確な車線属性検出結果を得ることができるだけでなく、複雑度がより高いシーン、例えば、雨、夜、トンネル、カーブ、強い光などのシーンでも、正確な車線属性検出結果を得ることができる。
【０１０６】
上記の過程に関するトレーニングを通じた画像セットは、実際の各種のシーンをカバーし、したがって、トレーニング画像セットを使用してトレーニングされたニューラルネットワークは、各種のシーンでの車線属性検出でいずれも良い堅牢性を有し、検出時間が短く、検出結果の正確性が高い。
【０１０７】
路面トレーニング画像セットを取得した後、下記の過程に従って上記のニューラルネットワークをトレーニングすることができる。
【０１０８】
図５は、本発明の実施例によって提供される車線属性検出を実行するためのニューラルネットワークをトレーニングする方法のフローの模式図であり、図５に示すように、上記のニューラルネットワークのトレーニング過程は、以下のステップを含んでもよい。
【０１０９】
Ｓ５０１において、ニューラルネットワークが、入力されたトレーニング用画像に対して処理を実行して、トレーニング用画像の予測色属性確率マップ、予測線形属性確率マップ、および、予測エッジ属性確率マップを出力する。
【０１１０】
ここで、上記トレーニング用画像は、上記の路面トレーニング画像セットに含まれている。
【０１１１】
ここで、上記の予測色属性確率マップ、予測線形属性確率マップ、および、予測エッジ属性確率マップは、ニューラルネットワークの現在実際に出力する予測色属性確率マップ、予測線形属性確率マップ、および、予測エッジ属性確率マップである。
【０１１２】
Ｓ５０２において、上記トレーニング用画像における１本の車線の位置のところの各々の点に対して、当該点の色属性の値、線形属性の値、および、エッジ属性の値をそれぞれ確定する。
【０１１３】
Ｓ５０３において、上記トレーニング用画像における当該本の車線の位置のところの各点の色属性の値、線形属性の値、および、エッジ属性の値にそれぞれ基づいて、当該本の車線の予測色種類、予測線形種類、および、予測エッジ種類を確定する。
【０１１４】
ここで、予測色種類とは、ニューラルネットワークが出力した確率マップによって得られた車線の色属性の値を指し、予測線形種類とは、ニューラルネットワークが出力した確率マップによって得られた車線の線形属性の値を指し、予測エッジ種類とは、ニューラルネットワークが出力した確率マップによって得られた車線のエッジ属性の値を指す。
【０１１５】
上記のステップＳ５０２〜Ｓ５０３において、色、線形、エッジの次元に従って別々に処理して、トレーニング用画像における１本の車線の予測色種類、予測線形種類、および、予測エッジ種類を確定することができる。
【０１１６】
ここで、トレーニング用画像における１本の車線の位置のところの各々の点の色属性の値を確定する具体的な方法、および、各点の色属性の値に基づいて車線の予測色種類を確定する具体的な方法は、前述したステップＳ３０１〜Ｓ３０３、ステップＳ３０４〜Ｓ３０６、または、ステップＳ４０１〜Ｓ４０３を参照すればよく、ここでは再度繰り返して説明しない。
【０１１７】
トレーニング用画像における１本の車線の位置のところの各々の点の線形属性の値を確定する具体的な方法、および、各点の線形属性の値に基づいて車線の予測線形を確定する具体的な方法、前述したステップＳ３０１〜Ｓ３０３、ステップＳ３０４〜Ｓ３０６、または、ステップＳ４０１〜Ｓ４０３を参照すればよく、ここでは再度繰り返して説明しない。
【０１１８】
ニューラルネットワークは、１本の車線の位置のところの各々の点の線形属性またはエッジ属性を確定する場合、路面画像全体を利用して車線が破線であるか実線であるかを判断し、その後、車線上の点が破線であるか実線であるかの確率を得、なぜなら、ニューラルネットワークが路面画像から抽出した特徴マップ中の各々のピクセル点が路面画像における広い領域の情報を集約するため、車線の線形またはエッジの種類を判断できるからである。
【０１１９】
トレーニング用画像における１本の車線の位置のところの１つの点のエッジ属性の値を確定する具体的な方法、および、各点のエッジ属性の値に基づいて車線の予測エッジ種類を確定する具体的な方法は、前述したステップＳ３０１〜Ｓ３０３、ステップＳ３０４〜Ｓ３０６、または、ステップＳ４０１〜Ｓ４０３を参照すればよく、ここでは再度繰り返して説明しない。
【０１２０】
Ｓ５０４において、上記トレーニング用画像の車線の予測色種類と上記トレーニング用画像の車線の色種類の真の値（Ｇｒｏｕｎｄ−ｔｒｕｔｈ）マップ中の色種類との間の第１損失値、上記トレーニング用画像の車線の予測線形と上記トレーニング用画像の車線の線形の真の値マップ中の線形との間の第２損失値、および、上記トレーニング用画像の車線の予測エッジ種類と上記トレーニング用画像の車線のエッジ種類の真の値マップ中のエッジ種類との間の第３損失値を取得する。
【０１２１】
ここで、上記色種類の真の値マップは、論理代数の方式によってトレーニング用画像の色を表し、上記色種類の真の値マップは、上記トレーニング用画像の色種類のラベル情報に基づいて得たものである。上記線形の真の値マップは、論理代数の方式によってトレーニング用画像の線形を表し、上記線形の真の値マップは、上記トレーニング用画像の線形のラベル情報に基づいて得たものである。上記エッジ種類の真の値マップは、論理代数の方式によってトレーニング用画像のエッジ種類を表し、上記エッジ種類の真の値マップは、上記トレーニング用画像のエッジの種類のラベル情報に基づいて得たものである。
【０１２２】
１例において、損失関数を使用して、予測色種類と色種類の真の値マップの色種類との間の第１損失値、予測線形と線形の真の値マップの線形との間の第２損失値、および、予測エッジ種類とエッジ種類の真の値マップ中のエッジ種類との間の第３損失値を算出することができる。
【０１２３】
Ｓ５０５において、上記の第１損失値、第２損失値、および、第３損失値に基づいて、上記のニューラルネットワークのネットワークのパラメータ値を調整する。
【０１２４】
例えば、ニューラルネットワークのネットワークパラメータは、畳み込みカーネルのサイズ、重み情報などを含んでもよい。
【０１２５】
本ステップにおいて、勾配逆方向伝播の方式によって、上記の損失値をニューラルネットワーク中で逆方向バック伝播することによって、ニューラルネットワークのネットワークパラメータ値を調整する。
【０１２６】
本ステップを介した後、すなわち、１回のトレーニングの反復過程を完成して、新たなニューラルネットワークのパラメータ値を得る。
【０１２７】
１例において、上記の第１損失値が所定の損失範囲内に入るまで、かつ、第２損失値が所定の損失範囲内に入るまで、かつ、第３損失値が所定の損失範囲内に入るまで、当該新たなニューラルネットワークのパラメータ値に基づいて、継続的に、上記のステップＳ５０１〜Ｓ５０４を実行し、この時に得られたニューラルネットワークのパラメータ値が最適化後のパラメータ値であり、当該ニューラルネットワークのトレーニングが終了される。
【０１２８】
もう１つの例において、上記の第１損失値と第２損失値と第３損失値との和の値がもう１つの所定の損失範囲内に入るまでに、当該新たなニューラルネットワークのパラメータ値に基づいて、継続的に上記のステップＳ５０１〜Ｓ５０４を実行し、この時に得られたニューラルネットワークのパラメータ値が最適化後のパラメータ値であり、当該ニューラルネットワークのトレーニングが終了される。
【０１２９】
別の１つの例において、さらに、勾配降下アルゴリズムまたは他のニューラルネットワーク分野の一般的なアルゴリズムによって、当該ニューラルネットワークのトレーニングを終了するか否かを判断することができる。
【０１３０】
例示的に、毎回に１枚のトレーニング画像を使用してニューラルネットワークをトレーニングしてもよいし、１回に複数枚のトレーニング画像を使用してニューラルネットワークをトレーニングしてもよい。
【０１３１】
１例において、上記のニューラルネットワークは、畳み込みニューラルネットワークであり得、当該畳み込みニューラルネットワークは、畳み込み層、残差ネットワークユニット、アップサンプリング層、および、正規化層を含んでもよい。ここで、畳み込み層と残差ネットワークユニットの前後の順序は、必要によって柔軟に設定することができ、また、各層の数も、必要によって柔軟に設定することができる。
【０１３２】
例えば、上記の畳み込みニューラルネットワークは、接続された６〜１０個の畳み込み層、接続された７〜１２個の残差ネットワークユニット、および、１〜４個のアップサンプリング層を含んでもよい。当該特定構成を有する畳み込みニューラルネットワークを車線属性検出に用いる場合、複数のシーンまたは複雑なシーンでの車線属性検出の用件を満たして、検出結果の堅牢性がいっそう良くなるようにする。
【０１３３】
１例において、上記の畳み込みニューラルネットワークは、接続された８個の畳み込み層、接続された９個の残差ネットワークユニット、および、接続された２個のアップサンプリング層を含んでもよい。
【０１３４】
図６は、本発明の１実施例によって提供される畳み込みニューラルネットワークの構成の模式図であり、図６に示すように、路面画像入力６１０の後に、まず、当該畳み込みニューラルネットワークの連続された８個の畳み込み層６２０を経過し、当該連続された８個の畳み込み層６２０の後に、連続された９個の残差ネットワークユニット６３０を含み、当該連続された９個の残差ネットワークユニット６３０の後に、連続された２個のアップサンプリング層６４０を含み、当該連続された２個のアップサンプリング層６４０の後に、正規化層６５０があり、最終に、正規化層６５０によって確率マップが出力される。
【０１３５】
例示的に、各々の上記の残差ネットワークユニット６３０は、２５６個のフィルタを含んでもよく、各層は、１２８個の３＊３と１２８個の１＊１のサイズのフィルタを含んでもよい。
【０１３６】
上記の過程を通じてニューラルネットワークのトレーニングを完成した後、ニューラルネットワークを使用して前述した確率マップを出力するときに、以下の過程に従って出力することができる。
【０１３７】
図７は、本発明の実施例によって提供される車線属性検出を実行するためのニューラルネットワークが路面画像処理を実行するフローの模式図であり、図７に示すように、ニューラルネットワークを利用して上記確率マップを取得する過程は、以下のステップを含む。
【０１３８】
Ｓ７０１において、上記のニューラルネットワークの少なくとも１つの畳み込み層を利用して上記路面画像のＭ個のチャンネルの低レベル特徴情報を抽出する。
【０１３９】
ここで、Ｍは、ステップＳ２０２で得られた確率マップの数である。１例において、確率マップが色属性確率マップと線形属性確率マップとを含むと、Ｍは、Ｎ１とＮ２の和である。もう１例において、確率マップが色属性確率マップと線形属性確率マップとエッジ属性確率マップとを含むと、Ｍは、Ｎ１とＮ２とＮ３との和である。
【０１４０】
畳み込み層を利用して路面画像の解像度を低下させ、路面画像の低レベル特徴を残すことができる。例示的に、路面画像の低レベル特徴情報は、画像における縁情報、直線情報、および、曲線情報などを含んでもよい。
【０１４１】
確率マップが色属性確率マップと線形属性確率マップとエッジ属性確率マップとを含む例を挙げると、上記路面画像のＭ個のチャンネルの中の各々のチャンネルは、１種の色属性、１種の線形属性、または、１種のエッジ属性に対応する。
【０１４２】
Ｓ７０２において、上記のニューラルネットワークの少なくとも１つの残差ネットワークユニットを利用して上記のＭ個のチャンネル低レベル特徴情報に基づいて上記路面画像のＭ個のチャンネルの高レベル特徴情報を抽出する。
【０１４３】
残差ネットワークユニットを利用して抽出した路面画像のＭ個のチャンネルの高レベル特徴情報は、語義特徴、輪郭、全体的構造などを含む。
【０１４４】
Ｓ７０３において、上記のニューラルネットワークの少なくとも１つのアップサンプリング層を利用して上記のＭ個のチャンネルの高レベル特徴情報に対してアップサンプリング処理を実行して、上記路面画像と同じ大きさのＭ個の確率マップを得る。
【０１４５】
アップサンプリング層のアップサンプリング処理を通じて、画像をニューラルネットワークに入力した画像の元の大きさに復元することができる。本ステップにおいて、Ｍ個のチャンネルの高レベル特徴情報に対してアップサンプリング処理を実行した後、ニューラルネットワークに入力した路面画像と同じ大きさのＭ個の確率マップを得ることができる。
【０１４６】
本発明の実施例に記載の低レベル特徴情報と高レベル特徴情報は、１つの特定ニューラルネットワークでの相対的な概念であることを説明する必要がある。例えば、深度ニューラルネットワークにおいて、深度がより浅いネットワーク層によって抽出された特徴は、深度がより深いネットワーク層によって抽出された特徴と比較すると、前者によって抽出されたものが低レベル特徴情報に属し、後者によって抽出されたものが高レベル特徴情報に属する。
【０１４７】
１例において、ニューラルネットワークで、上記のアップサンプリング層の後に、正規化層をさらに含んでもよく、正規化層を利用して上記のＭ個の確率マップを出力する。
【０１４８】
例示的に、アップサンプリング処理を通じた後に得られた路面画像の特徴マップの場合、当該特徴マップ中の各ピクセル点の値に対して正規化処理を実行することによって、特徴マップ中の各ピクセル点の値が０から１の範囲内に入るようにして、Ｍ個の確率マップを得る。
【０１４９】
例示的に、１種の正規化方法は、まず、特徴マップ中のピクセル点の値の最大値を確定し、その後、各ピクセル点の値を当該最大値で除算することによって、特徴マップ中の各ピクセル点の値が０から１の範囲内に入るようにする。
【０１５０】
本発明の実施例は、上記のステップＳ７０１とＳ７０２の実行順序に対して限定しなく、すなわち、まずＳ７０１を実行してからＳ７０２を実行してもよいし、まずＳ７０２を実行してからＳ７０１を実行してもよいことを説明する必要がある。
【０１５１】
選択的な１実施形態として、上記のステップＳ２０２で路面画像をニューラルネットワークに入力する前に、まず、上記路面画像に対して歪み除去処理を実行することによって、ニューラルネットワーク出力結果の正確性をいっそう向上させることができる。
【０１５２】
図８は、本発明の実施例によって提供される車線属性検出装置のモジュールの構成図であり、図８に示すように、当該装置は、第１取得モジュール８０１と、第１確定モジュール８０２と、第２確定モジュール８０３と、備える。
【０１５３】
第１取得モジュール８０１は、スマートデバイスに装着された画像収集装置が収集した路面画像を取得する。
【０１５４】
第１確定モジュール８０２は、前記路面画像に基づいて確率マップを確定し、前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、ここで、色属性確率マップは、Ｎ１個あり、線形属性確率マップは、Ｎ２個あり、エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、各々の色属性確率マップは、前記路面画像における各点が当該種の色に属する確率を表し、各々の線形属性確率マップは、前記路面画像における各点が当該種の線形に属する確率を表し、各々のエッジ属性確率マップは、前記路面画像における各点が当該種のエッジに属する確率を表す。
【０１５５】
第２確定モジュール８０３は、前記確率マップに基づいて前記路面画像における車線属性を確定する。
【０１５６】
もう１実施例において、前記Ｎ１個の色属性確率マップに対応する色は、白色、黄色、および、青色の中の少なくとも１つを含む。
【０１５７】
もう１実施例において、前記Ｎ２個の線形属性確率マップに対応する線形は、破線、実線、二重破線、二重実線、破線実線二重線、実線破線二重線、三重破線、および、破実破三重線の中の少なくとも１つを含む。
【０１５８】
もう１実施例において、前記Ｎ３個のエッジ属性確率マップに対応するエッジは、縁石型エッジ、フェンス型エッジ、壁または画壇型エッジ、仮想エッジ、および、非エッジの中の少なくとも１つを含む。
【０１５９】
もう１実施例において、前記確率マップは、第１属性確率マップと第２属性確率マップとを含み、前記第１属性確率マップと前記第２属性確率マップとは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の２種であり、かつ、前記第１属性確率マップと前記第２属性確率マップとは、互いに異なる。
【０１６０】
第２確定モジュール８０３は、具体的に、前記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＬ個の前記第１属性確率マップにおける対応する位置のそれぞれの確率値を確定し、当該点に対して、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とし、前記路面画像における当該本の車線の位置のところの各点の第１属性の値に基づいて、当該本の車線の第１属性の値を確定し、前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＳ個の前記第２属性確率マップにおける対応する位置のそれぞれの確率値を確定し、当該点に対して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とし、前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定し、当該本の車線の第１属性の値と当該本の車線の第２属性の値とを組み合わせ、組み合わせた後の属性の値を当該本の車線の属性の値とし、ここで、第１属性確率マップが色属性確率マップであると、ＬはＮ１に等しく、第１属性は色属性であり、第１属性確率マップが線形属性確率マップであると、ＬはＮ２に等しく、第１属性は線形属性であり、第１属性確率マップがエッジ属性確率マップであると、ＬはＮ３に等しく、第１属性はエッジ属性であり、第２属性確率マップが色属性確率マップであると、ＳはＮ１に等しく、第２属性は色属性であり、第２属性確率マップが線形属性確率マップであると、ＳはＮ２に等しく、第２属性は線形属性であり、第２属性確率マップがエッジ属性確率マップであると、ＳはＮ３に等しく、第２属性はエッジ属性である。
【０１６１】
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第１属性に基づいて、当該本の車線の第１属性の値を確定することは、当該本の車線の位置のところの各点の第１属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第１属性の値が同一である点の数が最多である点の第１属性の値を、当該本の車線の第１属性の値とすることを含む。
【０１６２】
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第１属性に基づいて、当該本の車線の第１属性の値を確定することは、当該本の車線の位置のところの各点の第１属性の値が同一であることに応答して、当該本の車線の位置のところの点の第１属性の値を当該本の車線の第１属性の値とすることを含む。
【０１６３】
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定することは、当該本の車線の位置のところの各点の第２属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第２属性の値が同一である点の数が最多である点の第２属性の値を、当該本の車線の第２属性の値とすることを含む。
【０１６４】
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定することは、当該本の車線の位置のところの各点の第２属性の値が同一であることに応答して、当該本の車線の位置のところの点の第２属性の値を当該本の車線の第２属性の値とすることを含む。
【０１６５】
もう１実施例において、前記確率マップは、第３属性確率マップをさらに含み、前記第３属性確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の１種であり、かつ、前記第３属性確率マップ、前記第２属性確率マップ、および、前記第１属性確率マップは、その属性がいずれも互いに異なる確率マップである。
【０１６６】
第２確定モジュール８０３は、さらに、当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせる前に、前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＵ個の前記第３属性確率マップにおける対応する位置のそれぞれの確率値を確定し、当該点に対して、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とし、前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定し、ここで、第３属性確率マップが色属性確率マップであると、ＵはＮ１に等しく、第３属性は色属性であり、第３属性確率マップが線形属性確率マップであると、ＵはＮ２に等しく、第３属性は線形属性であり、第３属性確率マップがエッジ属性確率マップであると、ＵはＮ３に等しく、第３属性はエッジ属性であり、第２確定モジュール８０３が当該本の車線の第１属性の値と当該本の車線の第２属性の値とを組み合わせることは、当該本の車線の第１属性の値、当該本の車線の第２属性の値、および、当該本の車線の第３属性の値を組み合わせることをふくむ。
【０１６７】
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定することは、当該本の車線の位置のところの各点の第３属性の値が互いに異なることに応答して、当該本の車線の位置のところの、第３属性の値が同一である点の数が最多である点の第３属性の値を、当該本の車線の第３属性の値とすることを含む。
【０１６８】
もう１実施例において、第２確定モジュール８０３が前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定することは、当該本の車線の位置のところの各点の第３属性の値が同一であることに応答して、当該本の車線の位置のところの点の第３属性の値を当該本の車線の第３属性の値とすることを含む。
【０１６９】
もう１実施例において、第１確定モジュール８０２は、具体的に、前記路面画像をニューラルネットワークに入力し、ニューラルネットワークが前記確率マップを出力し、ここで、前記ニューラルネットワークは、色種類、線形種類、および、エッジの種類のラベル情報を含む路面トレーニング画像セットを使用して監督トレーニングして得られたものである。
【０１７０】
図９は、本発明の実施例によって提供される車線属性検出装置のモジュールの構成図であり、図９に示すように、前記路面画像に対して歪み除去処理を実行するための前処理モジュール８０４をさらに備える。
【０１７１】
上記の装置の各モジュールの分割は、ただ、論理的な機能の分割に過ぎず、実際に実現するときに、全部または一部を１つの物理的実体に統合されてもよく、物理的に分離されてもよいことを理解すべきであることを、説明する必要がある。また、これらモジュールは、すべてソフトウェアが処理要素によって呼び出される形式で実現されてもよいし、全部がハードウェアの形式で実現されてもよいし、一部のモジュールが処理要素によってソフトウェアを呼び出す形式で実現されてもよいし、一部のモジュールがハードウェアの形式で実現されてもよい。例えば、確定モジュールは、単独的に確立された処理要素であってもよいし、上記の装置の特定のチップに統合されて実現されてもよく、なお、プログラムコードの形式で上記の装置のメモリに記憶されてもよいし、上記の装置の特定の処理要素によって上記の確定モジュールの機能を呼び出すて実行されてもよい。他のモジュールの実現も、同様である。なお、これらモジュールは、全部または一部が統合されてもよいし、独立的に実現されてもよい。ここで記載される処理要素は、信号の処理能力を有する集積回路であってもよい。実現過程において、上記の方法の各ステップまたは上記の各モジュールは、プロセッサ要素中のハードウェアの集積論理回路またはソフトウェア形式の命令によって完成されることができる。
【０１７２】
例えば、上記のこれらモジュールは、上記の方法を実施する１つまたは複数の集積回路として構成されてもよく、例えば、１つまたは複数の特定集積回路（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ、ＡＳＩＣ）、１つまたは複数のマイクロプロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、または、１つまたは複数のフィールドプログラマブルゲートアレイ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ、ＦＰＧＡ）などであってもよい。また、例えば、上記の特定のモジュールが処理要素によってプログラムコードを呼び出す形式で実現される場合、当該処理要素は、汎用プロセッサであり得、例えば、中央処理ユニット（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、ＣＰＵ）または他のプログラムコードを呼び出すことができるプロセッサであり得る。また、例えば、これらモジュールは、１つに統合されて、システムオンチップ（ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ、ＳＯＣ）の形式で実現されてもよい。
【０１７３】
上記の実施例は、ソフトウェア、ハードウェア、ファームウェア、または、その任意の組み合わせによって、全部または一部が実現され得る。ソフトウェアを使用して実現する場合、コンピュータプログラム製品の形式によって、全部または一部が実現され得る。前記コンピュータプログラム製品は、１つまたは複数のコンピュータ命令を含む。コンピュータ上に前記コンピュータプログラム命令をロードして実行するときに、本発明の実施例に記載のフローまたは機能の全部または一部が発生される。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または、他のプログラム可能な装置であり得る。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されることができるか、または、１つのコンピュータ可読記憶媒体からもう１つのコンピュータ可読記憶媒体に伝送されることができる。例えば、前記コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバ、または、データセンターから、有線（例えば、同軸ケーブル、光ファイバ、デジタル追加者回線（ＤＳＬ））、または、無線（例えば、赤外線、無線、マイクロ波など）方式によって、もう１つのウェブサイト、コンピュータ、サーバ、または、データセンターへ、伝送されることができる。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスできるいかなる利用可能な媒体、または、１つまたは複数の利用可能な媒体が統合されたサーバ、データセンターなどを含むデータ記憶デバイスであり得る。前記利用可能な媒体は、磁気媒体、（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えば、ＤＶＤ）、または、半導体媒体（例えば、ソリッドステートディスクｓｏｌｉｄ  ｓｔａｔｅ  ｄｉｓｋ  （ＳＳＤ））などであり得る。
【０１７４】
図１０は、本発明の実施例によって提供される電子デバイスの構成の模式図である。図１０に示すように、当該電子デバイス１０００は、プロセッサ１００１と、メモリ１００２と、通信インターフェース１００３と、システムバス１００４と、を含んでもよい。前記メモリ１００２と前記通信インターフェース１００３は、前記システムバス１００４を介して前記プロセッサ１００１と接続されて相互間の通信を完成する。前記メモリ１００２は、コンピュータ実行命令を記憶し、前記通信インターフェース１００３は、他のデバイスと通信を実行する。前記プロセッサ１００１によって前記コンピュータ命令を実行されるときに、本発明の実施例によって提供される車線属性検出方法が実現される。
【０１７５】
当該図１０で言及されたシステムバスは、周辺部品相互接続標準（ｐｅｒｉｐｈｅｒａｌ  ｃｏｍｐｏｎｅｎｔ  ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスまたは拡張産業標準構成（ｅｘｔｅｎｄｅｄ  ｉｎｄｕｓｔｒｙ  ｓｔａｎｄａｒｄ  ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであり得る。前記システムバスは、アドレスバス、データバス、制御バスなどに分けることができる。便利に示すために、図面では１本の太線のみで表したが、１本のバスまたは１つの種類のバスのみが存在することを意味しない。通信インターフェースは、データベースアクセス装置と他のデバイス（例えば、クライアント、読み取り／書き込みライブラリ、および、読み取り専用ライブラリ）との間の通信を実現する。メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、ＲＡＭ）を含んでもよく、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）をさらに含んでもよいし、例えば、少なくとも１つのディスクメモリを含む。
【０１７６】
上記のプロセッサは、中央処理ユニットＣＰＵ、ネットワークプロセッサ（ｎｅｔｗｏｒｋ  ｐｒｏｃｅｓｓｏｒ、ＮＰ）などを含む、汎用プロセッサであり得、デジタル信号プロセッサＤＳＰ、専用集積回路ＡＳＩＣ、フィールドプログラマブルゲートアレイＦＰＧＡまたは他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであってもよい。
【０１７７】
図１１は、本発明の実施例によって提供されるスマートデバイスの構成の模式図であり、図１１に示すように、本実施例のスマートデバイス１１００は、画像収集装置１１０１と、プロセッサ１１０２と、メモリ１１０３と、を備える。
【０１７８】
具体的に、図１１に示すように、実際に使用するときに、画像収集装置１１０１は、路面画像を撮影して、路面画像をプロセッサ１１０２に送信し、プロセッサ１１０２は、メモリ１１０３を呼び出してメモリ１１０３中のプログラム命令を実行して、取得した路面画像における車線属性を検出し、検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、前記スマートデバイスに対して走行制御を実行する。
【０１７９】
本実施例のスマートデバイスは、道路上で走行できるスマートデバイスであり、例えば、スマート運転車両、ロボット、ブラインド案内デバイスなどであり、ここで、スマート運転車両は、自動運転車両、または、補助運転システムを有する車両であり得る。
【０１８０】
ここで、プロンプト情報は、車線オフセット警告プロンプト、車線維持プロンプト、走行速度変更、走行方向変更、車線維持、車両灯状態変更などを含んでもよい。
【０１８１】
上記の走行制御は、制動、走行速度変更、走行方向変更、車線維持、車両灯状態変更、運転モード切替えなどを含んでもよく、ここで、運転モード切替えは、補助運転と自動運転との間の切替えであってもよく、例えば、補助運転から自動運転への切替えである。
【０１８２】
図１２は、本発明の実施例によって提供されるスマート運転方法のフローの模式図であり、上記の実施例を基として、本発明の実施例は、上記の図１１に記載のスマートデバイスに用いられるスマート運転方法をさらに提供し、図１２に示すように、当該方法は、以下のステップを含む。
【０１８３】
Ｓ１２０１において、路面画像を取得する。
【０１８４】
Ｓ１２０２において、上記の方法の実施例に記載の車線属性検出方法を使用して、取得した路面画像における車線属性を検出する。
【０１８５】
Ｓ１２０３において、検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、スマートデバイスに対して走行制御を実行する。
【０１８６】
本実施例の実行主体は、移動できるスマートデバイスであり、例えば、スマート運転車両、ロボット、ブラインド案内デバイスなどであり、ここで、スマート運転車両は、自動運転車両、または、補助運転システムを有する車両であり得る。
【０１８７】
本実施例のスマート運転は、補助運転、自動運転、および／または、補助運転と自動運転との間の運転モード切替えを含む。
【０１８８】
ここで、路面画像の車線属性検出結果は、上記の実施例の車線属性検出方法によって得られ、具体的な過程は、上記の実施例の叙述を参照すればよく、ここでは再度繰り返して説明しない。
【０１８９】
具体的に、スマートデバイスは、上記の車線属性検出方法を実行して、路面画像の車線属性検出結果を得、路面画像の車線属性検出結果に基づいてプロンプト情報を出力するか、および／または、移動制御を実行する。
【０１９０】
ここで、プロンプト情報は、車線オフセット警告プロンプト、車線維持プロンプト、走行速度変更、走行方向変更、車線維持、車両灯状態変更などを含んでもよい。
【０１９１】
上記の走行制御は、制動、走行速度変更、走行方向変更、車線維持などを含んでもよい。
【０１９２】
本実施例によって提供される運転制御方法によると、スマートデバイスは、路面画像の車線属性検出結果を取得し、路面画像の車線属性検出結果に基づいてプロンプト情報を出力するか、または、スマートデバイスの走行制御を実行することによって、スマートデバイスの安全性と信頼性をさらに向上させた。
【０１９３】
選択的に、本発明の実施例は、不揮発性記憶媒体をさらに提供し、前記記憶媒体には、命令が記憶されており、当該命令がコンピュータで運行されると、コンピュータが本発明の実施例によって提供される車線属性検出方法を実行するようにする。
【０１９４】
選択的に、本発明の実施例は、命令を運行するチップをさらに提供し、前記チップは、本発明の実施例によって提供される車線属性検出方法を実行する。
【０１９５】
本発明の実施例は、プログラム製品をさらに提供し、前記プログラム製品は、コンピュータプログラムを含み、前記コンピュータプログラムは、記憶媒体に記憶されており、少なくとも１つのプロセッサは、前記記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサによって前記コンピュータプログラムが実行されるときに、本発明の実施例によって提供される車線属性検出方法が実現される。
【０１９６】
本発明の実施例において、「少なくとも１つ」は、１つまたは複数を指し、「複数」は、２つ以上を指す。「および／または」は、関連対象の関連関係を叙述し、３種の関係の存在を表し、例えば、Ａおよび／またはＢは、Ａが単独的に存在すること、ＡとＢが同時に存在すること、および、Ｂが単独的に存在することを表すことができ、ここで、Ａ、Ｂは、単数または複数であり得る。文字である「／」は、一般的に、前後の関連対象の間が「または」の関係であることを表す。式において、文字「／」は、前後の関連対象の間が「除算」の関係であることを表す。「以下の少なくとも１項（個）」または類似な表現は、これら項の中の任意の組み合わせを指し、単一の項（個）または複数項（個）の任意の組み合わせを含む。例えば、ａ、ｂ、または、ｃの中の少なくとも１項（個）は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、または、ａ−ｂ−ｃを表し、ここで、ａ、ｂ、ｃは、単数または複数であり得る。
【０１９７】
本発明の実施例で言及された各種の数字のナンバーは、ただ、叙述の便利のために区分したものであり、本発明の実施例の範囲を限定しないことを理解できる。
【０１９８】
本発明の実施例において、上記の各過程の配列番号の大きさは、実行順序の前後を意味しない。各過程の実行順序は、その機能と内部論理によって決定されるべきであり、本発明の実施例の実施過程に対するいかなる制限も構成しないことを理解できる。
【０１９９】
最後に説明すべきなのは、以上の各実施例は、ただ、本発明の技術的解決策を説明するために使用され、それを限定するものではない。前述した各実施例を参照して本発明を詳細に説明したが、当業者は、依然として、前述した各実施例に記載の技術的解決策を修正するか、または、その中の一部または全部の技術的特徴に対して同等の置換を行うことができるが、これら修正または置換は、該当する技術的解決策の本質が本発明の各実施例の技術的解決策の範囲を逸脱するようにしないことを理解すべきである。
【図１】
2021532449.tif 000007
【図２】
2021532449.tif 000008
【図３】
2021532449.tif 000009
【図４】
2021532449.tif 000010
【図５】
2021532449.tif 000011
【図６】
2021532449.tif 000012
【図７】
2021532449.tif 000013
【図８】
2021532449.tif 000014
【図９】
2021532449.tif 000015
【図１０】
2021532449.tif 000016
【図１１】
2021532449.tif 000017
【図１２】
2021532449.tif 000018
【手続補正書】
【提出日】令和3年1月4日(2021.1.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車線属性検出方法であって、
スマートデバイスに装着された画像収集装置が収集した路面画像を取得するステップと、
前記路面画像に基づいて確率マップを確定するステップと、
前記確率マップに基づいて前記路面画像における車線属性を確定するステップと、を含み、
前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、
前記色属性確率マップは、Ｎ１個あり、前記線形属性確率マップは、Ｎ２個あり、前記エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、
各々の前記色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、
各々の前記線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、
各々の前記エッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す
ことを特徴とする車線属性検出方法。
【請求項２】
前記Ｎ１個の色属性確率マップに対応する色は、白色、黄色、および、青色の中の少なくとも１つを含む
ことを特徴とする請求項１に記載の車線属性検出方法。
【請求項３】
前記Ｎ２個の線形属性確率マップに対応する線形は、破線、実線、二重破線、二重実線、破線実線二重線、実線破線二重線、三重破線、および、破実破三重線の中の少なくとも１つを含む
ことを特徴とする請求項１または２に記載の車線属性検出方法。
【請求項４】
前記Ｎ３個のエッジ属性確率マップに対応するエッジは、縁石型エッジ、フェンス型エッジ、壁または画壇型エッジ、仮想エッジ、および、非エッジの中の少なくとも１つを含む
ことを特徴とする請求項１乃至３の何れか１項に記載の車線属性検出方法。
【請求項５】
前記確率マップは、第１属性確率マップと第２属性確率マップとを含み、前記第１属性確率マップと前記第２属性確率マップとは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の２種であり、かつ、前記第１属性確率マップと前記第２属性確率マップとは、互いに異なり、
前記確率マップに基づいて前記路面画像における前記車線属性を確定するステップは、
前記路面画像における１本の車線の位置のところの各々の点に対して、当該点のＬ個の前記第１属性確率マップにおける対応する位置のそれぞれの確率値を確定するステップと、
当該点に対して、確率値が最大である第１属性確率マップに対応する第１属性の値を、当該点の第１属性の値とするステップと、
前記路面画像における当該本の車線の位置のところの各点の第１属性の値に基づいて、当該本の車線の第１属性の値を確定するステップと、
前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＳ個の前記第２属性確率マップにおける対応する位置のそれぞれの確率値を確定するステップと、
当該点に対して、確率値が最大である第２属性確率マップに対応する第２属性の値を、当該点の第２属性の値とするステップと、
前記路面画像における当該本の車線の位置のところの各点の第２属性の値に基づいて、当該本の車線の第２属性の値を確定するステップと、
当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせるステップと、
組み合わせた後の属性の値を当該本の車線の属性の値とするステップと、を含み、
ここで、前記第１属性確率マップが前記色属性確率マップである場合、ＬはＮ１に等しく、前記第１属性は色属性であり、
前記第１属性確率マップが前記線形属性確率マップである場合、ＬはＮ２に等しく、前記第１属性は線形属性であり、
前記第１属性確率マップが前記エッジ属性確率マップである場合、ＬはＮ３に等しく、第１属性はエッジ属性であり、
前記第２属性確率マップが前記色属性確率マップである場合、ＳはＮ１に等しく、前記第２属性は前記色属性であり、
前記第２属性確率マップが前記線形属性確率マップである場合、ＳはＮ２に等しく、前記第２属性は前記線形属性であり、
前記第２属性確率マップが前記エッジ属性確率マップである場合、ＳはＮ３に等しく、前記第２属性は前記エッジ属性である
ことを特徴とする請求項１乃至４の何れか１項に記載の車線属性検出方法。
【請求項６】
前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第１属性の値が互いに異なることに応答して、当該本の車線の位置のところの各々の点の中の、第１属性の値が同一である点の数が最多である点の前記第１属性の値を、当該本の車線の前記第１属性の値とするステップを含む
ことを特徴とする請求項５に記載の車線属性検出方法。
【請求項７】
前記路面画像における当該本の車線の位置のところの各点の前記第１属性に基づいて、当該本の車線の前記第１属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第１属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第１属性の値を当該本の車線の前記第１属性の値とするステップを含む
ことを特徴とする請求項５または６に記載の車線属性検出方法。
【請求項８】
前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第２属性の値が互いに異なることに応答して、当該本の車線の位置のところの各々の点の中の、第２属性の値が同一である点の数が最多である点の前記第２属性の値を、当該本の車線の前記第２属性の値とするステップを含む
ことを特徴とする請求項５乃至７の何れか１項に記載の車線属性検出方法。
【請求項９】
前記路面画像における当該本の車線の位置のところの各点の前記第２属性の値に基づいて、当該本の車線の前記第２属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第２属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第２属性の値を当該本の車線の前記第２属性の値とするステップを含む
ことを特徴とする請求項５乃至８の何れか１項に記載の車線属性検出方法。
【請求項１０】
前記確率マップは、第３属性確率マップをさらに含み、前記第３属性確率マップは、前記色属性確率マップ、前記線形属性確率マップ、および、前記エッジ属性確率マップの中の１種であり、かつ、前記第３属性確率マップ、前記第２属性確率マップ、および、前記第１属性確率マップは、その属性がいずれも互いに異なる確率マップであり、
当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせるステップの前に、前記車線属性検出方法は、
前記路面画像における当該本の車線の位置のところの各々の点に対して、当該点のＵ個の前記第３属性確率マップにおける対応する位置のそれぞれの確率値を確定するステップと、
当該点に対して、確率値が最大である第３属性確率マップに対応する第３属性の値を、当該点の第３属性の値とするステップと、
前記路面画像における当該本の車線の位置のところの各点の第３属性の値に基づいて、当該本の車線の第３属性の値を確定するステップと、をさらに含み、
ここで、前記第３属性確率マップが前記色属性確率マップである場合、ＵはＮ１に等しく、前記第３属性は前記色属性であり、
前記第３属性確率マップが前記線形属性確率マップである場合、ＵはＮ２に等しく、前記第３属性は前記線形属性であり、
前記第３属性確率マップが前記エッジ属性確率マップである場合、ＵはＮ３に等しく、前記第３属性は前記エッジ属性であり、
当該本の車線の前記第１属性の値と当該本の車線の前記第２属性の値とを組み合わせるステップは、
当該本の車線の前記第１属性の値、当該本の車線の前記第２属性の値、および、当該本の車線の前記第３属性の値を組み合わせるステップを含む
ことを特徴とする請求項５乃至９の何れか１項に記載の車線属性検出方法。
【請求項１１】
前記路面画像における当該本の車線の位置のところの各点の前記第３属性の値に基づいて、当該本の車線の前記第３属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第３属性の値が互いに異なることに応答して、当該本の車線の位置のところの各々の点の中の、第３属性の値が同一である点の数が最多である点の前記第３属性の値を、当該本の車線の前記第３属性の値とするステップを含む
ことを特徴とする請求項１０に記載の車線属性検出方法。
【請求項１２】
前記路面画像における当該本の車線の位置のところの各点の前記第３属性の値に基づいて、当該本の車線の前記第３属性の値を確定するステップは、
当該本の車線の位置のところの各点の前記第３属性の値が同一であることに応答して、当該本の車線の位置のところの点の前記第３属性の値を当該本の車線の前記第３属性の値とするステップを含む
ことを特徴とする請求項１０または１１に記載の車線属性検出方法。
【請求項１３】
前記路面画像に基づいて前記確率マップを確定するステップは、
前記路面画像をニューラルネットワークに入力し、ニューラルネットワークが前記確率マップを出力するステップを含み、
ここで、前記ニューラルネットワークは、色種類、線形種類、および、エッジの種類のラベル情報を含む路面トレーニング画像セットを使用して監督トレーニングして得られたものである
ことを特徴とする請求項１乃至１２の何れか１項に記載の車線属性検出方法。
【請求項１４】
前記路面画像を前記ニューラルネットワークに入力する前に、前記車線属性検出方法は、
前記路面画像に対して歪み除去処理を実行するステップをさらに含む
ことを特徴とする請求項１３に記載の車線属性検出方法。
【請求項１５】
車線属性検出装置であって、
スマートデバイスに装着された画像収集装置が収集した路面画像を取得するための第１取得モジュールと、
前記路面画像に基づいて確率マップを確定するための第１確定モジュールと、
前記確率マップに基づいて前記路面画像における車線属性を確定するための第２確定モジュールと、を備え、
前記確率マップは、色属性確率マップ、線形属性確率マップ、および、エッジ属性確率マップの中の少なくとも２種を含み、
前記色属性確率マップは、Ｎ１個あり、前記線形属性確率マップは、Ｎ２個あり、前記エッジ属性確率マップは、Ｎ３個あり、ここで、Ｎ１、Ｎ２、および、Ｎ３は、いずれも、０より大きい整数であり、
各々の前記色属性確率マップは、前記路面画像における各点が当該色属性確率マップに対応する色に属する確率を表し、
各々の前記線形属性確率マップは、前記路面画像における各点が当該線形属性確率マップに対応する線形に属する確率を表し、
各々の前記エッジ属性確率マップは、前記路面画像における各点が当該エッジ属性確率マップに対応するエッジに属する確率を表す
ことを特徴とする車線属性検出装置。
【請求項１６】
電子デバイスであって、
プログラム命令を記憶するためのメモリと、
前記メモリ中の前記プログラム命令を呼び出して実行することによって、請求項１乃至１４の何れか１項に記載の方法のステップを実行するためのプロセッサと、を備える
ことを特徴とする電子デバイス。
【請求項１７】
スマートデバイスに用いられるスマート運転方法であって、
路面画像を取得するステップと、
請求項１乃至１４の何れか１項に記載の車線属性検出方法を使用して、取得した前記路面画像における車線属性を検出するステップと、
検出して得た前記車線属性に基づいてプロンプト情報を出力するか、または、前記スマートデバイスに対して走行制御を実行するステップと、を含む
ことを特徴とするスマート運転方法。
【請求項１８】
スマートデバイスであって、
路面画像を取得するための画像収集装置と、
プログラム命令を記憶するためのメモリであって、記憶されたプログラム命令が実行されると、請求項１乃至１４の何れか１項に記載の車線属性検出方法が実現されるメモリと、
前記画像収集装置が取得した前記路面画像に基づいて、前記メモリに記憶された前記プログラム命令を実行することによって、前記路面画像における車線属性を検出し，検出して得た車線属性に基づいて、プロンプト情報を出力するか、または、スマートデバイスに対して走行制御を実行するためのプロセッサと、を備える
ことを特徴とするスマートデバイス。
【請求項１９】
コンピュータプログラムが記憶されている不揮発性可読記憶媒体であって、
前記コンピュータプログラムは、請求項１乃至１４の何れか１項に記載の方法のステップを実行する
ことを特徴とする不揮発性可読記憶媒体。
【国際調査報告】
2021532449.tif 000019
2021532449.tif 000020
2021532449.tif 000021
2021532449.tif 000022