(57)【要約】      （修正有）【課題】車両の地形に対する適応機能の利便性を大きく改善し、運転経験を改善し、安全性リスクの可能性を減少させる知的地形特定の方法及び装置、車両搭載端末、及び車両を提供する。【解決手段】知的地形特定の方法は、車両の前方運転領域における所与の運転範囲の画像を獲得するステップと、画像から路面の特徴を抽出するステップと、抽出された特徴に基づいて路面のタイプを判断するステップと、を含む。判断するステップにより、車両に、路面のタイプに従って対応する運転戦略を選択させる。この方法により、車両は最新の路面のタイプを知的に特定し、路面のタイプに従って自動的に車両の運転戦略をスイッチする。【選択図】図１
2019106159.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方運転領域における所与の運転範囲の画像を獲得するステップと、
画像から路面の特徴を抽出するステップと、及び、
路面の抽出された特徴に基づいて路面のタイプを判断するステップと
を含み、
前記判断するステップにより、車両に、路面のタイプに従って対応する運転戦略を選択させる、
知的地形特定の方法。
【請求項２】
画像から路面の特徴を抽出するステップの前に、
画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップを、更に含み、
画像から路面の特徴を抽出するステップは、
ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するステップを含む、
請求項１に記載の知的地形特定の方法。
【請求項３】
画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップは、
画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップと、
地面領域に位置する３次元オブジェクトを除去するステップと、及び、
完全な地面領域を獲得するために、空虚部分に関する画像補償を実行するステップであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、実行するステップと
を含む、請求項２に記載の知的地形特定の方法。
【請求項４】
空虚部分に関する画像補償を実行するステップであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、実行するステップは、
領域の画像特徴に基づいて空虚部分に関する補償を実行するステップであって、領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する、実行するステップを
含む、請求項３に記載の知的地形特定の方法。
【請求項５】
路面の抽出された特徴に基づいて路面のタイプを判断するステップは、
ソフトマックス関数により路面の抽出された特徴に基づいて路面のタイプを判断するステップを
含む、請求項１に記載の知的地形特定の方法。
【請求項６】
ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するステップは、
少なくとも一つの畳み込み層と少なくとも一つの全結合層により、地面領域から路面の特徴を順次抽出するステップを
含む、請求項２に記載の知的地形特定の方法。
【請求項７】
車両の前方運転領域における所与の運転範囲の画像を獲得するステップは、
車両の前方に設置されたカメラを介して、車両の前方運転領域における所与の運転範囲の画像を獲得するステップであって、所与の運転範囲はカメラのパラメータを設定することにより設定される、獲得するステップを
含む、請求項１〜４のうちのいずれか一に記載の知的地形特定の方法。
【請求項８】
車両の前方運転領域における所与の運転範囲の画像を獲得するように構成された画像獲得ユニットと、
画像から路面の特徴を抽出するように構成された特徴抽出ユニットと、及び、
路面の抽出された特徴に基づいて路面のタイプを判断し、このことにより、車両に、路面のタイプに従って対応する運転戦略を選択させるように構成されたタイプ判断ユニットと
を含む、知的地形特定の装置。
【請求項９】
更に、セグメンテーションユニットを含み、
セグメンテーションユニットは、画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するように構成されており、
特徴抽出ユニットは、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように構成されている、
請求項８に記載の知的地形特定の装置。
【請求項１０】
セグメンテーションユニットは、
画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するように構成されたセグメンテーションサブユニットと、
地面領域に位置する３次元オブジェクトを除去するように構成された除去サブユニットと、及び、
完全な地面領域を獲得するために、空虚部分に関する画像補償を実行するように構成された補償サブユニットであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、補償サブユニットと
を含む、請求項９に記載の知的地形特定の装置。
【請求項１１】
補償サブユニットは、領域の画像特徴に基づいて空虚部分に関する補償を実行するように構成されており、領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する、
請求項１０に記載の知的地形特定の装置。
【請求項１２】
車両に適応され、カメラとプロセッサを含む、車両搭載端末であって、
カメラは、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されており、
プロセッサは、画像から路面の特徴を抽出し、路面の抽出された特徴に基づいて路面のタイプを判断し、車両の車両制御ユニットに路面のタイプを送信し、このことにより、車両制御ユニットに、路面のタイプに従って対応する運転戦略を選択するべく車両を制御させるように、構成されている、
車両搭載端末。
【請求項１３】
プロセッサは、画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析し、更に、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように構成されている、
請求項１２に記載の車両搭載端末。
【請求項１４】
請求項１２又は請求項１３に記載の車両搭載端末と、及び、車両制御ユニットとを含み、
車両制御ユニットは、路面のタイプに従って対応する運転戦略を選択するべく車両を制御するように構成されている、
車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、知的運転の技術分野に関し、特に、知的地形特定のための方法及び装置、車両搭載端末、並びに車両に関する。
【背景技術】
【０００２】
実際の運転の経験では、様々な地形条件に対応する運転戦略は、車両が工場から出荷される際車両に対して提供される。一つの態様では、それは安全性についての懸念に対するものである。様々な地形条件の下では、車両は、車輪と地面との間に様々な分数係数を有し、且つ様々な制動距離を有し、それらは自動緊急制動（ＡＥＢ）のインプットとして作用し得、運転の安全を向上させる。別の態様では、それは快適性の関心事に対するものであり、快適であり、安定性があり、燃料効率の良い運転戦略がユーザに対して提供される。即ち、車両の関連パラメータは、ハイウエイ、砂、雪、泥、及び草などの様々な地形に対して調整可能であり、様々な地形は様々な運転戦略に対応し、これら運転戦略はユーザに対して良好な運転経験を提供するだけでなく車両への損傷を減少もする。
【０００３】
現状、運転戦略の選択は、主に手動でのやり方に基づく。地形条件は、ドライバの眼により観察され、運転モードは、観察された地形条件に従って機能ボタンを介して手動でスイッチされ、最新の地形条件と合致する運転モードにスイッチする。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の地形特定技術は、ドライバが地形を手動で判断し対応する運転戦略を手動で選択するやり方に基づくものであり、このような技術は運転経験に影響を与えるだけで無く様々な安全性リスクなどの問題も生じる。
【課題を解決するための手段】
【０００５】
従来の技術における上記の技術的問題に対処すべく、本開示に係る知的地形特定のための方法及び装置、車両搭載端末、並びに車両が提示されるが、これらは、路面のタイプを自動的に特定し路面の地形に従って運転戦略を自動的に調整できる。
【０００６】
上記を考慮して、本開示の実施形態により、以下の技術的解決を提示する。
【０００７】
本開示の実施形態に係る知的地形特定の方法が提示され、該方法は、
車両の前方運転領域における所与の運転範囲の画像を獲得するステップと、
画像から路面の特徴を抽出するステップと、及び、
路面の抽出された特徴に基づいて路面のタイプを判断するステップと
を含み、
前記判断するステップにより、車両に、路面のタイプに従って対応する運転戦略を選択させる。
【０００８】
画像から路面の特徴を抽出するステップの前に、
方法は更に、画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップを含んでもよく、
画像から路面の特徴を抽出するステップは、
ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するステップを含んでもよい。
【０００９】
画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップは、
画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップと、
地面領域に位置する３次元オブジェクトを除去するステップと、及び、
完全な地面領域を獲得するために、空虚部分に関する画像補償を実行するステップであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、実行するステップと
を含んでもよい。
【００１０】
空虚部分に関する画像補償を実行するステップであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、実行するステップは、
領域の画像特徴に基づいて空虚部分に関する補償を実行するステップであって、領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する、実行するステップを含んでもよい。
【００１１】
車両の前方運転領域における所与の運転範囲の画像を獲得するステップは、
車両の前方に設置されたカメラを介して、車両の前方運転領域における所与の運転範囲の画像を獲得するステップであって、所与の運転範囲はカメラのパラメータを設定することにより設定され得る、獲得するステップを
含んでもよい。
【００１２】
路面の抽出された特徴に基づいて路面のタイプを判断するステップは、
ソフトマックス関数により路面の抽出された特徴に基づいて路面のタイプを判断するステップを
含んでもよい。
【００１３】
ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するステップは、
少なくとも一つの畳み込み層と少なくとも一つの全結合層により、地面領域から路面の特徴を順次抽出するステップを
含んでもよい。
【００１４】
本開示の実施形態に係る知的地形特定の装置が更に提示され、該装置は、
車両の前方運転領域における所与の運転範囲の画像を獲得するように構成された画像獲得ユニットと、
画像から路面の特徴を抽出するように構成された特徴抽出ユニットと、及び、
路面の抽出された特徴に基づいて路面のタイプを判断し、このことにより、車両に、路面のタイプに従って対応する運転戦略を選択させるように構成されたタイプ判断ユニットと
を含む。
【００１５】
装置は更に、セグメンテーションユニットを含んでもよく、
セグメンテーションユニットは、画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するように構成されていてもよく、
特徴抽出ユニットは、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように構成されていてもよい。
【００１６】
セグメンテーションユニットは、
画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するように構成されたセグメンテーションサブユニットと、
地面領域に位置する３次元オブジェクトを除去するように構成された除去サブユニットと、及び、
完全な地面領域を獲得するために、空虚部分に関する画像補償を実行するように構成された補償サブユニットであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、補償サブユニットと
を含んでもよい。
【００１７】
補償サブユニットは、領域の画像特徴に基づいて空虚部分に関する補償を実行するように構成されていてもよく、領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する。
【００１８】
本開示の実施形態に係る、車両に適応され、カメラとプロセッサを含む、車両搭載端末
が更に提示され、
カメラは、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されており、
プロセッサは、画像から路面の特徴を抽出し、路面の抽出された特徴に基づいて路面のタイプを判断し、車両の車両制御ユニットに路面のタイプを送信し、このことにより、車両制御ユニットに、路面のタイプに従って対応する運転戦略を選択するべく車両を制御させるように、構成されている。
【００１９】
プロセッサは、画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析し、更に、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように構成されていてもよい。
【００２０】
本開示の実施形態に係る車両が更に提示され、該車両は、
車両搭載端末と、及び、車両制御ユニットとを含み、
車両制御ユニットは、路面のタイプに従って対応する運転戦略を選択するべく車両を制御するように構成されている。
【発明の効果】
【００２１】
従来技術と比較して、本開示は少なくとも以下の利点を有する。
【００２２】
車両の前方運転領域における所与の運転範囲の画像が獲得される。路面の特徴が画像から抽出される。路面の抽出された特徴に基づいて路面のタイプが判断され、このことにより、車両に、路面のタイプに従って対応する運転戦略を選択させる。
【００２３】
本開示に係る方法では、車両の前方運転領域の画像が自動的に獲得され、路面の地形を反映する特徴を抽出することにより、抽出された特徴に基づいて路面のタイプが判断される。結果として、ドライバは眼により地形を観察して機能ボタンを手動で選択して運転戦略を変更する、という必要が無い。この方法により、車両が現下駆動する種々の路面に関して自動特定が知的に実行され、このことは、ドライバが様々な運転戦略の間で迅速且つ自動的にスイッチする助けとなる。一つの様相では、車両の地形に対する適応可能性が大きく改善され、更に運転経験が改善される。別の態様では、ドライバが車両に関してスイッチング操作を実行する際に生じる安全性リスクが防がれる。
【図面の簡単な説明】
【００２４】
本開示の実施形態における、若しくは従来技術における、技術的解決をより明確に示すために、実施形態若しくは従来技術の記載で用いる図面を、以下にて簡単に紹介する。
【００２５】
【図１】図１は、本開示の第１の実施形態に係る知的地形特定のための方法のフローチャートである。
【図２Ａ】図２Ａは、本開示の第２の実施形態に係るステップＳ１０２の具体的な実装のフローチャートである。
【図２Ｂ】図２Ｂは、本開示の第３の実施形態に係る知的地形特定のための方法のフローチャートである。
【図３】図３は、本開示に係る路面の特徴を抽出することの模式図である。
【図４】図４は、本開示に係るソフトマックス関数に基づいて抽出された特徴を分類することの模式図である。
【図５Ａ】図５Ａは、本開示に係る実際の利用例におけるシーンの模式図である。
【図５Ｂ】図５Ｂは、本開示に係る実際の利用例におけるシーンの模式図である。
【図５Ｃ】図５Ｃは、本開示に係る実際の利用例におけるシーンの模式図である。
【図５Ｄ】図５Ｄは、本開示に係る実際の利用例におけるシーンの模式図である。
【図６】図６は、本開示の第４の実施形態に係る知的地形特定のための装置の構造図である。
【図７】図７は、本開示の第５の実施形態に係る車両搭載端末の構造図である。
【図８】図８は、本開示の第６の実施形態に係る車両の構造図である。
【発明を実施するための形態】
【００２６】
当業者が本開示の技術的解決をより良く理解するように、本開示の実施形態の図面と共に、本開示の実施形態における技術的解決を以下にて明確に且つ完全に説明する。本明細書に記載の実施形態は、本発明の実施形態の全てではなく一部に過ぎないことは、明白である。当業者により本開示の実施形態に基づいて、創作的取り組みも無く当業者が取得する全ての他の実施形態は、本開示の保護範囲にあるものである。
【００２７】
発明者は、様々な地形のための特定技術は主としてドライバに依存するということを研究により見出している。ドライバは、車両が駆動する最新の地形を観察し、判断をし、最新の地形に適合する運転モードに手動でスイッチする。従来の運転モードのスイッチングはドライバに依存して実際の地形特徴に基づいて判断を行い、対応する運転モードを手動で選択する。
【００２８】
一つの態様では、ドライバが運転モードを適時に正確にスイッチすることは困難である。別の態様では、ドライバはスイッチングのプロセスにて車両を操作する必要があり、このことはドライバを混乱させ、結果として相当程度安全性リスクを生じてしまう。従って、様々な地形のための従来の運転モードスイッチングは、ドライバの運転経験に影響を与えるだけで無くドライバを混乱させ結果として安全性リスクを生じる。
【００２９】
上記を考慮して、本開示の実施形態に係る、知的地形特定の方法を提示する。具体的には、車両の前方運転領域における所与の運転範囲の画像が自動的に獲得され、路面の特徴が該画像から分析により抽出され、更に、路面の抽出された特徴に基づいて路面のタイプが判断され、これらにより、車両は、路面のタイプに従って適合する運転モードに自動的にスイッチする。本開示の実施形態に係る方法によって、車両は、最新の路面のタイプを知的に特定し、路面のタイプに基づいて車両の運転戦略を自動的にスイッチすることができ、これらのことにより、車両の地形への適応機能の有用性が改善され、運転経験が改善され、安全性リスクの可能性が減少される、ということがわかる。
【００３０】
更に、獲得した画像にて、別の車両や障害物などの、別の３次元のオブジェクトが存在する場合、画像は、本開示に係る方法に基づいてセグメント化されて地面領域の画像情報を取得し、地面領域の３次元のオブジェクトが除去され、空虚部分を伴う画像が補償されて完全な地面領域の画像を獲得し得ることとなる。このように、地面領域の特徴を抽出することに対して、安定した信頼性のある画像情報が提供され、これにより路面のタイプの正確な判断が保証される。
【００３１】
第１の実施形態
図１を参照すると、図１は実施形態に係る知的地形特定の方法のフローチャートである。
【００３２】
実施形態に係る知的地形特定の方法は、ステップＳ１０１〜ステップＳ１０３を含む。
【００３３】
Ｓ１０１では、車両の前方運転領域における所与の運転範囲の画像が獲得される。
【００３４】
所与の運転範囲を過度に大きく設定する必要は無い、ということが理解され得る。実際に、車両の前方の運転方向に所定の幅及び所定の距離が、設定される。例えば、車両の前方の、ある領域の範囲内の画像が獲得されるが、領域は左から右への１０メートルの幅と、運転方向での２０メートルの長さを有する。
【００３５】
実施形態では、所与の運転範囲を伴う様々なタイプの車両に対して、様々な画像獲得範囲が設定可能であり、それらは様々な車両の構造に適応する。このように、比較的に理想的な画像が獲得され、後続の画像処理を実行して正確なデータを獲得する。
【００３６】
例えば、車両のタイプは、オフロード車両、乗用車、トラック、バンなどを含む。
【００３７】
オフロード車両は大きい全体構造を有し、乗用車は比較的小さい全体構造を有する。従って、上記の二つの異なるタイプの車両に対応する、前方運転領域における所与の運転範囲を設定する際には、合理的な所与の運転範囲を設定するために、個々の特徴に基づいて適応的な調整が為される必要がある。
【００３８】
画像は、バイナリ画像でも、グレースケール画像でも、カラー画像でもよく、実施形態においてこのことは限定されない。
【００３９】
車両の前方運転領域における所与の運転範囲の画像を獲得することの、具体的な実装は、車両の前方に、カメラ、ダッシュボードカメラなどを設置することにより、達成され得る。
【００４０】
ステップＳ１０２では、路面の特徴が画像から抽出される。
【００４１】
実施形態では、路面の特徴は、車両が現下駆動する地形の特徴を示すものである。様々な地形は、路面の様々な特徴に対応する。
【００４２】
路面の特徴は、路面における、色、形状、若しくは、テクスチャを含み得る。
【００４３】
例えば、ハイウエイ、砂、雪、泥、及び草などの、様々な地形は、路面における、様々な色、形状、及びテクスチャに、対応する。
【００４４】
従って、車両が現下駆動する地形は、路面の特徴を抽出することにより特定され得る。実際の利用例では、路面の上記特徴の一つ若しくはそれ以上のタイプが抽出され得るが、本明細書ではそれらに限定されない。路面の抽出される特徴の数は、最新の地形を正確に特定するように、一つ以上であることが好ましい。
【００４５】
ステップＳ１０３では、車両に対して、路面のタイプに従って対応する運転戦略を選択させるために、路面のタイプが、路面の抽出された特徴に基づいて判断される。
【００４６】
ステップＳ１０２の記載から、地形は、ハイウエイ、砂、雪、泥、及び草などの、多数のタイプを含むことがあり、様々な地形は路面の様々な特徴をしめす、ということがわかる。車両が現下駆動する地形のタイプは、地形の抽出された特徴に基づいて判断され、従って、車両は路面のタイプに従って自動的に対応する運転戦略を選択できる。
【００４７】
実施形態では、様々なタイプの路面の特徴が前もって抽出されてもよく、路面の各々のタイプに対応する特徴サンプルは、トレーニングにより獲得される。車両が現下駆動する路面のタイプを判断する際には、適合結果を得るために、抽出された特徴を特徴サンプルセットの特徴と適合させ、これにより路面のタイプが判断される。
【００４８】
当然ながら、実際の利用例では、他の判断のやり方が用いられてもよく、それらは本明細書では実施形態により限定されない。
【００４９】
運転戦略の分類は、地形の分類に対応する。例えば、最新の地形がハイウエイであると判断される場合にはハイウエイと適合する運転戦略が選択され、最新の地形が雪であると判断される場合には雪と適合する運転戦略が選択される。様々な地形に適応し、車両への損傷を防ぎ、燃料を節約するために、ステアリングシステム、電子安定制御システム、及びシャーシサスペンションシステムなどの、多数のシステムを調整することにより、様々な運転戦略が獲得される。また、運転安全性が保証され、事故を防ぐ。例えば、雪上で駆動する場合には、車両は減速され、スリップや横滑りを防ぐ。
【００５０】
具体的な運転戦略は、地形及び車両のタイプに従って選択され得ることが理解され得るが、その具体的な運転戦略については実施形態では詳細には説明しない。
【００５１】
本開示に係る方法により、車両の前方運転領域の画像が自動的に獲得され、路面の地形を反映する特徴を抽出することにより、抽出した特徴に基づいて、路面のタイプが判断される。ドライバが、眼により地形を観察し、機能ボタンを手動で選択することにより運転戦略を変更する、という必要は無い。このように、車両は、路面のタイプに従って、対応する運転戦略を自動的に選択する。車両が現下駆動する地形は、路面の特徴を抽出して判断することにより、自動的に且つ利敵に特定され得る、ということが理解され得る。一つの態様では、車両の地形への適応可能性は大きく向上し、運転経験が改善される。別の態様では、ドライバが車両上でスイッチング操作を実行するときに生じる安全性リスクがふせがれる。
【００５２】
上記では第１の実施形態に係る、知的地形特定の方法を説明したが、以下では第１の実施形態のステップＳ１０２の具体的な実装を、第２の実施形態と併せて詳細に導入する。
【００５３】
第２の実施形態
図２Ａを参照すると、図２Ａは実施形態に係るステップＳ１０２の具体的な実装のフローチャートである。
【００５４】
具体的な実装は、以下のステップを含む。
【００５５】
第１の実施形態のステップＳ１０２は、ステップＳ２０１及びステップＳ２０２を含む。
【００５６】
ステップＳ２０１では、ディープニューラルネットワークに基づいて画像に関してピクセル分析が実行され、画像をセグメント化して地面領域を獲得する。
【００５７】
実施形態では、選択的画像獲得手法が提示され、具体的には、車両の前方に設置されるカメラを介して車両の前方運転領域における所与の運転範囲の画像を、獲得することを含み、ここで所与の運転範囲はカメラのパラメータを設定することにより、設定される。
【００５８】
カメラのパラメータは、固有パラメータと外的パラメータとを含み得る。固有パラメータは、焦点距離ｆｘ、ｆｙ、（結像面に関する）主点の座標（ｘ０、ｙ０）、座標軸傾斜パラメータｓなどを含む。外的パラメータは、回転行列、変換行列などを含む。様々な車両に対して様々なパラメータが設定され、これによりカメラは、合理的な所与の運転範囲の画像を撮影し得る。
【００５９】
実際の利用例では、カメラのパラメータは、車両が工場から出荷される際に前もって設定され得、ドライバにより実際の運転経験に基づいて設定され得る。実施形態では、カメラのパラメータを設定する手法は限定されず、パラメータの具体的値は実際の運転状況に基づいて設定され得る。
【００６０】
具他的な実施形態では、車両の前方運転領域における所与の運転範囲の画像は、ダッシュボードカメラを介して撮影され得る。実施形態では、車両の前方運転領域の画像は種々の手法で獲得されうるのであり、本明細書ではそれらは限定されないことに、留意されるべきである。
【００６１】
画像は、所与の時間間隔で撮影されるものでもよく、リアルタイムで記録されるビデオから抽出される画像でもよいことが、理解され得る。
【００６２】
実際の利用例では、車両の前方運転領域において、別の車両、及び／又は歩行者などの障害物が必然的に存在する。実施形態に係る選択的処理手法が提示され、これにより後続のステップで収集される画像情報の正確性及び一意性を保証し、路面の安定した信頼性のある特徴を獲得する。選択的処理手法は具体的に以下のステップを含む。
【００６３】
画像における、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析を実行するステップ。
【００６４】
地面領域に位置する３次元オブジェクトを除去するステップ。
【００６５】
完全な地面領域を獲得するために、空虚部分に関して画像補償を実行するステップ。ここで、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域で形成される。
【００６６】
実際の利用例では、地面領域の特徴を抽出するために、画像セグメンテーションが実行されて、画像における地面領域、空領域、及び３次元オブジェクトを獲得し得る。画像セグメンテーションは画像内の様々なオブジェクトを分類するものであり、様々なオブジェクトの分離を達成するためにオブジェクトのボーダはオブジェクトのピクセルに関する分析を介して判断される。
【００６７】
具体的な実装では、撮影された画像がディープニューラルネットワーク内にインプットされ、空領域、地面領域、及び３次元オブジェクトの領域が、画像内の個々のピクセルを分類することにより分離され、これにより、地面領域の特徴を正確に抽出する。
【００６８】
実際の利用例では、カメラにより撮影される画像は、通常、地面、空、及び３次元オブジェクトを含む。路面の特徴を抽出するに当たり、画像の空領域及び画像の地面領域に位置する３次元オブジェクトが、除去され、このことにより、空領域及び３次元オブジェクトが路面の特徴を抽出することの正確性に影響することを防ぐ。従って、画像により提示される特徴は地面領域の特徴であることが保証され、このことは、路面の特徴を抽出するための信頼の基礎を提供する。
【００６９】
３次元オブジェクトが除去されると、完全な画像を獲得するために、空虚部分を伴う地面領域の画像は補償される必要がある。実施形態では、空虚部分を補償する選択的実装が提示され、該実装は、領域の画像特徴に基づいて空虚部分への画像補償を実行するステップを含み、ここで領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する。
【００７０】
例えば、３次元オブジェクトに近接する領域は、空及び地面を含み得る。地面領域の路面の特徴は最後に抽出されるべきものであるから、３次元オブジェクトに近接し且つ地面領域内に在る領域の画像特徴が、空虚部分を補償するのに用いられる必要がある。３次元オブジェクトに近接し且つ別の領域内に在る領域を用いるのではない。
【００７１】
具体的な実装では、ディープニューラルネットワークの発生モデルは、３次元オブジェクトに近接する地面領域の特徴をサンプリングすること、即ち、３次元オブジェクトが位置する地面領域の地面特徴をサンプリングすることに、適用可能であり、空虚部分はサンプリングから取得される地面領域の特徴サンプルセットに基づいて補償され、これにより、干渉の無い地面領域の画像を生成し、よってステップＳ２０２を介して路面の特徴を抽出する。
【００７２】
ステップＳ２０２では、路面の特徴は、ディープニューラルネットワークに基づいて地面領域から抽出される。
【００７３】
干渉の無い地面領域の画像は、ステップＳ２０１を介して獲得された画像を更に処理することにより、獲得される。路面の特徴はディープニューラルネットワークに基づいて地面領域から抽出されるが、抽出について多数の実装が存在し得る。実施形態に係る、選択的実装を提示するが、該実装は具体的には、少なくとも一つの畳み込み層及び少なくとも一つの全結合層により、地面領域から路面の特徴を順次抽出することを、含む。
【００７４】
畳み込み層は、ディープニューラルネットワーク構造にインプットされる地面領域から、路面の特徴を抽出するためのものである。全結合層は、畳み込み層によりアウトプットされる多次元ベクトルを１次元特徴ベクトルに変換し、１次元特徴ベクトルにより計算処理を逐次実行するためのものである。
【００７５】
理論的には、抽出される実効特徴ベクトルの正確性は、ディープニューラルネットワーク構造の畳み込み層及び全結合層の数が増加するにつれて、増大する。しかしながら、層の数の増加は、結果としてＣＰＵのリソースの消費の増加となってしまい、このことは、他のオブジェクトを処理するに当たりＣＰＵのパフォーマンスに影響する。従って、具体的な実装では、畳み込み層の数及び全結合層の数は、実際的要求に基づいて選択されてもよく、少なくとも一つの畳み込み層と少なくとも一つの全結合層でもよい。
【００７６】
計算の正確性とＣＰＵパフォーマンスとを包括的に考慮して、実施形態では、地面領域の路面の特徴を抽出するためのディープニューラルネットワークは、三つの畳み込み層と二つの全結合層とにより形成される畳み込みニューラルネットワークである。しかしながら、三つの畳み込み層及び二つの全結合層は、説明のための例としてのみ採用されるのであり、畳み込み層の数及び全結合層の数を限定するためのものではない。
【００７７】
実施形態に採用されるディープニューラルネットワーク構造の具体的な実装のために、図３が参照され得る。
【００７８】
第一に、地面領域の画像がインプットされ、ディープニューラルネットワーク構造に基づいて完全な地面領域から路面の特徴を抽出する、具体的なプロセスは、以下の通りである。
【００７９】
畳み込み層１：３＊３カーネル、６４マップ、一つのプーリング層を含む；
【００８０】
畳み込み層２：３＊３カーネル、１２８マップ、一つのプーリング層を含む；
【００８１】
畳み込み層３：３＊３カーネル、６４マップ、一つのプーリング層を含む；
【００８２】
全結合層１：２０４８次元；及び
【００８３】
全結合層２：１０２４次元
【００８４】
上記の処理の後、ディープニューラルネットワークは、１０２４次元特徴ベクトルをアウトプットし、よって、路面のタイプは、その後、アウトプットされる１０２４次元特徴ベクトルに基づいて判断され得る。
【００８５】
実施形態では、路面の抽出された特徴に基づいて路面のタイプを判断する好適な手法が提示され、該手法は具体的に、ソフトマックス関数により、路面の抽出された特徴に基づいて路面のタイプを判断することを、含む。
【００８６】
ソフトマックス関数は、Ｋ−次元ベクトルＡをＫ’−次元ベクトルＡ’にマップすることに、留意すべきである。実施形態では、ソフトマックス関数は具体的に、地形分類結果の確率分布を示すためのものであり、具体的な計算については図４に示すプロセスを参照し得る。
【００８７】
ディープニューラルネットワークによりアウトプットされる１０２４次元特徴ベクトルは、ソフトマックス関数にインプットされる。インプットされるベクトルは、パラメータ行列Ｗが掛けられ、続いて、オフセットベクトルＥが、乗算後に取得される結果に加えられ、最後に、加算後に取得される結果が正規化され、図４に示すような個々のタイプの確率を取得する。
【００８８】
パラメータ行列Ｗはａ＊ｂ行列であり、オフセットベクトルＥはａ＊1ベクトルであり、それらは、多数の路面の特徴サンプルのセットに基づいて前もってトレーニングすることにより獲得され、路面のタイプを判断するのに用いられ得る。ａは行の数であり、路面のタイプの数と同じである。ｂは列の数であり、ディープニューラルネットワークによりアウトプットされる特徴ベクトルの次元と同じである。
【００８９】
路面のタイプは、雪、泥、砂、及びハイウエイの４タイプを含むと想定される。４＊１の次元を伴うベクトルは、上記のソフトマックス関数に基づいて計算した後に獲得され、路面の上記４つのタイプの確率分布を表す。最大確率を伴う路面のタイプは、路面の特徴に基づいてソフトマックス関数により判断される路面のタイプである。実施形態では、車両が現下駆動する地形は、雪である０．７２の確率、泥である０．１１の確率、砂である０．０２の確率、及びハイウエイである０．１５の確率を有する。確率値の上記の分布から、最新の路面のタイプは雪であると判断され、これにより車両は雪に対応する運転戦略を選択する。
【００９０】
本開示の上記特徴のより良い理解のために、図５Ａ〜図５Ｄと共に、本開示の上記実施形態に係る方法を以下にて詳細に説明する。
【００９１】
車両の前方運転範囲の画像は、車両の前方に設置されるカメラのパラメータを設定することにより獲得される。例として、扇形状領域の画像を図５Ａに示す。
【００９２】
獲得された画像はディープニューラルネットワークにインプットされ、インプットされた画像はセグメント化され、画像内の、空、地面、及び３次元オブジェクトが特定される。具体的には、画像内のテクスチャ、色、若しくは強度に基づいて、オブジェクトは特定され得る。
【００９３】
３次元オブジェクト、即ち、地面領域の、カメラにより撮像された前方の車両及び歩行者は、除去される。３次元オブジェクトが除去された画像が発生モデルを通過すると空虚部分は補償され得、これにより、図５Ｂに示すように、干渉の無い地面領域の画像が生成され得る。画像が畳み込みニューラルネットワークにインプットされる前に画像が再びセグメント化されてもよく、セグメント化された画像がニューラルネットワークにインプットされる。図５Ｃに示すように、畳み込み層及び全結合層を介して処理することにより、１０２４次元特徴ベクトルが獲得される。
【００９４】
図５Ｄに示すように、１０２４次元特徴ベクトルがソフトマックス関数にインプットされ、路面の個々のタイプの確率分布が獲得される。車両が駆動する路面のタイプが確率分布に従って判断され、車両は、路面のタイプに従って、対応する運転戦略を選択する。
【００９５】
実施形態に係る方法では、撮影した画像が空及び３次元オブジェクトを含むとき、空及び３次元オブジェクトが路面の特徴の抽出に影響するのを防ぐように、画像は、空領域、地面領域、及び３次元オブジェクトを獲得するためのディープニューラルネットワークを介して、セグメント化されてもよい。地面領域の３次元オブジェクトが除去され、３次元オブジェクトを除去することにより形成された、地面領域における空虚部分が補償される。このように、地面領域の完全な安定した画像が獲得され、路面の特徴についての後続の抽出に対して信頼性のある画像情報を提示し、路面のタイプの判断の正確性を改善する。
【００９６】
第３の実施形態
本開示の上記の特徴および利点をより良く理解するために、図２Ｂと共に、本開示を更に、以下にて詳細に説明する。
【００９７】
図２Ｂを参照すると、図２Ｂは、実施形態に係る知的地形特定の方法のフローチャートである。方法は、ステップＳ３０１〜ステップＳ３０６を含む。
【００９８】
ステップＳ３０１では、車両の前方運転領域における所与の運転範囲の画像が、車両の前方に配置されたカメラを介して獲得される。
【００９９】
所与の運転範囲は、カメラのパラメータを設定することにより設定され得る。様々な車両に対して、様々なパラメータが設定され得るので、カメラは明確かつ正確な画像を撮影できる。
【０１００】
ステップＳ３０２では、ディープニューラルネットワークに基づいて、画像に関してピクセル分析が実行され、画像をセグメント化して、地面領域、空領域、及び３次元オブジェクトを獲得する。
【０１０１】
ステップＳ３０３では、地面領域に位置する３次元オブジェクトが除去される。
【０１０２】
実際の利用例では、画像内の空領域及び３次元オブジェクトが、路面の特徴を抽出することの正確性に影響することを防ぐために、画像の空領域及び画像の地面領域での３次元オブジェクトは、路面の特徴を抽出することための信頼性の根拠を提供するべく、除去される必要がある。
【０１０３】
ステップＳ３０４では、地面領域に位置する３次元オブジェクトが除去された後に地面領域に形成される空虚部分に関しては、地面領域に在り３次元オブジェクトに近接する領域の画像特徴に基づいて、実行され、これにより、完全な地面領域を獲得する。
【０１０４】
地面領域に位置する３次元オブジェクトに近接する、地面領域の特徴をサンプリングすることに対して、ディープニューラルネットワークの発生モデルが適用されてもよく、空虚部分は、地面領域の収集された特徴サンプルセットに基づいて補償され、これにより、地面領域の完全な画像を獲得する。
【０１０５】
ステップＳ３０５では、路面の特徴が、三つの畳み込み層及び二つの全結合層により順次地面領域から抽出される。
【０１０６】
実施形態では、ステップＳ３０５の具体的な実装に対して、第２の実施形態の具体的な実装が参照されてもよいが、ここでは詳細には説明しない。
【０１０７】
ステップＳ３０６では、ソフトマックス関数により路面の抽出された特徴に基づいて、路面のタイプが判断される。
【０１０８】
ソフトマックス関数の計算原理及び実装に対して、第２の実施形態の具体的な実装が参照されてもよいが、ここでは詳細には説明しない。
【０１０９】
実施形態に係る方法により、車両の前方運転領域の画像はカメラを介して自動的に獲得され、画像内の３次元オブジェクトは、画像セグメンテーション方法により除去され、３次元オブジェクトを除去することにより地面領域に形成される空虚部分は補償されて地面領域の完全な安定した画像を獲得し、続いて路面の地形を反映する特徴が画像から抽出され、路面のタイプが抽出された特徴に基づいて判断される。実施形態に係る方法により、車両が現下駆動する地形が自動的且つ知的に特定され得ることが、わかる。一つの様相では、車両の地形に対する適応可能性は大きく改善される。別の態様では、ドライバが車両に関してスイッチング操作を実行する際に生じる安全性リスクが防がれる。
【０１１０】
第１の実施形態から第３の実施形態に係る、知的地形特定の方法に基づいて、知的地形特定の装置が更に、本開示の実施形態に従って提供される。図面と共に第４の実施形態に従って、以下にて知的地形特定の装置を導入する。
【０１１１】
第４の実施形態
図６を参照すると、図６は、実施形態に係る知的地形特定の装置の構造図を示す。
【０１１２】
装置は、画像獲得ユニット６１０、特徴抽出ユニット６２０、及びタイプ判断ユニット６３０を含む。
【０１１３】
画像獲得ユニット６１０は、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されている。
【０１１４】
特徴抽出ユニット６２０は、画像から路面の特徴を抽出するように構成されている。
【０１１５】
タイプ判断ユニット６３０は、路面の抽出された特徴に基づいて路面のタイプを判断するように構成されており、これにより、車両に、路面のタイプに従って対応する運転戦略を選択させる。
【０１１６】
装置は、画像をセグメント化して地面領域を獲得するためにディープニューラルネットワークに基づいて画像に関してピクセル分析を実行するように構成されている、セグメンテーションユニットを含んでもよく、特徴抽出ユニット６２０は、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように構成されている。
【０１１７】
セグメンテーションユニット６４０は、セグメンテーションサブユニット６４１、除去サブユニット６４２、及び補償サブユニット６４３を含んでもよい。
【０１１８】
セグメンテーションサブユニット６４１は、画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析を実行するように構成されている。
【０１１９】
除去サブユニット６４２は、地面領域に位置する３次元オブジェクトを除去するように構成されている。
【０１２０】
補償サブユニット６４３は、完全な地面領域を獲得するために、空虚部分に関する補償を実行するように構成されており、ここで空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域に形成されるものである。具体的には、補償サブユニット６４３は、領域の画像特徴に基づいて空虚部分に関する画像補償を実行するように構成されており、ここで領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する。
【０１２１】
実施形態に係る装置は、第１の実施形態から第３の実施形態に係る方法に対応する。従って、実施形態の個々のユニットの機能の具体的な実装のための、方法の実施形態の実装を参照し得るが、本明細書では詳細には説明しない。
【０１２２】
実施形態に係る知的地形特定の装置により、車両の前方運転領域における所与の運転範囲の画像は知的に収集され、車両が現下駆動する路面のタイプ自動的に特定され、車両の運転戦略をスイッチする。一つの様相では、車両の地形に対する適応可能性は大きく改善され、運転経験は改善される。別の態様では、ドライバが車両に関してスイッチング操作を実行する際に生じる安全性リスクが防がれる。更に、地面領域内の３次元オブジェクトは、画像に関するセグメンテーション処理により除去され、形成される空虚部分は補償される。これにより、路面の安定した信頼性のある特徴が抽出され得、路面のタイプの判断結果の正確性が保証される。
【０１２３】
上記の実施形態に係る、知的地形特定の方法及び装置に基づいて、本開示に係る、車両搭載端末を更に提示する。図面と共に以下にて詳細な説明を提示する。
【０１２４】
車両搭載端末は、乗用車、オフロード車両、トラック、及びバンなどの、種々のタイプの車両に利用可能であり、このことにより本開示に係る知的地形特定の機能を実装する。
【０１２５】
第５の実施形態
図７を参照すると、図７は、本開示の実施形態に係る車両搭載端末の概略構造図を示す。車両搭載端末７１０は、カメラ７１１と、プロセッサ７１２を含む。
【０１２６】
カメラ７１１は、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されており、ここで所与の運転範囲はカメラのパラメータを設定することにより設定される。
【０１２７】
プロセッサ７１２は、画像から路面の特徴を抽出し、路面の抽出された特徴に基づいて路面のタイプを判断し、車両の車両制御ユニットに路面のタイプを送信し、このことにより、車両制御ユニットに、路面のタイプに従って対応する運転戦略を選択するべく車両を制御させるように、構成されている。
【０１２８】
プロセッサ７１２は、ディープニューラルネットワークに基づいて画像に関してピクセル分析を実行し画像をセグメント化して地面領域を獲得し、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように、構成されている。
【０１２９】
当然ながら、車両搭載端末は、独立のプロダクトとして機能して種々のタイプの車両に適応され得る。
【０１３０】
上記の実施形態に係る、知的地形特定の方法及び装置、並びに、車両搭載端末に基づいて、本開示に係る、車両を更に提示する。図面と共に以下にて詳細な説明を提示する。
【０１３１】
車両は、乗用車、オフロード車両、トラック、及びバンなどの、種々のタイプのものでよい。更に車両は、燃料車両及び電気車両などの、種々の動力源を伴う車両でよい。
【０１３２】
第６の実施形態
図８を参照すると、図８は、本開示の実施形態に係る車両の概略構造図である。車両は、第５の実施形態に係る車両搭載端末７１０と、車両制御ユニット８１０を含む。
【０１３３】
車両搭載端末７１０は、車両の前方運転領域における所与の運転範囲の画像を獲得し、画像から路面の特徴を抽出し、路面の抽出された特徴に基づいて路面のタイプを判断し、車両制御ユニットに路面のタイプを送信するように、構成されている。
【０１３４】
車両制御ユニット８１０は、路面のタイプに従って対応する運転戦略を選択するべく車両を制御するように、構成されている。
【０１３５】
車両搭載端末７１０は、カメラ７１１と、及びプロセッサ７１２を含んでもよい。
【０１３６】
カメラ７１１は、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されており、ここで所与の運転範囲はカメラのパラメータを設定することにより設定される。
【０１３７】
プロセッサ７１２は、ディープニューラルネットワークに基づいて画像に関してピクセル分析を実行し画像をセグメント化して地面領域を獲得し、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出する、ように構成されている。
【０１３８】
実施形態に係る車両により、車両の前方運転領域における所与の運転範囲の画像が、カメラを介して撮影され、プロセッサにより、ディープニューラルネットワークに基づいて撮影された画像に関してピクセル分析が実行され画像をセグメント化して地面領域を獲得し、ディープニューラルネットワークに基づいて地面領域の路面の特徴が抽出され、路面の特徴に基づいて車両が現下駆動する路面のタイプが判断され、車両制御ユニットに判断の結果がフィードバックされ、このことにより、車両制御ユニットに、判断の結果に従って路面のタイプに対応する運転戦略を選択させる。一つの様相では、車両の地形に対する適応可能性は大きく改善され、運転経験は改善される。別の態様では、ドライバが車両に関してスイッチング操作を実行する際に生じる安全性リスクが防がれる。
【０１３９】
上記の記載は、本開示の好ましい実施形態に過ぎず、どの形式でも本発明の限定として解釈されるべきものでは無い。本開示は、上記の好ましい実施形態により開示されるが、好ましい実施形態は本発明を限定するべきものでは無い。本開示の技術的解決策に対する種々の変更及び修正は、本開示の技術的解決策の範囲内の上記方法及び技術的内容に基づいて、当業者により為され得る。一方で、本開示の技術的解決策は、均等の実施形態に修正され得る。従って、本開示の技術的解決策から乖離しない、且つ、本開示の本質に基づいて作成される、任意の単純な変更、均等物、及び修正も、本開示の技術的解決策の保護範囲に含まれる。
【符号の説明】
【０１４０】
６１０・・・画像獲得ユニット、６４０・・・セグメンテーションユニット、６４１・・・セグメンテーションサブユニット、６４２・・・除去サブユニット、６４３・・・補償サブユニット、６２０・・・特徴抽出ユニット、６３０・・・タイプ判断ユニット、７１０・・・車両搭載端末、７１１・・・カメラ、７１２・・・プロセッサ、８１０・・・車両制御ユニット。
【図１】
2019106159.tif 000003
【図２Ａ】
2019106159.tif 000004
【図２Ｂ】
2019106159.tif 000005
【図３】
2019106159.tif 000006
【図４】
2019106159.tif 000007
【図５Ａ】
2019106159.tif 000008
【図５Ｂ】
2019106159.tif 000009
【図５Ｃ】
2019106159.tif 000010
【図５Ｄ】
2019106159.tif 000011
【図６】
2019106159.tif 000012
【図７】
2019106159.tif 000013
【図８】
2019106159.tif 000014
【外国語明細書】
2019106159.tif 000015
2019106159.tif 000016
2019106159.tif 000017
2019106159.tif 000018
2019106159.tif 000019
2019106159.tif 000020
2019106159.tif 000021
2019106159.tif 000022
2019106159.tif 000023
2019106159.tif 000024
2019106159.tif 000025
2019106159.tif 000026
2019106159.tif 000027
2019106159.tif 000028
2019106159.tif 000029
2019106159.tif 000030
2019106159.tif 000031
2019106159.tif 000032
2019106159.tif 000033
2019106159.tif 000034
2019106159.tif 000035
2019106159.tif 000036
2019106159.tif 000037
2019106159.tif 000038
2019106159.tif 000039
2019106159.tif 000040
2019106159.tif 000041
2019106159.tif 000042
2019106159.tif 000043
2019106159.tif 000044
2019106159.tif 000045
2019106159.tif 000046