(57)【要約】本出願は、インテリジェント運転制御方法及び装置、電子機器を開示する。前記方法は、車両の所在する路面の路面画像を取得することと、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することと、確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うこととを含む。
2021531545.tif 000002
【特許請求の範囲】
【請求項１】
インテリジェント運転制御方法であって、
車両の所在する路面の路面画像を取得することと、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することと、
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うこととを含む、インテリジェント運転制御方法。
【請求項２】
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することは、
取得された路面画像に基づき、前記路面画像における路面がアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定することと、
前記路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定することとを含むことを特徴とする
請求項１に記載の方法。
【請求項３】
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うことは、
確定された前記路面シーンの種類に応じて、車両の速度制御パラメータ及び／又はブレーキ力制御パラメータを確定することと、
確定された車両の速度制御パラメータ及び／又はブレーキ力制御パラメータに基づき、前記車両の駆動部材及び／又はブレーキ部材を制御することとを含むことを特徴とする
請求項１又は２に記載の方法。
【請求項４】
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うことは、
確定された前記路面シーンの種類に応じて、前記車両の速度制御パラメータ、ブレーキ力制御パラメータ、アラーム情報の少なくとも１つを含む知らせ情報を出力することを含むことを特徴とする
請求項１又は２に記載の方法。
【請求項５】
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することは、
前記取得された路面画像をニューラルネットワークに入力し、前記ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定することを含み、ここで、前記ニューラルネットワークが、路面シーンの種類をラベル付けた路面画像からなる画像集合を用いて訓練されたものであることを特徴とする
請求項１−４のいずれか一項に記載の方法。
【請求項６】
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定する前に、前記方法は、さらに、
取得された路面画像をトリミングし、トリミング後の路面画像を取得することを含み、ここで、前記車両の所在する路面が前記トリミング後の路面画像に占める割合は、前記車両の所在する路面が前記取得された路面画像に占める割合よりも大きく、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することは、
前記トリミング後の路面画像に基づき、前記路面画像における路面シーンの種類を確定することを含むことを特徴とする
請求項１−５のいずれか一項に記載の方法。
【請求項７】
インテリジェント運転制御装置であって、
車両の所在する路面の路面画像を取得するように構成される取得ユニットと、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するように構成される確定ユニットと、
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うように構成される制御ユニットとを備える、インテリジェント運転制御装置。
【請求項８】
前記確定ユニットは、取得された路面画像に基づき、前記路面画像における路面がアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定し、前記路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定するように構成されることを特徴とする
請求項７に記載の装置。
【請求項９】
前記制御ユニットは、確定された前記路面シーンの種類に応じて、車両の速度制御パラメータ及び／又はブレーキ力制御パラメータを確定し、確定された車両の速度制御パラメータ及び／又はブレーキ力制御パラメータに基づき、前記車両の駆動部材及び／又はブレーキ部材を制御するように構成されることを特徴とする
請求項７又は８に記載の装置。
【請求項１０】
前記制御ユニットは、確定された前記路面シーンの種類に応じて、前記車両の速度制御パラメータ、ブレーキ力制御パラメータ、アラーム情報の少なくとも１つを含む知らせ情報を出力するように構成されることを特徴とする
請求項７又は８に記載の装置。
【請求項１１】
前記確定ユニットは、前記取得された路面画像をニューラルネットワークに入力し、前記ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定するように構成され、ここで、前記ニューラルネットワークが、路面シーンの種類をラベル付けた路面画像からなる画像集合を用いて訓練されたものであることを特徴とする
請求項７−１０のいずれか一項に記載の装置。
【請求項１２】
前記装置はさらに、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定する前に、取得された路面画像をトリミングし、トリミング後の路面画像を取得するように構成されるトリミングユニットを備え、ここで、前記車両の所在する路面が前記トリミング後の路面画像に占める割合は、前記車両の所在する路面が前記取得された路面画像に占める割合よりも大きく、
前記確定ユニットは、前記トリミング後の路面画像に基づき、前記路面画像における路面シーンの種類を確定するように構成されることを特徴とする
請求項７−１１のいずれか一項に記載の装置。
【請求項１３】
電子機器であって、
実行可能命令を記憶するように構成されるメモリと、
前記実行可能命令を実行して請求項１−６のいずれか一項に記載の方法を実行するように構成されるプロセッサとを備える、電子機器。
【請求項１４】
デバイスのプロセッサに、請求項１−６のいずれか一項に記載の方法を実現させるためのコンピュータプログラム。
【請求項１５】
コンピュータ可読命令を記憶し、前記コンピュータ可読命令が実行されると、コンピュータに、請求項１−６のいずれか一項に記載の方法を実現させるコンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願への相互参照）
本出願は２０１９年６月１９日に中国特許庁に提出された、出願番号が２０１９１０５３１１９２．１で、出願名称が「インテリジェント運転制御方法及び装置、電子機器」である中国特許出願の優先権を主張し、その内容が参照により本出願に組み込まれる。
【０００２】
本出願は、コンピュータビジョン技術に関し、特にインテリジェント運転制御方法及び装置、電子機器に関する。
【背景技術】
【０００３】
近年、コンピュータビジョン技術が急速に発展し、人々は訓練されたニューラルネットワークを用いて画像分類、物体追跡、顔識別などの様々な視覚的タスクを遂行することができる。一方で、補助運転及び自動運転技術の向上に伴い、補助運転及び自動運転に関するニーズが益々増加している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本出願の実施例は、インテリジェント運転制御方法及び装置、電子機器、コンピュータプログラム、コンピュータ記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本出願の実施例によるインテリジェント運転制御方法は、
車両の所在する路面の路面画像を取得することと、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することと、
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うこととを含む。
【０００６】
本出願の実施例によるインテリジェント運転制御装置は、
車両の所在する路面の路面画像を取得するように構成される取得ユニットと、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するように構成される確定ユニットと、
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うように構成される制御ユニットとを備える。
【０００７】
本出願の実施例による電子機器は、
実行可能命令を記憶するように構成されるメモリと、
前記実行可能命令を実行して上記インテリジェント運転制御方法を遂行するように構成されるプロセッサとを備える。
【０００８】
本出願の実施例によるコンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードがデバイスで実行されると、前記デバイス内のプロセッサが上記インテリジェント運転制御方法を実現するために実行する。
【０００９】
本出願の実施例によるコンピュータ記憶媒体は、コンピュータ可読命令を記憶し、前記命令が実行されると上記インテリジェント運転制御方法を実現する。
【発明の効果】
【００１０】
本出願の上記実施例に基づいて提供されるインテリジェント運転制御方法及び装置、電子機器、コンピュータプログラム及びコンピュータ記憶媒体では、車両の所在する路面の路面画像を取得し、取得された路面画像における路面シーンを識別して、前記路面画像における路面シーンの種類を確定し、確定された路面シーンの種類に基づいて車両に対するインテリジェント運転制御を実現する。
【図面の簡単な説明】
【００１１】
【図１】本出願の実施例によるインテリジェント運転制御方法のフローチャート１である。
【図２】本出願の実施例による様々な路面シーンの種類を示す図である。
【図３】本出願の実施例によるインテリジェント運転制御方法のフローチャート２である。
【図４−１】本出願の実施例による路面シーンの種類を識別する原理図１である。
【図４−２】本出願の実施例による路面シーンの種類を識別する原理図２である。
【図４−３】本出願の実施例によるニューラルネットワークの構造図である。
【図５】本出願の実施例によるインテリジェント運転制御装置の構造構成図である。
【図６】本出願の実施例の電子機器の構造構成図である。
【発明を実施するための形態】
【００１２】
以下に図面を参照して本出願の各種の例示的な実施例を詳しく説明する。特に明記しない限り、これらの実施例に記載されている構成要素とステップの相対的な配置、数式及び数値は、本出願の範囲を限定しないことに留意されたい。
【００１３】
以下に少なくとも一つの例示的な実施例に対する説明は、実際には説明的だけであり、決して本出願及びその応用又は使用に対するいかなる制限と見なされない。
【００１４】
関連分野の一般的な技術者に知られている技術、方法及び機器については詳細に説明しない可能性があるが、必要に応じて、前記技術、方法及び機器は、明細書の一部と見なされるべきである。
【００１５】
注意すべきものとして、以下の図面では類似の記号と文字が類似の項目を示しているため、ある項目が一つの添付図面で定義及び説明されると、後の図面ではそれはさらに議論される必要がない。
【００１６】
本出願の実施例は、他の多くの汎用又は専用のコンピューティングシステム環境又は構成と共に動作することができるコンピュータシステム／サーバーに適用することができる。コンピュータシステム／サーバとの共同使用に適する周知のコンピューティングシステム、環境及び／又は構成の例は、パーソナルコンピュータシステム、サーバーコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル消費電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム、及び上記のいずれかのシステムを含む分散型クラウドコンピューティングテクノロジー環境などを含むがこれらに限定されない。
【００１７】
本出願の実施例の技術的解決策を実現するプロセスでは、出願人は少なくとも以下の問題を発見する：運転者は運転する際に、異なる路面シーンに応じて自己の走行速度とブレーキ強さを決定する必要がある。例えば、通常の路面上に、運転者が高速で走行しても、緊急時にブレーキ動作を容易に行うことができ、且つ車両をスムーズに停止させることができる。しかしながら、雨の場合、運転者の走行速度が速すぎず、地面が滑りやすく、摩擦係数が小さいため、ブレーキング時に横転などの事故が発生しやすく、ブレーキングの遅れにより、追突が発生する場合がある。雪天の氷結路面のようなより深刻なケースでは、運転者は、運転するときに非常に遅くする必要があり、当然、ブレーキング時に特に注意する必要もある。上記の状況では、熟練した運転者であってもいくつかの困難に遭遇する可能性がある。上記問題を解決するために、本出願の実施例の技術的解決策が提案される。本出願の実施例の技術的解決策は、異なる路面シーンを区分し、現在の路面を正確に識別することを目的としており、補助運転と自動運転のための正確な運転ポリ―シを提供し、運転中の車両の安全を確保することができる。
【００１８】
図１は本出願の実施例によるインテリジェント運転制御方法のフローチャート１である。図１に示すように、前記インテリジェント運転制御方法は、次のステップを含む。
【００１９】
ステップ１０１において、車両の所在する路面の路面画像を取得する。
【００２０】
本出願の実施例では、前記路面画像は、カメラなどの画像収集装置から直接取得された画像であってもよいし、他の装置から取得された画像であってもよく、本実施例では、路面画像の取得方式が限定されない。
【００２１】
いくつかの選択可能な実施形態では、車両の所在する路面の路面画像は、車両に設けられた画像収集装置によって収集される。
【００２２】
ステップ１０２において、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定する。
【００２３】
本出願の実施例では、路面シーンの種類は、２種類の異なる状況を含むことができ、即ち、第一の状況は、道路が異なり、即ち道路が所在する地理的位置が異なり、アスファルト路面、セメント路面、砂漠路面、泥路面などの路面上の被覆物が異なることであり、第二の状況は、道路が同じであるが、道路が所在する環境が変化するため、濡れて滑りやすい路面、氷結路面、着雪路面などの路面上の被覆物が異なることである。
【００２４】
ステップ１０３において、確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行う。
【００２５】
本出願の実施例では新しいタイプの分類タスク、即ち路面シーンの分類タスクが定義される。路面シーンの分類タスクについては、図２を参照すると、本出願の実施例ではアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、氷結路面、着雪路面のうちの少なくとも１つの路面シーンの種類が明らかになり、当然、路面シーンはさらに他の状況を含むことができ、本出願ではこれに限定されない。
【００２６】
本出願の実施例では、上記ステップ１０１からステップ１０２で路面画像における路面シーンの種類が取得された後、前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うことができる。ここで、前記車両に対してインテリジェント運転制御を行うことは、自動運転シーンに応用されてもよいし、補助運転シーンに応用されてもよい。
【００２７】
例えば、自動運転シーンでは、確定された前記路面シーンの種類に応じて、車両の速度制御パラメータ及び／又はブレーキ力制御パラメータを確定し、確定された車両の速度制御パラメータ及び／又はブレーキ力制御パラメータに基づき、前記車両の駆動部材及び／又はブレーキ部材を制御し、それによって路面シーンに応じて車両の走行速度を制御し、運転の安全性を向上させる。
【００２８】
例えば、補助運転シーンでは、確定された前記路面シーンの種類に応じて、前記車両の速度制御パラメータ、ブレーキ力制御パラメータ、アラーム情報の少なくとも１つを含む知らせ情報を出力する。
【００２９】
これにより、運転者は、知らせ情報によって正確な運転決定を行い、運転の安全性を向上させることができる。例えば、通知された車両の速度制御パラメータ及び／又はブレーキ力制御パラメータを参照して車両の走行速度を調整し、又は、車両が危険な路面（濡れて滑りやすい路面、氷結路面、又は着雪路面など）に高速で走行すると、通知された車両の速度制御パラメータ及び／又はブレーキ力制御パラメータを参照するようにドライバーに通知するか、又は速度を下げるように運転者に通知するためのアラーム情報を直接送信する。ここで、知らせ情報は、音声情報、テキスト情報、アニメーション情報、画像情報の少なくとも１つであってもよく、本出願の実施例では知らせ情報の実現方式は限定されない。選択可能に、前記知らせ情報は前記音声情報であり、それによって運転者は気を散らして知らせ情報に注目する必要がない。
【００３０】
表１には７つの異なる路面シーンの種類にそれぞれ対応する速度制御パラメータ及びブレーキ力制御パラメータが示され、ここで、速度制御パラメータは車両が推奨する最高速度を示すために使用され、ブレーキ力制御パラメータは車両が使用できるブレーキ力度を示すために使用される。
【００３１】
【表１】
2021531545.tif 000003
【００３２】
本出願の実施例の技術的解決策では、取得された、車両の所在する路面の路面画像における路面シーンを識別して、前記路面画像における路面シーンの種類を確定し、確定された路面シーンの種類に基づいて車両に対するインテリジェント運転制御を実現する。
【００３３】
図３は本出願の実施例によるインテリジェント運転制御方法のフローチャート２である。図３に示すように、前記インテリジェント運転制御方法は、次のステップを含む。
【００３４】
ステップ３０１において、車両の所在する路面の路面画像を取得する。
【００３５】
本出願の実施例では、前記路面画像はカメラなどの画像収集装置から直接取得された画像であってもよいし、他の装置から取得された画像であってもよく、本実施例では、路面画像の取得方式が限定されない。
【００３６】
ステップ３０２において、取得された路面画像に基づき、前記路面画像における路面シーンがアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定する。
【００３７】
ステップ３０３において、前記路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定する。
【００３８】
前記路面画像における路面が異なる路面シーンの種類に属する確率を確定した後、前記路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定する。本出願のいくつかの選択可能な実施形態では、確率の最も高い路面シーンの種類は、前記路面画像における路面が属する路面シーンの種類として使用される。
【００３９】
本出願のいくつかの選択可能な実施形態では、前記路面画像における路面シーンの種類はニューラルネットワークを用いて確定され、ここで、分類タスクのためのいずれかのニューラルネットワークは、前記路面画像における路面シーンの種類を確定するために使用されてもよく、本出願の実施例ではニューラルネットワークのネットワーク構造は何ら制限されず、例えばニューラルネットワークは、残差ネットワーク構造、又はＶＧＧ１６ネットワーク構造等を採用する。
【００４０】
本出願の実施例の技術的解決策は、ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定することに限定されず、非ニューラルネットワークの分類器を用いて前記路面画像における路面シーンの種類を確定することができ、ここで、非ニューラルネットワークの分類器が例えばベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）分類器、ランダムフォレスト（Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ）分類器などである。
【００４１】
本出願の実施例では、ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定することは次の方式によって実現されててもよい。
【００４２】
方式１において、前記取得された路面画像をニューラルネットワークに入力し、前記ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定し、ここで、前記ニューラルネットワークが、路面シーンの種類をラベル付けた路面画像からなる画像集合を用いて訓練されたものである。
【００４３】
具体的には、ニューラルネットワークを用いて路面画像における路面シーンの種類を確定する前に、まず画像集合を用いて当該ニューラルネットワークに対して教師あり学習を行い、当該画像集合における路面画像に路面画像における路面シーンの種類をラベル付けている。いくつかの選択可能な実施形態では、次の方式によってニューラルネットワークに対して教師あり学習を行い、即ち、画像集合における路面画像をサンプル画像としてニューラルネットワークに入力し、前記サンプル画像に路面シーンの種類がラベル付けられており、前記ニューラルネットワークを用いて前記サンプル画像における路面がアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定し、前記サンプル画像における路面が所属する各路面シーンの種類の確率に基づき、前記サンプル画像における路面シーンの種類を予測し、予測した前記サンプル画像における路面シーンの種類と、ラベル付けられている前記サンプル画像の路面シーンの種類とに基づき、損失関数の値を計算し、前記損失関数の値が予め設定された条件を満たしているか否かを識別し、前記損失関数の値が予め設定された条件を満たしていないことに応じて、前記損失関数の値に基づいて前記ニューラルネットワークのパラメータを調整し、次に、損失関数の値が予め設定された条件を満たしているまで、前記サンプル画像における路面シーンの種類への予測操作を繰り返し実行し、前記ニューラルネットワークへの訓練を完了する。
【００４４】
ニューラルネットワークへの訓練が完了された後、訓練されたニューラルネットワークを用いて前記路面画像における路面がアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定し、訓練されたニューラルネットワークは、前記路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定し、例えば、確率の最も高い路面シーンの類別を路面画像における路面が属する路面シーンの種類として確定する。
【００４５】
図４−１に示すように、ニューラルネットワークは、全体として特徴抽出モジュールと分類モジュールを含み、一つの選択可能な実施形態では、特徴抽出モジュールは、畳み込み層で構成され、分類モジュールは、全接続層で構成される。ここで、特徴抽出モジュールは、路面画像における特徴を抽出し、一定の次元の特徴ベクトルを生成するために使用される。分類モジュールは、上記特徴ベクトルを分類し、即ち上記特徴ベクトルをＮつの路面シーンの種類に対応する確率にマッピングし、図４−１でＮ＝７を例とし、最終的に、路面画像における路面がそれぞれアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面及び着雪路面に属する確率を得るために使用される。次に、ニューラルネットワークは、確率の最も高い路面シーンの種類を前記路面画像における路面が属する路面シーンの種類として用い、図４−１に示すように、路面画像における路面が濡れて滑りやすい路面に属する確率が最も高いため、ニューラルネットワークは路面画像における路面を濡れて滑りやすい路面として識別する。
【００４６】
方式２において、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定する前に、取得された路面画像をトリミングし、トリミング後の路面画像を取得し、ここで、前記車両の所在する路面が前記トリミング後の路面画像に占める割合が、前記車両の所在する路面が前記取得された路面画像に占める割合よりも大きい。次に、前記トリミング後の路面画像に基づき、前記路面画像における路面シーンの種類を確定し、具体的には、前記トリミング後の路面画像をニューラルネットワークに入力し、前記ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定し、ここで、前記ニューラルネットワークが、路面シーンの種類をラベル付けた路面画像からなる画像集合を用いて訓練されたものである。
【００４７】
具体的には、取得された路面画像をトリミングし、トリミング後の路面画像を取得し、前記トリミング後の路面画像を前記ニューラルネットワークに入力し、前記ニューラルネットワークを用い、トリミング後の路面画像における路面がアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定し、ニューラルネットワークは、トリミング後の路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定する。
【００４８】
図４−２に示すように、図４−１と比較すると、図４−２にはトリミングステップが追加され、これは、路面画像のいくつかの領域が道路に関連していなく（例えば、路面画像の上半分が空の広い領域である）、路面画像を分類する際にいくつかの誤分類が発生する場合があるため、路面画像を識別する前に、まず路面画像をトリミングし、トリミング後の路面画像における路面の占有割合が大きくなるからである。一つの実施形態では、路面画像を下端の上の４０％の領域からトリミングしてニューラルネットワークの入力とすることができる。方式２におけるニューラルネットワークは方式１におけるニューラルネットワークと同じ構造を採用することができ、具体的には、方式２におけるニューラルネットワークがトリミング後の路面画像を処理するプロセスについては、方式１におけるニューラルネットワークが路面画像を処理するプロセスを参照することができるため、ここで説明を省略する。
【００４９】
上記図４−１と図４−２では、ニューラルネットワークの構造は全体として特徴取得モジュールと分類モジュールを含む。ここで、特徴抽出モジュールは畳み込み層とプーリング層を含み、さらに、畳み込み層とプーリング層のほかに、特徴抽出モジュールでは、オーバーフィッティングを減らし、学習率を向上させ、勾配がなくなるなどの問題を緩和するように機能する他のいくつかの層が畳み込み層と池化層との間に介挿されている。例えば、特徴抽出モジュールはさらにニューラルネットワークのオーバーフィットを防ぐことができるドロップアウト（ｄｒｏｐｏｕｔ）層を含むことができる。さらに、例えば、特徴抽出モジュールは、さらに各畳み込み層の後に接続される、非線形因子を追加するための励起層（例えばＲｅＬＵ層など）を含むことができる。分類モジュールは全接続層を含み、全接続層の入力は特徴抽出モジュールの出力であり、路面画像の特徴データを各路面シーンにマッピングし、それによって路面画像における路面が各路面シーンの種類に属する確率を取得するように機能する。図４−３は選択可能なニューラルネットワークの構造図である。説明すべきものとして、本出願ではニューラルネットワークに含まれる各層の数が制限されなく、分類タスクに使用されるいずれかのニューラルネットワーク構造は路面画像内の道路シーンを分類するために使用されてもよい。
【００５０】
ステップ３０４において、確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行う。
【００５１】
本出願の実施例では、上記ステップ３０１からステップ３０３で路面画像における路面シーンの種類が取得された後、前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うことができる。ここで、前記車両に対するインテリジェント運転制御は、自動運転シーンに適用されてもよいし、補助運転シーンに適用されてもよい。自動運転シーンに適用される方式については、図１に示す実施例における自動運転シーンを参照することができ、補助運転シーンに適用される方式については、図１に示す実施例における補助運転シーンを参照することができ、ここでは説明を省略する。
【００５２】
本出願の実施例の技術的解決策では、取得された、車両の所在する路面の路面画像における路面シーンを識別し、前記路面画像における路面シーンの種類を確定し、確定された路面シーンの種類に基づいて車両に対するインテリジェント運転制御を実現する。
【００５３】
図５は本出願の実施例によるインテリジェント運転制御装置の構造構成図である。図５に示すように、前記インテリジェント運転制御装置は、
車両の所在する路面の路面画像を取得するように構成される取得ユニット５０１と、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するように構成される確定ユニット５０２と、
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うように構成される制御ユニット５０３とを備える。
【００５４】
本出願のいくつかの選択可能な実施形態では、前記確定ユニット５０２は、取得された路面画像に基づき、前記路面画像における路面がアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定し、前記路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定するように構成される。
【００５５】
本出願のいくつかの選択可能な実施形態では、前記制御ユニット５０３は、確定された前記路面シーンの種類に応じて、車両の速度制御パラメータ及び／又はブレーキ力制御パラメータを確定し、確定された車両の速度制御パラメータ及び／又はブレーキ力制御パラメータに基づき、前記車両の駆動部材及び／又はブレーキ部材を制御するように構成される。
【００５６】
本出願のいくつかの選択可能な実施形態では、前記制御ユニット５０３は、確定された前記路面シーンの種類に応じて、前記車両の速度制御パラメータ、ブレーキ力制御パラメータ、アラーム情報の少なくとも１つを含む知らせ情報を出力するように構成される。
【００５７】
本出願のいくつかの選択可能な実施形態では、前記確定ユニット５０２は、前記取得された路面画像をニューラルネットワークに入力し、前記ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定するように構成され、ここで、前記ニューラルネットワークが、路面シーンの種類をラベル付けた路面画像からなる画像集合を用いて訓練されたものである。
【００５８】
本出願のいくつかの選択可能な実施形態では、前記装置はさらに、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定する前に、取得された路面画像をトリミングし、トリミング後の路面画像を取得するように構成されるトリミングユニット５０４を備え、ここで、前記車両の所在する路面が前記トリミング後の路面画像に占める割合が、前記車両の所在する路面が前記取得された路面画像に占める割合よりも大きい。
【００５９】
前記確定ユニット５０２は、前記トリミング後の路面画像に基づき、前記路面画像における路面シーンの種類を確定するように構成される。
【００６０】
当業者であれば、図５に示すインテリジェント運転制御装置の各ユニットの実現機能が前記インテリジェント運転制御方法の関連説明を参照して理解され得ることを理解すべきである。図５に示すインテリジェント運転制御装置の各ユニットの機能はプロセッサで実行されるプログラムによって実現されてもよいし、具体的な論理回路によって実現されてもよい。
【００６１】
本出願の実施例における上記インテリジェント運転制御装置は、ソフトウェア機能モジュールの形態で実現され且つ独立した製品として販売又は使用されると、一つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本出願の実施例における技術的解決策は本質的に又は従来技術に寄与する部分がソフトウェア製品の形で具現化されてもよく、該コンピュータソフトウェア製品が１つの記憶媒体に記憶され、電子機器（パーソナルコンピュータ、サーバー又はネットワーク装置などであっておもよい）に本出願の様々な実施例に記載の方法の全部又は一部のステップを実行させるためのいくつかの命令を含む。前記憶媒体は、ＵＳＢフラッシュディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。このようにして、本出願の実施例は、いかなる特定のハードウェアとソフトウェアの組み合わせに限定されない。
【００６２】
それに応じて、本出願の実施例によるコンピュータプログラム製品は、コンピュータ可読コードを記憶し、前記コンピュータ可読コードがデバイスで実行されると、前記デバイス内のプロセッサが次のステップを実行する。
【００６３】
車両の所在する路面の路面画像を取得する。
【００６４】
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定する。
【００６５】
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行う。
【００６６】
本出願のいくつかの選択可能な実施形態では、前記コンピュータ可読コードがデバイスで実行される場合、前記デバイス内のプロセッサが、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するステップを実行し、
前記ステップは、
取得された路面画像に基づき、前記路面画像における路面シーンがアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定することと、
前記路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定することとを含む。
【００６７】
本出願のいくつかの選択可能な実施形態では、前記コンピュータ可読コードがデバイスで実行される場合、前記デバイス内のプロセッサが確定された前記路面画像シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うステップを実行する。
【００６８】
前記ステップは、
確定された前記路面シーンの種類に応じて、車両の速度制御パラメータ及び／又はブレーキ力制御パラメータを確定することと、
確定された車両の速度制御パラメータ及び／又はブレーキ力制御パラメータに基づき、前記車両の駆動部材及び／又はブレーキ部材を制御することとを含む。
【００６９】
本出願のいくつかの選択可能な実施形態では、前記コンピュータ可読コードがデバイス上で実行される場合、前記デバイス内のプロセッサが確定された前記路面画像シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うステップを実行するステップを実行し、
前記ステップは、
確定された前記路面シーンの種類に応じて、前記車両の速度制御パラメータ、ブレーキ力制御パラメータ、アラーム情報の少なくとも１つを含む知らせ情報を出力することを含む。
【００７０】
本出願のいくつかの選択可能な実施形態では、前記コンピュータ可読コードがデバイスで実行される場合、前記デバイス内のプロセッサが取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するステップを実行し、
前記ステップは、
前記取得された路面画像をニューラルネットワークに入力し、前記ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定することを含み、ここで、前記ニューラルネットワークが、路面シーンの種類をラベル付けた路面画像からなる画像集合を用いて訓練されたものである。
【００７１】
本出願のいくつかの選択可能な実施形態では、前記コンピュータ可読コードがデバイスで実行される場合、前記デバイス内のプロセッサは、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するステップを実行する前に、さらに、
取得された路面画像をトリミングし、トリミング後の路面画像を取得するステップを実行し、ここで、前記車両の所在する路面が前記トリミング後の路面画像に占める割合が、前記車両の所在する路面が前記取得された路面画像に占める割合よりも大きい。
【００７２】
前記コンピュータ可読コードがデバイスで実行される場合、前記デバイス内のプロセッサが、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するステップを実行し、
前記ステップは、
前記トリミング後の路面画像に基づき、前記路面画像における路面シーンの種類を確定することを含む。
【００７３】
図６は本出願の実施例の電子機器の構造構成図である。図６に示すように、電子機器６００は、一つ又は複数（図では一つだけ示される）のプロセッサ６００２（プロセッサ６００２がマイクロコントローラーユニット（ＭＣＵ：Ｍｉｃｒｏ  Ｃｏｎｔｒｏｌｌｅｒ  Ｕｎｉｔ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などの処理装置を含む
ことができるがこれらに限定されない）、データを記憶するためのメモリ６００４を備えることができ、選択可能に、通信機能のための伝送装置６００６をさらに備えることができる。当業者であれば、図６に示す構造が例示的なものだけであり、上記電子機器の構造を限定するためのものではないことを理解することができる。例えば、電子機器６００はさらに図６に示すものよりも多く又は少ないコンポーネントを備えることができ、又は図６に示すものと異なる構成を有することができる。
【００７４】
メモリ６００４は高速ランダムアクセスメモリを含むことができ、さらに不揮発性メモリ、例えば一つ又は複数の磁気記憶装置、フラッシュメモリ又は他の不揮発性ソリッドステートメモリを含むこともできる。いくつかの例では、メモリ６００４は、さらにプロセッサ６００２に対して遠隔に設けられたメモリをさらに含むことができ、これらの遠隔メモリがネットワークを介して電子機器６００に接続されてもよい。上記ネットワークの例はインターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むがこれらに限定されない。
【００７５】
伝送装置６００６は、一つのネットワークを介してデータを受信又は送信するために使用される。上記ネットワークの具体的な例は電子機器６００の通信プロバイダーによって提供される無線ネットワークを含むことができる。一つの例では、伝送装置６００６はインターネットと通信するように基地局を介して他のネットワーク装置に接続することができるネットワークアダプタ（ＮＩＣ：Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃｏｎｔｒｏｌｌｅｒ）を含む。一つの例では、伝送装置６００６はインターネットと無線で通信するための無線周波数（ＲＦ：Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）モジュールであってもよい。
【００７６】
メモリ６００４は、実行可能命令（ソフトウェアプログラム及びモジュールとも呼ばれてもよい）を格納するために使用されてもよく、プロセッサ６００２は、メモリ６００４に格納された実行可能命令を実行して以下のステップを完了する。
【００７７】
車両の所在する路面の路面画像を取得する。
【００７８】
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定する。
【００７９】
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行う。
【００８０】
本出願のいくつかの選択可能な実施形態では、前記プロセッサ６００２は、前記実行可能命令を実行して、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するステップを実行するように構成され、
前記ステップは、
取得された路面画像に基づき、前記路面画像における路面シーンがアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定することと、
前記路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定することとを含む。
【００８１】
本出願のいくつかの選択可能な実施形態では、前記プロセッサ６００２は、前記実行可能命令を実行して、確定された前記路面シーンに基づき、前記車両に対してインテリジェント運転制御を行うステップを実行するように構成され、
前記ステップは、
確定された前記路面シーンの種類に応じて、車両の速度制御パラメータ及び／又はブレーキ力制御パラメータを確定することと、
確定された車両の速度制御パラメータ及び／又はブレーキ力制御パラメータに基づき、前記車両の駆動部材及び／又はブレーキ部材を制御することとを含む。
【００８２】
本出願のいくつかの選択可能な実施形態では、前記プロセッサ６００２は、前記実行可能命令を実行して、確定された前記路面シーンに基づき、前記車両に対してインテリジェント運転制御を行うステップを実行するように構成され、
前記ステップは、
確定された前記路面シーンの種類に応じて、前記車両の速度制御パラメータ、ブレーキ力制御パラメータ、アラーム情報の少なくとも１つを含む知らせ情報を出力することを含む。
【００８３】
本出願のいくつかの選択可能な実施形態では、前記プロセッサ６００２は、前記実行可能命令を実行して、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するステップを実行するように構成され、
前記ステップは、
前記取得された路面画像をニューラルネットワークに入力し、前記ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定することを含み、ここで、前記ニューラルネットワークが、路面シーンの種類をラベル付けた路面画像からなる画像集合を用いて訓練されたものである。
【００８４】
本出願のいくつかの選択可能な実施形態では、前記プロセッサ６００２は、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するステップを実行する前に、前記実行可能命令を実行して次のステップを完了するように構成される。
【００８５】
取得された路面画像をトリミングし、トリミング後の路面画像を取得するステップを実行し、ここで、前記車両の所在する路面が前記トリミング後の路面画像に占める割合が、前記車両の所在する路面が前記取得された路面画像に占める割合よりも大きい。
【００８６】
前記プロセッサ６００２は、前記実行可能命令を実行して、取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するステップを完了するように構成され、
前記ステップは、
前記トリミング後の路面画像に基づき、前記路面画像における路面シーンの種類を確定することを含む。
【００８７】
本出願の実施例で記載される技術的解決策同士は、衝突することなく任意に組合わせられてもよい。
【００８８】
本出願が提供するいくつかの実施例では、開示される方法及びスマートデバイスは、他の方式により実現されてもよいと理解すべきである。上述した装置の実施例は例示的なものだけであり、例えば、前記ユニットの区分は、論理的な機能区分だけであり、実際に実現する時に他の区分方式があってもよく、例えば、複数のユニット又は構成要素が組み合わせられてもよく、又は別のシステムに統合されてもよく、又はいくつかの特徴が無視又は実行されなくてもよい。また、表示又は討論される各構成部の相互結合、又は直接結合、又は通信接続は、いくつかのインタフェース、デバイス又はユニットを介する間接結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
【００８９】
分離部材として説明される前記ユニットは、物理的に分離されてもよく、又は物理的に分離されなくてもよく、ユニットとして表示される部材は、物理ユニットであってもよく、又は物理ユニットでなくてもよく、即ち１つの位置に配置されてもよいし、複数のネットワークユニットに分布してもよく、実際のニーズに応じてその中の部分又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。
【００９０】
また、本出願の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよいし、個々のユニットは個別に一つのユニットとして機能してもよく、２又は２つ以上のユニットは一つのユニットに統合されてもよく、上記の統合されたユニットは、ハードウェアの形で実現されてもよいし、ハードウェアとソフトウェア機能の組み合わせの形で実現されてもよい。
【００９１】
上記は本出願の具体的な実施形態であるが、本出願の保護範囲がこれに限られなく、当業者であれば、本出願で開示された技術範囲内で、変更又は置き換えを容易に想到することができ、それらは全て本出願の保護範囲に含まれるべきである。
【図１】
2021531545.tif 000004
【図２】
2021531545.tif 000005
【図３】
2021531545.tif 000006
【図４−１】
2021531545.tif 000007
【図４−２】
2021531545.tif 000008
【図４−３】
2021531545.tif 000009
【図５】
2021531545.tif 000010
【図６】
2021531545.tif 000011
【手続補正書】
【提出日】令和2年12月7日(2020.12.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
インテリジェント運転制御方法であって、
車両の所在する路面の路面画像を取得することと、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することと、
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うこととを含む、インテリジェント運転制御方法。
【請求項２】
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することは、
取得された路面画像に基づき、前記路面画像における路面がアスファルト路面、セメント路面、砂漠路面、泥路面、濡れて滑りやすい路面、結氷路面、着雪路面の少なくとも１つに属する確率を確定することと、
前記路面画像における路面が各路面シーンの種類に属する確率に基づき、前記路面画像における路面シーンの種類を確定することとを含むことを特徴とする
請求項１に記載の方法。
【請求項３】
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うことは、
確定された前記路面シーンの種類に応じて、車両の速度制御パラメータ及び／又はブレーキ力制御パラメータを確定することと、
確定された車両の速度制御パラメータ及び／又はブレーキ力制御パラメータに基づき、前記車両の駆動部材及び／又はブレーキ部材を制御することとを含むことを特徴とする
請求項１又は２に記載の方法。
【請求項４】
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うことは、
確定された前記路面シーンの種類に応じて、前記車両の速度制御パラメータ、ブレーキ力制御パラメータ、アラーム情報の少なくとも１つを含む知らせ情報を出力することを含むことを特徴とする
請求項１又は２に記載の方法。
【請求項５】
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することは、
前記取得された路面画像をニューラルネットワークに入力し、前記ニューラルネットワークを用いて前記路面画像における路面シーンの種類を確定することを含み、ここで、前記ニューラルネットワークが、路面シーンの種類をラベル付けた路面画像からなる画像集合を用いて訓練されたものであることを特徴とする
請求項１−４のいずれか一項に記載の方法。
【請求項６】
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定する前に、前記方法は、さらに、
取得された路面画像をトリミングし、トリミング後の路面画像を取得することを含み、ここで、前記車両の所在する路面が前記トリミング後の路面画像に占める割合は、前記車両の所在する路面が前記取得された路面画像に占める割合よりも大きく、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定することは、
前記トリミング後の路面画像に基づき、前記路面画像における路面シーンの種類を確定することを含むことを特徴とする
請求項１−５のいずれか一項に記載の方法。
【請求項７】
インテリジェント運転制御装置であって、
車両の所在する路面の路面画像を取得するように構成される取得ユニットと、
取得された路面画像に基づき、前記路面画像における路面シーンの種類を確定するように構成される確定ユニットと、
確定された前記路面シーンの種類に応じて、前記車両に対してインテリジェント運転制御を行うように構成される制御ユニットとを備える、インテリジェント運転制御装置。
【請求項８】
電子機器であって、
実行可能命令を記憶するように構成されるメモリと、
前記実行可能命令を実行して請求項１−６のいずれか一項に記載の方法を実行するように構成されるプロセッサとを備える、電子機器。
【請求項９】
デバイスのプロセッサに、請求項１−６のいずれか一項に記載の方法を実現させるためのコンピュータプログラム。
【請求項１０】
コンピュータ可読命令を記憶し、前記コンピュータ可読命令が実行されると、コンピュータに、請求項１−６のいずれか一項に記載の方法を実現させるコンピュータ記憶媒体。
【国際調査報告】
2021531545.tif 000012
2021531545.tif 000013
2021531545.tif 000014
2021531545.tif 000015
2021531545.tif 000016