(57)【要約】【課題】本発明の実施例は、運転行動認識に用いられる深層学習モデル、訓練装置及び方法を提供する。【解決手段】認識を行う際に、該モデルは、車両の運転視点から撮影された連続的な複数の画像に対して特徴抽出を行い、抽出された特徴に対してリカレントニューラルネットワークを用いて時間及び空間の融合を行う。また、訓練を行う際に、車両の運転視点から撮影された画像を容易に取得することができるため、該モデルを容易に訓練することができる。従って、該モデルは、各カテゴリの運転行動を正確に認識することができる。【選択図】図１
2020119507.tif 000002
【特許請求の範囲】
【請求項１】
運転行動認識に用いられる深層学習モデルであって、
時間的に連続的な複数の入力画像に対して特徴抽出を行う畳み込みニューラルネットワークであって、前記入力画像は、車両の運転視点から撮影された画像である、畳み込みニューラルネットワークと、
前記畳み込みニューラルネットワークにより抽出された特徴に対して時間及び空間の融合処理を行うリカレントニューラルネットワークと、
前記リカレントニューラルネットワークの出力結果に対して次元削減処理を行い、前記複数の入力画像に対応する複数組のカテゴリ特徴を出力する第１全結合層と、
前記第１全結合層により出力された前記複数組のカテゴリ特徴に基づいて、前記車両を運転するユーザの各カテゴリの運転行動の確率を決定して出力する確率層と、を含む、深層学習モデル。
【請求項２】
前記畳み込みニューラルネットワークは、複数の畳み込み層及び１つの第２全結合層を有する、請求項１に記載の深層学習モデル。
【請求項３】
前記リカレントニューラルネットワークは、前記複数の入力画像に対応する複数の長短期記憶層を有する、請求項１に記載の深層学習モデル。
【請求項４】
前記複数の長短期記憶層のうちの１つの長短期記憶層について、前記畳み込みニューラルネットワークにより抽出された該長短期記憶層に対応する入力画像の特徴、及び該長短期記憶層の直前の長短期記憶層の出力結果を、該長短期記憶層に入力する、請求項３に記載の深層学習モデル。
【請求項５】
請求項１〜３の何れかに記載の深層学習モデルの訓練装置であって、
前記深層学習モデルにおける前記畳み込みニューラルネットワークを訓練する第１訓練手段と、
前記第１訓練手段による前記畳み込みニューラルネットワークの訓練が完了した後に、前記深層学習モデルの損失が収束し、且つ検証の精度が所定閾値よりも大きくなるまで、深層学習モデル全体を訓練する第２訓練手段と、を含む、装置。
【請求項６】
前記第１訓練手段は、オープンデータセットを用いて前記畳み込みニューラルネットワークを訓練する、請求項５に記載の装置。
【請求項７】
前記第２訓練手段は、予め取得された車両の運転視点から撮影された画像を用いて深層学習モデル全体を訓練する、請求項５に記載の装置。
【請求項８】
請求項１〜３の何れかに記載の深層学習モデルの訓練方法であって、
前記深層学習モデルにおける前記畳み込みニューラルネットワークを訓練するステップと、
前記畳み込みニューラルネットワークの訓練が完了した後に、前記深層学習モデルの損失が収束し、且つ検証の精度が所定閾値よりも大きくなるまで、深層学習モデル全体を訓練するステップと、を含む、方法。
【請求項９】
前記深層学習モデルにおける前記畳み込みニューラルネットワークを訓練するステップは、
オープンデータセットを用いて前記畳み込みニューラルネットワークを訓練するステップ、を含む、請求項８に記載の方法。
【請求項１０】
前記深層学習モデル全体を訓練するステップは、
予め取得された車両の運転視点から撮影された画像を用いて深層学習モデル全体を訓練するステップ、を含む、請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術分野に関し、特に運転行動認識に用いられる深層学習モデル、該モデルの訓練装置及び方法に関する。
【背景技術】
【０００２】
近年、深層学習により、コンピュータビジョンの分野での研究が大きく進歩している。深層学習とは、階層型ニューラルネットワークにおいて各種の機器学習アルゴリズムを用いて画像やテキストなどの各種の問題を解決するアルゴリズムの集合を意味する。深層学習の核心は特徴学習であり、階層型ニューラルネットワークを介して階層型の特徴情報を取得し、従来の手動で特徴を設計する必要があるという重要な問題を解決することを目的とする。深層学習は、人工知能の様々な分野で徐々に適用されている。
【０００３】
運転行動認識は、スマートドライビングの重要な部分である。従来の運転行動認識のモデルは、車両の運転パラメータを分析し、認識結果を取得する。
【０００４】
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、車両の運転パラメータは通常公衆に公開されていないため、モデルを訓練するために車両の運転パラメータを取得することは困難である。このため、運転パラメータに基づく認識モデルの認識精度を確保することは困難である。
【０００６】
本発明の実施例は、運転行動認識に用いられる深層学習モデル、該モデルの訓練装置及び方法を提供する。認識を行う際に、該モデルは、車両の運転視点から撮影された連続的な複数の画像に対して特徴抽出を行い、抽出された特徴に対してリカレントニューラルネットワークを用いて時間及び空間の融合を行う。また、訓練を行う際に、車両の運転視点から撮影された画像を容易に取得することができるため、該モデルを容易に訓練することができる。従って、該モデルは、各カテゴリの運転行動を正確に認識することができる。
【課題を解決するための手段】
【０００７】
本発明の実施例の第１態様では、運転行動認識に用いられる深層学習モデルであって、時間的に連続的な複数の入力画像に対して特徴抽出を行う畳み込みニューラルネットワークであって、前記入力画像は、車両の運転視点から撮影された画像である、畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークにより抽出された特徴に対して時間及び空間の融合処理を行うリカレントニューラルネットワークと、前記リカレントニューラルネットワークの出力結果に対して次元削減処理を行い、前記複数の入力画像に対応する複数組のカテゴリ特徴を出力する第１全結合層と、前記第１全結合層により出力された前記複数組のカテゴリ特徴に基づいて、前記車両を運転するユーザの各カテゴリの運転行動の確率を決定して出力する確率層と、を含む、深層学習モデルを提供する。
【０００８】
本発明の実施例の第２態様では、本発明の実施例の第１態様に記載の深層学習モデルの訓練装置であって、前記深層学習モデルにおける前記畳み込みニューラルネットワークを訓練する第１訓練手段と、前記第１訓練手段による前記畳み込みニューラルネットワークの訓練が完了した後に、前記深層学習モデルの損失が収束し、且つ検証の精度が所定閾値よりも大きくなるまで、深層学習モデル全体を訓練する第２訓練手段と、を含む、装置を提供する。
【０００９】
本発明の実施例の第３態様では、本発明の実施例の第２態様に記載の装置を含む、電子機器を提供する。
【００１０】
本発明の実施例の第４態様では、本発明の実施例の第１態様に記載の深層学習モデルの訓練方法であって、前記深層学習モデルにおける前記畳み込みニューラルネットワークを訓練するステップと、前記畳み込みニューラルネットワークの訓練が完了した後に、前記深層学習モデルの損失が収束し、且つ検証の精度が所定閾値よりも大きくなるまで、深層学習モデル全体を訓練するステップと、を含む、方法を提供する。
【発明の効果】
【００１１】
本発明の有益な効果としては、認識を行う際に、該モデルは、車両の運転視点から撮影された連続的な複数の画像に対して特徴抽出を行い、抽出された特徴に対してリカレントニューラルネットワークを用いて時間及び空間の融合を行う。また、訓練を行う際に、車両の運転視点から撮影された画像を容易に取得することができるため、該モデルを容易に訓練することができる。従って、該モデルは、各カテゴリの運転行動を正確に認識することができる。
【００１２】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
【００１３】
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
【００１４】
なお、用語「含む／有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
【図面の簡単な説明】
【００１５】
ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
【図１】本発明の実施例１に係る運転行動認識に用いられる深層学習モデルを示す図である。
【図２】本発明の実施例２に係る訓練装置を示す図である。
【図３】本発明の実施例３に係る電子機器を示す図である。
【図４】本発明の実施例３に係る電子機器のシステム構成を示すブロック図である。
【図５】本発明の実施例４に係る訓練方法を示す図である。
【発明を実施するための形態】
【００１６】
本発明の上記及びその他の特徴は、図面及び下記の説明により明確になる。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての変更、変形及び均等なものを含む。
【００１７】
＜実施例１＞
本発明の実施例は運転行動認識に用いられる深層学習モデルを提供する。図１は本発明の実施例１に係る運転行動認識に用いられる深層学習モデルを示す図である。
【００１８】
図１に示すように、運転行動認識に用いられる深層学習モデル１０は、畳み込みニューラルネットワーク１００、リカレントニューラルネットワーク２００、第１全結合層３００、及び確率層４００を含む。
【００１９】
畳み込みニューラルネットワーク１００は、時間的に連続的な複数の入力画像に対して特徴抽出を行う。該入力画像は、車両の運転視点から撮影された画像である。
【００２０】
リカレントニューラルネットワーク２００は、該畳み込みニューラルネットワークにより抽出された特徴に対して時間及び空間の融合処理を行う。
【００２１】
第１全結合層３００は、該リカレントニューラルネットワークの出力結果に対して次元削減処理を行い、該複数の入力画像に対応する複数組のカテゴリ特徴を出力する。
【００２２】
確率層４００は、該第１全結合層により出力された該複数組のカテゴリ特徴に基づいて、該車両を運転するユーザの各カテゴリの運転行動の確率を決定して出力する。
【００２３】
本実施例によれば、認識を行う際に、該モデルは、車両の運転視点から撮影された連続的な複数の画像に対して特徴抽出を行い、抽出された特徴に対してリカレントニューラルネットワークを用いて時間及び空間の融合を行う。また、訓練を行う際に、車両の運転視点から撮影された画像を容易に取得することができるため、該モデルを容易に訓練することができる。従って、該モデルは、各カテゴリの運転行動を正確に認識することができる。
【００２４】
本実施例では、該複数の入力画像は、時間的に連続的な複数の画像、例えば、所定の時間間隔を有する一連の画像である。また、該複数の入力画像は、車両の運転視点から撮影された画像である。
【００２５】
本実施例では、該複数の入力画像は、車両上の撮影装置により撮影されたものである。
【００２６】
例えば、該複数の入力画像は、車両上のドライブレコーダにより撮影されたフレームシーケンスである。
【００２７】
本実施例では、畳み込みニューラルネットワーク１００に同時に入力される該複数の入力画像の数は、実際の需要に応じて決定されてもよい。例えば、畳み込みニューラルネットワーク１００に同時に入力される入力画像の数は８個である。
【００２８】
図１に示すように、畳み込みニューラルネットワーク１００に同時に入力される該複数の入力画像は、番号０〜ｆのｆ＋１個の入力画像である。
【００２９】
本実施例では、畳み込みニューラルネットワーク１００は、従来のネットワーク構造を用いてもよい。
【００３０】
例えば、該畳み込みニューラルネットワーク１００は、ＡｌｅｘＮｅｔのタイプの畳み込みニューラルネットワークであってもよい。また、該畳み込みニューラルネットワーク１００は、ＧｏｏｇｌｅＮｅｔ、ＶＧＧ又はＲｅｓＮｅｔなどのタイプの畳み込みニューラルネットワークであってもよい。本実施例では、ＡｌｅｘＮｅｔのタイプの畳み込みニューラルネットワークを一例にして説明する。
【００３１】
図１に示すように、畳み込みニューラルネットワーク１００は、複数の畳み込み層１０１−１〜１０１−Ｎ、及び１つの第２全結合層１０２を有してもよい。
【００３２】
本実施例では、複数の畳み込み層１０１−１〜１０１−Ｎは従来の構造を用いてもよく、Ｎは２以上の整数であり、該畳み込み層の数は実際の需要に応じて設定されてもよい。例えば、該畳み込み層の数は５個である。
【００３３】
図１に示すように、番号０〜ｆの入力画像は畳み込みニューラルネットワーク１００に同時に入力され、畳み込みニューラルネットワーク１００は、番号０〜ｆの入力画像を順次処理し、抽出された番号０〜ｆの入力画像のそれぞれの特徴を取得し、抽出された番号０〜ｆの入力画像のそれぞれの特徴をリカレントニューラルネットワーク２００にそれぞれ入力する。
【００３４】
本実施例では、リカレントニューラルネットワーク２００は、畳み込みニューラルネットワーク１００により抽出された特徴に対して時間及び空間の融合処理を行う。
【００３５】
例えば、リカレントニューラルネットワーク２００は、複数の入力画像に対応する複数の長短期記憶（Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ：ＬＳＴＭ）層を有する。
【００３６】
本実施例では、複数の長短期記憶層のうちの１つの長短期記憶層について、畳み込みニューラルネットワーク１００により抽出された該長短期記憶層に対応する入力画像の特徴、及び該長短期記憶層の直前の長短期記憶層の出力結果を、該長短期記憶層に入力する。
【００３７】
例えば、図１に示すように、リカレントニューラルネットワーク２００は、番号０〜ｆの入力画像に対応する番号０〜ｆのｆ＋１個のＬＳＴＭ層２０１−０〜２０１−ｆを有する。ＬＳＴＭ層２０１−０について、その入力は、畳み込みニューラルネットワーク１００により抽出された該ＬＳＴＭ層に対応する入力画像（即ち、番号０の入力画像）の特徴である。ＬＳＴＭ層２０１−１について、その入力は、畳み込みニューラルネットワーク１００により抽出された該ＬＳＴＭ層に対応する入力画像（即ち、番号１の入力画像）の特徴、及びＬＳＴＭ層２０１−０の出力結果である。他のＬＳＴＭ層について同様である。このように、対応する入力画像の特徴と直前のＬＳＴＭ層３０００の出力結果を組み合わせることで、該複数の入力画像の特徴の時間及び空間の十分な融合を実現することができる。
【００３８】
本実施例では、第１全結合層３００は、リカレントニューラルネットワーク２００の出力結果に対して次元削減処理を行い、該複数の入力画像に対応する複数組のカテゴリ特徴を出力する。第１全結合層３００は、従来の構造を用いてもよい。
【００３９】
図１に示すように、リカレントニューラルネットワーク２００、各ＬＳＴＭ層を介してその出力結果を第１全結合層３００にそれぞれ入力する。
【００４０】
例えば、ｆ＋１個のＬＳＴＭ層は１×２５６個の特徴を出力し、第１全結合層３００は、ｆ＋１個のＬＳＴＭ層により出力された１×２５６×（ｆ＋１）個の特徴に対して次元削減処理を行い、１×ｍ×（ｆ＋１）個の特徴を取得する。
【００４１】
ここで、ｍは運転行動のカテゴリの数を表し、２以上であり、その具体的な数は実際の需要に応じて設定されてもよい。例えば、運転行動は、正常運転、車線変更、右折、左折及び待ちによる停車という５種類のカテゴリを含む。
【００４２】
即ち、第１全結合層３００により出力された複数組のカテゴリ特徴のうちの各組のカテゴリ特徴はｍ種類のカテゴリの特徴を含み、ここで、各カテゴリの特徴の数値は０以上の任意の値であってもよい。
【００４３】
本実施例では、確率層４００は、第１全結合層３００により出力された該複数組のカテゴリ特徴に基づいて、該車両を運転するユーザの各カテゴリの運転行動の確率を決定して出力する。ここで、確率層４００は従来の構造を用いてもよい。
【００４４】
例えば、確率層４００はｓｏｆｔｍａｘ層であり、０〜１の数値で表される各カテゴリの運転行動の確率を出力する。
【００４５】
例えば、確率層４００の出力結果は、正常運転：０．００、車線変更：０．００、右折：０．０１、左折：０．９９、待ちによる停車：０．００である。
【００４６】
本実施例では、カテゴリの確率が閾値よりも大きい場合、運転行動が該カテゴリに属すると決定してもよい。例えば、カテゴリの確率が０．９よりも大きい場合、現在の運転行動が該カテゴリに属すると決定してもよい。
【００４７】
本実施例では、深層学習モデル１０は独立した装置又は機器として認識機能を実現してもよいし、深層学習モデル１０は運転行動認識装置に含まれてもよい。
【００４８】
本実施例では、現在の運転行動が認識された後に、様々な用途に適用してもよい。例えば、認識された運転行動に基づいて、ユーザへの安全注意喚起又はユーザの運転行動の分析などを行ってもよい。
【００４９】
本実施例によれば、認識を行う際に、該モデルは、車両の運転視点から撮影された連続的な複数の画像に対して特徴抽出を行い、抽出された特徴に対してリカレントニューラルネットワークを用いて時間及び空間の融合を行う。また、訓練を行う際に、車両の運転視点から撮影された画像を容易に取得することができるため、該モデルを容易に訓練することができる。従って、該モデルは、各カテゴリの運転行動を正確に認識することができる。
【００５０】
＜実施例２＞
本発明の実施例は、実施例１に記載の運転行動認識に用いられる深層学習モデルの訓練装置をさらに提供する。該深層学習モデルの構造は図１に示すものであり、該深層学習モデル１０は、畳み込みニューラルネットワーク１００、リカレントニューラルネットワーク２００、第１全結合層３００、及び確率層４００を含む。
【００５１】
図２は本発明の実施例２に係る訓練装置を示す図である。図２に示すように、訓練装置１０００は、第１訓練部１００１及び第２訓練部１００２を含む。
【００５２】
第１訓練部１００１は、深層学習モデル１０における畳み込みニューラルネットワーク１００を訓練する。
【００５３】
第２訓練部１００２は、第１訓練部１００１による畳み込みニューラルネットワーク１００の訓練が完了した後に、深層学習モデル１０の損失が収束し、且つ検証の精度が所定閾値よりも大きくなるまで、深層学習モデル１０全体を訓練する。
【００５４】
本実施例では、第１訓練部１００１は、オープンデータセットを用いて畳み込みニューラルネットワーク１００を訓練してもよい。例えば、ＩｍａｇｅＮｅｔにおける大量の画像を用いて畳み込みニューラルネットワーク１００を訓練する。
【００５５】
本実施例では、第１訓練部１００１は、従来の方法を用いて、深層学習モデル１０における畳み込みニューラルネットワーク１００を訓練してもよい。
【００５６】
第１訓練部１００１による畳み込みニューラルネットワーク１００の訓練が完了した後に、第２訓練部１００２は、深層学習モデル１０の損失が収束し、且つ検証の精度が所定閾値よりも大きくなるまで、深層学習モデル１０全体を訓練する。
【００５７】
本実施例では、第２訓練部１００２は、予め取得された車両の運転視点から撮影された画像を用いて深層学習モデル全体を訓練してもよい。
【００５８】
例えば、ネットワークから収集された車両の運転視点から撮影された画像、及び運転中に記録された画像を用いて訓練を行ってもよい。
【００５９】
例えば、第２訓練部１００２により用いられる訓練データセットと検証データセットとテストデータセットの比率は６：２：２である。
【００６０】
本実施例では、該所定閾値は実際の需要に応じて設定されてもよく、例えば、該所定閾値は９５％である。
【００６１】
本実施例によれば、段階的な訓練により、畳み込みニューラルネットワークを訓練するためのサンプルの量が大きく、モデル全体を訓練するためのサンプルを容易に取得することができるため、実施例１に記載の深層学習モデルを容易に訓練することができ、該深層学習モデルの認識精度を確保することができる。
【００６２】
＜実施例３＞
本発明の実施例は電子機器をさらに提供し、図３は本発明の実施例３に係る電子機器を示す図である。図３に示すように、電子機器３０００は訓練装置３００１を含み、該訓練装置３００１は実施例１に記載の深層学習モデルを訓練するために用いられ、該訓練装置３００１の構成及び機能は実施例２に記載されたものと同じであり、ここでその説明を省略する。
【００６３】
図４は本発明の実施例３に係る電子機器のシステム構成を示すブロック図である。図４に示すように、電子機器４０００は、中央処理装置（中央制御装置）４００１及び記憶装置４００２を含んでもよく、記憶装置４００２は中央処理装置４００１に接続される。該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。
【００６４】
図４に示すように、電子機器４０００は、入力部４００３、ディスプレイ４００４及び電源４００５をさらに含んでもよい。
【００６５】
１つの態様では、実施例２の訓練装置の機能は中央処理装置４００１に統合されてもよい。ここで、中央処理装置４００１は、深層学習モデルにおける畳み込みニューラルネットワークを訓練し、畳み込みニューラルネットワークの訓練が完了した後に、深層学習モデルの損失が収束し、且つ検証の精度が所定閾値よりも大きくなるまで、深層学習モデル全体を訓練するように構成されてもよい。
【００６６】
例えば、該深層学習モデルにおける畳み込みニューラルネットワークを訓練するステップは、オープンデータセットを用いて畳み込みニューラルネットワークを訓練するステップ、を含む。
【００６７】
例えば、該深層学習モデル全体を訓練するステップは、予め取得された車両の運転視点から撮影された画像を用いて深層学習モデル全体を訓練するステップ、を含む。
【００６８】
もう１つの態様では、実施例２に記載の訓練装置は中央処理装置４００１とそれぞれ構成されてもよく、例えば該訓練装置は中央処理装置４００１に接続されたチップであり、中央処理装置４００１の制御により該訓練装置の機能を実現してもよい。
【００６９】
本実施例における電子機器４０００は、図４に示されている全ての構成部を含まなくてもよい。
【００７０】
図４に示すように、中央処理装置４００１は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでもよく、中央処理装置４００１は入力を受信し、電子機器４０００の各部の操作を制御する。
【００７１】
記憶装置４００２は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の１つ又は複数であってもよい。また、中央処理装置４００１は、記憶装置４００２に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。電子機器４０００の各部は、本発明の範囲から逸脱することなく、特定のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。
【００７２】
本実施例によれば、段階的な訓練により、畳み込みニューラルネットワークを訓練するためのサンプルの量が大きく、モデル全体を訓練するためのサンプルを容易に取得することができるため、実施例１に記載の深層学習モデルを容易に訓練することができ、該深層学習モデルの認識精度を確保することができる。
【００７３】
＜実施例４＞
本発明の実施例は、実施例１に記載の運転行動認識に用いられる深層学習モデルの訓練方法をさらに提供し、該訓練方法は実施例２に記載の訓練装置に対応する。図５は本発明の実施例４に係る訓練方法を示す図である。図５に示すように、該方法は以下のステップを含む。
【００７４】
ステップ５００１：該深層学習モデルにおける畳み込みニューラルネットワークを訓練する。
【００７５】
ステップ５００２：該畳み込みニューラルネットワークの訓練が完了した後に、深層学習モデルの損失が収束し、且つ検証の精度が所定閾値よりも大きくなるまで、該深層学習モデル全体を訓練する。
【００７６】
本実施例では、上記の各ステップの具体的な実現方法は実施例２に記載されたものと同じであり、ここでその説明を省略する。
【００７７】
本実施例によれば、段階的な訓練により、畳み込みニューラルネットワークを訓練するためのサンプルの量が大きく、モデル全体を訓練するためのサンプルを容易に取得することができるため、実施例１に記載の深層学習モデルを容易に訓練することができ、該深層学習モデルの認識精度を確保することができる。
【００７８】
本発明の実施例は、実施例１に記載の深層学習モデルを含む運転行動認識装置をさらに提供する。
【００７９】
本発明の実施例は、時間的に連続的な複数の入力画像を実施例１に記載の深層学習モデルに入力し、該深層学習モデルにより出力された該車両を運転するユーザの各カテゴリの運転行動の確率を取得するステップ、を含む運転行動認識方法をさらに提供する。
【００８０】
本発明の実施例は、深層学習モデルの訓練装置又は電子機器においてプログラムを実行する際に、コンピュータに、該深層学習モデルの訓練装置又は電子機器において上記実施例４に記載の深層学習モデルの訓練方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。
【００８１】
本発明の実施例は、コンピュータに、深層学習モデルの訓練装置又は電子機器において上記実施例４に記載の深層学習モデルの訓練方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。
【００８２】
本発明の実施例を参照しながら説明した深層学習モデルの訓練装置又は電子機器において実行される深層学習モデルの訓練方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図２に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図５に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
【００８３】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ−ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、電子機器が比較的に大きい容量のＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。
【００８４】
図２に記載されている機能的ブロック図における一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図２に記載されている機能的ブロック図における一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
【００８５】
以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。
【図１】
2020119507.tif 000003
【図２】
2020119507.tif 000004
【図３】
2020119507.tif 000005
【図４】
2020119507.tif 000006
【図５】
2020119507.tif 000007