(57)【要約】【課題】運転予測のための方法、処理装置、及びシステムを提案する。【解決手段】方法は、撮像装置及び出力装置に接続され、予測モデルを予め記憶した、車両に構成された処理装置に適用可能である。当該方法は、以下のステップを含む。車両の周囲のビデオシーケンスを撮像装置から受信する。ビデオシーケンスが予測モデルを満たすか否かを判定して、車両の運転状況に従って予測モデルを更新する。【選択図】図２
2019212276.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置及び出力装置に接続され、予測モデルを予め記憶した、車両の処理装置に適用可能な運転予測方法であって、
前記撮像装置から前記車両の周囲のビデオシーケンスを受信するステップと、
前記ビデオシーケンスが前記予測モデルを満たすか否かを判定して、前記車両の運転状況に従って前記予測モデルを更新するステップと、
を含む、方法。
【請求項２】
請求項１に記載の方法であって、
前記撮像装置から前記車両の周囲の前記ビデオシーケンスを受信する前記ステップの前に、
複数の異なる危険な道路状態及び正常な道路状態を含む複数のトレーニングビデオシーケンスを取得して、ニューラルネットワークをトレーニングし、前記予測モデルを生成するステップを含み、
前記予測モデルは複数の危険な道路状態と関連付けられ、
前記ビデオシーケンスが前記予測モデルを満たすか否かを判定して、前記車両の前記運転状況に従って前記予測モデルを更新する前記ステップは、
前記予測モデルを用いて前記ビデオシーケンスの中に前記危険な道路状態の少なくともいずれかが存在するか否かを判定することができるか否かを判定して、前記ビデオシーケンスが前記予測モデルを満たすか否かを判定するステップと、
前記ビデオシーケンスが前記予測モデルを満たす場合に、前記出力装置を制御して警告信号を出力させるとともに、前記車両の前記運転状況に従って前記予測モデルを更新するステップと、
前記ビデオシーケンスが前記予測モデルを満たさない場合に、前記車両の前記運転状況に従って前記予測モデルを更新するステップと、を含み、
前記予測モデルを更新する前記ステップの前に、
前記予測モデルを満たすか否かをそれぞれラベル付けされた、少なくとも１つのラベル付きビデオシーケンスを取得するステップと、
前記少なくとも１つのラベル付きビデオシーケンス及び前記予測モデルに従って、新たな予測モデルを生成するステップと、
前記少なくとも１つのラベル付きビデオシーケンスが前記新たな予測モデルを満たすか否かを判定して、前記予測モデルを更新するか否かを判定するステップと、を含む、方法。
【請求項３】
請求項２に記載の方法であって、
前記予測モデルを更新する前記ステップにおいて、前記出力装置に前記警告信号を出力させるようにトリガするための感度が調整され、
前記ビデオシーケンスが前記予測モデルを満たす場合に、前記出力装置を制御して前記警告信号を出力させるとともに、前記車両の前記運転状況に従って前記予測モデルを更新する前記ステップは、
前記車両が前記警告信号に従った対応する運転状態にあるか否かを判定するステップと、
前記車両が前記警告信号に従った前記対応する運転状態にある場合に、前記ビデオシーケンスに、前記予測モデルを満たすとしてラベル付けをするステップと、
前記車両が前記警告信号に従った前記対応する運転状態にない場合に、前記ビデオシーケンスに、前記予測モデルを満たさないとしてラベル付けするステップと、
前記ラベル付きビデオシーケンスに従って前記予測モデルを更新するステップと、
前記車両の制動システムを制御するステップと、を含み、
前記ビデオシーケンスが前記予測モデルを満たさない場合に、前記運転状況に従って前記予測モデルを更新するステップは、
前記車両の運転状態が変化したか否かを判定し、前記車両にラベル付けを行い、ラベル付きビデオシーケンスを生成するステップと、
前記少なくとも１つのラベル付きビデオシーケンスが前記新たな予測モデルを満たす場合に、前記予測モデルを前記新たな予測モデルで更新するステップと、
前記少なくとも１つのラベル付きビデオシーケンスが前記新たな予測モデルを満たさない場合に、前記予測モデルを更新しないステップと、を含む、方法。
【請求項４】
請求項２に記載の方法であって、
前記ビデオシーケンスが前記予測モデルを満たし、前記出力装置が前記警告信号を出力するように制御されていない場合に、前記車両の運転状態の変化に応答して前記ビデオシーケンスに前記予測モデルを満たさないとしてラベル付けを行うステップを含み、
前記車両の前記運転状態が変化したか否かを判定して、前記車両にラベル付けを行い、前記ラベル付きビデオシーケンスを生成する前記ステップは、
前記車両の前記運転状態が変化した場合に、前記予測モデルを満たさず異常運転を行っているとして、前記ビデオシーケンスにラベル付けを行うステップと、
前記車両の前記運転状態が変化しない場合に、前記予測モデルを満たし、前記異常運転を行っていないとして、前記ビデオシーケンスにラベル付けを行うステップと、含む、方法。
【請求項５】
車両に構成された運転予測のためのシステムであって、
画像を取り込むように構成された撮像装置と、
警告信号を出力するように構成された出力装置と、
前記撮像装置及び前記出力装置に接続された処理装置であって、
前記撮像装置から前記車両の周囲のビデオシーケンスを受信し、
前記ビデオシーケンスが予測モデルを満たすか否かを判定して、前記車両の運転状況に従って前記予測モデルを更新するように構成された処理装置と、
を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転予測の技術に関するものであって、特に、運転予測のための方法、処理装置、及びシステムに関する。
【背景技術】
【０００２】
先進運転支援システム（ＡＤＡＳ）において、車両に設置され、光、熱、及び圧力などのパラメータを感知して、車両の内部及び外部で収集されたすべてのデータに基づいて、すべての出来事に注意するように運転手に速やかに通知するように構成された各種センサが用いられている。
【０００３】
しかしながら、車両が高速で運転されているときに、運転者は前方道路状態に集中を増し、隣車線の状態に集中しにくくなり、車両の制動距離の判断は通常かなりの運転経験を必要とし、車両が期待された動作を実行できるか否かはほとんど判断されない。さらに、運転者の注意は、特に、曲がりくねったカーブが少ない高速道路では、必然的に減少することがあり、前方及び隣車線の異常運転車両に対する反応時間が遅くなるか、或いはそのような異常運転車両を認識せず、事前に減速して衝突を回避する機会を逃し、事故の原因となりうる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、運転予測のための方法、処理装置、及びシステムに関する。
【課題を解決するための手段】
【０００５】
本開示の一実施形態では、方法は、撮像装置及び出力装置に接続され、予測モデルを予め記憶した、車両に構成された処理装置に適用可能である。当該方法は、以下のステップを含む。車両の周囲のビデオシーケンスを撮像装置から受信する。ビデオシーケンスが予測モデルを満たすか否かを判定して、車両の運転状況に従って予測モデルを更新する。
【０００６】
本開示の一実施形態では、処理装置は、車両に構成され、撮像装置及び出力装置に接続される。処理装置は、メモリとプロセッサとを含み、メモリはプロセッサに結合される。メモリは、予測モデルを予め記憶するように構成される。プロセッサは、撮像装置から車両の周囲のビデオシーケンスを受信し、ビデオシーケンスが予測モデルを満たすか否かを判定して、車両の運転状況に従って予測モデルを更新するように構成される。
【０００７】
本開示の一実施形態では、システムは車両に構成され、撮像装置、出力装置、及び処理装置を含み、処理装置は撮像装置及び出力装置に接続され、予測モデルを予め記憶する。撮像装置は、車両の周囲のビデオシーケンスを取り込むように構成される。出力装置は、警告信号を出力するように構成される。処理装置は、撮像装置から車両の周囲のビデオシーケンスを受信し、ビデオシーケンスが予測モデルを満たすか否かを判定して、車両の運転状況に従って予測モデルを更新するように構成される。
【発明の効果】
【０００８】
本開示で提案する運転予測のための方法、処理装置、及びシステムは、車両の周囲のリアルタイム画像と、運転者の運転行動に基づいて構築された予測モデルとに基づいて道路状態を監視及び予測する。衝突又は事故の発生を予測し防止するために、運転手が警戒態勢をとる前に、運転手に警告が提供される。
【０００９】
本開示の上記の特徴及び利点をより理解しやすくするために、図面を伴ういくつかの実施形態を以下に詳細に説明する。
【図面の簡単な説明】
【００１０】
添付の図面は、本開示の理解を深めるために、本明細書に含まれ、組み込まれ、本明細書の一部を構成する。図面には本開示の実施形態が示され、詳細な説明と共に、本開示の原理を説明するために用いられる。
【図１Ａ】本開示の一実施形態による運転予測システムの概略図を示す。
【図１Ｂ】本開示の一実施形態による運転予測システムの概略図を示す。
【図１Ｃ】本開示の一実施形態による３つの運転予測シナリオの概略図を示す。
【図２】本開示の一実施形態による運転予測方法のフローチャートを示す。
【図３】本開示の他の実施形態による運転予測方法のフローチャートを示す。
【図４】本開示の一実施形態による予測モデル構築方法のフローチャートを示す。
【００１１】
本出願の上記の特徴及び利点をより理解しやすくするために、図面を伴ういくつかの実施形態を以下に詳細に説明する。
【発明を実施するための形態】
【００１２】
本開示のいくつかの実施形態は、本出願の全てではないがいくつかの実施形態が示されている添付の図面を参照して、以下により完全に説明される。実際、本開示の様々な実施形態は、多くの異なる形態で具体化されてもよく、本明細書に記載の実施形態に限定されるものと解釈されるべきではなく、むしろ、これらの実施形態は、本開示が適用可能な法的要件を満たすように提供される。同様の参照符号は、全体を通して同様の要素を指す。
【００１３】
図１Ａは、本開示の一実施形態による運転予測システムの概略図を示す。しかしながら、これは単なる例示であり、本開示はこの点に限定されないことに留意すべきである。システムのすべての構成要素及びそれらの構成が図１Ａに最初に示される。構成要素の機能性は、以降の実施形態でより詳細に開示される。
【００１４】
図１Ａを参照して、運転予測システム１００は、撮像装置１１０と、処理装置１２０と、出力装置１３０とを含み、運転予測システム１００は、自動車、バス、トラック、電気自動車、オートバイなどの車両に設置される。
【００１５】
撮像装置１１０は、車両の周囲の画像（例えば、車両の正面画像、両側面画像、又は後面画像）を撮影して記録するように構成されている。撮像装置１１０は、光学レンズ及びセンサ素子を有するカメラレンズを含む。センサ素子は、光学レンズに入射する光の強度を検出して画像を生成するように構成されている。センサ素子は、例えば電荷結合素子（ＣＣＤ）素子、相補型金属酸化物半導体（ＣＭＯＳ）素子などであってもよい。撮像装置１１０の数は、単数であってもよく、或いは予測の精度を高めるために複数であってもよい。また、撮像装置１１０は、人間の目では見えにくい画像を撮影する高倍率ズームカメラレンズであってもよい。
【００１６】
処理装置１２０は、撮像装置１１０によって取り込まれた画像と、運転者が車両を運転している間に生成された運転情報とを処理するように構成されている。本実施形態では、処理装置１２０は、少なくともメモリ１２２及びプロセッサ１２４を含む。メモリ１２２は、ビデオ画像、データ、及びプログラミングコードを記憶するように構成され、固定またはモバイルのランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ハードドライブ、他の同様のデバイス又は集積回路の１つ又は組み合わせであってよい。プロセッサ１２４は、提案された運転予測方法を実行するように構成され、例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、又はマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）などの他の汎用又は特定用途向けのプログラム可能な装置、他の同様の装置、これらの装置又は集積回路の組み合わせであってよい。
【００１７】
出力装置１３０は、警告信号を出力するように構成され、音楽、音声、又は音声を出力するスピーカであってよく、テキスト又はアイコンを表示するスクリーンであってよく、或いは光を発する又は光を点滅させる警告灯であってよい。
【００１８】
本実施形態では、処理装置１２０、撮像装置１１０及び出力装置１３０は、オールインワン装置として一体化されていてもよく、例えば、フロントガラスの任意の位置に設置されてもよいことに注意されたい。具体的には、図１Ａの運転予測システム１００は、図１Ｂに示される本発明の一実施形態による運転予測システム１００Ｂとして実装されてもよく、運転予測システム１００Ｂの正面図及び背面図は、図１Ｂの左側及び右側にそれぞれ示されている。図１Ａの撮像装置１１０は、図１Ｂの運転予測システム１００ＢのカメラモジュールＣとして実装されてもよい。図１Ａの処理装置１２０は、図１Ｂの運転予測システム１００Ｂのコントローラ（図示せず）として実装されてもよい。図１Ａの出力装置１３０は、図１Ｂの運転予測システム１００Ｂの、スクリーンＤ、警告灯Ａ、及びスピーカＳとして実装されてもよい。
【００１９】
例えば、図１Ｃは、本開示の一実施形態による３つの運転予測シナリオの概略図を示す。運転予測システム１００Ｂが左車線の早期警告が必要であると判定した場合には、警告灯Ａが点滅して、スピーカＳが警告音声を出力して、左車線Ｄ１の領域に対応するスクリーンＤが点灯して運転手に警告する。同様に、運転予測システム１００Ｂが現在の車線の早期警告が必要であると判定した場合には、警告灯Ａが点滅して、スピーカＳが警告音声を出力して、現在の車線Ｄ２の領域に対応するスクリーンＤを点灯する。運転予測システム１００Ｂが右車線の早期警告が必要であると判定した場合には、警告灯Ａが点滅して、スピーカＳが警告音声を出力して、右車線Ｄ３の領域に対応するスクリーンＤが点灯する。運転予測システム１００Ｂは、それ自体は周知である使用慣例に基づいて、運転者に警告出力をカスタマイズ可能とする。本開示は、この点に限定されない。
【００２０】
他の実施形態では、処理装置１２０は、撮像装置１１０及び出力装置１３０に有線又は無線で接続されてもよい。撮像装置１１０及び出力装置１３０は車両に構成されてもよく、プロセッサ１２０は、スマートフォン、タブレット型コンピュータ、車載コンピュータなどの、計算機能を備えた電子デバイスであってもよい。本開示は、この点に限定されない。
【００２１】
図２は、本開示の一実施形態による運転予測方法のフローチャートを示す。図２のフローは図１の運転予測システム１００で実装されてもよい。本実施形態では、メモリ１２２は、予測モデルを予め記憶する。この予測モデルは、機械学習を通じて複数の運転ビデオによってトレーニングされ、車両の前方道路運転状態の潜在的危険を予測するために使用される分類器であってよい。トレーニングに使用される運転ビデオには、車両の正常及び異常な運転状況、並びに事故前後のシナリオが含まれる。予測モデルの詳細は、以降の実施形態で説明される。
【００２２】
図１及び図２を参照して、処理装置１２０のプロセッサ１２４は、車両の周囲のビデオシーケンスを撮像装置から受信する（ステップＳ２０２）。ここで、撮像装置１１０によって撮影されたビデオシーケンスは、例えば車両から５０ｍ以内の近傍の前方車線及び近傍の隣車線の画像フレームであってもよく、車両から５０ｍ以上離れた遠方の前方車線及び遠方の隣車線の画像フレームであってもよい。次に、プロセッサ１２４は、ビデオシーケンスが予測モデルを満たすか否かを判定して、車両の運転状況に従って予測モデルを更新する（ステップＳ２０４）。詳細には、プロセッサ１２４は、それ自体は周知である画像分析を通じて、ビデオシーケンスの画像フレームと予測モデルとの特徴比較を実行して、ビデオシーケンスが予測モデルを満たすか否かを判定する。例えば、予測モデルの分類器は、ジグザグ運転、追い越し、ブレーキの踏み込み、レーシング、不十分な運転距離などの、車両自体の又は周囲の車両の危険な運転行動に起因する危険な道路状態が存在するか否かを判定しうる。次に、プロセッサ１２４は、ビデオシーケンスが予測モデル及び車両の運転状況を満たすか否かに基づいて予測モデルをさらに更新する。
【００２３】
本実施形態において、プロセッサ１２４は、ビデオシーケンスが予測モデルを満たすと判定した場合、出力装置１３０を制御して警告信号を出力し、車両の運転状況に従って予測モデルを更新する。詳細には、プロセッサ１２４は、ビデオシーケンスが予測モデルの任意の予め設定された危険な道路状態を満たすと判定した場合、減速、制動、旋回、又は車線変更などの予防応答を行うように警告信号によって運転者に促す。次に、プロセッサ１２４は、車両の運転状態に基づいて、提供された警告信号に対する運転者の実際の応答を判定し、それに従ってメモリ１２２に記憶された予測モデルを更新する。
【００２４】
一方、ビデオシーケンスが予測モデルを満たさない場合、プロセッサ１２４は、車両の運転状態に従って予測モデルを更新する。詳細には、プロセッサ１２４は、ビデオシーケンスが予測モデルを満たさないと判定した場合、即ち、プロセッサ１２４が現在の道路状態に予め設定された危険な道路状態が存在するか否かを判定できない場合、プロセッサ１２４は、車両の運転状態に基づいて運転者が異常運転行動をしているか否かを判定し、メモリ１２２に記憶されている予測モデルを更新する。つまり、プロセッサ１２４は、全ての警告信号に対する運転応答及び一般的な運転行動に基づいて元の予測モデルを改善して、運転者の運転習慣に対して更にカスタマイズされた予測モデルを生成する。例えば、警告信号を提供する出力装置１３０をトリガする感度が調整されうる。実装の詳細については後述する。
【００２５】
理解を容易にするために、実際のアプリケーション及び図２の詳細を図３に示す。図３は、本開示の別の実施形態による運転予測方法のフローチャートを示す。図３のシステムは、表示システム１００で実装されてもよい。
【００２６】
図１及び図３を参照して、処理装置１２０のプロセッサ１２４は、車両の周囲のビデオシーケンスＶＳを撮像装置１１０から受信し、ビデオシーケンスＶＳの焦点調整、ホワイトバランス調整、露出調整、クロッピングなどの画像前処理を行い（ステップＳ３０２）、後続の画像処理を高速化する。
【００２７】
次に、プロセッサ１２４は、ビデオシーケンスＶＳが予測モデルを満たすか否かを判定し（ステップＳ３０４）、ビデオシーケンスＶＳの画像フレームと分類子の予測モデルとの比較を行い、その判定結果に基づいて分類を行う。上述した実施形態で説明したように、メモリ１２２は、ジグザグ運転、追い越し、ブレーキの踏み込み、レーシング、不十分な運転距離などの各運転行動に対応する予測モデルを記憶して、分類器は、ビデオシーケンスＶＳが予測モデルを満たすか否かに従って、ビデオシーケンスＶＳが属するクラスを判定してよい。
【００２８】
プロセッサ１２４は、ビデオシーケンスＶＳが予測モデルを満たしていると判定した場合、出力装置１３０を制御して警告信号を出力し（ステップＳ３０６）、減速、制動、旋回、又は車線変更などの予防応答を行うように運転者に促す。さらに、プロセッサ１２４は、制動システムに介入して制動通知を出力させたり、旋回信号システムに介入して旋回信号通知を送信させたりするなど、車両制動システムの制動信号を任意に生成してもよい（ステップＳ３０８）。次に、プロセッサ１２４は、車両が警告信号に従って対応する運転状態であるか否かを判定して、運転者が対応する運転応答を行っているか否かを判定する（ステップＳ３１０）。車両が警告信号に従って対応する運転状態である場合（即ち、運転者が警告信号に従って対応する運転応答を行っている場合）、プロセッサ１２４は、ビデオシーケンスＶＳに「予測モデルを満たす」とラベル付けする（ステップＳ３１２）。
【００２９】
ここで、車両が警告信号に従って対応する運転状態でない場合（即ち、運転者が警告信号に従って対応する運転応答を行っていない場合）、つまり、ビデオシーケンスＶＳが予測モデルを満たすが、運転者の応答が予測モデルを満たさない場合（即ち、運転行動が変化しない場合）、プロセッサ１２４は、ビデオシーケンスＶＳに「予測モデルを満たさない」とラベル付けする（ステップＳ３１４）。プロセッサ１２４が、ビデオシーケンスＶＳが予測モデルを満たすと判定したが、警告信号を提供するように出力装置１３０を制御しない場合（即ち、プロセッサ１２４は、ビデオシーケンスＶＳが警告の必要がない通常の運転を示唆していると判定し、運転者が予防応答を行って車両の運転状態が変化すると判定した場合）、ビデオシーケンスＶＳは「予測モデルを満たさない」とラベル付けされることに注意されたい。
【００３０】
一方で、プロセッサ１２４は、ステップＳ３１６においてビデオシーケンスＶＳが予測を満たさないと判定した場合、プロセッサ１２４は、車両の運転状態が変化したか否かを判定して、運転者に異常運転行動があるか否かを判定する（ステップＳ３１６）。ここで、プロセッサ１２４は、ビデオシーケンスＶＳが予測モデルに基づいて分類できない場合には、ビデオシーケンスＶＳが予測モデルを満たさないと判定する。その理由は、予測モデルのトレーニングデータが限られており、すべての運転条件をカバーすることができないためである。したがって、そのようなビデオシーケンスで分類が実行される場合、画像充足度（image satisfaction score）はすべて低くなる。このような場合には、プロセッサ１２４は、運転者が減速、制動、旋回、車線変更などの異常運転行動をしているか否かを判定する。
【００３１】
車両の運転状態が変化しない場合（即ち、運転者が異常運転行動をしていない場合）、プロセッサ１２４はビデオシーケンスＶＳに「予測モデルを満たさず、異常運転行動がない」とラベル付けする（ステップＳ３１８）。言い換えると、これは通常の運転状況と見ることができる。車両の運転状態が変化した場合（即ち、運転者が異常運転行動をとった場合）、プロセッサ１２４は、ビデオシーケンスＶＳに「予測モデルを満たさず、異常運転行動がある」とラベル付けする（ステップＳ３２０）。言い換えると、これは異常運転状況と見ることができ、プロセッサ１２４は、ビデオシーケンスＶＳの運転行動にさらにラベル付けすることができる。
【００３２】
プロセッサ１２４は、後続のステップで予測モデルを更新するための基準として、ラベル付きビデオシーケンスをメモリ１２２に記憶する（ステップＳ３２２）。言い換えると、予測モデルを更新する基準には、ステップＳ３１２で「予測モデルを満たす」とラベル付けされたビデオシーケンス、ステップＳ３１４で「予測モデルを満たさない」と、ステップＳ３１８で「予測モデルを満たさず、異常運転行動がない」と、及びステップＳ３２０で「予測モデルを満たさず、異常運転行動がある」とラベル付けされたビデオシーケンスが含まれうる。
【００３３】
次に、フローは予測モデルトレーニング段階に入る。このような段階は、プロセッサ１２４の性能によって、車両が走行している間にリアルタイムで実行されてもよく、車両が走行していない間にオフラインで実行されてもよい。プロセッサ１２４は、メモリ１２２に記憶されているラベル付きビデオシーケンスＶＳ’と予測モデルとに基づいて、機械学習アルゴリズムを活用して、新たな予測モデルを生成しうる（ステップＳ３２４）。ここで、プロセッサ１２４は、予測モデルの１つ以上の微調整パラメータを生成してもよく、或いはニューラルネットワークモデルに基づいて予測モデルを再構築してもよい。ここで、ニューラルネットワークモデルは、ディープラーニングのための時系列的な関連性を有するビデオシーケンスのトレーニングに適したリカレントニューラルネットワーク（ＲＮＮ）モデルであってもよい。しかしながら、本開示はこの点に限定されない。
【００３４】
次に、プロセッサ１２４は、新たな予測モデルをテスト及び検証するために、ラベル付きビデオシーケンスＶＳ’が新たな予測モデルを満たすか否かを判定する（ステップＳ３２６）。プロセッサ１２４は、ラベル付きビデオシーケンスＶＳ’が新たな予測モデルを満たすと判定した場合、新たな予測モデルで予測モデルを更新し（ステップＳ３２８）、新たな予測モデルをメモリ１２２に記憶する。プロセッサ１２４は、ラベル付きビデオシーケンスＶＳ’が新たな予測モデルを満たさない場合、そのようなラベル付きビデオシーケンスＶＳ’を改良データとしてメモリ１２２に記憶する。新たな予測モデルを満たさない理由として、新たな予測モデルの分類方法論に基づいてビデオシーケンスＶＳ’を判定する際の非感受性（insensitivity）によるもの、或いは元の予測モデルのパラメータを変更するためのデータ量が不十分であるため等が挙げられる。
【００３５】
図４は、本開示の一実施形態による予測モデル構築方法のフローチャートを示す。
【００３６】
はじめに、分類及びラベル付け段階Ｓ４１において、処理装置１２０のプロセッサ１２４は、ビデオファイルを取得し、ビデオファイル分類を実行する（ステップＳ４１１）。これらのビデオファイルのカテゴリは、ジグザグ運転、追い越し、ブレーキの踏み込み、レーシング、不十分な運転距離などの、既知の危険な運転カテゴリを含むビデオファイル、並びに事故のない通常のビデオファイルを含んでもよい。次に、プロセッサ１２４は、各カテゴリのビデオファイルに対して５〜１５秒のビデオファイル抽出を実行する（ステップＳ４１２）。抽出されたビデオファイルは、事故が発生する前、事故の間、及び事故が終了した時の連続するフレームを少なくとも含む。次に、プロセッサ１２４は、ビデオファイル変換を実行して（ステップＳ４１３）、これによって抽出されたビデオファイルが例えば３０ｆｐｓの画像ファイルに変換され、プロセッサ１２４は、同じカテゴリラベルを有するが異なる事故の種類の大量のファイルを機械学習のためのトレーニング材料として使用する。つまり、プロセッサ１２４は、予測モデルを構築するために、異なる危険な道路状態及び通常の道路状態を有するトレーニングビデオシーケンスを使用してニューラルネットワークをトレーニングさせる。ジグザグ運転予測モデル構築が本実施形態にて例示されるが、他も同様の方法で導くことができる。
【００３７】
機械学習段階Ｓ４２において、プロセッサ１２４は、ファイル番号が００１〜２００のジグザグ運転ビデオを取得し（ステップＳ４２１）、ＲＮＮモデルを用いてこれらのビデオファイルをトレーニングして（ステップＳ４２２）、予測モデルを生成し（ステップＳ４２３）、ジグザグ運転に対応した予測分類器を生成する（ステップＳ４２４）。
【００３８】
次に、分類器テスト段階Ｓ４３において、プロセッサ１２４は、ファイル番号２０１〜３００のジグザグ運転映像を取得し（ステップＳ４３１）、テストビデオとして設定して、テストビデオを予測分類器に入力し（ステップＳ４３２）、予測結果を取得し（Ｓ４３３）、予測分類器を検証する。プロセッサ１２４は、ファイル番号３０１〜４００のジグザグ運転ビデオを追加すること（ステップＳ４３４）、ファイル番号００１〜２００のジグザグ運転ビデオを削除すること（ステップＳ４３５）、又はファイル番号４０１〜６００のジグザグ運転ビデオと交換することを選択して、予測分類器を再学習させる（ステップＳ４２５）。
【００３９】
ジグザグ運転予測分類器への実際の適用に関して、プロセッサ１２４は、前方の車両がジグザグ危険運転行動をとっている（即ち、ビデオシーケンスがジグザグ運転を満たす特徴を有する）と判定した場合、出力装置１３０に警告信号を提供するようにトリガするスコア閾値を８０点に設定しうる。この場合、８０点未満の任意のスコアにおいて警告が提供されず、８０点以上の任意のスコアにおいて警告が提供される。プロセッサ１２４は、ジグザグ危険運転警告が複数回提供されたが、運転者が減速又はステアリングホイールを旋回させるような運転応答を行わないと判定した場合、プロセッサ１２４は、出力装置１３０に警告信号を提供するようにトリガするスコア閾値を８１点に調整しうる。これにより、８１点未満の任意のスコアにおいて警告が提供されず、８１点以上の任意のスコアにおいて警告が提供される。プロセッサ１２４は、例えば８５点で運転手が応答するまで、スコア閾値を調整し続けてよい。つまり、運転者は概ね毎回、スコアが８５点に達すると、運転者が運転応答を行うことを意味する。このように、プロセッサ１２４は、運転者が前方のジグザグ運転に応答するのに適した警告信号を提供するように出力装置１３０にトリガする警告感度を徐々に調整してもよい。本実施形態では、８０点から８５点へのスコア閾値調整は、ジグザグ運転における警告感度の減少を示しうる。したがって、更新された予測モデルは、潜在的な危険性における警告感度はより運転者に近づくことになり、即ち運転者の運転習慣により近づくことになる。
【００４０】
しかしながら、所定の期間の後、プロセッサ１２４は、運転の安全性向上のためにスコア閾値を８４点に下げる。その理由を以下に説明する。第１に、長い運転時間は運転者の運転応答の能力を低下させうるため、ジグザグ運転における運転予測システム１００の警告感度は、運転安全性向上のために増加される。第２に、ジグザグ運転における運転予測システム１００の警告感度が常に低く設定されるのを避けるために、増加テストが行われる。例えば、スコアが８４ポイントに調整され、運転者が応答した場合、ジグザグ運転における警告感度の増加が有効であることを意味する。第３に、運転者がもはや応答しなくなるまでスコア閾値を減少させた後に、運転閾値を増加させ、運転行動に近い自動調整が運転予測システム１００によって提供されるようにする。
【００４１】
上述のとおり、本開示で提案された運転予測のための方法、処理装置、及びシステムは、車両の周囲のリアルタイム画像と、運転者の運転行動に基づいて構築された予測モデルとに基づいて道路状態を監視し予測する。衝突事故又は衝突事故の発生を予測し防止するために、運転手が警戒態勢をとる前に、運転手に警告が提供される。
【００４２】
本出願の開示された実施形態の詳細な説明において使用される要素、動作、又は命令は、明示的に記載されない限り、本開示に対して決定的である又は必須であると解釈されるべきではない。また、本開示で使用される場合に、単数形で記載された用語のそれぞれは、１つ以上のアイテムを含みうる。１つのアイテムのみが意図される場合、「単一の」又は類似の用語が使用される。さらに、本開示で使用される場合に、複数のアイテムのリスト及び／又は複数のアイテムのカテゴリのリストと共に用いられる「いずれか」という用語は、アイテム及び／又はアイテムのカテゴリの個々に、又は他のアイテム及び／又は他のカテゴリのアイテムと組み合わせた、「いずれか」、「いずれかの組み合わせ」、「いずれか複数」、及び／又は「いずれか複数の組み合わせ」を意図されうる。さらに、本開示で使用される場合に、「セット」という用語は、ゼロを含む任意の数のアイテムを含むことが意図されうる。さらに、本明細書で使用される場合に、「番号」という用語は、ゼロを含む任意の数を含むことが意図される。
【００４３】
本開示の範囲又は精神から逸脱することなく、開示された実施形態の構成に対して様々な変更及び変形がなされうることは、当業者には明らかであろう。上記を考慮して、本開示は、添付の特許請求の範囲及びそれらの等価物の範囲内に含まれる本開示の変更及び変形を含むことが意図される。
【産業上の利用可能性】
【００４４】
本開示で提案された運転予測のための方法、処理装置、及びシステムは、車両の周囲のリアルタイム画像と、運転者の運転行動に基づいて構築された予測モデルとに基づいて道路状態を監視し予測する。衝突事故又は衝突事故の発生を予測し防止するために、運転手が警戒態勢をとる前に、運転手に警告が提供される。
【符号の説明】
【００４５】
１００、１００Ｂ  運転予測システム
１１０  撮像装置
１２０  処理装置
１２２  メモリ
１２４  プロセッサ
１３０  出力装置
Ｃ  カメラモジュール
Ｓ  スピーカ
Ｄ  ディスプレイ
Ａ  警告装置
Ｄ１〜Ｄ３  領域
Ｓ２０２〜Ｓ２０４、Ｓ３０２〜Ｓ３２８、Ｓ４１１〜Ｓ４３６  ステップ
ＶＳ  ビデオシーケンス
ＶＳ’  ラベル付きビデオシーケンス
Ｓ４１〜Ｓ４３  段階
【図１Ａ】
2019212276.tif 000003
【図１Ｂ】
2019212276.tif 000004
【図１Ｃ】
2019212276.tif 000005
【図２】
2019212276.tif 000006
【図３】
2019212276.tif 000007
【図４】
2019212276.tif 000008
【外国語明細書】
2019212276000001.pdf