(57)【要約】      （修正有）【課題】車両の運転者に運転支援を提供するための疑似車両挙動信号を生成するモバイルネットワークデバイスを提供する。【解決手段】運転者支援システム１００において、モバイルデバイス１０４は、メモリ１２２とモバイルデバイス制御モジュール１２０とを含む。メモリは、運転者支援アプリケーションを格納する。モバイルデバイス制御モジュールは、運転者支援アプリケーションを実行する。運転者支援アプリケーションを実行するときに、モバイルデバイス制御モジュールは、モバイルデバイス内の複数のセンサ１２５からモバイルセンサ信号を受信し、モバイルセンサ信号を正規化して正規化信号を生成し、正規化信号を車両の挙動を表す複数の時間系列に変換し、複数の時間系列を連結して疑似車両挙動信号を生成し、疑似車両挙動信号に基づいてディスプレイ１２６から運転者に運転者支援信号を提供する。【選択図】図１
2020024685.tif 000002
【特許請求の範囲】
【請求項１】
運転者支援アプリケーションを格納するように構成されるメモリと、
運転者支援アプリケーションを実行するように構成される制御モジュールと、を備え、
制御モジュールは、運転者支援アプリケーションを実行するとき、
モバイルネットワークデバイス内の複数のセンサからモバイルセンサ信号を受信し、
モバイルセンサ信号を正規化して正規化信号を生成し、
正規化信号を車両の挙動を表す複数の時間系列に変換し、そして
複数の時間系列を連結して疑似車両挙動信号を生成するように構成され、
生成された疑似車両挙動信号は、車両の運転者に運転支援を提供するために利用されるモバイルネットワークデバイス。
【請求項２】
疑似車両挙動信号は、車両のコントローラエリアネットワーク信号に対応する請求項１に記載のモバイルネットワークデバイス。
【請求項３】
さらに複数のセンサを備え、複数のセンサは、加速度センサ、角速度センサ、および全地球測位システム受信機を含む請求項１に記載のモバイルネットワークデバイス。
【請求項４】
制御モジュールは、
モバイルセンサ信号をモデル化するように構成されるエンコーダと、
エンコーダの出力を受信し、擬似車両挙動信号をモデル化するように構成されるデコーダと、を備える請求項１に記載のモバイルネットワークデバイス。
【請求項５】
エンコーダは、
第１の複数の埋め込みモジュールと、
第１の複数のＬＳＴＭと、を備え、
デコーダは、
第２の複数のＬＳＴＭと、
第２の複数の埋め込みモジュールと、を備える請求項４に記載のモバイルネットワークデバイス。
【請求項６】
エンコーダは、
１行に並んだ第１の埋め込みモジュールと、
第１のアレイ状のＬＳＴＭと、を備え、
デコーダは、
第２のアレイ状のＬＳＴＭと、
１行に並んだ第２の埋め込みモジュールと、を備える請求項４に記載のモバイルネットワークデバイス。
【請求項７】
疑似車両行動信号に基づいて運転者の行動を予測するように構成された運転者予測モジュールをさらに備え、
制御モジュールは、予測された運転者の行動に基づいて運転者支援信号を生成するように構成される請求項１に記載のモバイルネットワークデバイス。
【請求項８】
制御モジュールは、運転者支援アプリケーションを実行するとき、
ドライブレコーダからモバイルネットワークデバイスに送信される画像データを受信し、
ドライブレコーダは、モバイルネットワークデバイスとは別個であって、車両内に配置されており、
画像データに基づいて運転者支援信号を生成するように構成される請求項１に記載のモバイルネットワークデバイス。
【請求項９】
制御モジュールは、運転者支援アプリケーションを実行するとき、
車両からモバイルネットワークデバイスに送信される車両センサデータを受信し、
車両センサデータに基づいて運転者支援信号を生成するように構成される請求項１に記載のモバイルネットワークデバイス。
【請求項１０】
モバイルネットワークデバイスは、携帯電話、ノートブックコンピュータ、パーソナルデータアシスタントデバイス、ウェアラブルデバイス、ダッシュボードカメラまたはドライブレコーダである請求項１に記載のモバイルネットワークデバイス。
【請求項１１】
モバイルネットワークデバイスを操作する方法であって、
モバイルネットワークデバイスのメモリに運転者支援アプリケーションを格納すること、および
運転者アプリケーションを実行して、モバイルネットワークデバイス内の複数のセンサからモバイルセンサ信号を受信し、モバイルセンサ信号を正規化して正規化信号を生成し、正規化信号を車両の挙動を表す複数の時間系列に変換し、そして、複数の時間系列を連結して疑似車両挙動信号を生成することを備え、
生成された疑似車両挙動信号は、車両の運転者に運転支援を提供するために利用される方法。
【請求項１２】
疑似車両挙動信号は、車両のコントローラエリアネットワーク信号に対応する請求項１１に記載の方法。
【請求項１３】
複数のセンサは、加速度センサ、角速度センサ、および全地球測位システム受信機を含む請求項１１に記載の方法。
【請求項１４】
エンコーダを介してモバイルセンサ信号をモデル化すること、および
デコーダにてエンコーダの出力を受信し、デコーダを介して擬似車両挙動信号をモデル化することをさらに備える請求項１１に記載の方法。
【請求項１５】
エンコーダは、
第１の複数の埋め込みモジュールと、
第１の複数のＬＳＴＭと、を備え、
デコーダは、
第２の複数のＬＳＴＭと、
第２の複数の埋め込みモジュールと、を備える請求項１４に記載の方法。
【請求項１６】
エンコーダは、
１行に並んだ第１の埋め込みモジュールと、
第１のアレイ状のＬＳＴＭと、を備え、
デコーダは、
第２のアレイ状のＬＳＴＭと、
１行に並んだ第２の埋め込みモジュールと、を備える請求項１４に記載の方法。
【請求項１７】
疑似車両行動信号に基づいて運転者の行動を予測することをさらに備え、
運転者支援信号は、予測された運転者の行動に基づいて生成される請求項１１に記載の方法。
【請求項１８】
ドライブレコーダからモバイルネットワークデバイスに送信される画像データを受信することをさらに備え、
ドライブレコーダは、モバイルネットワークデバイスとは別個であって、車両内に配置されており、
運転者支援信号は画像データに基づいて生成される請求項１１に記載の方法。
【請求項１９】
車両からモバイルネットワークデバイスに送信される車両センサデータを受信することをさらに備え、
運転者支援信号は、車両センサデータに基づいて生成される請求項１１に記載の方法。
【請求項２０】
モバイルネットワークデバイスは、携帯電話、ノートブックコンピュータ、パーソナルデータアシスタントデバイス、またはウェアラブルデバイスである請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、モバイルセンサ信号に基づいて疑似車両挙動信号を生成するモバイルネットワークデバイス、およびモバイルネットワークデバイスを操作する方法に関する。
【背景技術】
【０００２】
本明細書で提供される背景技術の説明は、本開示の背景を一般的に提示することを目的としている。本発明者らの研究は、本背景技術の欄に記載されている限りにおいて、並びに、出願時に先行技術として他で適格とされない可能性がある説明の態様は、明示的にも暗示的にも、本開示に対する先行技術として認められたものではない。
【０００３】
車両は、エンジン制御モジュール、トランスミッション制御モジュール、インフォテインメント制御モジュール、ナビゲーション制御モジュールなどの複数の制御モジュールを含むことができる。制御モジュールおよび／または他の電子装置は、コントローラエリアネットワーク（ＣＡＮ）バスを介して互いに通信することができる。これは、様々なパラメータの状態を示すＣＡＮメッセージの送信を含むことができる。車両は通常、車両内の装置の状態および車両の周囲の状態を検出するための様々なセンサを有する。センサは、例えば、ステアリングホイール位置センサ、ブレーキペダル位置センサ、アクセルペダル位置センサ、温度センサ、車速センサ、エンジン速度センサ、カメラ、レーダセンサなどを含むことができる。センサからの情報は、ＣＡＮバスを介して送信されるＣＡＮメッセージによって制御モジュール間で共有され得る。
【０００４】
車両は、運転者が車両を運転するのを支援するための運転者支援モジュールを備えることができる。運転者支援モジュールは、ＣＡＮメッセージを監視し、パラメータの状態、車両内の装置の状態、および環境状態を決定することができる。この情報に基づいて、運転者支援モジュールは、例えば、車線内に留まるため、および／または衝突を回避するために、車両を制動または操縦するように運転者に指示する警告信号を生成することによって、運転者を支援することができる。
【発明の概要】
【０００５】
モバイルネットワークデバイスが提供され、それは、メモリと制御モジュールとを含む。メモリは、運転者支援アプリケーションを格納するように構成されている。制御モジュールは、運転者支援アプリケーションを実行するように構成され、運転者支援アプリケーションを実行するときに、制御モジュールは、モバイルネットワークデバイス内の複数のセンサからモバイルセンサ信号を受信し、モバイルセンサ信号を正規化して正規化信号を生成し、正規化信号を車両の挙動を表す複数の時間系列に変換し、そして、複数の時間系列を連結して疑似車両挙動信号を生成するように構成される。生成された疑似車両挙動信号は、車両の運転者に運転支援を提供するために利用される。
【０００６】
他の特徴では、モバイルネットワークデバイスを動作させる方法が提供される。この方法は、モバイルネットワークデバイスのメモリに運転者支援アプリケーションを格納すること、および、モバイルネットワークデバイス内の複数のセンサからモバイルセンサ信号を受信し、モバイルセンサ信号を正規化して正規化信号を生成し、正規化信号を車両の挙動を表す複数の時間系列に変換し、そして、複数の時間系列を連結して疑似車両挙動信号を生成するように、運転者支援アプリケーションを実行することを含む。生成された疑似車両挙動信号は、車両の運転者に運転支援を提供するために利用される。
【０００７】
本開示のさらなる適用可能分野は、詳細な説明、特許請求の範囲および図面から明らかとなろう。詳細な説明および特定の実施例は、単に例示の目的を意図しており、本開示の範囲を限定することを意図していない。本開示は、詳細な説明および添付の図面からより完全に理解される。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施形態による運転者支援システムの一例の機能ブロック図である。
【図２】本開示の実施形態による、車両挙動モジュールおよび運転者支援モジュールを含むモバイルデバイスの一例の機能ブロック図である。
【図３】本開示の実施形態による、運転者支援モジュールを含む車両の一例の機能ブロック図である。
【図４】本開示の実施形態による、図３のモバイルデバイスの一部およびドライブレコーダの一例の機能ブロック図である。
【図５】本開示の実施形態による擬似車両挙動信号を生成する方法を含む運転者支援方法を示す。
【図６】図４の車両信号生成モジュールのエンコーダとデコーダのシーケンス間モデルの一例の機能ブロック図である。
【発明を実施するための形態】
【０００９】
図面において、参照番号は、類似および／または同一の要素を特定するために再使用されることがある。
【００１０】
最近のインテリジェント車両は様々なセンサを含み、それらは運転者の現在の行動を把握するために使用される。運転者支援が、センサの出力および検出された動作環境に基づいて、車両において提供される。例えば、ステアリングホイール角度、ブレーキペダル位置、およびアクセルペダル位置が運転者の行動を判定するために監視され、その一方で、外部レーダセンサ信号およびカメラ画像が現在の車両環境を検出するために監視され得る。これには、車線マーカー、周囲の物体、信号灯などの検出が含まれてもよい。運転者支援は、例えば、衝突を防止するために、対応する車両を自律的に操舵、制動、および／または減速するように提供され得る。従来の車両またはそれほどインテリジェントではない車両は、同じレベルの運転者支援を提供することができないか、または単にいかなる運転者支援も提供することができない。
【００１１】
本明細書に記載の例は、車両挙動信号（本明細書では「疑似コントローラエリアネットワーク信号」または「疑似ＣＡＮ信号」とも呼ばれる）を生成し、これらの信号に基づいて車両の運転者を支援する、モバイルセンサ、車両挙動モジュール、および運転者支援モジュールを備えたモバイルデバイスを含む。車両挙動信号と呼ばれるが、その車両挙動信号は運転者行動信号を含むことができる。例えば、ステアリングホイール角度信号、ブレーキペダル位置信号、およびアクセルペダル位置信号は、車両挙動信号であるが、これらの信号が運転者の行動に基づいて生成されるのか、または車両制御モジュールによって提供される自律制御に基づいて生成されるのかに応じて、運転者行動信号とも呼ばれ得る。
【００１２】
擬似ＣＡＮ信号は、モバイルデバイス内のモバイルセンサに基づいて生成され、モバイルデバイスの車両挙動モジュールおよび運転者支援モジュールによって監視されてもよい。センサの出力に基づいて、運転者支援モジュールは、以下でさらに説明されるように、運転者を支援するための信号を生成することができる。擬似ＣＡＮ信号および／または運転者支援信号は、その受信のために車両に装備されている場合、モバイルデバイスから車両の他の運転者支援モジュールに送信されてもよい。擬似ＣＡＮ信号および／または運転者支援信号はまた、クラウドベースの接続サービスを提供するために、モバイルデバイスからクラウドサーバに送信されてもよい。すると、車両の運転者支援モジュールは追加の運転者支援を提供することができる。
【００１３】
本明細書で提供される例は、現在および／または過去の車両の挙動および／または運転者の行動に基づいて、運転者の行動を予測する車両挙動モジュールを含む。車両挙動モジュールが現在の運転者の行動をより多く決定できるほど、および車両挙動モジュールが運転者の行動（または今後の行為）をより的確に予測できるほど、運転者支援モジュールはより適切に運転者を支援することができる。これには、支援が必要とされない場合に支援を提供しないことが含まれる。一例として、車両挙動モジュールが接近する物体を検出し、運転者がブレーキをかけていることを検出した場合、運転者支援モジュールは、車両を減速させるための運転者支援を提供しなくてもよい。しかし、車両挙動モジュールが、運転者がブレーキをかけていること、および／または車両が十分に素早い速さで減速していることを検出しない場合、運転者支援モジュールは、衝突を避けるために、ブレーキ圧力を高め、エンジンのトルクを抑制し、および／または車両を操舵する。
【００１４】
図１は、運転者支援システム１００を示し、それには、クラウドベースのネットワーク１０２、モバイルネットワークデバイス（本明細書では「モバイルデバイス」と呼ばれる）１０４、および車両１０６が含まれる。クラウドベースのネットワーク１０２は、１つまたは複数のサーバを含む（１つのサーバ１０８が示されている）。単一のモバイルデバイス１０４、単一の車両１０６、および単一のサーバ１０８が示されているが、それぞれ任意の数が、運転者支援システム１００に含まれてもよい。サーバ１０８は、サーバ制御モジュール１１０、メモリ１１２、および通信機１１４を含むことができる。メモリ１１２は、データベース１１８を格納することができ、そのデータベース１１８は、センサデータ、車両挙動データ、環境状態データ、および／またはモバイルデバイス１０４および／または車両１０６から受信した他の関連データを含むことができる。記述されたデータは、運転者支援システム１００内の車両とサーバによって共有されてもよい。車両パラメータデータは、エンジンパラメータ（例えば、エンジン速度、エンジン温度など）、車両速度、ブレーキペダル位置、アクセルペダル位置、ステアリングホイール角度位置などを含むことができる。環境状態データは、対応する車両と物体との距離、車線マーカー、車両に対する物体の速度、車両および／または物体の進行方向、温度、気象状態、および／または他の環境状態を含むことができる。
【００１５】
モバイルデバイス１０４は、携帯電話、ラップトップコンピュータ、パーソナルデータアシスタントデバイス、ウェアラブルデバイス、ダッシュボードカメラ（「ダッシュカム」）、ドライブレコーダ、および／または他のポータブルネットワークデバイスとすることができる。本明細書で言及されるモバイルデバイスは、車両１０６および／または他の車両内に配置され得るが、モバイルデバイスは、車両の一部としては製造されず、車両と無線で通信するか、または、例えば、ユニバーサルシリアルバス（ＵＳＢ）ケーブルを介して、車両に接続されてもよい。モバイルデバイス１０４は、モバイルデバイス制御モジュール１２０、メモリ１２２、通信機１２４、センサ１２５、ディスプレイ１２６、および入力装置１２８（例えば、タッチスクリーン、マウス、キーボードなど）を含むことができる。モバイルデバイス制御モジュール１２０は、車両挙動モジュール１２９を含むことができる。車両挙動モジュール１２９はモバイルデバイス１０４に実装されるように示されているが、車両挙動モジュール１２９’および１２９’’によって表されるように、車両挙動モジュールの少なくとも一部は、サーバ１０８および／または車両１０６に実装されてもよい。メモリ１２２は、センサデータおよび／または対応するパラメータ１３０、車両挙動データ１３１、環境状態データ１３２、および／または他のデータ１３４を格納することができる。車両挙動データは、センサ１２５から収集されたデータを含むことができる。センサ１２５は、加速度センサ、ジャイロセンサ、カメラ、全地球測位システムセンサなどを含み、センサデータを生成することができる。以下でさらに説明されるように、ディスプレイ１２６は、運転者に運転者支援信号を提供するために使用され得る。
【００１６】
車両１０６は、車両制御モジュール１４０、メモリ１４２、通信機１４４、およびディスプレイ１４６を含むことができる。メモリ１４２は、車両挙動データ１４８、車両センサデータおよび／またはパラメータ１５０、環境状態データ１５２、ならびに他のデータ１５４を格納することができる。ディスプレイ１４６は、車両１０６のダッシュボード上のディスプレイ、ヘッドアップディスプレイ、または車両１０６内の他のディスプレイとすることができ、運転者支援信号を車両運転者に提供するために使用される。運転者支援信号は、運転者支援モジュール１４７によって生成されてもよいし、サーバ１０８および／またはモバイルデバイス１０４から受信されてもよいし、および／またはサーバ１０８および／またはモバイルデバイス１０４からの信号に基づいて生成されてもよい。制御モジュール１１０、１２０、１４０は、通信機１１４、１２４、１４４を介して互いに通信することができる。
【００１７】
図２は、オペレーティングシステム２０２を含むことができる車両２００を示している。車両２００は、図１の車両１０６の代わりになってもよいし、および／または、図１の車両１０６と同様に動作してもよい。オペレーティングシステム２０２は、コントローラエリアネットワーク（ＣＡＮ）バス２１０を介して互いに通信することができる車両制御モジュール２０４、インフォテインメントモジュール２０６、および他の制御モジュール２０８を含むことができる。車両制御モジュール２０４は、図１の車両制御モジュール１４０と同様に動作することができ、運転者支援モジュール２１１および／または自律制御モジュール、エンジン制御モジュール、トランスミッション制御モジュール、およびモータ制御モジュールなどの他のモジュールを含む。運転者支援モジュール２１１は、（ｉ）実行すべき提案動作および／または警告信号を、運転者に合図することによって受動的に、または（ｉｉ）車両２００の１つ以上のアクチュエータおよび／または装置の動作を補助および／または制御することによって能動的に、車両の運転者を支援することができる。これには、車両２００の設定パラメータを調整することを含むことができる。運転者支援モジュール２１１は、通信機２１３を介して、本明細書に記載のモバイルデバイス、クラウドベースのネットワークサーバのうちの１つと通信することができ、および／またはその１つからの車両挙動信号、運転者支援信号、および／または他の信号を受信することができる。
【００１８】
オペレーティングシステム２０２は、通信機２１３、センサ２１４、ナビゲーションシステム２１６、メモリ２１８、ディスプレイ２２０、およびオーディオシステム２２２をさらに含むことができる。センサ２１４は、カメラ、物体検出センサ、温度センサ、加速度センサ（またはＸ、Ｙ、Ｚ方向またはヨー、ピッチおよびロールの加速度を検出するための加速度センサ）、車速センサ、および／または、パラメータおよび／または車両２００の状態、車両２００内の物体の状態、および／または車両２００が置かれた環境に関する情報に関連するデータを提供する他のセンサを含むことができる。センサ２１４は、環境状態および車両装置の状態を検出する。ナビゲーションシステム２１６は、全地球測位システム（ＧＰＳ）受信機２２４を含むことができる。ＧＰＳ受信機２２４は、車両速度および／または車両の方向（または進行方向）を提供することができる。一実施形態では、車両制御モジュール２０４は、センサ２１４から収集したデータの少なくともいくつかをモバイルデバイス（例えば、本明細書に記載のモバイルデバイスのうちの１つ）に送信する。一実施形態では、車両２００は、センサ２１４の一部または全部、ＣＡＮバス２１０、および／または運転者支援モジュール２１１を含まない。
【００１９】
メモリ２１８は、センサおよび／またはパラメータデータ２３０、車両挙動データ２３２、環境状態データ２３４、他のデータ２３６、およびアプリケーション２３８を格納することができる。アプリケーション２３８は、モジュール２０４、２０６、２０８によって実行されるアプリケーションを含むことができる。一例として、アプリケーションの１つは、運転者支援モジュール２１１によって実行され、車両２００の運転者を支援するために使用される運転者支援アプリケーションであってもよい。
【００２０】
車両制御モジュール２０４は、車両制御モジュール２０４および／または１つ以上の他のモジュール２０８によって設定されたパラメータに従って、エンジン２４０、変換器／発電機２４２、トランスミッション２４４、ウィンドウ／ドアシステム２５０、照明システム２５２、シートシステム２５４、ミラーシステム２５６、ブレーキシステム２５８、および電気モータ２６０、および／またはステアリングシステム２６２の動作を制御することができる。車両制御モジュール２０４は、電源２６４から電力を受け取ることができ、それは、エンジン２４０、変換器／発電機２４２、トランスミッション２４４、ウインドゥ／ドアシステム２５０、照明システム２５２、シートシステム２５４、ミラーシステム２５６，ブレーキシステム２５８、電気モータ２６０およびステアリングシステム２６２などに提供され得る。
【００２１】
エンジン２４０、変換器／発電機２４２、トランスミッション２４４、ウィンドウ／ドアシステム２５０、照明システム２５２、シートシステム２５４、ミラーシステム２５６、ブレーキシステム２５８、電気モータ２６０、および／またはステアリングシステム２６２は、例えば、燃料、点火、空気流、スロットル位置、ペダル位置、ドアロック、ウィンドウ位置、シート角度、ランバーサポート位置および／または圧力、ミラー位置、ステレオプリセットなどを調整するための、車両制御モジュール２０４によって制御されるアクチュエータを含むことができる。この制御は、センサ２１４、ナビゲーションシステム２１６、およびＧＰＳ受信機２２４の出力に基づくことができる。記載された制御はまた、ユーザによって調整され得るユーザプロファイルのパラメータに一致するように実行されてもよい。オーディオシステム２２２は、ユーザによって設定され、およびモジュール２０４、２０６、２０８のうちの１つまたは複数によってユーザプロファイルに従って調整され得る、チャンネルプリセットおよび音量設定を有するステレオを含むことができる。
【００２２】
図３は、図１のモバイルデバイス１０４の代わりになってもよいし、および／または同様に動作してもよいモバイルデバイス３００を示している。モバイルデバイス３００は、携帯電話、ラップトップコンピュータ、パーソナルデータアシスタントデバイス、ウェアラブルデバイス、および／または他のポータブルネットワークデバイスとすることができる。モバイルデバイス３００は、モバイル制御モジュール３０２、センサ３０４、メモリ３０６、ディスプレイ３０８、オーディオシステム３１０、通信機３１２、および電源３１４を含むことができる、運転者支援システム３０１を含む。モバイル制御モジュール３０２は、車両挙動モジュール３１６および運転者支援モジュール３１８を含むことができる。図１の車両挙動モジュール１２９、１２９’、１２９’’は、車両挙動モジュール３１６と１つ以上の同じ動作を実行することができ、したがって、車両挙動モジュール３１６と類似した、または同じ動作をすることができる。車両挙動モジュール３１６は、さらに後述するように、センサ３０４の出力を監視して車両挙動信号を生成する。センサの出力、車両挙動モジュール３１６の出力、決定された運転者の行動、環境動作状態、および／またはメモリ３０６に記憶された他のデータに基づき、運転者支援モジュール３１８が運転者支援を提供する。これは、信号を生成、送信、表示、および／または可聴信号を生成して車両運転者を警告および／または支援することを含むことができる。
【００２３】
センサ３０４は、角速度（またはジャイロ）センサ３２０、加速度センサ３２２、ＧＰＳ受信機３２４、および／または他のセンサ３２６を含むことができる。車両挙動モジュール３１６は、センサ３２０、３２２、３２４、３２６の出力に基づいて車両挙動信号を生成する。
【００２４】
メモリ３０６は、センサ３２０、３２２、３２４、３２６から受信したセンサデータ３３０を記憶する。メモリ３０６はまた、車両挙動データ３３２、環境状態データ３３４、正規化パラメータ３３６、モデル３３８、エンコーダ／デコーダ訓練パラメータ３４０、運転者支援アプリケーション３４２、および他のアプリケーション３４４も記憶する。正規化パラメータ３３６、モデル３３８、エンコーダ／デコーダ訓練パラメータ３４０、および運転者支援アプリケーション３４２は、図４−図６の実施形態において以下で説明される。図５の方法は、運転者支援アプリケーション３４２を実行している間に、実行されることができる。
【００２５】
運転者支援モジュール３１８は、ディスプレイ３０８上に運転者支援信号を表示することができ、および／またはオーディオシステム３１０を介して運転者支援可聴警報を提供することができる。モジュール３０２、３１６、３１８は、通信機３１２を介してクラウドベースネットワークのサーバおよび／または車両内のモジュールと通信することができ、これには車両挙動信号および／または運転者支援信号の送信を含むことができる。
【００２６】
図４は、車両挙動モジュール３１６の詳細を図示する、図３のモバイルデバイス３００の一部４００を示す。その一部４００は、モバイルセンサ３０４、メモリ３０６、正規化モジュール４０２、車両信号生成モジュール４０４、連結モジュール４０６、運転者予測モジュール４０８、運転者支援モジュール４１０、および通信機３１２を含む。車両信号生成モジュール４０４は、エンコーダ４０９およびデコーダ４１１を含み、モバイルセンサ信号を疑似運転者行動信号（本明細書では単に「車両挙動信号」と呼ぶ）に変換する。これらの信号は、車両の制御モジュールによって生成されず、および／または、ＣＡＮバス上で検出されないので、生成された運転者行動信号は、「疑似車両挙動信号」と呼ばれる。擬似車両挙動信号は、むしろモバイルデバイス３００によって生成され、実際の車両挙動信号を推定する、その実際の車両挙動信号は、車両がそれらの信号を提供するように構成され、提供することができる場合、車両の制御モジュールによって生成され得る。モジュール４０２、４０４、４０６、４０８、４１０、エンコーダ４０９、およびデコーダ４１１の動作が、図５の方法において、以下にさらに説明される。
【００２７】
メモリ３０６は、正規化パラメータデータベース４１２、モデルデータベース４１４、および車両挙動データ４１６を格納する。メモリ３０６はカメラデータ４１８も記憶することができる。カメラデータ４１８は、モバイルデバイス３００内のカメラによって生成されてもよく、および／またはドライブレコーダ４２０から受信されてもよい。データ格納モジュール４２２は、通信機３１２を介して受信したデータをメモリ３０６に格納することができ、および／またはメモリ３０６に格納されたデータをクラウドベースネットワークのサーバ、車両制御モジュール、および／または他のネットワークデバイスに送信することができる。
【００２８】
一例として、ドライブレコーダ４２０が示されており、これはレコーダ制御モジュール４３０、カメラ４３２、メモリ４３４、および通信機４３６を含むことができる。ドライブレコーダ４２０は、例えば、自動車のフロントガラスの内側に取り付けられ、車両の前方のエリアを記録することができる。カメラ４３２は、車両の前方のエリアを撮像するために使用され得る。レコーダ制御モジュール４３０は、画像および／または対応する映像をメモリ４３４に記録する。これは、車両挙動モジュール３１６がモバイルセンサ信号を監視し、車両挙動信号に変換している前にまたはその間に起こり得る。画像および／または映像は、図３の車両挙動モジュール３１６、運転者支援モジュール３１８、および／または運転者予測モジュール４０８に送信することができる。
【００２９】
本明細書に開示されているシステムは、多数の方法を用いて動作させることができ、例示的な方法が図５に示されている。図５において、擬似車両挙動信号を生成する方法を含む運転者支援方法が示される。以下の動作は、主に図１−図４および図６の実施形態に関して説明されるが、その動作は、本開示の他の実装形態に適用するために容易に修正されることができる。動作は繰り返し実行されてもよい。方法は５００で開始することができる。５０２で、正規化モジュール４０２は、モバイルセンサ３０４からモバイルセンサ信号を受信し、そのモバイルセンサ信号を正規化する。一実施形態において、正規化モジュール４０２はまた、車両制御モジュール２０４からセンサデータを受信する。これには、例えば、車両加速度データ、車両速度データ、車両進行方向データなどが含まれてもよい。センサ２１４および／またはＧＰＳ受信機２２４によって生成されたセンサ信号および対応する差分値が、正規化モジュール４０２に送信されてもよい。一例として、正規化モジュール４０２は、１０ヘルツ（Ｈｚ）の速度で各センサ信号をサンプリングし、および／または１０Ｈｚの速度でセンサ信号からサンプリングされたデータを受信してもよい。
【００３０】
正規化は、複数のモバイルセンサ信号のより簡単なタイミング合わせ、および同じおよび／または異なるタイプの複数の車両から受信された信号間のタイミング合わせを可能にする。車両のタイプは、車両の製造年、製造元、モデル、および整備レベルを意味する。これは、クラウドベースのネットワークのサーバ（例えば、サーバ１０８）内で異なるデバイスおよび／または車両、運転者予測モジュール４０８、運転者支援モジュール４１０、車両挙動モジュール３１６、および／または運転者支援モジュール３１８からの信号のタイミング合わせを実行するときに役立ち得る。
【００３１】
５０４において、正規化モジュール４０２は、正規化パラメータデータベース４１２に格納された正規化パラメータなどの予め決められた正規化パラメータに基づいて、受信したセンサ信号および／またはセンサデータを正規化して、正規化信号を提供する。予め決められた正規化パラメータは、最小および最大範囲値、平均および／または分散を決定するかどうかの指標、分布タイプ、および／または他の正規化パラメータを含むことができる。一実施形態では、正規化モジュール４０２は、センサ信号およびデータを［−１ １］または［０ １］などの固定値範囲に正規化するか、または対応するデータを、平均（例えば０）と分散（例えば１）を有する正規分布に配置する。
【００３２】
５０５において、まだ整列されていない場合、正規化モジュール４０２によって生成される、結果として得られる正規化信号が、車両挙動信号に変換される前に、時間的に整列される。時間的整列は、現在のイベントに対する信号のデータ点が時間に基づいて相関するように信号を整列させることを意味する。これにより、異なる時間に検出されたデータを評価したり、正しく整列されていないデータに基づいて操作を実行したりすることが防止される。一例として、各信号は、信号を整列させることを可能にする時間基準点および／またはイベントを有することができる。説明された整列は、モジュール３０２、４０２、４０４のいずれによっても実行されてもよい。この整列は、操作５０４と５０６の間で、またはこの方法の最中の異なる時点で実行することができる。正規化結果は、固定された時間ウィンドウ（例えば、１０秒、正規化された信号あたり１０Ｈｚの観測値を有する１００データポイント）に基づいて、車両信号生成モジュール４０４に送信される。
【００３３】
５０６において、車両信号生成モジュール４０４は、正規化信号を車両挙動信号に変換（または換算）する。車両信号生成モジュール４０４は、機械学習（ＭＬ）モデルを介して正規化信号に基づいて擬似車両挙動信号を生成する。一例として、ディープニューラルネットワークをＭＬモデルとして使用することができる。一実施形態では、ディープニューラルネットワークを含む、エンコーダとデコーダのシーケンス間予測モデルが使用される。エンコーダとデコーダのシーケンス間予測モデル６００（単に「モデル」と呼ばれることがある）の一例が図６に示され、以下にさらに説明される。
【００３４】
モデルは事前訓練されており、結果として得られる訓練されたモデルのパラメータ値はモデルデータベース４１４に格納される。モデルが訓練されると、訓練されたパラメータ値に基づいて変換が実行される。訓練中に、対応する所定の既知の出力を有する所定の正規化信号を、エンコーダ６０２の入力に供給することができる。所定の既知の出力は、所定の正規化信号に基づいて生成された実際の出力と比較され、パラメータ値は、所定の既知の出力と実際の出力との間の誤差が最小化されるまで調整される。パラメータ値は、重み、係数、定数、および／または他のパラメータ値を含むことができる。
【００３５】
モデルを使用することによって、車両信号生成モジュール４０４は、受信されたモバイルセンサ信号および車両センサデータの受信データ系列と同じ時間長さ（たとえば、それぞれ３０秒）を有する推定車両挙動信号を生成する。一例として、車両信号生成モジュール４０４は、１０Ｈｚで動作し（１秒毎に１０サンプルのデータを生成する）、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号を含む４種類の車両挙動信号を生成する。
【００３６】
図６のエンコーダとデコーダのシーケンス間予測モデル６００は、エンコーダ６０２とデコーダ６０４を含む。エンコーダ６０２は、第１の埋め込みモジュール６０６と、対応する１つまたは複数の層内の第１の長短期記憶（long short-term memory：ＬＳＴＭ）モジュール６０８を含む。本明細書で言及されるＬＳＴＭモジュールは、リカレントニューラルネットワーク（ＲＮＮ）の層のための構成単位である。ＲＮＮはＬＳＴＭモジュールで構成され、しばしばＬＳＴＭネットワークと呼ばれる。一般的なＬＳＴＭモジュール（またはユニット）は、セル、入力ゲート、出力ゲートおよび忘却ゲートからなる。セルは、任意の時間間隔で値を「記憶」する責任がある。したがって、ＬＳＴＭには「記憶」という言葉がある。３つのゲートの各々は、多層（またはフィードフォワード）ニューラルネットワークにおけるような、「従来の」人工ニューロンと呼ぶことができる。ゲートは、重み付き合計のアクティベーションを（活性化関数を使用して）計算する。直感的には、ゲートはＬＳＴＭの接続を通過する値の流れを調整するものとして考えることができる。それ故、「ゲート」と表示される。これらのゲートとセルの間に接続がある。長短期という表現は、長期間続くことができる、短期記憶のモデルであるＬＳＴＭを意味する。
【００３７】
第１のＬＳＴＭモジュール６０８の各行は層と呼ばれることがある。一実施形態では、１層のみが使用される。他の実施形態では、３つの層が使用される。デコーダ６０４は、対応する１つまたは複数の層内の第２のＬＳＴＭモジュール６１０と、第２の埋め込みモジュール６１２とを含む。デコーダ６０４は、エンコーダと同様のプロセスを実行するが、逆の順序で行う。ＬＳＴＭモジュール６０８、６１０は、複数の時定数ダイナミクスを利用するために、対応するＬＳＴＭ層に積み重ねられてもよい。エンコーダは入力時系列信号をエンコードし、デコーダは出力時系列信号を生成する。一実施形態では、モジュール６０６、６０８、６１０、６１２の所定数の列（例えば３００列）が含まれる。第１のＬＳＴＭモジュール６０８は、行と列を含むアレイに配置することができる。同様に、第２のＬＳＴＭモジュール６１０は、行と列を含むアレイに配置することができる。
【００３８】
第１の埋め込みモジュール６０６は、エンコーダ６０２の第１の行に配置され、（矢印６２０によって示される）正規化信号を受信することができる。矢印６２０の各々は、モバイルセンサおよび／または車両センサの１つまたは複数の出力に対応する１つまたは複数の正規化信号を表すことができる。一例として、矢印６２０のそれぞれは、モバイルデバイス３００の５つのモバイルセンサからの出力に基づいて生成された正規化信号を表すことができる。第１の埋め込みモジュール６０６のそれぞれは、５つのモバイルセンサのそれぞれからフレームを受信することができる。エンコーダ６０２が各センサ分のデータについて３００列の入力を有し、エンコーダ６０２が１０Ｈｚで３０秒の時間ウィンドウ間にデータを受信および／またはサンプリングする場合、３００フレームのデータが各３０秒の期間の間に３００の入力にわたって受信される。
【００３９】
埋め込みモジュール６０６のそれぞれは、重なり合うウィンドウに基づいてデータをサンプリングするように構成することができ、連続した各ウィンドウは、先のウィンドウから同じ所定の時間量だけシフトされる。例えば、ウィンドウが２５％の重なりを有する場合、最初のウィンドウの間に収集されるデータの最後の２５％が、次の連続したウィンドウの最初の２５％として繰り返されてもよい。このパターンは、埋め込みモジュールの連続する各ペアについて繰り返されてもよい。これについてはさらに後述する。
【００４０】
５０６Ａにおいて、第１の埋め込みモジュール６０６は、正規化された信号をエンコードし、および／または別の特徴表現機能を実行することができる。埋め込みモジュール６０６は、正規化信号の線形結合を実行し、要約された特徴を抽出することができる。埋め込みモジュール６０６は、第１のＬＳＴＭ６０８よりも正規化信号のより抽象的な表現を提供することができる。一例として、Ｘ、Ｙ、Ｚ加速度データが受信された場合、これらの信号は、式１で表されるように重み付き合計で結合され得る。ここで、Ｃ１、Ｃ２、Ｃ３は定数、Ｘ、Ｙ、Ｚはｘ、ｙ，ｚ方向における加速度データ、およびＳＵＭは結果として生じる合計である。
（数１）    ＳＵＭ＝Ｃ１Ｘ＋Ｃ２Ｙ＋Ｃ３Ｚ
代替として、非線形結合が、例えば、合計の双曲線正接（ｔａｎｈ）を決定することによって提供されてもよい。
【００４１】
５０６Ｂにおいて、第１のＬＳＴＭモジュール６０８は、埋め込みモジュール６０６の出力に基づいて、モデルセンサ信号および／または車両データをモデル化する。第１のＬＳＴＭモジュール６０８は、入力系列を固定次元のベクトルにマッピングすることができる。第１のＬＳＴＭモジュール６０８は、一度に１回の時間ステップで入力系列を読み取り、大きな固定次元ベクトル表現を得ることができる。第１のＬＳＴＭモジュール６０８の各行は、異なる速度ダイナミクスをモデル化し、および／または別のレベルの推定を提供することができる。含まれる層が多いほど、推定される出力信号はより良好および／またはより滑らかになる。追加の各行および／または各列は、変換されるべき適切なセンサデータの、よりフィルタリングされ、より近い推定値を提供する。第１のＬＳＴＭモジュール６０８は、結果として得られる出力値への行ごと列ごとの収束を提供する。
【００４２】
５０６Ｃにおいて、第２のＬＳＴＭモジュール６１０は、第１のＬＳＴＭモジュール６０８のうちの最後のものの出力に基づいて車両挙動信号をモデル化する。第２のＬＳＴＭモジュール６１０は、ベクトルをデコードして、目標または出力系列を提供することができる。第２のＬＳＴＭモジュール６１０は、ベクトルから出力系列を抽出する。第２のＬＳＴＭモジュール６１０の各行は、異なる速度ダイナミクスをモデル化し、および／または別のレベルの推定を提供することができる。含まれる層が多いほど、推定される出力信号はより良好および／またはより滑らかになる。追加の各行および／または各列は、推定される車両挙動信号の、よりフィルタリングされ、より近い推定値を提供する。第２のＬＳＴＭモジュール６１０は、結果として得られる出力値への行ごと列ごとの収束を提供する。
【００４３】
５０６Ｄにおいて、第２の埋め込みモジュール６１２は、第２のＬＳＴＭモジュール６１０の最後の行の出力をデコードして、結果として生じる擬似車両挙動信号を提供する。第２の埋め込みモジュール６１２は、線形投影オートデコーダとして実装されることができる。
【００４４】
より正確な信号を生成するためにマルチタスク学習アプローチが実施されてもよい。図６は、複数の信号を並列に受信する単一のエンコーダと、複数の信号を並列に出力する単一のデコーダとを示すが、代替として、エンコーダの出力は、複数のデコーダのそれぞれに提供されてもよい。マルチタスク学習は、エンコーダに対しておよびデコーダに対して実施することができる。例えば、４つのデコーダを使用して、４つの車両挙動信号を独立して生成してもよい。４つの車両挙動信号は、車速信号、ステアリングホイール角信号、アクセルペダル操作信号、およびブレーキペダル操作信号であってもよい。車両挙動信号は連結モジュール４０６に送信される。
【００４５】
５０８において、連結モジュール４０６は、第２の埋め込みモジュール６１２の時系列（または時間系列）の出力を連結して、擬似車両挙動信号（例えば擬似車両挙動信号６２２）の形態で車両挙動を表す複数の時系列データを形成する。所定量の連結が実行され得る。例えば、６０個の連続した３０秒の時間系列を連結して３０分の時間系列を提供することができる。擬似車両挙動信号は、擬似ＣＡＮ信号と呼ばれることがあり、ＣＡＮメッセージと同様に使用され得る。連結モジュール４０６は、推定されている各車両挙動信号に対して、推定された時間系列を連結して単一の合成時間系列を形成する。結果として得られる時間系列は、推定される車両挙動信号について、各時間ステップで（例えば、１０Ｈｚサンプリングの場合、各時間ステップは０．１秒である）、生成された時間系列の平均値を計算することによって提供され得る。代替として、加重平均が計算されてもよいし、Gaussian processが実行されてもよいし、または単純な連結が実行されてもよい。
【００４６】
別の例として、推定される車両挙動信号の時間系列の重なり合う部分について加重平均が計算されて、連続する一連のデータを提供してもよく、ここで時間系列の重なり合う部分に対応する一連のデータの一部は加重平均値にセットされる。これはスライディングウィンドウアプローチと呼ばれ、スライディングウィンドウ内にある時間系列の部分に対して加重平均が計算され、系列のそれぞれの重なり合う部分に対する平均を計算するためにウィンドウの開始時間と終了時間が調整される。一例として、車両挙動信号を推定するために使用される各時間系列は３０秒のデータを有することができ、ここで各々のウィンドウの７５％は次の連続するウィンドウと重なっている。その結果、第１のウィンドウは、今後の複数のウィンドウによって部分的にオーバーラップされ得る。スライディングウィンドウに関連する期間に含まれる時間系列内のデータが平均化され、および／またはその期間について平均が計算されて使用される。次いで、スライディングウィンドウの開始時間と終了時間が、例えば、系列の次の重なり部分の次の平均を計算するために所定の量だけ増分または増加される。このプロセスは、所定量の時間（例えば、３０分）の連続データが提供されるまで繰り返されてもよい。
【００４７】
５１０で、疑似車両挙動信号が、モバイルデバイスからサーバ１０８および／または車両制御モジュール２０４に送信される。次いで、車両の運転者支援モジュール２１１は、擬似車両挙動信号および／またはセンサ２１４、ＧＰＳ受信機２２４、および／またはメモリ２１８から収集された他の情報に基づいて、インフォテインメントシステムを介してアラート、警告および／または運転者支援信号を生成することができる。これには、運転者にブレーキ圧力を増加させること、アクセルペダル踏力を減少させること、ステアリングホイールを特定の方向に転舵させることなどを指示することを含むことができる。
【００４８】
５１２において、運転者予測モジュール４０８は、疑似車両挙動信号、モバイルセンサ信号、ドライブレコーダ４２０からの映像データ、車両センサからのデータ、および／または他のデータに基づいて、運転者の行動を予測することができる。これには、ステアリングホイール角度、ブレーキペダル位置、アクセルペダル位置、車速、加速度、減速度、および／または右／左への旋回、車線変更、停止などのより高度な運転行動を予測することを含むことができる。これにより、運転者支援モジュール３１８は、運転者が特定の環境状態に適切に対応しているかどうかを判断することができる。
【００４９】
５１４において、運転者支援モジュール３１８は、擬似車両挙動信号によって示されるような現在の運転者行動、予測運転者行動、および／または、モバイルセンサ信号、ドライブレコーダ４２０からの映像データ、環境状態データ、および車両センサデータからのものなどの他の情報に基づいて、運転者支援信号を生成する。記載された信号および情報は、運転者支援モジュール３１８が、交通事象を検出し、運転者が現在どのように車両を運転して現在の状況に反応しているかに関する情報を保有し、運転者が交通事象にどう反応するかを予測することを可能とする。この情報の全ては、モバイルデバイス３００からサーバ１０８に送信されることができる。
【００５０】
５１６において、運転者支援信号は、ディスプレイ３０８および／またはオーディオシステム３１０を介して運転者に提供され得る。これには、ブレーキ圧を上げる、アクセルペダル踏力を下げる、ステアリングホイールを一定の方向に操舵するなどの推奨事項も含まれる。方法は、操作５１０、５１６を実行することに続いて、５１８で終了することができる。
【００５１】
上述の動作は用例であることを意味する。動作は、順次に、同期的に、同時に、連続的に、重複する期間中に、または用途に応じて異なる順序で実行することができる。また、実行および／またはイベントのシーケンスに応じて、任意の動作が実行されなかったり、スキップされたりしてもよい。
【００５２】
本明細書に開示される車両支援モジュールおよびシステムは、車両挙動信号を収集、送信、および／または記録するための電子機器を持たないかもしれない、従来の車両内からの車両挙動信号の収集および記憶を可能にする。車両挙動信号は、車両内に配置することができる、開示されたモバイルデバイスによって生成される。車両挙動信号は、モバイルデバイスに記憶され、および／またはクラウドベースのネットワークのサーバおよび／または他の車両に送信されることができる。モバイルデバイスは、車両内に配置されたドライブレコーダからのデータを受信し、記憶し、および／または車両内の制御モジュールおよび／またはサーバに送信することができる。
【００５３】
記載された例を実行することによって、豊富な運転経験が従来の車両に提供される。モバイルデバイス内に配置された簡素および／または安価なセンサ、および／またはドライブレコーダを使用して、運転手の支援が従来の車両において提供される。モバイルセンサから車両挙動信号への変換は、時間遅延を考慮し、変換に統合されたフィルタリングを介してノイズを最小限に抑えながら実行される。
【００５４】
前述の説明は、事実上単なる例示に過ぎず、本開示、その用途、または使用を限定するものでは決してない。本開示の広範な教示は、様々な形態で実施することができる。従って、本開示は特定の例を含むが、他の変形例が、図面、明細書及び添付の特許請求の範囲の検討から明らかになるので、本開示の真の範囲は、それに限定されるべきではない。方法における１つ又は複数のステップは、本開示の原理を変更することなく、異なる順序で（又は同時に）実行され得ることを理解されたい。さらに、それぞれの実施形態は、特定の特徴を有するものとして上述されたが、本開示の任意の実施形態に関して説明される任意の１つ又は複数の特徴は、該当する組合せが明示的に記載されていなくとも、任意の他の実施形態の特徴に実装され、及び／又は組み合わせることができる。換言すれば、説明された実施形態は、相互に排他的ではなく、１つ又は複数の実施形態の互いの入れ替えは、本開示の範囲内にとどまる。
【００５５】
要素間（例えばモジュール間、回路素子間、半導体層間など）の空間的及び機能的関係は、「接続され」、「係合され」、「結合され」、「隣接」、「隣」、「上に」、「上方」、「下方」、及び「配置され」などを含む、様々な用語を用いて記載される。上記開示において、第１要素と第２要素との関係が記載されるときに、「直接」であると明示的に記載されていない限り、その関係は、第１及び第２の要素間に他の介在する要素が存在しない直接の関係でありえるだけでなく、第１及び第２の要素間に（空間的もしくは機能的に）１つ又は複数の介在する要素が存在する間接的な関係でもありえる。本明細書で使用されるように、Ａ、Ｂ、及びＣの少なくとも１つとのフレーズは、非排他的論理和を使用して、論理（Ａ  ＯＲ  Ｂ  ＯＲ  Ｃ）を意味すると解釈されるべきであり、「Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つ」を意味すると解釈されるべきではない。
【００５６】
図面において、示される矢印の方向は、一般的に、例示に重要である（例えば、データ又は命令のような）情報の流れを示す。例えば、要素Ａと要素Ｂとが多様な情報を交換するが、要素Ａから要素Ｂへ送信される情報が図示に関連するとき、矢印は、要素Ａから要素Ｂを指すかもしれない。このような一方向の矢印は、他の情報が要素Ｂから要素Ａへ送信されないことを意味するものではない。さらに、要素Ａから要素Ｂへ送信される情報について、要素Ｂは、要素Ａに、情報に対する要求又は情報の受領通知を送信しても良い。
【００５７】
以下の定義を含む本出願において、「モジュール」との用語又は「コントローラ」との用語は、「回路」という用語に置き換えることができる。用語「モジュール」は、特定用途向け集積回路（ＡＳＩＣ）、デジタル、アナログ、又は混合アナログ／デジタルディスクリート回路、デジタル、アナログ、又は混合アナログ／デジタル集積回路、組合せ論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コードを実行するプロセッサ回路（共有、専用、又はグループ）と、プロセッサ回路によって実行されるコードを記憶するメモリ回路（共有、専用、又はグループ）と、説明された機能を提供する他の適切なハードウェア構成要素、又は、システムオンチップ（ｓｙｓｔｅｍ−ｏｎ−ｃｈｉｐ）のような、上記の一部又は全部の組み合わせを指しても良く、その一部であっても良いし、含んでいても良い。
【００５８】
モジュールは、１つ又は複数のインターフェース回路を含んでも良い。いくつかの例では、インターフェース回路は、ローカルエリアネットワーク（ＬＡＮ）、インターネット、ワイドエリアネットワーク（ＷＡＮ）、又は、それらの組み合わせに接続された有線又は無線インターフェースを含むことができる。本開示の任意のモジュールの機能は、インターフェース回路を介して接続される複数のモジュールに分散されてもよい。例えば、複数のモジュールで負荷分散機能を可能にしても良い。さらなる例では、（リモート又はクラウドとしても知られている）サーバモジュールは、クライアントモジュールに代わっていくつかの機能を達成してもよい。
【００５９】
上で使用されたように、「コード」との用語は、ソフトウェア、ファームウェア、および／またはマイクロコードを含むことができ、プログラム、ルーチン、機能、クラス、データ構造、および／またはオブジェクトを指すことができる。「共有プロセッサ回路」との用語は、複数のモジュールからのコードの一部又は全部を実行する単一のプロセッサ回路を包含する。「グループプロセッサ回路」との用語は、追加のプロセッサ回路と組み合わせて、１つ又は複数のモジュールからのコードの一部又は全部を実行するプロセッサ回路を包含する。複数のプロセッサ回路への言及は、ディスクリートダイ上の複数のプロセッサ回路、単一のダイ上の複数のプロセッサ回路、単一のプロセッサ回路の複数のコア、単一のプロセッサ回路の複数のスレッド、又は上記の組み合わせを包含する。「共有メモリ回路」との用語は、複数のモジュールからのコードの一部又は全部を格納する単一のメモリ回路を包含する。「グループメモリ回路」との用語は、追加のメモリと組み合わせて、１つ又は複数のモジュールからのコードの一部又は全部を格納するメモリ回路を包含する。
【００６０】
「メモリ回路」との用語は、「コンピュータ可読媒体」との用語のサブセットである。本明細書で使用されるように、「コンピュータ可読媒体」との用語は、（搬送波上のような）媒体を通じて伝搬する一時的な電気信号又は電磁信号を包含せず、それゆえ、「コンピュータ可読媒体」との用語は、有形かつ非一時的であると見なすことができる。非一時的な有形のコンピュータ可読媒体の非限定的な例は、不揮発性メモリ回路（フラッシュメモリ回路、消去可能なプログラム可能な読み出し専用メモリ回路、又はマスク読み出し専用メモリ回路など）、揮発性メモリ回路（スタティックランダムアクセスメモリ回路又はダイナミックランダムアクセスメモリ回路など）、磁気記憶媒体（アナログ又はデジタル磁気テープ、又はハードディスクドライブなど）、及び、光記憶媒体（ＣＤ、ＤＶＤ、又はブルーレイディスクなど）である。
【００６１】
本出願に記載された装置及び方法は、コンピュータプログラムに組み込まれた１つ又は複数の特定の機能を実行するように汎用コンピュータを構成することによって作成された専用コンピュータによって部分的又は完全に実現されてもよい。上述した機能ブロック、フローチャートの構成要素、および上述された他の要素は、熟練技術者又はプログラマーのルーチン作業によってコンピュータプログラムに翻訳することができるソフトウェア仕様として機能する。
【００６２】
コンピュータプログラムは、少なくとも１つの非一時的な有形のコンピュータ可読媒体に記憶されたプロセッサ実行可能命令を含む。コンピュータプログラムは、記憶されたデータを含むか又はそれに依拠することができる。コンピュータプログラムは、専用コンピュータのハードウェアと相互作用する基本入出力システム（ＢＩＯＳ）、専用コンピュー
タの特定のデバイスと相互作用するデバイスドライバ、１つ又は複数のオペレーティングシステム、ユーザアプリケーション、バックグラウンドサービス、バックグラウンドアプリケーションなどを含んでも良い。
【００６３】
コンピュータプログラムは、（ｉ）ＨＴＭＬ（ハイパーテキストマークアップ言語）、ＸＭＬ（拡張可能マークアップ言語）、またはＪＳＯＮ（ジャバスクリプトオブジェクト表記）のような構文解析される記述テキスト、（ｉｉ）アセンブリコード、（ｉｉｉ）コンパイラによってソースコードから生成されたオブジェクトコード、（ｉｖ）インタプリタによる実行のためのソースコード、（ｖ）ジャストインタイムコンパイラによるコンパイル及び実行のためのソースコードなどを含んでも良い。例としてのみ、ソースコードは、Ｃ、Ｃ＋＋、Ｃ＃、オブジェクティブＣ、Ｓｗｉｆｔ、Ｈａｓｋｅｌｌ、Ｇｏ、ＳＱＬ、Ｒ、Ｌｉｓｐ、Ｊａｖａ（登録商標）、Ｆｏｒｔｒａｎ、Ｐｅｒｌ、Ｐａｓｃａｌ、Ｃｕｒｌ、ＯＣａｍｌ、Ｊａｖａｓｃｒｉｐｔ（登録商標）、ＨＴＭＬ５（ハイパーテキストマークアップ言語第５版）、Ａｄａ、ＡＳＰ（Ａｃｔｉｖｅ  Ｓｅｒｖｅｒ  Ｐａｇｅｓ）、ＰＨＰ（ハイパーテキストプリプロセッサ）、Ｓｃａｌａ、Ｅｉｆｆｅｌ、Ｓｍａｌｌｔａｌｋ、Ｅｒｌａｎｇ、Ｒｕｂｙ、Ｆｌａｓｈ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ（登録商標）、Ｌｕａ、ＭＡＴＬＡＢ、ＳＩＭＵＬＩＮＫ、及びＰｙｔｈｏｎ（登録商標）を含む言語から構文を使用して記述することができる。
【符号の説明】
【００６４】
１００：運転者支援システム、１０２：クラウドベースネットワーク、１０４：モバイルデバイス、１０６：車両、１０８：サーバ、１１０：サーバ制御モジュール、１１２：メモリ、１１４：通信機、１１８：データベース、１２０：モバイルデバイス制御モジュール、１２２：メモリ、１２４：通信機、１２５：センサ、１２６：ディスプレイ、１２８：入力装置、１２９、１２９’、１２９’’：車両挙動モジュール、１３０：センサデータ、１３１：車両挙動データ、１３２：環境状態データ、１３４：他のデータ、１４０：車両制御モジュール、１４２：メモリ、１４４：通信機、１４６：ディスプレイ、１４７：運転者支援モジュール、１４８：車両挙動データ、１５０：センサデータ、１５２：環境状態データ、１５４：他のデータ
【図１】
2020024685.tif 000003
【図２】
2020024685.tif 000004
【図３】
2020024685.tif 000005
【図４】
2020024685.tif 000006
【図５】
2020024685.tif 000007
【図６】
2020024685.tif 000008