(57)【要約】      （修正有）【課題】ビークルオペレータの用心度の低下を軽減する。【解決手段】ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、オペレータを監視し、オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及びオペレータ状態情報に従って、オペレータの関与レベルを演算し、ビークルの動作及びビークルの周りの現在の動作環境に関する用心度を維持するようにオペレータを促すために、拡張現実（ＡＲ）ディスプレイ上において、少なくとも１つのグラフィカル要素を関与レベルの関数としてレンダリングすることを含む。【選択図】図４
2018206366.tif 000002
【特許請求の範囲】
【請求項１】
ビークル内のオペレータの用心度の低下を軽減するための用心システムであって、
１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサに通信自在に結合されたメモリであって、
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、前記ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視するようにする命令を含む監視モジュールと、
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算するようにする命令を含む用心度モジュールと、
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する用心度を維持するように前記オペレータを促すために、前記ビークル内の拡張現実（ＡＲ）ディスプレイ上に、少なくとも１つのグラフィカル要素を前記関与レベルの関数としてレンダリングするようにする命令を含むレンダリングモジュールと、
を記憶するメモリと、
を備える、用心システム。
【請求項２】
前記レンダリングモジュールは、前記ＡＲディスプレイ上におけるオーバーレイとして、前記ビークルの１つ又は複数のセンサからのデータを使用して前記ＡＲディスプレイ内において視覚化をレンダリングすることにより、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を更に含み、
前記レンダリングモジュールは、前記現在の動作環境に関する自律運転モジュールの現在の決定及び状況的認知を示す前記自律運転モジュールの内部状態情報をレンダリングすることにより、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を更に含み、前記自律運転モジュールは、ＳＡＥのレベル２分類に従って前記ビークルを制御する、
請求項１に記載の用心システム。
【請求項３】
前記用心度の低下は、前記オペレータが、前記現在の動作環境を通じて、前記現在の動作環境及び前記ビークルの自律的動作について認知している程度を示しており、
前記用心度モジュールは、前記関与レベルにおいて前記ビークルの前記現在の動作環境を説明するために、前記オペレータ状態情報と共に動的なビークルデータを分析することにより、前記関与レベルを演算するための命令を更に含み、前記動的なビークルデータは、少なくとも、前記ビークルのテレマティクス、前記ビークルの現在の場所、及び天候情報を含み、前記関与レベルは、前記ビークルの前記自律的動作及び前記現在の動作環境との関係における前記オペレータの現在の心理的認知を示している、
請求項１に記載の用心システム。
【請求項４】
前記監視モジュールは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することにより、前記オペレータを監視するための命令を更に含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記用心度モジュールは、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成することにより、前記関与レベルを演算するための命令を更に含み、前記用心度モデルは、前記オペレータ状態情報及び前記現在の動作環境の関数として前記オペレータの可能性が高い用心度の低下を特徴付ける統計的モデルである、
請求項１に記載の用心システム。
【請求項５】
前記用心度モジュールは、前記オペレータに従って前記レンダリングをカスタマイズするために、前記オペレータ状態情報と、前記少なくとも１つのグラフィカル要素に応じた、観察された前記オペレータの促された応答と、に従って、前記用心度モデルを更新するための命令を更に含む、
請求項１に記載の用心システム。
【請求項６】
前記監視モジュール、前記用心度モジュール、及び前記レンダリングモジュールは、前記オペレータ状態情報を動的に更新するために、前記関与レベルを反復的に演算するために、且つ、前記関与レベルの観察された変化に従って前記少なくとも１つのグラフィカル要素の前記レンダリングを調節するために、フィードバックループを使用して、並列的に前記１つ又は複数のプロセッサ上で稼働し、
前記監視モジュール、前記用心度モジュール、及び前記レンダリングモジュールが並列的に稼働しつつ、前記ビークルがＳＡＥのレベル２自律性に従って動作し、前記レンダリングモジュールは、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの前記用心度を維持するために、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を更に含む、
請求項１に記載の用心システム。
【請求項７】
前記レンダリングモジュールは、
（ｉ）前記関与レベルに従って前記ＡＲディスプレイ内のオーバーレイの不透明性を変化させることと、
（ｉｉ）前記ＡＲディスプレイ内において表示されるグラフィック要素の数を変化させることと、
（ｉｉｉ）前記ＡＲディスプレイにおいて前記オペレータの目視線内に前記少なくとも１つのグラフィカル要素をレンダリングすることと、
（ｖ）前記ビークルの前記少なくとも１つのセンサによって読み取られた前記現在の動作環境の態様に関する前記オペレータ用の質問を含むテキストを前記ＡＲディスプレイ内においてレンダリングすることと、
のうちの１つ又は複数により、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を更に含む、
請求項１に記載の用心システム。
【請求項８】
前記レンダリングモジュールは、前記ＡＲディスプレイ内におけるグラフィックオーバーレイとして前記ビークルのＬＩＤＡＲセンサからの点群データをレンダリングすることにより、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を更に含む、請求項１に記載の用心システム。
【請求項９】
ビークル内のオペレータの用心度の低下を軽減するための非一時的なコンピュータ可読媒体であって、１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、
前記ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視し、
前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算し、
前記ビークルの動作及び前記ビークルの周りの現在の動作環境に関する用心度を維持するように前記オペレータを促すために、前記ビークル内の拡張現実（ＡＲ）ディスプレイ上において、少なくとも１つのグラフィカル要素を前記関与レベルの関数としてレンダリングする、
ようにする命令を記憶している、非一時的なコンピュータ可読媒体。
【請求項１０】
前記監視、演算、及びレンダリングするための命令は、前記オペレータ状態情報を動的に更新するために、前記関与レベルを反復的に演算するために、且つ、観察された前記関与レベルの変化に従って前記少なくとも１つのグラフィカル要素の前記レンダリングを調節するために、フィードバックループを使用することにより、並列的に前記１つ又は複数のプロセッサ上で稼働し、
前記監視、演算、及びレンダリングするための命令が並列的に前記１つ又は複数のプロセッサ上において稼働しつつ、前記ビークルがＳＡＥのレベル２自律性に従って動作し、前記少なくとも１つのグラフィカル要素をレンダリングするための前記命令は、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの前記用心度を維持する、
請求項９に記載の非一時的なコンピュータ可読媒体。
【請求項１１】
前記オペレータを監視するための前記命令は、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集するための命令を更に含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記関与レベルを演算する前記命令は、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成するための命令を更に含み、前記用心度モデルは、前記オペレータ状態情報及び前記現在の動作環境の関数として前記オペレータの可能性の高い用心度の低下を特徴付ける統計的モデルである、
請求項９に記載の非一時的なコンピュータ可読媒体。
【請求項１２】
前記少なくとも１つのグラフィカル要素をレンダリングするための前記命令は、前記ＡＲディスプレイ上におけるオーバーレイとして、前記ビークルの１つ又は複数のセンサからのデータを使用して前記ＡＲディスプレイ内において視覚化をレンダリングするための命令を含み、
前記少なくとも１つのグラフィカル要素をレンダリングするための前記命令は、前記現在の動作環境に関する自律運転モジュールの現在の決定及び状況的認知を示す前記自律運転モジュールの内部状態情報をレンダリングするための命令を含み、
前記自律運転モジュールは、ＳＡＥのレベル２分類に従って前記ビークルを制御する、
請求項９に記載の非一時的なコンピュータ可読媒体。
【請求項１３】
前記少なくとも１つのグラフィカル要素をレンダリングするための前記命令は、前記ＡＲディスプレイ内におけるグラフィックオーバーレイとして前記ビークルのＬＩＤＡＲセンサからの点群データをレンダリングするための命令を更に含む、請求項９に記載の非一時的なコンピュータ可読媒体。
【請求項１４】
拡張現実（ＡＲ）ディスプレイを有するビークル内のオペレータの用心度の低下を軽減する方法であって、
前記ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視することと、
前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算することと、
前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する用心度を維持するように前記オペレータを促すために、前記ＡＲディスプレイ上に、少なくとも１つのグラフィカル要素を前記関与レベルの関数としてレンダリングすることと、
を含む方法。
【請求項１５】
前記オペレータを監視すること、前記関与レベルを演算すること、及び前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記関与レベルを反復的に演算するために、且つ、促された前記オペレータの前記用心度に従って前記少なくとも１つのグラフィカル要素の前記レンダリングを調節するために、前記少なくとも１つのセンサからの更新済みのオペレータ状態情報のフィードバックループを使用して、並列的に稼働し、
前記監視すること、演算すること、及びレンダリングすることが並列的に稼働しつつ、前記ビークルがＳＡＥのレベル２自律性に従って動作し、前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの前記用心度を維持する、
請求項１４に記載の方法。
【請求項１６】
前記用心度の低下は、前記オペレータが、前記現在の動作環境を通じて、現在の動作環境及び前記ビークルの進捗について認知している程度を示しており、
前記関与レベルを演算することは、前記関与レベルを演算するときに、前記ビークルの前記現在の動作環境を説明するために、前記オペレータ状態情報と共に動的なビークルデータを分析することを更に含み、前記動的なビークルデータは、少なくとも、前記ビークルのテレマティクス、前記ビークルの現在の場所、及び天候情報を含み、前記関与レベルは、前記ビークルの前記自律的動作及び前記現在の動作環境との関係における前記オペレータの現在の心理的認知を示している、
請求項１４に記載の方法。
【請求項１７】
前記オペレータを監視することは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することを含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記関与レベルを演算することは、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成することを含み、前記用心度モデルは、前記現在の動作環境に従って前記オペレータ状態情報の関数として前記オペレータの可能性が高い用心度の低下を特徴付ける統計的モデルである、
請求項１４に記載の方法。
【請求項１８】
前記オペレータに従って前記レンダリングすることをカスタマイズするために、前記オペレータ状態情報と、前記少なくとも１つのグラフィカル要素の前記レンダリングに従う観察された前記オペレータの促された応答と、に従って、前記用心度モデルを更新することを更に有する、請求項１４に記載の方法。
【請求項１９】
前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記ＡＲディスプレイ上におけるオーバーレイとして、前記ビークルの前記１つ又は複数のセンサからのデータを使用して前記ＡＲディスプレイ内において視覚化をレンダリングすることを更に含み、
前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記現在の動作環境に関する自律モジュールの現在の決定及び状況的認知を示す前記自律モジュールの内部状態情報をレンダリングすることを更に含み、
前記自律モジュールは、ＳＡＥのレベル２分類に従って前記ビークルを制御する、
請求項１４に記載の方法。
【請求項２０】
前記少なくとも１つのグラフィカル要素をレンダリングすることは、
（ｉ）前記関与レベルに従って前記ＡＲディスプレイ内においてオーバーレイの不透明性を変更することと、
（ｉｉ）前記ＡＲディスプレイ内において表示されるグラフィック要素の数を変化させることと、
（ｉｉｉ）前記ＡＲディスプレイにおいて前記オペレータの目視線内に更なる要素を追加することと、
（ｉｖ）前記ＡＲディスプレイ内におけるグラフィカルオーバーレイとして前記ビークルのＬｉＤＡＲセンサからの点群データをレンダリングすることと、
（ｖ）前記ビークルの前記少なくとも１つのセンサによって読み取られた前記現在の動作環境の態様に関する前記オペレータ用の質問を含むテキストを前記ＡＲディスプレイ内においてレンダリングすることと、
のうちの１つ又は複数を更に含む、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本開示において記述される主題は、概して、用心度（用心状態）の低下を監視し防止／軽減するためのシステム及び方法に関し、更に詳しくは、ビークル（車両、乗り物、又は輸送機関）のオペレータの関与度を維持するためのビークルにおける拡張現実（ＡＲ）の使用に関する。
【背景技術】
【０００２】
背景
自律ビークルは、周囲環境（例えば、障害物、道路など）を検知することができ、且つ、人間からの入力を伴うことなく、又は、少なくとも部分的に人間からの入力を伴うことなく、周囲環境を通じて自律的にナビゲートすることができる。即ち、自律ビークルは、異なるレベルの自律性に従って動作することができる。例えば、自律ビークルは、自律運転のための米国自動車技術者協会（ＳＡＥ）のレベル２分類に従って動作することができる。この自律動作モードにおいて、自律ビークルは、ビークルが様々な状況に起因して自律的に動作できない又は動作すべきでないときには、自律動作からビークルオペレータによる手動制御へのハンドオーバに少なくとも部分的に依存する。
【０００３】
但し、ビークルによって開始されるのか又はオペレータからの介入を通じて開始されるのかとは無関係に、ハンドオーバは、明白な通知を伴うことなく発生しうる。従って、ハンドオーバを確実に実現するために、オペレータは、概して、自律性が関与を停止した場合に行動するための準備完了度（準備完了状態）と、ビークルの自律性が危険な状況を検出できないときに監督して選択的に行動をとるための用心度と、の両方を維持すべきである。
【発明の概要】
【０００４】
オペレータの準備完了度及び用心度を保証するには、様々な困難が存在する。例えば、ビークルは、レベル２の自律性においては、オペレータからの手動入力なしに長期間にわたって動作しうるので、オペレータは、ビークルの周りの環境に注意を払うことを停止するおそれがあり、且つ、ぼんやりする、関係のないタスクに関与する、などを始めるおそれがある。更に、可聴アラートなどのアプローチは、関与度（関与状態）を効果的に保証するのではなく、オペレータにとって煩わしいおそれがある。更に、手をハンドル上に維持すること及び／又は眼を前向きに維持することをオペレータに要求するアプローチも、効果的でないおそれがある。その理由は、オペレータが、依然としてぼんやりし又は他のタスクに集中しつつ、監視システムを充足するだけのために、上述の姿勢をとるおそれがあるからである。この結果、上述のアプローチは、ビークルオペレータの準備完了度及び用心度の両方を維持することができない。
【０００５】
概要
本開示には、用心度の低下を軽減するための用心システムの一例が提示される。ビークルの操作の文脈における用心度の低下は、概して、物理的に関与していないときにビークルオペレータが時間の経過に伴って周囲環境に関与しない状態となり、従って、ビークルを取り囲む態様（ないし特徴、外観）及びビークルが自律的に動作しているときにビークルの動作に恐らくは影響を及ぼすであろう態様について相対的に乏しい認知状態となる傾向を意味する。従って、一実施形態においては、用心システムは、運転タスク及び周囲環境の態様と関与した状態にオペレータを維持することを促進するために、自律的に（例えば、ＳＡＥのレベル２）動作するビークル内に実装される。更には、用心システムは、例えば、オペレータ監視システム（例えば、眼の追跡用のカメラ）や拡張現実（ＡＲ）システムなどのような更なるシステムと共に、ビークル内に実装される。従って、一実施形態においては、用心システムは、自律システムから制御を引き取るための可能なニーズについて用心状態にあるのみならず、自律システムが手動制御へのハンドオーバを実行した場合にビークルを制御するのに準備完了状態であるように、オペレータを促す様々なビジュアルをレンダリングするために、同時に、ビークルのオペレータを監視し、拡張現実ディスプレイを制御する。
【０００６】
一実施形態においては、ビークル内のオペレータの用心度の低下を軽減するためのシステムが開示されている。システムは、１つ又は複数のプロセッサと、１つ又は複数のプロセッサに通信自在に結合されたメモリと、を含む。メモリは、１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサが、ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、オペレータを監視するようにする命令を含む監視モジュールを記憶している。メモリは、１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサが、オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及びオペレータ状態情報に従ってオペレータの関与レベルを演算するようにする命令を含む用心度モジュールを記憶している。メモリは、１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサが、ビークルの自律的動作及びビークルの周りの現在の動作環境に関する用心度を維持するようにオペレータを促すために、ビークル内の拡張現実（ＡＲ）ディスプレイ上に、少なくとも１つのグラフィカル要素を関与レベルの関数としてレンダリングするようにする命令を含むレンダリングモジュールを記憶している。
【０００７】
一実施形態においては、ビークル内のオペレータの用心度の低下を軽減するための非一時的なコンピュータ可読媒体が開示されている。コンピュータ可読媒体は、１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサが、開示されている機能を実行するようにする命令を記憶している。命令は、ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、オペレータを監視するための命令を含む。命令は、オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及びオペレータ状態情報に従ってオペレータの関与レベルを演算するための命令を含む。命令は、ビークルの動作及びビークルの周りの現在の動作環境に関する用心度を維持するようにオペレータを促すために、ビークル内の拡張現実（ＡＲ）ディスプレイ上において、少なくとも１つのグラフィカル要素を関与レベルの関数としてレンダリングするための命令を含む。
【０００８】
一実施形態においては、拡張現実（ＡＲ）ディスプレイを有するビークル内のオペレータの用心度の低下を軽減する方法が開示されている。方法は、ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、オペレータを監視することを含む。方法は、オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及びオペレータ状態情報に従ってオペレータの関与レベルを演算することを含む。方法は、ビークルの自律的動作及びビークルの周りの現在の動作環境に関する用心度を維持するようにオペレータを促すために、ＡＲディスプレイ上において、少なくとも１つのグラフィカル要素を関与レベルの関数としてレンダリングすることを含む。
【０００９】
本明細書に包含されると共にその一部分を構成している添付図面は、本開示の様々なシステム、方法、及び他の実施形態を示している。図面に示される要素境界（例えば、ボックス、ボックスのグループ、又は他の形状）は、境界の一実施形態を表していることを理解されたい。いくつかの実施形態においては、１つの要素が複数の要素として設計されてもよく、又は、複数の要素が１つの要素として設計されてもよい。いくつかの実施形態においては、別の要素の内部コンポーネントとして示される要素が、外部コンポーネントとして実装されてもよく、逆も同様である。更には、要素は、正確な縮尺で図示されない場合がある。
【図面の簡単な説明】
【００１０】
【図１】本開示に開示されるシステム及び方法が実装されうるビークルの一実施形態を示す。
【００１１】
【図２】運転タスクに関与するようビークルのオペレータを促すことに関連する用心システムの一実施形態を示す。
【００１２】
【図３】図２の用心システムの要素の間におけるフィードバックループの概略図を示す。
【００１３】
【図４】ビークルオペレータを関与させ、これにより、ビークルオペレータの用心度及び準備完了度を維持するための、ＡＲシステム内における要素をレンダリングすることに関連する方法の一実施形態を示す。
【００１４】
【図５】ビークルの内部図を、ＡＲシステム内において表示された要素と共に示す。
【００１５】
【図６】図５の図に類似しているが、ＡＲシステム内において表示された更なる要素が示される、ビークルの内部図を示す。
【００１６】
【図７】ビークルの内部図を、ＡＲシステム内において表示された要素と共に示す。
【００１７】
【図８】図７の図に類似しているが、オペレータを用心度の低下に関与させるための更なる要素が示される、ビークルの内部図を示す。
【００１８】
【図９】ビークルの内部図を、ＡＲシステム内において表示された要素と共に示す。
【００１９】
【図１０】ＡＲシステム内における表示のためにレンダリングされた周囲環境内のビークル及び要素の鳥瞰図を示す。
【発明を実施するための形態】
【００２０】
詳細な説明
拡張現実（ＡＲ）ディスプレイを使用してビークルオペレータを関与させることによる用心度の低下の軽減及びビークルオペレータにおける準備完了度の保証と関連するシステム、方法、及び他の実施形態が開示される。上述のように、オペレータは、ビークルが自律的に動作しているときに、ビークルの周囲及びビークルの動作に関係する態様に対し無関与になるおそれがある。従って、オペレータは、ビークルが自律的な動作を継続するのに伴って、用心度低下を経験するおそれがある。ビークルが動作を継続するために、ビークルが実行している内容にオペレータが関与する必要がないからである。一般に、オペレータの用心度低下は、時間の経過に伴ってビークルの周囲で発生するイベントに対し用心状態（例えば、警戒状態、用心深い状態など）にあり続ける能力の低下である。従って、自律ビークルの文脈においては、用心度低下は、ビークルを能動的に制御／操作していないときに、ビークルオペレータが時間に伴ってビークルの操作に対し無関与となる傾向に関する。その結果、自律性がビークルを制御すべきではないときに、ビークルオペレータは、用心度低下を理由として、手動で介入しハンドオーバを開始するためにビークルの動作に十分に関与しないおそれがある。同様に、ビークルが、自律的に動作しており、且つ、手動制御へのハンドオーバを実行したときに、ビークルオペレータは、運転タスク及びビークルの現在の動作環境に対し無関与になるので、ビークルを制御するのに適切な準備完了度を欠いているおそれがある。
【００２１】
従って、一実施形態においては、オペレータを運転タスク及び現在の動作環境の態様に関与させ続けるのを容易にするために、自律的に（例えば、ＳＡＥのレベル２など）動作するビークルに、用心システムが実装される。更には、用心システムが、例えば、オペレータ監視システム（例えば、眼の追跡用のカメラ）、拡張現実（ＡＲ）システム、などのような更なるシステムと共に、ビークル内に実装される。一実施形態においては、用心システムは、同時に、ビークルのオペレータを監視し、オペレータの関与レベルを演算し、且つ、異なるビジュアルをレンダリングするように、拡張現実ディスプレイを制御する。このようにして、用心システムは、オペレータが特定の状況について適切であると判断したときにビークルの動作に介入するための用心状態と、自律システムが手動制御へのハンドオーバを実行する場合にビークルを制御するための準備完了状態と、の両方になるように、オペレータを促すことができる。換言すれば、オペレータの現在の関与レベルの関数として生成される経験を、ＡＲシステムを通じてオペレータに提供することにより、用心システムは、オペレータが用心度低下を経験しないようにするのを容易にすることができ、且つ、オペレータが用心状態にあると共にビークルを制御する準備完了状態にある尤度を改善するために、オペレータがビークルに対する関与度を維持するようにすることができる。
【００２２】
図１を参照すると、ビークル１００の一例が示される。本開示において使用される「ビークル」は、動力が付与された搬送体の任意の形態である。１つ又は複数の実装形態においては、ビークル１００は、自動車である。本開示では、自動車に関する構成が説明されるが、実施形態が自動車に限定されないことを理解されたい。いくつかの実装形態においては、ビークル１００は、例えば、少なくとも半自律的に動作することができ、拡張現実（ＡＲ）システム又はＡＲシステムをサポートする能力を含み、従って、本開示に記述される機能から利益を享受する、動力が付与された搬送体の他の任意の形態であってもよい。
【００２３】
又、ビークル１００は、様々な要素を含む。様々な実施形態においては、ビークル１００が図１に示される要素のすべてを有する必要がない場合があることを理解されたい。ビークル１００は、図１に示される様々な要素の任意の組合せを有することができる。更には、ビークル１００は、図１に示されるものに加えて、更なる要素を有することができる。いくつかの構成においては、ビークル１００は、図１に示される要素のうちの１つ又は複数を伴うことなしに実装されてもよい。図１において様々な要素がビークル１００内に配置されるものとして示されるが、これらの要素のうちの１つ又は複数は、ビークル１００の外部に配置されうることを理解されたい。更には、図示の要素同士を、大きな距離だけ、物理的に分離することもできる。
【００２４】
図１には、ビークル１００の可能な要素のうちのいくつかが示されており、後続の図と共にこれらについて説明することとする。但し、図１の要素のうちの多くのものの説明は、本説明の簡潔性を目的として、図２から図１０の説明の後に提供することとする。これに加えて、図示の簡潔性及び明瞭性を目的として、対応する又は類似の要素を示すために、適宜、異なる図の間において参照符号が反復されることも理解されたい。これに加えて、本説明は、本開示に記述される実施形態に関する十分な理解を提供するために、多数の特定の詳細事項について概説している。但し、当業者は、本開示に記述される実施形態は、これらの要素の様々な組合せを使用して実施されうることを理解するであろう。
【００２５】
いずれにしても、ビークル１００は、用心度低下の軽減と、ビークルオペレータによる関与の促進と、に関し本開示に開示される方法及び他の機能を実行するために実装された用心システム１７０を含む。これに加えて、ビークル１００の更なる態様として、拡張現実システム１８０が示される。但し、ＡＲシステム１８０は、ビークル１００のサブコンポーネントとして示されるが、様々な実施形態においては、ＡＲシステム１８０は、ビークルと部分的に統合することができ、又は、ビークル１００とは別個でありうる、ことに留意されたい。従って、１つ又は複数の実施形態においては、ＡＲシステム１８０は、本開示に記述される機能を相関させるために、ビークル１００との間で有線又は無線接続を介して通信することができる。更には、ＡＲシステム１８０は、グラフィック要素をオペレータ及び／又は乗員に表示するために、１つ又は複数のディスプレイ（例えば、統合型又は可動型）を含むことができる。
【００２６】
ＡＲシステム１８０は、多くの異なる形態をとりうるが、概して、ビークルを取り囲む現実世界環境内の物体の見え方を拡張し、又は、他の方法で補完するように、機能することを理解されたい。即ち、例えば、ＡＲシステム１８０は、グラフィックスが例えばビークル１００のフロントガラスを介して現実世界と統合される外観を提供するために、１つ又は複数のＡＲディスプレイを使用してグラフィックスをオーバーレイ又は重ねて表示することができる。従って、ＡＲシステム１８０は、フロントガラス、サイドウィンドウ、リアウィンドウ、ミラー、及びビークル１００の他の態様と統合されたディスプレイを含むことができる。更なる態様においては、ＡＲシステム１８０は、ゴーグル又は眼鏡などの、ヘッドマウントディスプレイを含むことができる。いずれにしても、ＡＲシステム１８０は、現実世界内の物体に加えて、現実世界内の物体の変形及び／又はこれら２つの組合せであるグラフィカル要素をレンダリングするように機能する。一実施形態においては、ＡＲシステム１８０の少なくとも１つのＡＲディスプレイは、ビークル１００の周囲の少なくとも一部分の、カメラ（例えば、外向きのカメラ）からのリアルタイム画像を、ＡＲシステム１８０及び／又は用心システム１７０からの合成物体（例えば、レンダリングされたグラフィカル要素）と融合させる。一例として、モニタ（即ち、ＡＲディスプレイ）は、ビークル１００のダッシュボード内に又はその真上に統合されており、且つ、ＡＲシステム１８０によってレンダリングされたグラフィカル要素の融合されたビューないし眺めを、カメラからの現実世界画像と共に表示するように、制御される。このようにして、ＡＲシステム１８０は、豊かな／装飾された視覚的な感覚経験を提供するために、オペレータ／乗員の視野を拡張し又は他の方法で変更することができる。上述の機能及び方法は、図の更なる説明により、更に明らかとなろう。
【００２７】
図２を参照すると、図１の用心システム１７０の一実施形態が更に示される。用心システム１７０は、図１のビークル１００からのプロセッサ１１０を含むものとして示される。従って、プロセッサ１１０は、用心システム１７０の一部分であってもよく、用心システム１７０がビークル１００のプロセッサ１１０とは別個のプロセッサを含んでいてもよく、又は、用心システム１７０がデータバスもしくは他の通信経路を通じてプロセッサ１１０にアクセスしてもよい。一実施形態においては、用心システム１７０は、監視モジュール２２０、用心度モジュール２３０、及びレンダリングモジュール２４０を記憶するメモリ２１０を含む。メモリ２１０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスクドライブ、フラッシュメモリ、又はモジュール２２０、２３０、及び２４０を記憶するための他の適切なメモリである。モジュール２２０、２３０、及び２４０は、例えば、プロセッサ１１０によって実行されると本開示に開示される様々な機能をプロセッサ１１０に実行させる、コンピュータ可読命令である。
【００２８】
従って、監視モジュール２２０は、概して、ビークル１００のセンサシステム１２０のセンサからデータを取得するようにプロセッサ１１０を制御するよう機能する命令を含む。換言すれば、監視モジュール２２０は、オペレータの現在の心理的状態、オペレータの現在の動作、オペレータの注視が向けられうる場所、オペレータの自律的応答、オペレータの生体応答／状態などを特徴付ける、オペレータ状態情報２６０を取得するための命令を含む。本開示は、オペレータ状態情報２６０を生成するために監視されうるオペレータと関連する態様の例示用リストを提供しているが、このリストは、限定として解釈されてはならず、且つ、本説明を目的として、可能性の例示用リストとして提供される、ことを理解されたい。
【００２９】
従って、例として、オペレータ状態情報２６０は、注視の方向、注視の経路／軌跡、心拍数、血圧、呼吸機能、血液酸素レベル、発汗レベル、瞳孔の拡張／サイズ、脳の活動（例えば、ＥＥＧデータ）、唾液分泌情報、手／腕の位置、足／脚の位置、ビークル１００内におけるオペレータの大まかな向き（例えば、前向き又は後向きなど）、座席の位置、動きの速度、顔面特徴の運動（例えば、口、瞬く眼、動く頭など）などに関する情報を含むことができる。
【００３０】
これに加えて、監視モジュール２２０は、特定の実装形態に応じた複数の異なる方法により、オペレータ状態情報２６０を判定することができる。一実施形態においては、監視モジュール２２０はセンサシステム１２０の様々なセンサと通信し、このセンサシステム１２０は、（例えば、注視／眼の追跡のための）カメラ（１又は複数）１２６、心拍数モニタセンサ、赤外線センサ、座席位置センサなどのうちの１つ又は複数を含む。一実施形態においては、センサは、ビークル１００の乗員コンパートメント内に配置され、オペレータの上述の態様及び／又はオペレータに関する態様についての情報を取得するために、様々な場所に位置決めされうる。更には、センサシステム１２０は、例えば、収集されるオペレータ状態情報２６０の精度／正確性を改善するために、センサのうちの複数の余剰のものを含むことができる。
【００３１】
用心システム１７０を続けて参照すると、一実施形態においては、システム１７０は、データベース２５０を含む。データベース２５０は、一実施形態においては、メモリ２１０又は別のデータ記憶部内に記憶された電子データ構造であって、記憶されているデータを分析し、記憶されているデータを提供し、記憶されているデータを組織化するなどのためにプロセッサ１１０によって実行されうるルーチンによって構成された、電子データ構造である。従って、一実施形態においては、データベース２５０は、様々な機能を実行する際にモジュール２２０、２３０、及び２４０によって使用されるデータを記憶している。一実施形態においては、データベース２５０は、用心度モデル２７０などの用心システム１７０によって使用される更なるデータに加えて、監視モジュール２２０によって収集されたオペレータ状態情報２６０を含む。
【００３２】
用心度モジュール２３０は、一実施形態においては、概して、オペレータ状態情報２６０から関与レベルを演算するようにプロセッサ１１０を制御するよう機能する命令を含む。即ち、用心度モジュール２３０は、オペレータが、現在、ビークル１００及びビークル１００の現在の動作環境に関与しているかどうかを特徴付けるために、オペレータ状態情報２６０を使用する。一般に、関与レベルは、オペレータが、自律運転モジュール１６０がビークル１００を自律的に制御する方式に関与する程度、及び、ビークル１００の動作に関する状況／文脈情報を認知している程度を定量化したものである。従って、用心度モジュール２３０は、オペレータが関与しているかどうか及びビークル１００の動作について認知しているかどうかとの関係におけるオペレータの現在の心理的情報の評価として、関与レベルを生成することが可能であり、且つ、例えば、オペレータが、ビークル１００を手動で制御するために物理的に準備完了状態にある／位置決めされているかどうかを示さない場合がある。但し、更なる実施形態においては、用心度モジュール２３０は、オペレータの現在の心理的状態と、ビークル１００を手動で制御することについてのオペレータの準備完了状態との両方を説明する関与レベルを演算することができる。
【００３３】
従って、簡潔な一例として、用心度モジュール２３０は、例えば、オペレータの注視に関する情報を含むオペレータ状態情報２６０に電子的にアクセスすることができる。従って、用心度モジュール２３０は、オペレータの注視、更に詳しくは、オペレータが特定の場所／方向を注視していた持続時間に関する情報を評価する。この評価から、且つ、例えば用心度モデル２７０に従って、用心度モジュール２３０は、オペレータの関与と、オペレータが用心状態にあってビークル１００の手動制御を引き継ぐ準備が完了した状態にあるかどうかと、を特徴付けることができる。例えば、用心度モジュール２３０は、注視がビークル１００の前方の道路に向けられているかどうか、注視がビークル１００の周りの物体を追跡しているかどうか、注視が計器の読取り値をチェックしているかどうかなどを考慮する。この評価から、用心度モジュール２３０は、関与レベルを生成するために、用心度モデル２７０を使用する。従って、用心度モデル２７０は、上述の注視の様々な態様に従って、オペレータが関与している尤度について用心度モジュール２３０に通知する。
【００３４】
更なる態様においては、用心度モジュール２３０は、関与レベルを演算するために、相対的に複雑な分析を実行することができる。例えば、用心度モジュール２３０は、注視の方向を、様々な物体の存在／場所及びビークル１００に対する様々な物体の関係（例えば、自動車が向かってくるのか離れていくのか）などの、センサシステム１２０からの更なる情報と相関させることができる。これに加えて、用心度モジュール２３０は、関与レベルを演算するときに、動的なビークルデータを更に考慮することができる。一実施形態においては、動的ビークルデータは、ビークル１００の様々な態様と、現在の動作環境に関係する外部環境態様と、を含むことができる。例えば、動的ビークルデータは、ビークル１００のＧＰＳ座標、ビークルテレマティクス、道路タイプ（例えば、高速道路なのか市街道路なのか）、地形特性（例えば、平坦な／平らな環境なのか多数の特徴が存在する環境なのか）、移動の持続時間、天候状態、時刻、交通のレベル、現在速度、インフォテインメント情報（例えば、ラジオが動作しているかどうかなど）、温度、乗員の数、及び監視モジュール２２０によってビークル１００の異なるセンサ及びシステムから収集された他のデータを含むことができる。概して、本開示で使用されるビークル１００の現在の動作環境に対する参照は、ビークル１００を取り囲む環境と、当該環境内の物体と、環境及び物体に対するビークル１００の動作の影響とについての情報に関する。
【００３５】
これに加えて、用心度モジュール２３０は、ＬＩＤＡＲ１２４、レーダ１２３、カメラ１２６（例えば、内部及び外部カメラ）、ソナー１２５、ナビゲーションシステム１４７などを含む様々なセンサからのデータを使用することができる。一実施形態においては、用心度モジュール２３０は、更に、現在の動作環境における物体の軌道、潜在的な危険、自律的動作／制御／経路計画と関連する現在の判断状態情報などに関する自律運転モジュール１６０からの情報に電子的にアクセスすることができ、これを使用することができる。
【００３６】
従って、関与レベルを演算するために、用心度モジュール２３０は、一実施形態においては、オペレータによる関与（例えば、心理状態／用心状態及び／又は準備完了状態）の程度を定量化するために、オペレータ状態情報２６０を、更なる情報（例えば、動的ビークルデータ）と共に、分析する。概して、用心度モジュール２３０は、用心度モデル２７０に関係する様々なデータ要素を識別し、用心度モデル２７０は、例えば、別個のデータ要素に応じたオペレータの関与の尤度を提供する。その後に、用心度モジュール２３０は、全体的な尤度を生成するために、定義された重み付けに従って個々の尤度を組み合わせることができる。その結果、用心度モジュール２３０は、全体的な尤度を関与レベルとして提供することができ、又は、例えば、現在の動作環境の態様（例えば、現在の環境をナビゲートするのに必要なスキル／認知の程度）に従って尤度を特定の分類（例えば、０から１０）に変換することにより、関与レベルがビークル１００の現在の動作環境に従って更にカスタマイズされるように、全体的な尤度を使用して更なる分析を適用することができる。
【００３７】
更なる実施形態においては、用心度モジュール２３０は、用心度モデル２７０との組合せにおいて、機械学習ロジック、ディープラーニングロジック、ニューラルネットワークモデル、又は別の類似のアプローチなどの演算モデルを形成する。いずれにしても、用心度モジュール２３０は、ニューラルネットワークモデル又は別の演算モデルとして実装されると、一実施形態において、オペレータ状態情報２６０及び他の電子データ（例えば、動的ビークルデータ）を用心度モデル２７０への入力として電子的に処理する。従って、用心度モジュール２３０は、用心度モデル２７０と共同して、オペレータの関与の程度を特徴付ける電子的出力としての関与レベルを、例えば単一の電子的値として、生成する。
【００３８】
関与レベルが単一の値として説明されているが、一般に、関与レベルは、ビークル１００の自律的動作を監督することに関するオペレータの用心状態と、自律運転モジュール１６０が手動制御へのハンドオーバを実行する場合にビークル１００を制御することについてのオペレータの準備完了状態との両方を具現化していることを理解されたい。従って、更なる実装形態においては、用心度モジュール２３０は、オペレータ状態の異なる態様（例えば、心理的状態及び物理的状態）と、オペレータが現在ビークル１００の運転タスク及び現在の動作環境に関与している程度とを特徴付ける複数の電子的値を有する関与レベルを生成する。例えば、関与レベルは、オペレータが現在関与しているものの特定の態様、オペレータが他のデバイス／タスクに関与している程度、ＡＲディスプレイ内にグラフィックスがレンダリングされたとしたらオペレータが注視する可能性が最も高い場所、オペレータが、ビークル１００を手動で制御する準備が完了していない状態で、ビークル１００の動作を能動的に監督しているかどうか（例えば、ビークル１００の動作を観察しつつ、それぞれの手の中にアイスクリームコーンを保持している）など、を識別するサブコンポーネントを含むことができる。
【００３９】
これに加えて、データの多くの異なる源及び形態の使用は、用心度モジュール２３０が関与レベルを演算する方式の一部分であるものとして説明されているが、様々な実施形態において、特定のデータは、実装形態の様々な態様に従って変化しうる。いずれにしても、これらの例は、例示を目的としたものであり、開示されているデータ要素及び機能の限定的な形態として解釈されてはならない。更には、記述されたオペレータ状態情報２６０と、追加的に記述された電子的データと、は、一実施形態においては、収集されて、用心度モデル２７０をトレーニングするために使用されうる、ことを理解されたい。
【００４０】
即ち、オペレータ状態情報２６０、動的ビークルデータ、促されたオペレータの応答、及び他のデータを、ビークル１００が動作している間に収集して記憶することができる。その後に、用心システム１７０は、一実施形態において、モデル２７０のトレーニングに使用されるように、収集された情報をＯＥＭ又は他の中央収集地点に伝達することができる。更なる実施形態においては、用心システム１７０は、ビークル１００のオペレータの特異性に関して用心度モデル２７０を更新又は他の方法でカスタマイズ／改善するために、収集された情報をトレーニングデータセットとして使用することができる。従って、一実施形態においては、用心システム１７０は、オペレータ状態情報２６０及び動的ビークルデータを電子的入力として使用することにより、且つ、オペレータの記録済みの応答及び／又は用心度モジュール２３０によって演算された記録済みの関与レベルに従ってフィードバックをモデルに対して提供することにより、モデル２７０を更にトレーニングする。このように、用心システムは、ＡＲシステム１８０内のどのレンダリングが、用心状態となるようにオペレータを促すのかを能動的に学習することができ、従って、相応して、表示を調節することができる。
【００４１】
図２の用心システム１７０の説明を継続すると、レンダリングモジュール２４０は、一実施形態においては、概して、グラフィカル要素を関与レベルの関数としてＡＲシステム１８０のディスプレイ内にレンダリングするように、プロセッサ１１０を制御するよう機能する命令を含む。即ち、レンダリングモジュール２４０は、ビークル１００及び現在の動作環境に関与するようオペレータを促すためにＡＲシステム１８０内でグラフィカル要素をレンダリングすることにより、オペレータがビークル１００の現在の動作環境に関与する方式に反応する。例えば、レンダリングモジュール２４０は、ビークル１００に関与させることにより、且つ、注意が逸らされているタスクから、状況的に認知して、ビークル１００を制御すること及び／又はビークル１００の制御に介入することについての準備完了状態に遷移することにより、オペレータを関与させると共に応答するようオペレータを促すために、グラフィカル要素を適合させる。従って、レンダリングモジュール２４０は、ＡＲディスプレイ内のグラフィカル要素が特定の関与レベルに従って提示される方式を強化／増強することができる。一実施形態においては、レンダリングモジュール２４０は、グラフィックスの不透明性を調節する、グラフィックスをフラッシングさせもしくは他の方法でアニメーションを調節する、色を変更する、更なるグラフィックスをレンダリングする、オペレータの注意が向くように矢印をレンダリングする、オペレータに対する指示及び／又は質問を含むテキストをレンダリングする、物体上にオーバーレイ（例えば、漫画アニメーションやアバターなど）をレンダリングするなどにより、グラフィカル要素をレンダリングする。
【００４２】
更なる態様においては、レンダリングモジュール２４０は、ＡＲシステム１８０を通じてオペレータに関係付けられうる現在の動作環境に関する態様を判定するために、ビークル１００に関する他のビークルシステム（例えば、センサシステム１２０、ナビゲーションシステム１４７、自律モジュール１６０）からの情報を分析し又は他の方法で電子的にマイニングすることができる。レンダリングモジュール２４０は、グラフィカル要素を、ビークル１００の現在の動作環境に直接的に関係する能動的コンテンツとしてレンダリングするために、マイニングされた情報を使用する。換言すれば、レンダリングモジュール２４０は、オペレータの状況的認知を通知するために、且つ、オペレータを現在の動作環境に関与させるために、グラフィカル要素をレンダリングする。例えば、レンダリングモジュール２４０は、危険、計画された且つ／又は予想された運転経路、他のビークル、他のビークル／物体の予想運動などを描いてグラフィカルに識別するように、グラフィカル要素をレンダリングすることができる。
【００４３】
更なる実施形態においては、レンダリングモジュール２４０は、自律モジュール１６０の内部状態情報などから１つ又は複数のセンサ（例えば、ＬＩＤＡＲ１２４）を介して読み取られる現在の動作環境に関する情報の視覚化を示す複雑なグラフィカルオーバーレイをレンダリングする。従って、レンダリングモジュール２４０は、物体の軌跡、現在の速度及び向き、ビークル１００及び他のビークルの予想される操作、危険の評価、ナビゲーション経路情報、自律的経路計画及び物体回避情報、物体の検出及び追跡などに関するグラフィックスを表示するＡＲシステム１８０を通じて、没入型の視覚環境を生成することができる。一例においては、レンダリングモジュール２４０は、ＬＩＤＡＲ１２４によって読み取られた物体がＬＩＤＡＲ１２４のスキャンからのデータ点にオーバーレイされるように、ＬＩＤＡＲ１２４によって生成された３Ｄ点群を現在の動作環境のグラフィカルオーバーレイに変換する。同様に、レンダリングモジュール２４０は、ＡＲシステム１８０により、アニメーション化された／グラフィカルなオーバーレイを生成して更なる情報をグラフィカル要素としてビジュアルに追加するために、レーダ１２３による容積計測スキャンからのデータ及び／又は他のセンサからのデータを使用することができる。
【００４４】
これに加えて、レンダリングモジュール２４０は、興味深いローカルな地点や現在の場所又は近傍の要素に関係するトリビアなどを含むインフォテインメントグラフィカル要素をレンダリングすることもできる。別の実施形態においては、レンダリングモジュール２４０は、これに加えて、又はこの代わりに、ＡＲシステム１８０を通じて、オペレータとの間の対話型ゲームの一部分として、グラフィカル要素を現在の動作環境内においてレンダリングすることもできる。例えば、レンダリングモジュール２４０は、ターゲット、ゲームアイコン、及び他のゲームスタイルグラフィックスをレンダリングすることができる。一実施形態においては、レンダリングモジュール２４０は、一人称の対話型スタイルのゲームやリアルタイム戦略ゲームなどのためのグラフィックスをレンダリングする。更には、レンダリングモジュール２４０は、一実施形態において、グラフィカル要素のレンダリングとの組合せにおいて、警報、チャイム、発話、音楽、及び他の音響を提供するべく、ビークル１００内のオーディオを制御する。
【００４５】
レンダリングモジュール２４０は、ＡＲシステム１８０の１つ又は複数のディスプレイ（例えば、前面、側面、後面、ヘッドマウント型）内に多くの異なるグラフィカル要素を生成できることを理解されたい。但し、特定のグラフィカル要素とは無関係に、レンダリングモジュール２４０は、関与レベルによって示されるように、オペレータがビークル１００の現在の動作とどのように関与しているかの関数として、グラフィックスをレンダリングする。従って、レンダリングモジュール２４０は、オペレータのより高い用心度及び準備完了度を促すために、且つ／又は、オペレータの用心度／準備完了度を維持するために、関与レベルに従ってＡＲシステム１８０によってコンテンツを動的に生成するように機能する。従って、レンダリングモジュール２４０は、オペレータの用心状態／準備完了状態を促すと共に用心度の低下と関連する困難を回避するやり方により、どのグラフィカル要素がレンダリングされるか、どのようにしてグラフィカル要素がレンダリングされるか、グラフィカル要素がどこでレンダリングされるかなどを動的に調節する。
【００４６】
どのようにして用心システム１７０がＡＲシステム１８０を調節及び更新するかに関係する動的態様の更なる例示として、以下、図３及びフィードバックループ３００の説明に移ることとする。フィードバックループ３００は、概ね、どのようにしてレンダリングモジュール２４０、用心度モジュール２３０、及び監視モジュール２２０が並行状態で、オペレータの関与レベルに従ってグラフィカル要素をレンダリングするか、及び、レンダリングモジュール２４０がオペレータの応答を促すためにグラフィカル要素をレンダリングするのに伴って、どのようにして関与レベルが変化するか、の一実施形態を示している。従って、自律運転モジュール１６０がＳＡＥのレベル２自律性に従ってビークル１００を自律的に制御するのに伴って、オペレータが恐らくは関与しておらず、その代わりに、インフォテインメント又は他のタスクに注意が逸らされていることを、オペレータの初期関与レベルが示しているものとしよう。従って、監視モジュール２２０は、オペレータの注視が、長時間にわたって又は反復的に、ビークル１００のウィンドシールドから離れて、ビークル１００の動作と関係していないビークル１００の態様に向かっていることを示してもよい。監視モジュール２２０がオペレータの注視に関するオペレータ状態情報２６０を収集し、且つ、用心度モジュール２３０がこの状況を示す関与レベルを演算するのに応答して、レンダリングモジュール２４０は、１つ又は複数のグラフィカル要素を提示するように、ＡＲシステム１８０を制御する。
【００４７】
この説明のために、レンダリングモジュール２４０が、高度な不透明性を有するグラフィックスを含む完全なオーバーレイであって、センサ情報、自律運転モジュール１６０からの内部状態情報、ナビゲーション経路、物体軌跡、及び状況的認知に関係するグラフィカル形態の他の情報を表示する完全なオーバーレイを、ＡＲシステム１８０の主ＡＲディスプレイ上にレンダリングするものとしよう。従って、ＡＲディスプレイは、例えば、相対的に最小限のグラフィカル要素を表示すると共に現実世界の明瞭な／半透明な視野を一般的に提供する状態から、多くの情報要素や色などを有するオペレータ用の没入型の経験を提供する上述の要素によって相対的に高度にアニメーション化された状態に遷移する。従って、用心度モジュール２３０がオペレータによって示された応答を反映するように関与レベルを更新しながら、監視モジュール２２０は、情報の収集と、更新済みの形態のオペレータ状態情報２６０の生成と、を継続する。更には、レンダリングモジュール２４０によって提供されるレンダリングが、当初、ＡＲディスプレイを意図的に見るようにオペレータを促したと仮定しよう。従って、監視モジュール２２０は、例えば、眼追跡ルーチンを実行するカメラ１２６を使用して、この反応をキャプチャする。
【００４８】
従って、用心度モジュール２３０は、関与レベルを更新し、それにより、レンダリングモジュール２４０は、オペレータの関与レベルが維持されて低下し始めないように、例えば、所定の期間にわたって現在のグラフィカル要素を維持する。但し、オペレータが関与状態において留まっている状態で規定期間が経過した後に、レンダリングモジュール２４０は、例えば、オペレータが、ＡＲシステム１８０の外部における現在の動作環境に関する状況的認知及び用心状態を生成しうるように、オペレータを過度に刺激するのを回避するために、且つ／又は、相対的に半透明な画像をオペレータに提供するために、グラフィックスの数、種類、強度、不透明性、及び／又は他の態様を調節することができる。但し、オペレータの関与レベルが無関与状態に向かって後退し始めたならば、用心システム１７０は、フィードバックループ３００を通じて識別されるように、グラフィックスのレンダリングを適切に調節することができる。
【００４９】
図４との関係において、拡張現実を使用して関与レベルに従って動的なグラフィカル要素を表示する、用心度の低下の軽減の更なる態様について説明することとする。図４は、ビークルオペレータに対する用心度の低下の軽減と関連する方法４００のフローチャートを示す。方法４００については、図１及び図２の用心システム１７０の観点において説明することとする。方法４００は、用心システム１７０との組合せにおいて説明されているが、方法４００は、用心システム１７０内における実装に限定されるものではなく、その代わりに、方法４００を実装しうるシステムの一例である、ということを理解されたい。
【００５０】
最初の注目点として、４１０における監視、４２０における演算、並びに、４４０及び４５０におけるレンダリングという、開示されている機能は、反復的に、関与レベルを演算すると共に、促されたオペレータの用心状態／準備完了状態に従って少なくとも１つのグラフィカル要素のレンダリングを調節するために、概して、並行状態において稼働し、且つ、フィードバックループを形成していることに留意されたい。従って、記述されている方法４００は、一実施形態において、ビークル１００が、例えば、オペレータが注意が逸らされた状態になりうるＳＡＥのレベル２自律性又は別の自律性レベルに従って動作しながら、用心度の低下を軽減すると共にオペレータの準備完了状態を改善するように機能する、複数の並行プロセスを含む。更には、一実施形態において、方法４００は、概して、ビークル１００の自律的動作の監督に関するオペレータの用心度と、ビークル１００がオペレータへのハンドオーバを実行したときに手動制御入力を提供するためのオペレータの準備完了度と、を維持するように、実装されている。このようにして、方法４００は、現在の動作環境及び現在の動作環境を通じたビークルの進捗の認知を維持するようにオペレータを促すことにより、用心度の低下及び他の理由で無関与となったオペレータと関連する困難を回避することができる。
【００５１】
４１０において、監視モジュール２２０は、オペレータ状態情報２６０を収集することにより、オペレータを監視する。上述のように、監視モジュール２２０は、個々のセンタに能動的に問い合わせるか、又は、通信もしくは電子的ストレージからデータを受動的にスニッフィングすることにより、ビークル１００のセンサからオペレータ状態情報２６０を備えるデータを取得する。次いで、監視モジュール２２０は、順序付けされた方式により、収集されたデータをフォーマットするか又は他の方式によって提供することが可能であり、且つ、用心度モジュール２３０によって使用されるように、オペレータ状態情報２６０をデータベース２５０又はメモリ２１０内に電子的に記憶することができる。一実施形態においては、監視モジュール２２０は、ビークル１００内に含まれる任意のセンサからオペレータ状態情報を収集することができる。従って、オペレータ状態情報２６０は、上述のように、オペレータに関する様々な情報を概ね含むことができる。
【００５２】
例えば、監視モジュール２２０は、オペレータの眼の運動を追跡するように、ビークル１００の内部乗員コンパートメント内に配設された１つ又は複数のカメラ（例えば、カメラ１２６）を制御することができる。オペレータの眼の運動（さもなければ眼の軌跡とも呼称される）は、乗員コンパートメント内においてオペレータがビークル１００の前方の物体を注視しているかどうかを判定することなどに、有用である。従って、眼の軌跡は、オペレータがビークルの現在の動作環境に能動的に関与しているかどうかに関する情報を提供しうる。更には、監視モジュール２２０は、瞳孔の拡張、眼の運動の速度、及びオペレータに関する更なる情報を追跡するために、カメラ１２６を使用することもできる。一実施形態においては、オペレータの注視及び／又は眼の軌跡は、用心度モジュール２３０が関与レベルを演算するためのオペレータ状態情報２６０の単一の情報供給源であってもよい。いずれにしても、監視モジュール２２０は、一実施形態において、オペレータの現在の活動／焦点の最新の特徴付けを維持するために、オペレータ状態情報２６０を継続的に生成する。
【００５３】
４２０において、用心度モジュール２３０は、オペレータの関与レベルを演算する。一実施形態においては、用心度モジュール２３０は、オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、４１０において収集されたオペレータ状態情報２６０を使用する。換言すれば、関与レベルは、現在の動作環境を通じたビークル１００の自律的動作の監督に関する態様との関係においてオペレータが現在、どのような用心状態にあるかを特徴付けるものである。従って、関与レベルは、自律運転モジュール１６０がビークルの自律的動作を休止すると共に手動制御へのハンドオーバを実行した場合にビークル１００の制御を引き継ぐための、オペレータの状況的認知と、オペレータの準備完了状態と、をも特徴付ける。
【００５４】
更には、用心度モジュール２３０は、一実施形態において、用心度モデル２７０に従って関与レベルを演算する。上述のように、用心度モデル２７０は、一実施形態においては、オペレータに関する標識（例えば、オペレータ状態情報２６０）の関数としての、オペレータの可能性が高い用心度の低下を含む、オペレータの可能性が高い関与状態を特徴付ける統計的モデルである。従って、用心度モデル２７０は、オペレータが現在の動作環境に関与している程度を示す、統計的尤度を関与レベルとして出力することができる。
【００５５】
更なる態様においては、用心度モジュール２３０は、関与レベルを演算するときに、現在の動作環境の特異性に対応するために、オペレータ状態情報２６０と共に、動的なビークルデータをも考慮する。即ち、用心度モジュール２３０は、道路の現在のセグメントが特に単調であるかどうか、オペレータの注意を逸らせる更なる乗員が存在するかどうか、風光明媚な景色がオペレータの注意を逸らせる可能性が高いかどうか、外部温度が高くてオペレータが不快であるかどうか、ビークルの燃料レベルがゼロに接近しているかどうかなどに従って、提供される尤度を調節することができる。概して、本開示は、用心システム１７０に通知するためにデータが特定及び使用されうる任意の状況を考慮することを想定している。従って、上述の例は、可能なデータ要素の説明として意図されたものであり、且つ、限定的なリストとして解釈してはならない。
【００５６】
用心度モデル２７０は、発見的な観点から、方法４００と共に説明されているが、更なる実施形態においては、且つ、上述のように、用心度モデル２７０は、用心度モジュール２３０と共に、関与レベルを演算するために、機械学習アルゴリズムを実装して、オペレータ状態情報２６０と、ビークル力学データと、他の収集されたデータインジケータとの間の相関を学習するようにすることができる。いずれにしても、４２０において生成される関与レベルは、ビークル１００の動作への関与との関係においてオペレータの現在の状態について用心システム１７０に通知する。
【００５７】
４３０において、レンダリングモジュール２４０は、関与レベルが閾値を充足するかどうかを判定する。一実施形態においては、閾値は、用心状態にあり、且つ、ビークル１００を手動制御するための準備が完了した状態にあると見なされるオペレータの最小限の関与状態を示す。閾値判定について記述されているが、更なる実装形態においては、レンダリングモジュール２４０は、摺動スケールに基づいて、又は、更なる分類の方式に従って、現在の関与レベルを評価しうることに留意されたい。
【００５８】
例えば、一実施形態においては、４３０において、レンダリングモジュール２４０は、関与レベルが以前の評価から変化したかどうかを判定する。従って、レンダリングモジュール２４０は、肯定的な変化（例えば、オペレータの関与が増大している）、否定的な変化（例えば、オペレータの関与が低下している）、又は変化なしを判定するために、現在の関与レベルを以前の関与レベルと比較することができる。更なる態様においては、レンダリングモジュール２４０は、４３０において複数の評価にわたって関与レベルの傾向を分析することができる。従って、関与レベルの傾向に応じて、レンダリングモジュール２４０は、ブロック４４０において更に記述されるように、グラフィカル要素のレンダリングの程度を維持することが可能であり、又は、４５０において記述されるように、グラフィカル要素のレンダリングを調節することもできる。
【００５９】
４４０においては、レンダリングモジュール２４０は、オペレータの関与状態を維持するために、少なくとも１つのグラフィカル要素をＡＲディスプレイ上にレンダリングする。一実施形態においては、レンダリングモジュール２４０は、以前に実行されたものと同一の方式に従って、ＡＲシステム１８０のＡＲディスプレイ内における１つ又は複数の要素のレンダリングを継続することにより、オペレータの関与状態を維持する。即ち、オペレータが、現在、用心状態にあり、且つ、ビークル１００に関与している場合には、レンダリングモジュール２４０は、類似の方式によってグラフィックスのレンダリングを継続することが可能であり、又は、一実施形態においては、オペレータの注意を引くように予め強化されている場合には、グラフィックスの強度もしくは他の特性を低減することができる。
【００６０】
４５０において、レンダリングモジュール２４０は、ビークル１００の現在の動作に関する用心状態を改善するようにオペレータを促すために、ＡＲディスプレイ内において１つ又は複数のグラフィカル要素をレンダリングする。即ち、オペレータの関与レベルが、十分ではない、低下する傾向にある、又は、ビークル１００の現在の動作環境にとって不十分である、とレンダリングモジュール２４０が判定したときには、レンダリングモジュール２４０は、オペレータをビークル１００の動作に関与させるように設計された方式によって様々なグラフィカル要素をＡＲディスプレイ上においてレンダリングすることにより、オペレータの振る舞い／反応を促す。従って、様々な実施形態において、レンダリングモジュール２４０は、ビークル１００に関与すると共に多くの異なる方式によって相対的に高度に用心した状態となるようにオペレータを促すという目標を達成することができる。
【００６１】
従って、例として、レンダリングモジュール２４０は、センサデータをＡＲディスプレイ上に描くグラフィックスのオーバーレイをレンダリングすること、自律運転モジュール１６０の内部状態情報を描くグラフィックスをレンダリングすること、変化する不透明性によってオーバーレイを、関与レベルに従ってレンダリングすること、変化する数のグラフィック要素数を、関与レベル又は関与レベルに対する経時変化に従ってレンダリングすること、ＡＲディスプレイにおいてオペレータの目視線内にグラフィカル要素をレンダリングすること、ビークルの少なくとも１つのセンサによって読み取られた現在の動作環境の態様についてのオペレータ用の質問を含むテキストをＡＲディスプレイ内にレンダリングすること、などができる。ＡＲシステム１８０内においてレンダリングされるコンテンツの更なる例及び態様については、図５〜図１０との関係において後述することとする。
【００６２】
更なる注目点として、レンダリングモジュール２４０は、ＡＲシステム１８０のディスプレイ上において様々なグラフィックスをレンダリングする機能を実行するものとして記述されているが、様々な実施形態においては、レンダリングモジュール２４０は、レンダリングモジュール２４０によってＡＲシステム１８０に伝達される様々な電子的命令に従ってグラフィックスをレンダリングするために、ＡＲシステム１８０を制御することができる。
【００６３】
用心システム１７０が関与レベルに従ってＡＲシステム１８０の表示をどのようにして適合させるかの更なる例示として、図５〜図１０を検討してみよう。図５は、ビークル１００のウィンドシールドを通じて、且つ、ＡＲシステム１８０のＡＲディスプレイを通じて、観察される、ビークル１００の内部から前方を向いた視野である。従って、視野５００は、オペレータの関与レベルに従ってレンダリングモジュール２４０によって生成されたレンダリング済みのグラフィックスを描く。図５に示されるように、用心システム１７０は、オペレータの関与レベルが十分であると見なしており、従ってＡＲディスプレイ内においてトラックを強調表示するために、トラックの周りに破線ボックス５１０をレンダリングする。従って、図５は、レンダリングモジュール２４０によってレンダリングされた単一のグラフィカル要素を含んでおり、その理由は、オペレータが、十分に関与しており、従ってビークルの動作態様及び現在の動作環境について認知しているからである。
【００６４】
対照的に、図６は、図５からの視野５００の代替視野６００を示す。図６に示されるように、用心システム１７０は、オペレータの用心状態を改善するために、ＡＲシステム１８０を通じて、視野６００内において、オーバーレイを含む複数の異なるグラフィックスをレンダリングする。従って、視野６００は、トラックを強調表示するために、図５のボックス５１０の装飾された形態であるアウトラインボックス６１０を含む。更には、視野６００は、ＡＲディスプレイ内においてレンダリングされた、ＬＩＤＡＲ１２４からの読み取られたデータ点を描くセンサオーバーレイ６２０を有するように、示される。これに加えて、この視野は、トラック及びビークル１００の概略的な向きを表記する軌道矢印５３０及び６４０をも含む。最後に、視野６００は、それぞれ、太陽及び雲を示すアニメーション化された天候情報６５０及び６６０を描く。天候情報は、概して、例えば、当日の予想される天候状態を描く。
【００６５】
オペレータを関与させるために用心システム１７０がグラフィカル要素をレンダリングしうる様々な方法の更なる例として、図７及び図８を検討してみよう。図７は、ビークル１００の前方の道路と、現在の動作環境内の様々な動的及び静的物体と、を有するビークル１００内からの視野７００を示す。例えば、視野７００は、ビークル１００の経路７１０をビークル１００の前方の道路上のラインとして含むように、レンダリングされる。これに加えて、この視野は、ビークル１００が合流しつつある道路の道路識別子７２０をも含む。更なる注記として、ビークル７３０は、なんらかの更なるグラフィカル要素と共にレンダリングされてはおらず、その代わりに、ＡＲシステム１８０を通じたなんらの変更をも伴うことなしに、標準的な現実世界要素として提供される。
【００６６】
図８の視野８００を参照すれば、視野７００との比較において、視野８００内には、更なる要素が示される。例えば、用心システム１７０は、オペレータがビークル１００に関与しておらず、且つ、その代わりに、例えば、個人用の電子装置を使用していたり、注意を逸らせる別の活動を実行していたり、又は、更に一般的には、用心度の低下を経験するときには、発光する、フラッシュする、又は、相対的に強い視覚的インパクトを有する更なる要素をレンダリングする。経路８１０は、図７からの経路７１０よりも強力な色合いによって示される。更には、現在の動作及び自律運転モジュール１６０の内部状態情報を記述する更なるテキスト８４０も、ＡＲディスプレイ内においてレンダリングされる。ルート識別子８２０及びビークル８３０は、視野８００内において、発光する色により、示される。更なる例として、ビークル１００は、ルート番号を識別するために１つ又は複数のセンサを使用し、次いで、ビークル１００の前方の空中に浮遊する状態で表示されるグラフィックテキスト要素８５０としてオペレータに対する質問をレンダリングする。従って、オペレータは、音声コマンド又は別の形態の入力を使用して質問に応答することができ、この応答の時点において、用心システム１７０は、オペレータの関与レベルの変化に応じて、テキストを除去することができ、又は、更なる質問を提示するように進捗することもできる。このようにして、用心システム１７０は、オペレータを更に関与させるために、グラフィックスがＡＲディスプレイ内においてどのようにしてレンダリングされるかを調節する。
【００６７】
図９には、更なる例が示されており、この図は、ビークル１００からの前方を向いた、類似の視野を示す。但し、視野９００は、レーダセンサ１２３を介して提供されるデータの容積計測スキャン領域９１０を示す。領域９１０は、レーダ１２３が現在スキャニングしている場所をオペレータに通知するように、レンダリングされる。これに加えて、検出された物体９２０、９３０、及び９４０には、これらが検出されたことを示すために、且つ、更には、物体９２０、９３０、及び９４０の関連する軌道がビークル１００と交差しないことを示すために、グラフィックボックス及び矢印によって輪郭が付与される。
【００６８】
図１０は、拡張現実（ＡＲ）グラフィックスによってレンダリングされたビークル１００の現在の動作環境の後方−空中からの視野１０００を示す。即ち、空中からの視野１０００は、必ずしも、ビークル１００のオペレータに提示されることになる視野ではなく、その代わりに、オペレータが現在注視している方向に応じて、用心システム１７０がＡＲシステム１８０をどのようにして制御しうるか及びビークル１００の現在の動作環境がビークル１００の周りにおいてどのようにしてレンダリングされうるかの代表的なレンダリングとして提供される。従って、図１０に示されるように、現在の動作環境は、複数の異なるグラフィックス要素によってレンダリングされたものとして示される。概して、視野１０００は、視野１０００の全体を通じて広がるオーバーレイテクスチャであって、Ｌｉｄａｒ１２４が様々な物体及び表面をどのようにして読み取るかを示すオーバーレイテクスチャ内において、例えば、Ｌｉｄａｒ１２４からのセンサデータを備える。更には、自律運転モジュール１６０の内部意思決定に関する洞察をオペレータに対して提供するために、物体の様々な追跡情報も、視野１０００内においてレンダリングされる。これに加えて、物体１００５〜１０４５は、ビークルであり、これらのビークルは、それらがビークル１００によって検出されたことを示すためにアウトラインボックスによって示されており、且つ、個々の軌道に関する情報を描くグラフィカル要素によっても、示される。更には、物体１０５０〜１０９０は、物体１０５０〜１０９０に関する状況的情報を伝達するために様々なグラフィックスによって同様にレンダリングされた環境内の検出済み物体である。
【００６９】
更なる注記として、視野１０００は、グラフィカル要素によって相対的に高度にレンダリングされた例を表している。従って、例えば、オペレータが十分に関与していないと用心システム１７０が判定したときに、ビークル１００内の視点からの視野１０００のセグメントがオペレータに対して提供されてもよい。更には、オペレータがビークル１００に更に関与したときに、用心システム１７０は、より半透明な形態において、グラフィック要素をレンダリングすることもできる。
【００７０】
以下、本開示において開示されているシステム及び方法が動作しうる例示用のビークル環境として、図１を十分詳細に説明することとする。いくつかの例においては、ビークル１００は、自律モード、１つ又は複数の半自律動作モード、及び／又は手動モードの間において選択的にスイッチングするように構成されている。手動モードに遷移するときにはハンドオーバとも呼称される、このようなスイッチングは、現在既知の又は将来開発される、適切な方式により、実装することができる。「手動モード」は、ビークルのナビゲーション及び／又は操作のすべてもしくは大部分が、ユーザ（例えば、人間の運転者／オペレータ）から受け取られた入力に従って実行されることを意味している。
【００７１】
１つ又は複数の実施形態においては、ビークル１００は、自律ビークルである。本開示において使用される「自律ビークル」は、自律モードにおいて動作するビークルを意味する。「自律モード」は、人間の運転者／オペレータからの最小限の入力を伴って又はこれを伴うことなしにビークル１００を制御するために、１つ又は複数の演算システムを使用して移動ルートに沿ってビークルをナビゲート及び／又は操作することを意味する。１つ又は複数の実施形態においては、ビークル１００は、高度に又は完全に自動化されている。一実施形態においては、ビークル１００は、１つ又は複数の演算システムが、移動ルートに沿うビークルのナビゲーション及び／又は操作の一部分を実行し、且つ、ビークルオペレータ（即ち、運転者）が、移動ルートに沿うビークル１００のナビゲーション及び／又は操作の一部分を実行するためにビークルに入力を提供する、という１つ又は複数の半自律動作モードを備えるよう構成される。従って、１つ又は複数の実施形態においては、ビークル１００は、特定の定義された自律性のレベルに従って自律的に動作する。例えば、ビークル１００は、米国自動車技術者協会（ＳＡＥ）の自動ビークル分類０〜５に従って動作することができる。一実施形態においては、ビークル１００は、ＳＡＥのレベル２に従って動作し、これは、オペレータ入力を伴うことなしに制動、加速、及びステアリングによってビークルを制御する自律運転モジュール１６０を提供するが、運転者／オペレータは、運転を監視する必要があり、且つ、自律モジュール１６０が適切に応答できない又はビークル１００を適切に制御できない場合にビークル１００の制御に介入するように、用心状態にあると共に準備完了状態にある必要がある。
【００７２】
ビークル１００は、１つ又は複数のプロセッサ１１０を含むことができる。１つ又は複数の構成においては、１つ又は複数のプロセッサ１１０は、ビークル１００のメインプロセッサであってもよい。例えば、１つ又は複数のプロセッサ１１０は、電子制御ユニット（ＥＣＵ）であってもよい。ビークル１００は、１つ又は複数のタイプのデータを記憶するための１つ又は複数のデータ記憶部１１５を含むことができる。データ記憶部１１５は、揮発性及び／又は不揮発性メモリを含むことができる。適切なデータ記憶部１１５の例は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、又は任意の他の適切なストレージ媒体、又は、これらの任意の組合せを含む。データ記憶部１１５は、１つもしくは複数のプロセッサ１１０のコンポーネントであってもよく、又は、データ記憶部１１５は、１つ又は複数のプロセッサ１１０による使用のために１つ又は複数のプロセッサ１１０に動作自在に接続することもできる。本開示の全体を通じて使用されている「動作自在に接続される」という用語は、直接的な物理的接触を伴わない接続を含めて、直接的又は間接的な接続を含むことができる。
【００７３】
１つ又は複数の構成においては、１つ又は複数のデータ記憶部１１５は、マップデータ１１６を含むことができる。マップデータ１１６は、１つ又は複数の地理的エリアのマップを含むことができる。いくつかの例においては、マップデータ１１６は、１つ又は複数の地理的エリア内の道路、交通制御装置、道路マーキング、構造物、特徴、及び／又はランドマークに関する情報又はデータを含むことができる。マップデータ１１６は、任意の適切な形態をとることができる。いくつかの例においては、マップデータ１１６は、エリアの空中からの視野を含むことができる。いくつかの例においては、マップデータ１１６は、３６０度の地上の視野を含む、エリアの地上の視野を含むことができる。マップデータ１１６は、マップデータ１１６内において含まれている１つもしくは複数の項目の、及び／又は、マップデータ１１６内において含まれている他の項目との関係における、計測、寸法、距離、及び／又は情報を含むことができる。マップデータ１１６は、道路形状に関する情報を有するデジタルマップを含むことができる。マップデータ１１６は、高品質であってもよく、且つ／又は、非常に詳細なものであってもよい。
【００７４】
１つ又は複数の構成においては、マップデータ１１６は、１つ又は複数の地形マップ１１７を含むことができる。１つ又は複数の地形マップ１１７は、１つ又は複数の地理的エリアの地面、地形、道路、表面、及び／又は他の特徴に関する情報を含むことができる。１つ又は複数の地形マップ１１７は、１つ又は複数の地理的エリア内の高さデータを含むことができる。マップデータ１１６は、高品質であってもよく、且つ／又は、非常に詳細なものであってもよい。１つ又は複数の地形マップ１１７は、１つ又は複数の地面表面を定義することが可能であり、これらの地面表面は、舗装された道路、未舗装の道路、土地、及び、地面表面を定義する他のもの、を含むことができる。
【００７５】
１つ又は複数の構成においては、マップデータ１１６は、１つ又は複数の静的障害物マップ１１８を含むことができる。１つ又は複数の静的障害物マップ１１８は、１つ又は複数の地理的エリア内に配置される１つ又は複数の静的障害物に関する情報を含むことができる。「静的障害物」は、その位置が所定の期間にわたって変化せずもしくは実質的に変化せず、且つ／又は、そのサイズが所定の期間にわたって変化しないもしくは実質的に変化しない、物理的物体である。静的障害物の例は、樹木、建物、縁石、フェンス、レール、中央分離帯、電柱、像、記念碑、看板、ベンチ、家具、郵便受け、大きな岩、丘を含む。静的障害物は、地面のレベルの上に延びる物体であってもよい。１つ又は複数の障害物マップ１１８内に含まれる１つ又は複数の静的障害物は、場所データ、サイズデータ、寸法データ、材料データ、及び／又は、それ自体と関連する他のデータ、を有することができる。１つ又は複数の静的障害物マップ１１８は、１つ又は複数の静的障害物の計測値、寸法、距離、及び／又は情報を含むことができる。１つ又は複数の静的障害物マップ１１８は、高品質であってもよく、且つ／又は、非常に詳細なものであってもよい。１つ又は複数の静的障害物マップ１１８を、地図化されたエリア内の変化を反映するように、更新することができる。
【００７６】
１つ又は複数のデータ記憶部１１５は、センサデータ１１９を含むことができる。この文脈において、「センサデータ」は、性能及びそのセンサに関する他の情報を含む、ビークル１００が装備しているセンサに関する任意の情報を意味する。後述するように、ビークル１００は、センサシステム１２０を含むことができる。センサデータ１１９は、センサシステム１２０の１つ又は複数のセンサに関係することができる。一例として、１つ又は複数の構成においては、センサデータ１１９は、センサシステム１２０の１つ又は複数のＬＩＤＡＲセンサ１２４に関する情報を含むことができる。
【００７７】
いくつかの例においては、マップデータ１１６及び／又はセンサデータ１１９の少なくとも一部分を、ビークル１００に搭載配置された１つ又は複数のデータ記憶部内に配置することができる。この代わりに、又は、これに加えて、マップデータ１１６及び／又はセンサデータ１１９の少なくとも一部分を、ビークル１００から離れて配置された１つ又は複数のデータ記憶部１１５内に配置することもできる。
【００７８】
上述のように、ビークル１００は、センサシステム１２０を含むことができる。センサシステム１２０は、１つ又は複数のセンサを含むことができる。「センサ」は、なにかを検出及び／又は検知しうる任意の装置、コンポーネント、及び／又はシステムを意味する。１つ又は複数のセンサを、リアルタイムで検出及び／又は検知するように構成することができる。本開示において使用される「リアルタイム」という用語は、行われるべき特定のプロセスもしくは判定に対し十分に即時であるとユーザーもしくはシステムが検知する処理応答性のレベル、又は、プロセッサがなんらかの外部プロセスに追随できるようにする処理応答性のレベル、を意味する。
【００７９】
センサシステム１２０が複数のセンサを含む構成においては、センサは、互いに独立的に機能することができる。この代わりに、センサのうちの２つ又はそれよりも多くのセンサは、相互の組合せにおいて動作することもできる。このようなケースにおいては、２つ又はそれよりも多くのセンサは、センサネットワークを形成することができる。センサシステム１２０及び／又は１つもしくは複数のセンサを、（図１に示されている要素のいずれかを含む）ビークル１００の１つ又は複数のプロセッサ１１０、１つ又は複数のデータ記憶部１１５、及び／又は別の要素に対して動作自在に接続することができる。センサシステム１２０は、ビークル１００の外部環境の少なくとも一部分（例えば、近傍のビークル）のデータを取得することができる。
【００８０】
センサシステム１２０は、任意の適切なタイプのセンサを含むことができる。本開示には、異なるタイプのセンサの様々な例について説明されている。但し、実施形態は、記述されている特定のセンサに限定されるものではないことを理解されたい。センサシステム１２０は、１つ又は複数のビークルセンサ１２１を含むことができる。１つ又は複数のセンサ１２１は、ビークル１００自体に関する情報の検出、判定、及び／又は検知を行うことができる。１つ又は複数の構成においては、１つ又は複数のビークルセンサ１２１は、例えば、慣性加速度などに基づいて、ビークル１００の位置及び向きの変化を検出及び／又は検知するように構成することができる。１つ又は複数の構成においては、１つ又は複数のビークルセンサ１２１は、１つ又は複数の加速度計、１つ又は複数のジャイロスコープ、慣性計測ユニット（ＩＭＵ）、推測航法システム、グローバルナビゲーション衛星システム（ＧＮＳＳ）、全地球測位システム（ＧＰＳ）、ナビゲーションシステム１４７、及び／又は他の適切なセンサを含むことができる。１つ又は複数のビークルセンサ１２１は、ビークル１００の１つ又は複数の特性を検出及び／又は検知するように構成することができる。１つ又は複数の構成においては、１つ又は複数のビークルセンサ１２１は、ビークル１００の現在の速度を判定するために、速度計を含むことができる。
【００８１】
この代わりに又はこれに加えて、センサシステム１２０は、運転環境データを取得及び／又は検知するように構成された１つ又は複数の環境センサ１２２を含むこともできる。「運転環境データ」は、自律ビークル又はその１つもしくは複数の部分が配置されている外部環境に関するデータ又は情報を含む。例えば、１つ又は複数の環境センサ１２２は、ビークル１００の外部環境の少なくとも一部分内の障害物及び／又はその障害物に関する情報／データを検出、定量化、及び／又は検知するように構成することができる。このような障害物は、静的な物体及び／又は動的な物体であってもよい。１つ又は複数の環境センサ１２２は、例えば、車線マーカー、標識、信号機、交通標識、車線ライン、横断歩道、ビークル１００の近傍の縁石、道路以外の場所の物体などのような、ビークル１００の外部環境内の他のものを検出、計測、定量化、及び／又は検知するように構成することができる。
【００８２】
本開示には、センサシステム１２０のセンサの様々な例について記述されている。例示用のセンサは、１つ又は複数の環境センサ１２２及び／又は１つ又は複数のビークルセンサ１２１の一部分であってもよい。更には、センサシステム１２０は、ビークル１００の運転者／オペレータに関係する態様を追跡するか又は他の方式で監視するように機能するオペレータセンサを含むことができる。但し、実施形態は、記述されている特定のセンサに限定されるものではないことを理解されたい。
【００８３】
一例として、１つ又は複数の構成においては、センサシステム１２０は、１つもしくは複数のレーダセンサ１２３、１つもしくは複数のＬＩＤＡＲセンサ１２４、１つもしくは複数のソナーセンサ１２５、及び／又は１つもしくは複数のカメラ１２６を含むことができる。１つ又は複数の構成においては、１つ又は複数のカメラ１２６は、大きなダイナミックレンジ（ＨＤＲ）のカメラ、赤外線（ＩＲ）カメラなどであってもよい。一実施形態においては、カメラ１２６は、オペレータ／運転者の注視やオペレータ／運転者の眼の軌跡などを判定するために、オペレータ／運転者に対して眼の追跡を実行するようにビークルの乗員コンパートメント内に配設された１つ又は複数のカメラを含む。
【００８４】
ビークル１００は、入力システム１３０を含むことができる。「入力システム」は、情報／データの機械への入力を可能にする任意の装置、コンポーネント、システム、要素、もしくは構成、又は、これらのグループを含む。入力システム１３０は、ビークルの乗員（例えば、運転者又は乗員）から入力を受け取ることができる。ビークル１００は、出力システム１３５を含むことができる。「出力システム」は、ビークルの乗員（例えば、人物やビークルの乗員など）への情報／データの提示を可能にする任意の装置、コンポーネント、もしくは構成、又は、これらのグループを含む。
【００８５】
ビークル１００は、１つ又は複数のビークルシステム１４０を含むことができる。図１には、１つ又は複数のビークルシステム１４０の様々な例が示される。但し、ビークル１００は、更に多くの数の、更に少ない数の、又は異なるビークルシステムを含むことができる。特定のビークルシステムが別個に定義されているが、システムのそれぞれもしくはいずれか、又はその一部分は、ビークル１００内のハードウェア及び／又はソフトウェアを介して他の方式で組み合わせること又は分離することもできることを理解されたい。ビークル１００は、推進システム１４１、制動システム１４２、ステアリングシステム１４３、スロットルシステム１４４、トランスミッションシステム１４５、信号システム１４６、及び／又はナビゲーションシステム１４７を含むことができる。これらのシステムのそれぞれは、現在既知の又は後から開発される、１つもしくは複数の装置、コンポーネント、及び／又はこれらの組合せを含むことができる。
【００８６】
ナビゲーションシステム１４７は、ビークル１００の地理的場所を判定するように、且つ／又は、ビークル１００用の移動ルートを判定するように、構成された、現在既知の又はこれから開発される、１つもしくは複数の装置、センサ、アプリケーション、及び／又はこれらの組合せを含むことができる。ナビゲーションシステム１４７は、ビークル１００の移動ルートを判定するために、１つ又は複数のマッピングアプリケーションを含むことができる。ナビゲーションシステム１４７は、全地球測位システム、局所的測位システム、又はジオロケーションシステムを含むことができる。
【００８７】
１つもしくは複数のプロセッサ１１０、用心システム１７０、及び／又は１つもしくは複数の自律運転モジュール１６０を、様々なビークルシステム１４０及び／又はその個々のコンポーネントと通信するように、動作自在に接続することができる。例えば、図１を再度参照すれば、１つもしくは複数のプロセッサ１１０及び／又は１つもしくは複数の自律運転モジュール１６０は、ビークル１００の運動、速度、操作、向き、方向などを制御するために、様々なビークルシステム１４０との間で情報を送受信するべく通信状態にあってもよい。１つもしくは複数のプロセッサ１１０、用心システム１７０、及び／又は１つもしくは複数の自律運転モジュール１６０は、これらのビークルシステム１４０のうちのいくつか又はすべてを制御してもよく、従って、部分的又は完全に自律型であってもよい。
【００８８】
１つもしくは複数のプロセッサ１１０、用心システム１７０、及び／又は１つもしくは複数の自律運転モジュール１６０を、様々なビークルシステム１４０及び／又はその個々のコンポーネントと通信するように、動作自在に接続することができる。例えば、図１を再度参照すれば、１つもしくは複数のプロセッサ１１０、用心システム１７０、及び／又は１つもしくは複数の自律運転モジュール１６０は、ビークル１００の運動、速度、操作、向き、方向などを制御するために、様々なビークルシステム１４０との間において情報を送受信するべく通信状態にあってもよい。１つもしくは複数のプロセッサ１１０、用心システム１７０、及び／又は自律運転モジュール１６０は、これらのビークルシステム１４０のうちのいくつか又はすべてを制御してもよい。
【００８９】
１つもしくは複数のプロセッサ１１０、用心システム１７０、及び／又は１つもしくは複数の自律運転モジュール１６０は、ビークルシステム１４０及び／又はそのコンポーネントのうちの１つ又は複数を制御することにより、ビークル１００のナビゲーション及び／又は操作を制御するように動作可能であってもよい。例えば、自律モードにおいて動作しているときには、１つもしくは複数のプロセッサ１１０、用心システム１７０、及び／又は１つもしくは複数の自律運転モジュール１６０は、ビークル１００の方向及び／又は速度を制御することができる。１つもしくは複数のプロセッサ１１０、用心システム１７０、及び／又は１つもしくは複数の自律運転モジュール１６０は、ビークル１００が、（例えば、エンジンに提供される燃料の供給を増大させることにより）加速すること、（例えば、エンジンへの燃料の供給を減少させることにより、且つ／もしくは、ブレーキを適用することにより）減速すること、且つ／又は（例えば、２つの前輪を回動させることにより）方向を変更すること、を行うようにすることができる。本開示において使用されている「〜ようにする（ｃａｕｓｅ）」又は「〜ようにする（ｃａｕｓｉｎｇ）」は、直接的又は間接的な方式により、イベントもしくは動作が発生するか又は少なくともそのイベントもしくは動作が発生しうる状態となるように、させる（ｍａｋｅ）、強制する（ｆｏｒｃｅ）、強いる（ｃｏｍｐｅｌ）、制御する（ｄｉｒｅｃｔ）、命令する（ｃｏｍａｎｎｄ）、指示する（ｉｎｓｔｒｕｃｔ）、且つ／又はこれを可能にする（ｅｎａｂｌｅ）ことを意味する。
【００９０】
ビークル１００は、１つ又は複数のアクチュエータ１５０を含むことができる。アクチュエータ１５０は、１つもしくは複数のプロセッサ１１０及び／又は１つもしくは複数の自律運転モジュール１６０からの信号又は他の入力の受信に応答して、ビークルシステム１４０の１つもしくは複数、又はそのコンポーネントを変化させる、調節する、且つ／又は変更するように動作可能な、任意の要素又は要素の組合せであってもよい。任意の適切なアクチュエータを使用することができる。例えば、１つ又は複数のアクチュエータ１５０は、いくつかの可能性のある名称を挙げるだけでも、モーター、空圧アクチュエータ、水圧ピストン、リレー、ソレノイド、及び／又は圧電アクチュエータを含むことができる。
【００９１】
ビークル１００は、１つ又は複数のモジュールを含むことが可能であり、本開示には、これらのモジュールのうちの少なくともいくつかについて記述されている。モジュールを、プロセッサ１１０によって実行されたときに本開示に記述される様々なプロセスのうちの１つ又は複数を実装するコンピュータ可読プログラムコードとして実装することができる。モジュールのうちの１つもしくは複数は、１つもしくは複数のプロセッサ１１０のコンポーネントであってもよく、又は、モジュールのうちの１つもしくは複数を、１つもしくは複数のプロセッサ１１０が動作自在に接続されている他の処理システム上において実行可能であり、且つ／又は、それらの間において分散させることもできる。モジュールは、１つ又は複数のプロセッサ１１０によって実行可能である命令（例えば、プログラムロジック）を含むことができる。この代わりに、又はこれに加えて、１つ又は複数のデータ記憶部１１５が、このような命令を含むこともできる。
【００９２】
１つ又は複数の構成においては、本開示に記述されているモジュールのうちの１つ又は複数は、例えば、ニューラルネットワーク、ファジーロジック、又は他の機械学習アルゴリズムなどの、人工的又は演算的なインテリジェンス要素を含むことができる。更には、１つ又は複数の構成においては、モジュールのうちの１つ又は複数を、本開示に記述されている複数のモジュールの間において分散させることもできる。１つ又は複数の構成において、本開示に記述されているモジュールのうちの２つ又はそれよりも多くを、単一のモジュールとして組み合わせることができる。
【００９３】
ビークル１００は、１つ又は複数の自律運転モジュール１６０を含むことができる。１つ又は複数の自律運転モジュール１６０は、センサシステム１２０、並びに／又は、ビークル１００及び／もしくはビークル１００の外部環境に関係する情報をキャプチャする能力を有する任意の他のタイプのシステムからデータを受け取るように構成することができる。１つ又は複数の構成においては、１つ又は複数の自律運転モジュール１６０は、１つ又は複数の運転シーンモデルを生成するために、このようなデータを使用することができる。１つ又は複数の自律運転モジュール１６０は、ビークル１００の位置及び速度を判定することができる。１つ又は複数の自律運転モジュール１６０は、障害物、又は、交通標識、樹木、灌木、近傍のビークル、歩行者などを含む他の環境的特徴の場所を判定することができる。
【００９４】
１つ又は複数の自律運転モジュール１６０は、マップの生成又はマップデータとの関係におけるビークル１００の位置の判定に使用されるように、ビークル１００の位置及び向き、複数の衛星からの信号に基づいたグローバル座標内のビークル位置、又は、ビークル１００の現在の状態を判定するのに使用可能なもしくはその環境に関するビークル１００の位置を判定するのに使用可能な任意の他のデータ及び／又は信号を推定するために、１つ又は複数のプロセッサ及び／又は本開示に記述されているモジュールのうちの１つ又は複数によって使用されるように、ビークル１００の外部環境内の障害物の場所情報を受信及び／又は判定するように構成することができる。
【００９５】
１つ又は複数の自律運転モジュール１６０は、独立的に、又は様々な用心システム１７０との組合せにおいて、１つもしくは複数の移動経路、ビークル１００の現在の自律運転操作、将来の自律運転操作、並びに／又は、センサシステム１２０、運転シーンモード、及び／もしくは任意の他の適切な供給源からのデータによって取得されたデータに基づいた現在の自律運転操作に対する変更を判定するように、構成することができる。「運転操作」は、ビークルの運動に影響を及ぼす１つ又は複数の動作を意味する。運転操作の例は、いくつかの可能性のある名前を挙げるだけでも、加速、減速、制動、回動、ビークル１００の横方向における運動、走行車線の変更、走行車線への合流、及び／又は後退を含む。１つ又は複数の運転モジュール１６０は、判定された運転操作を実装するように構成することができる。１つ又は複数の自律運転モジュール１６０は、直接的に又は間接的に、このような自律運転操作が実装されるようにすることができる。本開示において使用されている「〜ようにする（ｃａｕｓｅ）」又は「〜ようにする（ｃａｕｓｉｎｇ）」は、直接的又は間接的な方式により、イベントもしくは動作が発生する又は少なくともそのイベントもしくは動作が発生しうる状態になるように、させる（ｍａｋｅ）、命令する（ｃｏｍａｎｎｄ）、指示する（ｉｎｓｔｒｕｃｔ）、且つ／又は、これを可能にする（ｅｎａｂｌｅ）ことを意味する。１つ又は複数の自律運転モジュール１６０は、様々なビークル機能を実行するように、且つ／又は、ビークル１００又はその１つもしくは複数のシステム（例えば、ビークルシステム１４０のうちの１つもしくは複数）との間においてデータを送受信するように、これとやり取りするように、且つ／又は、これを制御するように、構成することができる。
【００９６】
本開示には、詳細な実施形態が開示されている。但し、開示されている実施形態は、例としてのみ意図されていることを理解されたい。従って、本開示において開示されている特定の構造的及び機能的な詳細は、限定であるものとして解釈してはならず、特許請求の範囲の基礎であるに過ぎないものとして、且つ、実質的にすべての適切に詳述された構造において本開示の態様を様々に利用するべく当業者に教示するための代表的な基礎であるに過ぎないものとして、解釈されたい。更には、本開示において使用されている用語及びフレーズは、限定を意図したものではなく、むしろ、可能な実装形態に関する理解可能な説明を提供することを目的としている。図１から図１０には、様々な実施形態が示されているが、これらの実施形態は、図示の構造又は用途に限定されるものではない。
【００９７】
図中のフローチャート及びブロック線図は、様々な実施形態によるシステム、方法、及びコンピュータプログラムプロダクトの可能な実装形態のアーキテクチャ、機能、及び動作を示している。この観点において、フローチャート又はブロック線図内のそれぞれのブロックは、規定された１つ又は複数の論理的機能を実装するための１つ又は複数の実行可能な命令を備える、コードのモジュール、セグメント、又は一部分を表すことができる。又、いくつかの代替実装形態においては、ブロック内に記述されている機能が、図中に記述されている順序以外で生じてもよいことに留意されたい。例えば、連続的に示されている２つのブロックは、実際には、関与する機能に応じて、実質的に同時に実行されてもよく、又は、ブロックは、しばしば、逆の順序において実行されてもよい。
【００９８】
上述のシステム、コンポーネント、及び／又はプロセスは、ハードウェア又はハードウェアとソフトウェアの組合せにおいて実現することが可能であり、且つ、１つの処理システム内において中央集中型の方式により、又は、異なる要素がいくつかの相互接続された処理システムに跨って拡散している分散型の方式により、実現することができる。本開示に記述されている方法を実行するように適合されたすべての種類の処理システム又は別の装置が適している。ハードウェア及びソフトウェアの通常の組合せは、読み込まれ且つ実行されたときに、本開示に記述されている方法を実行するように処理システムを制御するコンピュータ使用可能プログラムコードを有する処理システムであってもよい。又、システム、コンポーネント、及び／又はプロセスは、本開示に記述されている方法及びプロセスを実行するために機械によって実行可能である命令のプログラムを有体的に実施した、機械可読な、コンピュータプログラムプロダクト又は他のデータプログラムストレージ装置などの、コンピュータ可読ストレージ内に、埋め込まれることができる。又、これらの要素は、本開示に記述されている方法の実装を可能にするすべての特徴を備えると共に処理システム内に読み込まれたときにこれらの方法を実行しうるアプリケーションプロダクトに埋め込まれることもできる。
【００９９】
更には、本開示に記述されている構成は、例えば、そこで、記憶されるなど、実施されるコンピュータ可読プログラムコードを有する、１つ又は複数のコンピュータ可読媒体において実施されるコンピュータプログラムプロダクトの形態をとることができる。１つ又は複数のコンピュータ可読媒体のすべての組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体であってもよい。「コンピュータ可読ストレージ媒体」というフレーズは、非一時的なストレージ媒体を意味する。コンピュータ可読ストレージ媒体は、例えば、限定を伴うことなしに、電子的、磁気的、光学的、電磁気的、赤外線、又は半導体システム、装置、もしくは機器、又は、上述のものの任意の適切な組合せであってもよい。コンピュータ可読ストレージ媒体の更に具体的な例（すべてを網羅するものではないリスト）は、携帯型のコンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、半導体ドライブ（ＳＳＤ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ又はＦｌａｓｈメモリ）、携帯型のコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、光ストレージ装置、磁気ストレージ装置、又は上述のものの任意の適切な組合せを含むことになろう。本開示の文脈においては、コンピュータ可読ストレージ媒体は、命令実行システム、装置、又は機器により、又はこれらと接続されて、使用されるプログラムを収容又は記憶しうる任意の有体の媒体であってもよい。
【０１００】
コンピュータ可読媒体上において実施されるプログラムコードは、限定を伴うことなしに、無線、有線、光ファイバ、ケーブル、ＲＦなど、又は、上述のものの任意の適切な組合せを含む、任意の適切な媒体を使用することにより、送信することができる。本構成の態様の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋又はこれらに類似したものなどのオブジェクト指向のプログラム言語と、「Ｃ」プログラミング言語又は類似のプログラミング言語などの従来の手続き型のプログラミング言語と、を含む、１つ又は複数のプログラミング言語の任意の組合せで記述することができる。プログラムコードは、スタンドアロンソフトウェアパッケージとして、完全にユーザーのコンピュータ上において稼働してもよく、部分的にユーザーのコンピュータ上において稼働してもよく、部分的にユーザーのコンピュータ上において且つ部分的にリモートコンピュータ上において稼働してもよく、又は、全体的にリモートコンピュータもしくはサーバー上において稼働してもよい。後者のシナリオにおいては、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通じて、ユーザーのコンピュータに接続されていてもよく、又は、接続は、（例えば、インターネットサービスプロバイダを使用するインターネットを通じて）外部コンピュータに対して実施されてもよい。
【０１０１】
本開示において使用される「１つの（ａ）」及び「１つの（ａｎ）」という用語は、１つ又は複数であるものとして、定義される。本開示において使用される「複数の（ｐｌｕｒａｌｉｔｙ）」という用語は、２つ又はそれよりも多いものとして、定義される。本開示において使用される「別の（ａｎｏｔｈｅｒ）」という用語は、少なくとも２番目又はこれを上回るものとして、定義される。本開示において使用される「含む（ｉｎｃｌｕｄｉｎｇ）」及び／又は「有する（ｈａｖｉｎｇ）」という用語は、備えるもしくは含む（ｃｏｍｐｒｉｓｉｎｇ）もの（即ち、オープン型の言語であるもの）として、定義される。本開示において使用されている「〜及び〜のうちの少なくとも１つ（ａｔ  ｌｅａｓｔ  ｏｎｅ  ｏｆ  ．．．  ａｎｄ  ．．．）」というフレーズは、関連する列挙された項目のうちの１つ又は複数の項目の任意の且つすべての可能な組合せを参照し、且つ、包含する。一例として、「Ａ、Ｂ、及びＣのうちの少なくとも１つ（ａｔ  ｌｅａｓｔ  ｏｎｅ  ｏｆ  Ａ，Ｂ，  ａｎｄ  Ｃ）」というフレーズは、Ａのみ、Ｂのみ、Ｃのみ、又は、これらの任意の組合せ（例えば、ＡＢ、ＡＣ、ＢＣ、もしくはＡＢＣ）を含む。
【０１０２】
本開示における態様は、その真意又は基本的な属性から逸脱することなしに、他の形態において実施することができる。従って、その範囲を示すものとして、上述の明細書ではなく、添付の特許請求の範囲を参照されたい。
【０１０３】
［構成Ａ１］
ビークル内のオペレータの用心度の低下を軽減するための用心システムであって、
１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサに通信自在に結合されたメモリであって、
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、前記ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視するようにする命令を含む監視モジュールと、
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算するようにする命令を含む用心度モジュールと、
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する前記オペレータの用心度を促すために、且つ、前記オペレータが前記自律的動作及び現在の動作環境に対し無関与となるのを妨げるのを容易にするために、少なくとも前記関与レベルの変化に従って、どのようにして前記少なくとも１つのグラフィカル要素がレンダリングされるかの特徴を動的に調節することにより、前記ビークル内の拡張現実（ＡＲ）ディスプレイ上に、少なくとも１つのグラフィカル要素を前記関与レベルの関数としてレンダリングするようにする命令を含むレンダリングモジュールと、
を記憶するメモリと、
を備え、
前記レンダリングモジュールは、前記ビークルの外部の前記現在の動作環境に関するセンサデータから前記少なくとも１つのグラフィカル要素を生成することにより、前記少なくとも１つのグラフィカル要素をレンダリングする命令を更に含み、
前記監視モジュール、前記用心度モジュール、及び前記レンダリングモジュールは、前記オペレータ状態情報を動的に更新するために、前記関与レベルを反復的に演算するために、且つ、前記関与レベルの観察された変化に従って前記少なくとも１つのグラフィカル要素の前記レンダリングを調節するために、フィードバックループを使用して、並列的に前記１つ又は複数のプロセッサ上で稼働し、
前記レンダリングモジュールは、前記関与レベルの経時変化に少なくとも部分的に基づいて変化される視覚的特徴を有する、前記少なくとも１つのグラフィカル要素をレンダリングすることにより、前記少なくとも１つのグラフィカル要素をレンダリングする命令をさらに含み、変化される前記視覚的特徴は、少なくとも前記現在の動作環境のグラフィカルオーバーレイの強度を含み、
前記監視モジュール、前記用心度モジュール、及び前記レンダリングモジュールが並列的に稼働しつつ、前記ビークルが、少なくとも監督された自律的標準に従って、運転され、前記レンダリングモジュールは、前記少なくとも１つのグラフィカル要素の変化を通じた視覚的キューを前記オペレータに提供することにより、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの準備完了度を維持するために、前記少なくとも１つのグラフィカル要素をレンダリングする命令を更に含む、
用心システム。
［構成Ａ２］
前記レンダリングモジュールは、前記ＡＲディスプレイ上におけるグラフィカルオーバーレイとして、前記ビークルの１つ又は複数の環境センサからの前記現在の動作環境に関する前記センサデータを使用して前記ＡＲディスプレイ内において視覚化をレンダリングすることにより、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を更に含み、
前記レンダリングモジュールは、前記現在の動作環境に関する自律運転モジュールの現在の決定及び状況的認知を示す前記自律運転モジュールの内部状態情報をレンダリングすることにより、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を更に含む、
構成Ａ１に記載の用心システム。
［構成Ａ３］
前記用心度の低下は、前記オペレータが、前記現在の動作環境を通じて、前記現在の動作環境及び前記ビークルの自律的動作について認知している程度を示しており、
前記用心度モジュールは、前記関与レベルにおいて前記ビークルの前記現在の動作環境を説明するために、前記オペレータ状態情報と共に動的なビークルデータを分析することにより、前記関与レベルを演算するための命令を更に含み、前記動的なビークルデータは、少なくとも、前記ビークルのテレマティクス、前記ビークルの現在の場所、及び天候情報を含み、前記関与レベルは、前記ビークルの前記自律的動作及び前記現在の動作環境との関係における前記オペレータの現在の心理的認知を示している、
構成Ａ１に記載の用心システム。
［構成Ａ４］
前記監視モジュールは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することにより、前記オペレータを監視するための命令を更に含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記用心度モジュールは、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成することにより、前記関与レベルを演算するための命令を更に含み、前記用心度モデルは、前記オペレータ状態情報及び前記現在の動作環境の関数として前記オペレータの可能性が高い用心度の低下を特徴付ける統計的モデルである、
構成Ａ１に記載の用心システム。
［構成Ａ５］
前記用心度モジュールは、前記オペレータに従って前記レンダリングをカスタマイズするために、前記オペレータ状態情報と、前記少なくとも１つのグラフィカル要素に応じた、観察された前記オペレータの促された応答と、に従って、前記用心度モデルを更新するための命令を更に含む、
構成Ａ１に記載の用心システム。
［構成Ａ６］
前記レンダリングモジュールは、
（ｉ）前記関与レベルの変化に従って前記ＡＲディスプレイ内の前記グラフィカルオーバーレイの不透明性を変化させることと、
（ｉｉ）前記関与レベルの変化に従って、前記ＡＲディスプレイ内において表示されるグラフィカル要素の数を変化させることと、
（ｉｉｉ）前記関与レベルの変化に従って、前記ＡＲディスプレイにおいて前記オペレータの目視線内に前記少なくとも１つのグラフィカル要素をレンダリングすることと、
（ｖ）前記オペレータが用心度の低下を経験していることを前記関与レベルが示すときに、前記ビークルの前記少なくとも１つのセンサによって読み取られた前記現在の動作環境の態様に関する前記オペレータ用の質問を含むテキストを前記ＡＲディスプレイ内においてレンダリングすることと、
のうちの１つ又は複数により、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を更に含む、
構成Ａ１に記載の用心システム。
［構成Ａ７］
前記レンダリングモジュールは、前記ＡＲディスプレイ内における前記グラフィックオーバーレイとして前記ビークルのＬＩＤＡＲセンサからの点群データをレンダリングすることにより、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を更に含む、構成Ａ１に記載の用心システム。
［構成Ａ８］
ビークル内のオペレータの用心度の低下を軽減するための非一時的なコンピュータ可読媒体であって、１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、
前記ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視し、
前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算し、
前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する前記オペレータの用心度を促すために、且つ、前記オペレータが前記自律的動作及び現在の動作環境に対し無関与となるのを妨げるのを容易にするために、少なくとも前記関与レベルの変化に従って、どのようにして少なくとも１つのグラフィカル要素がレンダリングされるかの特徴を動的に調節することにより、前記ビークル内の拡張現実（ＡＲ）ディスプレイ上に、前記少なくとも１つのグラフィカル要素を前記関与レベルの関数としてレンダリングする、
ようにする命令を記憶しており、
前記少なくとも１つのグラフィカル要素をレンダリングする命令は、前記ビークルの外部の前記現在の動作環境に関するセンサデータから前記少なくとも１つのグラフィカル要素を生成する命令を更に含み、
前記少なくとも１つのグラフィカル要素をレンダリングする命令は、前記関与レベルの経時変化に少なくとも部分的に基づいて変化される前記視覚的特徴を有する前記少なくとも１つのグラフィカル要素を、前記関与レベルの変化に従って強度が変化される前記現在の動作環境のグラフィカルオーバーレイとして、レンダリングする命令を更に含み、
監視し、演算し、及びレンダリングする前記命令は、前記オペレータ状態情報を動的に更新するために、前記関与レベルを反復的に演算するために、且つ、前記関与レベルの観察された変化に従って前記少なくとも１つのグラフィカル要素の前記レンダリングを調節するために、フィードバックループを使用して、並列的に前記１つ又は複数のプロセッサ上で稼働し、
監視し、演算し、及びレンダリングする前記命令が並列的に前記１つ又は複数のプロセッサ上で稼働しつつ、前記ビークルが、少なくとも監督された自律的標準に従って、運転され、前記少なくとも１つのグラフィカル要素をレンダリングする前記命令は、前記少なくとも１つのグラフィカル要素の変化を通じた視覚的キューを前記オペレータに提供することにより、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの準備完了度を維持する、
非一時的なコンピュータ可読媒体。
［構成Ａ９］
前記オペレータを監視するための前記命令は、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集するための命令を更に含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記関与レベルを演算する前記命令は、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成するための命令を更に含み、前記用心度モデルは、前記オペレータ状態情報及び前記現在の動作環境の関数として前記オペレータの可能性の高い用心度の低下を特徴付ける統計的モデルである、
構成Ａ８に記載の非一時的なコンピュータ可読媒体。
［構成Ａ１０］
前記少なくとも１つのグラフィカル要素をレンダリングするための前記命令は、前記ＡＲディスプレイ上におけるオーバーレイとして、前記ビークルの１つ又は複数の環境センサからの前記現在の動作環境に関するデータを使用して、前記関与レベルに従い、前記少なくとも１つのグラフィカル要素を調節することにより、前記ＡＲディスプレイ内において視覚化をレンダリングするための命令を含み、
前記少なくとも１つのグラフィカル要素をレンダリングするための前記命令は、前記現在の動作環境に関する自律運転モジュールの現在の決定及び状況的認知を示す前記自律運転モジュールの内部状態情報をレンダリングするための命令を含み、
前記自律運転モジュールは、少なくとも監督された自律性を用いて前記ビークルの動作を定義する、監督された自律的標準に従って、前記ビークルを制御する、
構成Ａ８に記載の非一時的なコンピュータ可読媒体。
［構成Ａ１１］
前記少なくとも１つのグラフィカル要素をレンダリングするための前記命令は、前記ＡＲディスプレイ内における前記グラフィカルオーバーレイとして前記ビークルのＬＩＤＡＲセンサからの点群データをレンダリングするための命令を更に含む、構成Ａ８に記載の非一時的なコンピュータ可読媒体。
［構成Ａ１２］
拡張現実（ＡＲ）ディスプレイを有するビークル内のオペレータの用心度の低下を軽減する方法であって、
前記ビークルの少なくとも１つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視することと、
前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算することと、
前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する前記オペレータの用心度を促すために、且つ、前記オペレータが前記自律的動作及び現在の動作環境に対し無関与となるのを妨げるのを容易にするために、少なくとも前記関与レベルの変化に従って、どのようにして少なくとも１つのグラフィカル要素がレンダリングされるかの特徴を動的に調節することにより、前記ビークル内の拡張現実（ＡＲ）ディスプレイ上に、前記少なくとも１つのグラフィカル要素を前記関与レベルの関数としてレンダリングすることと、
を含み、
前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記ビークルの外部の前記現在の動作環境に関するセンサデータから前記少なくとも１つのグラフィカル要素を生成することを含み、
前記オペレータを監視すること、前記関与レベルを演算すること、及び前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記オペレータに促された前記用心度に従い、前記関与レベルを反復的に演算するために、且つ、前記関与レベルの観察された変化に従って前記少なくとも１つのグラフィカル要素の前記レンダリングを調節するために、前記少なくとも１つのセンサからの、更新されたオペレータ状態情報のフィードバックループを使用して、並列的に前記１つ又は複数のプロセッサ上で稼働し、
前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記関与レベルの経時変化に少なくとも部分的に基づいて変化される前記視覚的特徴を有する前記少なくとも１つのグラフィカル要素を、前記関与レベルの変化に従って強度が変化される前記現在の動作環境のグラフィカルオーバーレイとして、レンダリングする命令を更に含み、
前記監視すること、演算すること、及びレンダリングすることが並列的に前記１つ又は複数のプロセッサ上で稼働しつつ、前記ビークルが、少なくとも監督された自律的標準に従って、運転され、前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記少なくとも１つのグラフィカル要素の変化を通じた視覚的キューを前記オペレータに提供することにより、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの準備完了度を維持する、
方法。
［構成Ａ１３］
前記用心度の低下は、前記オペレータが、前記現在の動作環境を通じて、現在の動作環境及び前記ビークルの進捗について認知している程度を示しており、
前記関与レベルを演算することは、前記関与レベルを演算するときに、前記ビークルの前記現在の動作環境を説明するために、前記オペレータ状態情報と共に動的なビークルデータを分析することを更に含み、前記動的なビークルデータは、少なくとも、前記ビークルのテレマティクス、前記ビークルの現在の場所、及び天候情報を含み、前記関与レベルは、前記ビークルの前記自律的動作及び前記現在の動作環境との関係における前記オペレータの現在の心理的認知を示している、
構成Ａ１２に記載の方法。
［構成Ａ１４］
前記オペレータを監視することは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することを含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記関与レベルを演算することは、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成することを含み、前記用心度モデルは、前記現在の動作環境に従って前記オペレータ状態情報の関数として前記オペレータの可能性が高い用心度の低下を特徴付ける統計的モデルである、
構成Ａ１２に記載の方法。
［構成Ａ１５］
前記オペレータに従って前記レンダリングすることをカスタマイズするために、前記オペレータ状態情報と、前記少なくとも１つのグラフィカル要素の前記レンダリングに従う観察された前記オペレータの促された応答と、に従って、前記用心度モデルを更新することを更に有する、構成Ａ１２に記載の方法。
［構成Ａ１６］
前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記ＡＲディスプレイ上におけるオーバーレイとして、前記ビークルの前記１つ又は複数の環境センサからの前記現在の動作環境に関するデータを使用して、前記関与レベルに従い、前記少なくとも１つのグラフィカル要素を調節することにより、前記ＡＲディスプレイ内において視覚化をレンダリングすることを更に含み、
前記少なくとも１つのグラフィカル要素をレンダリングすることは、前記現在の動作環境に関する自律モジュールの現在の決定及び状況的認知を示す前記自律モジュールの内部状態情報をレンダリングすることを更に含み、
前記自律モジュールは、少なくとも監督された自律性に従って動作するための、監督された自律運転標準に従って、前記ビークルを制御する、
構成Ａ１２に記載の方法。
［構成Ａ１７］
前記少なくとも１つのグラフィカル要素を前記関与レベルの関数としてレンダリングすることは、
（ｉ）前記関与レベルの変化に従って前記ＡＲディスプレイ内においてオーバーレイの不透明性を変更することと、
（ｉｉ）前記関与レベルの変化に従って前記ＡＲディスプレイ内において表示されるグラフィック要素の数を変化させることと、
（ｉｉｉ）前記関与レベルの変化に従って前記ＡＲディスプレイにおいて前記オペレータの目視線内に更なる要素を追加することと、
（ｉｖ）前記オペレータが用心度の低下を経験していることを前記関与レベルが示すときに、前記ＡＲディスプレイ内における前記グラフィカルオーバーレイとして前記ビークルのＬｉＤＡＲセンサからの点群データをレンダリングすることと、
（ｖ）前記オペレータが用心度の低下を経験していることを前記関与レベルが示すときに、前記ビークルの前記少なくとも１つのセンサによって読み取られた前記現在の動作環境の態様に関する前記オペレータ用の質問を含むテキストを前記ＡＲディスプレイ内においてレンダリングすることと、
のうちの１つ又は複数を更に含む、構成Ａ１２に記載の方法。
【０１０４】
［構成Ｂ１］
拡張現実（ＡＲ）ディスプレイを含むビークル内のオペレータの用心度及び準備完了度を改善するための用心システムであって、
１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサに通信自在に結合されたメモリであって、
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、前記ビークルの周りの外部環境及び前記ビークルの少なくとも半自律動作を含む、前記ビークルの動作特徴に関する、前記オペレータにより現在示される用心度の低下及び準備完了度の程度を特徴付けるために、前記オペレータの関与レベルを演算するようにする命令を含む用心度モジュールと、
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、少なくとも１つのグラフィカル要素の視覚的特徴を、前記関与レベルの関数として、かつ、前記外部環境に関するセンサデータに少なくとも部分的に基づいて、変化させることにより、前記ＡＲディスプレイ上に、前記少なくとも１つのグラフィカル要素を、動的にレンダリングするようにする命令を含むレンダリングモジュールと、
を記憶するメモリと、
を備え、
前記レンダリングモジュールは、前記動作特徴に関する前記オペレータの用心度及び準備完了度を促すことを通じて、前記ビークルの前記少なくとも半自律動作を改善するために、前記少なくとも１つのグラフィカル要素を動的にレンダリングするための命令を含む、
用心システム。
［構成Ｂ２］
前記レンダリングモジュールは、前記少なくとも１つのグラフィカル要素を動的にレンダリングするための命令を含み、当該命令は、前記関与レベルの経時変化に少なくとも部分的に基づいて、前記少なくとも１つのグラフィカル要素の視覚的特徴を変化させるための命令を含み、
前記レンダリングモジュールは、前記オペレータが前記ビークルの前記少なくとも半自律動作に独立して介入すべきときの、前記オペレータへの制御の手動ハンドオーバに関する認知、及び、オペレータの認知を改善することにより、少なくとも半自律で動作すべく前記ビークルの動作を改善するよう前記オペレータの用心度及び準備完了度を促すための命令を含む、
構成Ｂ１に記載の用心システム。
［構成Ｂ３］
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、前記ビークルの少なくとも１つの内部センサを使用して、前記オペレータに関して読み取られたオペレータ状態情報を収集するようにする命令を含む監視モジュールを更に備え、前記用心度モジュールは、統計的尤度として前記動作特徴に関する前記オペレータの現在の心理的認知の計測を示すために、用心度モデルに従って前記オペレータ状態情報を特徴付けることにより、前記関与レベルを演算するための命令を含み、
前記用心度モデルは、前記外部環境に従って前記オペレータ状態情報の関数として、少なくとも前記オペレータの可能性の高い用心度の低下を特徴付ける統計モデルである、
構成Ｂ１に記載の用心システム。
［構成Ｂ４］
前記少なくとも１つのグラフィカル要素を動的にレンダリングするための命令が、前記ビークルがどのようにして前記少なくとも半自律動作を行うかについての現在の決定及び状況的認知を示す、内部状態情報の視覚化として、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を含み、
前記動的にレンダリングするための命令が、前記少なくとも１つのグラフィカル要素の前記視覚的特徴を変化させることを含み、
前記視覚的特徴を変化させることが、どのグラフィカル要素が表示されるか、及び、前記グラフィカル要素の前記ＡＲディスプレイ内における表示のされ方を変更することを含む、
構成Ｂ１に記載の用心システム。
［構成Ｂ５］
前記レンダリングモジュールは、前記グラフィカル要素が表示されるやり方を変更するための命令を含み、当該命令は、前記オペレータの前記用心度及び前記準備完了度が低下していることを前記関与レベルが示すときに、前記オペレータの目視線内に明確にあるように前記少なくとも１つのグラフィカル要素の強度、スタイル、前記ＡＲディスプレイ内の位置を変更するための命令を含む、
構成Ｂ４に記載の用心システム。
［構成Ｂ６］
前記レンダリングモジュールは、前記少なくとも１つのグラフィカル要素を動的にレンダリングするための命令を含み、当該命令は、前記外部環境に関する前記センサデータを使用して、前記ＡＲディスプレイのオーバーレイとして、前記少なくとも１つのグラフィカル要素を生成するための命令を含み、前記オーバーレイは、前記ビークルの少なくとも１つの外部センサにより読み取られた前記センサデータの視覚化であり、前記少なくとも１つの外部センサは、ライダー（ＬｉＤＡＲ）センサを含む、構成Ｂ１に記載の用心システム。
［構成Ｂ７］
前記ビークルの前記少なくとも半自律動作は、前記ビークルの自律運転モジュールにより電子的に制御されるように、少なくとも監督された自律的標準に従っており、
前記用心度モジュールは、前記関与レベルを演算するための命令を含み、当該命令は、前記関与レベルを演算するときに前記ビークルの前記外部環境を説明するために、動的ビークルデータをオペレータ状態情報とともに分析するための命令を含み、前記動的ビークルデータは、少なくとも前記ビークルのテレマティクス、及び前記ビークルの現在の位置を含む、
構成Ｂ１に記載の用心システム。
［構成Ｂ８］
前記用心度モジュールは、前記関与レベルを演算するための命令を含み、当該命令は、前記関与レベルを演算するために、前記オペレータが現在注視している方向を識別する眼追跡カメラからの少なくとも注視データを使用するための命令を含む、構成Ｂ１に記載の用心システム。
［構成Ｂ９］
拡張現実（ＡＲ）ディスプレイを含むビークル内のオペレータの用心度及び準備完了度を改善するための非一時的なコンピュータ可読媒体であって、１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、
前記ビークルの周りの外部環境及び前記ビークルの少なくとも半自律動作を含む、前記ビークルの動作特徴に関する、前記オペレータにより現在示される用心度の低下及び準備完了度の程度を特徴付けるために、前記オペレータの関与レベルを演算し、
少なくとも１つのグラフィカル要素の視覚的特徴を、前記関与レベルの関数として、かつ、前記外部環境に関するセンサデータに少なくとも部分的に基づいて、変化させることにより、前記ＡＲディスプレイ上に、前記少なくとも１つのグラフィカル要素を、動的にレンダリングする、
ようにする命令を記憶しており、
前記少なくとも１つのグラフィカル要素を動的にレンダリングするための命令は、前記動作特徴に関する前記オペレータの用心度及び準備完了度を促すことを通じて、前記ビークルの前記少なくとも半自律動作を改善する、
非一時的なコンピュータ可読媒体。
［構成Ｂ１０］
前記少なくとも１つのグラフィカル要素を動的にレンダリングするための命令は、前記関与レベルの経時変化に少なくとも部分的に基づいて、前記少なくとも１つのグラフィカル要素の視覚的特徴を変化させるための命令を含み、
前記オペレータの用心度及び準備完了度を促すための命令は、前記オペレータが前記ビークルの前記少なくとも半自律動作に独立して介入すべきときの、前記オペレータへの制御の手動ハンドオーバに関する認知、及び、オペレータの認知を改善することにより、少なくとも半自律で動作すべく前記ビークルの動作を改善する、
構成Ｂ９に記載の非一時的なコンピュータ可読媒体。
［構成Ｂ１１］
前記１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサが、前記ビークルの少なくとも１つの内部センサを使用して、前記オペレータに関して読み取られたオペレータ状態情報を収集するようにする命令を含む監視モジュールを更に備え、前記関与レベルを演算するための命令は、統計的尤度として前記動作特徴に関する前記オペレータの現在の心理的認知の計測を示すために、用心度モデルに従って前記オペレータ状態情報を特徴付けるための命令を含み、
前記用心度モデルは、前記外部環境に従って前記オペレータ状態情報の関数として、少なくとも前記オペレータの可能性の高い用心度の低下を特徴付ける統計モデルである、
構成Ｂ９に記載の非一時的なコンピュータ可読媒体。
［構成Ｂ１２］
前記少なくとも１つのグラフィカル要素を動的にレンダリングするための命令が、前記ビークルがどのようにして前記少なくとも半自律動作を行うかについての現在の決定及び状況的認知を示す、内部状態情報の視覚化として、前記少なくとも１つのグラフィカル要素をレンダリングするための命令を含み、
前記動的にレンダリングするための命令が、前記少なくとも１つのグラフィカル要素の前記視覚的特徴を変化させることを含み、
前記視覚的特徴を変化させることが、どのグラフィカル要素が表示されるか、及び、前記グラフィカル要素の前記ＡＲディスプレイ内における表示のされ方を変更することを含む、
構成Ｂ９に記載の非一時的なコンピュータ可読媒体。
［構成Ｂ１３］
前記少なくとも１つのグラフィカル要素を動的にレンダリングするための命令は、前記外部環境に関する前記センサデータを使用して、前記ＡＲディスプレイのオーバーレイとして、前記少なくとも１つのグラフィカル要素を生成するための命令を含み、前記オーバーレイは、前記ビークルの少なくとも１つの外部センサにより読み取られた前記センサデータの視覚化であり、前記少なくとも１つの外部センサは、ライダー（ＬｉＤＡＲ）センサを含み、
前記ビークルの前記少なくとも半自律動作は、前記ビークルの自律運転モジュールにより電子的に制御されるように、少なくとも監督された自律的標準に従う、
構成Ｂ９に記載の非一時的なコンピュータ可読媒体。
［構成Ｂ１４］
拡張現実（ＡＲ）ディスプレイを含むビークル内のオペレータの用心度及び準備完了度を改善する方法であって、
前記ビークルの周りの外部環境及び前記ビークルの少なくとも半自律動作を含む、前記ビークルの動作特徴に関する、前記オペレータにより現在示される用心度の低下及び準備完了度の程度を特徴付けるために、前記オペレータの関与レベルを演算することと、
少なくとも１つのグラフィカル要素の視覚的特徴を、前記関与レベルの関数として、かつ、前記外部環境に関するセンサデータに少なくとも部分的に基づいて、変化させることにより、前記ＡＲディスプレイ上に、前記少なくとも１つのグラフィカル要素を、動的にレンダリングすることと、
を含み、
前記少なくとも１つのグラフィカル要素を動的にレンダリングすることは、前記動作特徴に関する前記オペレータの用心度及び準備完了度を促すことを通じて、前記ビークルの前記少なくとも半自律動作を改善する、
方法。
［構成Ｂ１５］
前記少なくとも１つのグラフィカル要素を動的にレンダリングすることは、前記関与レベルの経時変化に少なくとも部分的に基づいて、前記少なくとも１つのグラフィカル要素の視覚的特徴を変化させることを含み、
前記オペレータの用心度及び準備完了度を促すことは、前記オペレータが前記ビークルの前記少なくとも半自律動作に独立して介入すべきときの、前記オペレータへの制御の手動ハンドオーバに関する認知、及び、オペレータの認知を改善することにより、少なくとも半自律で動作すべく前記ビークルの動作を改善する、
構成Ｂ１４に記載の方法。
［構成Ｂ１６］
前記ビークルの少なくとも１つの内部センサを使用して、前記オペレータに関して読み取られたオペレータ状態情報を収集することを更に含み、前記関与レベルを演算することは、統計的尤度として前記動作特徴に関する前記オペレータの現在の心理的認知の計測を示すために、用心度モデルに従って前記オペレータ状態情報を特徴付けることを含み、
前記用心度モデルは、前記外部環境に従って前記オペレータ状態情報の関数として、少なくとも前記オペレータの可能性の高い用心度の低下を特徴付ける統計モデルである、
構成Ｂ１４に記載の方法。
［構成Ｂ１７］
前記少なくとも１つのグラフィカル要素を動的にレンダリングすることが、前記ビークルがどのようにして前記少なくとも半自律動作を行うかについての現在の決定及び状況的認知を示す、内部状態情報の視覚化として、前記少なくとも１つのグラフィカル要素をレンダリングすることを含み、
前記少なくとも１つのグラフィカル要素の前記視覚的特徴を変化させることにより動的にレンダリングすることが、どのグラフィカル要素が表示されるか、及び、前記グラフィカル要素の前記ＡＲディスプレイ内における表示のされ方を変更することを含む、
構成Ｂ１４に記載の方法。
［構成Ｂ１８］
前記グラフィカル要素が表示されるやり方を変更することが、前記オペレータの前記用心度及び前記準備完了度が低下していることを前記関与レベルが示すときに、前記オペレータの目視線内に明確にあるように前記少なくとも１つのグラフィカル要素の強度、スタイル、前記ＡＲディスプレイ内の位置を変更することを含む、構成Ｂ１７に記載の方法。
［構成Ｂ１９］
前記少なくとも１つのグラフィカル要素を動的にレンダリングすることは、前記外部環境に関する前記センサデータを使用して、前記ＡＲディスプレイのオーバーレイとして、前記少なくとも１つのグラフィカル要素を生成するための命令を含み、前記オーバーレイは、前記ビークルの少なくとも１つの外部センサにより読み取られた前記センサデータの視覚化であり、前記少なくとも１つの外部センサは、ライダー（ＬｉＤＡＲ）センサを含む、構成Ｂ１４に記載の方法。
［構成Ｂ２０］
前記ビークルの前記少なくとも半自律動作は、少なくとも監督された自律的標準に従い、
前記関与レベルを演算することは、前記関与レベルを演算するときに、前記ビークルの前記現在の動作環境を説明するために、前記オペレータ状態情報と共に動的なビークルデータを分析することを更に含み、前記動的なビークルデータは、少なくとも、前記ビークルのテレマティクス及び前記ビークルの現在の場所を含み、
前記関与レベルを演算することは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することを含む、
構成Ｂ１４に記載の方法。
【図１】
2018206366.tif 000003
【図２】
2018206366.tif 000004
【図３】
2018206366.tif 000005
【図４】
2018206366.tif 000006
【図５】
2018206366.tif 000007
【図６】
2018206366.tif 000008
【図７】
2018206366.tif 000009
【図８】
2018206366.tif 000010
【図９】
2018206366.tif 000011
【図１０】
2018206366.tif 000012
【外国語明細書】
2018206366000001.pdf