(57)【要約】【課題】マシン学習ベースのシートベルト位置検出及び分類のためのシステム及び方法を提供する。【解決手段】いくつかの基準マーカーが、車両シートベルト上に配置される。カメラ又は他のセンサが、シートベルトの使用時、基準マーカーの位置に関連する画像又は他のデータをキャプチャするために車両内に配置される。マシン学習モデルなどの１つ又は複数のモデルが、次いで、キャプチャされた画像情報から基準マーカーの空間位置を判定し、シートベルトの着用状態を判定し得る。具体的にはシステムは、シートベルトが１つ又は複数の不適正な状態で着用されているか、たとえば、着用されていない又は安全でない若しくは危険な方式で着用されているかどうかを判定し得、そうであれば、修正アクションを取るように車両に警告し得る。このようにして、システムは、シートベルトの持続的な及びリアルタイムの監視を提供してシートベルト使用法及び安全性を改善する。【選択図】図６
2022002947.tif 000002
【特許請求の範囲】
【請求項１】
シートベルトの位置を判定するためのシステムであって、
複数の基準マーカーが配置されているシートベルトと、
前記シートベルトの前記基準マーカーを表すデータを生成するために配置されたセンサと、
前記センサと電子通信している並列処理回路であって、
前記センサによって生成された前記データを受信すること、
前記シートベルトの位置を前記データから判定すること、及び
前記シートベルトの前記判定された位置に少なくとも部分的に従って前記車両の動作を開始すること
を行うように構成された並列処理回路と
を備える、システム。
【請求項２】
前記シートベルトの前記判定される位置が、
前記シートベルトが前記乗客の肩にかかる第１の位置、
前記シートベルトが前記乗客の前記肩の下に伸びる第２の位置、
前記シートベルトが前記乗客によって着用されていない第３の位置、又は、
前記シートベルトが前記乗客の後ろに伸びる第４の位置
のうちの１つである、請求項１に記載のシステム。
【請求項３】
前記並列処理回路がさらに、１つ又は複数のマシン学習モデルに少なくとも部分的に従って前記シートベルトの前記位置を判定するように構成され、前記１つ又は複数のマシン学習モデルが、
入力として前記データを有し、出力として前記基準マーカーの前記位置を有する第１のマシン学習モデル、又は、
入力として前記基準マーカーの前記位置を有し、出力として前記基準マーカーの前記位置の１つ又は複数の分類を有する第２のマシン学習モデル
のうちの１つ又は複数を含む、請求項１に記載のシステム。
【請求項４】
前記１つ又は複数のマシン学習モデルが、前記基準マーカーのうちの１つ又は複数の閉塞されたものを表すデータを使用してトレーニングされる、請求項３に記載のシステム。
【請求項５】
前記並列処理回路がさらに、
前記車両の構成要素のサイズ又は位置を、前記シートベルトの前記位置から判定すること、
前記シートベルトを着用している乗客のサイズを、前記シートベルトの前記位置から判定すること、又は、
前記シートベルトを着用している前記乗客の位置又は姿勢を、前記シートベルトの前記位置から判定すること
のうちの１つ又は複数を実行するように構成された、請求項１に記載のシステム。
【請求項６】
前記並列処理回路がさらに、前記構成要素の前記判定されたサイズ又は位置、前記乗客の前記判定されたサイズ、或いは前記乗客の前記判定された位置又は姿勢、のうちの１つ又は複数に従って前記車両の前記動作を開始するように構成された、請求項５に記載のシステム。
【請求項７】
前記センサが、カメラであり、前記データが、画像データである、請求項１に記載のシステム。
【請求項８】
前記動作が、エアバッグ展開、可聴警報、可視警報、制動動作、イグニッション遮断、或いはシートベルト・アンカ、シートベルト・バックル、又はシートの少なくとも一部分のうちのいずれか１つ又は複数の移動、のうちのいずれか１つである、請求項１に記載のシステム。
【請求項９】
前記センサが前記データを生成する間に、前記基準マーカーを照らすように配置された、照明光源をさらに備える、請求項１に記載のシステム。
【請求項１０】
前記照明光源が、赤外線照明光源であり、前記センサが、赤外線センサである、請求項９に記載のシステム。
【請求項１１】
前記基準マーカーのうちの異なるものが、ショルダ・ハーネスの長さの位置の判定を容易にするように、前記シートベルトの前記ショルダ・ハーネスの前記長さに沿って分散されている、請求項１に記載のシステム。
【請求項１２】
シートベルトの位置を判定する方法であって、
車両の１つ又は複数の構成要素に配置された基準マーカーを示すデータを、センサから受信するステップであって、前記車両の前記構成要素は、前記車両のシートベルトを含む、ステップと、
前記データから前記車両の前記構成要素の位置を、並列処理回路を使用して判定するステップと、
１つ又は複数のマシン学習モデルを使用して、前記基準マーカーの位置からシートベルト位置を判定するステップと、
前記判定されたシートベルト位置に少なくとも部分的に従って前記車両の動作を開始するステップと
を含む、方法。
【請求項１３】
前記シートベルト位置が、
前記シートベルトが前記乗客の肩にかかる第１の位置、
前記シートベルトが前記乗客の前記肩の下に伸びる第２の位置、
前記シートベルトが前記乗客によって着用されていない第３の位置、又は、
前記シートベルトが前記乗客の後ろに伸びる第４の位置
のうちの１つである、請求項１２に記載の方法。
【請求項１４】
前記基準マーカーのうちの１つ又は複数の閉塞されたものを示すデータに従って前記１つ又は複数のマシン学習モデルをトレーニングするステップをさらに含む、請求項１２に記載の方法。
【請求項１５】
前記動作が、エアバッグ展開、可聴警報、可視警報、制動動作、イグニッション遮断、或いはシートベルト・アンカ、シートベルト・バックル、又はシートの少なくとも一部分のうちのいずれか１つ又は複数の移動、のうちのいずれか１つである、請求項１２に記載の方法。
【請求項１６】
前記基準マーカーがさらに、前記車両のシート上に配置され、前記判定するステップがさらに、前記車両の前記シートの位置を判定するステップを含む、請求項１２に記載の方法。
【請求項１７】
前記車両の一部分のサイズ若しくは位置を、前記シートベルト位置から判定すること、
前記シートベルトを着用している乗客のサイズを、前記シートベルト位置から判定すること、又は、
前記乗客の位置若しくは姿勢を、前記シートベルト位置から判定すること
のうちの１つ又は複数をさらに含む、請求項１２に記載の方法。
【請求項１８】
前記開始するステップがさらに、前記車両の前記部分の前記判定されたサイズ又は位置、前記乗客の前記判定されたサイズ、又は前記乗客の前記判定された位置若しくは姿勢のうちの１つ又は複数に従って前記車両の前記動作を開始するステップを含む、請求項１７に記載の方法。
【請求項１９】
前記センサが、カメラであり、前記データが、画像データである、請求項１２に記載の方法。
【請求項２０】
前記センサが前記データを生成する間に、前記基準マーカーを照らすために照明光源をアクティブにするステップをさらに含む、請求項１２に記載の方法。
【請求項２１】
前記照明光源が、赤外線照明光源であり、前記センサが、赤外線センサである、請求項２０に記載の方法。
【請求項２２】
前記基準マーカーが、ショルダ・ハーネスの長さの位置の判定を容易にするために前記シートベルトの前記ショルダ・ハーネスの前記長さに沿って分散されている、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基準マーキングを使用するマシン学習ベースのシートベルト検出及び使用認識に関するものである。
【背景技術】
【０００２】
本開示の実施例は、概して、マシン学習システムに関する。より詳細には、本開示の実施例は、マシン学習ベースのシートベルト位置検出に関する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願第１６／１０１，２３２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
シートベルトは、交通安全において重要な役割を果たす。シートベルトの使用は、車両衝突関連の重傷及び死者の数を約半分に減らし、それにより、米国だけでも数万を超える命を救っていると一部では推定されている。安全性便益及び法による義務付けにもかかわらず、シートベルト使用は、広く行われていない。うっかりか故意かにかかわらず、多数の運転者及び乗客が、シートベルトを着用していない。他の例では、運転及び乗客は、シートベルトを着用しているが、不適切に着用していることがある。シートベルトの不適正な使用法は、シートベルトの安全性便益を低減するだけでなく、それは、実際に、着用者がシートベルトによって傷付けられる結果をもたらすことがある。
【０００５】
したがって、着用者のシートベルトの位置を検出する、及びシートベルトが適切に着用されているかどうかを判定する、マシン学習ベースのシステムのためのシステム及び方法について、本明細書では説明する。より具体的には、システムは、たとえば、シートベルトが適切に着用されている、着用者の肩の下に誤って着用されている、着用されていない、又は着用者の体の後ろに不適正に着用されているかどうかを含む、シートベルトの多数の特定の状態のうちの１つを判定し得る。これらの及び多数の他の状態が、検出され得る。
【０００６】
本開示のいくつかの実施例において、システムは、いくつかの基準マーカーがそこにあるシートベルト、並びに画像又は他の基準マーカー位置及び向き情報をキャプチャするために設置されたカメラなどのセンサを使用する。システムは、基準マーカーの可視性を向上させるために、必要に応じて、照明光源も含み得る。そのために、センサは、基準マーカー位置及び／又は向き情報を決定するのに適した任意のタイプのセンサ、たとえば、可視光センサ若しくはカメラ、１つ若しくは複数の赤外線若しくは近赤外線センサ、又は同類のもの、でもよい。したがって、照明光源は、あるとすれば、可視光波長照明光源、赤外線若しくは近赤外線光源、又は同類のものでもよい。
【０００７】
シートベルト着用状態を判定するために、カメラ又は他のセンサは、対象の乗客のシートベルトを見るように、たとえば、運転席の後ろ又はダッシュボード上に、配置され得、運転者の顔に向けられ得る。センサは、次いで、基準マーカーの画像をキャプチャすることができる。マシン学習モデルなどの１つ又は複数のモデルは、次いで、キャプチャされた画像情報から基準マーカーの位置を判定し、シートベルトの着用状態を判定することができる。前述のように、いくつかの異なる着用状態が、判定され得る。シートベルトが、不適正な状態にある、たとえば、着用されていない又は安全でない若しくは危険なやり方で着用されている、場合、システムは、修正アクション、たとえば、運転者又は他の乗客に可聴又は可視警報を介して警告すること、車両の制動、イグニッション遮断又は１つ若しくは複数の車両システムを他の方法でオフにすること、自動操縦システムに従事させること、或いは同類のこと、を行うように車両に警告することができる。任意のそのような車両アクションが、意図されている。
【課題を解決するための手段】
【０００８】
加えて、様々なマシン学習モデルが、意図されている。一実例として、１つのマシン学習モデルは、センサ・データ（たとえば、画像データ）を入力として取り込み、基準マーカーの位置を出力として生成することができ、一方、別のマシン学習モデルは、この位置情報を入力として取り込み、基準マーカー位置の分類を生成することができる。これらの分類は、前述のシートベルト状態に対応し得る。このようにして、本開示の実施例のシステムは、乗客及び彼又は彼女のシートベルトの画像から乗客のシートベルトの状態を自動的に判定し、不適正なシートベルト使用に関する警告を提供することができる。警告は、乗客、車両、又はシートベルト使用のログを取るリモート・サーバを含む、様々な聴衆向けでもよい。
【０００９】
本開示の実施例はまた、センサ・データからの他の状態及び情報の判定も意図している。たとえば、乗客席、チャイルド・シート又はブースタ、車両コンパートメント内容などの様々な車両構成要素のサイズ又は位置が、判定され得る。車両は、次いで、たとえば、それに応じてエアバッグを適応させ得る又はエア・ベントを向け得る、或いは不適正に配置されたシートへの注意を喚起され得る。もう１つの実例として、シートベルト輪郭は、乗客の体の輪郭を描くので、乗客のサイズが、シートベルトの輪郭、すなわち、様々な基準マーカーの位置、から判定され得る。これは、乗客の重量をシステムに間接的に知らせることができ、それにより、たとえば、衝突の場合にエアバッグは展開されるべきか、又はどのように展開されるべきか、を車両に知らせることができる。さらなる一実例として、基準マーカーの位置は、彼らのシート内で動き回る乗客に適合するので、乗客の位置又は姿勢は、基準マーカーの位置によって判定され得る。これは、たとえば、彼らのシートベルトが彼らの体に不適正に又は危険に配置されるポイントに彼らのシート内で位置を変える乗客、車両がまだ移動している間に彼らのシートベルトのバックルを外した乗客、後ろを向いており、したがって道路を見ていない運転者、及び同類のものに関して車両に知らせ得る。車両は、次いで、たとえば、彼らのシート内の適切な位置に戻るように乗客に警告する、道路に注意を払うように運転者に警告する、及び同類のことなど、適切なアクションを取ることができる。
【００１０】
いくつかの実施例では、一般的使用において閉塞のインスタンスがしばしば存在するため、本開示のシステムは、基準マーカーのうちの少なくともいくつかの閉塞に効果的に対処することができることが望ましいことがある。たとえば、乗客の髪が、シートベルトの上にかかり、それによって、センサが基準マーカーを認識するのを妨害する、ゆったりした衣類又は手ジェスチャが、基準マーカーを同様に遮る、及び同類のことがある。したがって、本開示の実施例のマシン学習モデルは、基準マーカーのうちの少なくともいくつかが部分的に又は完全に閉塞された画像を使用して、トレーニングされ得る。すなわち、本開示の実施例のマシン学習モデルに入力される画像のトレーニング・セットの一部分は、基準マーカーのうちの少なくともいくつかが部分的に又は完全に閉塞された画像でもよい。このようにして、本開示の実施例のマシン学習モデルは、基準マーカー閉塞に対処するようにトレーニングされ、それにより様々な現実世界の状況において正確であり続ける、より高信頼の分類結果を提供する。
【００１１】
類似の参照記号が類似の部分を参照する、添付の図面と併せて理解される、以下の詳細な説明を考慮するとき、本開示の前述の及び他の目的及び利点が、明らかとなろう。
【図面の簡単な説明】
【００１２】
【図１Ａ】本開示の実施例によるシートベルト位置検出のためのシステムを概念的に示す図である。
【図１Ｂ】本開示の実施例による１つの不適正なシートベルト構成の検出を概念的に示す図である。
【図１Ｃ】本開示の実施例による別の不適正なシートベルト構成の検出を概念的に示す図である。
【図１Ｄ】本開示の実施例によるさらなる不適正なシートベルト構成の検出を概念的に示す図である。
【図２Ａ】本開示の実施例によるシートベルト位置分類プロセスのブロック図表現である。
【図２Ｂ】本開示の実施例による検出された基準マーカー位置を示すグラフである。
【図２Ｃ】本開示の実施例によるシートベルト位置判定を示すための図２Ｂの位置ポイントのグラフである。
【図３】本開示の実施例のシートベルト位置検出システムのブロック図表現である。
【図４Ａ】本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。
【図４Ｂ】本開示のいくつかの実施例による、図４Ａの例示的自律型車両のカメラ位置及び視野の実例である。
【図４Ｃ】本開示のいくつかの実施例による、図４Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。
【図４Ｄ】本開示のいくつかの実施例による、クラウドベースのサーバと図４Ａの例示的自律型車両との間の通信のシステム図である。
【図５】本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。
【図６】本開示の実施例によるシートベルト位置を判定するためのプロセス・ステップを示す流れ図である。
【図７】本開示の実施例による不適正なシートベルト構成の検出及び訂正を概念的に示す図である。
【発明を実施するための形態】
【００１３】
１つの実施例において、本開示は、マシン学習システム、並びにマシン学習ベースのシートベルト位置検出及び分類のための方法に関する。いくつかの基準マーカーが、車両シートベルト上に配置される。カメラ又は他のセンサが、シートベルトが使用中であるときに基準マーカーの位置に関する画像又は他のデータをキャプチャするために、車両内に配置される。マシン学習モデルなどの１つ又は複数のモデルは、次いで、キャプチャされた画像情報から基準マーカーの空間位置を判定し、シートベルトの着用状態を判定することができる。具体的には、システムは、シートベルトが１つ又は複数の不適正な状態で着用されている、たとえば、着用されていない又は安全でない若しくは危険なやり方で着用されている、かどうかを判定することができ、そうであれば、たとえば、車両又は乗客が修正アクションを取り得るように、システムは、警告を提供することができる。このようにして、システムは、シートベルト使用法及び安全性を改善するために、シートベルトの定期的及びリアルタイムの監視を行う。
【００１４】
図１Ａは、本開示の実施例によるシートベルト位置検出のためのシステムを概念的に示す。ここで、車両シートベルト位置検出システム１０は、シートベルト２０及びラップベルト３０を含み、シートベルト２０には、いくつかの基準マーカー４０が、刻み込まれており、又は他の方法で配置されている。この実施例において、基準マーカー４０は、シートベルト２０が適切に装着されているときに、それらが運転者５０の肩の上と下の両方にあるように配置される。このようにして、基準マーカー４０の位置は、運転者５０の上半身の輪郭を描き、それにより、それらの位置、並びに、運転者５０の上半身の部分の位置情報を、ある程度伝えることができる。
【００１５】
システム１０の車両は、背もたれ部分６０及びシートレスト部分７０を有するシート、並びにシートベルト２０及びラップベルト３０をバッキングするためのバックル８０を含む。シート６０、７０は、運転するのに快適な及び正しい位置に運転者５０を維持するのに役立つ。シートベルト２０は、滑車１２０を通り、シートベルト２０をピンと張られた状態に保つのに役立つ巻取機構（図示せず）内に伸びている。巻取機構は、シートベルト２０への張力を機械的に適用及び維持する知られている巻取機構でもよく、又はさらに後述するように基準マーカー４０の判定された位置に応答して張力をシートベルト２０に適用する巻取機構でもよい。滑車１２０は、車両のコラム１４０又は別の部分に連結されたアンカ１３０に固定される。
【００１６】
基準マーカー４０の位置を検出するのに適した可視光カメラ又は任意の他のセンサでもよい、センサ１００は、シートベルト２０及び基準マーカー４０の画像をキャプチャするために、ダッシュボード９０上又は内に配置される。任意選択の照明光源１１０はまた、基準マーカー４０に光を当てる、及び、次いで、センサ１００による画像又は他の位置データのキャプチャを円滑にするために、ダッシュボード９０上又は内に配置され得る。前述のように、センサ１００は、基準マーカー４０の位置情報を判定するのに十分な情報をキャプチャする能力を有する任意のセンサ、たとえば、可視光センサ若しくはカメラ、又は任意の他の光波長を検出するセンサ、でもよい。たとえば、センサ１００は、赤外線又は近赤外線センサでもよく、照明光源１１０は、対応する波長で光を発するように構成され得る。
【００１７】
基準マーカー４０は、位置及び、任意選択で、向き情報を伝える能力を有する任意のマーキングでもよい。その目的で、それらは、異なる、しかし規則的な、空間的向き又は位置とともに変化する外観を有する任意の形状でもよい。実例は、アルファベットの文字又は任意の他の複雑なマーキング、たとえば、ＡｐｒｉｌＴａｇｓ又は同類のもの、を含み得るが、これらに限定されない。
【００１８】
システム１０は、不適正なシートベルト２０使用法を示すものを含む、任意のシートベルト２０位置を検出するために使用され得る。図１Ｂ〜１Ｄは、システム１０が不適正な使用法として検出する及びフラグを付けることができる例示的シートベルト２０位置を概念的に示す。図１Ｂにおいて、運転者５０は、彼又は彼女のシートベルト２０を着用していない。すなわち、図１Ｂは、シートベルト２０が使用されていない事例を示す。これは、恐らくはバックル８０にはめ込んで任意の車両アラームを阻止する知られているシートベルト・シミュレータ１２０を使用して、たとえば、運転者５０が彼又は彼女のシートベルト２０を着用するのを忘れたとき、又はシートベルト２０が意図的に使用されていないときに、生じ得る。ここで、シートベルト２０は、運転者５０を横断するのではなくて垂れ下がっており、それによって、基準マーカー４０は、運転者５０の左側に沿って及び滑車１２０から下方に伸びるほぼ垂直な構成で特徴的に現れている。
【００１９】
図１Ｃは、運転者５０はシートベルト２０を使用しているが、シートベルト２０は、彼又は彼女の左肩ではなくて彼又は彼女の左腕の下に不適正に伸ばされている、別の事例を示す。この事例では、シートベルト２０は、運転者５０を横断して伸び、基準マーカー４０は、シートベルト２０が運転者５０の肩の上の彼又は彼女のもっと上部で適切に着用された場合よりも、低く位置している。さらに、いくつかの基準メーカ４０は、運転者５０の左肩及び上腕によってセンサ１００の視界から遮られるので、マーカー４０は、マーカー４０の下部の、角度のある帯と、マーカー４０の非連続的な、上部の、より垂直に向けられた帯としてセンサ１００には見えることになる。
【００２０】
図１Ｄは、運転者５０はシートベルト２０を使用しているが、シートベルト２０は、運転者５０の前面に沿ってではなくて運転者５０の背中の後ろに不適正に伸ばされている、さらなる事例を示す。この事例では、下部の基準マーカー４０は、運転者５０の体によって検出を阻まれている。したがって、マーカー４０は、単に運転者５０の肩の上に伸びるマーカー４０の単一の、短い、角度のある帯としてセンサ１００には見える。
【００２１】
図２Ａは、システム１０の動作を示すブロック図である。センサ１００は、基準マーカー４０の位置がそこから導出され得る、画像又は他の情報をキャプチャし、この情報を、センサ１００からの画像又は他の情報において現れる基準マーカー４０の空間的位置を判定するための命令を実行するコンピュータ実行モジュールである、基準位置判定モジュール２１０に送信する。基準位置は、次いで、基準マーカー４０の空間的位置を所定のシートベルト２０使用構成に分類するための命令を実行するコンピュータ実行モジュールである、パターン認識モジュール２２０に入力される。すなわち、パターン認識モジュール２２０は、シートベルト２０が運転者５０によって着用されているとき、シートベルト２０の構成を出力する。前述のように、特定のシートベルト使用構成は、任意の構成でもよい。１つの実施例において、パターン認識モジュール２２０がシートベルト使用法を分類し得る構成は、１）適切に着用されたシートベルト（図１Ａ）、すなわち、肩ストラップが、運転者５０の肩にかかって伸び、着用者の胴体を横断してバックル８０まで対角線上に下方に伸びている、２）オフである（図１Ｂ）、又は着用されていないシートベルト（知られているシートベルト警報ストッパ及び同類のものの使用を含む）、３）適切にバックルで留められているが、適切に着用者の肩にかかるのではなくて運転者５０の肩及び左腕の下に伸びるシートベルト（図１Ｃ）、並びに４）適切にバックルで留められているが、運転者５０の前面にかけて適切に伸びるのではなくて運転者５０の後ろに伸びているシートベルト（図１Ｄ）を含み得る。これらの４つの事例は、それぞれ、「事例オン」、「事例オフ」、「事例アンダー」、及び「事例バック」と本明細書で称され得る。
【００２２】
基準位置判定モジュール２１０は、任意の方式で入力センサ１００データから基準マーカー４０の空間的位置を判定し得る。いくつかの例示的実施例において、モジュール２１０は、ニューラル・ネットワークを使用せずに基準マーカー４０などの物体を検出する知られているコンピュータ・ビジョン・ベースの検出プロセス、たとえば、エッジ検出方法、特徴検索方法、確率的顔モデル、グラフ・マッチング、サポート・ベクトル・マシンなどの分類器に供給される配向勾配のヒストグラム（ＨＯＧ：ｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔ）、ＨａａｒＣａｓｃａｄｅ分類器、及び同類のもの、を使用し得る。画像内の検出された基準マーカー４０の空間的位置は、次いで、任意の方式で、たとえば、各画素位置に対応する及びセンサ１００とモデル又はシミュレーションされる運転者上の位置との間の距離の推定値に従って判定される表にされた位置を介して、判定又は推定され得る。いくつかの他の例示的実施例において、モジュール２１０は、ディープ・ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）物体認識及び位置判定スキームを使用するものなどのニューラル・ネットワークベースの物体認識方法、並びにその他を用い得る。たとえば、ＤＮＮは、基準マーカーのラベル付き画像及びそれらの空間的位置情報のトレーニング・セットを使用して、基準マーカー４０及びそれらの位置を認識するようにトレーニングされ得る。そのようなＤＮＮのトレーニングは、知られている方式で実施され得る。
【００２３】
パターン認識モジュール２２０は、任意の方式で、様々な基準マーカー４０の空間的位置情報を前述のシートベルト位置事例に分類し得る。いくつかの例示的実施例において、モジュール２２０は、１つ又は複数のマシン学習ベースの分類方法を用い得る。図２Ｂは、実験を介して判定された検出された基準マーカー位置を示すグラフである。図に示すように、シートベルト基準マーカー４０は、通常は、どの使用事例が生じるかに応じて、明確に定義された空間領域内にある。たとえば、事例オンでは、シートベルト２０が適切に着用されているとき、それの基準マーカー４０は、一般に、図２Ｂのグラフの中心から左下に伸びる斜めのクラスタのポイントによって示すように、運転者５０の左上から彼又は彼女の右下に伸びる斜めの帯に沿ってある。類似して、事例オフでは、一般に図２Ｂの中心から右下に伸びる下方に伸びる帯のポイントによって示すように、シートベルト２０は、着用されておらず、したがって、運転者５０の左へ垂れ下がっている。
【００２４】
この実施例において、基準マーカー４０は、彼らの使用法による明確に定義されたクラスタ内に位置している。シートベルト使用事例は、空間内のポイントの定義されたクラスタを分類する任意の方法に従って、判定され得ることが観測され得る。たとえば、各クラスタは、特定の事例に対応するので、ｋ最近傍モデルは、基準マーカー４０ポイントが図２Ｂに示されたクラスタのうちのいずれかに属するかどうかを判定するようにトレーニングされ得る。別法として、任意の分類ベースのモデルが、図２Ｂの４つの事例のそれぞれに対応する空間領域を判定するために用いられ得、そこで、入力基準マーカー４０の位置は、どの空間領域にそれらが含まれるかに従って、パターン認識モジュール２２０によって、分類され得る。類似して、任意の回帰ベースのモデルが、それぞれの特定の事例に対応する各クラスタのポイントの特徴を示すために用いられ得、そこで、入力基準マーカー４０位置は、特徴を示されたどのクラスタにそれらが最も近いかに従って、分類され得る。
【００２５】
さらなる代替として、基準マーカー４０位置は、それらの位置ポイントの特徴的分布又は範囲に従って、分類され得る。図２Ｃは、１つのそのような実例を示す。ここで、図２Ｂに示された同基準マーカー４０位置ポイントは、異なる形で表され、図２Ｃのｘ軸は、入力画像のｘ方向においてタグが検出された位置を表し、ｙ軸は、そのｘ位置にあることが発見された基準マーカー４０の数を表す。図に示すように、各シートベルト使用事例は、それの基準マーカー４０の位置がこの方式で描かれるとき、特徴的分布を有する。たとえば、事例オンは、特有の分布を有し、マーカー４０位置のクラスタは、おおよそ、６２０〜８２０の範囲及び１２５０〜１６００の範囲に含まれる。類似して、事例オフは、おおよそ１０００〜１１８０の範囲内のマーカー４０位置のクラスタ、並びに１４００〜１７８０の範囲内にあるより拡散した分布を有する。したがって、マーカー４０位置は、図２Ｃに示すように描かれるとき、それらの分布に従って、分類され得る。したがって、たとえば、センサ１００は、シートベルト２０及び基準マーカー４０の画像をキャプチャし得、基準位置判定モジュール２１０は、画像にキャプチャされた基準マーカー４０の位置を判定し得る。パターン認識モジュール２２０は、次いで、図２Ｃのどの分布が入力画像内のマーカー４０位置の対応する分布に最も類似しているかを判定し、それに応じて、画像、すなわち、シートベルト２０の現在の状態、を分類することができる。類似性が、任意の方式で測定され得る。たとえば、各分布の平均又は中央値、或いはその任意の他の特徴値、が、判定され得、図２Ｃに示された各分布の平均／中央又は他の特徴値と比較され得る。最も近い比較が、次いで、その入力画像の分類、又は対応する事例、として選択され得る。
【００２６】
図３は、本開示の実施例の１つの例示的シートベルト位置検出システムのブロック図表現である。ここで、本開示の実施例のシートベルト位置検出動作を実施する能力を有する処理回路を含む任意の電子計算デバイスでもよい、計算デバイス３００は、カメラ３１０とシートベルト反応型システム３２０との両方と電子通信している。動作中、カメラ３１０は、対応するシートベルト使用事例（たとえば、事例オン、事例オフ、事例アンダー、又は事例バック）をカメラ３１０の画像から判定しながら、図２Ａのモジュール２１０及び２２０を次いで実装する、計算デバイス３００に対象者の画像をキャプチャ及び送信する。計算デバイス３００は、応答してアクションを取る又は１つ若しくは複数の動作を実行する、シートベルト反応型システム３２０にこの事例を送信する。
【００２７】
シートベルト反応型システム３２０は、それが計算デバイス３００から受信するシートベルト使用事例に基づいて１つ又は複数のアクションを実行する能力を有する任意のシステムでもよい。カメラ３１０、計算デバイス３００、及び注視支援型システム３２０の任意の構成が、意図されている。１つの実例として、シートベルト反応型システム３２０は、運転者又は別の乗客のシートベルト使用状態を判定する及びそれに反応する能力を有する自律型車両でもよい。この実例において、カメラ３１０及び計算デバイス３００は、車両内に配置され得、一方、シートベルト反応型システム３２０は、車両自体を表し得る。カメラ３１０は、後述の図４Ａ及び４Ｃのカメラ４４１に対応し得、運転者又は乗客のビューをそれに許す車両内の任意の位置に置かれ得る。したがって、カメラ３１０は、運転者及び彼又は彼女のシートベルトの画像をキャプチャし得、可視基準マーカー４０の空間的位置を計算する及び運転者の対応するシートベルト使用状態を判定する計算デバイス３００にそれらを送信し得る。使用状態は、次いで、たとえば、車両が応答して取り得るアクションを決定する別のソフトウェア・モジュールに、送信され得る。たとえば、車両は、運転者のシートベルトは着用されていない（事例オフ）又は不適正に着用されている（事例アンダー又は事例バック）ことを判定し得、応答して任意のタイプの動作を開始し得る。そのような動作は、運転者に発行される任意のタイプの警報（たとえば、視覚若しくは可聴警報、ヘッドアップ・ディスプレイでの警報、又は同様のもの）、自動操縦開始、制動又は旋回動作、イグニッション遮断、或いは任意の他のアクションを含み得る。計算デバイス３００は、後述の図５の計算デバイス５００に対応し得、ローカル・プロセッサとしてシートベルト反応型システム３２０の車両内に配置され得る、或いはカメラ３１０から画像を受信する及びシートベルト反応型システム３２０の車両にワイヤレスでシートベルト使用事例又は状態を送信するリモート・プロセッサでもよい。
【００２８】
図４Ａは、本開示のいくつかの実施例による、例示的自律型車両４００の図である。自律型車両４００（或いは本明細書で「車両４００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ  Ｈｉｇｈｗａｙ  Ｔｒａｆｆｉｃ  Ｓａｆｅｔｙ  Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ  ｏｆ  Ａｕｔｏｍｏｔｉｖｅ  Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ  ａｎｄ  Ｄｅｆｉｎｉｔｉｏｎｓ  ｆｏｒ  Ｔｅｒｍｓ  Ｒｅｌａｔｅｄ  ｔｏ  Ｄｒｉｖｉｎｇ  Ａｕｔｏｍａｔｉｏｎ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｏｎ−Ｒｏａｄ  Ｍｏｔｏｒ  Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６−２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６−２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車４００は、自律運転レベルのレベル３〜レベル５のうちの１つ又は複数による機能の能力を有し得る。たとえば、移動車４００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。
【００２９】
移動車４００は、移動車のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車４００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム４５０を含み得る。推進システム４５０は、移動車４００の推進力を有効にするために、トランスミッションを含み得る、移動車４００のドライブ・トレインに接続され得る。推進システム４５０は、スロットル／加速装置４５２からの信号の受信に応答して制御され得る。
【００３０】
ハンドルを含み得る、ステアリング・システム４５４は、推進システム４５０が動作しているときに（たとえば、移動車が移動中のときに）移動車４００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム４５４は、ステアリング・アクチュエータ４５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。
【００３１】
ブレーキ・センサ・システム４４６は、ブレーキ・アクチュエータ４４８及び／又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。
【００３２】
１つ又は複数のＣＰＵ、システム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ）４０４（図４Ｃ）及び／又はＧＰＵを含み得る、コントローラ４３６は、移動車４００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ４４８を介して移動車ブレーキを動作させるために、１つ又は複数のステアリング・アクチュエータ４５６を介してステアリング・システム４５４を動作させるために、及び／又は１つ又は複数のスロットル／加速装置４５２を介して推進システム４５０を動作させるために、信号を送ることができる。コントローラ４３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の移動車４００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ４３６は、自律運転機能のための第１のコントローラ４３６、機能的安全性機能のための第２のコントローラ４３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ４３６、インフォテインメント機能のための第４のコントローラ４３６、緊急状態における冗長性のための第５のコントローラ４３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ４３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ４３６が、単一の機能、及び／又はその任意の組合せを処理することができる。
【００３３】
コントローラ４３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して移動車４００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ４５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ４６０、超音波センサ４６２、ＬＩＤＡＲセンサ４６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ）センサ４６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン４９６、ステレオ・カメラ４６８、ワイドビュー・カメラ４７０（たとえば、魚眼カメラ）、赤外線カメラ４７２、サラウンド・カメラ４７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ４９８、スピード・センサ４４４（たとえば、移動車４００のスピードを測定するための）、振動センサ４４２、ステアリング・センサ４４０、ブレーキ・センサ４４６（たとえば、ブレーキ・センサ・システム４４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。
【００３４】
コントローラ４３６のうちの１つ又は複数のコントローラは、移動車４００の計器群４３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ−ｍａｃｈｉｎｅ  ｉｎｔｅｒｆａｃｅ）ディスプレイ４３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は移動車４００の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ（たとえば、図４ＣのＨＤマップ４２２）、位置データ（たとえば、マップ上などの、移動車４００の位置）、方向、他の移動車の位置（たとえば、占有グリッド）、コントローラ４３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ４３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は移動車が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。
【００３５】
移動車４００はさらに、１つ若しくは複数のワイヤレス・アンテナ４２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース４２４を含む。たとえば、ネットワーク・インターフェース４２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ４２６はまた、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｚ−Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ  ｐｏｗｅｒ  ｗｉｄｅ−ａｒｅａ  ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、移動車、モバイル・デバイスなど）の間の通信を可能にすることができる。
【００３６】
図４Ｂは、本開示のいくつかの実施例による、図４Ａの例示的自律型車両４００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは移動車４００の異なる位置に置かれ得る。
【００３７】
カメラのカメラ・タイプは、移動車４００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ  ｓａｆｅｔｙ  ｉｎｔｅｇｒｉｔｙ  ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ  ｃｌｅａｒ  ｃｌｅａｒ  ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ  ｃｌｅａｒ  ｃｌｅａｒ  ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ  ｂｌｕｅ  ｇｒｅｅｎ  ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ  Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
【００３８】
いくつかの実例では、カメラのうちの１つ又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ  ｄｒｉｖｅｒ  ａｓｓｉｓｔａｎｃｅ  ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。
【００３９】
カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。
【００４０】
移動車４００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ４３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（ＬＤＷ（Ｌａｎｅ  Ｄｅｐａｒｔｕｒｅ  Ｗａｒｎｉｎｇ））、自律的クルーズ制御（ＡＣＣ（Ａｕｔｏｎｏｍｏｕｓ  Ｃｒｕｉｓｅ  Ｃｏｎｔｒｏｌ））、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
【００４１】
様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ４７０でもよい。図４Ｂにはワイドビュー・カメラは１つだけ示されているが、移動車４００には任意の数のワイドビュー・カメラ４７０が存在し得る。加えて、長距離カメラ４９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ４９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
【００４２】
１つ又は複数のステレオ・カメラ４６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ４６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（たとえば、ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ４６８は、２個のカメラ・レンズ（左と右に１つずつ）と、移動車から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ４６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
【００４３】
移動車４００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ４７４（たとえば、図４Ｂに示されるような４個のサラウンド・カメラ４７４）は、移動車４００の周りに位置付けられ得る。サラウンド・カメラ４７４は、ワイドビュー・カメラ４７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、３個のサラウンド・カメラ４７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。
【００４４】
移動車４００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ４９８、ステレオ・カメラ４６８）、赤外線カメラ４７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
【００４５】
車両４００の内部又はキャビンの部分を含む視界を有するカメラは、キャビン内の運転者、乗客、又は物体の１つ又は複数の状態をモニタするために使用され得る。本明細書に記載の任意のタイプのカメラでもよい、及び車両４００上又は内のどこかに配置され得、車両４００のキャビン若しくは内部のビューを提供する、キャビン・カメラ４４１を含むが、これに限定されない、任意のタイプのカメラが、使用され得る。たとえば、キャビン・カメラ４４１は、車両４００ダッシュボード、リア・ビュー・ミラー、サイド・ビュー・ミラー、シート、又はドアの何らかの部分内又は上に配置され得、車両４００の任意の運転者、乗客、又は任意の他の物体若しくは部分の画像をキャプチャするように方向付けられ得る。
【００４６】
図４Ｃは、本開示のいくつかの実施例による、図４Ａの例示的自律型車両４００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
【００４７】
図４Ｃの移動車４００の構成要素、特徴、及びシステムのそれぞれは、バス４０２を介して接続されるものとして図示されている。バス４０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、移動車４００の様々な特徴及び機能の制御を助けるために使用される移動車４００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ  ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ  ｐｅｒ  ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の移動車状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ  Ｂ準拠でもよい。
【００４８】
バス４０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス４０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス４０２が存在し得る。いくつかの実例では、２個以上のバス４０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス４０２は衝突回避機能のために使用されてもよく、第２のバス４０２は作動制御のために使用されてもよい。任意の実例において、各バス４０２は、移動車４００の構成要素のいずれかと通信し得、２個以上のバス４０２が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各ＳｏＣ４０４、各コントローラ４３６、及び／又は各コンピュータは、同じ入力データ（たとえば、移動車４００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。
【００４９】
移動車４００は、図４Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ４３６を含み得る。コントローラ４３６は、様々な機能のために使用され得る。コントローラ４３６は、移動車４００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車４００、移動車４００の人工知能、移動車４００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。
【００５０】
移動車４００は、システム・オン・チップ（ＳｏＣ）４０４を含み得る。ＳｏＣ４０４は、ＣＰＵ４０６、ＧＰＵ４０８、プロセッサ４１０、キャッシュ４１２、加速装置４１４、データ・ストア４１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ４０４は、様々なプラットフォーム及びシステム内の移動車４００を制御するために使用され得る。たとえば、ＳｏＣ４０４は、１つ又は複数のサーバ（たとえば、図４Ｄのサーバ４７８）からネットワーク・インターフェース４２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ４２２を有するシステム（たとえば、移動車４００のシステム）において結合され得る。
【００５１】
ＣＰＵ４０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ４０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ４０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ４０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ４０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ４０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
【００５２】
ＣＰＵ４０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ４０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
【００５３】
ＧＰＵ４０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ４０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ４０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ４０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ４０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ４０８は、コンピュータ・ベースのアプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ４０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。
【００５４】
ＧＰＵ４０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ４０８は、ＦｉｎＦＥＴ（Ｆｉｎ  ｆｉｅｌｄ−ｅｆｆｅｃｔ  ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ４０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４  ＰＦ３２コア及び３２  ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６  ＦＰ３２コア、８  ＦＰ６４コア、１６  ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。
【００５５】
ＧＰＵ４０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ  ｂａｎｄｗｉｄｔｈ  ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ  ｄｏｕｂｌｅ  ｄａｔａ  ｒａｔｅ  ｔｙｐｅ  ｆｉｖｅ  ｓｙｎｃｈｒｏｎｏｕｓ  ｒａｎｄｏｍ−ａｃｃｅｓｓ  ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ  ｇｒａｐｈｉｃｓ  ｒａｎｄｏｍ−ａｃｃｅｓｓ  ｍｅｍｏｒｙ）が使用され得る。
【００５６】
ＧＰＵ４０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ  ｔｒａｎｓｌａｔｉｏｎ  ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ４０８がＣＰＵ４０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ４０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ  ｍａｎａｇｅｍｅｎｔ  ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ４０６に送信され得る。応答して、ＣＰＵ４０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ４０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ４０６とＧＰＵ４０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ４０８へのアプリケーションのＧＰＵ４０８プログラミング及び移植を単純化する。
【００５７】
加えて、ＧＰＵ４０８は、他のプロセッサのメモリへのＧＰＵ４０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
【００５８】
ＳｏＣ４０４は、本明細書に記載のものを含む任意の数のキャッシュ４１２を含み得る。たとえば、キャッシュ４１２は、ＣＰＵ４０６とＧＰＵ４０８との両方に利用可能な（たとえば、ＣＰＵ４０６とＧＰＵ４０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ４１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。
【００５９】
ＳｏＣ４０４は、車両４００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）を含み得る。加えて、ＳｏＣ４０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ  ｐｏｉｎｔ  ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ４０６及び／又はＧＰＵ４０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。
【００６０】
ＳｏＣ４０４は、１つ又は複数の加速装置４１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ４０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ４０８を補完するために及びＧＰＵ４０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ４０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置４１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。
【００６１】
加速装置４１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
【００６２】
ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。
【００６３】
ＤＬＡは、ＧＰＵ４０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ４０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ４０８及び／又は他の加速装置４１４に任せることができる。
【００６４】
加速装置４１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ  ｖｉｓｉｏｎ  ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ  ｄｒｉｖｅｒ  ａｓｓｉｓｔａｎｃｅ  ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ  ｉｎｓｔｒｕｃｔｉｏｎ  ｓｅｔ  ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ  ｍｅｍｏｒｙ  ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
【００６５】
ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ−ｔｉｍｅ  ｏｐｅｒａｔｉｎｇ  ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。
【００６６】
ＤＭＡは、ＣＰＵ４０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。
【００６７】
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ  ｌｏｎｇ  ｉｎｓｔｒｕｃｔｉｏｎ  ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。
【００６８】
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ  ｃｏｒｒｅｃｔｉｎｇ  ｃｏｄｅ）メモリを含み得る。
【００６９】
加速装置４１４（たとえば、ハードウェア加速クラスタ）は、加速装置４１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ  ｐｅｒｉｐｈｅｒａｌ  ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
【００７０】
コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
【００７１】
いくつかの実例では、ＳｏＣ４０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１つ又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅ  ｔｒａｖｅｒｓａｌ  ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
【００７２】
加速装置４１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
【００７３】
たとえば、本技術の１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３〜５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
【００７４】
いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。たとえば、ＰＶＡは、次のＲＡＤＡＲパルスを発する前に処理済みのＲＡＤＡＲ信号を提供するために、未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用）ために使用され得る。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
【００７５】
ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ  ｅｍｅｒｇｅｎｃｙ  ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、移動車に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ４６４又はＲＡＤＡＲセンサ４６０）から取得された物体の移動車４００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ）センサ４６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
【００７６】
ＳｏＣ４０４は、データ・ストア４１６（たとえば、メモリ）を含み得る。データ・ストア４１６は、ＳｏＣ４０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア４１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア４１６は、Ｌ２又はＬ３キャッシュ４１２を備え得る。データ・ストア４１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置４１４に関連するメモリの参照を含み得る。
【００７７】
ＳｏＣ４０４は、１つ又は複数のプロセッサ４１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ４１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ４０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ４０４熱及び温度センサの管理、及び／又はＳｏＣ４０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ４０４は、リング発振器を使用してＣＰＵ４０６、ＧＰＵ４０８、及び／又は加速装置４１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ４０４をより低い電力状態に置く及び／又は移動車４００をショーファーの安全停止モードにする（たとえば、移動車４００を安全停止させる）ことができる。
【００７８】
プロセッサ４１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
【００７９】
プロセッサ４１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。
【００８０】
プロセッサ４１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
【００８１】
プロセッサ４１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
【００８２】
プロセッサ４１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
【００８３】
プロセッサ４１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ４７０で、サラウンド・カメラ４７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
【００８４】
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
【００８５】
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ４０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ４０８の電源が入れられ、３Ｄレンダリングをアクティブに実行しているときでも、ビデオ画像合成器は、ＧＰＵ４０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
【００８６】
ＳｏＣ４０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ  ｉｎｄｕｓｔｒｙ  ｐｒｏｃｅｓｓｏｒ  ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ４０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
ＳｏＣ４０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ４０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ４６４、ＲＡＤＡＲセンサ４６０など）、バス４０２からのデータ（たとえば、移動車４００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ４５８からのデータを処理するために使用され得る。ＳｏＣ４０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ４０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
【００８７】
ＳｏＣ４０４は、自動化レベル３〜５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ４０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置４１４が、ＣＰＵ４０６と結合されるとき、ＧＰＵ４０８、及びデータ・ストア４１６は、レベル３〜５の自律型車両のための高速で効率的なプラットフォームを提供することができる。
【００８８】
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、移動車内ＡＤＡＳアプリケーションの要件及び実際のレベル３〜５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
【００８９】
従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３〜５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ４２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
【００９０】
別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ４０８上などで、同時に実行することができる。
【００９１】
いくつかの実例では、顔認識及び移動車所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して移動車４００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、ＳｏＣ４０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。
【００９２】
別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン４９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ４０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ４５８によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ４６２の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び／又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
【００９３】
移動車は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ４０４に連結され得るＣＰＵ４１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ４１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ４１８は、たとえば、ＡＤＡＳセンサとＳｏＣ４０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ４３６及び／又はインフォテインメントＳｏＣ４３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
【００９４】
移動車４００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ４０４に連結され得るＧＰＵ４２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ４２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車４００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。
【００９５】
移動車４００は、１つ又は複数のワイヤレス・アンテナ４２６（たとえば、セルラ・アンテナ、ブルートゥース（登録商標）・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース４２４をさらに含み得る。ネットワーク・インターフェース４２４は、インターネットを介するクラウドとの（たとえば、サーバ４７８及び／又は他のネットワーク・デバイスとの）、他の移動車との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが２個の移動車の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車４００に近接する移動車（たとえば、移動車４００の前の、横の、及び／又は後ろの移動車）に関する移動車４００情報を提供することができる。この機能は、移動車４００の共同適応クルーズ制御機能の一部でもよい。
【００９６】
ネットワーク・インターフェース４２４は、変調及び復調機能を提供する及びコントローラ４３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース４２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｗｉ−Ｆｉ、Ｚ−Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
移動車４００は、チップ外の（たとえば、ＳｏＣ４０４外の）ストレージを含み得るデータ・ストア４２８をさらに含み得る。データ・ストア４２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。
【００９７】
車両４００は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援するためにＧＮＳＳセンサ４５８（たとえば、ＧＰＳ及び／又は支援されたＧＰＳセンサ）をさらに含み得る。たとえば、シリアル（ＲＳ−２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ４５８が、使用され得る。
移動車４００は、ＲＡＤＡＲセンサ４６０をさらに含み得る。ＲＡＤＡＲセンサ４６０は、暗闇及び／又は厳しい気象条件においても、長距離移動車検出のために移動車４００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ  Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ４６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ４６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス４０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ４６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。
【００９８】
ＲＡＤＡＲセンサ４６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ４６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車４００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、移動車４００のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。
【００９９】
一実例として、中距離ＲＡＤＡＲシステムは、４６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は４５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。
【０１００】
短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。
【０１０１】
移動車４００は、超音波センサ４６２をさらに含み得る。移動車４００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ４６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ４６２が使用され得、異なる超音波センサ４６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ４６２は、ＡＳＩＬ  Ｂの機能的安全性レベルにおいて動作することができる。
【０１０２】
移動車４００はＬＩＤＡＲセンサ４６４を含み得る。ＬＩＤＡＲセンサ４６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ４６４は、機能的安全性レベルＡＳＩＬ  Ｂでもよい。いくつかの実例では、移動車４００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ４６４を含み得る。
【０１０３】
いくつかの実例では、ＬＩＤＡＲセンサ４６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ４６４は、たとえば、２ｃｍ〜３ｃｍの精度を有し、１００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約１００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ４６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ４６４は、移動車４００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ４６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ４６４は、４５度と１３５度との間の水平視野向けに構成され得る。
【０１０４】
いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、移動車４００の各側面に１つずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ４６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。
【０１０５】
移動車は、ＩＭＵセンサ４６６をさらに含み得る。一部の実例では、ＩＭＵセンサ４６６は、移動車４００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ４６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ４６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ４６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
【０１０６】
一部の実施例では、ＩＭＵセンサ４６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ−ｅｌｅｃｔｒｏ−ｍｅｃｈａｎｉｃａｌ  ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ−Ａｉｄｅｄ  Ｉｎｅｒｔｉａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ４６６は、ＧＰＳからＩＭＵセンサ４６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車４００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ４６６及びＧＮＳＳセンサ４５８は、単一の統合されたユニットにおいて結合され得る。
移動車は、移動車４００内及び／又は周囲に置かれたマイクロフォン４９６を含み得る。マイクロフォン４９６は、中でも、緊急車両検出及び識別のために使用され得る。
【０１０７】
移動車は、ステレオ・カメラ４６８、ワイドビュー・カメラ４７０、赤外線カメラ４７２、サラウンド・カメラ４７４、長距離及び／又は中距離カメラ４９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車４００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車４００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車４００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ  Ｍｕｌｔｉｍｅｄｉａ  Ｓｅｒｉａｌ  Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図４Ａ及び図４Ｂに関連して本明細書においてさらに詳しく説明される。
【０１０８】
移動車４００は、振動センサ４４２をさらに含み得る。振動センサ４４２は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ４４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。
【０１０９】
移動車４００は、ＡＤＡＳシステム４３８を含み得る。一部の実例では、ＡＤＡＳシステム４３８は、ＳｏＣを含み得る。ＡＤＡＳシステム４３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ  ｃｒｕｉｓｅ  ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ  ａｄａｐｔｉｖｅ  ｃｒｕｉｓｅ  ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ  ｃｒａｓｈ  ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ  ｅｍｅｒｇｅｎｃｙ  ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ  ｄｅｐａｒｔｕｒｅ  ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ  ｋｅｅｐ  ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ  ｓｐｏｔ  ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ  ｃｒｏｓｓ−ｔｒａｆｆｉｃ  ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ  ｗａｒｎｉｎｇ  ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ  ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。
【０１１０】
ＡＣＣシステムは、ＲＡＤＡＲセンサ４６０、ＬＩＤＡＲセンサ４６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、移動車４００の直ぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように移動車４００にアドバイスする。横ＡＣＣは、ＬＣ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。
【０１１１】
ＣＡＣＣは、ワイヤレス・リンクを介して他の移動車からネットワーク・インターフェース４２４及び／又はワイヤレス・アンテナ４２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車（Ｖ２Ｖ：ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の移動車（たとえば、移動車４００と同じレーン内にある、移動車４００の直ぐ前の移動車）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。移動車４００の前方の移動車の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
【０１１２】
運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ４６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
【０１１３】
ＡＥＢシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ４６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。
【０１１４】
ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、移動車４００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。
【０１１５】
ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、移動車４００が車線をはみ出し始めた場合に移動車４００を修正するためにステアリング入力又はブレーキを提供する。
ＢＳＷシステムは、自動車の死角において移動車の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ４６０を使用することができる。
【０１１６】
ＲＣＴＷシステムは、車両４００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ４６０を使用することができる。
【０１１７】
従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両４００では、結果が矛盾する場合には、移動車４００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ４３６又は第２のコントローラ４３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム４３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム４３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
【０１１８】
いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。
【０１１９】
監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼できるとき、及びそれが信頼できないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ４０４の構成要素を備え得る、及び／又はＳｏＣ４０４の構成要素として含まれ得る。
【０１２０】
他の実例において、ＡＤＡＳシステム４３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ−ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア−ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータによって使用されるソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
【０１２１】
いくつかの実例では、ＡＤＡＳシステム４３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム４３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
【０１２２】
移動車４００は、インフォテインメントＳｏＣ４３０（たとえば、移動車内のインフォテインメント・システム（ＩＶＩ：ｉｎ−ｖｅｈｉｃｌｅ  ｉｎｆｏｔａｉｎｍｅｎｔ  ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ４３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ−Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの移動車関連情報）を移動車４００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ４３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース（登録商標）接続、カーピュータ、車内エンターテインメント、Ｗｉ−Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ−ｕｐ  ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ４３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素を含み得る。インフォテインメントＳｏＣ４３０は、ＡＤＡＳシステム４３８からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、移動車情報、道路情報など）、及び／又は他の情報など、移動車のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。
【０１２３】
インフォテインメントＳｏＣ４３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ４３０は、バス４０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、移動車４００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ４３６（たとえば、移動車４００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ４３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ４３０は、本明細書に記載のように、移動車４００をショーファーの安全停止モードにすることができる。
【０１２４】
移動車４００は、計器群４３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群４３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群４３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ４３０及び計器群４３２の間で表示及び／又は共有され得る。言い換えれば、計器群４３２は、インフォテインメントＳｏＣ４３０の一部として含まれてもよく、逆もまた同様である。
【０１２５】
図４Ｄは、本開示のいくつかの実施例による、図４Ａのクラウドベースのサーバと例示的自律型車両４００との間の通信のシステム図である。システム４７６は、サーバ４７８、ネットワーク４９０、及び、移動車４００を含む移動車を含み得る。サーバ４７８は、複数のＧＰＵ４８４（Ａ）〜４８４（Ｈ）（本明細書でＧＰＵ４８４と総称される）、ＰＣＩｅスイッチ４８２（Ａ）〜４８２（Ｈ）（本明細書でＰＣＩｅスイッチ４８２と総称される）、及び／又はＣＰＵ４８０（Ａ）〜４８０（Ｂ）（本明細書でＣＰＵ４８０と総称される）を含み得る。ＧＰＵ４８４、ＣＰＵ４８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース４８８及び／又はＰＣＩｅ接続４８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ４８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ  ＳｏＣを介して接続され、ＧＰＵ４８４及びＰＣＩｅスイッチ４８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ４８４、２個のＣＰＵ４８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ４７８は、任意の数のＧＰＵ４８４、ＣＰＵ４８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ４７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ４８４を含み得る。
【０１２６】
サーバ４７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク４９０を介して、移動車から、受信することができる。サーバ４７８は、ニューラル・ネットワーク４９２、更新されたニューラル・ネットワーク４９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報４９４をネットワーク４９０を介して移動車に送信することができる。マップ情報４９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ４２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク４９２、更新されたニューラル・ネットワーク４９２、及び／又はマップ情報４９４は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ４７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて、生じた可能性がある。
【０１２７】
サーバ４７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、移動車によって使用され得（たとえば、ネットワーク４９０を介して移動車に送信される）、及び／又は、マシン学習モデルは、移動車を遠隔監視するために、サーバ４７８によって使用され得る。
【０１２８】
いくつかの実例では、サーバ４７８は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ４７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ４８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ４７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
【０１２９】
サーバ４７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車４００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車４００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、移動車４００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、移動車４００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車４００内のＡＩは正常に機能していないという結論を下した場合、サーバ４７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車４００のフェイルセーフ・コンピュータに命じる移動車４００への信号を送信することができる。
【０１３０】
推論のために、サーバ４７８は、ＧＰＵ４８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
【０１３１】
図５は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス５００の一実例のブロック図である。計算デバイス５００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム５０２を含み得る：メモリ５０４、１つ又は複数の中央処理装置（ＣＰＵ）５０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）５０８、通信インターフェース５１０、Ｉ／Ｏポート５１２、入力／出力構成要素５１４、電力供給装置５１６、１つ又は複数の提示構成要素５１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット５２０。
【０１３２】
図５の様々なブロックは、線で相互接続システム５０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素５１８は、Ｉ／Ｏ構成要素５１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ５０６及び／又はＧＰＵ５０８はメモリを含み得る（たとえば、メモリ５０４は、ＧＰＵ５０８、ＣＰＵ５０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図５の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ  ｃｏｎｔｒｏｌ  ｕｎｉｔ）」、「仮想現実システム」、「拡張現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図５の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
【０１３３】
相互接続システム５０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム５０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ  ｓｔａｎｄａｒｄ  ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ  ｉｎｄｕｓｔｒｙ  ｓｔａｎｄａｒｄ  ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ  ｅｌｅｃｔｒｏｎｉｃｓ  ｓｔａｎｄａｒｄｓ  ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ  ｃｏｍｐｏｎｅｎｔ  ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ  ｃｏｍｐｏｎｅｎｔ  ｉｎｔｅｒｃｏｎｎｅｃｔ  ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ５０６は、メモリ５０４に直接接続され得る。さらに、ＣＰＵ５０６は、ＧＰＵ５０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム５０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス５００に含まれる必要はない。
【０１３４】
メモリ５０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス５００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
【０１３５】
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ５０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス５００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
【０１３６】
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
【０１３７】
ＣＰＵ５０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス５００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ５０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ５０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス５００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス５００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ  ＲＩＳＣ  Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス５００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の１つ又は複数のＣＰＵ５０６を含み得る。
【０１３８】
ＣＰＵ５０６に加えて又はその代わりに、ＧＰＵ５０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス５００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ５０８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ５０６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ５０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ５０８のうちの１つ又は複数は、ＣＰＵ５０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ５０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス５００によって使用され得る。たとえば、ＧＰＵ５０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ−Ｐｕｒｐｏｓｅ  ｃｏｍｐｕｔｉｎｇ  ｏｎ  ＧＰＵ）のために使用され得る。ＧＰＵ５０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ５０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ５０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ５０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ５０４の一部として含まれ得る。ＧＰＵ５０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ５０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。
ＣＰＵ５０６及び／又はＧＰＵ５０８に加えて又はその代わりに、論理ユニット５２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス５００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施例では、ＣＰＵ５０６、ＧＰＵ５０８、及び／又は論理ユニット５２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット５２０のうちの１つ若しくは複数は、ＣＰＵ５０６及び／若しくはＧＰＵ５０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット５２０のうちの１つ若しくは複数は、ＣＰＵ５０６及び／若しくはＧＰＵ５０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット５２０のうちの１つ又は複数は、ＣＰＵ５０６のうちの１つ若しくは複数及び／又はＧＰＵ５０８のうちの１つ若しくは複数のコプロセッサでもよい。
【０１３９】
論理ユニット５２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ  Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ  Ｖｉｓｕａｌ  Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ  Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ  Ｔｒａｖｅｒｓａｌ  Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ  Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、Ｉ／Ｏエレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。
【０１４０】
通信インターフェース５１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス５００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース５１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ−Ｆｉ、Ｚ−Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。
【０１４１】
Ｉ／Ｏポート５１２は、そのうちのいくつかは計算デバイス５００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素５１４、提示構成要素５１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス５００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素５１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素５１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス５００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス５００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス５００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス５００によって使用され得る。
【０１４２】
電力供給装置５１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置５１６は、計算デバイス５００の構成要素が動作することを可能にするために計算デバイス５００に電力を提供することができる。
提示構成要素５１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素５１８は、他の構成要素（たとえば、ＧＰＵ５０８、ＣＰＵ５０６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。
【０１４３】
図６は、本開示の実施例によるシートベルト位置状態を判定するためのプロセス・ステップを示す流れ図である。ここで、計算デバイス３００は、先ず、運転者５０に接するセンサ監視シートベルト２０、たとえば、カメラ３１０、からセンサ・データを受信する（ステップ６００）。前述のように、このセンサ・データは、基準マーカー４０の空間的位置を判定するために使用され得る任意のデータ、たとえば、カメラ３１０からの画像データ、である。計算デバイス３００は、次いで、シートベルト２０の位置、たとえば、シートベルト２０の位置が前述の使用事例のうちの１つに含まれるどうか、を判定する（ステップ６１０）。具体的には、基準位置判定モジュール４１６は、それの入力画像又は他のデータにおいて各基準マーカー４０の位置を判定し得、パターン認識モジュール４１８は、次いで、判定されたマーカー４０位置から特定の分類又はシートベルト使用状態（たとえば、事例オン、事例オフ、事例アンダー、又は事例バック）を選択し得る。
【０１４４】
任意選択で、計算デバイス３００はまた、シートベルト使用状態のほかにも他の数量を判定することができる（ステップ６２０）。たとえば、デバイス３００はまた、様々な車両構成要素のサイズ又は位置を判定することができる。基準マーカー４０は、任意の車両構成要素、又は車両内の任意の物体に配置され得、センサ１００は、これらの追加の基準マーカー４０の画像又は位置情報をキャプチャするように方向付けられ得る。デバイス３００は、次いで、それらを必要に応じて様々な状態に分類しながら、これらの構成要素又は物体の位置状態を前述のように判定し得る。たとえば、基準マーカー４０は、車両シートの背もたれ部分６０及び／又はシートレスト部分７０に配置され得、デバイス３００は、運転者の（又は他の乗客の）シートの使用状態を判定し得る。このようにして、デバイス３００は、たとえば、運転者のシートが倒した状態にある、又は前に若しくは後ろに移動し過ぎているかどうか、を判定することができ、加熱／冷却ベントを向け直すこと又は運転者のシートが運転には不適正な位置にあることを運転者に警告することなどの様々なアクションを取るために車両に知らせることができる。基準マーカー４０はまた、車両内の物体、たとえば、チャイルド・シート又はブースタ、に配置され得る。デバイス３００は、次いで、たとえば、物体が適切に配置されているときの基準マーカー４０位置の特徴的分布に従って、物体がシート内にある及び／又は正しく方向付けられているかどうかを判定しながら、本開示の実施例による車両内のこれらの物体の位置を判定し得る。したがって、たとえば、デバイス３００は、チャイルド・シート又はブースタ・シートが適切に取り付けられているかどうか、時間とともに位置を変えたかどうか、又は同類のことを判定することができ、それに応じて車両に通知することができる。別の実施例において、デバイス３００は、車両の乗客コンパートメント内の積荷が安全な位置にあるかを判定することができる。
【０１４５】
もう１つの実例として、デバイス３００は、乗客又は運転者のサイズを判定することができる。具体的には、基準マーカー４０の位置は、運転者又は乗客の体の輪郭を描くので、乗客のサイズは、シートベルト輪郭、すなわち、様々な基準マーカー４０の位置、から判定され得る。たとえば、基準位置検出モジュール４１６のマシン学習モデルは、様々な重量、寸法、又は体積の運転者／乗客の基準マーカー４０位置のクラスタを分類するようにトレーニングされ得る。したがって、入力画像内のマーカー４０の場所は、最も厳密にマッチしたクラスタに対応する運転者／乗客重量に従って分類され得る。これは、運転者／乗客のおおよその重量をシステムに通知し得、それによって、たとえば、衝突の場合にエアバッグが展開されるべきかを、車両に通知し得る。別法として、車両は、どの程度又はどのようにエアバッグが展開されるかを調節するために、その情報を使用することができる。たとえば、車両コクーン・エアバッグの様々な部分が、乗客のサイズに基づいて、展開される又は展開されないことが可能である。運転者／乗客サイズのより正確な判定に役立つように、基準マーカー４０は、シートベルト肩ストラップに加えた位置に、たとえば、ラップベルト３０及び／又はシート背もたれ部分６０に、配置され得る。
【０１４６】
さらなる一実例として、基準マーカーの位置は、彼らのシート内で動き回る乗客に適合するので、乗客の位置又は姿勢は、基準マーカーの位置によって判定され得る。たとえば、基準位置検出モジュール４１６のマシン学習モデルは、様々な姿勢の運転者／乗客の基準マーカー４０位置のクラスタを分類するようにトレーニングされ得る。したがって、入力画像内のマーカー４０の場所は、最も厳密にマッチしたクラスタに対応する運転者／乗客姿勢に従って、分類され得る。これは、たとえば、彼らのシートで眠り込み、それにより崩れるように倒れた運転者／乗客、彼らのシートで立ち上がろうとした子供たち、後ろを向いており、それにより道路を見ていない運転者、及び同類のものに関して車両に知らせることができる。対象の任意の運転者／乗客位置又は姿勢の画像を使用して基準位置検出モジュール４１６のマシン学習モデルをトレーニングすることによって、デバイス３００は、シートベルト位置によって推論することができる任意の運転者／乗客位置を判定することができる。
【０１４７】
本開示のいくつかの実施例において、ステップ６２０は、任意選択であり、必要に応じて省略され得る。シートベルト使用状態が選択された及び／又は任意の他の運転者又は乗客数が判定された後、すなわち、ステップ６１０又はステップ６２０のいずれかが完了したとき、システム３００は、次いで、それに応じて車両動作を開始することができる（ステップ６２０）。前述のように、任意の車両動作が開始され得る。そのような車両動作は、エアバッグ展開又は調節（たとえば、子供などの小さい乗客が検出されたときにエアバッグ展開をできなくすること）、警報表示灯などの任意の可聴又は可視警報、警鐘又は他の信号、或いは音声又はテキスト・ベースの警報を含み得る。より緊急の状況において、たとえば、恐らくはシートベルトが急に取り外された又はバックルを外されたとき、車両動作は、制動、イグニッション遮断又はエンジン停止、自動操縦関与、或いは同類のものを含み得る。いくつかの実施例において、シートベルト使用状態は、車両から離れて送信され得る。たとえば、フリート管理状況において、いつ運転者が彼らのシートベルトを着用しているか又は運転者が彼らのシートベルトを適切に着用しているかを知ることは重要になり得る。他の状況もまた、そのような解決法から利益を受けることになり、たとえば、安全運転習慣及びシートベルト使用の監視は、保険会社又は親たちにとって重要になり得る。
【０１４８】
本開示の実施例は、運転者及び他の乗客の両方におけるシートベルト位置及び使用法の検出を可能にすることに留意されたい。すなわち、本開示の任意の実施例の任意の検出される数量及び任意の結果的動作は、運転者及び任意の他の車両乗員の両方に適用され得る。したがって、図１Ａは、運転者のシートベルト位置又は使用法の検出を示しているが、開示される方法及びプロセスは、同様に任意の他の乗客にも同等に適用され得る。たとえば、基準マーカーは、任意の乗客シートベルトに配置され得、センサ１００は、これらのマーカーの画像をキャプチャするために適切に配置され得、すると、画像又は他のセンサ・データが、そのような乗客のシートベルト位置及び使用法を判定するために使用され得る。このようにして、本開示の実施例のシステムは、乗客シートベルトが適切に着用されているかどうか、又は１人若しくは複数の乗客が不適正に着用されたシートベルトを有するかどうかを判定することができ、すると、車両は、車両内のその乗客に又は他の乗客に対して警報又は他のメッセージを発行することができる。
【０１４９】
基準マーカー４０は、空間的位置情報を伝えることができる任意のタイプ及び形状のマーキングでもよいことにも留意されたい。１つの実例として、基準マーカー４０は、任意の形状及びサイズでもよく、任意の方式で形成され得る。たとえば、マーカー４０は、シートベルト２０に接着接合された、縫われた、印刷された、スプレーされた、投影された、又は他の方法で形成された可視パッチ又は他の可視物体若しくは形状でもよい。もう１つの実例として、基準マーカー４０は、任意の光範囲において可視になり得る。したがって、たとえば、基準マーカー４０は、可視光周波数において知覚可能なマーカー、たとえば、可視パッチ又は他のしるし、でもよい。別法として、マーカー４０は、可視光スペクトル外の周波数でのみ知覚可能になり得る。たとえば、マーカー４０は、紫外線、赤外線、又は近赤外線マーキングでもよい。１つの実例として、基準マーカーは、先ず、赤外線及び近赤外線において可視な黒インクで印刷され得る。この黒インクは、次いで、可視光において黒く見えるが赤外線及び／又は近赤外線光において半透明な別のインク層で表面を覆われ得る。したがって、この方式で形成された基準マーカーは、乗客及び運転者には不可視だが、本開示の実施例のシステムには知覚可能である。
【０１５０】
パターン認識モジュール２２０のマシン学習モデルは、図２Ｂ〜２Ｃと併せて指定された４つのほかに他のシートベルト使用事例に基準位置を分類することができることにさらに留意されたい。１つの実例として、付加的事例が、運転者５０又は乗客が彼又は彼女の手でシートベルト２０の何らかの部分を押しやる事例をキャプチャするために、追加され得る。ここで、パターン認識モジュール２２０のマシン学習モデルは、恐らくはそれの基準マーカー４０の対応する空間的位置でラベル付けされた、運転者／乗客のシートベルトの一部分を押しやる運転者／乗客の画像を含む画像の入力トレーニング・セットでトレーニングされ得る。
【０１５１】
加えて、本開示の実施例のマシン学習モデルは、基準マーカー４０のうちの１つ又は複数の少なくとも部分的閉塞に対処するようにトレーニングされ得る。そのような閉塞は、よくある事ではないにせよ、起こり得ると予期される。たとえば、乗客の髪が、センサ１００にかかり、センサ１００が基準マーカー４０を認識するのを妨げることがある、ゆったりした衣類又は手のジェスチャが、基準マーカー４０を同様に遮ることがある、及び類似のことなどである。したがって、基準位置判定モジュール２１０とパターン認識モジュール２２０との両方のマシン学習モデルは、それぞれ、基準マーカーのうちの少なくともいくつかが部分的に若しくは完全に閉塞された画像、及び／又は部分的若しくは不完全な基準位置情報を使用して、トレーニングされ得る。１つの実例として、本開示の実施例のマシン学習モデルに入力される画像のトレーニング・セットの一部分は、基準マーカーのうちの少なくともいくつかが部分的に又は完全に閉塞された画像でもよい。このようにして、本開示の実施例のマシン学習モデルは、基準マーカー閉塞に対処するようにトレーニングされ、それによって、様々な現実世界の状況において正確であり続ける、より高信頼の分類結果を提供する。
【０１５２】
さらに、本開示の実施例は、恐らくは、検出されたシートベルト位置から判定されたプロパティに応答して、自動化されたシートベルト配置動作を追加で開始又は指示し得ることに留意されたい。前述のように、検出されたシートベルト位置情報は、乗客又は運転者のサイズ及び／又は重量を推論するために、使用され得る。本開示の実施例はさらに、運転者又は乗客サイズ／重量に応答した自動的車両調節の開始を意図している。たとえば、シートベルト２０及び／又はシートは、シートベルト２０を自動的に締める又は緩める、或いは特定の方向にシートを移動するように構成された知られている調節機構を備え得る。したがって、本開示の実施例の１つ又は複数のプロセッサは、子供がいると判定し、より小さな体をより適切に収容するように彼又は彼女のシートベルトを調節すること、たとえば、シートベルトを下げる及びしっかり締める、シートを上げる、又は同類のこと、ができる。もう１つの実例として、本開示の実施例のプロセッサは、乗客が彼らのシートにおいて不適正に位置していることをシートベルト２０位置から判定し得る。警告したとき、乗客がいくらかの期間にわたって彼らの不適正な位置から移動しなかった場合、乗客のシート又はシートベルト２０は、たとえば、シートベルト２０を適切な位置又は張力に置くようにシートを調節すること、又は同類のことによって、乗客の正しくない位置に適合し得る。車両の任意の構成要素の任意の調節は、任意の検出された乗客又は運転者サイズ又は重量について実行され得る。
【０１５３】
図７は、本開示の実施例による例示的自動的シートベルト配置動作を示す。ここで、シートベルト２０は、たとえば、図７において上の矢印の方向において、シートベルト２０を格納するための知られている自動的格納機構を備え得る。類似して、シート６０、７０は、右下矢印の方向において、シート６０、７０を前／後ろへ及び左／右に移動するための知られている作動機構を備え得る。加えて、バックル８０は、左下矢印の方向において、前／後ろに及び左／右に移動するための作動機構をさらに備え得る。アンカ１３０は、上の矢印の方向において、上／下に及び前／後ろに移動するための作動機構を個別に又は追加で備え得る。
【０１５４】
このようにして、シートベルト２０は、任意の検出された不適正な着座位置を補正するように自動的に調節され得る。たとえば、図７に示すように、センサ１００は、適切になるように運転者５０を対角線上に横断するのではなくて、運転者５０の前面の有意な部分に沿ってほぼ垂直に伸びる基準マーカー４０パターンに従って、過度に緩んだ構成にあるものとしてシートベルト２０を検出し得る。応答して、車両は、任意のシートベルト２０、シート６０、７０、バックル８０、又はアンカ１３０作動動作を実行してシートベルト２０をそれの適切な位置に調節することができる。これらの動作は、運転者５０の前面に沿って伸びる、緩んだ及びたるんだ部分を引き締めるためにシートベルト２０を格納すること、シートベルト２０をしっかり締めるためにバックル８０を下及び／又は後ろへ作動させること、類似してシートベルト２０をしっかり締めるためにシート６０、７０を前へ作動させること、シートベルト２０をしっかり締めるためにアンカ１３０を上及び／又は後ろへ作動させること、任意のそのような作動動作の任意の組合せ、或いはシートベルト２０をしっかり締め得る任意の他の車両部分の任意の自動的移動のうちの任意の１つ又は複数を含み得る。本開示の実施例は、前述のものなどの本開示の方法及びプロセス、及び任意の１つ又は複数の車両構成要素の調節によるこれらの不適正なシートベルト２０位置の補正若しくは調節によって、不適正と考えられ得る任意のシートベルト２０位置の検出及び特徴付けを意図している。
【０１５５】
本開示の実施例はさらに、任意の車両動作を開始するために本開示の実施例の判定されたシートベルト位置と併せて使用することができる任意のタイプの情報を生成するための、センサ１００に加えた他のセンサの使用を意図している。任意のタイプの任意の１つ又は複数のセンサが、意図されている。たとえば、重量又は圧力センサが、運転者５０の重量、シート内の彼又は彼女の位置、彼又は彼女の重量の分布、又は同類のものを測定するために、運転者５０の下のシートレスト部分７０内に配置され得る。類似して、他の重量又は圧力センサが、乗客の重量を測定するために、他のシート内に配置され得る。したがって、本開示の実施例のシステムは、どのシートが占有されているか、及びシートを占有している乗客又は運転者の重量を判定することができる。重量及びシートベルト２０位置情報は、次いで、シートベルト２０の適切な張力を判定するために、ともに使用され得、すると、車両は、たとえば、バックル８０、アンカ１３０、及び／又はシート６０、７０の、位置を調節することによって、その張力にシートベルトを自動的に調節することができる。
【０１５６】
任意の数量は、任意の数量を判定する及び応答して任意の動作を開始するために、シートベルト２０位置と併せて判定及び使用され得る。１つの実例として、乗客の重量の分布及び基準マーカー４０位置から判定されるものとしての彼らの位置は、乗客が不適正に座っている、たとえば、１つの側に極端に寄って座っている若しくは寄りかかっている、前に傾き過ぎている、チャイルド・シートが不適正に配置されている（恐らくは、チャイルド・シートに配置された基準マーカー４０を使用）、又は同類のこと、を判定するためにともに使用され得る。応答して、車両は、様々な動作、たとえば、乗客又は運転者を適所に引き戻すためにシートベルト２０をしっかり締めること、乗客又は運転者を適切な位置に動かすようにシート６０、７０を調節すること、又は同類のこと、を開始し得る。もう１つの実例として、運転者５０又は他の乗客の重量及び基準マーカー４０位置は、彼らの身体寸法、たとえば、高さ及び幅、を判定するために使用され得る。車両は、次いで、たとえば、アンカ１３０を持ち上げて背の高い運転者を収容すること、アンカ１３０（図７のビューにおける）を右に動かして、広い肩を有する運転者のシートベルト２０を調節すること、及び同類のことによって、運転者／乗客のシートベルト２０をより適切な位置に置くために、アンカ１３０、バックル８０、又は同類のものの位置を調節することができる。このようにして、高さ又は他の寸法などの運転者又は乗客プロパティが、基準マーカー４０位置と重量などの他のセンサ・データとの両方から推論され得、シートベルト２０は、それらの特定の運転者／乗客寸法により最適に適合するように自動的に調節され得る。したがって、本開示の実施例は、シートベルト２０が各運転者又は乗客のより適切な位置に自動的に（及び、必要に応じて、継続的に）適応することを可能にし、それによって車両動作中の安全性を向上させる。
【０１５７】
本開示の実施例は、基準マーカー４０の判定された位置からの車両振動などのプロパティの判定を追加で意図している。より詳細には、振動の周波数及び大きさは、時間とともに基準マーカー４０の記録された移動から判定され得る。車両振動は、任意の方式で、たとえば、マーカー４０位置のベースライン又はニューラル・セットを最初に判定すること、及び時間の関数としてこのベースライン・セットの相対的移動を続いて追跡することによって、基準マーカー４０の移動から判定され得る。マーカー４０位置は、任意の手法を介して、たとえば、物体を識別する及びそれの空間的位置を判定するための知られているコンピュータ・ビジョン方法、特定の物体の位置を識別及び判定するようにトレーニングされた１つ又は複数のマシン学習モデルを使用するマシン学習方法、或いは同類のものによって、判定され得る。
【０１５８】
判定された車両振動は、任意の方式で利用され得る。たとえば、判定された振動の構成要素周波数、及びそれらの対応する大きさが、知られている方式で識別され得、車両機能又は荷重の様々な態様を判定するために用いられ得る。したがって、たとえば、ベースライン周波数及び大きさが、前述のように識別及び記録され得、ある種の周波数が、ベースライン・エンジン動作、道路ノイズ、又は同類のものなどのソースに対応するものとして識別され得る。本開示の実施例のシステムは、次いで、そのようなベースラインからの逸脱を車両又は乗客に警告することができる。このようにして、本開示の実施例のシステムは、異常なエンジン動作、車両構成要素故障、車両損傷、危険な若しくは潜在的に有害な道路状態、及び同類のものの発生を識別し、車両又は運転者に修正アクションを取るように警告することができる。
【０１５９】
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
【０１６０】
本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。
【０１６１】
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
【０１６２】
説明を目的として、前述は、本開示の完全な理解を実現するために、特定の用語体系を使用した。しかしながら、特定の詳細は本開示の方法及びシステムを実施するために必要とされないことが、当業者には明らかとなろう。したがって、本発明の特定の実施例の前述の説明は、例示及び説明を目的として提示されている。それらは、排他的であること又は開示された正確な形に本発明を限定することを意図していない。多数の修正及び変更が、前述の教示を考慮して可能である。たとえば、任意のサイズ及び／又は形状の、及び任意の光波長において可視の、任意の基準マーカーが、使用され得る。基準マーカー位置は、任意の方式で判定され得、結果的シートベルト使用事例は、任意の所望の分類をもたらすために、任意の方式で分類され得る。実施例は、本発明の原理及びその実際の適用例を最もよく説明して、それによって、意図された特定の使用に適するものとしての様々な修正を有する本開示及び様々な実施例の方法及びシステムを当業者が最もよく活用することを可能にするために、選択及び記述された。加えて、開示されている又はされていない、様々な実施例の異なる特徴が、本開示が意図するさらなる実施例を生み出すために、混合及びマッチ或いは他の方法で結合され得る。
【図１Ａ】
2022002947.tif 000003
【図１Ｂ】
2022002947.tif 000004
【図１Ｃ】
2022002947.tif 000005
【図１Ｄ】
2022002947.tif 000006
【図２Ａ】
2022002947.tif 000007
【図２Ｂ】
2022002947.tif 000008
【図２Ｃ】
2022002947.tif 000009
【図３】
2022002947.tif 000010
【図４Ａ】
2022002947.tif 000011
【図４Ｂ】
2022002947.tif 000012
【図４Ｃ】
2022002947.tif 000013
【図４Ｄ】
2022002947.tif 000014
【図５】
2022002947.tif 000015
【図６】
2022002947.tif 000016
【図７】
2022002947.tif 000017
【外国語明細書】
2022002947000001.pdf