(57)【要約】物体の挙動を決定しかつ自律車両を制御するためのシステムおよび方法が提供される。実施形態の一例において計算システムは、プロセッサ（単数または複数）と、命令を集合的に記憶する１または複数の有形の非一過性コンピュータ読み取り可能な媒体とを含み、命令は、プロセッサ（単数または複数）によって実行されると、計算システムに動作を遂行することを行わせる。動作は、自律車両の周辺環境内の第１の物体および１または複数の第２の物体と関連付けられるデータを取得することと、少なくとも部分的にデータに基づいて第１の物体と１または複数の第２の物体との間の相互作用を決定することと、第１の物体と１または複数の第２の物体との間の相互作用に少なくとも部分的に基づいて周辺環境内の第１の物体の１または複数の予測される軌道を決定することと、第１の物体の１または複数の予測される軌道を表示するデータを出力することとを含む。
2021504812.tif 000002
【特許請求の範囲】
【請求項１】
計算システムであって、
１または複数のプロセッサと、
命令を集合的に記憶する１または複数の有形の非一過性コンピュータ読み取り可能な媒体と
を備え、前記命令は、前記１または複数のプロセッサによって実行されると、
自律車両の周辺環境内の第１の物体および１または複数の第２の物体と関連付けられるデータを取得することと、
前記第１の物体および前記１または複数の第２の物体と関連付けられる前記データに少なくとも部分的に基づいて、前記第１の物体と前記１または複数の第２の物体との間の相互作用を決定することと、
前記第１の物体と前記１または複数の第２の物体との間の前記相互作用に少なくとも部分的に基づいて、前記周辺環境内の前記第１の物体の１または複数の予測される軌道を決定することと、
前記第１の物体の前記１または複数の予測される軌道を表示するデータを出力することと
を備える動作を前記計算システムに行わせる、計算システム。
【請求項２】
前記周辺環境内の前記第１の物体および前記１または複数の第２の物体と関連付けられる前記データは、前記周辺環境内の前記第１の物体の初期の予測される軌道を表示するデータを備える、請求項１に記載の計算システム。
【請求項３】
前記周辺環境内の前記第１の物体の１または複数の現在または過去の状態を表示する状態データを取得することと、
前記周辺環境内の前記第１の物体の前記１または複数の現在または過去の状態を表示する前記状態データに少なくとも部分的に基づいて、前記第１の物体の前記初期の予測される軌道を決定することと
をさらに備える、請求項２に記載の計算システム。
【請求項４】
前記第１の物体と前記１または複数の第２の物体との間の前記相互作用を決定することは、
前記第１の物体の前記初期の予測される軌道に少なくとも部分的に基づいて、前記第１の物体と前記１または複数の第２の物体との間の前記相互作用を決定すること
を備える、請求項２または請求項３のいずれか一項に記載の計算システム。
【請求項５】
前記動作は、
前記それぞれの１または複数の予測される軌道の各々のための確率を決定することであって、前記確率は、前記第１の物体が前記それぞれの予測される軌道に従って行動する可能性を表示する、こと
をさらに備える、請求項１から請求項４のいずれか一項に記載の計算システム。
【請求項６】
前記周辺環境内の前記第１の物体の前記１または複数の予測される軌道を決定することは、
機械学習された相互作用予測モデルを表示するデータを取得することと、
前記機械学習された相互作用予測モデル内へ前記第１の物体および前記１または複数の第２の物体と関連付けられる前記データを入力することと、
前記機械学習された相互作用予測モデルからの出力を取得することであって、前記出力は、前記周辺環境内の前記第１の物体の前記１または複数の予測される軌道を表示する、ことと
を備える、請求項１から請求項５のいずれか一項に記載の計算システム。
【請求項７】
前記第１の物体と前記１または複数の第２の物体との間の前記相互作用は、前記自律車両の前記周辺環境と関連付けられるマップデータに少なくとも部分的に基づいて決定される、請求項１から請求項６のいずれか一項に記載の計算システム。
【請求項８】
前記相互作用は交通規則と関連付けられる、請求項１から請求項７のいずれか一項に記載の計算システム。
【請求項９】
前記１または複数の第２の物体は、前記周辺環境内の静止物体を含む、請求項１から請求項８のいずれか一項に記載の計算システム。
【請求項１０】
前記１または複数の第２の物体は、前記周辺環境内のアクター物体を含む、請求項１から請求項９のいずれか一項に記載の計算システム。
【請求項１１】
前記１または複数の第２の物体は、前記自律車両を含む、請求項１から請求項１０のいずれか一項に記載の計算システム。
【請求項１２】
前記第１の物体と前記１または複数の第２の物体との間の前記相互作用を決定することは、前記第１の物体の第１の予測される軌道が前記１または複数の第２の物体の１または複数の第２の予測される軌道との対立にあることを決定することを備え、
前記周辺環境内の前記第１の物体の前記１または複数の予測される軌道を決定することは、前記第１の物体の前記第１の予測される軌道が、前記１または複数の第２の物体の前記１または複数の第２の予測される軌道との対立にあることを決定することに応答して、前記第１の物体の前記１または複数の予測される軌道が前記１または複数の第２の物体の前記１または複数の第２の予測される軌道との対立にないように、前記第１の物体の前記１または複数の予測される軌道を決定すること
を備える、請求項１から請求項１１のいずれか一項に記載の計算システム。
【請求項１３】
前記第１の物体と前記１または複数の第２の物体との間の前記相互作用を決定することは、グラフモデルを用いて、前記第１の物体を前記１または複数の第２の物体と関連付けることを備え、
前記周辺環境内の前記第１の物体の１または複数の予測される軌道を決定することは、前記第１の物体を前記１または複数の第２の物体と関連付けた後に、前記グラフモデルに基づいて、前記第１の物体の前記１または複数の予測される軌道を決定すること
を備える、請求項１から請求項１２のいずれか一項に記載の計算システム。
【請求項１４】
１または複数のプロセッサと、
命令を集合的に記憶する１または複数の有形の非一過性コンピュータ読み取り可能な媒体と
を備える自律車両であって、前記命令は、前記１または複数のプロセッサによって実行されると、
周辺環境内の第１の物体および１または複数の第２の物体の１または複数の現在または過去の状態を表示する状態データを取得することと、
前記第１の物体の前記１または複数の現在または過去の状態を表示する前記状態データに少なくとも部分的に基づいて、前記周辺環境内の前記第１の物体の初期の予測される軌道を決定することと、
前記第１の物体の前記初期の予測される軌道に少なくとも部分的に基づいて、前記第１の物体と前記１または複数の第２の物体との間の相互作用を決定することと、
前記第１の物体と前記１または複数の第２の物体との間の前記相互作用に少なくとも部分的に基づいて、前記周辺環境内の前記第１の物体の１または複数の予測される軌道を決定することと
を備える動作を計算システムに行わせる、自律車両。
【請求項１５】
前記動作は、
前記周辺環境内の前記第１の物体の前記１または複数の予測される軌道に少なくとも部分的に基づいて、前記自律車両のための挙動計画を決定することと、
前記挙動計画の少なくとも一部に従って挙動を開始することを前記自律車両に行わせることと
をさらに備える、請求項１４に記載の自律車両。
【請求項１６】
前記動作は、
前記それぞれの１または複数の予測される軌道の各々のための確率を決定することであって、前記それぞれの予測される軌道のための前記確率は、前記第１の物体が前記それぞれの予測される軌道に従って行動する可能性を表示する、こと
をさらに備える、請求項１４または請求項１５に記載の自律車両。
【請求項１７】
前記動作は、
前記それぞれの１または複数の予測される相互作用軌道の各々のための前記確率に少なくとも部分的に基づいて、前記１または複数の予測される相互作用軌道の各々のためのスコアを決定すること
をさらに備える、請求項１６に記載の自律車両。
【請求項１８】
前記第１の物体と前記１または複数の第２の物体との間の前記相互作用を決定することは、
機械学習されたモデルに少なくとも部分的に基づいて、前記第１の物体と前記１または複数の第２の物体との間の前記相互作用を決定すること
を備える、請求項１４から請求項１７のいずれか一項に記載の自律車両。
【請求項１９】
物体の挙動を決定するためのコンピュータで実施される方法であって、前記方法は、
１または複数の計算デバイスを備える計算システムが、自律車両の周辺環境内の第１の物体の初期の予測される軌道を表示するデータを取得することと、
前記計算システムが、前記自律車両の前記周辺環境内の前記第１の物体の前記初期の予測される軌道に少なくとも部分的に基づいて、前記第１の物体と１または複数の第２の物体との間の相互作用を決定することと、
前記計算システムが、前記第１の物体と前記１または複数の第２の物体との間の前記相互作用に少なくとも部分的に基づいて、前記周辺環境内の前記第１の物体の１または複数の予測される軌道を決定することと、
前記計算システムが、前記第１の物体の前記１または複数の予測される軌道を表示するデータを出力することと
を備える、コンピュータで実施される方法。
【請求項２０】
前記計算システムが、前記第１の物体の前記１または複数の予測される軌道を決定することは、
前記計算システムが、前記周辺環境内の前記第１の物体の前記１または複数の予測される軌道を反復して決定することと、
前記計算システムが、前記１または複数の予測される軌道の各々のために、前記第１の物体が前記それぞれの予測される軌道に従って行動する可能性を決定することと
を備える、請求項１９に記載のコンピュータで実施される方法。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権主張
本出願は、２０１７年１１月２２日の出願日を有する米国仮特許出願第６２／５８９９５１号および２０１７年１２月２０日の出願日を有する米国非仮特許出願第１５／８４８５６４号への優先権に基づきかつ主張し、その全てが参照によって本明細書へ援用される。
【０００２】
分野
本開示は概して、車両の周辺環境内の物体の将来の場所を決定するための自律車両の能力を向上させること、および同一のものに関する自律車両を制御することに関する。
【背景技術】
【０００３】
背景
自律車両は、人間が入力せずにその環境を感知し、かつ操縦することが可能な車両である。特に、自律車両は、各種のセンサを用いてその周辺環境を観測することが可能であり、センサにより収集されるデータに対して種々の処理技術を遂行することによって、環境を把握することを試みることが可能である。その周辺環境の知識が与えられると、自律車両は、そのような周辺環境を通して操縦し得る。
【発明の概要】
【課題を解決するための手段】
【０００４】
要約
本開示の実施形態の側面および優位点は、以下の説明において部分的に述べられ、または、説明から学ばれ得、または、実施形態の実用を通して学ばれ得る。
【０００５】
本開示の側面の一例は、計算システムへ向けられる。計算システムは、１または複数のプロセッサと、命令を集合的に記憶する１または複数の有形の非一過性コンピュータ読み取り可能な媒体とを含み、命令は、１または複数のプロセッサによって実行されると、計算システムに動作を遂行することを行わせる。動作は、自律車両の周辺環境内の第１の物体および１または複数の第２の物体と関連付けられるデータを取得することを含む。動作は、第１の物体と１または複数の第２の物体と関連付けられるデータに少なくとも部分的に基づいて、第１の物体と１または複数の第２の物体との間の相互作用を決定することを含む。動作は、第１の物体と１または複数の第２の物体との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第１の物体の１または複数の予測される軌道を決定することを含む。動作は、第１の物体の１または複数の予測される軌道を表示するデータを出力することを含む。
【０００６】
本開示の別の側面の例は、自律車両へ向けられる。自律車両は、１または複数のプロセッサと、命令を集合的に記憶する１または複数の有形の非一過性コンピュータ読み取り可能な媒体とを含み、命令は、１または複数のプロセッサによって実行されると、計算システムに動作を遂行することを行わせる。動作は、周辺環境内の第１の物体および１または複数の第２の物体の１または複数の現在または過去の状態を表示する状態データを取得することを含む。動作は、第１の物体の１または複数の現在または過去の状態を表示する状態データに少なくとも部分的に基づいて、周辺環境内の第１の物体の初期の予測される軌道を決定することを含む。動作は、第１の物体の初期の予測される軌道に少なくとも部分的に基づいて、第１の物体と１または複数の第２の物体との間の相互作用を決定することを含む。動作は、第１の物体と１または複数の第２の物体との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第１の物体の１または複数の予測される軌道を決定することを含む。
【０００７】
本開示の側面のさらに別の例は、物体の挙動を決定するためのコンピュータで実施される方法へ向けられる。本方法は、１または複数の計算デバイスを含む計算システムが、自律車両の周辺環境内の第１の物体の初期の予測される軌道を表示するデータを取得することを含む。本方法は、計算システムが、自律車両の周辺環境内の第１の物体の初期の予測される軌道に少なくとも部分的に基づいて、１の物体と１または複数の第２の物体との間の相互作用を決定することを含む。本方法は、計算システムが、第１の物体と１または複数の第２の物体との相互作用に少なくとも部分的に基づいて、周辺環境内の第１の物体の１または複数の予測される軌道を決定することを含む。本方法は、計算システムが、第１の物体の１または複数の予測される軌道を表示するデータを出力することを含む。
【０００８】
本開示の側面の他の例は、自律車両の周辺環境内の物体の場所を予測し、かつその物体に対して自律車両を制御するための、システム、方法、車両、装置、有形の非一過性コンピュータ読み取り可能な媒体、およびメモリデバイスへ向けられる。
【０００９】
種々の実施形態のこれらのおよび他の特徴、側面および優位点は、以下の説明および付随の特許請求の範囲への参照とともにより理解されるようになる。本明細書に組み込まれかつその一部を構成する添付の図面は、本開示の実施形態を例示し、説明とともに、関連する原理を説明することに役立つ。
【図面の簡単な説明】
【００１０】
図面の簡単な説明
当業者へ向けた実施形態の詳細な検討は、添付される図面へ参照をなす本明細書において述べられる。その図面のうち、
【００１１】
【図１】図１は、本開示の実施形態の例による、システム例の概要を描写する。
【００１２】
【図２】図２は、本開示の実施形態の例による、自律車両の環境の例を描写する。
【００１３】
【図３】図３は、本開示の実施形態の例による、モデルの実施例の図を描写する。
【００１４】
【図４Ａ】図４Ａ−Ｄは、本開示の実施形態の例による、予測される相互作用軌道の確率の例の図を描写する。
【図４Ｂ】図４Ａ−Ｄは、本開示の実施形態の例による、予測される相互作用軌道の確率の例の図を描写する。
【図４Ｃ】図４Ａ−Ｄは、本開示の実施形態の例による、予測される相互作用軌道の確率の例の図を描写する。
【図４Ｄ】図４Ａ−Ｄは、本開示の実施形態の例による、予測される相互作用軌道の確率の例の図を描写する。
【００１５】
【図５】図５は、本開示の実施形態の例による、物体の挙動を決定するための方法例のフロー図を描写する。
【００１６】
【図６】図６は、本開示の実施形態の例による、システムの構成要素の例を描写する。
【発明を実施するための形態】
【００１７】
詳細な説明
実施形態へ詳細に参照がなされ、それらの１または複数の例が図面において例示される。各々の例は、実施形態の説明として提供されるが、本開示を限定するものではない。実際は、本開示の範囲または意図から出ずに、実施形態へ種々の変形および変更がなされ得ることが、当業者へ明らかである。例えば、１つの実施形態の部分として例示されまたは説明される特徴は、別の実施形態でさらなる実施形態を産するために用いられ得る。従って、本開示の側面は、そのような変形および変更をカバーすることが意図される。
【００１８】
本開示は、自律車両によって知覚される物体の将来の場所を予測するための、向上されたシステムおよび方法へ向けられる。特に自律車両は、車両の周辺環境内で物体が経験し得る潜在的な相互作用に基づいて、物体の将来の場所（単数または複数）を予測し得る。例えば、自律車両は、周辺環境内の各物体（例えば、歩行者、車両、サイクリスト等）の初期軌道を予測し得る。初期軌道は、それぞれの物体が初めに通行することが予測される、予測される経路および関連付けられるタイミングを表現し得る。これらの予測を洗練することを助けるために、本開示のシステムおよび方法は、物体が、他の物体（単数または複数）、交通規則（単数または複数）および／または自律車両自体、ならびにそのような相互作用が物体の挙動に対して有し得る潜在的な効果と相互作用し得るかを、自律車両が決定することを可能とし得る。例として、自律車両は、相互に交差する各々の物体の予測される初期軌道に基づいて、信号無視する歩行者が迫り来る車両と相互作用し得ることを決定し得る。この相互作用に基づいて、自律車両は、歩行者のための１または複数の二次相互作用軌道を予測し得る。例えば、自律車両は、信号無視する歩行者が止まって、迫り来る車両が通過するのを待ち得ること、および／または、信号無視する歩行者が車両の先を行き、街路を横切り得ることを予測し得る。自律車両はまた、歩行者がこれらの相互作用軌道の各々に従い得る確率を決定し得る。自律車両の挙動を計画するときに、自律車両はこれらの潜在的な軌道の両方を考慮し得る。このようにして、自律車両は、車両の周辺環境内の相互作用する物体の将来の場所（単数または複数）をより正確に予測し得る。将来の物体の場所（単数または複数）を予測するための向上された能力は、向上された挙動計画または自律車両の他の制御を可能とし、それによって乗客の安全性および車両効率を高める。
【００１９】
より詳しくは、自律車両は、地上ベースの自律車両（例えば、車、トラック、バス等）、または、人間の操作者からの最小の相互作用で、かつ／または相互作用なしで動作し得る別のタイプの車両（例えば、航空車両）であり得る。自律車両は、自律車両を制御することを助けるための、自律車両に搭載して位置する車両計算システムを含み得る。車両計算システムが自律車両の上にまたはその中に位置し得るという点で、車両計算システムは自律車両に搭載して位置し得る。車両計算システムは、１または複数のセンサ（例えば、カメラ、光検出および測距（ＬＩＤＡＲ）、電波検出および測距（ＲＡＤＡＲ）等）、（例えば、自律操縦を決定するための）自律計算システム、（例えば、ブレーキ、ステアリング、パワートレイン等を制御するための）１または複数の車両制御システム等、および／または他のシステムを含み得る。センサ（単数または複数）は、車両の周辺環境と関連付けられるセンサデータ（例えば、画像データ、ＲＡＤＡＲデータ、ＬＩＤＡＲデータ等）を採集し得る。例えば、センサデータは、ＬＩＤＡＲポイントクラウド（単数または複数）、および／または、自律車両へ接近する（例えばセンサ（単数または複数）の視野内の）１または複数の物体と関連付けられる他のデータ、および／または、地理的領域の１または複数の地理的特徴（例えば、カーブ、レーン標識、側道等）と関連付けられる他のデータを含み得る。物体（単数または複数）は、例えば、他の車両、歩行者、自転車等を含み得る。物体（単数または複数）は、静止物体（例えば、挙動中でない）またはアクター物体（例えば、挙動中のまたはこれから挙動する動的物体）であり得る。センサデータは、１回または複数回、物体（単数または複数）と関連付けられる特性（例えば位置）を表示し得る。センサ（単数または複数）は、車両の自律計算システムへそのようなセンサデータを提供し得る。
【００２０】
センサデータに加えて、自律計算システムは、物体（および／または自律車両）が位置する周辺環境と関連付けられる他のタイプのデータを取得し得る。例えば、自律計算システムは、自律車両の周辺環境についての詳細な情報を提供するマップデータを取得し得る。マップデータは、異なる車道、道路区分、建物、側道、または他のアイテムの識別および場所、交通レーンの場所および方向（例えば、駐車レーン、右左折レーン、自転車レーンまたは特定の通行道内の他のレーンの境界、場所、方向等）、交通制御データ（例えば、標識、信号機、法律／規則、または他の交通制御デバイスの場所および命令）、障害物（例えば、道路工事、事故等）の場所、イベント（例えば、予定されるコンサート、パレード等）を表示するデータ、および／または車両の周辺環境およびそれとの関係を把握しかつ知覚する際に、車両計算システムを支援する情報を提供する任意の他のマップデータに関する情報を提供し得る。
【００２１】
自律計算システムは、自律車両の周辺環境を知覚しかつ自律車両の挙動を制御するための挙動計画を決定するために協働する種々のサブシステムを含む計算システムであり得る。例えば、自律計算システムは、知覚システム、予測システム、および挙動計画システムを含み得る。
【００２２】
知覚システムは、自律車両の周辺環境内の１または複数の物体を知覚するように構成され得る。例えば、知覚システムは、自律車両へ接近する１または複数の物体、およびその物体と関連付けられる状態データを検出するために、センサ（単数または複数）からのセンサデータを処理し得る。状態データは、自律車両の周辺環境内にある１または複数の物体の１または複数の状態（例えば、現在または過去の状態（単数または複数））を表示し得る。例えば、各々の物体のための状態データは、物体の現在および／または過去の場所（位置としても称される）、現在および／または過去の速さ／速度、現在および／または過去の加速度、現在および／または過去の目的地、現在および／または過去の向き、サイズ／フットプリント、クラス（例えば、車両クラス対歩行者クラス対自転車クラス）、それと関連付けられる不確実性、ならびに／または、他の状態情報の推定を（例えば、所与の時間、期間等で）説明し得る。
【００２３】
予測システムは、自律車両の周辺環境内の物体（単数または複数）の挙動を予測するように構成され得る。例えば、予測システムは、１または複数の物体と関連付けられる予測データを作り出し得る。予測データは、各々のそれぞれの物体の１または複数の予測される将来の場所を表示し得る。予測データは、各々の物体と関連付けられる予測される経路を示し得る。予測システムは、それぞれの物体がある時間にわたって通行することが予測される、予測される軌道を決定し得る。予測される軌道は、予測される経路、および物体が経路を通行することが予測されるタイミングを表示し得る。これは、物体の意図を表示し得る。いくつかの実施において、予測データは、物体が予測される軌道に沿って通行することが予測される速さを表示し得る。
【００２４】
予測システムは、自律車両の周辺環境内の物体と関連付けられる初期の予測される軌道を決定するように構成され得る。例えば、予測システムは目標指向の予測システムであり得、自律車両によって知覚される各々の物体について、１または複数の潜在的目標を生成し、潜在的な目標のうちの１または複数を選択し、物体が１または複数の選択された目標を達成し得るための１または複数の初期の予測される軌道を展開する。例として、自律車両が通行している通行道（例えば街路等）に隣接する側道を、歩行者が歩いている場合がある。歩行者は、通行道に向かって歩いている場合がある。予測システムは、歩行者が通行道に向かって通行するときの、歩行者の１または複数の現在または過去の状態を表示する状態データを取得し得る。少なくとも部分的にそのようなデータに基づいて、歩行者が（例えば、信号無視して）通行道を横切るという目標を有していることを、予測システムが決定し得る。予測システムは、この目標に基づいて、歩行者が通行道を横切ることを予測する、歩行者についての初期軌道を決定し得る。
【００２５】
物体の初期の予測される軌道は、車両の環境内の物体と他の要素との間の潜在的な相互作用による影響を受け得る。よって、本開示によると、予測システムは、そのような相互作用および物体の軌道における相互作用のあり得る効果を予測する相互作用システムを含み得る。そうするために、予測システム（例えば、相互作用システム）は、自律車両の周辺環境内の物体と関連付けられるデータを取得し得る。例えば、予測システムは、周辺環境内の物体の初期の予測される軌道（例えば、目標指向ベースの初期軌道予測）を表示するデータを取得し得る。いくつかの実施において、予測システムは、１または複数の交通規則および／または他の地理的特徴（例えば、停止標識、停止灯等）を表示するマップデータを取得し得る。いくつかの実施において、予測システムは、環境内の他の物体および／または自律車両の計画される挙動軌道と関連付けられるデータ（例えば、状態データ、予測される軌道等）を取得する。
【００２６】
予測システム（例えば、相互作用システム）は、物体と関連付けられる相互作用を決定し得る。これは、種々のタイプの相互作用を含み得る。例えば、物体と関連付けられる相互作用は、周辺環境内の物体と別の物体との間の潜在的な相互作用であり得る。他の物体は、周辺環境内で動いている（または動くことが予期される）アクター物体（例えば、動いている車両）、および／または周辺環境内で静止している静止物体（例えば駐車された車両）であり得る。いくつかの実施において、相互作用は少なくとも部分的に交通規則に基づき得る。例えば、相互作用は、物体と、停止標識、合流区域、停止灯等との間の潜在的な相互作用を含み得る。いくつかの実施において、相互作用は、物体と（予測システムを実施している）自律車両との間の潜在的な相互作用を含み得る。
【００２７】
予測システムによって取得される物体と関連付けられるデータに少なくとも部分的に基づいて、予測システム（例えば相互作用システム）は、物体と関連付けられる相互作用を予測し得る。例えば、予測システムは、物体の初期軌道、別の物体の軌道および／または位置、自律車両の計画される軌道、マップデータ、ならびに／または、他のタイプのデータに基づいて、物体と関連付けられる相互作用を決定し得る。例えば、予測システムは、それぞれの物体の各々のための初期軌道が同様の時間で交差し得、かつ／または重複し得る事象において、物体が別のアクター物体と相互作用し得ることを決定し得る。加えて、または代替として、予測システムは、物体の初期軌道が周辺環境内の静止物体の場所（例えば、静止物体と関連付けられる境界ボックス）と交差し得る事象において、物体が静止物体と相互作用し得ることを決定し得る。加えて、または代替として、予測システムは、物体の初期軌道が自律車両の計画される挙動軌道（および／または車両の停止される位置）と交差する事象において、物体が自律車両と相互作用し得ることを決定し得る。いくつかの実施において、予測システムは、少なくとも部分的にマップデータに基づいて、相互作用の存在を決定し得る。例えば、予測システムは、物体の初期軌道および物体が通行している区域のマップに少なくとも部分的に基づいて、物体が、停止標識、合流区域、信号機等と相互作用し得ることを決定し得る。そのうえ、予測システムは、少なくとも部分的にマップデータに基づいて、物体が別の物体および／または自律車両と相互作用する可能性があることを決定し得る。例として、予測システムは、物体が別の物体および／または自律車両の軌道へ向かって１つの道路上へ左に合流するように強いられることを決定するために、初期軌道および物体が通行している区域のマップデータを評価し得る。
【００２８】
予測システム（例えば相互作用システム）は、少なくとも部分的に相互作用に基づいて、物体のための１または複数の予測される相互作用軌道を決定し得る。予測される相互作用軌道は、相互作用の結果として物体が横断し得る潜在的な軌道を表示し得る。予測システムは、（例えば単一の相互作用から生じる）自律車両の周辺環境内の物体の１または複数の予測される相互作用軌道を反復して決定し得る。例えば、各々の反復において、各々の軌道は以前の反復において展開された他の軌道との対立を避けるように調節され得る。
【００２９】
いくつかの実施において、予測システムは、少なくとも部分的に規則（単数または複数）ベースのモデルに基づいて、予測される相互作用軌道を決定し得る。規則（単数または複数）ベースのモデルは、相互作用のタイプおよび周辺の状況が与えられた場合に物体が従い得る潜在的な軌道を画定する、ヒューリスティクスを有するアルゴリズムを含み得る。ヒューリスティクスは、現実世界で自律車両によって獲得される運転ログデータに基づいて展開され得る。そのような運転ログデータは、（例えば静止物体および／またはアクター物体を含む）現実世界の物体−物体相互作用、物体−自律車両相互作用、物体−交通規則相互作用等を表示し得る。そのうえ、運転ログデータは、これらの相互作用に基づいて、現実世界で物体によって通行される経路を表示し得る。例えば、１または複数の規則は、迫り来る車両に基づいて、信号無視する歩行者が従い得る予測される相互作用軌道を表示し得る。これは、例えば、信号無視者が迫り来る車両の前の通行道を走って横切ることを示す、予測される相互作用軌道、および／または、信号無視者が止まって車両を通過させ、それから通行道を横切ることを示す、別の予測される相互作用軌道を含み得る。
【００３０】
いくつかの実施において、車両計算システムは、少なくとも部分的に機械学習されたモデルに基づいて、１または複数の予測される相互作用軌道を決定し得る。例えば、予測システムは、機械学習された相互作用予測モデルを含み得、使用し得、かつ／または別様に、モデルに影響を及ぼし得る。機械学習されたモデルの相互作用予測モデルは、例えば、ニューラルネットワーク（例えば深層ニューラルネットワーク）または他の多層非線形モデルのような、１または複数の種々のモデルであり得または別様に含み得る。ニューラルネットワークは、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（例えば、長短期メモリ再帰型ニューラルネットワーク）、フィードフォワードニューラルネットワーク、および／または他の形式のニューラルネットワークを含み得る。例えば、物体と関連付けられる相互作用および／または物体と関連付けられる予測される相互作用軌道を等予測するようにモデルを（例えば、相互作用および／または結果的な軌道の既知の例を用いてラベル付けされた運転ログデータ、センサデータ、状態データ等を用いて）訓練するために、教師付き訓練技術が遂行され得る。いくつかの実施において、相互作用および／または軌道予測のために機械学習されるモデルを訓練することを助けるために、本明細書で説明されるように、訓練データは、規則（単数または複数）ベースのモデルを用いて決定される、予測される相互作用軌道に少なくとも部分的に基づき得る。訓練データは、機械学習されるモデルをオフラインで訓練するために用いられ得、それから、（より少ないレイテンシで）相互作用および／または相互作用軌道を予測するための追加的または代替の手法として用いられ得る。
【００３１】
車両計算システムは、機械学習されたモデル内へデータを入力し得、かつ出力を受け取り得る。例えば、車両計算システム（例えば予測システム）は、自律車両に搭載されたアクセス可能なメモリから、かつ／または（例えば、無線ネットワークを介して）車両から離れたメモリから、機械学習されたモデルを表示するデータを取得し得る。車両計算システムは、機械学習されたモデル内へデータを入力し得る。これは、物体および／または周辺環境内の他の物体と関連付けられるデータ（例えば、初期軌道、状態データ、センサデータ、他の物体の軌道／状態データ、計画される物体軌道、マップデータ等）を含み得る。機械学習されたモデルは、物体と関連付けられる相互作用（例えば物体−物体相互作用等）を予測するためにデータを処理し得る。そのうえ、機械学習されたモデルは、相互作用に基づいて、物体のための１または複数の相互作用軌道を予測し得る。機械学習されたモデルは、相互作用および／または予測される相互作用軌道を表示する出力を提供し得る。いくつかの実施において、本明細書でさらに説明されるように、出力はまた、各々のそれぞれの軌道と関連付けられる確率も表示し得る。
【００３２】
いくつかの実施において、予測システムは、少なくとも部分的に１または複数の方針に基づいて、物体のための１または複数の予測される相互作用軌道を決定し得る。方針は、予測される軌道のセットへ適用される特別な軌道戦略であり得る。例えば方針は、いずれの物体が、与えられたシナリオおよび／または相互作用のタイプをなし得るかを示し得る。例として、方針は、物体が全道停止で通行権規則に服従し得かつ／または遵守し得ることを示し得る。別の例において、方針は、先行−後行シナリオのために、後行する物体が先行する物体の後方で列に加わる（例えば、後行する物体は、余裕ある随従距離で先行する物体の速さに適合するように減速する）ことを示し得る。そのような方針は、予測される相互作用軌道を決定するために利用されるモデル（例えば、規則（単数または複数）ベースのモデル、機械学習されたモデル等）内で実施され得る。
【００３３】
いくつかの実施において、方針は、ワンタイムの方針および／または繰り返される方針を含み得る。ワンタイムの方針は、初期軌道（例えば第０反復）で適用され得、方針に従って展開される後続の軌道は変更されない。例えば、方針は、全道停止中の車両のために軌道を生産することを助けるために用いられ得る。繰り返される方針は、各々の反復で適用され得る。例えば反復Ｋにおいて、繰り返される方針は、最終反復からの全ての軌道を用いて軌道を展開するために適用され得、方針のない軌道は現在の反復で展開され得る。第１の物体が第２の物体に従うことを予測システムが決定する事象において、予測システムは、２つの物体の軌道を連続して展開するための方針を利用し得る。
【００３４】
加えて、または代替として、相互作用軌道が展開されるべき順序を表すように、予測システム（例えば、軌道システム）はグラフモデル（例えば方向性グラフ）を生成し得る。例えば、相互作用軌道は独立して展開され得る。各々の反復において、予測システムは、軌道を表す頂点と２つの軌道間の従属を表す辺とを有するグラフを作り出し得る。各々の軌道について、対立する軌道がまず展開されるべき場合には、対立する軌道を現在の軌道の根源としてマークするために、モデル（例えばクラス分け）および／またはヒューリスティクスのセットが適用され得る。辺は、この従属を表すためにグラフへ追加され得る。モデル／ヒューリスティクスは、車両の行動（例えば通過、列に並ぶ等）および他の別個の決定を決定するために用いられ得る。相互作用システムは、グラフ内のサイクルおよび二方向性の辺を探索し、サイクルおよび二方向性の辺の中の軌道を共同して展開し、連続して他の軌道を展開する。そのような手法は、２つの反復により作り出されるグラフが同一であるときに終了し得る。
【００３５】
予測システム（例えば、相互作用システム）は、それぞれの１または複数の予測される相互作用軌道の各々のための確率を決定し得る。確率は、物体がそのそれぞれの相互作用軌道に従って行動する可能性を表示し得る。確率は、スコア、パーセンテージ、小数等として表現され得る。例えば、相互作用システムは、信号無視する歩行者が停止して迫り来る車両が通過するのを待つことが、信号無視する歩行者が車の前を走ることよりも高い確率であることを決定し得る。いくつかの実施において、軌道の各々のための確率は、予測される相互作用軌道の各々のための最終スコアを決定するように構成される、軌道スコアリングシステムへ提供され得る。例えば、予測システムは、入力データとして、軌道および関連付けられる確率を受け取るように訓練されまたは別様に構成される、軌道スコアリングモデル（例えば、規則（単数または複数）ベースのモデルおよび／または機械学習されたモデル）にアクセスし得かつ利用し得る。軌道スコアリングモデルは、例えば、そのような軌道が物体のためにどのくらい現実的または達成可能であるかを表示する最終スコアを提供し得る。そのような軌道スコアリングモデルは、妥当な軌道（例えば観測された軌道）または妥当でない軌道（例えば合成された軌道）としてラベル付けされた軌道を含む訓練データにおいて訓練され得る。予測システムは、自律車両の挙動計画システムへ１または複数の予測される相互作用軌道を（例えば予測データとして）表示するデータを出力し得る。出力は、全ての予測される軌道および各々のそれぞれの軌道と関連付けられる最終スコアを表示し得る。
【００３６】
挙動計画システムは、１または複数の予測される相互作用軌道に少なくとも部分的に基づいて、自律車両のための挙動計画を決定し得る。挙動計画は、車両へ接近する物体に対する車両の行動（例えば、計画される車両の軌道、速さ（単数または複数）、加速度（単数または複数）、他の作用等）および物体の予測される挙動を含み得る。例えば、挙動計画システムは、挙動計画を作り上げる最適化された変数を決定するために、車両の行動と関連付けられるコストデータ、および、もしあるならば他の目的関数（例えば、速さ制限、信号機等に基づくコスト関数）を考慮する最適化アルゴリズムを実施し得る。挙動計画システムは、車両への潜在的なリスクを増加させることなく、かつ／またはいずれの交通法（例えば、速さ制限、レーンの境界、標識）も違反することなく、車両が特定の行動（例えば、物体を通過する）を遂行し得ることを決定し得る。例えば、挙動計画システムは、周辺環境を通る最適化された車両軌道を決定するようなそのコストデータ分析の間に、予測される相互作用軌道（および関連付けられるスコア（単数または複数））の各々を評価し得る。いくつかの実施において、予測される相互作用軌道のうちの１または複数は、最終的に自律車両の挙動を変化させない場合がある。いくつかの実施においては、自律車両が、周辺環境内で相互作用することが予測される物体（単数または複数）を避け、特定の物体（単数または複数）の周りのより多い車側間隔を与えるために速さを低減させ、慎重に前進し、停止する行動を遂行する等をするように、挙動計画が車両の挙動を画定し得る。
【００３７】
自律車両は、挙動計画の少なくとも一部に従って通行を開始し得る。例えば、挙動計画は車両制御システムへ提供され、車両制御システムは、挙動計画を実施するように構成される車両コントローラを含み得る。車両コントローラは、例えば、挙動計画を車両制御システムのための命令（例えば、加速制御、ブレーキ制御、ステアリング制御等）へ変換し得る。これは、車両の周辺環境内の物体の相互作用を考慮に入れながら、自律車両が自律的に通行することを可能とし得る。
【００３８】
本明細書で説明されるシステムおよび方法は、数々の技術的効果および利益を提供する。例えば、本開示は、自律車両の周辺環境内の物体の軌道の向上された予測および向上された車両制御のためのシステムおよび方法を提供する。相互作用（例えば、物体−物体相互作用、物体−交通規則相互作用、物体−自律車両相互作用等）を検出するための向上された能力は、そのような相互作用に基づいて、向上された自律車両の挙動計画および／または他の制御を可能とし得、それによって乗客の安全性および車両効率をさらに高める。従って、本開示は自律車両計算システムおよびそのシステムが制御する自律車両の動作を向上させる。加えて、本開示は、物体の相互作用および結果的な軌道を予測することの問題への特定の解決策を提供し、かつ、所望の結果を達成するための特定の方法（例えば、特定の規則の使用、機械学習されたモデル等）を提供する。本開示はまた、例えば、（例えば物体の相互作用により潜在的に引き起こされる）衝突を低減させることによって、乗客／車両の安全性を高め、かつ車両効率を向上させることを含む追加の技術的効果および利益を提供する。
【００３９】
本開示のシステムおよび方法はまた、自律車両計算テクノロジーのような車両計算テクノロジーへの向上を提供する。例えば、本システムおよび方法は、相互作用および結果として物体が従い得る潜在的な挙動軌道をそのような物体が経験し得るか否かを、車両テクノロジーが決定することを可能とする。特に、計算システム（例えば車両計算システム）は、自律車両の周辺環境内の第１の物体および１または複数の第２の物体と関連付けられるデータ（例えば、初期軌道データ、マップデータ等）を取得し得る。計算システムは、そのようなデータに少なくとも部分的に基づいて、第１の物体と１または複数の第２の物体との間の相互作用を決定し得る。計算システムは、第１の物体と１または複数の第２の物体との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第１の物体の１または複数の予測される相互作用軌道を決定し得る。計算システムは、第１の物体の１または複数の予測される相互作用軌道を表示するデータを（例えば、挙動計画システム、ローカルメモリ等へ）出力し得る。予測される相互作用に基づいて物体の潜在的な軌道を識別することによって、計算システムは、予測される物体の挙動軌道が周辺環境内の相互作用による影響を受け得るという知らされる知識に基づいて、車両の挙動を計画し得る。これは、例えば、物体へのいずれの干渉も避けるようにより保守的であるように、これらの物体の近くでの自律車両の振る舞いを変更するために用いられ得る。よって、本開示のシステムおよび方法は、その周辺環境内の物体の挙動を予測するための車両計算システムの能力を向上させると共に、自律車両を制御するための能力も向上させる。
【００４０】
図へ参照すると、本開示の実施形態の例がさらに詳細に検討される。図１は、本開示の実施形態の例に従ったシステム例１００を例示する。システム１００は、車両１０４と関連付けられる車両計算システム１０２を含み得る。いくつかの実施において、システム１００は、車両１０４から離れた動作計算システム１０６を含み得る。
【００４１】
いくつかの実施において、車両１０４は、エンティティ（例えば、サービス提供者、所有者、管理者）と関連付けられ得る。エンティティは、例えば車両１０４を含む車両の一団を介して、複数のユーザへ１または複数の車両サービス（単数または複数）を提示するものであり得る。いくつかの実施において、エンティティは、車両１０４のみ（例えば、１人の所有者、管理者）と関連付けられ得る。いくつかの実施において、動作計算システム１０６がエンティティと関連付けられ得る。車両１０４は、１または複数のユーザへ１または複数の車両サービスを提供するように構成され得る。車両サービス（単数または複数）は、輸送サービス（例えば、輸送されるためにユーザが車両１０４に乗る乗合サービス）、宅配サービス、送達サービス、および／または他のタイプのサービスを含み得る。車両サービス（単数または複数）は、例えばソフトウェアアプリケーション（例えば携帯電話ソフトウェアアプリケーション）を介して、エンティティによってユーザへ提示され得る。エンティティは、ユーザへ車両サービスを提供するように車両１０４（およびもしあるならば、その関連付けられる一団）を連繋しかつ／または管理するために、動作計算システム１０６を活用し得る。
【００４２】
動作計算システム１０６は、車両１０４から離れた（例えば、車両１０４に搭載されずに位置する）１または複数の計算デバイスを含み得る。例えば、そのような計算デバイス（単数または複数）は、クラウドベースのサーバシステム、および／または、車両１０４の車両計算システム１０２（および／またはユーザデバイス）と通信し得る他のタイプの計算システムの構成要素であり得る。動作計算システム１０６の計算デバイス（単数または複数）は、種々の動作および機能を遂行するための種々の構成要素を含み得る。例えば、計算デバイス（単数または複数）は、１または複数のプロセッサ（単数または複数）、および１または複数の有形の非一過性コンピュータ読み取り可能な媒体（例えばメモリデバイス等）を含み得る。１または複数の有形の非一過性コンピュータ読み取り可能な媒体は、１または複数のプロセッサ（単数または複数）により実行されるときに、動作計算システム１０６（例えば１または複数のプロセッサ等）が、例えば、（車両１０４を含む）車両の一団を管理するために、車両１０４へデータを提供しかつ／または車両１０４からデータを受け取る等の動作および機能を遂行することを引き起こす命令を記憶し得る。
【００４３】
車両計算システム１０２を統合する車両１０４は、地上ベースの自律車両（例えば車、トラック、バス等）、空中ベースの自律車両（例えば、飛行機、ヘリコプターまたは他の航空機）または他のタイプの車両（例えば船舶等）であり得る。車両１０４は、人間の操作者（例えば運転者）からの最小限の相互作用で、かつ／または相互作用なしで、運転し、操縦し、動作する等し得る自律車両であり得る。いくつかの実施において、人間の操作者は、車両１０４から省かれ得る（かつ／または車両１０４の遠隔制御からも省かれ得る）。いくつかの実施において、人間の操作者は車両１０４中に含まれ得る。
【００４４】
いくつかの実施において、車両１０４は、複数の動作モードで動作するように構成され得る。車両１０４は、車両１０４がユーザの入力なしで制御可能である完全に自律的な（例えば自走運転）動作モードで動作するように構成され得る（例えば、車両１０４内に存在する人間の操作者、および／または車両１０４から離れて存在する人間の操作者からの入力なしで運転し得かつ操縦し得る）。車両１０４内に（かつ／または車両１０４から離れて）存在する人間の操作者からのいくつかの入力で車両１０４が動作し得る半自律的動作モードで、車両１０４が動作し得る。車両１０４は、車両１０４が人間の操作者（例えば、人間の運転者、パイロット等）により完全に制御可能である手動動作モード中へ入り得、自律ナビゲーション（例えば自律運転）を遂行することを禁じられ得る。いくつかの実施において、車両１０４は、車両１０４の人間の操作者を支援することに役立つように、手動動作モードにある間、車両動作支援テクノロジー（例えば、衝突軽減システム、パワーアシストステアリング等）を実施し得る。
【００４５】
車両１０４の動作モードは、車両１０４に搭載されたメモリ内に記憶され得る。例えば動作モードは、特定の動作モードにある間の車両１０４のための１または複数の動作パラメータを示す動作モードデータストラクチャ（例えば、規則、リスト、表等）によって定義され得る。例えば、動作モードデータストラクチャは、完全な自律動作モードにあるときに、車両１０４が自律的にその挙動を計画すべきことを示し得る。車両計算システム１０２は、動作モードを実施しているときにメモリへアクセスし得る。
【００４６】
車両１０４の動作モードは、各種の方法で調節され得る。いくつかの実施において、車両１０４の動作モードは、車両１０４の車外で遠隔で選択され得る。例えば、車両１０４と関連付けられるエンティティ（例えばサービス提供者）は、車両１０４（および／または関連付けられる一団）を管理するために、動作計算システム１０６を利用し得る。動作計算システム１０６は、動作モードへ入ること、動作モードから出ること、動作モードを維持すること等をするように車両１０４に命令するデータを車両１０４に送り得る。例として、動作計算システム１０６は、完全な自律動作モードへ入るように車両１０４に命令するデータを車両１０４に送り得る。いくつかの実施において、車両１０４の動作モードは、車両１０４上でかつ／または車両１０４の近くでセットされ得る。例えば、車両計算システム１０２は、いつどこで車両１０４が特定の動作モードへ入り、変化させ、維持するべきか等を（例えばユーザの入力なしで）自動的に決定し得る。加えて、または代替として、車両１０４の動作モードは、車両１０４に搭載して位置する１または複数のインタフェース（例えば、キースイッチ、ボタン等）、および／または車両１０４へ近接する計算デバイスと関連付けられる１または複数のインタフェース（例えば、車両１０４の近くに位置する権限を与えられた人員により動作させられるタブレット）を介して手動で選択され得る。いくつかの実施において、車両１０４の動作モードは、車両１０４に位置するインタフェースの系列に少なくとも部分的に基づいて調節され得る。例えば、動作モードは、車両１０４が特定の動作モードへ入ることを引き起こすために、特定の順序で一連のインタフェースを操作することによって調節され得る。
【００４７】
車両計算システム１０２は、車両１０４に搭載して位置する１または複数の計算デバイスを含み得る。例えば、計算デバイス（単数または複数）は、車両１０４の上にかつ／または車両１０４内に位置し得る。計算デバイス（単数または複数）は、種々の動作および機能を遂行するための種々の構成要素を含み得る。例えば、計算デバイス（単数または複数）は、１または複数のプロセッサ、および１または複数の有形の非一過性コンピュータ読み取り可能な媒体（例えばメモリデバイス等）を含み得る。１または複数の有形の非一過性コンピュータ読み取り可能な媒体は、１または複数のプロセッサによって実行されるときに、本明細書で説明されるように、周辺環境を通して車両１０４を自律的に操縦し、物体の挙動を決定し、車両の挙動を制御する等のために本明細書に説明されるような動作および機能を遂行することを車両１０４（例えばその計算システム、１または複数のプロセッサ等）に行わせる命令を記憶し得る。
【００４８】
車両１０４は、車両計算システム１０２（およびその計算デバイス（単数または複数））が、他の計算デバイスと通信することを可能とするように構成された通信システム１０８を含み得る。車両計算システム１０２は、動作計算システム１０６および／または（例えば１または複数の無線信号接続を介して）１または複数のネットワークを経由して１または複数の他の計算デバイス（単数または複数）と通信するために、通信システム１０８を用い得る。いくつかの実施において、通信システム１０８は、車両１０４に搭載されたシステム（単数または複数）のうちの１または複数の間での通信を可能とし得る。通信システム１０８は、例えばトランスミッタ、レシーバ、ポート、コントローラ、アンテナおよび／または通信を促進することに役立ち得る他の適切な構成要素を含む、１または複数のネットワーク（単数または複数）とのインタフェースとなるための任意の適切な構成要素を含み得る。
【００４９】
図１に示されるように、車両１０４は、１または複数の車両センサ１１２、自律計算システム１１４、１または複数の車両制御システム１１６、および本明細書で説明されるように他のシステムを含み得る。これらのシステムのうちの１または複数は、通信チャンネルを介して相互に通信するように構成され得る。通信チャンネルは、１または複数のデータバス（例えば、コントローラエリアネットワーク（ＣＡＮ））、車載診断コネクタ（例えば、ＯＢＤ−ＩＩ）、および／または、有線および／または無線の通信リンクの組み合わせを含み得る。車載システムは、通信チャンネルを介して互いの間でデータ、メッセージ、信号等を送りかつ／または受け取り得る。
【００５０】
車両センサ（単数または複数）１１２は、車両１０４の周辺環境内（例えば、車両センサ（単数または複数）１１２のうちの１または複数の視野内）にある１または複数の物体と関連付けられるセンサデータ１１８を獲得するように構成され得る。車両センサ（単数または複数）１１２は、光検出および測距（ＬＩＤＡＲ）システム、電波検出および測距（ＲＡＤＡＲ）システム、１または複数のカメラ（例えば、可視スペクトルカメラ、赤外線カメラ等）、モーションセンサ、および／または、他のタイプの画像捕捉デバイスおよび／またはセンサを含み得る。センサデータ１１８は、画像データ、レーダデータ、ＬＩＤＡＲデータ、および／または車両センサ（単数または複数）１１２により獲得される他のデータを含み得る。物体（単数または複数）は、例えば、歩行者、車両、自転車および／または他の物体を含み得る。物体（単数または複数）は、車両１０４の前方、後方、側方等に位置し得る。センサデータ１１８は、１回または複数回、車両１０４の周辺環境内の物体（単数または複数）と関連付けられる場所を表示し得る。車両センサ（単数または複数）１１２は、センサデータ１１８を自律計算システム１１４へ提供し得る。
【００５１】
センサデータ１１８に加えて、自律計算システム１１４がマップデータ１２０を回収し得または別様に取得し得る。マップデータ１２０は、車両１０４の周辺環境についての詳細な情報を提供し得る。例えば、マップデータ１２０は、異なる車道、道路区分、建物、または、他のアイテム若しくは物体（例えば、街灯柱、横断歩道、カーブ等）の識別および場所、交通レーンの場所および方向（例えば、駐車レーン、右左折レーン、自転車レーン、または特定の車道または他の通行道および／またはそれらと関連付けられる１または複数の境界マーク内の他のレーンの場所および方向）、交通制御データ（例えば、標識、信号機、または他の交通制御デバイスの場所および命令）、障害（例えば、道路工事、事故等）の場所、イベント（例えば、予定されるコンサート、パレード等）を表示するデータ、および／または、車両１０４の周辺環境および車両１０４とその周辺環境との関係を把握しかつ知覚する際に、車両１０４を支援する情報を提供する任意の他のマップデータに関する情報を提供し得る。いくつかの実施において、車両計算システム１０２は、少なくとも部分的にマップデータ１２０に基づいて、車両１０４のための車両ルートを決定し得る。
【００５２】
車両１０４は、ポシショニングシステム１２２を含み得る。ポシショニングシステム１２２は、車両１０４の現在位置を決定し得る。ポシショニングシステム１２２は、車両１０４の位置を分析するための任意のデバイスまたは回路構成であり得る。例えば、ポシショニングシステム１２２は、等ネットワークアクセスポイント若しくは他のネットワーク構成要素（例えば、携帯電話の中継塔、ＷｉＦｉアクセスポイント等）への三角測量および／もしくは近接性を用いることにより、ＩＰアドレスに基づいて、慣性センサ（例えば慣性測定ユニット（単数または複数）等）、衛星ポシショニングシステム、および／または他の適切な技術のうちの１または複数を用いることによって位置を決定し得る。車両１０４の位置は、車両計算システム１０２の種々のシステムによって用いられ得、かつ／または、遠隔の（例えば、動作計算システム１０６の）計算デバイスへ提供され得る。例えば、マップデータ１２０は、車両１０４の周辺環境の車両１０４の相対位置を提供し得る。車両１０４は、本明細書で説明されるデータに少なくとも部分的に基づいて、（例えば６軸にわたる）周辺環境内の車両１０４の位置を識別し得る。例えば、車両１０４は、その環境内の車両の位置の理解を得るために、周辺環境のマップへ車両センサデータ１１８（例えばＬＩＤＡＲデータ、カメラデータ）を適合させるようにそれを処理し得る。
【００５３】
自律計算システム１１４は、知覚システム１２４、予測システム１２６、挙動計画システム１２８、および／または、車両１０４の周辺環境を知覚し、それに従って車両１０４の挙動を制御するための挙動計画を決定するように協働する他のシステムを含み得る。例えば、自律計算システム１１４は、車両センサ（単数または複数）１１２からセンサデータ１１８を受け取り得、センサデータ１１８（および／または他のデータ）に対する種々の処理技術を遂行することによって周辺環境を把握することを試行し得、そのような周辺環境を通した適切な挙動計画を生成し得る。自律計算システム１１４は、挙動計画に従って車両１０４を動作させるために、１または複数の車両制御システム１１６を制御し得る。
【００５４】
車両計算システム１０２（例えば自律システム１１４）は、センサデータ１１８および／またはマップデータ１２０に少なくとも部分的に基づいて、車両１０４の近傍にある１または複数の物体を識別し得る。例えば、車両計算システム１０２（例えば知覚システム１２４）は、状態データ１３０を取得するために、センサデータ１１８、マップデータ１２０等を処理し得る。車両計算システム１０２は、車両１０４の周辺環境内にある１または複数の物体の１または複数の状態（例えば、現在および／または過去の状態（単数または複数））を表示する状態データ１３０を取得し得る。例えば、各々の物体のための状態データ１３０は、物体の現在および／または過去の場所（位置とも称される）、現在および／または過去の速さ／速度、現在および／または過去の加速度、現在および／または過去の目的地、現在および／または過去の向き、（例えば、境界形状により表されるような）サイズ／フットプリント、クラス（例えば、歩行者クラス対車両クラス対自転車クラス）、物体と関連付けられる不確実性、および／または他の状態情報の推定を、（例えば、所与の時間、期間の間）説明し得る。知覚システム１２４は、予測システム１２６へ状態データ１３０を提供し得る。
【００５５】
予測システム１２６は、車両１０４の周辺環境内の物体（単数または複数）の挙動を予測するように構成され得る。例えば、予測システム１２６は、そのような物体（単数または複数）と関連付けられる予測データ１３２を作り出し得る。予測データ１３２は、各々のそれぞれの物体の１または複数の予測される将来の場所を表示し得る。予測データ１３２は、もしあるならば各々の物体と関連付けられる予測される経路を示し得る。予測システム１２６は、それぞれの物体がある時間にわたって通行することが予測される、予測される軌道を決定し得る。予測される軌道は、予測される経路および物体が経路を横断することが予測されるタイミングを表示し得る。これは、物体の意図を表示し得る。いくつかの実施において、予測データは、物体が予測された軌道に沿って通行することが予測される速さを表示し得る。
【００５６】
予測システム１２６は、車両１０４の周辺環境内の物体と関連付けられる初期の予測される軌道を決定するように構成され得る。例えば、予測システム１２６は、車両１０４（例えば知覚システム１２４）により知覚される各々の物体のために、１または複数の潜在的な目標を生成し、潜在的な目標のうちの１または複数を選択し、物体が１または複数の選択された目標を達成し得る１または複数の初期の予測された軌道を展開する、目標指向の予測システムであり得る。
【００５７】
例として、図２は、本開示の実施形態の例に従った、物体１０４が通行する地理的区域の例２００を描写する。第１の物体２０２（例えば歩行者）は、車両１０４が通行している通行道２０４（例えば街路）に隣接する側道を通行中であり得る。第１の物体２０２は、通行道２０４に向かって通行しているかもしれない。車両計算システム１０２は、（例えば、第１の物体２０２が通行道２０４へ向かって通行するときの）周辺環境内の第１の物体２０２の１または複数の現在または過去の状態を表示する状態データ１３０を取得し得る。車両計算システム１０２は、そのような状態データに基づいて、第１の物体２０２が通行道２０４を（例えば信号無視する方法で）横切るという目標を有することを決定し得る。車両計算システム１０２は、周辺環境内の第１の物体２０２の１または複数の現在または過去の状態を表示する状態データ１３０に少なくとも部分的に基づいて、第１の物体２０２の初期の予測される軌道２０６を決定し得る。例えば、車両計算システム１０２は、第１の物体２０２が通行道２０４を横切ることを予測する、第１の物体２０２のための初期軌道２０６を決定し得る。いくつかの実施において、１または複数の、１または複数の第２の物体は、周辺環境内の静止物体を含み得る。１または複数の第２の物体は、周辺環境内のアクター物体を含み得る。１または複数の第２の物体は、車両１０４を含み得る。
【００５８】
図１へ戻ると、車両計算システム１０２（例えば予測システム１２６）は、車両の環境内の物体と他の物体および／または要素との間の潜在的な相互作用を予測する相互作用システム１３４を含み得る。相互作用システム１３４は、物体の軌道上のそのような相互作用（単数または複数）の潜在的な効果（単数または複数）を決定するように構成され得る。そのために、車両計算システム１０２は、車両１０４の周辺環境内の第１の物体および１または複数の第２の物体と関連付けられるデータを取得し得る。例として、図２へ参照すると、周辺環境内の第１の物体および１または複数の第２の物体と関連付けられるデータは、周辺環境内の第１の物体２０２の初期の予測される軌道２０６を表示するデータ（例えば、目標指向ベースの初期軌道予測）を含み得る。加えて、または代替として、車両計算システム１０２は、第１の物体２０２と関連付けられる状態データ１３０を取得し得る。加えて、または代替として、車両計算システム１０２は、１または複数の交通規則および／または他の地理的特徴（例えば、停止標識、停止灯等）を表示するマップデータ１２０を取得し得る。車両計算システム１０２は、物体２０８のような１または複数の第２の物体と関連付けられるデータ（例えば、状態データ、予測される軌道等）を取得し得る。例えば、車両計算システム１０２は、物体２０８の初期の予測される軌道２１０を表示するデータを取得し得る。加えて、または代替として、車両計算システム１０２は、車両１０４の計画される挙動軌道２１１を表示するデータを取得し得る。
【００５９】
車両計算システム１０２（例えば相互作用システム１３４）は、第１の物体２０２と関連付けられる相互作用を決定し得る。これは、種々のタイプの相互作用を含み得る。例えば、これは第１の物体２０２と周辺環境内の第２の物体（例えば、物体２０８、車両１０４等）との間の潜在的な相互作用を含み得る。いくつかの実施において、相互作用は交通規則と関連付けられ得る。例えば、相互作用は、第１の物体２０２と停止標識、合流区域、停止灯等との間の潜在的な相互作用を含み得る。いくつかの実施において、相互作用は、ただ１つの物体の挙動が影響を受けるという点で、一方向性（例えば、交通規則、駐車された車両、先行−後行車両シナリオ等に対する反応）であり得る。いくつかの実施において、相互作用は、複数の相互作用する物体が影響を受けるという点で、双方向性であり得る。
【００６０】
車両計算システムは、物体と関連付けられる取得されたデータに基づいて、２つの物体間の相互作用を決定し得る。いくつかの実施において、車両計算システム１０２（例えば、相互作用システム１３４）は、物体と関連付けられるデータに少なくとも部分的に基づいて、その物体と関連付けられる相互作用を予測し得る。いくつかの実施において、車両計算システム１０２は、第１の物体２０２および１または複数の第２の物体（例えば物体２０８）と関連付けられるデータに少なくとも部分的に基づいて、第１の物体２０２と１または複数の第２の物体との間の相互作用を決定する間の相互作用を決定し得る。
【００６１】
例えば、車両計算システム１０２は、第１の物体２０２の初期の予測される軌道２０６、および、別の第２の物体２０８の初期の予測される軌道２１０および／または位置、マップデータ１２０、ならびに／または、他のタイプのデータに基づいて、第１の物体２０２と関連付けられる相互作用を決定し得る。例えば、車両計算システム１０２は、第１の物体２０２の初期軌道に少なくとも部分的に基づいて、第１の物体２０２と１または複数の第２の物体との間の相互作用を決定し得る。例として、車両計算システムは、それぞれの物体の各々のための初期軌道２０６、２１０が同様の時間で交差し得かつ／または重複し得る事象で、第１の物体２０２が別の第２の物体２０８と相互作用し得ることを予測し得る。別の例において、車両計算システム１０２は、物体２１２の初期軌道２１６、物体２１２の速さ、物体２１２の位置（例えば、物体が通行している通行レーン）、および／または物体２１２の他の特徴と物体２１４の初期軌道２１８および／または位置とに少なくとも部分的に基づいて、物体２１２（例えば後行する車両）と別の物体２１４（例えば先行する車両）との間の相互作用を予測し得る。加えて、または代替として、車両計算システム１０２は、物体２１４の初期軌道２１８が周辺環境内の静止物体２１６の場所（例えば、静止物体と関連付けられる境界ボックス）と交差し得る事象において、物体２１４が静止物体２１６（例えば、駐車された車両、駐輪された自転車等）と相互作用し得ることを決定し得る。別の例において、物体と車両１０４との間の相互作用は、物体の初期軌道、および、車両１０４の計画される挙動軌道２１１および／または位置に少なくとも部分的に基づいて決定され得る。
【００６２】
いくつかの実施において、第１の物体と１または複数の第２の物体との間の相互作用は、車両１０４の周辺環境と関連付けられるマップデータ１２０に少なくとも部分的に基づいて決定され得る。例えば、車両計算システム１０２は、物体の初期軌道および物体が通行している区域のマップに少なくとも部分的に基づいて、物体が、停止標識、合流区域、信号機等と相互作用し得ることを決定し得る。そのうえ、車両計算システム１０２は、少なくとも部分的にマップデータに基づいて、物体が別の物体および／または車両１０２と相互作用する可能性があることを決定し得る。例として、車両計算システム１０２は、物体２１２が別の物体２１４と同一の通行レーン内を通行しており他の物体２１４へ接近することを決定するために、初期軌道２１６、および物体２１２が通行している区域のマップデータ１２０を評価し得る。
【００６３】
車両計算システム１０２（例えば、相互作用システム１３４）は、少なくとも部分的に相互作用に基づいて、物体のための１または複数の予測される相互作用軌道を決定し得る。予測される相互作用軌道は、相互作用の結果として物体が横断する潜在的な軌道を表示し得る。例えば、車両計算システム１０２は、第１の物体２０２と１または複数の第２の物体（例えば物体２０８）との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第１の物体２０２の１または複数の予測される相互作用軌道２２０Ａ−Ｂを決定し得る。加えて、または代替として、車両計算システム１０２は、第２の物体と関連付けられる相互作用（例えば、第１の物体２０２と物体２０８との間の相互作用）に少なくとも部分的に基づいて、１または複数の第２の物体（例えば物体２０８）の１または複数の予測される相互作用軌道２２２Ａ−Ｂを決定し得る。別の例において、車両計算システム１０２は、物体２１４と静止物体２１６（例えば駐車された車両）との間の相互作用に少なくとも部分的に基づいて、物体２１４のための１または複数の予測される相互作用軌道２２４Ａ−Ｂを決定し得る。車両計算システム１０２は、物体２１４（例えば先行する車両）との物体２１２（例えば後行する車両）の相互作用に基づいて、物体２１２のための１または複数の予測される相互作用軌道２２６Ａ−Ｂを決定し得る。いくつかの実施において、予測される相互作用軌道は、車両の行動（例えば、通過する、列に並ぶ、停止する等）と関連付けられる別個の決定を表示し得る。
【００６４】
車両計算システム１０２は、（例えば単一の相互作用から生じる）車両１０４の周辺環境内の物体の１または複数の予測される相互作用軌道を反復して決定し得る。例えば、各々の反復において、各々の軌道は、以前の反復において展開された他の軌道との対立を避けるように調節され得る。車両計算システム１０２は、物体のそれぞれの軌道の間の潜在的な対立に基づいて、それらの物体間の相互作用を予測し得る。例えば、車両計算システム１０２は、第１の物体２０２の第１の予測される相互作用軌道が、１または複数の第２の物体（例えば物体２０８）の１または複数の第２の予測される相互作用軌道との対立にあることを決定し得る。例えばそれらの軌道が物体の衝突となり得る事象において、軌道は対立にあると考えられ得る。第１の物体の第１の予測される相互作用軌道２０２Ａが、１または複数の第２の物体（例えば物体２０８）の１または複数の第２の予測される相互作用軌道との対立にあることを決定することへ応答して、車両計算システム１０２は、第１の物体の１または複数の予測される相互作用軌道２２０Ａ−Ｂが、１または複数の第２の物体の１または複数の第２の予測される相互作用軌道２２２Ａ−Ｂとの対立にないように、第１の物体２０２の１または複数の予測される相互作用軌道２２０Ａ−Ｂを決定し得る。例えば、車両計算システム１０２は、反復の結果として発生し得る第１の物体２０２の予測される相互作用軌道２２０Ａ−Ｂのように、１または複数の第２の物体の予測される相互作用軌道との対立にない（例えば、第１の物体２０２が第２の物体（単数または複数）と衝突することを引き起こし得ない）第１の物体２０２のための軌道を選択し得る。
【００６５】
いくつかの実施において、車両計算システム１０２は、１または複数の方針に少なくとも部分的に基づいて、物体のための１または複数の予測される相互作用軌道を決定し得る。方針は、予測される軌道のセットへ適用される特別な軌道戦略であり得る。例えば、方針は、物体が所与のシナリオおよび／または相互作用のタイプを行うことを表示し得る。例として方針は、物体が全道停止での通行権規則へ服従し得、かつ／または遵守し得ることを示し得る。別の例において、方針は、先行−後行シナリオのために、後行する物体が先行する物体の後方で列に並ぶことを示し得る（例えば、後行する物体は、余裕のある従属距離で先行する物体の速さに適合するように減速する）。そのような方針は、予測される相互作用軌道を決定するために利用されるモデル（例えば、規則（単数または複数）ベースのモデル、機械学習されたモデル等）内で実施され得る。例えば、車両計算システム１０２は、先行−後行方針に基づいて、物体２１２が物体２１４の速さに適合するように減速することを決定し得る。
【００６６】
いくつかの実施において、方針は、ワンタイムの方針および／または繰り返される方針を含み得る。ワンタイムの方針は初期の反復（例えば第０反復）で適用され得、方針に従って展開される後続の軌道は変更されない。例えば、方針は、全道停止において車両のための軌道の生産を助けるために用いられ得る。繰り返される方針は、各々の反復で適用され得る。例えば反復Ｋで、繰り返される方針は、最終反復からの全ての軌道を用いて軌道を展開するために適用され得、方針のない軌道が現在の反復において展開され得る。物体２１２が別の物体２１４に従うことを、車両計算システム１０２が決定する事象において、車両計算システム１０２は、連続して２つの物体２１２、２１４の軌道を決定するために方針を利用し得る。
【００６７】
加えて、または代替として、車両計算システム１０２（例えば軌道システム１３４）は、グラフモデルに基づいて、物体の予測される軌道を決定し得る。例えば、車両計算システム１０２は、グラフモデルを用いて第１の物体２０２を１または複数の第２の物体と関連付けることによって、第１の物体２０２および１または複数の第２の物体（例えば物体２０８）のための相互作用を決定し得る。第１の物体２０２を１または複数の第２の物体（例えば物体２０８）と関連付けた後、車両計算システム１０２は、グラフモデルに基づいて、第１の物体２０２の１または複数の予測される相互作用軌道を決定し得る。例として、車両計算システム１０２は方向性グラフを生成し得る。方向性グラフは、相互作用軌道が展開されるべき順序を表し得る。例えば、相互作用軌道は独立して展開され得る。各々の反復で、車両計算システム１０２は、軌道を表す頂点および２つの軌道間の従属を表す辺を有するグラフを作り出し得る。対立する軌道がまず展開されるべき場合には、現在の軌道の根源として対立する軌道をマークするために、各々の軌道ごとにモデル（例えばクラス分け）および／またはヒューリスティクスのセットが適用され得る。辺は、この従属を表すためにグラフへ加えられ得る。モデル／ヒューリスティクスは、車両の行動（例えば通過する、列に並ぶ等）および他の別個の決定を決定するために用いられ得る。車両計算システム１０２（例えば、相互作用システム１３４）は、グラフ内のサイクルおよび双方向性の辺を探索し得、サイクルおよび双方向性の辺内の軌道を共同で展開し得、その後他の軌道を展開し得る。そのような手法は、２つの反復により作り出されるグラフが同一であるときに終了し得る。
【００６８】
いくつかの実施において、車両計算システム１０２は、センサデータに少なくとも部分的に基づいて、相互作用および／または予測される相互作用軌道を決定し得る。例えば、車両計算システム１０２は、周辺環境と関連付けられる画像データ（例えば、ラスタライズされた画像データ）を取得し得る。画像データは、地理的特徴（例えば、停止線、レーン境界等）を表示し得る。車両計算システム１０２（例えば、相互作用システム１３４）は、少なくとも画像データに基づいて、相互作用を決定し得る。例えば、車両計算システム１０２は、そのような画像データに基づいて、物体が停止標識と相互作用しかつ／またはレーン内へ合流することを決定し得る。
【００６９】
いくつかの実施において、車両計算システム１０２は、規則（単数または複数）ベースのモデルに少なくとも部分的に基づいて、予測される相互作用軌道を決定し得る。規則（単数または複数）ベースのモデルは、相互作用のタイプおよび周辺の状況が与えられた場合に物体が従い得る潜在的な軌道を画定する、ヒューリスティックを有するアルゴリズムを含み得る。ヒューリスティックは、現実世界で車両（単数または複数）（例えば自律車両）により獲得される運転ログデータに基づいて展開され得る。そのような運転ログデータは、（例えば静止物体および／またはアクター物体を含む）現実世界の物体−物体相互作用、物体−車両相互作用、物体−交通規則相互作用等を表示し得る。そのうえ、運転ログデータは、これらの相互作用に基づいて、現実世界で物体によって通行される経路を表示し得る。例えば、１または複数の規則は、迫り来る車両に基づいて、信号無視する歩行者が従い得る予測される相互作用軌道を表示し得る。これは、例えば、信号無視者が迫り来る車両の前で通行道を横切ることを示す予測される相互作用軌道、および／または、信号無視者が停止して、迫り来る車両を通過させ、それから通行道を横切ることを示す別の予測される相互作用軌道を含み得る。
【００７０】
いくつかの実施において、車両計算システム１０２（例えば相互作用システム１３４）は、機械学習されたモデルに少なくとも部分的に基づいて、１または複数の予測される相互作用軌道を決定し得る。図３は、本開示の実施形態の例に従った、モデル３０２の実施例の例図３００を描写する。例えば、車両計算システム１０２は、機械学習された相互作用予測モデル３０２を含み得、使用し得かつ／または別様に、モデルに影響を及ぼし得る。機械学習された相互作用予測モデル３０２は、例えば、ニューラルネットワーク（例えば深層ニューラルネットワーク）、または他の多層非線形モデルのような１または複数の種々のモデルであり得、または別様にそれを含み得る。ニューラルネットワークは、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（例えば、長短期メモリ再帰型ニューラルネットワーク）、フィードフォワードニューラルネットワーク、および／または他の形式のニューラルネットワークを含み得る。例えば、教師付き訓練技術は、（例えば、相互作用および／または結果的な軌道の公知の例でラベル付けされた運転ログデータ、センサデータ、状態データ等を用いて、）第１の物体と１または複数の第２の物体との間の相互作用、および／または、等相互作用と関連付けられる予測される相互作用軌道を予測するように、機械学習される相互作用予測モデル３０２を訓練するために遂行され得る。いくつかの実施において、訓練データは、１または複数の相互作用および／または相互作用軌道を予測するように、機械学習される相互作用予測モデル３０２を訓練することを助けるために、本明細書において説明されるように、規則ベースのモデルを用いて決定される、予測される相互作用軌道に少なくとも部分的に基づき得る。訓練データは機械学習されるモデルをオフラインで訓練するために用いられ得、機械学習されたモデルは、相互作用および／または相互作用軌道を予測するための追加のまたは代替の手法として用いられ得る。
【００７１】
車両計算システム１０２は、機械学習されたモデル内へデータを入力し得、かつ出力を受け取り得る。例えば、車両計算システム１０２は、車両１０４に搭載されたアクセス可能なメモリから、かつ／または（例えば無線ネットワークを介して）車両１０４から離れたメモリから、機械学習された相互作用予測モデル３０２を表示するデータを取得し得る。車両計算システム１０２は、機械学習された相互作用予測モデル３０２内へ入力データ３０４を提供し得る。入力データ３０４は、第１の物体および１または複数の第２の物体と関連付けられるデータを含み得る。これは、第１の物体と関連付けられる初期軌道、状態データ、センサデータ、他の物体の軌道／状態データ、計画される車両軌道、マップデータ等を表示するデータ、および／または、１または複数の第２の物体と関連付けられる初期軌道、状態データ、センサデータ、他の物体の軌道／状態データ、計画される車両軌道、マップデータ等を表示するデータを含み得る。機械学習された相互作用予測モデル３０２は、物体と関連付けられる相互作用（例えば、物体−物体相互作用、物体−車両相互作用等）を予測するために、入力データ３０４を処理し得る。そのうえ、機械学習された相互作用予測モデル３０２は、少なくとも部分的に相互作用に基づいて、物体のための１または複数の相互作用軌道を予測し得る。車両計算システム１０２は、機械学習された相互作用予測モデル３０２から出力３０６を取得し得る。出力３０４は、周辺環境内の物体の１または複数の予測される相互作用軌道を表示し得る。例えば、出力３０４は、周辺環境内の第１の物体２０２の１または複数の予測される相互作用軌道２２０Ａ−Ｂを表示し得る。いくつかの実施において、車両計算システム１０２は、予測される相互作用を表示する入力データを提供し得、機械学習された相互作用予測モデル３０２は、そのような入力データに基づいて、予測される相互作用軌道を出力し得る。いくつかの実施において、出力３０４はまた、各々のそれぞれの軌道と関連付けられる確率を表示し得る。
【００７２】
図４Ａ−図４Ｄは、本開示の実施形態の例に従った、予測される相互作用軌道の確率の例の図を描写する。車両計算システム１０２（例えば相互作用システム１３４）は、それぞれの１または複数の予測される相互作用軌道の各々のための確率を決定し得る。確率は、物体（例えば第１の物体２０２）がそのそれぞれの予測される相互作用軌道に従って行動する可能性を表示し得る。確率は、スコア、パーセンテージ、小数および／または他の形式として表現され得る。
【００７３】
図４Ａへ参照すると、車両計算システム１０２は、第１の物体２０２（例えば信号無視する歩行者）が、予測される相互作用軌道２２０Ａに従って行動する（例えば、迫り来る車両が通過する前に、その車両の前を走る）確率（例えば確率２）よりも、第１の物体２０２が、例えば、通行道２０４を横切る前に停止して、物体２０８（例えば、迫り来る車両）が通過するのを待つことによって、相互作用軌道２２０Ｂに従って行動する、より高い確率（例えば確率１）が存在することを決定し得る。別の例において、図４Ｂへ参照すると、車両計算システム１０２は、物体２０８が予測される相互作用軌道２２２Ａに従って行動する（例えば、歩行者の後方で列に並ぶ、速度を低減させる等）確率（例えば確率３）、および／または、物体２０８が予測される相互作用軌道２２２Ｂに従って行動する（例えば歩行者を通過する等）確率（例えば確率４）を決定し得る。別の例において、図４Ｃへ参照すると、車両計算システム１０２は、物体２１４が予測される相互作用軌道２２４Ａに従って行動する（例えば、駐車された車両の周りをゆっくりと進む等）確率（例えば確率５）、および／または、物体２１４が予測される相互作用軌道２２４Ｂに従って行動する（例えば、駐車された車両の後方で停止する等）確率（例えば、確率６）を決定し得る。別の例において、図４Ｄへ参照すると、車両計算システム１０２は、物体２１２が予測される相互作用軌道２２６Ａに従って行動する（例えば、先行する車両を通過する等）確率（例えば確率７）、および／または、物体２１２が予測される相互作用軌道２２６Ｂに従って行動する（例えば、先行する車両の後方で列に並ぶ等）確率（例えば確率８）を決定し得る。
【００７４】
いくつかの実施において、軌道の各々のための確率は、予測される相互作用軌道の各々のための最終スコアを決定するように構成される、軌道スコアリングシステムへ提供され得る。例えば、車両計算システム１０２（例えば予測システム１２６）は、軌道および関連付けられる確率を入力データとして受け取るよう訓練され、または別様に構成される軌道スコアリングモデル（例えば、規則（単数または複数）ベースのモデルおよび／または機械学習されたモデル）へアクセスし得、かつ利用し得る。軌道スコアリングモデルは、例えば、そのような軌道が物体にとってどのくらい現実的または達成可能かを表示する最終スコアを提供し得る。そのような軌道スコアリングモデルは、例えば、妥当な軌道（例えば、観測された軌道）または妥当でない軌道（例えば、合成された軌道）としてラベル付けされた軌道を含む訓練データで訓練され得る。
【００７５】
図１へ戻ると、車両計算システム１０２は、（例えば、第１の物体２０２の）１または複数の予測される相互作用軌道を表示するデータを出力し得る。例えばそのようなデータは、第１の物体２０２の予測される相互作用軌道２２０Ａ−Ｂ、および各々のそれぞれの軌道と関連付けられる最終スコアを表示し得る。予測システム１２６は、（例えば、図３に示されるように）このデータを挙動計画システム１２８へ出力し得る。車両計算システム１０２（例えば挙動計画システム１２８）は、周辺環境内の第１の物体２０２の１または複数の予測される相互作用軌道２２０Ａ−Ｂに少なくとも部分的に基づいて、車両１０４のための挙動計画１３６を決定し得る。挙動計画１３６は、車両の近傍の物体に対する車両の行動（例えば、計画される車両の軌道、速さ（単数または複数）、加速度（単数または複数）、他の行動等）、および物体の予測される動きを含み得る。例えば、挙動計画システム１２８は、挙動計画１３６を作り上げる最適化された変数を決定するために、車両の行動と関連付けられるコストデータ、および、もしあるならば、他の目的関数（例えば、速さ制限、信号機等に基づくコスト関数）を考慮する最適化アルゴリズムを実施し得る。挙動計画システム１２８は、車両への潜在的リスクを増加させずに、かつ／またはいずれの交通法（例えば、速さ制限、レーン境界、標識）も違反せずに、車両１０４が特定の行動（例えば物体を通過する）を遂行し得ることを決定し得る。例えば、周辺環境を通した最適化された車両の軌道を決定するような、そのコストデータ分析の間、挙動計画システム１２８は、予測される相互作用軌道２２０Ａ−Ｂ（および関連付けられるスコア（単数または複数））の各々を評価し得る。いくつかの実施においては、（例えば、別の変数がより不可欠重要であるとみなされるため、）予測される相互作用軌道２２０Ａ−Ｂのうちの１または複数は、車両１０４の挙動を最終的に変化させない場合がある。いくつかの実施において、車両１０４が周辺環境内で相互作用することが予測される物体（単数または複数）を避け、特定の物体（単数または複数）の周りのより多くの車側間隔を与えるために速さを低減させ、慎重に前進し、停止する行動を遂行する等するように、挙動計画１３６は車両の挙動を定義し得る。
【００７６】
挙動計画システム１２８は、車両の挙動計画１３６および対応する計画される車両挙動軌道を絶えず更新するように構成され得る。例えば、いくつかの実施において、挙動計画システム１２８は、（例えば、１秒当たりに複数回）車両１０４のための新たな挙動計画（単数または複数）１３６を生成し得る。各々の新たな挙動計画は、次の数秒（例えば５秒）の間、車両１０４の挙動を説明し得る。そのうえ、新たな挙動計画は、新たな計画される車両挙動軌道を含み得る。従って、いくつかの実施において、挙動計画システム１２８は、現在利用可能なデータに基づいて、短期の挙動計画を修正しまたは別様に生成するために、絶えず動作し得る。最適化プランナが最適な挙動計画を識別すると（またはいくつかの他の反復休止が発生すると）、最適な挙動計画（および計画される挙動軌道）が、車両１０４により選択され得かつ実行され得る。
【００７７】
車両計算システム１０２は、車両１０４が少なくとも挙動計画１３６の一部に従って挙動を開始することを引き起こし得る。例えば挙動計画１３６は、車両制御システム１１６へ提供され得、車両制御システム１１６は、挙動計画１３６を実施するように構成される車両コントローラを含み得る。車両コントローラは、例えば、挙動計画１３６を車両制御（例えば、加速制御、ブレーキ制御、ステアリング制御等）のための命令へ変換し得る。例として、車両コントローラは、決定された車両軌道１３６を、車両１０４のステアリングを「Ｘ」度調節し、ブレーキ力の特定の大きさを適用する等のための命令へ変換し得る。車両コントローラは、命令を実行しかつ挙動計画１３６を実施するために、１または複数の制御信号を、応答可能な車両制御（例えば、ブレーキ制御システム、ステアリング制御システム、加速制御システム等）へ送り得る。このことは、車両制御システム（単数または複数）１１６が、計画される挙動軌道に従って車両１０４の挙動を制御することを可能とし得る。
【００７８】
図５は、本開示の実施形態の例に従った、物体の挙動を決定しかつ車両の挙動を制御するための別の方法例５００のフロー図を描写する。方法５００の１または複数の部分は、例えば車両計算システム１０２および／または他のシステムのうちの１または複数の計算デバイスのような、１または複数の計算デバイスによって実施され得る。方法５００の各々のそれぞれの部分は、１または複数の計算デバイスの任意のもの（または任意の組み合わせ）によって遂行され得る。そのうえ、方法５００の１または複数の部分は、例えば物体の挙動を決定し物体の挙動に対して車両を制御するために、（例えば図１および図６におけるように）本明細書において説明されるデバイス（単数または複数）のハードウェア構成要素で、アルゴリズムとして実施され得る。図５は、例示および検討の目的のために、特定の順序で、遂行される要素を描写する。当業者は、本明細書で提供される開示を用いて、本開示の範囲から逸脱しない種々の方法で、本明細書で検討される方法のうちの任意のものの要素が適応され得、再配置され得、拡大され得、省略され得、組み合わされ得かつまたは変更され得ることを理解する。
【００７９】
（５０２）において、方法５００は、車両の周辺環境内の物体と関連付けられるデータを取得することを含み得る。例えば、車両計算システム１０２は、車両１０４の周辺環境内の第１の物体および１または複数の第２の物体と関連付けられるデータを取得し得る。いくつかの実施において、車両計算システム１０２は、車両１０４の周辺環境内の第１の物体２０２および／または１または複数の第２の物体（例えば物体２０８）の初期の予測される軌道を表示するデータを取得し得る。いくつかの実施において、車両計算システム１０２は、周辺環境内の第１の物体２０２および１または複数の第２の物体の１または複数の現在または過去の状態を表示する状態データ１３０を取得し得る。車両計算システム１０２は、第１の物体２０２の１または複数の現在または過去の状態を表示する状態データ１３０に少なくとも部分的に基づいて、周辺環境内の第１の物体２０２の初期の予測される軌道２０６を決定し得、かつ／または、第２の物体（単数または複数）の１または複数の現在または過去の状態を表示する状態データ１３０に少なくとも部分的に基づいて、周辺環境内の第２の物体（単数または複数）の１または複数の初期の予測される軌道を決定し得る。
【００８０】
（５０４）において、方法５００は、物体と関連付けられる相互作用を決定することを含み得る。例えば、車両計算システム１０２は、車両１０４の周辺環境内で、第１の物体２０２の初期の予測される軌道２０６、および／または、１または複数の第２の物体の１または複数の初期の予測される軌道に少なくとも部分的に基づいて、第１の物体２０２と１または複数の第２の物体（例えば、物体２０８）との間の相互作用を決定し得る。例えば、車両計算システム１０４は、各々の物体のそれぞれの軌道が交差し得または重複し得る事象において、２つの物体が相互作用し得ることを決定し得る。いくつかの実施において、車両計算システム１０２は、機械学習されたモデルに少なくとも部分的に基づいて、第１の物体２０２と１または複数の第２の物体との間の相互作用を決定し得る。
【００８１】
（５０６）において、方法５００は、少なくとも部分的に相互作用に基づいて、物体のための１または複数の予測される相互作用軌道を決定することを含み得る。例えば、車両計算システム１０２は、第１の物体２０２と１または複数の第２の物体との間の相互作用に少なくとも部分的に基づいて、周辺環境内の第１の物体２０２の１または複数の予測される相互作用軌道２２０Ａ−Ｂを決定し得る。本明細書で説明されるように、車両計算システム１０２は、規則（単数または複数）ベースのモデル、機械学習されたモデル、グラフモデル、センサデータ等に基づいて、予測される相互作用軌道を決定し得る。
【００８２】
（５０８）において、方法５００は、１または複数のそれぞれの予測される相互作用軌道の各々のための確率を決定し得る。例えば、車両計算システム１０２は、それぞれの１または複数の予測される相互作用軌道の各々のための確率を決定し得る。それぞれの相互作用軌道のための確率は、第１の物体２０２がそれぞれの予測される相互作用軌道に従って行動する可能性を表示し得る。例として、車両計算システム１０２は、周辺環境内の第１の物体２０２の１または複数の予測される相互作用軌道２２０Ａ−Ｂを反復して決定し得る。車両計算システム１０２は、１または複数の予測される相互作用軌道２２０Ａ−Ｂの各々のために、第１の物体２０２がそれぞれの予測される相互作用軌道に従って行動する可能性を決定し得る。本明細書において説明されるように、車両計算システム１０２は、それぞれの１または複数の予測される相互作用軌道２２０Ａ−Ｂの各々のための確率に少なくとも部分的に基づいて、１または複数の予測される相互作用軌道２２０Ａ−Ｂの各々のためのスコアを決定し得る。
【００８３】
（５１０）において、方法５００は、１または複数の予測される相互作用軌道を表示するデータを出力することを含み得る。例えば、車両計算システム１０２は、第１の物体２０２の１または複数の予測される相互作用軌道２２０Ａ−Ｂを表示するデータを出力し得る。そのようなデータは、予測システム１２６から挙動計画システム１２８へ出力され得、かつ／または、（例えば車両１０４に搭載された）メモリへ出力され得る。（５１２）において、車両計算システム１０２は、１または複数の予測される相互作用に少なくとも部分的に基づいて、車両のための挙動計画を決定し得る。例えば、車両計算システム１０２は、（例えば、そのコストデータ分析の一部として）車両１０４のための挙動計画を決定するときに、第１の物体２０２のための予測される相互作用軌道の各々を考慮し得る。（５１４）において、車両計算システム１０２は挙動計画を実施し得る。例えば、車両計算システム１０２は、車両１０４が少なくとも挙動計画の少なくとも一部に従った挙動を開始することを引き起こし得る。
【００８４】
図６は、本開示の実施形態の例に従ったシステム例６００のシステム構成要素の例を描写する。システム例６００は、１または複数のネットワーク（単数または複数）６８０を経由して通信可能に結合される、車両計算システム１０２、動作計算システム１０６および機械学習計算システム６３０を含み得る。
【００８５】
車両計算システム１０２は、１または複数の計算デバイス６０１を含み得る。車両計算システム１０２の計算デバイス（単数または複数）６０１は、プロセッサ（単数または複数）６０２および（例えば車両１０４に搭載された）メモリ６０４を含み得る。１または複数のプロセッサ６０２は、任意の適切な処理デバイス（例えば、プロセッサコア、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、コントローラ、マイクロコントローラ等）であり得、１つのプロセッサまたは動作可能に接続される複数のプロセッサであり得る。メモリ６０４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、１または複数のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせのような、１または複数の非一過性コンピュータ読み取り可能なストレージ媒体を含み得る。
【００８６】
メモリ６０４は、１または複数のプロセッサ６０２によって取得され得る情報を記憶し得る。例えば、メモリ６０４（例えば、１または複数の非一過性コンピュータ読み取り可能なストレージ媒体、メモリデバイス）は、１または複数のプロセッサ６０２によって実行され得るコンピュータ読み取り可能な命令６０６を含み得る。命令６０６は、任意の適切なプログラミング言語で記されたソフトウェアであり得、またはハードウェア内で実行され得る。加えて、または代替として、命令６０６は、プロセッサ（単数または複数）６０２上の、論理的にかつ／または仮想的に分離したスレッドにおいて実行され得る。
【００８７】
例えば、メモリ６０４は、命令６０６を記憶し得、命令６０６は、１または複数のプロセッサ６０２によって実行されると、車両計算システム１０２の動作および機能、車両１０４の動作および機能、若しくは、本明細書で説明されるような、車両計算システム１０２が構成されるための動作および機能のうちの任意のもの、物体の挙動を決定しかつ車両を制御するための動作（例えば、方法５００の１または複数の部分）、および／または、本明細書で説明されるような車両計算システム１０２のための任意の他の動作および機能等の動作を遂行すること１または複数のプロセッサ６０２（計算システム１０２）に行わせる。
【００８８】
メモリ６０４は、取得され得（例えば、受け取られ得、アクセスされ得、記され得、操作され得、生成され得、作り出され得る等）かつ／または記憶され得るデータ６０８を記憶し得る。データ６０８は、例えば、センサデータ、状態データ、予測データ、相互作用を表示するデータ、方針を表示するデータ、グラフモデルを表示するデータ、規則（単数または複数）ベースのモデルを表示するデータ、機械学習されたモデル（単数または複数）を表示するデータ、入力データ、出力データ、予測される相互作用軌道を表示するデータ、挙動計画を表示するデータ、マップデータ、および／または本明細書で説明される他のデータ／情報を含み得る。いくつかの実施において、計算デバイス（単数または複数）６０１は、車両１０４から離れた１または複数のメモリデバイス（単数または複数）からデータを取得し得る。
【００８９】
計算デバイス（単数または複数）６０１はまた、車両１０４に搭載された１または複数の他のシステム（単数または複数）、および／または、車両１０４から離れた遠隔計算デバイス（例えば、図６の他のシステム等）と通信するための用いられる通信インタフェース６０９を含み得る。通信インタフェース６０９は、１または複数のネットワーク（例えば６８０）を介して通信するために、任意の回路、構成要素、ソフトウェア等を含み得る。いくつかの実施において、通信インタフェース６０９は、例えば、データ／情報を通信するための、通信コントローラ、レシーバ、トランシーバ、トランスミッタ、ポート、コンダクタ、ソフトウェア、および／または、ハードウェアの１または複数を含み得る。
【００９０】
動作計算システム１０６は、車両（例えば、自律車両の一団）を管理しかつ／または本明細書で説明される別様のための動作および機能を遂行し得る。動作計算システム１０６は、車両１０４から離れて位置し得る。例えば、動作計算システム１０６は、オフラインで、搭載されない等して動作し得る。動作計算システム１０６は、１または複数の別個の物理計算デバイスを含み得る。
【００９１】
動作計算システム１０６は、１または複数の計算デバイス６２０を含み得る。１または複数の計算デバイス６２０は、１または複数のプロセッサ６２２およびメモリ６２４を含み得る。１または複数のプロセッサ６２２は、任意の適切な処理デバイス（例えば、プロセッサコア、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、コントローラ、マイクロコントローラ等）であり得、１つのプロセッサまたは動作可能に接続される複数のプロセッサであり得る。メモリ６２４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、１または複数のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせのような、１または複数の非一過性コンピュータ読み取り可能なストレージ媒体を含み得る。
【００９２】
メモリ６２４は、１または複数のプロセッサ６２２によってアクセスされ得る情報を記憶し得る。例えば、メモリ６２４（例えば、１または複数の非一過性コンピュータ読み取り可能なストレージ媒体、メモリデバイス）は、取得され得、受け取られ得、アクセスされ得、記され得、操作され得、作り出され得、かつ／または記憶され得るデータ６２６を記憶し得る。データ６２６は例えば、モデル（単数または複数）を表示するデータ、車両（単数または複数）と関連付けられるデータ、および／または本明細書で説明される他のデータまたは情報を含み得る。いくつかの実施において、動作計算システム１０６は、動作計算システム１０６から離れた１または複数のメモリデバイス（単数または複数）からデータを取得し得る。
【００９３】
メモリ６２４はまた、１または複数のプロセッサ６２２によって実行され得るコンピュータ読み取り可能な命令６２８を記憶し得る。命令６２８は、任意の適切なプログラミング言語で記されたソフトウェアであり得、またはハードウェアで実施され得る。加えて、または代替として、命令６２８は、プロセッサ（単数または複数）６２２上の論理的かつまたは事実上分離したスレッドで実行され得る。例えば、メモリ６２４は、命令６２８を記憶し得、命令６２８は、１または複数のプロセッサ６２２によって実行されると、動作計算システム１０６の動作および／または機能、および／または、他の動作および機能のうちの任意のものを遂行することを１または複数のプロセッサ６２２に行わせる。
【００９４】
計算デバイス（単数または複数）６２０はまた、１または複数の他のシステム（単数または複数）と通信するために用いられる通信インタフェース６２９を含み得る。通信インタフェース６２９は、１または複数のネットワーク（例えば６８０）を介して通信するための、任意の回路、構成要素、ソフトウェア等を含み得る。いくつかの実施において、通信インタフェース６２９は、例えば、データ／情報を通信するための通信コントローラ、レシーバ、トランシーバ、トランスミッタ、ポート、コンダクタ、ソフトウェアおよび／またはハードウェアのうちの１または複数を含み得る。
【００９５】
本開示の側面に従って、車両計算システム１０２および／または動作計算システム１０６は、１または複数の機械学習されたモデル６４０を記憶し得、または含み得る。例として、機械学習されたモデル６４０は、例えば、ニューラルネットワーク（例えば、深層ニューラルネットワーク）、サポートベクターマシン、決定木、アンサンブルモデル、ｋ近傍法モデル、ベイジアンネットワーク、または、線形モデルおよび／または非線形モデルを含む他のタイプのモデルのような種々の機械学習されたモデルであり得、または別様に含み得る。ニューラルネットワークの例は、フィードフォワードニューラルネットワーク、再帰型ニューラルネットワーク（例えば、長短期メモリ再帰型ニューラルネットワーク）、または他の形式のニューラルネットワークを含む。機械学習されたモデル６４０は、本明細書で説明されるように、モデル３０２および／または他のモデル（単数または複数）を含み得る。
【００９６】
いくつかの実施において、車両計算システム１０２および／または動作計算システム１０６は、ネットワーク（単数または複数）６８０を経由して機械学習計算システム６３０から１または複数の機械学習されたモデル６４０を受け取り得、それぞれのシステムのメモリ中に１または複数の機械学習されたモデル６４０を記憶し得る。車両計算システム１０２および／または動作計算システム１０６は、１または複数の機械学習されたモデル６４０を（例えばプロセッサ（単数または複数）６０２、６２２によって）用い得、または別様に実施し得る。特に、車両計算システム１０２および／または動作計算システム１０６は、本明細書で説明されるように、物体の相互作用（単数または複数）および／または予測される相互作用軌道を決定するために、機械学習されたモデル（単数または複数）６４０を実施し得る。
【００９７】
機械学習計算システム６３０は、１または複数のプロセッサ６３２およびメモリ６３４を含み得る。１または複数のプロセッサ６３２は、任意の適切な処理デバイス（例えば、プロセッサコア、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、コントローラ、マイクロコントローラ等）であり得、１つのプロセッサまたは動作可能に接続される複数のプロセッサであり得る。メモリ６３４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、１または複数のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせのような１または複数の非一過性コンピュータ読み取り可能なストレージ媒体を含み得る。
【００９８】
メモリ６３４は、１または複数のプロセッサ６３２によってアクセスされ得る情報を記憶し得る。例えば、メモリ６３４（例えば、１または複数の非一過性コンピュータ読み取り可能なストレージ媒体、メモリデバイス）は、取得され得、受け取られ得、アクセスされ得、記され得、操作され得、作り出され得、かつ／または記憶され得るデータ６３６を記憶し得る。いくつかの実施において、機械学習計算システム６３０は、機械学習計算システム６３０から離れた１または複数のメモリデバイスからデータを取得し得る。
【００９９】
メモリ６３４はまた、１または複数のプロセッサ６３２によって実行され得るコンピュータ読み取り可能な命令６３８を記憶し得る。命令６３８は、任意の適切なプログラミング言語で記されたソフトウェアであり得、またはハードウェアで実施され得る。加えて、または代替として、命令６３８は、プロセッサ（単数または複数）６３２上の論理的にかつ／または事実上分離したスレッドで実行され得る。メモリ６３４は、命令６３８を記憶し得、命令６３８は、１または複数のプロセッサ６３２によって実行されると、１または複数のプロセッサ６３２に動作を実行することを行わせる。機械学習計算システム６３０は、車両計算システム１０２および／または動作計算システム１０６について説明されたものと同様のデバイスおよび／または機能を含む、通信システム６３９を含み得る。
【０１００】
いくつかの実施において、機械学習計算システム６３０は、１または複数のサーバ計算デバイスを含み得る。機械学習計算システム６３０が複数のサーバ計算デバイスを含む場合、そのようなサーバ計算デバイスは、例えば、逐次計算アーキテクチャ、並列計算アーキテクチャ、またはそれらのいくつかの組み合わせを含む、種々の計算アーキテクチャに従って動作し得る。
【０１０１】
車両計算システム１０２および／または動作計算システム１０６でのモデル（単数または複数）６４０に加えてまたはその代替として、機械学習計算システム６３０は、１または複数の機械学習されたモデル６５０を含み得る。例として、機械学習されたモデル６５０は、例えば、ニューラルネットワーク（例えば、深層ニューラルネットワーク）、サポートベクターマシン、決定木、アンサンブルモデル、ｋ近傍法モデル、ベイジアンネットワーク、または線形モデルおよび／または非線形モデルを含む他のタイプのモデルのような、種々の機械学習されたモデルであり得、または別様に含み得る。ニューラルネットワークの例は、フィードフォワードニューラルネットワーク、再帰型ニューラルネットワーク（例えば、長短期メモリ）再帰型ニューラルネットワーク、または他の形式のニューラルネットワークを含む。機械学習されたモデル６５０は、機械学習されたモデル６４０と同様かつ／または同一であり得る。
【０１０２】
例として、機械学習計算システム６３０は、クライアント−サーバ関係に従って、車両計算システム１０２および／または動作計算システム１０６と通信し得る。例えば、機械学習計算システム６３０は、ウェブサービスを車両計算システム１０２および／または動作計算システム１０６へ提供するために、機械学習されたモデル６５０を実施し得る。例えば、ウェブサービスは、（例えば車両の周辺環境内の物体の挙動を予測する等のために）エンティティが機械学習されたモデルを実施し得るように、車両と関連付けられるエンティティへ機械学習されたモデルを提供し得る。従って、機械学習されたモデル６５０は、車両計算システム１０２および／または動作計算システム１０６に位置し得かつ用いられ得、かつ／または、機械学習されたモデル６５０は、機械学習計算システム６３０に位置し得かつ用いられ得る。
【０１０３】
いくつかの実施において、機械学習計算システム６３０、車両計算システム１０２、および／または、動作計算システム１０６は、モデルトレーナ６６０の使用を通して、機械学習されたモデル６４０および／または６５０を訓練し得る。モデルトレーナ６６０は、１または複数の訓練または学習アルゴリズムを用いて、機械学習されたモデル６４０および／または６５０を訓練し得る。訓練技術の一例は、誤差逆伝播法である。いくつかの実施において、モデルトレーナ６６０は、ラベル付けされた訓練データのセットを用いて、教師付き訓練技術を遂行し得る。他の実施において、モデルトレーナ６６０は、ラベル付けされていない訓練データのセットを用いて教師なし訓練技術を遂行し得る。モデルトレーナ６６０は、訓練されるモデルの汎化能力を向上させるために、多数の汎化技術を遂行し得る。汎化技術は、重量減衰、ドロップアウト、または他の技術を含む。
【０１０４】
特に、モデルトレーナ６６０は、訓練データのセット６６２に基づいて、機械学習されたモデル６４０および／または６５０を訓練し得る。訓練データ６６２は、例えば以前の事象からの多数のセットのデータ（例えば、以前に観測された相互作用と関連付けられる運転ログデータ）を含み得る。いくつかの実施において、訓練データ６６２は、規則（単数または複数）ベースのアルゴリズムを用いて決定される、相互作用および／または予測される相互作用軌道を表示するデータを含み得る。いくつかの実施において、訓練データ６６２は、そのモデル６４０／６５０を利用する車両と同一の車両から採取され得る。このようにして、モデル６４０／６５０は、特定の車両へ適合する方法で出力を決定するように訓練され得る。加えて、または代替として、訓練データ６６２は、そのモデル６４０／６５０を利用している車両と異なる１または複数の車両から採取され得る。モデルトレーナ６６０は、１または複数のプロセッサを制御するハードウェア、ファームウェア、および／またはソフトウェアで実施され得る。
【０１０５】
ネットワーク（単数または複数）６８０は、デバイス間での通信を可能とするネットワークまたはネットワークの組み合わせの任意のタイプであり得る。いくつかの実施において、ネットワーク（単数または複数）６８０は、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット、セキュアネットワーク、セルラーネットワーク、メッシュネットワーク、ピアトゥピア通信リンクおよび／またはいくつかのその組み合わせのうちの１または複数を含み得、任意の数の有線または無線リンクを含み得る。ネットワーク（単数または複数）６８０を経由する通信は、例えば、任意のタイプのプロトコル、保護スキーム、符号化、フォーマット、パッケージング等を用いて、ネットワークインターフェースを介して達成され得る。
【０１０６】
図６は、本開示を実施するために用いられ得るシステムの一例６００を例示する。他の計算システムが同様に用いられ得る。例えば、いくつかの実施において、車両計算システム１０２および／または動作計算システム１０６は、モデルトレーナ６６０および訓練データセット６６２を含み得る。そのような実施において、機械学習されたモデル６４０は、車両計算システム１０２および／または動作計算システム１０６においてローカルで訓練および使用の両方をし得る。別の例として、いくつかの実施において、車両計算システム１０２および／または動作計算システム１０６は、他の計算システムへ接続されない場合がある。
【０１０７】
車両から離れた計算デバイス（単数または複数）で遂行されるように、本明細書で検討されたタスクを計算することは、代わりに（例えば車両計算システムを介して）車両で遂行され得、または、逆もまた同様である。そのような構成は、本開示の範囲から逸脱せずに実施され得る、コンピュータベースのシステムの使用は、多くの各種の可能な構成、組み合わせ、および、構成要素間のタスクおよび機能性の分割を可能とする。コンピュータで実施される動作は、単一の構成要素でまたは複数の構成要素にわたって遂行され得る。コンピュータで実施されるタスクおよび／または動作は、連続してまたは並行して遂行され得る。データおよび命令は、単一のメモリデバイスで、または複数のメモリデバイスにわたって記憶され得る。
【０１０８】
本主題がその実施形態および方法の特定の例について詳細に説明された一方で、前述の理解を遂げる上で、当業者が、そのような実施形態への代替物、変更物および均等物を容易に生産し得ることが認識され得るであろう。よって、本開示の範囲は、限定としてというよりもむしろ例であり、本開示は、当業者へ容易に明らかであり得るように、本主題のそのような変形物、変更物、および／または追加物の含有を除外しない、
【図１】
2021504812.tif 000003
【図２】
2021504812.tif 000004
【図３】
2021504812.tif 000005
【図４Ａ】
2021504812.tif 000006
【図４Ｂ】
2021504812.tif 000007
【図４Ｃ】
2021504812.tif 000008
【図４Ｄ】
2021504812.tif 000009
【図５】
2021504812.tif 000010
【図６】
2021504812.tif 000011
【国際調査報告】
2021504812.tif 000012
2021504812.tif 000013