(57)【要約】乗り物とユーザの相互作用を予測するためのシステムおよび方法。コンピューティングデバイスは、道路場面の画像およびビデオセグメントを受信し、第１の画像およびビデオセグメントの少なくとも１つは、道路場面における当事者の遠景から取得されており、次いで、画像およびビデオセグメントに基づいて刺激データを生成する。刺激データは、ユーザインターフェースに送信され、反応データが受信され、それは、道路場面における別の当事者に対応する行動、およびその行動の可能性の少なくとも一方を含む。コンピューティングデバイスは、統計データを形成するように、複数の反応データのサブセットを集約し、またその統計データに基づいてモデルが作成される。モデルは、別の画像またはビデオセグメントに適用され、別の画像またはビデオセグメントにおけるユーザ挙動の予測が生成される。
2021506046.tif 000002
【特許請求の範囲】
【請求項１】
乗り物とユーザの相互作用を予測して、自動車運転者、自転車に乗る人、および歩行者が、他の自動車運転者、自転車に乗る人、および歩行者の行動を予想できるようにするコンピュータ化された方法であって、
コンピューティングデバイスにより、道路場面の第１の画像およびビデオセグメントの少なくとも一方を受信するステップであって、前記第１の画像およびビデオセグメントの少なくとも一方は、前記道路場面における当事者の遠景から取得されており、前記第１の画像およびビデオセグメントの少なくとも一方は、歩行者、自転車に乗る人、および自動車両のうちの少なくとも１つを含む、ステップと、
前記コンピューティングデバイスにより、前記第１の前記画像および前記ビデオセグメントの少なくとも一方に基づいて刺激データを生成するステップであって、前記刺激データは、
前記第１の前記画像および前記ビデオセグメントの少なくとも一方、ならびに
前記第１の前記画像および前記ビデオセグメントの少なくとも一方の改変されたバージョン
の少なくとも一方を含む、ステップと、
前記コンピューティングデバイスにより、前記刺激データをユーザインターフェースに送信するステップと、
前記コンピューティングデバイスにより、前記ユーザインターフェースから複数の反応データを受信するステップであって、前記反応データは、前記刺激データに関連付けられたことによるユーザ入力データを含み、前記ユーザ入力データは、前記道路場面に関連付けられた前記歩行者、前記自転車に乗る人、および前記自動車両のうちの少なくとも１つに対応する行動、および前記行動の可能性の少なくとも一方を含む、ステップと、
前記コンピューティングデバイスにより、統計データを形成するように、前記第１の前記画像および前記ビデオセグメントの少なくとも一方の１つに対応する前記複数の反応データのサブセットを集約するステップと、
前記コンピューティングデバイスにより、前記統計データに基づいてモデルを作成するステップと、
前記コンピューティングデバイスにより、前記モデルを、第２の少なくとも１つの画像またはビデオセグメントに適用するステップと、
前記コンピューティングデバイスにより、前記第２の少なくとも１つの画像またはビデオセグメントに前記モデルを適用する前記ステップに基づいて、前記第２の少なくとも１つの画像またはビデオセグメントにおけるユーザ挙動の予測を生成するステップと
を含むコンピュータ化された方法。
【請求項２】
前記モデルを作成する前記ステップは、前記コンピューティングデバイスにより、教師あり学習アルゴリズムを訓練するステップをさらに含み、前記教師ありアルゴリズムは、ランダムフォレスト回帰、サポートベクトル回帰、シンプルニューラルネットワーク、深層畳込みニューラルネットワーク、再帰型ニューラルネットワーク、および長短期記憶（ＬＳＴＭ）ニューラルネットワークのうちの少なくとも１つを含む請求項１に記載のコンピュータ化された方法。
【請求項３】
前記刺激データを生成する前記ステップは、
前記第１の前記画像および前記ビデオセグメントの少なくとも一方に関連付けられたピクセルデータまたはアレイデータの少なくとも一方を操作するステップと、
前記第１の前記画像および前記ビデオセグメントの少なくとも一方に関連付けられた、前記操作されたピクセルデータまたはアレイデータの少なくとも一方を含む操作されたデータファイルを作成するステップと
をさらに含む請求項１に記載のコンピュータ化された方法。
【請求項４】
前記操作されたデータファイルは、前記第１の前記画像および前記ビデオセグメントの少なくとも一方から抽出されたフレームのループ化されたバージョンを含む請求項３に記載のコンピュータ化された方法。
【請求項５】
前記行動は、前記歩行者、前記自転車に乗る人、および前記自動車両のうちの前記少なくとも１つが、定位置に留まること、車線を変更すること、および通りを横切ることのうちの１つを含み、
前記行動の前記可能性は、前記行動の確率に関連付けられた序数値を含む請求項１に記載のコンピュータ化された方法。
【請求項６】
前記統計データは、前記複数の反応データの前記サブセットのパラメータに関連付けられ、前記パラメータは、反応の内容、反応を入力することに関連付けられた時間、および前記反応に関連付けられた人間観察者の目の位置の少なくとも１つを含み、前記位置は、前記ユーザインターフェースに関連付けられたディスプレイに対して測定される請求項１に記載のコンピュータ化された方法。
【請求項７】
前記パラメータは、中心傾向、分散、歪度、尖度、スケール、およびヒストグラムのうちの少なくとも１つにさらに関連付けられる請求項６に記載のコンピュータ化された方法。
【請求項８】
前記第２の少なくとも１つの画像またはビデオセグメントは、ライブの道路場面に関連付けられる請求項１に記載のコンピュータ化された方法。
【請求項９】
前記コンピューティングデバイスにより、前記ライブの道路場面に参加している乗り物に関連付けられた別のコンピューティングデバイスから、前記第２の少なくとも１つの画像またはビデオセグメントを受信するステップをさらに含む請求項８に記載のコンピュータ化された方法。
【請求項１０】
前記第２の少なくとも１つの画像またはビデオセグメントは、前記第１の少なくとも１つの画像またはビデオセグメントと同じであり、前記方法は、
前記コンピューティングデバイスにより、ユーザ挙動の前記予測を前記統計データと比較して、エラー信号を生成するステップと、
前記コンピューティングデバイスにより、前記エラー信号に基づいて、前記モデルに関連付けられた少なくとも１つの重みを調整するステップと
をさらに含む請求項１に記載のコンピュータ化された方法。
【請求項１１】
乗り物とユーザの相互作用を予測して、自動車運転者、自転車に乗る人、および歩行者が、他の自動車運転者、自転車に乗る人、および歩行者の行動を予想できるようにするコンピューティングシステムであって、プロセッサにより実行される命令を含むメモリを備え、前記プロセッサは、
道路場面の第１の画像およびビデオセグメントの少なくとも一方を受信することであって、前記第１の画像およびビデオセグメントの少なくとも一方は、前記道路場面における当事者の遠景から取得されており、前記第１の画像およびビデオセグメントの少なくとも一方は、歩行者、自転車に乗る人、および自動車両のうちの少なくとも１つを含む、受信することと、
前記第１の前記画像および前記ビデセグメントの少なくとも一方に基づいて刺激データを生成することであって、前記刺激データは、
前記第１の前記画像および前記ビデオセグメントの少なくとも一方、ならびに
前記第１の前記画像および前記ビデオセグメントの少なくとも一方の改変されたバージョン
の少なくとも一方を含む、生成することと、
前記刺激データをユーザインターフェースに送信することと、
前記ユーザインターフェースから複数の反応データを受信することであって、前記反応データは、前記刺激データに関連付けられたことによるユーザ入力データを含み、前記ユーザ入力データは、前記道路場面に関連付けられた前記歩行者、前記自転車に乗る人、および前記自動車両のうちの少なくとも１つに対応する行動、および前記行動の可能性の少なくとも一方を含む、受信することと、
統計データを形成するように、前記第１の前記画像および前記ビデオセグメントの少なくとも一方の１つに対応する前記複数の反応データのサブセットを集約することと、
前記統計データに基づいてモデルを作成することと、
前記モデルを、第２の少なくとも１つの画像またはビデオセグメントに適用することと、
前記第２の少なくとも１つの画像またはビデオセグメントに前記モデルを前記適用することに基づいて、前記第２の少なくとも１つの画像またはビデオセグメントにおけるユーザ挙動の予測を生成することと
を行うように構成される、コンピューティングシステム。
【請求項１２】
前記モデルを作成するために、前記プロセッサは、教師あり学習アルゴリズムを訓練するようにさらに構成され、前記教師あり学習アルゴリズムは、ランダムフォレスト回帰、サポートベクトル回帰、シンプルニューラルネットワーク、深層畳込みニューラルネットワーク、再帰型ニューラルネットワーク、および長短期記憶（ＬＳＴＭ）ニューラルネットワークのうちの少なくとも１つを含む請求項１１に記載のコンピューティングシステム。
【請求項１３】
前記刺激データを生成するために、前記プロセッサは、
前記第１の前記画像および前記ビデオセグメントの少なくとも一方に関連付けられたピクセルデータまたはアレイデータの少なくとも一方を操作することと、
前記第１の前記画像および前記ビデオセグメントの少なくとも一方に関連付けられた前記操作されたピクセルデータまたはアレイデータの少なくとも一方を含む操作されたデータファイルを作成することと
を行うようにさらに構成される請求項１１に記載のコンピューティングシステム。
【請求項１４】
前記操作されたデータファイルは、前記第１の前記画像および前記ビデオセグメントの少なくとも一方から抽出されたフレームのループ化されたバージョンを含む請求項１１に記載のコンピューティングシステム。
【請求項１５】
前記行動は、前記歩行者、前記自転車に乗る人、および前記自動車両のうちの前記少なくとも１つが、定位置に留まること、車線を変更すること、および通りを横切ることのうちの１つを含み、
前記行動の前記可能性は、前記行動の確率に関連付けられた序数値を含む請求項１１に記載のコンピューティングシステム。
【請求項１６】
前記統計データは、前記複数の反応データの前記サブセットのパラメータに関連付けられ、前記パラメータは、反応の内容、反応を入力することに関連付けられた時間、および前記反応に関連付けられた人間観察者の目の位置の少なくとも１つを含み、前記位置は、前記ユーザインターフェースに関連付けられたディスプレイに対して測定される請求項１１に記載のコンピューティングシステム。
【請求項１７】
前記パラメータは、中心傾向、分散、歪度、尖度、スケール、およびヒストグラムのうちの少なくとも１つにさらに関連付けられる請求項１６に記載のコンピューティングシステム。
【請求項１８】
前記第２の少なくとも１つの画像またはビデオセグメントは、ライブの道路場面に関連付けられる請求項１１に記載のコンピューティングシステム。
【請求項１９】
前記プロセッサは、前記ライブの道路場面に参加している乗り物に関連付けられたコンピューティングデバイスから、前記第２の少なくとも１つの画像またはビデオセグメントを受信するようにさらに構成される請求項１８に記載のコンピューティングシステム。
【請求項２０】
前記第２の少なくとも１つの画像またはビデオセグメントは、前記第１の少なくとも１つの画像またはビデオセグメントと同じであり、前記プロセッサは、
ユーザ挙動の前記予測を前記統計データと比較して、エラー信号を生成することと、
前記エラー信号に基づいて、前記モデルに関連付けられた少なくとも１つの重みを調整することと
を行うようにさらに構成される請求項１１に記載のコンピューティングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般にデータ解析に関し、詳細には、乗り物と人の相互作用を予測することに関する。
【背景技術】
【０００２】
通りで、もしくはその近くで、歩行している、別の車を運転している、または自転車に乗っている人を見て、その人が何をしたいのかを予測する車の運転者の能力は、都会の運転の唯一最も重要な部分であり得る。例えば、車の運転者は、車の近くで人々を見たとき、１人の人物が通りを横切るのかどうか、別の人物が通りのコーナで立ったままでいるのかどうか、またさらに別の人物がその人の自転車で車線を変更するのかどうかを決定することが、車を安全に運転し、かつ人々との衝突を回避するために必要である。この能力は、非常に基本的なものであり、それなしに都市で活動することは、ほとんど不可能である。
【０００３】
幸いなことに、人の運転者は、人物の挙動を予測するこのような自然の能力を有する。実際に、彼らは、努力せずにそれを行うことができ、また自分がそれを行っていることに気付かないことも多い。しかし、コンピュータおよび自動運転車は、特に都市環境において、人々の挙動を適切に予測することができない。
【０００４】
例えば、自動運転車は、乗り物の近くの人々の「運動ベクトル」を予測することにより、乗り物をどのように制御するかに関する判断を行う方法を利用することができる。これは、人々の現在および過去の動きのデータを収集し、これらの動きに基づいて、現在時間における人物の運動ベクトルを決定し、かつ現在の運動ベクトルに基づいて将来の時間におけるその人物の予測される運動を表す将来の運動ベクトルを外挿して推定することにより達成される。しかし、その方法は、その人物の現在および過去の動きに他の観察を加えたものに基づいてその人物の行動または動きを予測することはなく、その人物の将来の挙動の予測において劣った結果を生ずることになる。
【発明の概要】
【０００５】
自動車運転者、自転車に乗る人、および歩行者が、他の自動車運転者、自転車に乗る人、および歩行者の行動を予想できるようにする、乗り物とユーザの相互作用を予測するためのシステムおよび方法である。いくつかの実施形態では、コンピューティングデバイスは、道路場面の第１の画像およびビデオセグメントの少なくとも一方を受信し、第１の画像およびビデオセグメントの少なくとも一方は、道路場面における当事者の遠景から取得され、第１の画像およびビデオセグメントの少なくとも一方は、歩行者、自転車に乗る人、および自動車両のうちの少なくとも１つを含む。いくつかの実施形態では、コンピューティングデバイスは、第１の画像およびビデオセグメントの少なくとも一方に基づいて刺激データを生成し、刺激データは、第１の画像およびビデオセグメントの少なくとも一方、ならびに第１の画像およびビデオセグメントの少なくとも一方の改変されたバージョンの少なくとも一方を備える。いくつかの実施形態では、コンピューティングデバイスは、刺激データをユーザインターフェースに送信する。いくつかの実施形態では、コンピューティングデバイスは、ユーザインターフェースから複数の反応データを受信し、反応データは、刺激データに関連付けられたことによるユーザ入力データを含み、ユーザ入力データは、道路場面に関連付けられた歩行者、自転車に乗る人、および自動車両のうちの少なくとも１つに対応する行動、および行動の可能性の少なくとも一方を含む。いくつかの実施形態では、コンピューティングデバイスは、統計データを形成するように、第１の画像およびビデオセグメントの少なくとも一方の１つに対応する複数の反応データのサブセットを集約する。いくつかの実施形態では、コンピューティングデバイスは、統計データに基づいてモデルを作成し、かつそのモデルを、第２の少なくとも１つの画像またはビデオセグメントに適用する。いくつかの実施形態では、コンピューティングデバイスは、第２の少なくとも１つの画像またはビデオセグメントにモデルを適用することに基づいて、第２の少なくとも１つの画像またはビデオセグメントにおけるユーザ挙動の予測を生成する。
【０００６】
いくつかの実施形態では、モデルを作成することは、教師あり学習アルゴリズムを訓練することをさらに含み、教師あり学習アルゴリズムは、ランダムフォレスト回帰、サポートベクトル回帰、シンプルニューラルネットワーク、深層畳込みニューラルネットワーク、再帰型ニューラルネットワーク、および長短期記憶（ＬＳＴＭ）ニューラルネットワークのうちの少なくとも１つを含む。いくつかの実施形態では、刺激データを生成することは、第１の画像およびビデオセグメントの少なくとも一方に関連付けられたピクセルデータまたはアレイデータの少なくとも一方を操作すること、ならびに第１の画像およびビデオセグメントの少なくとも一方に関連付けられた、操作されたピクセルデータまたはアレイデータの少なくとも一方を含む操作されたデータファイルを作成することをさらに含む。いくつかの実施形態では、操作されたデータファイルは、第１の画像およびビデオセグメントの少なくとも一方から抽出されたフレームのループ化されたバージョンを含む。いくつかの実施形態では、行動は、歩行者、自転車に乗る人、および自動車両のうちの少なくとも１つが、定位置に留まること、車線を変更すること、および通りを横切ることのうちの１つを含み、その行動の可能性は、行動の確率に関連付けられた序数値を含む。いくつかの実施形態では、統計データは、複数の反応データのサブセットのパラメータに関連付けられ、パラメータは、反応の内容、反応を入力することに関連付けられた時間、および反応に関連付けられた人間観察者の目の位置の少なくとも１つを含み、位置は、ユーザインターフェースに関連付けられたディスプレイに対して測定される。パラメータは、中心傾向、分散、歪度、尖度、スケール、およびヒストグラムのうちの少なくとも１つにさらに関連付けられる。いくつかの実施形態では、第２の少なくとも１つの画像またはビデオセグメントは、ライブの道路場面に関連付けられる。いくつかの実施形態では、コンピューティングデバイスは、ライブの道路場面に参加している乗り物に関連付けられた別のコンピューティングデバイスから、第２の少なくとも１つの画像またはビデオセグメントを受信することをさらに含む。いくつかの実施形態では、第２の少なくとも１つの画像またはビデオセグメントは、第１の少なくとも１つの画像またはビデオセグメントと同じであり、またコンピューティングデバイスは、ユーザ挙動の予測を統計データとさらに比較して、エラー信号を生成し、かつエラー信号に基づいて、モデルに関連付けられた少なくとも１つの重みを調整する。
【０００７】
開示される主題のこれらの、および他の機能は、以下の図、詳細な説明、および特許請求の範囲を検討すればより完全に理解されよう。本明細書で使用される表現法および専門用語は、本発明の説明用の例を記載するためのものであり、その記述は、限定するものと見なされるべきではないことを理解されたい。
【図面の簡単な説明】
【０００８】
開示される主題の様々な目的、特徴、および利点は、以下の図面との関連で検討されるとき、開示される主題の以下の詳細な記述を参照すれば、より完全に理解され得る、図中、参照数字は同様の要素を識別する。
【０００９】
【図１】本開示のいくつかの実施形態による、人の挙動を予測するためのネットワーク化されたシステムのシステム図である。
【図２Ａ】本開示のいくつかの実施形態による、人の挙動を予測するプロセスを示す流れ図である。
【図２Ｂ】本開示のいくつかの実施形態による、派生的刺激の例を示す図である。
【図３】本開示のいくつかの実施形態による、乗り物に関連付けられたセンサシステムを示すシステム図である。
【図４】本開示のいくつかの実施形態による、乗り物における生のカメラまたはセンサデータから派生的刺激を生成するプロセスを示す図である。
【図５】本開示のいくつかの実施形態による、派生的刺激に基づいて人間観察者から予測および他の情報を収集するプロセスを示す流れ図である。
【図６】本開示のいくつかの実施形態による、ビデオフレームデータを追跡することに関連付けられたデータ構造を示す図である。
【図７】本開示のいくつかの実施形態による、ビデオフレームまたは派生的刺激の要約統計量を作成するためのプロセスを示す流れ図である。
【図８】本開示のいくつかの実施形態による、要約統計量を用いた学習アルゴリズムを訓練するプロセスを示す流れ図である。
【図９】本開示のいくつかの実施形態による、訓練された学習アルゴリズムを用いて道路ユーザの心理状態を予測するプロセスを示す流れ図である。
【図１０】本開示のいくつかの実施形態による、自動車の状況においてコンテキストユーザ予測プロセスの適用例を示す図である。
【発明を実施するための形態】
【００１０】
人の運転者が挙動を判断しようとするやり方に、より密接に類似した方法で、乗り物の近くの人々の挙動を判断するためのシステムおよび方法が述べられる。例えば、一実施形態では、ユーザのグループ（または人間観察者）が、通りおよび／または乗り物の近くの人々（歩行者など）のサンプル画像を眺めて、人々がどのように挙動すると思うかについての理解に関して示す、または測定される。これらの指標または測定は、次いで、実世界状況において、人々がどのように挙動するかを予測するアルゴリズムを訓練するための構成要素として使用される。言い換えると、訓練環境において、サンプル画像に対する人間観察者のリアクションに基づいて訓練された後、アルゴリズムは、実世界環境における実際の歩行者の挙動を予測することができる。
【００１１】
さらなる実装形態では、人間観察者には、歩行者または他の運転者挙動を予測するのに最も関連する可能性が高いサンプル側面に観察者を集中させ、かつこのような挙動を予測することに関連性のない側面は除外するように修正されたビデオデータの小サンプルが提示される。観察者の大きなセットが、連続体に対するビデオデータのサンプルに点数を付けるように求められ、点数が付けられたサンプルが収集される。連続体に対する点数を収集したもの全体は、「点数」の分布を含む。この分布のパラメータが次いで使用されて、実世界環境における歩行者または運転者挙動を次に予測するアルゴリズムの学習モデルに対する目標を構成する。
【００１２】
図１は、本開示のいくつかの実施形態による、人の挙動を予測するためのネットワーク化されたシステムのシステム図である。図１は、乗り物１０２、ネットワーク１０４、サーバ１０６、ユーザ反応データベース１１０、ユーザ端末１０８、モデル訓練システム１１２、および予測エンジン１１４を示す。
【００１３】
乗り物１０２は、車、バス、列車、スクータ、または自転車など、任意のタイプの手動もしくは動力付き乗り物とすることができる。以下でより詳細に述べるように、乗り物１０２は、乗り物を囲む環境をモニタするためのセンサを含むことができる。一実装形態では、センサは、乗り物の近くの人々のビデオを取り込むために、乗り物の任意の部分に取り付けられたカメラを含むことができる。
【００１４】
ネットワーク１０４は、乗り物１０２により収集されたセンサデータを受信し、かつそれをサーバ１０６、モデル訓練システム１１２、およびモデル訓練システム１１２を介して予測エンジン１１４へと配信することのできる任意の有線および／または無線ネットワークとすることができる。
【００１５】
サーバ１０６は、（１）情報（画像、ビデオ、およびテキスト情報など）をホストし、かつそれをユーザ端末（ユーザ端末１０８など）に送達すること、（２）情報に対する複数のユーザ（または人間観察者）の反応を記録すること、かつ（３）このような情報、および付随する反応（ユーザ端末１０８により入力された反応など）をネットワーク１０４へと送達して戻すことのできる任意のタイプのコンピュータシステムとすることができる。
【００１６】
ユーザ反応データベース１１０は、画像、ビデオ、ならびにテキスト情報および関連するユーザ反応を記憶し、かつその後に、照会に応じてそれらを呼び出すことのできる任意のタイプのデータベース、またはデータ記憶システムとすることができる。
【００１７】
モデル訓練システム１１２は、任意のタイプのコンピューティングシステムで実施され得る。一実施形態では、システム１１２は、ネットワーク１０４を介して、データベース１１０から、画像、ビデオ、ならびに／またはテキスト情報、および付随する、もしくはリンクされたユーザ反応を受信する。いくつかの実施形態では、テキストセグメントは、別々の値、またはフリーテキスト応答である。モデル訓練システム１１２は、アルゴリズムを訓練するための訓練例として、画像、ビデオセグメント、およびテキストセグメントを使用することができ、かつ訓練されたアルゴリズムに基づき、付随するユーザ反応からラベルを作成することができる。これらのラベルは、関連付けられた画像、ビデオ、および／またはテキストセグメントにおいて、アルゴリズムが、人々の挙動をどのように予測するかを示す。ラベルが作成された後、モデル訓練システム１１２は、それらを予測エンジン１４４に送信することができる。
【００１８】
予測エンジン１１４は、任意のコンピューティングシステムで実施され得る。説明用の例では、エンジン１１４は、モデル訓練システム１１２により訓練されたアルゴリズムを含む。この訓練されたアルゴリズムは、モデル訓練システム１１２から受信されたラベルおよび関連する画像、ビデオ、およびまたはテキストセグメントに基づいて、新しい（例えば、実際の「実世界」）画像、ビデオ、および／またはテキストセグメントに対するラベルを推定することができる。いくつかの実施形態では、このラベルは、アルゴリズムが訓練されている間に、同様の画像、ビデオ、またはテキストセグメントで示された多数のユーザ（または人間観察者）の反応に関する集約もしくは要約情報を含む。
【００１９】
図２Ａは、本開示のいくつかの実施形態による、人の挙動を予測するプロセスを示す流れ図である。一実装形態では、ビデオまたは他のデータが、乗り物１０２に取り付けられたカメラまたはセンサにより取り込まれる。カメラまたは他のセンサは、乗り物１０２に対して、固定されるように、または一時的に取り付けられ得る。当然であるが、カメラは、自動車に取り付けられる必要はなく、自転車など別のタイプの乗り物に取り付けることもできる。乗り物が様々な通りに沿って移動するとき、カメラまたはセンサは、通りで、またはその近くで動いている、または静止している歩行者、自転車、自動車などの静止および／または動画像（または他のセンサデータ）を取り込む。ステップ２０２で、カメラまたは他のセンサにより取り込まれたこのビデオまたは他のデータは、乗り物１０２から、ネットワーク１０４を介して、サーバ１０６へと送信され、そこで記憶される。
【００２０】
次いで、ステップ２０４で、記憶されたビデオまたは他のデータから、ビデオフレームまたはセグメントが抽出され、派生的刺激（複数可）を含む刺激データを生成するために使用される。一実装形態では、派生的刺激は、通りの横でもしくは通りで、かつ／または乗り物の近くで１人または複数の人が、活動を行っている（例えば、立っている、歩いている、運転している、自転車に乗っているなど）場面に対応する。例えば、ステップ２１４で、また図９に付随するテキストにおいて、以下でより詳細に説明されるように、予測アルゴリズムに対する訓練プロセスの一部として、人間観察者は、派生的刺激を眺めて、派生的刺激において示された人がどのように動作すると思うかを予測する。さらに他の実装形態では、ビデオフレームまたはセグメントが、記憶されたデータから抽出された後、派生的刺激が、ステップ２０４でカメラまたは他のセンサから取得されたピクセルまたは等価なアレイデータを操作することにより生成され、元のビデオからの情報の部分を伝達する新しいデータファイルを作成し、図４において以下で述べられるように、いくつかの側面は強調される、または不明瞭にされる。
【００２１】
図２Ｂは、本開示のいくつかの実施形態による、派生的刺激の例を示す。図示のように、３つの不連続なフレーム２２０、２２２、２２３、および２２４が、ビデオの短いセグメントから抽出される。第１のフレーム２２０の複製が行われる。第１のフレーム２２０の複製において、ボックス２２１が、対象とする形状の周囲に描かれており、その形状を強調している。第１のフレーム２２０の複製と、３つの抽出されたフレーム２２２、２２３、および２２４は、次いで、ループを作る短いビデオセグメントへと再度組み合わされる。こうすることは、人間観察者がビデオセグメントにおける対象とする形状に対して集中できるようにする。
【００２２】
ステップ２０６で、派生的刺激が、サーバ１０６から送信され、かつユーザ端末１０８（または複数の端末１０８）上の多数のユーザ（または人間観察者）に対して表示される。端末１０８は、人間観察者に、派生的刺激で示された人々がどのように動作するかを予測するように促し、表示された刺激を見た後、観察者は、その予測に対応する彼らの反応を入力する。例えば、図２Ｂで示された派生的刺激において、人間観察者は、自転車に乗る人は、図の左へと乗り続けるであろうと予測することができる。他の派生的刺激では、反応は、刺激における第１の人物は通りを横切ることになる、別の人物は通りのコーナに立っているままである、またさらに別の人物は、自分の自転車の車線を変更することになるかどうかを予測することができる。例示的な実施形態では、人間観察者は、派生的刺激で示された人々の心理状態または予測される挙動に関する連続的な、または順序判断を行い、その判断を記録することができる。例えば、人間観察者は、自分の判断または予測を示すために、マウスをクリックすることにより、またはキーを押すことにより、端末１０８上に表示された適切なアイコンを選択することができる。判断または予測は、運転中に、派生的刺激における人物を見る仮想的な運転者に関連するはずの派生的刺激における人物の心理状態、または他のアウェアネスもしくは意図に関する人間観察者の評価に対応することができる。ステップ２０８で、派生的刺激、および関連する人間観察者の反応は、端末１０８からサーバ１０６に送信され、ユーザ反応データベース１１０に記録される。
【００２３】
ステップ２１０で、要約統計量が、ユーザ反応に基づいて生成される。例えば、統計量は、特定の派生的刺激に対する複数の人間観察者の集約反応を特徴付けることができる。例えば、派生的刺激が、交差点の方向に歩道を歩いている歩行者を示す場合、反応は、どのくらい多くの人間観察者が、歩行者は交差点に達すると停止する、交差点を横切って真っ直ぐ歩き続ける、交差点を横断せずにコーナで曲がって、歩道に沿って歩き続けるなどと考えるかに関して分類され得る。これらの要約統計量は、反応の内容、反応を入力するのに関連する時間、および反応に関連付けられた人観察者の目の位置などの統計量に関連付けられたいくつかのパラメータに関して、人間観察者反応を特徴付けることができる。パラメータは、（１）中心傾向、分散、歪度、尖度、スケール、またはヒストグラムにさらに関連付けられ得る。例えば、ユーザが自分の反応を入力するのに要した時間量は、中心傾向、分散、歪度、尖度、スケール、ヒストグラムに関して特徴付けられ得る。さらに統計量は、中心傾向、分散、歪度、尖度、スケール、ヒストグラム、または２次元分布に関して判断を行ったとき、ディスプレイに対する人間観察者の目の動きを、さらに、または代替的に特徴付けるパラメータを含むことができる。一実施形態では、統計量は、派生的刺激が生成された生ビデオまたはセンサデータを識別するインデックスを用いて、ユーザ反応データベース１１０に記憶される。さらなる実施形態では、データベース１１０に記憶された統計量は、道路上の、またはその近くの人々の画像の大きなセットをカバーし、かつ歩行者、運転者、オートバイの運転者、自転車の運転者、スクータの運転者、セルフバランススクータライダー、一輪車に乗る人、動力付き車椅子ユーザ、スケートボードに乗る人、または他のものなど、いくつかの異なる範疇に分類される。さらに統計量はそれぞれ、その統計量に対応する派生的刺激の画像と共に記憶される、またはリンクされる。
【００２４】
ステップ２１２で、記憶された統計量および対応する画像（例えば、ビデオまたは他のデータ（乗り物のカメラまたはセンサから取り込まれたもの２０２）から抽出されたビデオフレームまたはセグメント）は、ネットワーク１０４を介してモデル訓練システム１１２に送られて、予測アルゴリズムを訓練するために使用される。例えば、画像および統計量の集合体は、教師あり学習アルゴリズムを訓練するために使用されることができ、それは、ランダムフォレスト回帰、サポートベクトル回帰、シンプルニューラルネットワーク、深層畳込みニューラルネットワーク、再帰型ニューラルネットワーク、２次元または３次元の線形または非線形カーネルを備えた長短期記憶（ＬＳＴＭ）ニューラルネットワーク、または任意の他の教師あり学習アルゴリズムを含むことができ、それは、連続的な値でラベル付けられたデータの集合体を使用し、かつそのアーキテクチャを、重み、構造、または他の特性に関して適合させて、そのネットワークを訓練するために使用された刺激のセットに対して使用されたものと同じ方法を用いて、新規の刺激に対するその予測されたラベルと、その刺激に対して収集された実際のラベルとの間の偏差を最小化することができる。モデルは、要約統計量が生成されたビデオフレームからのピクセルデータの何らかのサブセットを含むデータを与えられる。一実装形態では、このサブセットは、その交通手段を含む、人物、自転車に乗る人、自動車運転者および乗り物、または他の道路ユーザの境界を含めるように描かれたボックス（図２Ｂで示されるボックス２２１など）に含まれるピクセルデータを含む。いくつかの他の実装形態では、それはまた、画像の残りからのピクセルデータ全体を含む。これらの実装形態の１つでは、そのピクセルデータは、コントラスト、照明、エッジの存在、またはカラーに関してこれらの特徴の顕著な点などの基準に従って選択される。さらなる実装形態では、特徴は、境界ボックスの寸法および位置、境界ボックスの形状、または１つのフレームから次のフレームへの境界ボックスのサイズもしくは位置の変化など、画像に関する記述的なメタデータを含むことができる。
【００２５】
ステップ２１４で、予測エンジン１１４は、道路上もしくは道路の近くにいる人々の、実際の、「実世界の」、または「ライブデータの」挙動を予測するために、モデル訓練システム１１２からの訓練モデルを使用する。一実施形態では、予測エンジン１１４は、訓練モデルを訓練するのに使用されたデータのフォーマットに一致する「ライブデータ」を受け取る。例えば、訓練モデルが、乗り物１０２上のカメラから受信されたビデオデータに基づいて訓練された場合、アルゴリズムに同様に入力される「ライブデータ」は、同じまたは同様のタイプのカメラからのビデオデータである。他方で、モデルが、乗り物１０２上の別のタイプのセンサから受信された別のタイプのセンサデータに基づいて訓練された場合、予測エンジン１１４に同様に入力される「ライブデータ」は、同じまたは同様のセンサからの他のタイプのデータである。
【００２６】
訓練モデルまたはアルゴリズムは、１つまたは複数の派生的刺激の要約統計量および／または訓練ラベルに基づいて、「ライブデータ」で示された歩行者または他の人物が、何をしようとするかの予測を行う。モデルの精度は、前に述べられた訓練画像の部分ではないが、それに付された人間格付けを有する新規の派生的刺激の予測を行わせることにより決定され、したがって、新規画像に対する要約統計量は、訓練データに対する要約統計量を生成するために使用されたものと同じ方法を用いて生成され得るが、その場合、要約統計量と画像データの間の相関関係は、モデル訓練プロセスの一部ではない。訓練モデルによって作成された予測は、道路ユーザの心理状態の予測のセットを含み、それは、次いで、自律的な乗り物、ロボット、仮想エージェント、トラック、自転車、またはその心理状態に基づいて、道路ユーザの将来の挙動に関して判断を行えるようにすることにより道路上で動作する他のシステムの性能を向上させるために使用され得る。
【００２７】
図３は、本開示のいくつかの実施形態による、乗り物に関連付けられたセンサシステムを示すシステム図である。図３は、そのセンサ３００の場所を指示する矢印、局所的なプロセッサおよび記憶装置３０２、ならびに遠隔記憶装置３０４を備える乗り物３０６を示す。
【００２８】
データは、ソリッドステートＬｉｄａｒ、回転Ｌｉｄａｒ、中距離用レーダ、または他のものを含むカメラもしくは他のセンサ３００から収集され、それらは、固定された、または一時的な容量で車に搭載され、車の前方、後方、および／または側方の道路の画像を取り込むように方向付けられる。いくつかの実施形態では、センサデータは、コンパクトフラッシュドライブ、ハードドライブ、ソリッドステートドライブ、または専用のデータ記録器など、物理的な記憶媒体（図示せず）上に記録される。いくつかの実施形態では、センサ３００および記憶媒体は、プロセッサ３０２により管理される。
【００２９】
センサデータは、車内のデータ記憶媒体およびプロセッサ３０２から、クラウドベースの、デスクトップ、またはホストされたサーバ記憶製品を含むことのできる別の記憶媒体３０４へと移送され得る。いくつかの実施形態では、センサデータは、ビデオ、ビデオセグメント、またはビデオフレームとして記憶され得る。
【００３０】
いくつかの実施形態では、遠隔記憶装置３０４におけるデータはまた、センサデータに関連付けられたデータベーステーブルを含む。センサデータが受信されたとき、どこで記録されたか、誰により、何日に、セグメントはどのくらいの長さか、物理ファイルが見いだせるのは、インターネットかローカルな記憶装置か、センサデータの分解能はいくらか、それが記録されたのはどのタイプのセンサか、センサの位置、および他の特性を含む、記録されたセンサデータに関する情報を記録するデータベーステーブルに、行が追加され得る。
【００３１】
図４は、本開示のいくつかの実施形態による、乗り物における生のカメラまたはセンサデータから派生的刺激を生成するプロセスを示す。
【００３２】
ステップ４００を参照すると、ビデオまたはセンサデータセグメントから、ランダムな、または特定のフレームを選択する方法に従って、ビデオまたはデータフレームが選択される。上記で述べたように、センサデータは、ビデオセグメント、または特定のフレームを含むことができる。これらのフレームは、連続する、または不連続なものとすることができ、元の順序に、並び換えた順序に、逆の順序に、またはランダムな順序にすることができる。フレームのいくつかは、１回または複数回反復され得る。人間観察者が、後にフレームのシーケンスの並び換えたバージョンを提示されたとき、元のビデオにおいて取り込まれた場面における人の実際の動き、またはフレームの順序付けの産物であるが、並び換えにより、元々取り込まれた動きとは異なっている動きを知覚するように、フレームが選択される。画像のセットまたは派生的刺激を見る人間観察者が、画像のセットに関する質問に答えるために使用できる時間情報は、したがって、元のシーケンスにあった、またはなかった特定の時間的キューを含めるように制限される、または拡張され得る。
【００３３】
ステップ４０２を参照すると、フレームのいくつかは、操作され得る。フレームは、ピクセル値を調整することによって操作され得る。これらの操作は、不鮮明化、１つまたは複数の遮蔽バー、バンド、または形状又は追加、先鋭化、カラー情報の除去、カラー情報の操作、画像上に非遮蔽もしくは強調形状を描くこと、他の操作、もしくはここで列挙された操作の組合せ、もしくは他の操作とここで列挙された操作の組合せ、または互いに組み合わされた、列挙されていないピクセルの他の操作を含むことができる。操作は、画像の部分を強調する、遮蔽する、または劣化させる目的で働き、したがって、画像が、人間観察者に示されたとき、彼らは、画像の中の人々が何をしようとするかを予測する場合に、画像の人々または特定の部分に導かれるようになる。例えば、上記で述べた強調を用いると、人間観察者のフィードバックがより高い信頼性でその歩行者に関連付けられ得るように、場面中の特定の歩行者が孤立化され得る。
【００３４】
ステップ４０４を参照すると、フレームが、派生的刺激を形成するために再結合され得る。いくつかの実施形態では、１つのフレームだけが存在する場合、そのフレームは、派生的刺激を含む。複数のフレームが存在する場合、これらのフレームは、再結合され得る。時間的セグメントへの再結合は、元のビデオクリップと同じ表示時間および間隔を有するフレームを含むことができるが、またはより速い、遅い、または可変の表示時間を含むこともできる。再結合のタイミングは、観察者が行う判断が、元の画像において特徴となるものと同一の、または同一ではない時間的情報を利用するように、元のビデオセグメントで視認できる活動の知覚される時間的持続期間を形成すべく選択される。
【００３５】
図５は、本開示のいくつかの実施形態による、派生的刺激に基づいて人間観察者から予測および他の情報を収集するプロセスを示す流れ図である。ステップ５００で、人間観察者には、派生的刺激についての質問にどのように答えるかに関する詳細な指示が与えられる。ステップ５０２で、これらの観察者には、派生的刺激が提示され、それらについての質問に答えるように求められる。ステップ５０４で、観察者は刺激に反応し、これらの反応が記録される。ステップ５０６で、記録された反応は集約され、データベースに記録される。例えば、反応は、ユーザ反応データベース１１０へと送られ、かつそこに記録され得る（図１）。
【００３６】
ステップ５００を参照すると、一例では、何人かの人間観察者（２人以上）が採用されて、アマゾンのメカニカルタルクなどの１つまたはいくつかのクラウドソーシングウェブサイトに、またはディスプレイを備えた物理的な場所で参加する。観察者には、仕上げようとしているタスクを説明する、詳細な記述された絵入りの指示が与えられる。これらの指示は、派生的刺激に描かれているはずの状況の例、およびこれらの状況に適切であると思われる反応の種類を与える。例えば、人間観察者が、車の前を歩く歩行者の意図を判断するように求められた場合、指示は、「このテストにおいて、我々は、あなたが車を運転しているふりをすることを求める。あなたは、強調された自転車に乗る人を備えた道路場面を見ることになり、彼らが何をしようと計画しているかを判断する必要がある。できるだけ速やかに答えるようにして下さい。ボックスが、複数の自転車に乗る人を含む場合、彼らのいずれかが、あなたの車の経路の中に乗り入れるように意図しているかどうかを判断するようにして下さい。画像のいくつかは、小さく、または暗いかもしれませんが、最善を尽くして下さい」とすることができる。
【００３７】
ステップ５０２を参照すると、人間観察者は、派生的刺激を含む表示が示され得る。表示はまた、刺激に関する判断を行うための機構を含む。判断を行うための機構は、観察者が、コントロールを一定の点へとドラッグできるリボンなどの連続するインジケータとすることができる。機構は、観察者が、判断の確度について判断を行うことのできるリッカートスケールなどの順序尺度とすることもできる。機構はまた、人間観察者が、判断を示す軌道を画面上に描くために、自分のマウスでドラッグするコントロールとすることができる。機構はまた、観察者が、自分の判断の記述をタイプするテキスト入力フィールドとすることもできる。人間観察者が行う判断は、派生的刺激で示された道路ユーザの心理状態の評価である。評価は、意図、アウェアネス、個性、意識の状態、疲労のレベル、攻撃性、情熱、思慮深さ、または描かれた道路ユーザの内部の精神状態の別の特性のものとすることができる。収集された格付けが、序数スケール上にある場合、それらは、「他の運転者は注意深い可能性がある」、または「他の運転者」は明確に注意深い」、または「他の運転者は明確に注意深くない」など、確率的な言語を用いて、特性を記述することができる。多数の人間観察者の格付けが収集される。要約統計量は、画像を見た観察者のすべての反応に基づいて生成される。所与の刺激に対する反応における個々の変動は、学習アルゴリズムに対して観察者により与えられる情報において特徴付けられ得る。要約統計量は、すべての観察者からの重み付けられていない情報を含み得る、または反応するのに観察者が要した時間、観察者の地理的な位置、観察者の自己報告された運転経験、または他の画像のセットの格付けを行うことにおける観察者の信頼性など、外的な、もしくは固有の基準に基づいて観察者を除外することもあり得る。
【００３８】
ステップ５０４を参照すると、観察者の明示的な反応は、暗黙的なデータと同様に記録される。暗黙的なデータは、被験者が反応するのにどれくらいの長さを要したかを含めることができ、彼らがその動きをするのに迷ったかどうか、キーストロークを削除したかどうか、最終的に選択した反応に対応する位置以外のいずれかにマウスを移動させたかどうか、どこに彼らの目が移動したか、または他の暗黙的な尺度などである。
【００３９】
ステップ５０６を参照すると、反応は集約されて、ユーザ反応データベース１１０（図１）などのデータ構造に記録される。このデータ構造は、次いで、データベースソフトウェアを動作させるネットワーク化されたコンピュータシステムに、テキストフィールドとして送られ、データベースに記録される。
【００４０】
図６は、本開示のいくつかの実施形態による、ビデオフレームデータを追跡することに関連付けられたデータ構造（例えば、テーブル）を示す。列６００は、画像を格付けした各人間観察者に対する一意の識別子の例を示す。列６０２は、所与の派生的刺激に対する一意の識別子を示す。列６０４は、データベースに記録された観察者からの反応の例を示す。列６０６は、データベースにより記録された、この場合反応時間であるが、さらなる情報の例を示す。
【００４１】
列６００を参照すると、刺激を示された各観察者には、一意の識別子が与えられ、したがって、その反応に関する情報は、他の画像に対する彼らの反応の状況において解析され得る。
【００４２】
列６０２を参照すると、人間観察者によって格付けされた各派生的刺激は、その派生的刺激を一意に識別するファイル名および経路を備えて列挙され、さらにその派生的刺激が生成された元のビデオフレームを示す。
【００４３】
列６０４を参照すると、各人間観察者により格付けされた各刺激に対して、連続的な、別個の、または序数値とすることのできる反応が記録される。この値は、描かれた人間道路ユーザが所与の心理状態を有することの確率を指すことができ、例えば、歩行者は、通りを横切る可能性が高いこと、またはセンサを含む乗り物が曲がる必要がある場合に、近づいてきた乗り物が、センサを含む乗り物に快く譲る可能性がないことなどである。いくつかの実施形態では、より高い序数値（例えば、図６で示された序数４など）は、描かれた人間道路ユーザが所与の心理状態を有する、または特定の行動を実施することになる高い確率があると、人間観察者が考えることを示している。他方で、低い序数値（例えば、図６で示される序数１など）は、描かれた人間道路ユーザが心理状態を有する、または特定の行動を実施することになる低い確率があると人間観察者が考えることを示す。他方で、いくつかの実施形態では、低い序数値は、行動する高い確率を示すことができ、また高い序数値は、行動する低い確率を示すことができる。
【００４４】
列６０６を参照すると、被験者が、派生的刺激に反応することに関連付けられた時間量がまた記録される。いくつかの実施形態では、この時間は、人間観察者の格付けの信頼性全体に関連付けられる。例えば、低い反応時間に関連付けられる反応は、高く重み付けられることができ、遅い反応時間に関連付けられた反応は、低く重み付けられ得る。
【００４５】
図７は、本開示のいくつかの実施形態による、ビデオフレームまたは派生的刺激の要約統計量を作成するためのプロセスを示す流れ図である。ステップ７００で、画像ごとの結果が、人間観察者からの反応を記憶するデータベースから抽出される。ステップ７０２で、これらの画像ごとの結果を用いて、要約統計量が計算される。ステップ７０４で、生の車データ（派生的刺激ではない）からのフレームに付された要約統計量の記録が、別のテーブルに記録される。
【００４６】
ステップ７００で、所与のフレームの所与のタスクに関する人間観察者による反応のすべての記録が、データベースから抽出される。一例では、所与のタイプの反応のすべては、単一のデータ構造へと集約される。
【００４７】
ステップ７０２で、要約統計量を作成するために、このデータ構造が照会される。これらの要約統計量は、平均値、中央値、または最頻値などの得点の分布の中心傾向の測定を含むことができる。それらは、分散、標準偏差、歪度、尖度、不等分散性、多峰性、または一様性などの得点の不均一性の測定を含むことができる。それらはまた、上記で列挙された反応の暗黙的な測定から上記で計算されたものなど、要約統計量を含むこともできる。
【００４８】
ステップ７０４で、計算された要約統計量は、データベーステーブルに記録され、それらが計算された反応に関連付けられたビデオフレーム、またはセンサデータフレームにそれらをリンクさせる一意の識別子に添付される。
【００４９】
図８は、本開示のいくつかの実施形態による、要約統計量を用いた学習アルゴリズムを訓練するプロセスを示す流れ図である。例えば、一実施形態では、プロセスは、図１におけるモデル訓練システム１１２で使用されるアルゴリズムを訓練することができる。ステップ８００で、所与のビデオまたはセンサフレームにリンクされた要約統計量が、図１のデータベース１１０から抽出される。その後に、ステップ８０２で、ビデオまたはセンサフレームは、フレームに対する統計ラベルと照合され得る。ステップ８０４で、照合されたフレームは、モデル訓練システム１１２における学習アルゴリズムに提供され、ステップ８０６で、このプロセスは、最終的な学習アルゴリズムを生ずる。
【００５０】
いくつかの実施形態では、ステップ８００で、１と３の間の区分が、データベース記録から生成される。これらの区分はそれぞれ、派生的刺激を生成するように操作され、かつ人間観察者により格付けされた画像のセットにおける画像のリストを含む。これらの区分の少なくとも１つは、訓練データのセットを含むように作られる。さらなる区分が、妥当性検査データのセットとして使用するように作成され、それは、派生的刺激を生成するように操作され、かつ人の画像により格付けされた画像のセットにおける画像の第２のリストであるが、その場合、第２の妥当性検査セットは、学習段階ではモデルに示されず、評価を行うために後で使用されるように保存される。
【００５１】
ステップ８０２で、訓練データ区分における画像のリストは、これらの画像に対する人間観察者の反応から生成された要約統計量のいくつかまたはすべてと照合されてデータベースに記憶され、したがって、要約統計量は、訓練区分を含むリストにおける適切な画像に関連付けられる。
【００５２】
ステップ８０４で、画像および要約統計量の各組合せは、学習アルゴリズムに対する単一の訓練サンプルを含む。アルゴリズムは、これだけに限らないが、ランダムフォレスト回帰、サポートベクトル回帰、シンプルニューラルネットワーク、深層畳込みニューラルネットワーク、再帰型ニューラルネットワーク、２次元または３次元の線形または非線形カーネルを備えた長短期記憶（ＬＳＴＭ）ニューラルネットワークを含む、２または３次元入力に対する連続ラベルを予測できる任意のタイプの教師あり学習アルゴリズムとすることができる。
【００５３】
ステップ８０４で、学習アルゴリズムは、訓練画像に対する要約統計量のその予測におけるエラーを最小化するために、画像の特性と、訓練段階でそれに与えられる要約統計量とに応じて、そのアルゴリズムのパラメータを順次調整するプロセスによって最適化される。モデル訓練システム１１２の一実施形態では、アルゴリズムは深層ニューラルネットワークとすることができる。この実施形態では、パラメータは、ネットワークを含む人工的なニューロン間の接続に付された重みである。ステップ８０２で、人間観察者要約統計量と照合された訓練セットにおける画像からのピクセルデータは、ネットワークへの入力として働くことができる。この入力は、人工的なニューロンのそれぞれにより、数学的な関数に従って変換されることができ、次いで、変換された情報は、ニューラルネットワークにおけるその人工的なニューロンから、他の人工的なニューロンへと送信され得る。第１の人工的なニューロンと後続するニューロンの間の重みは、上記で論じた重みパラメータにより修正され得る。この実施形態では、ニューラルネットワークは、階層的に編成され、したがって、各入力ピクセルの値は、人工的なニューロンの独立したレイヤ（例えば、１０から２０レイヤ）により変換されることができ、その場合、所与のレイヤにおけるニューロンに対する入力は、前のレイヤから到来し、ニューロンに対する出力のすべて（およびその関連付けられた重みパラメータ）は、後続するレイヤへと進む。レイヤのシーケンスの最後に、この実施形態では、ネットワークは、入力で与えられた人間要約統計量に一致するように意図された数を作成することができる。ネットワークが出力する数と、入力で提供される人間要約統計量との間の差は、エラー信号を含む。エラーに対する責任（responsibility）の小部分を、ネットワークにおける重みパラメータのそれぞれに割り当てるために、アルゴリズム（例えば、逆伝播法など）が使用され得る。重みパラメータは、次いで、エラー全体に対するそれらの推定される寄与が低減されるように調整され得る。このプロセスは、ステップ８０２により収集された訓練セットにおいて、各画像に対して（またはピクセルデータと、人間観察者の要約統計量の各組合せに対して）反復され得る。このプロセスの最後に、モデルは「訓練される」、それは、いくつかの実施形態では、ニューラルネットワークにより出力された要約統計量と、ステップ５０６における人間観察者の反応から計算された要約統計量との間の差が最小化されることを意味する。
【００５４】
図９は、本開示のいくつかの実施形態による、訓練された学習アルゴリズムを用いて道路ユーザの心理状態を予測するプロセスを示す流れ図である。ステップ９００で、訓練アルゴリズムは、「実世界」または「ライブデータ」ビデオもしくはセンサフレームを受け取る。次いでステップ９０２で、訓練されたアルゴリズムは、フレームを解析し、したがって、ステップ９０４で、アルゴリズムがフレームに対する要約統計量の予測を出力できるようにする。
【００５５】
ステップ９００で、車に取り付けられたセンサからの「実世界」または「ライブデータ」ビデオもしくは他のセンサフレームが、訓練された学習アルゴリズムに送達される。これらのフレームは、アルゴリズムを訓練するために使用されたフレームと同じ分解能、色深度、およびファイルフォーマットを有する。これらのフレームは、個々のフレームとして、または元のアルゴリズムを訓練するために使用されたフォーマットによるシーケンスとして送達される。
【００５６】
ステップ９０２で、これらのフレームのそれぞれは、訓練モデルに通されることによって解析される。一実施形態では、モデルに通されたフレームからのデータは、カメラからのピクセルデータを含むはずである。このデータは、ステップ８０４により訓練された人工ニューラルネットワークにより変換されることになる。人工ネットワークにおける処理の最終段階で出力を作成することになる。この出力は、９０４で出力されるモデルである。
【００５７】
ステップ９０４で、モデルは、「実世界」または「ライブデータ」画像に対する予測された要約統計量を含むいくつかの数、または数のセットを出力する。予測された要約統計量は、画像が、収集された人間の注釈を有した場合、画像上で要約統計量はどのようになるかに関するモデルの最良の推定である。予測は、センサデータをモデルに通すことにより自動的に生成され、その場合、情報は、ステップ８０４で示された訓練プロセスで設定されたパラメータに従って、モデルの内部機構により変換される。これらの要約統計量は、刺激において描かれた道路ユーザの心理状態を予測する人間反応の分布を特徴付けるため、予測される統計量は、したがって、描かれた道路ユーザの心理状態の人間観察者の集約された判断の予測であり、したがって、道路ユーザの実際の心理状態の間接的な予測である。
【００５８】
図１０は、本開示のいくつかの実施形態による、自動車の状況においてコンテキストユーザ予測プロセスの適用の例を示す図である。この例では、意図１００６、１０１８は、道路ユーザ１００２、１０１４が、乗り物１０００（そこにシステムが搭載されている）が彼らの位置に達する前に、乗り物１０００の経路の中に入る目的を有することを意味する。この例におけるアウェアネス１００４、１０１６は、システムが搭載されている乗り物１０００が彼らの近傍に存在することを道路ユーザ１００２、１０１４が理解していることを意味する。この例では、自転車に乗る人１００２が、乗り物１０００に搭載されたカメラの視野に乗り入れたとき、ステップ９００において上記で述べたように、自転車に乗る人のカメラ画像のピクセルデータが、訓練されたアルゴリズムに送られる。訓練されたアルゴリズムは、ステップ９０２において上記で述べられたように、画像を解析する。訓練されたアルゴリズムは、ステップ９０４におけるように、要約統計量を予測することになる。これらの要約統計量は、ステップ５０４におけるように、カメラデータの派生的刺激が示された人間観察者の集合体に対して要約統計量がどうなるかの推定である。したがって、推定要約統計量は、「この自転車に乗る人は、乗り物の経路に入ろうとしているのか」の質問に対するシステムの最良の答えである。乗り物は、したがって、自転車に乗る人の意図に関する推量１００６を行うことができ、それは、人間の運転者が、その同じ状況において行うであろう推量に密接に一致する。この例では、自転車に乗る人の意図１００６は、ディスプレイ中の水平バーの数により示されるように比較的高い。意図に対して述べられた同じ方法により、自動車１０００に取り付けられたシステムはまた、乗り物１０００に関する自転車に乗る人のアウェアネス１００４について予測を行う。それはまた、上記で述べられた同じ方法により、自動車１００８が快く譲る１０１０気持ちに関して、またはシステムを含む乗り物の経路を横切って曲がる１０１２というその希望に関して予測を行う。自動車の場合、アルゴリズムにより予測される、人間の被験者が答えた質問は、「乗り物は、快く譲るだろうか」１０１０、および「乗り物は、あなたの経路を横切って曲がることを望むか」１０１２である。それはまた、上記で述べた同じ方法により、歩行者１０１４が乗り物の前を横切ることを望む１０１８こと、またこれらの歩行者が乗り物に気付くかどうか１０１６に関する予測を行う。
【００５９】
上記で述べられたモデルは、車１０００に取り付けられたカメラまたは他のセンサからの入力に基づいて、道路ユーザの挙動の予測を行う実時間モジュールとして実施され得る。自律的な車の場合、これらの予測は、自転車に乗る人１００２、他の自動車運転者１００８、および歩行者１０１４などの道路ユーザが、車の経路の中に横切って入ろうとする意図に関して、ならびに道路ユーザが車およびその将来の経路に気付いているかどうかに関して、推論を行うために使用され得る。それらはまた、車が、別の道路ユーザの経路の中へと移動させる操作に従事することになった場合、他の道路ユーザは、驚く、歓迎する、またはひどく歓迎しないかどうか（例えば、本明細書で述べられるシステムおよび方法を実装する車が左に曲がろうとした場合に、到来する車が譲るかどうか）を予測するためにも使用され得る。
【００６０】
本明細書で述べられる主題は、本明細書で開示される構造的な手段、およびその構造的に等価な形態を含むデジタル電子回路で、またはコンピュータソフトエア、ファームウェア、もしくはハードウェアで、またはそれらの組合せで実施され得る。本明細書で述べられる主題は、データ処理装置（例えば、プログラム可能なプロセッサ、コンピュータ、または複数のコンピュータ）により実行するための、またはその動作を制御するための、情報担持体で（例えば、機械可読記憶デバイスで）、または伝播される信号で有形に実施される１つまたは複数のコンピュータプログラムなど、１つまたは複数のコンピュータプログラム製品として実施され得る。コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、コンパイルされる、または解釈される言語を含む任意の形態のプログラミング言語で記述され、またそれは、スタンドアロンのプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境で使用するのに適した他のユニットとしてを含めた任意の形態で展開され得る。コンピュータプログラムは、必ずしもファイルに対応しない。プログラムは、問題のプログラムに専用の単一のファイルに、または複数の同等のファイル（例えば、１つまたは複数のモジュール、サブプログラム、またはコードの部分を記憶するファイル）に、他のプログラムまたはデータを保持するファイルの一部に記憶され得る。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトにおける、または複数のサイトにわたり分散された、かつ通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように展開され得る。
【００６１】
本明細書で述べられた主題の方法ステップを含む、本明細書で述べられたプロセスおよび論理の流れは、入力データに作用し、かつ出力を生成することにより、本明細書で述べられた主題の機能を実施するように１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能なプロセッサにより実施され得る。プロセスおよび論理の流れはまた、例えば、ＦＰＧＡ（書替え可能ゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの専用の論理回路により実施され、かつ本明細書で述べられた主題の装置が、その専用回路として実施され得る。
【００６２】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用と専用のマイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサを含む。一般に、プロセッサは、読出し専用メモリもしくはランダムアクセスメモリ、またはその両方から命令およびデータを受け取ることになる。コンピュータの基本的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つまたは複数の記憶デバイスである。概して、コンピュータはまた、例えば、磁気、光磁気ディスク、または光ディスクなど、データを記憶するための１つまたは複数の大容量記憶デバイスを含む、またはそこからデータを受け取る、もしくはそこにデータを転送する、またはその両方のために動作可能に結合されることになる。コンピュータプログラム命令およびデータを実施するのに適した情報担持体は、例として、半導体記憶デバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス）、磁気ディスク、（例えば、内蔵ハードディスクまたは取外し可能ディスク）、光磁気ディスク、および光ディスク（例えば、ＣＤおよびＤＶＤディスク）を含む、すべての形態の不揮発性メモリを含む。プロセッサおよびメモリは、専用論理回路により補われる、またはそこに組み込まれ得る。
【００６３】
ユーザとの対話を提供するために、本明細書で述べられる主題は、ユーザに情報を表示するための、例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタなどの表示デバイスと、ユーザがそれにより入力をコンピュータに提供できるキーボードおよびポインティングデバイス（例えば、マウスもしくはトラックボール）とを有するコンピュータ上で実施され得る。他の種類のデバイスが、同様にユーザとの対話を提供するために使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚的なフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、または触知可能なフィードバックなど）とすることができ、およびユーザからの入力は、音響、音声、または触知可能な入力を含む任意の形態で受け取ることができる。
【００６４】
本明細書で述べられる主題は、バックエンド構成要素（例えば、データサーバ）、ミドルウェア構成要素（例えば、アプリケーションサーバ）、またはフロントエンド構成要素（例えば、本明細書で述べられる主題の実装形態とユーザがそれを介して対話できるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータなど）、またはこのようなバックエンド、ミドルウェア、およびフロントエンド構成要素の任意の組合せを含むコンピューティングシステムにおいて実施され得る。システムの構成要素は、例えば、通信ネットワークなど、任意の形態のデジタルデータ通信またはその媒体により相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）および例えば、インターネットなどの広域ネットワーク（「ＷＡＮ」）を含む。
【００６５】
開示された主題は、以下の記述に記載された、または図面で示された構成の細部および構成要素の配置に、その適用において限定されないことを理解されたい。開示された主題は、他の実施形態も可能であり、また様々な方法で実施され、かつ実行され得る。さらに、本明細書で使用される表現法、および専門用語は、説明のためのものであり、限定するものと見なされるべきではないことを理解されたい。
【００６６】
したがって、当業者であれば、この開示が基づいている概念は、開示された主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用され得ることが理解されよう。したがって、特許請求の範囲は、それらが、開示された主題の趣旨および範囲から逸脱しない限り、このような等価な構成を含むものと見なされることが重要である。
【００６７】
開示された主題が、前述の例示的な実施形態で述べられ、かつ示されてきたが、本開示は、例示のためだけに行われていること、および開示された主題の実装形態の細部における数多くの変更は、添付の特許請求の範囲によってのみ限定される、開示された主題の趣旨および範囲を逸脱することなく行えることを理解されたい。
【図１】
2021506046.tif 000003
【図２Ａ】
2021506046.tif 000004
【図２Ｂ】
2021506046.tif 000005
【図３】
2021506046.tif 000006
【図４】
2021506046.tif 000007
【図５】
2021506046.tif 000008
【図６】
2021506046.tif 000009
【図７】
2021506046.tif 000010
【図８】
2021506046.tif 000011
【図９】
2021506046.tif 000012
【図１０】
2021506046.tif 000013
【国際調査報告】
2021506046.tif 000014