(57)【要約】【課題】異なる視点から観測した物体が同一の物体であるか否かを判定する。【解決手段】交通イベントに近接する二つ以上の異なる車両が有する画像センサによって取り込まれた二つ以上の画像を取得する画像取得ステップと、第一の車両が取得した第一の画像に基づいて第一の特徴セットを抽出し、第二の車両が取得した第二の画像に基づいて第二の特徴セットを抽出する抽出ステップと、前記第一の特徴セットと前記第二の特徴セットとの差を定量化した類似性スコアを算出する算出ステップと、前記類似性スコアを用いて、前記第一の画像に含まれる第一の物体と、前記第二の画像に含まれる第二の物体とを関連付ける関連付けステップと、を含む。【選択図】図４Ａ
2019125368.tif 000002
【特許請求の範囲】
【請求項１】
交通イベントに近接する二つ以上の異なる車両が有する画像センサによって取り込まれた二つ以上の画像を取得する画像取得ステップと、
第一の車両が取得した第一の画像に基づいて第一の特徴セットを抽出し、第二の車両が取得した第二の画像に基づいて第二の特徴セットを抽出する抽出ステップと、
前記第一および第二の特徴セットを、それぞれ異なる車両に対応する機械学習モデルを用いて、第一および第二の出力に変換する変換ステップと、
前記第一の出力と前記第二の出力との差を定量化した類似性スコアを算出する算出ステップと、
前記類似性スコアを用いて、前記第一の画像に含まれる第一の物体と、前記第二の画像に含まれる第二の物体とを関連付ける関連付けステップと、
を含む、情報処理方法。
【請求項２】
前記第一および第二の特徴セットは、複数タイプの特徴量の集合からなる、
請求項１に記載の情報処理方法。
【請求項３】
前記複数タイプの特徴量は、テクスチャに基づいた特徴量、色に基づいた特徴量、コンテキストに基づいた特徴量、前記画像センサの位置に関する情報、のうちの少なくとも一つを含む、
請求項２に記載の情報処理方法。
【請求項４】
前記機械学習モデルは、前記複数タイプの特徴量に対して、前記類似性スコアの精度向上への寄与度に応じて重みを与えたモデルである、
請求項２または３に記載の情報処理方法。
【請求項５】
前記変換ステップでは、前記複数タイプの特徴量のうち、前記類似性スコアの精度向上に寄与しない特徴量を削除する、
請求項４に記載の情報処理方法。
【請求項６】
前記第一および第二の出力を用いて算出した前記類似性スコアに基づいて前記機械学習モデルを学習させる学習ステップをさらに含む、
請求項１から５のいずれかに記載の情報処理方法。
【請求項７】
前記機械学習モデルの学習処理は、車両の走行環境の変化に伴って周期的に実行される、
請求項６に記載の情報処理方法。
【請求項８】
前記関連付けが、車両の運転に関連する物体に対してのみ実行される、
請求項１から７のいずれかに記載の情報処理方法。
【請求項９】
前記関連付けの結果に基づいて、前記第一の画像内にある第一の物体と、前記第二の画像内にある第二の物体が同一の物体であるか否かを判定し、当該判定の結果に基づいて、交通の安全に関するさらなる処理を行う
請求項１から８のいずれかに記載の情報処理方法。
【請求項１０】
前記関連付けの結果に基づいて、前記第一または第二の車両が有する出力装置を介して情報提供を行う、
請求項１から９のいずれかに記載の情報処理方法。
【請求項１１】
前記関連付けの結果に基づいて、前記交通イベントを反映したマップデータを生成するマップ生成ステップをさらに含む、
請求項１から１０のいずれかに記載の情報処理方法。
【請求項１２】
前記生成したマップデータを、前記交通イベントに近接した第三の車両に送信するマップ送信ステップをさらに含む、
請求項１１に記載の情報処理方法。
【請求項１３】
交通イベントに近接する二つ以上の異なる車両が有する画像センサによって取り込まれた二つ以上の画像を取得する画像取得手段と、
第一の車両が取得した第一の画像に基づいて第一の特徴セットを抽出し、第二の車両が取得した第二の画像に基づいて第二の特徴セットを抽出する抽出手段と、
前記第一および第二の特徴セットを、それぞれ異なる車両に対応する機械学習モデルを用いて、第一および第二の出力に変換する変換手段と、
前記第一の出力と前記第二の出力との差を定量化した類似性スコアを算出する算出手段と、
前記類似性スコアを用いて、前記第一の画像に含まれる第一の物体と、前記第二の画像に含まれる第二の物体とを関連付ける関連付け手段と、
を有する、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願への相互参照）
本出願は、「SIMILARITY LEARNING AND ASSOCIATION BETWEEN OBSERVATIONS OF MULTIPLE CONNECTED VEHICLES」と題し、２０１８年１月１３日に出願された米国特許出願第１
５／８７０，８７４号の優先権を主張する。これらの特許出願は、その全体が参照によって本願明細書に援用される。
【０００２】
本開示は、検出物体の表現を学習することに関する。より具体的な例では、本開示は、複数のコネクティッド車両の観測値間の類似性学習および関連付けのための技術に関する。
【背景技術】
【０００３】
追跡対象の物体および交通状況（Traffic situation, 例えば道路工事といった道路上
に存在する交通に影響を与えるイベントを指す）の位置特定は、しばしば、同じ物体を取り込む道路景観の複数の観測値に依存する。しかしながら、これらの複数の観測値が同じ物体を示していることを識別することは困難である。複数の観測値に物体を関連付けるための既存の解決策は、物体の特徴を抽出し、特徴の比較を使用して、異なる視点の物体と照合することである。例えば、異なる車両が取得した複数の画像から得られた特徴量を照合することで、これら複数の画像に同一の物体が写っていることを判定することができる。しかしながら、この既存の手法は、一般に、限られたタイプの特徴量しか考慮しない。結果として、物体の特徴表現は、しばしば不完全であり、不正確な物体の関連付けを引き起こす。
一方、完全な特徴量のセットを使用して物体を記述すれば、判定の精度は向上する。しかし、完全な特徴量のセットを利用するとデータ量が増大し、待ち時間および帯域幅制限のために車両ネットワークを介して効率的に送信できなくなるため、実用的ではない。加えて、既存の解決策は、一般に、集中型システムに実装され、したがって、通常、車両ネットワーク内に複数の協業車両を含む分散システムに適用可能ではない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２０６０９９号公報
【発明の概要】
【０００５】
本開示に記載される主題は、検出物体のコンパクトな表現を学習し、複数の車両によって得られた複数の観測値を関連付けるための新規技法を提供することにより、既存の解決策の欠点および限界を克服する。
【０００６】
本開示に記載される主題の１つの革新的な態様によれば、コンピュータ実装方法は、交通状況に近い２つ以上の異なる車両プラットフォームの２つ以上の車両プラットフォームセンサによって取り込まれた２つ以上の画像を受信するステップと、２つ以上の画像の第１の画像内の第１の物体からマルチモーダル特徴の第１のセットを抽出するステップであって、第１の画像が２つ以上の車両プラットフォームの第１の車両プラットフォームに関連付けられるステップと、２つ以上の画像の第２の画像内の第２の物体からマルチモーダル特徴の第２のセットを抽出するステップであって、第２の画像が２つ以上の車両プラットフォームの第２の車両プラットフォームに関連付けられるステップと、個別の機械学習ロジックを使用してマルチモーダル特徴の第１のセットおよびマルチモーダル特徴の第２のセットを処理して、それぞれ、第１の出力および第２の出力を生成するステップと、第
１の出力および第２の出力を使用して、マルチモーダル特徴の第１のセットとマルチモーダル特徴の第２のセットとの間の差を定量化する類似性スコアを生成するステップと、類似性スコアを使用して、第１の車両プラットフォームに関連付けられた第１の画像によって反映された交通状況の第１の観測値と、第２の車両プラットフォームに関連付けられた第２の画像によって反映された交通状況の第２の観測値を関連付けるステップとを備える。
【０００７】
一般に、本開示に記載される主題の別の革新的な態様は、第１の車両プラットフォームおよび１つまたは複数のコンピューティングデバイスを備えるシステムにおいて具現化されうる。第１の車両プラットフォームは、第１の車両プラットフォームの外部の外部環境に向けられた第１の視点を有する第１のセンサを含む。第１のセンサは、外部環境に含まれる第１の物体を反映する第１のセンサデータを取り込む。第１の車両プラットフォームは、第２の車両プラットフォームから第２のセンサデータを受信するための第１の通信ユニットをさらに含む。第２のセンサデータは、第２の視点から外部環境に含まれる第２の物体を反映する。サーバ、第１の車両プラットフォーム、第２の車両プラットフォーム、および／またはネットワークを介して結合された別のコンピューティングデバイスを備えうる１つまたは複数のコンピューティングデバイスは、第１のセンサデータ内の第１の物体からマルチモーダル特徴の第１のセットを抽出することと、第２のセンサデータ内の第２の物体からマルチモーダル特徴の第２のセットを抽出することと、個別の機械学習ロジックを使用してマルチモーダル特徴の第１のセットおよびマルチモーダル特徴の第２のセットを処理して、それぞれ、第１の出力および第２の出力を生成することと、第１の出力および第２の出力を使用して、マルチモーダル特徴の第１のセットとマルチモーダル特徴の第２のセットとの間の差を定量化する類似性スコアを生成することと、類似性スコアを使用して、第１の視線と第２の視線を関連付けることとを備える動作を実行する。
【０００８】
一般に、本開示に記載される主題の別の革新的な態様は、交通状況に近い２つ以上の異なる車両プラットフォームの２つ以上の車両プラットフォームセンサによって取り込まれた２つ以上の画像を受信することと、２つ以上の画像の第１の画像内の第１の物体からマルチモーダル特徴の第１のセットを抽出することであって、第１の画像が２つ以上の車両プラットフォームの第１の車両プラットフォームに関連付けられる、抽出することと、２つ以上の画像の第２の画像内の第２の物体からマルチモーダル特徴の第２のセットを抽出することであって、第２の画像が２つ以上の車両プラットフォームの第２の車両プラットフォームに関連付けられる、抽出することと、個別の機械学習ロジックを使用してマルチモーダル特徴の第１のセットおよびマルチモーダル特徴の第２のセットを処理して、それぞれ、第１の出力および第２の出力を生成することと、第１の出力および第２の出力を使用して、マルチモーダル特徴の第１のセットとマルチモーダル特徴の第２のセットとの間の差を定量化する類似性スコアを生成することと、類似性スコアを使用して、第１の車両プラットフォームに関連付けられた第１の画像によって反映された交通状況の第１の観測値と、第２の車両プラットフォームに関連付けられた第２の画像によって反映された交通状況の第２の観測値を関連付けることとを備える動作を実行するロジックを含む、１つまたは複数のプロセッサを備えるシステムにおいて具現化されうる。
【０００９】
これらおよび他の実装形態は、以下の特徴：
・マルチモーダル特徴の第１のセットを正規化すること、マルチモーダル特徴の第２のセットを正規化すること、をさらに含み、マルチモーダル特徴の第１のセットを組み合わせることが、正規化マルチモーダル特徴の第１のセットを第１のマルチモーダル初期特徴ベクトルに組み合わせることを含むこと、マルチモーダル特徴の第２のセットを組み合わせることが、正規化マルチモーダル特徴の第２のセットを第２のマルチモーダル初期特徴ベクトルに組み合わせることを含むこと
・２つ以上の画像の第１の画像内の第１の物体を検出すること、２つ以上の画像の第２の
画像内の第２の物体を検出すること
・第１の画像の第１の物体からの物体の第１のセットが運転に関連すると判断すること、第２の画像の第２の物体からの物体の第２のセットが運転に関連すると判断すること
・マルチモーダル特徴の第１のセットを第１のマルチモーダル特徴ベクトルに組み合わせること、マルチモーダル特徴の第２のセットを第２のマルチモーダル特徴ベクトルに組み合わせること、をさらに含み、マルチモーダル特徴の第１のセットおよびマルチモーダル特徴の第２のセットを処理することが、第１のマルチモーダル特徴ベクトルを第１のコンパクト特徴ベクトルに処理することと、第２のマルチモーダル特徴ベクトルを第２のコンパクト特徴ベクトルに処理することとを含むこと
・マルチモーダル特徴の第１のセットが、第１の物体のうちの１つまたは複数のテクスチャ特徴、色特徴、コンテキスト特徴、および視点特徴を含むこと、マルチモーダル特徴の第２のセットが、第２の物体のうちの１つまたは複数のテクスチャ特徴、色特徴、コンテキスト特徴、および視点特徴を含むこと
・所定の目標出力が、第１の画像内の第１の物体および第２の画像内の第２の物体が同じ物体を表すかどうかを示すこと
・個別の機械学習ロジックが第１の機械学習ロジックおよび第２の機械学習ロジックを含むこと、第１の機械学習ロジックがニューラルネットワークの第１のサブネットワークであり、第２の機械学習ロジックがニューラルネットワークの第２のサブネットワークであること
・交通状況の第１の観測値と交通状況に関する第２の観測値の関連付けに基づいて、第１の車両プラットフォームの出力デバイスを介して情報を出力すること
・関連付けに基づいて、交通状況に関連付けられた道路の動的状態を反映する動的マッピングデータを更新すること、動的マッピングデータに基づいて交通状況に接近している別の車両の位置を特定すること、他の車両プラットフォームの出力デバイスによる出力のために交通状況に接近している他の車両プラットフォームに通知データを送信すること
・第２の車両プラットフォームが、第２の車両プラットフォームの外部の外部環境に向けられた第２の視点を有する第２のセンサを含むこと、第２のセンサが、外部環境に含まれる第１の物体を反映する第２のセンサデータを取り込むこと、第２の車両プラットフォームが、第２の車両プラットフォームから第１の車両プラットフォームに第２のセンサデータを送信するための第２の通信ユニットを含むこと
・２つ以上のコンピューティングデバイスのうちの少なくとも１つによって具現化されるハードウェアサーバを含み、ハードウェアサーバが、類似性スコアに基づいて個別の機械学習ロジックを備える機械学習モデルを学習するように適合されること、ならびに機械学習モデルの第１のインスタンスが第１の車両プラットフォームにインストールされ、機械学習モデルの第２のインスタンスが第２の車両プラットフォームにインストールされること
のうちの１つまたは複数を各々オプションとして含みうる。
【００１０】
これらおよび他の態様のうちの１つまたは複数の他の実装形態は、非一時的コンピュータストレージデバイス上に符号化された方法の動作を実行するように構成された、対応するシステム、装置、およびコンピュータプログラムを含む。
【００１１】
本発明に係る情報処理方法は、
交通イベントに近接する二つ以上の異なる車両が有する画像センサによって取り込まれた二つ以上の画像を取得する画像取得ステップと、第一の車両が取得した第一の画像に基づいて第一の特徴セットを抽出し、第二の車両が取得した第二の画像に基づいて第二の特徴セットを抽出する抽出ステップと、前記第一および第二の特徴セットを、それぞれ異なる車両に対応する機械学習モデルを用いて、第一および第二の出力に変換する変換ステップと、前記第一の出力と前記第二の出力との差を定量化した類似性スコアを算出する算出ステップと、前記類似性スコアを用いて、前記第一の画像に含まれる第一の物体と、前記
第二の画像に含まれる第二の物体とを関連付ける関連付けステップと、を含む。
【００１２】
前記第一および第二の特徴セットは、複数タイプの特徴量の集合からなることを特徴としてもよい。
前記複数タイプの特徴量は、テクスチャに基づいた特徴量、色に基づいた特徴量、コンテキストに基づいた特徴量、前記画像センサの位置に関する情報、のうちの少なくとも一つを含むことを特徴としてもよい。
前記機械学習モデルは、前記複数タイプの特徴量に対して、前記類似性スコアの精度向上への寄与度に応じて重みを与えたモデルであることを特徴としてもよい。
前記変換ステップでは、前記複数タイプの特徴量のうち、前記類似性スコアの精度向上に寄与しない特徴量を削除することを特徴としてもよい。
前記第一および第二の出力を用いて算出した前記類似性スコアに基づいて前記機械学習モデルを学習させる学習ステップをさらに含むことを特徴としてもよい。
前記機械学習モデルの学習処理は、車両の走行環境の変化に伴って周期的に実行されることを特徴としてもよい。
前記関連付けが、車両の運転に関連する物体に対してのみ実行されることを特徴としてもよい。
前記関連付けの結果に基づいて、前記第一の画像内にある第一の物体と、前記第二の画像内にある第二の物体が同一の物体であるか否かを判定し、当該判定の結果に基づいて、交通の安全に関するさらなる処理を行うことを特徴としてもよい。
前記関連付けの結果に基づいて、前記第一または第二の車両が有する出力装置を介して情報提供を行うことを特徴としてもよい。
前記関連付けの結果に基づいて、前記交通イベントを反映したマップデータを生成するマップ生成ステップをさらに含むことを特徴としてもよい。
前記生成したマップデータを、前記交通イベントに近接した第三の車両に送信するマップ送信ステップをさらに含むことを特徴としてもよい。
【００１３】
本開示で提示される検出物体のコンパクト表現の分散可能学習および複数の車両によって得られた複数の観測値の関連付けのための新規技術は、いくつかの点で特に有利である。たとえば、本明細書に記載される技術は、物体を表すためのデータ量が大幅に削減された、検出物体のコンパクト表現を生成することができる。したがって、物体のコンパクト表現は、その固有の待ち時間および帯域幅制限にかかわらず、車両ネットワーク上で効率的に送信することができる。さらなる例として、本技術は、分散可能な方式で展開することができ、したがって、車両ネットワークの個々の協業車両内の実装に適している。さらに、検出物体のコンパクト表現は、様々な態様（たとえば、外観、テクスチャ、色、視点など）で検出物体を記述する特徴の包括的なセットから選択的に生成され、それにより、類似性の処理および観測値の関連付けの精度が大幅に改善される。本明細書に記載される技術は、物体監視、道路景観の３次元（３Ｄ）モデル化、交通状況の位置特定などの様々なアプリケーションで使用することができる。
【００１４】
さらなる非限定的な利点および利益は、外観の統一性、幾何学的近接度、および視点の一貫性などのマルチモダリティデータの豊富なセットが利用され、マルチビュー観測から同時に類似性プロパティを強化するのに役立つこと、関連付けのパフォーマンスが改善されること、ペアの画像がピクセルごとにどのように対応するかを学習することだけに限定されるのではなく、本明細書に記載される技術が、観測値が同じ物体からのものであるか否かを区別するために使用されうる高レベルの類似性をモデル化することができること、複数のコネクティッド車両によって得られた同時観測値が、（たとえば、リアルタイムまたはほぼリアルタイムで）関連付けることができること、システム構造がリアルタイム処理をサポートすること、類似性メトリックを学習するためにオフライン学習を使用することができ、学習されたモデルを車両プラットフォームに展開して、オブジェクトの異なる
カテゴリに対する類似性を評価することができ、したがって、場合によってはテンプレートの必要性を低減または排除すること、本明細書に記載される方法が異なるアプリケーションシナリオにおいて堅牢であること、ならびに学習された類似性メトリックが、照度、ポーズ、および視点の変化に対して一般的に不変であることである。
【００１５】
前述の利点は例として提供されており、この技術は多くの他の利点および利益を有しうることを理解されたい。
【００１６】
本開示は、添付図面の図において限定としてではなく例として示され、添付図面の図では、同様の参照番号は同様の要素を指すために使用される。
【図面の簡単な説明】
【００１７】
【図１】複数の車両によって得られた複数の観測値を関連付けるための例示的なシステムのブロック図である。
【図２】例示的なマルチビュー観測アプリケーションのブロック図である。
【図３】地理的地図上に物体を動的に配置するための例示的な方法のフローチャートである。
【図４Ａ】検出物体のコンパクト表現を学習し、複数の車両によって得られた複数の観測値を関連付けるための例示的な方法のフローチャートである。
【図４Ｂ】検出物体のコンパクト表現の分散可能学習、および複数の車両によって得られた複数の観測値の関連付けのための例示的な方法のフローチャートである。
【図５】検出物体間の類似性を処理するための例示的な方法のフローチャートである。
【図６】検出物体間の類似性を処理するための別の例示的な方法のフローチャートである。
【図７】特徴ベクトル処理ユニットの構成図である。
【図８】検出物体を記述するモダリティ特徴を抽出するための例示的な方法のフローチャートである。
【図９Ａ】交通状況を有する例示的な道路セグメントを示す図である。
【図９Ｂ】道路セグメントに位置する複数の車両によって得られた観測値を関連付けるための例示的な方法のフローチャートである。
【発明を実施するための形態】
【００１８】
本明細書に記載される技術は、複数の車両によって得られた観測値間の類似性が異なる視点を反映することを学習し、観測値を関連付けて、強化された物体の検出または分類、景観処理、ならびに通知、自動化された車両操縦、強化されたナビゲーション、ピアツーピア車両プラットフォームデータ送信などの自動応答を実現することができる。観測値の関連付けとは、そこに含まれる検出物体の類似性に基づいて、様々な車両によって取り込まれた複数の画像を関連付けることを指す。これにより、複数の車両によって取得された画像に含まれる物体が、同一の物体であるか否かを判定することができる。
以下でさらに詳細に記載されるように、この技術は、検出物体を限定的に記述したコンパクト表現を生成することを学習できる方法および対応するシステムを含む。学習プロセスが完了すると、学習されたモデル、コードなどである（それらに限定されない）システムの構成要素は、複数の車両やコンピューティングエンティティにわたって分散され、複数の画像内の検出物体間の類似性を処理し、それに応じてこれらの画像を関連付けることができる。
【００１９】
図１は、検出物体のコンパクト表現の分散可能学習、および複数の車両によって得られた複数の観測値の関連付けを行う例示的なシステム１００のブロック図である。図示されたように、システム１００は、サーバ１０１、およびネットワーク１０５を介して電子通
信用に結合された１つまたは複数の車両プラットフォーム１０３ａ…１０３ｎを含む。図１および残りの図では、参照番号の後の文字、たとえば「１０３ａ」は、その特定の参照番号を有する要素への参照を表す。それに続く文字を持たないテキスト内の参照番号、たとえば「１０３」は、その参照番号を有する要素のインスタンスへの一般的な参照を表す。図１に描写されたシステム１００は一例として提供され、システム１００や本開示によって考察されるさらなるシステムは、さらなる、またはより少ない構成要素を含みうるし、構成要素を組み合わせ、または１つもしくは複数の構成要素をさらなる構成要素に分割しうる。たとえば、システム１００は、任意の数の車両プラットフォーム１０３、ネットワーク１０５、またはサーバ１０１を含んでもよい。
【００２０】
ネットワーク１０５は、従来型、有線、またはワイヤレスであってもよいし、スター構成、トークンリング構成、または他の構成を含む多数の異なる構成を有してもよい。たとえば、ネットワーク１０５は、１つまたは複数のローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（たとえば、インターネット）、パーソナルエリアネットワーク（ＰＡＮ）、パブリックネットワーク、プライベートネットワーク、仮想ネットワーク、仮想プライベートネットワーク、ピアツーピアネットワーク、近接場ネットワーク（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣなど）、車両ネットワーク、複数のデバイスが通信しうる他の相互接続されたデータパスを含みうる。
【００２１】
ネットワーク１０５はまた、様々な異なる通信プロトコルでデータを送信するための電気通信ネットワークの部分に結合され、またはそれらを含んでもよい。例示的なプロトコルには、限定はしないが、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、伝送制御プロトコル（ＴＣＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、セキュアハイパーテキスト転送プロトコル（ＨＴＴＰＳ）、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、リアルタイムトランスポートプロトコル（ＲＴＰ）およびリアルタイムトランスポート制御プロトコル（ＲＴＣＰ）、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）、ファイル転送プロトコル（ＦＴＰ）、ウェブソケット（ＷＳ）、ワイヤレスアクセスプロトコル（ＷＡＰ）、様々なメッセージングプロトコル（ＳＭＳ、ＭＭＳ、ＸＭＳ、ＩＭＡＰ、ＳＭＴＰ、ＰＯＰ、ＷｅｂＤＡＶなど）、または他の適切なプロトコルが含まれる。いくつかの実施形態では、ネットワーク１０５は、ＤＳＲＣ（専用短距離通信）、ＷＡＶＥ、８０２．１１ｐ、ａ、３Ｇ、４Ｇ、５Ｇ＋ネットワーク、ＷｉＦｉ（登録商標）、衛星ネットワーク、車両間（Ｖ２Ｖ）ネットワーク、車両対インフラ／インフラ対車両（Ｖ２Ｉ／Ｉ２Ｖ）ネットワーク、車両対インフラ／車両対すべて（Ｖ２Ｉ／Ｖ２Ｘ）ネットワーク、または任意の他のワイヤレスネットワークなどの接続を使用するワイヤレスネットワークである。いくつかの実施形態では、ネットワーク１０５は、限定されたリソース、たとえば、かなりの送信待ち時間を引き起こしうる限定された通信帯域幅などを有する車両ワイヤレスネットワークである。図１は、サーバ１０１および車両プラットフォーム１０３に結合するネットワーク１０５用の単一のブロックを示しているが、上述されたように、ネットワーク１０５は、実際にはネットワークの任意の数の組合せを備えうることを理解されたい。
【００２２】
車両プラットフォーム１０３は、センサ１１３、プロセッサ１１５、メモリ１１７、通信ユニット１１９、車両データストア１２１、マルチビュー観測アプリケーション１２０、および追跡アプリケーション１２２を有するコンピューティングデバイス１５２を含む。コンピューティングデバイス１５２の例には、１つまたは複数のセンサ１１３、アクチュエータ、モチベータなどの車両プラットフォーム１０３の他の構成要素に結合された、仮想または物理コンピュータプロセッサ、制御ユニット、マイクロコントローラなどが含まれる。車両プラットフォーム１０３は、信号線１４１を介してネットワーク１０５に結合されてもよいし、他の車両プラットフォーム１０３やサーバ１０１との間でデータを送
受信してもよい。いくつかの実施形態では、車両プラットフォーム１０３は、あるポイントから別のポイントに移動することが可能である。車両プラットフォーム１０３の非限定的な例には、車両、自動車、バス、ボート、飛行機、バイオニックインプラント、ロボット、または非一時的コンピュータ電子機器（たとえば、プロセッサ、メモリ、もしくは非一時的コンピュータ電子機器の任意の組合せ）を有する任意の他のプラットフォームが含まれる。車両プラットフォーム１０３は、本明細書では車両と呼ばれる。
【００２３】
プロセッサ１１５は、様々な入出力、論理演算、数学演算を実行することにより、ソフトウェア命令（たとえばタスク）を実行する。プロセッサ１１５は、データ信号を処理する様々なコンピューティングアーキテクチャを有する。プロセッサ１１５は、物理的または仮想的であってもよいし、単一のコアまたは複数の処理ユニットやコアを含んでもよい。車両プラットフォーム１０３による実施形態では、プロセッサは、自動車などの車両プラットフォーム１０３に実装された電子制御ユニット（ＥＣＵ）でありうるが、他のタイプのプラットフォームも可能であり、考えられる。ＥＣＵは、センサデータを受信し、マルチビュー観測アプリケーション１２０によるアクセスや検索のために、車両データストア１２１に車両動作データとして記憶する。いくつかの実施形態では、ＥＣＵは、検出物体のコンパクト表現を生成するように学習されたモデル、機械学習ロジック（たとえば、ソフトウェア、コードなど）を実装する。たとえば、ＥＣＵは、ニューラルネットワークの学習されたサブネットワークを展開して、コンパクト特徴ベクトルの生成を実行する。いくつかの実装形態では、プロセッサ１１５は、電子表示信号を生成し入出力デバイスに提供すること、画像の表示をサポートすること、画像を取り込み送信すること、様々なタイプの物体認識および特徴抽出を含む複雑なタスクを実行することなどが可能である。いくつかの実装形態では、プロセッサ１１５は、バス１５４を介してメモリ１１７に結合されて、そこからデータおよび命令にアクセスし、そこにデータを記憶する。バス１５４は、たとえば、センサ１１３、メモリ１１７、通信ユニット１１９、または車両データストア１２１を含む、車両プラットフォーム１０３の他の構成要素にプロセッサ１１５を結合する。
【００２４】
マルチビュー観測アプリケーション１２０は、複数の画像内から検出された物体（検出物体）のコンパクト表現を生成し、コンパクト表現を使用して検出物体間の類似性を特定し、特定された類似性に基づいて複数の画像を関連付けるコンピュータロジックである。図１に示されたように、サーバ１０１および車両プラットフォーム１０３ａ…１０３ｎは、マルチビュー観測アプリケーション１２０のインスタンス１２０ａおよび１２０ｂ…１２０ｎを含む。いくつかの実施形態では、各インスタンス１２０ａおよび１２０ｂ…１２０ｎは、図２に描写されたマルチビュー観測アプリケーション１２０の１つまたは複数の構成要素を備え、インスタンスがどこに存在するかに応じて、本明細書に記載された機能を完全または部分的に実行するように構成される。いくつかの実施形態では、マルチビュー観測アプリケーション１２０は、１つもしくは複数のコンピュータデバイスの１つもしくは複数のプロセッサによって実行可能なソフトウェア、限定はしないが、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などのハードウェア、ハードウェアとソフトウェアの組合せなどを使用して実装される。マルチビュー観測アプリケーション１２０は、センサデータまたは車両データを受信および処理し、バス１５４を介して、メモリ１１７、通信ユニット１１９、車両データストア１２１などの車両プラットフォーム１０３の他の要素と通信する。マルチビュー観測アプリケーション１２０は、少なくとも図２〜図９Ｂを参照して以下で詳細に記載される。
【００２５】
追跡アプリケーション１２２は、時間の経過に伴って物体の追跡を実行するコンピュータロジックである。図１に示されたように、サーバ１０１または車両プラットフォーム１０３ａ…１０３ｎは、追跡アプリケーション１２２のインスタンス１２２ａおよび１２２ｂ…１２２ｎを含むことができる。いくつかの実施形態では、追跡アプリケーション１２
２は、１つもしくは複数のコンピュータデバイスの１つもしくは複数のプロセッサによって実行可能なソフトウェア、限定はしないが、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などのハードウェア、ハードウェアとソフトウェアの組合せなどを使用して実装される。いくつかの実施形態では、追跡アプリケーション１２２は、マルチビュー観測アプリケーション１２０によって特定された物体の類似性に基づいて、物体追跡を実行して複数の画像内に取り込まれた様々な物体を監視する。いくつかの実施形態では、マルチビュー観測アプリケーション１２０および追跡アプリケーション１２２は、正確な道路景観分析を実現するために、他のアプリケーション（たとえば、位置特定アプリケーション、ナビゲーションアプリケーション、３Ｄモデル化アプリケーションなど）に組み込まれ、それにより、これらの他のアプリケーションの機能が容易になる。
【００２６】
メモリ１１７は、プロセッサ１１５により、またはプロセッサ１１５とともに処理するための、命令、データ、コンピュータプログラム、ソフトウェア、コード、ルーチンなどを包含、記憶、通信、伝搬、または移送することができる、任意の有形の非一時的な装置またはデバイスである、非一時コンピュータ使用可能（たとえば、読取り可能、書込み可能など）媒体を含む。たとえば、メモリ１１７は、マルチビュー観測アプリケーション１２０または追跡アプリケーション１２２を記憶する。いくつかの実装形態では、メモリ１１７は、揮発性メモリおよび不揮発性メモリのうちの１つまたは複数を含む。たとえば、メモリ１１７には、限定はしないが、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、ディスクリートメモリデバイス（ＰＲＯＭ、ＦＰＲＯＭ、ＲＯＭ）、ハードディスクドライブ、光ディスクドライブ（ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）など）が含まれる。メモリ１１７は、単一のデバイスであってもよいし、または複数のタイプのデバイスおよび構成を含んでもよいことを理解されたい。
【００２７】
通信ユニット１１９は、ワイヤレスまたは有線の接続を使用して（たとえば、ネットワーク１０５を介して）通信可能に結合された他のコンピューティングデバイスにデータを送信し、他のコンピューティングデバイスからデータを受信する。通信ユニット１１９は、データを送信および受信するための１つまたは複数の有線インターフェースまたはワイヤレストランシーバを含みうる。通信ユニット１１９は、ネットワーク１０５に結合し、他の車両プラットフォーム１０３またはサーバ１０１などの他のコンピューティングノードと通信する。通信ユニット１１９は、上述された通信方法などの標準的な通信方法を使用して、他のコンピューティングノードとデータを交換する。
【００２８】
センサ１１３は、車両プラットフォーム１０３に適した任意のタイプのセンサを含む。センサ１１３は、車両プラットフォーム１０３またはその内部環境および外部環境の特性を特定するのに適した任意のタイプの信号データを収集するように構成される。センサ１１３の非限定的な例には、様々な光学センサ（ＣＣＤ、ＣＭＯＳ、２Ｄ、３Ｄ、光検出および測距（ＬＩＤＡＲ）、カメラなど）、音響センサ、動き検出センサ、気圧計、高度計、熱電対、湿気センサ、赤外線（ＩＲ）センサ、レーダーセンサ、他の光センサ、ジャイロスコープ、加速度計、速度計、ステアリングセンサ、ブレーキセンサ、スイッチ、車両インジケータセンサ、フロントガラスワイパセンサ、地理的位置センサ、方位センサ、ワイヤレストランシーバ（たとえば、セルラー、ＷｉＦｉ（登録商標）、近距離無線など）、ソナーセンサ、超音波センサ、タッチセンサ、近接センサ、距離センサなどが含まれる。いくつかの実施形態では、１つまたは複数のセンサ１１３は、車両プラットフォーム１０３の周辺の状況的背景を取り込むために、車両プラットフォーム１０３の前側、後側、右側、または左側に設けられた外向きセンサを含む。
【００２９】
いくつかの実施形態では、センサ１１３は、動画像および静止画像を含む画像を記録す
るように構成された１つまたは複数の画像センサ（たとえば、光学センサ）を含み、任意の適用可能なフレームレートを使用してビデオストリームのフレームを記録し、任意の適用可能な方法を使用して取り込まれたビデオ画像および静止画像を符号化または処理する。いくつかの実施形態では、画像センサ１１３は、それらのセンサ範囲内の周囲環境の画像を取り込むことができる。たとえば、車両プラットフォームを有する実施形態では、画像センサ１１３は、道路、建物、路側構造物、静的な道路物体（たとえば、カラーコーン（登録商標）、バリケード、道路標識、車線、道路標示など）、または動的な道路物体（たとえば、車両プラットフォーム１０３、歩行者、自転車、動物など）など）を含む、車両プラットフォーム１０３の周辺の環境を取り込むことができる。いくつかの実施形態では、画像センサ１１３は、車両屋根の上または車両プラットフォーム１０３の内部に取り付けられ、車両プラットフォーム１０３の移動方向に対して任意の方向（前方、後方、側方、上方、下方向きなど）で検知しうる。いくつかの実施形態では、画像センサ１１３は、多方向（たとえば、ＬＩＤＡＲ）に向けられる。いくつかの実施形態では、異なる車両プラットフォーム１０３に設置された画像センサ１１３は、異なる視点を有しうるし、異なる設定、設置、または構成で構成されうる。
【００３０】
車両データストア１２１は、様々なタイプのデータを記憶する非一時的記憶媒体を含む。たとえば、車両データストア１２１は、コントローラエリアネットワーク（ＣＡＮ）バスなどのバスを使用して、所与の車両プラットフォーム１０３の異なる構成要素間で通信される車両データを記憶する。いくつかの実施形態では、車両データは、これらの構成要素の動作状態、たとえば、トランスミッション、速度、加速度、減速度、車輪速度（１分当たりの回転数−ＲＰＭ）、ステアリング角、制動力などを監視するための、車両プラットフォーム１０３の異なる構成要素に結合された複数のセンサ１１３から収集された車両動作データを含む。いくつかの実施形態では、車両データは、移動方向、車両プラットフォーム１０３の地理的位置を示す車両地理的位置（たとえば、ＧＰＳ（全地球測位システム）座標）を含む。
【００３１】
いくつかの実施形態では、車両データは、車両プラットフォーム１０３の１つまたは複数の画像センサ１１３によって取り込まれた道路景観画像、およびこれらの画像に関連付けられた画像データも含む。いくつかの実施形態では、画像データは、画像が取り込まれた日時を示す画像タイムスタンプ、画像センサ１１３のセンサ位置、およびセンサ方位、または他のカメラ、カメラ位置、車両プラットフォームセンサ、ＣＡＮなど、画像を取り込むときのデータを含む。いくつかの実施形態では、画像データは、画像内で検出された１つまたは複数の物体も記述する。たとえば、画像データは、画像内の各検出物体のモダリティ特徴、初期表現、またはコンパクト表現を含む。初期表現は、本明細書では「検出物体の初期特徴表現」と呼ばれるし、コンパクト表現は、本明細書では「検出物体のコンパクト特徴表現」と呼ばれる。
【００３２】
いくつかの実施形態では、モダリティ特徴は、異なる画像内の検出物体が実際に同じであるかどうかを判定する際に有用である、検出物体を記述する１つまたは複数の特徴を含む（本明細書では単に特徴とも呼ばれる）。モダリティ特徴の例には、限定はしないが、マルチスケールテクスチャ特徴、色特徴、コンテキスト特徴、視点特徴などが含まれうる。他のモダリティ特徴も可能であり、考えられる。いくつかの実施形態では、検出物体の初期表現とは、モダリティ特徴の豊富なセットを有する、様々な見方によって検出物体を包括的に表現する初期特徴ベクトルである。いくつかの実施形態では、検出物体のコンパクト表現は、対応する初期特徴ベクトルよりも少ない数のモダリティ特徴を有する、検出物体を記述するコンパクト特徴ベクトルである。コンパクト特徴ベクトルは、対応する初期特徴ベクトルと比較して、より低い次元で表された特徴となる（したがって、データサイズがより小さい）。
【００３３】
いくつかの実施形態では、車両データストア１２１は、（単にモデルとも呼ばれる）表現学習モデルのモデルデータを記憶する。いくつかの実施形態では、モデルは、検出物体を効率的に表現するコンパクト表現（たとえば、コンパクト特徴ベクトル）を生成し、当該コンパクト表現を使用して検出物体の類似性を特定するように学習された機械学習モデルである。いくつかの実施形態では、モデルは、畳み込みニューラルネットワーク、サポートベクトルマシンなどの形態で実装される。様々なタイプの教師あり学習アルゴリズムや、教師なし学習アルゴリズムを用いて機械学習モデルを実装するための他のシステムアーキテクチャも可能であり、考えられる。いくつかの実施形態では、モデルデータは、モデルの１つまたは複数のパラメータを含む。たとえば、モデルデータは、初期特徴ベクトルをコンパクト特徴ベクトルにマッピングするための、学習プロセスから学習された機械学習ロジックのマッピングパラメータを含む。
【００３４】
サーバ１０１は、プロセッサ、メモリ、およびネットワーク通信能力（たとえば、通信ユニット）を含むハードウェアサーバや仮想サーバを含む。いくつかの実施形態では、サーバ１０１は、システム１００の他のエンティティ（たとえば、車両プラットフォーム１０３）よりも大きいコンピューティング能力およびコンピューティングリソースを有する。サーバ１０１は、信号線１４５によって表されるように、ネットワーク１０５に通信可能に結合される。いくつかの実施形態では、サーバは、システム１００の他のエンティティ、たとえば、１つまたは複数の車両プラットフォーム１０３との間でデータを送受信する。描写されたように、サーバ１０１は、マルチビュー観測アプリケーション１２０ａや追跡アプリケーション１２２ａのインスタンスを含む。
【００３５】
サーバ１０１は、これらのアプリケーションによるアクセスや検索のための様々なタイプのデータを記憶するデータストア１２４も含む。たとえば、データストア１２４は、車両プラットフォーム１０３から受信された検出物体のコンパクト表現（たとえば、コンパクト特徴ベクトル）、学習データ、表現学習モデルのモデルデータなどを記憶できる。いくつかの実施形態では、学習データは、学習画像の複数のグループ、および学習画像の各グループに関連付けられた所定の目標出力を含む。いくつかの実施形態では、所定の目標出力は、学習画像のグループに含まれる物体が同じ物体を表すかどうかを示す。たとえば、学習データは、（肯定的な学習画像に含まれる物体が同じであることを示す）所定の目標出力＝「１」を有する肯定的な学習画像、および（否定的な学習画像に含まれる物体が同じでないことを示す）所定の目標出力＝「０」を有する否定的な学習画像を含む。いくつかの実施形態では、モデルデータは、学習プロセス内の様々なポイントにおけるモデルのパラメータを含む。たとえば、モデルデータは、検出物体のコンパクト特徴ベクトルを生成するように学習された１つまたは複数の機械学習ロジックのマッピングパラメータ、類似性スコアを生成するように学習された１つまたは複数の機械学習ロジックのスコアリングパラメータなどを含む。いくつかの実施形態では、モデルデータはモデルのモデル構成も含む。たとえば、モデル構成は、モデルの学習プロセスが完了した（たとえば、所定の数の学習サイクルや、所定のフィードバック差が満たされたなどの）ときを示す収束ポイントを定義する。
【００３６】
他の変形や組合せも可能であり、考えられる。図１に示されたシステム１００は例示的なシステムの代表であり、様々な異なるシステム環境およびシステム構成が考察され、本開示の範囲内にあることを理解されたい。たとえば、様々な動作や機能は、サーバからクライアントへ、またはその逆に移動されうるし、データは単一のデータストアに集約されるか、またはさらなるデータストアにさらにセグメント化されうるし、いくつかの実装形態は、さらなるまたはより少ないコンピューティングデバイス、サービス、ネットワークを含みうるし、クライアントまたはサーバ側の様々な機能を実装しうる。さらに、システムの様々なエンティティは、単一のコンピューティングデバイスもしくはシステムに統合されうるし、またはさらなるコンピューティングデバイスもしくはシステムなどに分割さ
れうる。
【００３７】
図２は、例示的なマルチビュー観測アプリケーション１２０のブロック図である。描写されたように、マルチビュー観測アプリケーション１２０は、検出器２０２、アソシエータ２０４、ローカライザ２０６、およびマッパ２０８を含む。アソシエータ２０４は、特徴抽出器２５０、モダリティプロセッサ２５２、複数のコンパクト表現生成器２５４、類似性スコアラ２５６、識別器２５８、および関連付けプロセッサ２６０を含む。マルチビュー観測アプリケーション１２０およびアソシエータ２０４は、限定はしないが、構成エンジン、暗号化／暗号解読エンジンなどのさらなる構成要素を含んでもよいし、これらの様々な構成要素は、単一のエンジンに組み合わされるか、もしくはさらなるエンジンに分割されてもよい。
【００３８】
検出器２０２、アソシエータ２０４、ローカライザ２０６、およびマッパ２０８は、ソフトウェア、ハードウェア、または前述の組合せとして実装される。いくつかの実施形態では、検出器２０２、アソシエータ２０４、ローカライザ２０６、およびマッパ２０８は、バス１５４、またはプロセッサ１１５により、互いに、コンピューティングデバイス１５２の他の構成要素に通信可能に結合される。同様に、アソシエータ２０４に含まれる特徴抽出器２５０、モダリティプロセッサ２５２、複数のコンパクト表現生成器２５４、類似性スコアラ２５６、識別器２５８、および関連付けプロセッサ２６０も、ソフトウェア、ハードウェア、または前述の組合せとして実装される。いくつかの実施形態では、特徴抽出器２５０、モダリティプロセッサ２５２、複数のコンパクト表現生成器２５４、類似性スコアラ２５６、識別器２５８、および関連付けプロセッサ２６０は、バス１５４やプロセッサ１１５により、互いに、マルチビュー観測アプリケーション１２０の他の構成要素に、またはコンピューティングデバイス１５２の他の構成要素に通信可能に結合される。いくつかの実施形態では、構成要素１０３、２０２、２０４、２０６、２０８、２５０、２５２、２５４、２５６、２５８、２６０のうちの１つまたは複数は、それらの機能を提供するためにプロセッサ１１５によって実行可能な命令のセットである。さらなる実施形態では、構成要素１０３、２０２、２０４、２０６、２０８、２５０、２５２、２５４、２５６、２５８、２６０のうちの１つまたは複数は、メモリ１１７に記憶可能であり、それらの機能を提供するためにプロセッサ１１５によってアクセス可能かつ実行可能である。前述の実施形態のいずれにおいても、これらの構成要素１０３、２０２、２０４、２０６、２０８、２５０、２５２、２５４、２５６、２５８、２６０は、プロセッサ１１５およびコンピューティングデバイス１５２の他の構成要素との協働および通信に適合される。
【００３９】
マルチビュー観測アプリケーション１２０、その構成要素２０２、２０４、２０６、２０８、ならびにアソシエータ２０４の構成要素２５０、２５２、２５４、２５６、２５８、および２６０は、少なくとも図３〜図９Ｂを参照して以下でさらに詳細に記載される。
【００４０】
本明細書の他の箇所で説明されたように、マルチビュー観測アプリケーション１２０は、複数の車両プラットフォーム１０３によって取り込まれた複数の画像を関連付けるコンピュータロジックである。典型的なシナリオでは、同じ道路エリアに位置する複数の車両プラットフォーム１０３は、その道路エリアに存在する同じ物体を、複数の画像として異なる視点から取り込む。いくつかの実施形態では、これらの複数の画像は、画像内の物体を検出し、検出物体間の類似性を特定し、特定された物体の類似性に基づいて複数の画像を関連付けることによって関連付けられる。
【００４１】
いくつかの実施形態では、マルチビュー観測アプリケーション１２０は、交通状況に近接した、２つ以上の異なる車両プラットフォームの２つ以上の車両プラットフォームセンサによって取り込まれた２つ以上の画像を受信する。
そして、マルチビュー観測アプリケーション１２０は、２つ以上の画像のうちの第１の画像内にある第１の物体から、マルチモーダル特徴の第１のセットを抽出する。第１の画像は、２つ以上の車両プラットフォーム１０３のうちの第１の車両プラットフォーム１０３に関連付いた画像である。たとえば、第１の車両プラットフォーム１０３のセンサは画像を取り込み、センサは、マルチビュー観測アプリケーション１２０に画像を備える画像データを提供するために結合され、マルチビュー観測アプリケーション１２０は、交通状況の地理的領域内に位置する１つまたは複数の他の車両プラットフォーム１０３によって取り込まれた画像などの、交通状況に関連付けられた１つまたは複数の他の画像とその画像をペアにする。
たとえば、マルチビュー観測アプリケーション１２０は、２つ以上の画像のうちの第２の画像内にある第２の物体から、マルチモーダル特徴の第２のセットを抽出する。第２の画像は、２つ以上の車両プラットフォーム１０３のうちの第２の車両プラットフォーム１０３に関連付いた画像である。
【００４２】
いくつかの実施形態では、（たとえば、ＥＣＵまたはそれが有しうる他の計算リソースを介して）コンピューティングデバイスである第１の車両プラットフォームは、第１の車両プラットフォームの外部環境に向けられた第１の視点を有する第１のセンサであって、第１のセンサが外部環境に含まれる第１の物体を反映する第１のセンサデータを取り込む第１のセンサ、および、第２の車両プラットフォームから第２のセンサデータを受信するための第１の通信ユニットであって、第２のセンサデータが第２の視点から外部環境に含まれる第２の物体を反映する、第１の通信ユニットなどの、本明細書で説明された要素のいずれかを含む。
いくつかの実施形態では、（たとえば、ＥＣＵまたはそれが有しうる他の計算リソースを介して）コンピューティングデバイスである第２の車両プラットフォームは、同様に、第２の車両プラットフォームの外部環境に向けられた第２の視点を有する第２のセンサであって、第２のセンサが外部環境に含まれる第１の物体を反映する第２のセンサデータを取り込む第２のセンサ、および、第２の車両プラットフォームから第１の車両プラットフォームに第２のセンサデータを受信するための第２の通信ユニットを含む。
【００４３】
いくつかの実施形態では、ハードウェアサーバは、少なくとも１つのコンピューティングデバイスによって具現化され、ハードウェアサーバは、類似性スコアに基づいて個別の機械学習ロジックを備える機械学習モデルを学習するように適合され、機械学習モデルの第１のインスタンスは、第１の車両プラットフォームにインストールされ、機械学習モデルの第２のインスタンスは、第２の車両プラットフォームにインストールされる。
【００４４】
いくつかの実施形態では、マルチビュー観測アプリケーション１２０は、第１の画像内の第１の物体および第２の画像内の第２の物体などを検出する。検出は、場合によっては、それぞれの車両プラットフォーム１０３上で動作するアプリケーション１２０のインスタンスを介して行われる。車両プラットフォーム１０３の移動や動作に関連する（たとえば、運転に関連する）物体を含む画像は、マルチビュー観測アプリケーション１２０のインスタンスによって識別され、次いで、本明細書の他の箇所で説明されたペアの入力を形成するようにペアにされる。たとえば、上記の例によると、マルチビュー観測アプリケーション１２０は、「第１の画像に含まれる第１の物体による、物体の第１のセットが運転に関連する」と特定し、次いで、「第２の画像に含まれる第２の物体による、物体の第２のセットが運転に関連する」と特定する。これらの運転関連入力（たとえば、画像、センサデータのセットなど）は、次いで、（たとえば、ペアが２つ以上の入力を含む場合）ペアにされる。
【００４５】
いくつかの実施形態では、類似性学習に関連するものとして画像内の物体を特定することに加えて、マルチビュー観測アプリケーション１２０は、所与の画像が取り込まれた地
理的位置を記述する地理的位置データを含む画像関連データを受信しうるし、画像は、（道路または交通状況の異なる視点を取り込む画像がそれらの地理的位置データに基づいて識別でされうるように）その地理的位置を包含する対応するエリアまたは領域に基づいてさらにペアにされうる。
【００４６】
いくつかの実施形態では、マルチビュー観測アプリケーション１２０は、本明細書の他の箇所で説明されたように、個別の機械学習ロジックを使用して、マルチモーダル特徴の第１のセットおよびマルチモーダル特徴の第２のセットを処理し、それぞれ、第１の出力および第２の出力を生成する。場合によっては、（いくつの画像が同時に処理されているかに応じてＮセットまでの）マルチモーダル特徴の第１および第２のセットは、正規化されて組み合わされる。たとえば、第１および第２の画像を含む上記の例では、マルチモーダル特徴の第１および第２のセットは、別々に正規化され、次いで、それぞれのマルチモーダル初期特徴ベクトル（たとえば、第１のベクトル、第２のベクトルなど）として組み合わされる。
【００４７】
処理に応答して、マルチビュー観測アプリケーション１２０は、第１の出力および第２の出力を使用して、マルチモーダル特徴の第１のセットとマルチモーダル特徴の第２のセットとの間の差を定量化する類似性スコアを生成する。類似性スコアを使用して、マルチビュー観測アプリケーション１２０は、本明細書の他の箇所で説明されたように、第１の車両プラットフォーム１０３に関連付けられた第１の画像によって反映された交通状況の第１の観測値と、第２の車両プラットフォーム１０３に関連付けられた第２の画像によって反映された交通状況の第２の観測値を関連付ける。いくつかの実施形態では、そのような画像関連付けは、画像内で検出された物体のコンパクト特徴表現を使用して実行される。これらのコンパクト特徴表現は、検出された物体を限定的に記述するものであるが、データ量が小さいため、待ち時間および帯域幅制限にかかわらず車両ネットワーク上で効率的に送信することができる。
【００４８】
上記の例を続けると、いくつかの実施形態では、マルチビュー観測アプリケーション１２０は、交通状況の第１の観測値と交通状況に関する第２の観測値の関連付けに基づいて、第１の車両プラットフォーム１０３の出力デバイスを介して情報を出力する。たとえば、車両プラットフォームは、限定はしないが、通知、ナビゲーション情報、マルチメディア情報、設定などを表示するためのタッチスクリーン、サウンド情報を配信するためのオーディオ再生デバイス（たとえば、スピーカ）、ユーザにテキスト情報またはグラフィック情報を提示するためのディスプレイ／モニタなどの、ユーザまたは他のデバイスに情報を出力または表示するように構成された任意のデバイスを備える、バスに結合された出力デバイスを含む。出力情報は、ドライバや同乗者、または、他のデバイスによって理解されうるテキスト、グラフィック、触覚、オーディオ、ビデオ、および他の情報であってもよいし、あるいは、車両プラットフォーム１０３や他のコンピューティングデバイスのオペレーティングシステムによって読取り可能であるデータ、ロジック、プログラミングである。出力デバイスは、直接的にまたは介在するコントローラを介して、車両プラットフォーム１０３の他の構成要素に結合される。いくつかの実装形態では、１組の出力デバイス２２１は、車両プラットフォーム１０３の設定や制御（たとえば、ドライバ制御、インフォテインメント制御、ガイダンス制御、安全制御など）を調整するために人が対話する制御パネルに含まれるか、または制御パネルを形成する。
【００４９】
いくつかの実施形態では、上記の例における第１または第２の車両プラットフォームなどの車両プラットフォーム１０３上で動作するナビゲーションアプリケーションは、交通状況に含まれる物体や、交通状況の動的状態に対する変化を示す動的情報を提示する。交通状況としてのこの利点は、しばしば動的または半動的／静的であり、時間（分、時間、日など）とともに変化する可能性が高い。さらに、交通状況を形成する様々な物体は、本
明細書で説明された要因に起因して、異なる角度および距離から異なるように見える。マルチビュー観測アプリケーション１２０による処理は、所与の地理的エリアの複数の視点が取り込まれ、そのエリア内の物体のタイプおよびアイデンティティを確実に特定するように処理されうることを説明する。これらの特定は、次いで、そのエリアを交通状況または景観に分類するために使用され、そのエリア内の、またはそのエリアに接近する車両プラットフォーム１０３に関連する出力を生成するために使用される。加えて、前述の出力のすべては、地理的位置データとともに、（実際面で、車両プラットフォーム１０３が移動するあらゆる道路を反映することができる）利用可能なデータのあらゆるエリアの動的地図を反映する動的マッピングデータのデータベースに記憶される。観測値用のタイムスタンプデータも記憶されるので、交通状態および交通状態に対する変化は、リアルタイムまたは（たとえば、待ち時間、データ遅延などにより）ほぼリアルタイムで、監視、予測、および検出され、車両プラットフォーム１０３のユーザに表示されうるナビゲーションルート、ルート提案、警報、および他の情報を生成するために使用することができる。
【００５０】
いくつかの実施形態では、マルチビュー観測アプリケーション１２０によって実行される機能は、地理的地図上に物体を動的に配置する際に使用される。図３は、地理的地図上に物体を動的に配置するための例示的な方法３００のフローチャートである。
ブロック３０２において、車両プラットフォーム１０３の画像センサ１１３は、道路景観の画像を取り込む。
ブロック３０４において、検出器２０２は、取り込まれた画像内の１つまたは複数の物体を検出する。図３に描写されたように、画像取込みおよび物体検出は、複数の個々の車両プラットフォーム１０３において実行される。
【００５１】
ブロック３０６において、アソシエータ２０４は、複数の車両プラットフォーム１０３によって異なる視点から取り込まれた画像を関連付ける。たとえば、アソシエータ２０４は、取り込まれた画像内で検出された物体間の類似性を特定し、物体の類似性に基づいて、取り込まれた画像を関連付ける。いくつかの実施形態では、互いに関連付けられた画像は、同じ検出物体を含む。
ブロック３０８において、ローカライザ２０６は検出物体の位置を特定する。たとえば、ローカライザ２０６は、同じ検出物体を含む関連画像に対して視覚処理を適用して、検出物体の地理的位置（たとえば、ＧＰＳ座標）を計算する。
ブロック３１０において、マッパ２０８は、検出物体を、それらの特定された位置に基づいて地理的地図上にマッピングする。たとえば、検出物体は、それらの地理的位置座標を使用して地理的地図上に配置される。マッパ２０８はまた、検出物体の位置が時間とともに変化するにつれて、地理的地図を更新する。
【００５２】
図４Ａは、複数の画像に含まれる検出物体のコンパクト表現を学習し、複数の車両から受信された複数の画像を関連付けるための例示的な方法４００のフローチャートである。
ブロック４０２において、車両プラットフォーム１０３の画像センサ１１３は、車両プラットフォーム１０３が道路に沿って移動するにつれて、道路景観の画像を取り込む。いくつかの実施形態では、これらの道路景観画像は、あらかじめ定義されたレート／間隔（たとえば、５秒ごと、１０秒ごと、３０秒ごとなど）で取り込まれる。
ブロック４０４において、検出器２０２は、取り込まれた画像内の１つまたは複数の物体を検出する。たとえば、検出器２０２は、（たとえば、視覚アルゴリズムを使用して）取り込まれた画像上で物体認識を実行し、道路景観内に存在する１つまたは複数の物体を検出する。
ブロック４０６において、特徴抽出器２５０は検出物体の特徴を抽出する。たとえば、特徴抽出器２５０は、取り込まれた画像を処理して、画像内の各検出物体を記述する１つまたは複数のモダリティ特徴を特定する。
【００５３】
図８は、検出物体を記述するモダリティ特徴を抽出するための例示的な方法８００のフローチャートである。
ブロック８０２において、特徴抽出器２５０は、画像データを処理して、検出物体の１つまたは複数のテクスチャ特徴を特定する。いくつかの実施形態では、テクスチャ特徴は、検出物体（たとえば、フード、ホイール、バンパーなど）の様々な部分のテクスチャ（たとえば、幾何学的形状、構造、テクスチャパターンなど）を記述するものである。異なる部分のテクスチャは異なるスケールであってもよい。
ブロック８０４において、特徴抽出器２５０は、検出物体の１つまたは複数の色特徴を特定する。たとえば、特徴抽出器２５０は、縁石にある駐車場が黒であり、道路を横切る歩行者が青い服を着用し、ピンクの傘を持っていること等を特定する。
【００５４】
ブロック８０６において、特徴抽出器２５０は、検出物体の１つまたは複数のコンテキスト特徴を特定する。いくつかの実施形態では、コンテキスト特徴は、検出物体の周辺にあるバックグラウンド環境を記述する特徴である。いくつかの実施形態では、画像内の検出物体を示す第１の境界ボックスごとに、特徴抽出器２５０は、第１の境界ボックスを囲む第２の境界ボックス内の画像領域を処理して、検出物体に関連付けられた背景コンテキストを特定する。いくつかの実施形態では、第２の境界ボックスは所定の形状およびサイズを有する。たとえば、図８に描写されたように、画像内の境界ボックス８１０によって示される検出された車両に対して、特徴抽出器２５０は境界ボックス８１２内の画像領域を処理する。この例では、境界ボックス８１２は、境界ボックス８１０と同じ長方形の形状を有し、境界ボックス８１０の周辺の２０％のさらなる画像領域をカバーする。特徴抽出器２５０は、境界ボックス８１２内の画像データを処理し、検出された車両が縞模様の横断歩道と平行に走行していると判断し、したがって、検出された車両が交差点を通り抜けていると判断する。
【００５５】
コンテキスト特徴は、特に、取り込まれた画像が同一の外観を有する物体を含むときの類似性処理において有用である。一例として、第１の画像が、第２の画像内の第２の自動車と同じ外観を有する第１の自動車を含むことを考える。第１の自動車に関連付けられたコンテキスト特徴は、第１の自動車が道路上を走行していることを示すが、第２の自動車に関連付けられたコンテキスト特徴は、第２の自動車が建物の前に駐車していることを示す。したがって、第１の自動車および第２の自動車は全く同じに見えるが、第１の自動車および第２の自動車は、コンテキスト特徴によって示されたそれらの周囲環境が異なるので、同じ物体を表さないと判定される。
【００５６】
ブロック８０８において、特徴抽出器２５０は、検出物体の１つまたは複数の視点特徴を特定する。視点特徴とは、検出物体を含む画像が取り込まれた視点を示すものである。いくつかの実施形態では、視点特徴は、検出物体を含む画像を取り込む際の車両プラットフォーム１０３の移動方向、ならびに画像センサ１１３のセンサ位置およびセンサ方位を含む。いくつかの実施形態では、特徴抽出器２５０は、画像タイムスタンプを使用して車両データから車両プラットフォーム１０３の移動方向を取り出す。特徴抽出器２５０は、車両データストア１２１内の画像に関連付けられた画像データから画像センサ１１３のセンサ位置およびセンサ方位を取り出してもよい。一例として、特徴抽出器２５０は、車両プラットフォーム１０３が北方向に移動していると判断できるし、画像センサ１１３は、検出物体を含む画像を取り込むときに、２７５／３６０°のセンサ方位で車両プラットフォーム１０３の正面に設けられる。
【００５７】
視点特徴を使用することは、類似性処理において特に有利である。一例として、第１の画像が、第２の画像内の第２の事故車両に類似する第１の事故車両を含むことを考える。特徴抽出器２５０は、北方向に移動する第１の車両プラットフォーム１０３の左側に設けられた画像センサによって第１の画像が取り込まれ、南方向に移動する第２の車両プラッ
トフォーム１０３の左側に設けられた画像センサによって第２の画像が取り込まれたと判断する。この場合、第１の事故車両および第２の事故車両は、視点特徴によって示されるそれらが取り込まれた視点が整合するので、同じ物体を表すものとして判断される。
【００５８】
図４Ａを再び参照すると、ブロック４０８において、モダリティプロセッサ２５２は、画像内の検出物体を記述するモダリティ特徴を処理する。いくつかの実施形態では、モダリティプロセッサ２５２は、モダリティ特徴を正規化して連結し、検出物体の初期表現４２０を生成する。具体的には、検出物体を記述するモダリティ特徴は、あらかじめ定義された規格に適合するように変換または再編成されうる。次いで、モダリティプロセッサ２５２は、正規化されたモダリティ特徴を、検出物体を包括的に記述する初期特徴ベクトルに集約する。いくつかの実施形態では、検出物体の初期特徴ベクトルは、検出物体に関連付けられたテクスチャ特徴、色特徴、コンテキスト特徴、視点特徴などを有するモダリティ特徴の完全なセットである。結果として、検出物体の初期特徴ベクトルは、そこに含まれる多数のモダリティ特徴に対応する大きい特徴次元（したがって、大きいデータサイズ）を有するデータとなる。
【００５９】
ブロック４１０において、コンパクト表現生成器２５４は、検出物体のコンパクト表現を生成する。具体的には、コンパクト表現生成器２５４は、検出物体の初期表現４２０を、検出物体のコンパクト表現４２２にマッピングする。たとえば、コンパクト表現生成器２５４は、検出物体を表す初期特徴ベクトルを、検出物体を表すコンパクト特徴ベクトルにマッピングする。いくつかの実施形態では、コンパクト特徴ベクトルは、対応する初期特徴ベクトルと比較してより少ない数のモダリティ特徴を備える（したがって、より低い特徴次元およびより小さいデータサイズを有する）。
【００６０】
図４Ａに描写されたように、画像取込み、物体検出、特徴抽出、モダリティ処理、およびコンパクト表現の生成は、異なる視点から取り込まれた複数の画像内の検出物体のコンパクト表現４２２を生成するために、複数の個別の車両プラットフォーム１０３において実行される。本明細書の他の箇所で説明されたように、これらの取り込まれた画像内の検出物体のコンパクト表現４２２は、あらかじめ定義された規格に適合するものであり、したがって、同じフォーマットおよび特徴次元を有する。いくつかの実施形態では、取り込まれた画像内の検出物体のコンパクト表現４２２は、類似性スコアラ２５６に入力される。ブロック４１２において、類似性スコアラ２５６は、異なる取り込まれた画像内の検出物体のコンパクト表現４２２間の類似性のレベルを反映する類似性スコアを算出する。一例として、類似性スコアラ２５６は、第１の視点から取り込まれた第１の画像内の第１の物体の第１のコンパクト表現４２２ａ（たとえば、第１のコンパクト特徴ベクトル）と、第２の視点から取り込まれた第２の画像内の第２の物体の第ｎのコンパクト表現４２２ｎ（たとえば、第ｎのコンパクト特徴ベクトル）との間の類似性のレベルを示す類似性スコアを算出する。
【００６１】
いくつかの実施形態では、コンパクト表現生成器２５４によって実行されるコンパクト表現生成、および類似性スコアラ２５６によって実行される類似性スコア算出は、物体の類似性を処理する際に使用され、表現学習モデルとして実装される。本明細書の他の箇所で説明されたように、モデルは、検出物体の初期表現から検出物体を効率的に表すコンパクト表現を生成するように学習され、生成されたコンパクト表現を使用して検出物体の類似性を特定する。
【００６２】
いくつかの実施形態では、学習されたモデルは、（たとえば、メモリにインストールされ、構築され、含むように更新され、記憶され、かつ実行されるなどの）車両プラットフォーム１０３内のソフトウェア、ハードウェア、前述の組合せなどとして実装され、物体を検出および分類し、景観を処理し、近くの車両プラットフォーム１０３と物体や景観情
報を共有し、車両プラットフォーム１０３の出力デバイスを介してドライバおよび同乗者へのフィードバックを提供し、交通エコシステムを形成する多数の車両にわたって共有される動的地図内の記憶用にサーバ１０１にデータを送信するためにリアルタイム走行中に使用され、車両プラットフォームに含まれ、それによって実行されるナビゲーションアプリケーション（たとえば、ＧＰＳまたは他の地球測位システム）を介してルート算出およびナビゲーション指示の提供等に使用される。いくつかの実施形態では、複数のコンパクト表現生成器２５４ａ…２５４ｎおよび類似性スコアラ２５６によって具現化される機械学習ロジックは、本明細書で説明された動作を実行するように実行される。
【００６３】
図５は、検出物体間の類似性を算出するための例示的な方法５００のフローチャートである。ブロック５０２において、コンパクト表現生成器２５４はペアの入力を取得する。いくつかの実施形態では、ペアの入力は、複数の画像内の検出物体の複数の初期表現を含む。検出物体の各初期表現は、１つのコンパクト表現生成器２５４に入力される。たとえば、ペアの入力は、第１の画像内の第１の物体の第１の初期表現４２０ａ（たとえば、第１の初期特徴ベクトル）と、および第２の画像内の第２の物体の第ｎの初期表現４２０ｎ（たとえば、第ｎの初期特徴ベクトル）を含む。第１の初期表現４２０ａは、コンパクト表現生成器２５４ａに入力され、第ｎの初期表現４２０ｎは、コンパクト表現生成器２５４ｎに入力される。本明細書の他の箇所で説明されたように、第１の初期表現４２０ａは第１の物体を包括的に記述し、第ｎの初期表現４２０ｎは第２の物体を包括的に記述し、２つはモダリティ特徴の完全なセットに対応する。しかしながら、これらのモダリティ特徴の全てが、第１の画像内の第１の物体と第２の画像内の第２の物体が実際に同一であるか否かを判定するために有用であるとは限らない。したがって、コンパクト表現生成器２５４および類似性スコアラ２５６によって実装されるモデルは、「特定のシナリオにおいて物体の類似性を処理するためにどのモダリティ特徴が重要であるか、どのモダリティ特徴が重要でないか」を識別するように学習され、物体の類似性処理の精度に影響を与えずに無視することはできない。したがって、コンパクト表現生成器２５４は、初期特徴ベクトル４２０をコンパクト特徴ベクトル４２２にマッピングするときに、それらの重要でないモダリティ特徴を除去する。これにより、検出物体を効率的かつ限定的に表すために必要なデータ量が大幅に削減される。
【００６４】
ブロック５０４ａにおいて、コンパクト表現生成器２５４ａは、第１の物体の第１の初期表現４２０ａから、第１の画像内における第１の物体の第１のコンパクト表現４２２ａを生成する。
ブロック５０４ｎにおいて、コンパクト表現生成器２５４ｎは、第２の物体の第ｎの初期表現４２０ｎから、第２の画像内における第２の物体の第ｎのコンパクト表現４２２ｎを生成する。
ブロック５０６において、類似性スコアラ２５６は、第１の画像内の第１の物体と第２の画像内の第２の物体との間の類似性のレベルを算出する。具体的には、類似性スコアラ２５６は、第１の画像内の第１の物体の第１のコンパクト表現４２２ａと、第２の画像内の第２の物体の第ｎのコンパクト表現４２２ｎとの間の類似性スコアを算出する。いくつかの実施形態では、モデルの学習プロセス中、類似性スコアラ２５６は、類似性スコアと所定の目標出力との間のフィードバック差も算出する。ブロック５０８において、類似性スコアラ２５６は、モデルを学習するために、コンパクト表現生成器２５４ａ…２５４ｎにフィードバック差を提供する。
【００６５】
いくつかの実施形態では、モデルの展開プロセス中（たとえば、表現学習モデルの学習プロセスが完了すると）、ブロック５１０において、マルチビュー観測アプリケーション１２０の他の構成要素は、第１の画像内の第１の物体と第２の画像内の第２の物体との間の類似性レベルに基づいて、ロジックを実行する。たとえば、類似性レベルは、第１の画像内の第１の物体および第２の画像内の第２の物体が同じ物体を表すかどうかを判定する
ために使用される。第１の画像内の第１の物体および第２の画像内の第２の物体が実際に同じ物体である場合、第１の画像および第２の画像は互いに関連付けられ、関連する道路景観を分析するために組み合わせて使用される。
【００６６】
いくつかの実施形態では、モデルは時間とともに連続して学習される。これらの実施形態では、モデルの展開プロセス中でも、類似性スコアラ２５６は、モデルの学習を続行するために、フィードバック差を続けて算出し、コンパクト表現生成器２５４ａ…２５４ｎにフィードバック差を逆伝搬する。この実装形態は、車両プラットフォーム１０３が道路に沿って移動するにつれて、車両プラットフォーム１０３が遭遇する道路景観のさらなる画像を用いてモデルを連続して改善するので、特に有利である。結果として、モデルのパラメータ（たとえば、検出物体のコンパクト表現を生成するためのマッピングパラメータ、物体の類似性を処理するためのスコアリングパラメータなど）は、より良いパフォーマンスのためにさらに洗練することができる。
【００６７】
図６は、検出物体間の類似性を処理するための別の例示的な方法６００のフローチャートである。描写されたように、第１の視点から取り込まれた第１の画像内の第１の物体の第１の初期表現４２０ａは、コンパクト表現生成器２５４ａに入力される。第２の視点から取り込まれた第２の画像内の第２の物体の第ｎの初期表現４２０ｎは、コンパクト表現生成器２５４ｎに入力される。いくつかの実施形態では、第１の初期表現４２０ａは、第１の画像内の第１の物体を記述し、第１の数のモダリティ特徴を含む第１の初期特徴ベクトル４２０ａである。第ｎの初期表現４２０ｎは、第２の画像内の第２の物体を記述し、第２の数のモダリティ特徴を含む第ｎの初期特徴ベクトル４２０ｎである。
【００６８】
ブロック６０６ａにおいて、コンパクト表現生成器２５４ａは、第１の画像内の第１の物体の第１の初期表現４２０ａを、第１の画像内の第１の物体の第１のコンパクト表現４２２ａにマッピングする。具体的には、コンパクト表現生成器２５４ａは、第１の物体の第１の初期特徴ベクトル４２０ａを第１の物体の第１のコンパクト特徴ベクトル４２２ａにマッピングする。いくつかの実施形態では、コンパクト表現生成器２５４ａは、第１の物体の第１の初期特徴ベクトル４２０ａに含まれる第１の数のモダリティ特徴から１つまたは複数のモダリティ特徴を除去し、それにより、第１の初期特徴ベクトル４２０ａが、特徴次元＝第１の数のモダリティ特徴を有する入力ベクトル空間から、より低い特徴次元を有する潜在的なベクトル空間に投影される。同様に、コンパクト表現生成器２５４ｎは、第２の物体の第ｎの初期表現４２０ｎを第２の物体の第ｎのコンパクト表現４２２ｎにマッピングする。具体的には、コンパクト表現生成器２５４ｎは、第２の物体の第ｎの初期特徴ベクトル４２０ｎに含まれる第２の数のモダリティ特徴から１つまたは複数のモダリティ特徴を除去し、それにより、第ｎの初期特徴ベクトル４２０ｎが、特徴次元＝第２の数のモダリティ特徴を有する入力ベクトル空間から、より低い特徴次元を有する潜在的なベクトル空間に投影される。本明細書の他の箇所で説明されたように、いくつかの実施形態では、第１の物体の第１の初期特徴ベクトル４２０ａおよび第２の物体の第ｎの初期特徴ベクトル４２０ｎは、同じフォーマットおよび特徴次元を有する。したがって、第１の物体の第１の初期特徴ベクトル４２０ａに含まれる第１の数のモダリティ特徴は、第２の物体の第ｎの初期特徴ベクトル４２０ｎに含まれる第２の数のモダリティ特徴と等しくある。
【００６９】
いくつかの実施形態では、コンパクト表現生成器２５４ａのパラメータは、コンパクト表現生成器２５４ｎのパラメータと同一である。これらの実施形態では、各コンパクト表現生成器２５４ａ…２５４ｎは同じマッピングパラメータを用いて動作し、したがって、同様に各入力初期特徴ベクトル４２０を対応するコンパクト特徴ベクトル４２２に変換する。結果として、第１の初期特徴ベクトル４２０ａは、第ｎの初期特徴ベクトル４２０ｎが第２の物体の第ｎのコンパクト特徴ベクトル４２２ｎに変換されるのと全く同じ方法で
、第１の物体の第１のコンパクト特徴ベクトル４２２ａに変換される。いくつかの実施形態では、コンパクト表現生成器２５４ａ…２５４ｎおよび類似性スコアラ２５６は、ｎ個のサブネットワークを含むニューラルネットワークの形態でモデルを実装する。コンパクト表現生成器２５４ａは、ニューラルネットワークの第１のサブネットワークを実装する。コンパクト表現生成器２５４ｎは、ニューラルネットワークの第ｎのサブネットワークを実装する。ニューラルネットワークのｎ個のサブネットワークは、互いに同一である。
【００７０】
いくつかの実施形態では、各コンパクト表現生成器２５４は、１つまたは複数の特徴ベクトル処理ユニット６０２を含む。いくつかの実施形態では、各特徴ベクトル処理ユニット６０２は、入力特徴ベクトルから１つまたは複数のモダリティ特徴に対応する１つまたは複数のベクトル要素を除去して、出力特徴ベクトルを生成する。たとえば、特徴ベクトル処理ユニット６０２は、１つまたは複数のモダリティ特徴に対応する２５０個のベクトル要素を除去することにより、ベクトル長が１０００である入力特徴ベクトルをベクトル長が７５０である出力特徴ベクトルにマッピングする。複数の特徴ベクトル処理ユニット６０２が第１の初期特徴ベクトル４２０ａに適用されるにつれて、第１の初期特徴ベクトル４２０ａを備える第１の数のモダリティ特徴は連続的に削減され、第１の物体の第１のコンパクト特徴ベクトル４２２ａが取得される。同様に、複数の特徴ベクトル処理ユニット６０２が第ｎの初期特徴ベクトル４２０ｎに適用されるにつれて、第ｎの初期特徴ベクトル４２０ｎを備える第２の数のモダリティ特徴は連続的に削減され、第２の物体の第ｎのコンパクト特徴ベクトル４２２ｎが取得される。
【００７１】
図７は、特徴ベクトル処理ユニット６０２の構造図７００を示す。描写されたように、特徴ベクトル処理ユニット６０２は、入力特徴ベクトル７０２を出力特徴ベクトル７０４にマッピングするための次元削減レイヤ７０６および非線形マッピングレイヤ７０８を含む。図６を再び参照すると、ブロック６０４において、次元削減レイヤ７０６は、入力特徴ベクトル７０２内の特徴の数を削減する。具体的には、次元削減レイヤ７０６は、入力特徴ベクトル７０２のすべてのベクトル要素を集約し、入力ベクトル空間からより低い次元を有するベクトル空間に入力特徴ベクトル７０２をマッピングする。本明細書の他の箇所で説明されたように、いくつかの実施形態では、特徴ベクトル処理ユニット６０２を含むコンパクト表現生成器２５４は、ニューラルネットワークのサブネットワークを実装する。これらの実施形態では、次元削減レイヤ７０６および非線形マッピングレイヤ７０８は、複数のニューロンを含む。次元削減レイヤ７０６に含まれるニューロンの数は、次元削減マッピングを実行するために、入力特徴ベクトル７０２のベクトル長よりも大幅に低くある（たとえば、８００ニューロン対１２００ベクトル要素）。
【００７２】
いくつかの実施形態では、次元削減レイヤ７０６は、入力特徴ベクトル７０２に含まれる線形ベクトル要素に対して次元削減マッピングを実行する。次いで、次元削減レイヤ７０６の出力は、非線形マッピングレイヤ７０８に入力される。ブロック６０６において、非線形マッピングレイヤ７０８は、入力特徴ベクトル７０２に含まれる非線形ベクトル要素に対して次元削減マッピングを実行する。したがって、次元削減レイヤ７０６と非線形マッピングレイヤ７０８の組合せは、入力特徴ベクトル７０２を、入力特徴ベクトル７０２よりも低い特徴次元（たとえば、より小さいベクトル長さ）を有する出力特徴ベクトル７０４にマッピングする。いくつかの実施形態では、次元削減レイヤ７０６および非線形マッピングレイヤ７０８は、入力特徴ベクトル７０２に含まれる線形ベクトル要素と非線形ベクトル要素の両方をマッピングすることが可能な１つのレイヤに組み込まれる。
【００７３】
いくつかの実施形態では、次元削減レイヤ７０６および非線形マッピングレイヤ７０８は、マッピングパラメータを使用して次元削減マッピングを実行する。いくつかの実施形態では、マッピングパラメータは、検出物体を限定的に表す様々なモダリティ特徴の限定的な重みを示す。いくつかの実施形態では、次元削減レイヤ７０６および非線形マッピン
グレイヤ７０８は、所定の限定的なしきい値（たとえば、２０％未満）を満たす限定的な重みを有するモダリティ特徴を特定し、入力特徴ベクトル７０２からこれらのモダリティ特徴に対応するベクトル要素を除外して出力特徴ベクトル７０４を生成する。いくつかの実施形態では、次元削減レイヤ７０６および非線形マッピングレイヤ７０８は、最も低い限定的な重みを有する所定の数のモダリティ特徴（たとえば、２００個のモダリティ特徴）を特定し、入力特徴ベクトル７０２からこれらのモダリティ特徴に対応するベクトル要素を除外して出力特徴ベクトル７０４を生成する。
【００７４】
本明細書の他の箇所で説明されたように、第１の初期特徴ベクトル４２０ａは、コンパクト表現生成器２５４ａの複数の特徴ベクトル処理ユニット６０２に従うので、第１の初期特徴ベクトル４２０ａは、第１の物体の第１のコンパクト特徴ベクトル４２２ａにマッピングされる。第ｎの初期特徴ベクトル４２０ｎは、コンパクト表現生成器２５４ｎの複数の特徴ベクトル処理ユニット６０２に従うので、第ｎの初期特徴ベクトル４２０ｎは、第２の物体の第ｎのコンパクト特徴ベクトル４２２ｎにマッピングされる。ブロック６０８において、類似性スコアラ２５６は、回帰処理を実行して、第１の画像内の第１の物体の第１のコンパクト表現４２２ａと、第２の画像内の第２の物体の第ｎのコンパクト表現４２２ｎとの間の類似性スコアを算出する。具体的には、類似性スコアラ２５６は、第１の物体の第１のコンパクト特徴ベクトル４２２ａと、第２の物体の第ｎのコンパクト特徴ベクトル４２２ｎとの間の類似性スコアを算出する。たとえば、類似性スコアラ２５６は、第１の物体の第１のコンパクト特徴ベクトル４２２ａと、第２の物体の第ｎのコンパクト特徴ベクトル４２２ｎとの間の類似性のレベルを示す類似性スコアを、７０％であると算出する。
【００７５】
ブロック６１０において、識別器２５８は、類似性スコアに基づいて、第１の画像内の第１の物体および第２の画像内の第２の物体が同じ物体を表すどうかを判定する。たとえば、識別器２５８は、第１の物体の第１のコンパクト特徴ベクトル４２２ａと第２の物体の第ｎのコンパクト特徴ベクトル４２２ｎとの間の類似性スコア（たとえば、７０％）が、所定のスコアしきい値（たとえば、５０％）を満たすと判断する。したがって、識別器２５８は、第１の画像内の第１の物体および第２の画像内の第２の物体が同じ物体を表すと判定する。
【００７６】
いくつかの実施形態では、類似性スコアラ２５６は、類似性スコアと所定の目標出力との間のフィードバック差も算出する。上記の例では、第１の画像内の第１の物体および第２の画像内の第２の物体が実際に同じである（実際の類似性のレベル＝１００％）ことを示す所定の目標出力＝「１」と仮定する。この例では、第１の物体の第１のコンパクト特徴ベクトル４２２ａおよび第２の物体の第ｎのコンパクト特徴ベクトル４２２ｎを使用して案出された類似性スコア＝７０％である。類似性スコアラ２５６は、類似性スコアを所定の目標出力と比較し、したがって、類似性スコアと所定の目標出力との間のフィードバック差を３０％であると特定する。いくつかの実施形態では、類似性スコアラ２５６は、モデルを学習するために、類似性スコアと所定のターゲット出力との間のフィードバック差をコンパクト表現生成器２５４ａ…２５４ｎに提供する。
【００７７】
いくつかの実施形態では、コンパクト表現生成器２５４は、類似性スコアの所定の目標出力との比較に基づいて、第１の物体および第２の物体のモダリティ特徴のサブセットを、第１の物体および第２の物体の他のモダリティ特徴よりも限定的(determinative)であ
ると識別する。具体的には、コンパクト表現生成器２５４ａ…２５４ｎは、類似性スコアラ２５６から類似性スコアと所定の目標出力との間のフィードバック差を受け取る。コンパクト表現生成器２５４ａ…２５４ｎは、フィードバック差に基づいて、第１の物体の第１の初期表現４２０ａ、…、第２の物体の第ｎの初期特徴ベクトル４２０ｎからのモダリティ特徴のサブセットを、第１の物体の第１の初期表現４２０ａ、…、第２の物体の第ｎ
の初期特徴ベクトル４２０ｎからの他のモダリティ特徴よりも限定的であると識別する。いくつかの実施形態では、フィードバック差は、１つまたは複数のコンパクト表現生成器２５４に逆伝播される。いくつかの実施形態では、コンパクト表現生成器２５４ａによって生成された第１のコンパクト特徴ベクトル４２２ａおよびコンパクト表現生成器２５４ｎによって生成された第ｎのコンパクト特徴ベクトル４２２ｎを使用して算出されたフィードバック差は、他のコンパクト表現生成器２５４を学習するために使用される。
【００７８】
上記の例では、第１の画像内の第１の物体および第２の画像内の第２の物体が、木陰の中の縁石にある同じ駐車場を表すと仮定する。この例では、木陰のせいで、第１の画像および第２の画像において、車両部分のテクスチャおよび自動車の色がはっきりと描写されていない。上述されたように、第１の物体の第１のコンパクト特徴ベクトル４２２ａと第２の物体の第ｎのコンパクト特徴ベクトル４２２ｎとの間の類似性スコアは、所定の目標出力によって示された１００％ではなく、７０％である。類似性スコアと所定の目標出力との間のフィードバック差が３０％なので、コンパクト表現生成器２５４は、検出物体の初期特徴表現がこれらの特定の範囲の特徴値内のテクスチャ特徴および色特徴を含む場合、他のモダリティ特徴（たとえば、コンテキスト特徴、視点特徴など）がテクスチャ特徴および色特徴よりも限定的（したがって、検出物体を表す際により効率的かつ限定的）であると判断する。
【００７９】
いくつかの実施形態では、コンパクト表現生成器２５４ａ…２５４ｎは、モデルを学習するために、識別されたモダリティ特徴のサブセットに基づいて、それらのパラメータ（たとえば、マッピングパラメータ）を調整する。いくつかの実施形態では、異なるコンパクト表現生成器２５４ａ…２５４ｎのマッピングパラメータは同様に調整され、したがって同じパラメータ値を有する。上記の例では、コンパクト表現生成器２５４ａ…２５４ｎは、マッピングパラメータを調整して、検出物体の初期特徴ベクトル内のテクスチャ特徴および色特徴の限定的な重みを減少させ、他のモダリティ特徴（たとえば、コンテキスト特徴、視点特徴など）の限定的な重みを増大させる。結果として、コンパクト表現生成器２５４が同様の初期特徴ベクトル４２０（たとえば、ほぼ同じ特徴値のテクスチャ特徴や色特徴を有する初期特徴ベクトル４２０）を処理するとき、テクスチャ特徴や色特徴は、検出物体の対応するコンパクト特徴ベクトル４２２を生成するために、初期特徴ベクトル４２０から除去される可能性が高い。
【００８０】
上述された実装形態は、特に車両の状況において物体の類似性を処理するために有利である。コンパクト表現生成器２５４によって実装されたモデルが複数の画像を有する複数の学習サイクルに従うとき、コンパクト表現生成器２５４は、各特定のシナリオで検出物体を表す際に特徴的な、したがって、物体の類似性を特定する目的に最も有用なモダリティ特徴を、コンパクト特徴ベクトル４２２に含めることのみを学習する。この実装形態はまた、コンパクト特徴ベクトル４２２に含まれるモダリティ特徴が、初期特徴ベクトル４２０に含まれるモダリティ特徴の完全なセットから選択的に特定されるので、有利である。したがって、すべての潜在的なモダリティ特徴が考慮されるが、コンパクト特徴ベクトル４２２を形成するために限定的なモダリティ特徴のみが保存される。したがって、検出物体を表すために必要なデータ量は、物体の類似性特定の精度に影響を与えることなく、初期特徴ベクトル４２０のデータサイズ（たとえば、約３０ｋＢ）から、コンパクト特徴ベクトル４２２のデータサイズ（たとえば、１００バイト未満）に大幅に削減される。データ量の９９％超が削減されると、コンパクト特徴ベクトル４２２は、車両ネットワーク上で効率的に送信することができる。
【００８１】
いくつかの実施形態では、モデルの学習プロセスは、類似性スコアラ２５６が正確な類似性スコアを生成するために学習することを含む。いくつかの実施形態では、類似性スコアラ２５６は、類似性スコアと所定の目標出力との間のフィードバック差に基づいて、そ
のパラメータ（たとえば、スコアリングパラメータ）を調整する。いくつかの実施形態では、スコアリングパラメータは、第１の物体の第１のコンパクト特徴ベクトル４２２ａと第２の物体の第ｎのコンパクト特徴ベクトル４２２ｎとの間の類似性スコアを算出する際の様々なモダリティ特徴のスコアリング重みを示す。たとえば、類似性スコアラ２５６は、視点特徴のスコアリング重みを変化させないように保持しながら、コンテキスト特徴のスコアリング重みをわずかに増大させて、フィードバック差を最小にする各モダリティ特徴の最適なスコアリング重みを特定する。
【００８２】
いくつかの実施形態では、コンパクト表現生成器２５４や類似性スコアラ２５６は、それらが実装する表現学習モデルのパラメータ（たとえば、マッピングパラメータ、スコアリングパラメータなど）が十分に調整されたかどうかを判定する。いくつかの実施形態では、類似性スコアラ２５６は、類似性スコアと所定の目標出力との間のフィードバック差が所定の差のしきい値を満たすかどうかを判定する。類似性スコアと所定の目標出力との間のフィードバック差が所定の差のしきい値を満たすと判定したことに応答して、類似性スコアラ２５６は、モデルのパラメータが十分に調整されたと判定する。いくつかの実施形態では、コンパクト表現生成器２５４は、コンパクト表現生成器２５４のマッピングパラメータが調整された回数（たとえば、実行された学習サイクルの数）を特定する。次いで、コンパクト表現生成器２５４は、コンパクト表現生成器２５４のマッピングパラメータが調整された回数が所定の数のしきい値を満たすがどうか（たとえば、必要とされる学習サイクルの最大数に達したかどうか）を判定する。コンパクト表現生成器２５４のマッピングパラメータが調整された回数が所定の数のしきい値を満たすと判定したことに応答して、コンパクト表現生成器２５４は、モデルのパラメータが十分に調整されたと判定する。
【００８３】
いくつかの実施形態では、モデルのパラメータが十分に調整されると、モデルの学習プロセスは完了する。モデルは、調整されたパラメータ（たとえば、マッピングパラメータ、スコアリングパラメータなど）のセットを用いて、収束され、展開プロセスの準備が整っていると見なされる。いくつかの実施形態では、コンパクト表現生成器２５４ａ…２５４ｎおよび類似性スコアラ２５６によって実装されたモデルは、分散方式で展開される。具体的には、本明細書の他の箇所で説明されたように、各コンパクト表現生成器２５４ａ…２５４ｎは、同じマッピングパラメータを用いて動作しうるし、互いに同一である。したがって、モデルのパラメータが十分に調整されたと判定したことに応答して、各コンパクト表現生成器２５４は、実装のために１つの車両プラットフォーム１０３に分配される。たとえば、コンパクト表現生成器２５４ａは、第１の車両プラットフォーム１０３ａに実装され、コンパクト表現生成器２５４ｎは、第ｎの車両プラットフォーム１０３ｎに実装される。いくつかの実施形態では、類似性スコアラ２５６は、コンピューティングサーバ（たとえば、サーバ１０１）またはシステム１００の任意の他のコンピューティングエンティティに実装される。モデルの他の分散可能な実装および集中型の実装も可能であり、考えられる。
【００８４】
図４Ａを再び参照すると、ブロック４１４において、識別器２５８は、類似性スコアに基づいて、第１の画像内の第１の物体および第２の画像内の第２の物体が同じ物体を記述するかどうかを判定する。いくつかの実施形態では、識別器２５８は、第１の物体の第１のコンパクト表現４２２ａと第２の物体の第ｎのコンパクト表現４２２ｎとの間の類似性スコアが所定のスコアしきい値（たとえば、５０％超）を満たすかどうかを判定する。第１の物体の第１のコンパクト表現４２２ａと第２の物体の第ｎのコンパクト表現４２２ｎとの間の類似性スコアが所定のスコアしきい値を満たすと判定したことに応答して、識別器２５８は、第１の画像内の第１の物体および第２の画像内の第２の物体が同じ物体を表すと判定する。ブロック４１６において、関連付けプロセッサ２６０は、識別結果に基づいて、第１の画像と第２の画像を関連付ける。具体的には、第１の画像内の第１の物体お
よび第２の画像内の第２の物体が同じ物体を表すと識別器２５８が判定した場合、関連付けプロセッサ２６０は、第１の画像を第２の画像と関連付ける。したがって、第１の画像および第２の画像は、第１の画像および第２の画像内で取り込まれた関連道路景観を分析するために、組み合わせて使用される。第１の画像内の第１の物体および第２の画像内の第２の物体が同じ物体を表さないと識別器２５８が判定した場合、関連付けプロセッサ２６０は、第１の画像を第２の画像と関連付けない。
【００８５】
図４Ｂは、取り込まれた画像内の検出物体のコンパクト表現の分散可能学習、および複数の車両によって得られた複数の取り込まれた画像の関連付けのための例示的な方法４５０のフローチャートである。図４Ａおよび図４Ｂに描写されたように、いくつかの実施形態では、取り込まれた画像内の検出物体のコンパクト表現４２２を生成するためのマルチビュー観測アプリケーション１２０の構成要素は、車両プラットフォーム１０３に実装され、物体の類似性を処理し、取り込まれた画像を関連付けるためのマルチビュー観測アプリケーション１２０の構成要素は、展開プロセス中にサーバ１０１に実装される。
【００８６】
具体的には、マルチビュー観測アプリケーション１２０が車両プラットフォーム１０３に含まれる場合、検出器２０２、特徴抽出器２５０、モダリティプロセッサ２５２、およびコンパクト表現生成器２５４は有効にされるが、類似性スコアラ２５６、識別器２５８、および関連付けプロセッサ２６０は無効にされる。いくつかの実施形態では、検出器２０２、特徴抽出器２５０、モダリティプロセッサ２５２、およびコンパクト表現生成器２５４は、取り込まれた画像内の物体を検出し、検出物体のモダリティ特徴を抽出し、モダリティ特徴を処理して検出物体の初期表現４２０を生成し、検出物体の対応する初期表現４２０から検出物体のコンパクト表現４２２を生成するように構成される。マルチビュー観測アプリケーション１２０がサーバ１０１に含まれる場合、類似性スコアラ２５６、識別器２５８、および関連付けプロセッサ２６０は有効にされるが、検出器２０２、特徴抽出器２５０、モダリティプロセッサ２５２、およびコンパクト表現生成器２５４は無効にされる。いくつかの実施形態では、類似性スコアラ２５６、識別器２５８、および関連付けプロセッサ２６０は、検出物体のコンパクト表現４２２を使用して類似性スコアを算出し、検出物体が同じ物体を表すかどうかを判定し、それに応じて検出物体を含む取り込まれた画像を関連付けるように構成される。
【００８７】
図４Ａおよび４Ｂに描写されたように、いくつかの実施形態では、第１の車両プラットフォーム１０３ａは、第１の物体を含む第１の画像を取り込む。上述されたように、第１の車両プラットフォーム１０３ａは、マルチビュー観測アプリケーション１２０を含み、コンパクト表現生成器２５４ａは、検出物体のコンパクト表現を生成するように学習される。ブロック４１０ａにおいて、コンパクト表現生成器２５４ａは、第１の画像内の第１の物体の第１のコンパクト表現４２２ａを生成する。いくつかの実施形態では、第１の物体の第１のコンパクト表現４２２ａは、車両ネットワーク（たとえば、ネットワーク１０５）を介してサーバ１０１に送信される。同様に、第ｎの車両プラットフォーム１０３ｎは、第２の物体を含む第２の画像を取り込む。上述されたように、第ｎの車両プラットフォーム１０３ｎは、マルチビュー観測アプリケーション１２０を含み、コンパクト表現生成器２５４ｎは、検出物体のコンパクト表現を生成するように学習される。第ｎの車両プラットフォーム１０３ｎに実装されたコンパクト表現生成器２５４ｎは、第１の車両プラットフォーム１０３ａに実装されたコンパクト表現生成器２５４ａと同一であり、したがって、同様に検出物体のコンパクト表現を生成する。ブロック４１０ｎにおいて、コンパクト表現生成器２５４ｎは、第２の画像内の第２の物体の第ｎのコンパクト表現４２２ｎを生成する。いくつかの実施形態では、第２の物体の第ｎのコンパクト表現４２２ｎは、車両ネットワーク（たとえば、ネットワーク１０５）を介してサーバ１０１に送信される。
【００８８】
いくつかの実施形態では、第１の物体の第１のコンパクト表現４２２ａおよび第２の物体の第ｎのコンパクト表現４２２ｎは、第１の物体を含む第１の画像および第２の物体を含む第２の画像が取り込まれると、リアルタイムで生成され送信される。いくつかの実施形態では、サーバ１０１は、車両ネットワーク（たとえば、ネットワーク１０５）を介して、第１の車両プラットフォーム１０３ａから第１の物体の第１のコンパクト表現４２２ａを、第ｎの車両プラットフォーム１０３ｎから第２の物体の第ｎのコンパクト表現４２２ｎを受信する。サーバ１０１に含まれるマルチビュー観測アプリケーション１２０は、第１の車両プラットフォーム１０３ａから受信された第１の物体の第１のコンパクト表現４２２ａ、および第ｎの車両プラットフォーム１０３ｎから受信された第２の物体の第ｎのコンパクト表現４２２ｎを使用して、物体の類似性処理および画像の関連付けを実行する。具体的には、ブロック４１２において、類似性スコアラ２５６は、第１の物体の第１のコンパクト表現４２２ａと第２の物体の第ｎのコンパクト表現４２２ｎとの間の類似性スコアを算出する。ブロック４１４において、識別器２５８は、類似性スコアに基づいて、第１の画像内の第１の物体および第２の画像内の第２の物体が同じ物体であるかどうかを判定する。ブロック４１６において、関連付けプロセッサ２６０は、識別結果に基づいて、第１の画像を第２の画像と関連付ける。たとえば、第１の画像内の第１の物体および第２の画像内の第２の物体が同じ物体であると識別器２５８が判定した場合、関連付けプロセッサ２６０は、第１の画像を第２の画像と関連付ける。いくつかの実施形態では、そのような画像の関連付けはリアルタイムで実行される。
【００８９】
いくつかの実施形態では、第１の車両プラットフォーム１０３ａによって取り込まれた第１の画像は複数の第１の物体を含み、第ｎの車両プラットフォーム１０３ｎによって取り込まれた第２の画像は複数の第２の物体を含む。これらの実施形態では、第１の画像内の１つまたは複数の第１の物体は、第２の画像内の１つまたは複数の第２の物体と照合され、その結果、これらの一致するペアの合計類似性スコアが最大化される。具体的には、類似性スコアラ２５６は、第１の画像内の各第１の物体と第２の画像内の各第２の物体との間の類似性スコアを算出する。所定のスコアしきい値（たとえば、５０％超）を満たさない類似性スコアを有する（第１の物体、第２の物体）のペアは除去される。次いで、識別器２５８は、第１の画像内の各第１の物体を、第１の物体との最も高い類似性スコアを有する第２の画像内の第２の物体と照合する。第１の画像内の任意の２つの第１の物体が第２の画像内の同じ第２の物体と照合される場合、対応する照合ペアの合計類似性スコアが最大化されるように、２つの第１の物体のうちの１つが第２の画像内の別の第２の物体と照合される。
【００９０】
一例として、第１の視点から第１の車両プラットフォーム１０３ａによって取り込まれた第１の画像は、３つの第１の物体（たとえば、自動車Ａ１、自動車Ａ２、および工事車両Ａ３）を含む。第２の視点から第ｎの車両プラットフォーム１０３ｎによって取り込まれた第２の画像は、４つの第２の物体（たとえば、自動車Ｂ１、自動車Ｂ２、工事車両Ｂ３、および歩行者Ｂ４）を含む。この例では、第１の画像内の自動車Ａ１は、第２の画像内の自動車Ｂ１との最も高い類似性スコア（たとえば、（自動車Ａ１、自動車Ｂ１）の類似性スコア＝７０％）、および第２の画像内の自動車Ｂ２との２番目に高い類似性スコア（たとえば、（自動車Ａ１、自動車Ｂ２）の類似性スコア＝６３％）を有する。第１の画像内の自動車Ａ２は、第２の画像内の自動車Ｂ１との最も高い類似性スコア（たとえば、（自動車Ａ２、自動車Ｂ１）の類似性スコア＝８５％）、および第２の画像内の自動車Ｂ２との２番目に高い類似性スコア（たとえば、（自動車Ａ２、自動車Ｂ２）の類似性スコア＝６５％）を有する。この例では、識別器２５８は、２つの照合ペア（自動車Ａ１、自動車Ｂ２）および（自動車Ａ２、自動車Ｂ１）の合計類似性スコア＝１４８％であり、２つの照合ペア（自動車Ａ１、自動車Ｂ１）および（自動車Ａ２、自動車Ｂ２）の合計類似性スコア＝１３５％であると判断する。したがって、識別器２５８は、第１の画像内の自動車Ａ１を第２の画像内の自動車Ｂ２と一致させ、第１の画像内の自動車Ａ２を第２の画
像内の自動車Ｂ１と一致させる。なぜなら、この組合せが最大の合計類似性スコアを生成するからである。
【００９１】
図９Ａは、道路セグメント９００上の事故現場の交通状況を示す。描写されたように、道路セグメント９００に位置する車両プラットフォーム１０３は、それらの画像センサ１１３を使用して道路景観の画像を取り込む。画像センサ１１３は、車両プラットフォーム１０３上の異なる位置（たとえば、前方、後方、右側、および／または左側）に設けられ、それらの対応するセンサ範囲９０２内の道路景観の画像を取り込む。車両プラットフォーム１０３が同じ道路セグメント９００に位置するので、それらの画像センサによって取り込まれた画像は、道路景観内に存在するが、異なる視点から取り込まれた同じ物体を含む可能性が高い。たとえば、図示されたように、車両プラットフォーム１０３ａ…１０３ｎによって取り込まれた画像はすべて、異なる視点から観測されたように事故車両９１０を含む。
【００９２】
図９Ｂは、道路セグメントに位置する複数の車両プラットフォームからの観測値を関連付けるための例示的な方法９５０のフローチャートである。いくつかの実施形態では、マルチビュー観測アプリケーション１２０は、複数の車両プラットフォーム１０３からの取り込まれた画像を受信する。たとえば、マルチビュー観測アプリケーション１２０は、車両プラットフォーム１０３ａ…１０３ｎから道路セグメント９００の画像９０４を受信する。図９Ａに描写されたように、画像９０４は異なる視点から取り込まれる。ブロック９５２において、マルチビュー観測アプリケーション１２０は、取り込まれた画像の類似性を処理する。ブロック９５４において、マルチビュー観測アプリケーション１２０は、取り込まれた画像内の検出物体が同じであるかどうかを判定する。本明細書の他の箇所で説明されたように、マルチビュー観測アプリケーション１２０は、取り込まれた画像内の検出物体のコンパクト特徴表現を生成し、これらのコンパクト特徴表現を使用して、異なる取り込まれた画像内の検出物体が同じ物体を表すかどうかを判定する。上記の例では、マルチビュー観測アプリケーション１２０は、車両プラットフォーム１０３ａ…１０３ｎによって取り込まれた画像９０４に含まれる事故車両のコンパクト特徴表現を生成する。マルチビュー観測アプリケーション１２０は、画像９０４内に描写された事故車両のコンパクト特徴表現の間の類似性スコアを算出する。したがって、マルチビュー観測アプリケーション１２０は、画像９０４内に描写された事故車両が実際に同じ事故車両９１０を記述すると判定する。
【００９３】
ブロック９５６において、マルチビュー観測アプリケーション１２０は、検出物体の同一性に基づいて１つまたは複数の動作を実施する。上記の例では、車両プラットフォーム１０３ａ…１０３ｎによって取り込まれた画像９０４が同じ事故車両９１０を含むので、画像９０４は互いに関連付けられ、交通状況の包括的な理解を得るために組み合わせて処理される。たとえば、画像９０４は、事故車両９１０の正確な位置（たとえば、ＧＰＳ座標）を特定し、事故現場の３Ｄモデルを生成し、事故現場のカバレージエリアを時間とともに監視するために、視覚処理に従う。他の動作も可能であり、考えられる。
【００９４】
以上の説明では、本発明を十分に理解できるように、多くの詳細について説明した。しかしながら、各実施形態はこれらの具体的な詳細無しでも実施できることは当業者にとって明らかであろう。また、説明が不明瞭になることを避けるために、構造や装置をブロック図の形式で表すこともある。たとえば、一実施形態は、ユーザインタフェースおよび特定のハードウェアとともに説明される。しかし、本実施形態は、データおよびコマンドを受信する任意のタイプのコンピュータシステム、および、サービスを提供する任意の周辺機器について適用できる。
【００９５】
以上の詳細な説明の一部は、非一時的（non-transitory）なコンピュータ可読記憶媒体
に記憶されたデータビットに対する動作のアルゴリズムおよび記号的表現として提供される。これらのアルゴリズム的な説明および表現は、データ処理技術分野の当業者によって、他の当業者に対して自らの成果の本質を最も効果的に説明するために用いられるものである。なお、本明細書において（また一般に）アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必ずしも必須ではないが、通常は、これらの量は記憶・伝送・結合・比較およびその他の処理が可能な電気的または磁気的信号の形式を取る。通例にしたがって、これらの信号をビット・値・要素・エレメント・シンボル・キャラクタ・項・数値などとして称することが簡便である。
【００９６】
なお、これらの用語および類似する用語はいずれも、適切な物理量と関連付いているものであり、これら物理量に対する簡易的なラベルに過ぎないということに留意する必要がある。以下の説明から明らかなように、特に断らない限りは、本明細書において「処理」「計算」「コンピュータ計算（処理）」「判断」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的（電子的）量を、他のメモリやレジスタまたは同様の情報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。
【００９７】
本発明は、本明細書で説明される動作を実行する装置にも関する。この装置は要求される目的のために特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な、例えばフロッピー（登録商標）ディスク・光ディスク・ＣＤ−ＲＯＭ・磁気ディスクなど任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光学式カード、ＵＳＢキーを含む不揮発性フラッシュメモリ、電子的命令を格納するために適した任意のタイプの媒体などの、非一時的なコンピュータ可読記憶媒体に記憶される。
【００９８】
発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態は、ソフトウェアによって実現される。ここでソフトウェアとは、ファームウェア、常駐ソフトウェア、マイクロコードやその他のソフトウェアを含むものである。
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
【００９９】
プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも１つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。入力／出力（Ｉ／Ｏ）装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはＩ／Ｏコントローラを介して直接あるいは間接的にシステムに接続される。
【０１００】
データ処理システムが、介在するプライベートネットワークおよび／またはパブリック
ネットワークを介して、他のデータ処理システム、ストレージデバイス、リモートプリンタなどに結合されるようになることを可能にするために、ネットワークアダプタもシステムに結合されうる。ワイヤレス（たとえば、Ｗｉ−Ｆｉ（登録商標））トランシーバ、イーサネット（登録商標）アダプタ、およびモデムは、ネットワークアダプタのほんの数例に過ぎない。プライベートネットワークおよびパブリックネットワークは、任意の数の構成および／またはトポロジを有しうる。データは、たとえば、様々なインターネットレイヤ、トランスポートレイヤ、またはアプリケーションレイヤのプロトコルを含む、様々な異なる通信プロトコルを使用して、ネットワークを介してこれらのデバイス間で送信されうる。たとえば、データは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、伝送制御プロトコル（ＴＣＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、セキュアハイパーテキスト転送プロトコル（ＨＴＴＰＳ）、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、リアルタイムトランスポートプロトコル（ＲＴＰ）およびリアルタイムトランスポート制御プロトコル（ＲＴＣＰ）、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）、ファイル転送プロトコル（ＦＴＰ）、ウェブソケット（ＷＳ）、ワイヤレスアクセスプロトコル（ＷＡＰ）、様々なメッセージングプロトコル（ＳＭＳ、ＭＭＳ、ＸＭＳ、ＩＭＡＰ、ＳＭＴＰ、ＰＯＰ、ＷｅｂＤＡＶなど）、または他の既知のプロトコルを使用して、ネットワークを介して送信されうる。
【０１０１】
最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがったプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以上の説明において明らかにされる。さらに、本発明は、特定のプログラミング言語と関連づけられるものではない。本明細書で説明される本発明の内容を実装するために種々のプログラミング言語を利用できることは明らかであろう。
【０１０２】
実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。
【０１０３】
さらに、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できる。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。
【符号の説明】
【０１０４】
１００  システム
１０１  サーバ
１０３  車両プラットフォーム
１０５  ネットワーク
１１３  センサ
１１５  プロセッサ
１１７  メモリ
１１９  通信ユニット
１２０  マルチビュー観測アプリケーション
１２１  車両データストア
１２２  追跡アプリケーション
１２４  データストア
１５２  コンピューティングデバイス
【図１】
2019125368.tif 000003
【図２】
2019125368.tif 000004
【図３】
2019125368.tif 000005
【図４Ａ】
2019125368.tif 000006
【図４Ｂ】
2019125368.tif 000007
【図５】
2019125368.tif 000008
【図６】
2019125368.tif 000009
【図７】
2019125368.tif 000010
【図８】
2019125368.tif 000011
【図９Ａ】
2019125368.tif 000012
【図９Ｂ】
2019125368.tif 000013