(57)【要約】【課題】本線交通に合流するように車両を合流するための最適合流操作を判定する。【解決手段】方法は、オブジェクトを含む画像コンテンツを描写するキャプチャ画像であって、センサ位置にある画像センサによってキャプチャされるキャプチャ画像を受信し、トレーニングされた第１の機械学習ロジックを使用して、環境シミュレータに関連付けられたシミュレーションスタイルにおいてキャプチャ画像の画像コンテンツの少なくとも一部を描写する模擬シミュレーション画像からライティング補正画像を生成し、トレーニングされた第２の機械学習ロジックを使用して、ライティング補正画像から、キャプチャ画像に描写されたオブジェクトと画像センサのセンサ位置との間の相対距離を示す深度推定画像を生成し、深度推定画像に基づいて、キャプチャ画像に描写されたオブジェクトのオブジェクト位置を判定する。【選択図】図６
2020047266.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを含む画像コンテンツを描写するキャプチャ画像であって、センサ位置にある画像センサによってキャプチャされる前記キャプチャ画像を受信することと、
トレーニングされた第１の機械学習ロジックを使用して、環境シミュレータに関連付けられたシミュレーションスタイルにおいて前記キャプチャ画像の画像コンテンツの少なくとも一部を描写する模擬シミュレーション画像からライティング補正画像を生成することと、
トレーニングされた第２の機械学習ロジックを使用して、前記ライティング補正画像から、前記キャプチャ画像に描写された前記オブジェクトと前記画像センサのセンサ位置との間の相対距離を示す深度推定画像を生成することと、
前記深度推定画像に基づいて、前記キャプチャ画像に描写された前記オブジェクトのオブジェクト位置を判定することと、を備える、方法。
【請求項２】
前記キャプチャ画像の前記画像コンテンツが道路セグメントを描写し、前記キャプチャ画像において描写された前記オブジェクトが、前記道路セグメントに関連付けられた道路オブジェクトである、請求項１に記載の方法。
【請求項３】
前記模擬シミュレーション画像から前記ライティング補正画像を生成することが、
前記トレーニングされた第１の機械学習ロジックを使用して、前記模擬シミュレーション画像において影領域およびグレア領域のうちの１つ以上を検出することと、
前記模擬シミュレーション画像における前記影領域の検出に応答して、前記トレーニングされた第１の機械学習ロジックを使用して、前記模擬シミュレーション画像の前記影領域における影を低減または除去するために前記影領域を調整することと、
前記模擬シミュレーション画像における前記グレア領域の検出に応じて、前記トレーニングされた第１の機械学習ロジックを使用して、前記模擬シミュレーション画像の前記グレア領域におけるグレアを低減または除去するために前記グレア領域を調整することと、を含む、請求項１に記載の方法。
【請求項４】
トレーニングされた第３の機械学習ロジックを使用して、前記キャプチャ画像から前記模擬シミュレーション画像を生成することをさらに備える、請求項１に記載の方法。
【請求項５】
前記キャプチャ画像の前記画像コンテンツが、前記オブジェクトを含む実際の環境を描写し、
前記環境シミュレータに関連付けられた前記シミュレーションスタイルが、前記環境シミュレータによって生成されたシミュレートされた色およびシミュレートされたテクスチャを含み、
前記キャプチャ画像から前記模擬シミュレーション画像を生成することが、前記トレーニングされた第３の機械学習ロジックを使用して、前記シミュレートされた色および前記シミュレートされたテクスチャのうちの１つ以上に、前記オブジェクトのキャプチャされた色および前記オブジェクトのキャプチャされたテクスチャのうちの１つ以上を調整することを含む、請求項４に記載の方法。
【請求項６】
前記ライティング補正画像から前記深度推定画像を生成することが、前記トレーニングされた第２の機械学習ロジックを使用して、前記ライティング補正画像の１つ以上の画像ピクセルを前記深度推定画像の１つ以上のグレースケールピクセルにマッピングすることを含む、請求項１に記載の方法。
【請求項７】
前記トレーニングされた第１の機械学習ロジックが、条件付き生成敵対ネットワーク（ＧＡＮ）であり、前記トレーニングされた第２の機械学習ロジックが、他の条件付きＧＡ
Ｎであり、前記方法が、
トレーニングされた第３の機械学習ロジックを使用して、前記キャプチャ画像から前記模擬シミュレーション画像を生成することを含み、前記トレーニングされた第３の機械学習ロジックがサイクルＧＡＮである、請求項１に記載の方法。
【請求項８】
１つ以上のプロセッサと、
１つ以上のシミュレーション画像を生成するために、前記１つ以上のプロセッサによって実行可能な環境シミュレータと、
オブジェクトを含む画像コンテンツを描写するキャプチャ画像であって、センサ位置にある画像センサによってキャプチャされた前記キャプチャ画像を受信し、前記キャプチャ画像から、前記環境シミュレータに関連付けられたシミュレーションスタイルにおいて前記キャプチャ画像の前記画像コンテンツの少なくとも一部を描写する模擬シミュレーション画像を生成するように、前記１つ以上のプロセッサによって実行可能な第１の機械学習ロジックと、
前記第１の機械学習ロジックから前記模擬シミュレーション画像を受信し、前記模擬シミュレーション画像からライティング補正画像を生成するように、前記１つ以上のプロセッサによって実行可能な第２の機械学習ロジックと、
前記第２の機械学習ロジックから前記ライティング補正画像を受信し、前記ライティング補正画像から、前記キャプチャ画像に描写された前記オブジェクトと前記画像センサのセンサ位置との間の相対距離を示す深度推定画像を生成するように、前記１つ以上のプロセッサによって実行可能な第３の機械学習ロジックと、
前記深度推定画像に基づいて、前記キャプチャ画像に描写された前記オブジェクトのオブジェクト位置を判定するように、前記１つ以上のプロセッサによって実行可能なオブジェクト位置計算手段と、を備える、システム。
【請求項９】
前記キャプチャ画像の前記画像コンテンツが道路セグメントを描写し、前記キャプチャ画像において描写された前記オブジェクトが、前記道路セグメントに関連付けられた道路オブジェクトである、請求項８に記載のシステム。
【請求項１０】
前記模擬シミュレーション画像から前記ライティング補正画像を生成するために、前記第２の機械学習ロジックが、
前記模擬シミュレーション画像における影領域およびグレア領域のうちの１つ以上を検出することと、
前記模擬シミュレーション画像における前記影領域の検出に応答して、前記影領域を調整して前記模擬シミュレーション画像の前記影領域における影を低減または除去することと、
前記模擬シミュレーション画像における前記グレア領域の検出に応答して、前記グレア領域を調整して前記模擬シミュレーション画像の前記グレア領域におけるグレアを低減または除去することと、を含む１つ以上の動作を実行する、請求項８に記載のシステム。
【請求項１１】
前記キャプチャ画像の前記画像コンテンツが、前記オブジェクトを含む実際の環境を描写し、
前記環境シミュレータに関連付けられた前記シミュレーションスタイルが、前記環境シミュレータによって生成されたシミュレートされた色およびシミュレートされたテクスチャを含み、
前記キャプチャ画像から前記模擬シミュレーション画像を生成するために、前記第１の機械学習ロジックが、前記シミュレートされた色および前記シミュレートされたテクスチャのうちの１つ以上に、前記オブジェクトのキャプチャされた色および前記オブジェクトのキャプチャされたテクスチャのうちの１つ以上を調整することを含む１つ以上の操作を実行する、請求項８に記載のシステム。
【請求項１２】
前記ライティング補正画像から前記深度推定画像を生成するために、前記第３の機械学習ロジックが、
前記ライティング補正画像における１つ以上の画像ピクセルを前記深度推定画像における１つ以上のグレースケールピクセルにマッピングすることを含む１つ以上の操作を実行する、請求項８に記載のシステム。
【請求項１３】
前記第１の機械学習ロジックが、サイクル生成敵対ネットワーク（ＧＡＮ）であり、
前記第２の機械学習ロジックが、条件付きＧＡＮであり、前記第３の機械学習ロジックが、他の条件付きＧＡＮである、請求項８記載のシステム。
【請求項１４】
機械学習システムをトレーニングする方法において、
環境シミュレータを使用して、シミュレートされた画像コンテンツを描写し且つライティング効果を含むシミュレーション画像、および前記シミュレーション画像に対応する目標ライティング補正画像であって、前記シミュレートされた画像コンテンツを描写し且つ前記ライティング効果を除外または低減した目標ライティング補正画像を生成することと、
第１の機械学習ロジックを使用して、前記シミュレーション画像から、前記シミュレーション画像における前記ライティング効果を低減または除去した合成ライティング補正画像を生成することと、
前記第１の機械学習ロジックを使用して、前記合成ライティング補正画像と前記目標ライティング補正画像との間の類似性のレベルを示す第１の識別出力を判定することと、
前記第１の識別出力に基づいて、前記第１の機械学習ロジックの１つ以上のパラメータを調整することと、を備える、方法。
【請求項１５】
前記シミュレーション画像の前記シミュレートされた画像コンテンツが、１つ以上のシミュレートされた道路オブジェクトを含むシミュレートされた道路セグメントを描写する、請求項１４に記載の方法。
【請求項１６】
前記シミュレーション画像から前記合成ライティング補正画像を生成することが、
前記第１の機械学習ロジックを使用して、前記シミュレーション画像において影領域およびグレア領域のうちの１つ以上を検出することと、
前記シミュレーション画像における前記影領域の検出に応答して、前記第１の機械学習ロジックを使用して、前記シミュレーション画像の前記影領域における影を低減または除去するために前記影領域を調整することと、
前記シミュレーション画像における前記グレア領域の検出に応じて、前記第１の機械学習ロジックを使用して、前記シミュレーション画像の前記グレア領域におけるグレアを低減または除去するために前記グレア領域を調整することと、を含む、請求項１４に記載の方法。
【請求項１７】
前記環境シミュレータを使用して、前記シミュレーション画像に対応する目標深度推定画像を生成することであって、前記目標深度推定画像が、前記シミュレーション画像に描写されたオブジェクトと前記シミュレーション画像に関連付けられたシミュレートされたセンサ位置との間の相対距離を示すことと、
第２の機械学習ロジックを使用して、前記目標ライティング補正画像から合成深度推定画像を生成することであって、前記目標ライティング補正画像が、前記シミュレーション画像の前記シミュレートされた画像コンテンツを描写し、前記ライティング効果を除外または低減することと、
前記第２の機械学習ロジックを使用して、前記合成深度推定画像と前記目標深度推定画像との間の類似性のレベルを示す第２の識別出力を判定することと、
前記第２の識別出力に基づいて、前記第２の機械学習ロジックの１つ以上のパラメータを調整することと、をさらに備える、請求項１４に記載の方法。
【請求項１８】
前記目標ライティング補正画像から前記合成深度推定画像を生成することが、
前記第２の機械学習ロジックを使用して、前記目標ライティング補正画像における１つ以上の画像ピクセルを前記合成深度推定画像における１つ以上のグレースケールピクセルにマッピングすることを含む、請求項１７に記載の方法。
【請求項１９】
画像コンテンツを描写するキャプチャ画像を受信することであって、前記キャプチャ画像が、画像センサによってキャプチャされることと、
第３の機械学習ロジックを使用して、前記キャプチャ画像から前記模擬シミュレーション画像を生成することであって、前記模擬シミュレーション画像が、前記環境シミュレータに関連付けられたシミュレーションスタイルにおいて前記キャプチャ画像の前記画像コンテンツの少なくとも一部を描写することと、
前記第３の機械学習ロジックを使用して、前記模擬シミュレーション画像から合成キャプチャ画像を生成することであって、前記合成キャプチャ画像が前記キャプチャ画像を再現することと、
前記第３の機械学習ロジックを使用して、前記合成キャプチャ画像と前記キャプチャ画像との間の類似性のレベルを示す第３の識別出力を判定することと、
前記第３の識別出力に基づいて、前記第３の機械学習ロジックの１つ以上のパラメータを調整することと、をさらに備える、請求項１４に記載の方法。
【請求項２０】
前記キャプチャ画像の前記画像コンテンツが、オブジェクトを含む実際の環境を描写し、
前記環境シミュレータに関連付けられた前記シミュレーションスタイルが、前記環境シミュレータによって生成されたシミュレートされた色およびシミュレートされたテクスチャを含み、
前記キャプチャ画像から前記模擬シミュレーション画像を生成することが、前記第３の機械学習ロジックを使用して、前記シミュレートされた色および前記シミュレートされたテクスチャのうちの１つ以上に、前記オブジェクトのキャプチャされた色および前記オブジェクトのキャプチャされたテクスチャのうちの１つ以上を調整することを含み、
前記模擬シミュレーション画像から前記合成キャプチャ画像を生成することが、前記第３の機械学習ロジックを使用して、前記キャプチャ画像において描写された前記オブジェクトの前記キャプチャされた色および前記オブジェクトの前記キャプチャされたテクスチャのうちの１つ以上に、前記模擬シミュレーション画像において描写された前記オブジェクトの前記シミュレートされた色および前記オブジェクトの前記シミュレートされたテクスチャのうちの１つ以上を調整することを含む、請求項１９に記載の方法。
【請求項２１】
１つ以上のプロセッサと、
シミュレートされた画像コンテンツを描写し且つライティング効果を含むシミュレーション画像、および前記シミュレーション画像に対応する目標ライティング補正画像であって、前記シミュレートされた画像コンテンツを描写し且つ前記ライティング効果を除外または低減した目標ライティング補正画像を生成するために、前記１つ以上のプロセッサによって実行可能な環境シミュレータと、
前記シミュレーション画像から、前記シミュレーション画像における前記ライティング効果を低減または除去した合成ライティング補正画像を生成し、前記合成ライティング補正画像と前記目標ライティング補正画像との間の類似性のレベルを示す第１の識別出力を判定するように、前記１つ以上のプロセッサによって実行可能な第１の機械学習ロジックと、
前記第１の識別出力に基づいて、前記第１の機械学習ロジックの１つ以上のパラメータ
を調整するように、前記１つ以上のプロセッサによって実行可能なトレーニングエンジンと、を備える、システム。
【請求項２２】
前記シミュレーション画像の前記シミュレートされた画像コンテンツが、１つ以上のシミュレートされた道路オブジェクトを含むシミュレートされた道路セグメントを描写する、請求項２１に記載のシステム。
【請求項２３】
前記シミュレーション画像から前記合成ライティング補正画像を生成するために、前記第１の機械学習ロジックが、
前記シミュレーション画像における影領域およびグレア領域のうちの１つ以上を検出することと、
前記シミュレーション画像における前記影領域の検出に応答して、前記影領域を調整して前記シミュレーション画像の前記影領域における影を低減または除去することと、
前記シミュレーション画像における前記グレア領域の検出に応答して、前記グレア領域を調整して前記シミュレーション画像の前記グレア領域におけるグレアを低減または除去することと、を含む１つ以上の動作を実行する、請求項２１に記載のシステム。
【請求項２４】
前記環境シミュレータが、前記シミュレーション画像に対応する目標深度推定画像を生成するために前記１つ以上のプロセッサによって実行可能であり、前記目標深度推定画像が、前記シミュレーション画像に描写されたオブジェクトと前記シミュレーション画像に関連付けられたシミュレートされたセンサ位置との間の相対距離を示し、前記システムが、
前記１つ以上のプロセッサによって実行可能な第２の機械学習ロジックが、前記目標ライティング補正画像から合成深度推定画像を生成することであって、前記目標ライティング補正画像が、前記シミュレーション画像の前記シミュレートされた画像コンテンツを描写し、前記ライティング効果を除外または低減し、前記合成深度推定画像と前記目標深度推定画像との間の類似性のレベルを示す第２の識別出力を判定することを含み、
前記トレーニングエンジンが、前記１つ以上のプロセッサによって実行可能であり、前記第２の識別出力に基づいて、前記第２の機械学習ロジックの１つ以上のパラメータを調整する、請求項２１に記載のシステム。
【請求項２５】
前記目標ライティング補正画像から前記合成深度推定画像を生成するために、前記第２の機械学習ロジックが、
前記目標ライティング補正画像における１つ以上の画像ピクセルを前記合成深度推定画像における１つ以上のグレースケールピクセルにマッピングすることを含む１つ以上の操作を実行する、請求項２４に記載のシステム。
【請求項２６】
１つ以上のプロセッサによって実行可能な第３の機械学習ロジックが、画像コンテンツを描写するキャプチャ画像であって、画像センサによってキャプチャされるキャプチャ画像を受信し、前記キャプチャ画像から、前記環境シミュレータに関連付けられたシミュレーションスタイルにおいて前記キャプチャ画像の前記画像コンテンツの少なくとも一部を描写する模擬シミュレーション画像を生成し、前記模擬シミュレーション画像から、前記キャプチャ画像を再現する合成キャプチャ画像を生成し、前記合成キャプチャ画像と前記キャプチャ画像との間の類似性のレベルを示す第３の識別出力を判定することをさらに備え、
前記トレーニングエンジンが、前記第３の識別出力に基づいて、前記第３の機械学習ロジックの１つ以上のパラメータを調整するように前記１つ以上のプロセッサによって実行可能である、請求項２１に記載のシステム。
【請求項２７】
前記キャプチャ画像の前記画像コンテンツが、オブジェクトを含む実際の環境を描写し
、
前記環境シミュレータに関連付けられた前記シミュレーションスタイルが、前記環境シミュレータによって生成されたシミュレートされた色およびシミュレートされたテクスチャを含み、
前記キャプチャ画像から前記模擬シミュレーション画像を生成するために、前記第３の機械学習ロジックが、前記シミュレートされた色および前記シミュレートされたテクスチャのうちの１つ以上に、前記オブジェクトのキャプチャされた色および前記オブジェクトのキャプチャされたテクスチャのうちの１つ以上を調整することを含む１つ以上の操作を実行し、
前記模擬シミュレーション画像から前記合成キャプチャ画像を生成するために、前記第３の機械学習ロジックが、前記キャプチャ画像に描写された前記オブジェクトの前記キャプチャされた色および前記オブジェクトの前記キャプチャされたテクスチャのうちの１つ以上に、前記模擬シミュレーション画像に描写された前記オブジェクトの前記シミュレートされた色および前記オブジェクトの前記シミュレートされたテクスチャのうちの１つ以上を調整することを含む１つ以上の操作を実行する、請求項２６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、オブジェクトの位置の判定に関する。より具体的な例では、本開示は、画像処理を使用して画像に描写されたオブジェクトの相対距離を推定するための技術に関する。
【背景技術】
【０００２】
オブジェクトの相対距離の推定は、多くの場合、深度推定を必要とする。今日、一部の最新システムは、多くの場合、深度推定トレーニング用に、キャプチャ画像とキャプチャ画像に対応する深度推定画像とを含むトレーニングデータを使用する。しかしながら、このトレーニングデータの作成は、通常、キャプチャ画像を処理し、これらのキャプチャ画像に対応する深度推定画像を生成するための膨大な量の計算のため、時間がかかり、計算コストがかかる。その結果、これらの既存のシステムによって実行される深度推定は、通常、トレーニングデータの量が限られていることによって引き起こされるトレーニングの不十分さに起因して不正確である。他の既存の解決策は、システムのトレーニングにおいてシミュレーション画像を使用して深度推定を実行することである。しかしながら、これらのシステムは、シミュレーション画像を使用してトレーニングされるが、一般にキャプチャ画像の深度推定を実行するために適用されるため、深度推定の精度は大幅に低下する。さらに、既存のシステムは、一般に、画像内の周囲の制約に対処することができないため、これらのシステムがこれらの周囲の制約を含むキャプチャ画像に対して正確な深度推定を実行することは通常非現実的または不可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本開示で説明する主題は、本線交通に合流するように車両を合流するための最適合流操作を判定するための新規技術を提供することにより、既存の解決策の欠陥および制限を解消する。
【課題を解決するための手段】
【０００４】
本開示で説明する主題の革新的な一態様によれば、方法は、オブジェクトを含む画像コンテンツを描写するキャプチャ画像であって、センサ位置にある画像センサによってキャプチャされるキャプチャ画像を受信することと、トレーニングされた第１の機械学習ロジックを使用して、環境シミュレータに関連付けられたシミュレーションスタイルにおいてキャプチャ画像の画像コンテンツの少なくとも一部を描写する模擬シミュレーション画像からライティング補正画像を生成することと、トレーニングされた第２の機械学習ロジックを使用して、ライティング補正画像から、キャプチャ画像に描写されたオブジェクトと画像センサのセンサ位置との間の相対距離を示す深度推定画像を生成することと、深度推定画像に基づいて、キャプチャ画像に描写されたオブジェクトのオブジェクト位置を判定することと、を備える。
【０００５】
一般に、本開示で説明する主題の他の革新的な態様は、１つ以上のプロセッサと、１つ以上のシミュレーション画像を生成するために、１つ以上のプロセッサによって実行可能な環境シミュレータと、オブジェクトを含む画像コンテンツを描写するキャプチャ画像であって、センサ位置にある画像センサによってキャプチャされたキャプチャ画像を受信し、キャプチャ画像から、環境シミュレータに関連付けられたシミュレーションスタイルにおいてキャプチャ画像の画像コンテンツの少なくとも一部を描写する模擬シミュレーション画像を生成するように、１つ以上のプロセッサによって実行可能な第１の機械学習ロジックと、第１の機械学習ロジックから模擬シミュレーション画像を受信し、模擬シミュレ
ーション画像からライティング補正画像を生成するように、１つ以上のプロセッサによって実行可能な第２の機械学習ロジックと、第２の機械学習ロジックからライティング補正画像を受信し、ライティング補正画像から、キャプチャ画像に描写されたオブジェクトと画像センサのセンサ位置との間の相対距離を示す深度推定画像を生成するように、１つ以上のプロセッサによって実行可能な第３の機械学習ロジックと、深度推定画像に基づいて、キャプチャ画像に描写されたオブジェクトのオブジェクト位置を判定するように、１つ以上のプロセッサによって実行可能なオブジェクト位置計算手段と、を備えるシステムにおいて具現化されることができる。
【０００６】
一般に、本開示で説明する主題の他の革新的な態様は、環境シミュレータを使用して、シミュレートされた画像コンテンツを描写し且つライティング効果を含むシミュレーション画像、およびシミュレーション画像に対応する目標ライティング補正画像であって、シミュレートされた画像コンテンツを描写し且つライティング効果を除外または低減した目標ライティング補正画像を生成することと、第１の機械学習ロジックを使用して、シミュレーション画像から、シミュレーション画像におけるライティング効果を低減または除去した合成ライティング補正画像を生成することと、第１の機械学習ロジックを使用して、合成ライティング補正画像と目標ライティング補正画像との間の類似性のレベルを示す第１の識別出力を判定することと、第１の識別出力に基づいて、第１の機械学習ロジックの１つ以上のパラメータを調整することと、を備える方法において具現化されることができる。
【０００７】
一般に、本開示で説明する主題の他の革新的な態様は、１つ以上のプロセッサと、シミュレートされた画像コンテンツを描写し且つライティング効果を含むシミュレーション画像、およびシミュレーション画像に対応する目標ライティング補正画像であって、シミュレートされた画像コンテンツを描写し且つライティング効果を除外または低減した目標ライティング補正画像を生成するために、１つ以上のプロセッサによって実行可能な環境シミュレータと、シミュレーション画像から、シミュレーション画像におけるライティング効果を低減または除去した合成ライティング補正画像を生成し、合成ライティング補正画像と目標ライティング補正画像との間の類似性のレベルを示す第１の識別出力を判定するように、１つ以上のプロセッサによって実行可能な第１の機械学習ロジックと、第１の識別出力に基づいて、第１の機械学習ロジックの１つ以上のパラメータを調整するように、１つ以上のプロセッサによって実行可能なトレーニングエンジンとを備えるシステムにおいて具現化されることができる。
【０００８】
これらのおよび他の実装は、それぞれ、必要に応じて、以下の特徴のうちの１つ以上を含むことができる：キャプチャ画像の画像コンテンツが、道路セグメントを描写し、キャプチャ画像に描写されるオブジェクトが、道路セグメントに関連付けられた道路オブジェクトである；模擬シミュレーション画像からライティング補正画像を生成することが、トレーニングされた第１の機械学習ロジックを使用して、模擬シミュレーション画像における影領域の検出に応答して、模擬シミュレーション画像における影領域およびグレア領域のうちの１つ以上を検出することと、トレーニングされた第１の機械学習ロジックを使用して、模擬シミュレーション画像における影領域の影を低減または除去するように影領域を調整することと、模擬シミュレーション画像におけるグレア領域の検出に応答して、トレーニングされた第１の機械学習ロジックを使用して、模擬シミュレーション画像のグレア領域におけるグレアを低減または除去するようにグレア領域を調整することと、を含む；トレーニングされた第３の機械学習ロジックを使用して、キャプチャ画像から模擬シミュレーション画像を生成すること；キャプチャ画像の画像コンテンツがオブジェクトを含む実際の環境を描写し、環境シミュレータに関連付けられたシミュレーションスタイルが、環境シミュレータによって生成されたシミュレートされた色およびシミュレートされたテクスチャを含み、キャプチャ画像から模擬シミュレーション画像を生成することが、ト
レーニングされた第３の機械学習ロジックを使用して、シミュレートされた色およびシミュレートされたテクスチャのうちの１つ以上にオブジェクトのキャプチャされた色およびオブジェクトのキャプチャされたテクスチャのうちの１つ以上を調整することを含む；ライティング補正画像から深度推定画像を生成することが、トレーニングされた第２の機械学習ロジックを使用して、ライティング補正画像における１つ以上の画像ピクセルを深度推定画像における１つ以上のグレースケールピクセルにマッピングすることを含む；トレーニングされた第１の機械学習ロジックが、条件付き生成的敵対ネットワーク（ＧＡＮ）であり、トレーニングされた第２の機械学習ロジックが、他の条件付きＧＡＮであり、サイクルＧＡＮであるトレーニングされた第３の機械学習ロジックを使用して、キャプチャ画像から模擬シミュレーション画像を生成する。
【０００９】
これらのおよび他の実装は、それぞれ、必要に応じて、以下の特徴のうちの１つ以上を含むことができる：シミュレーション画像のシミュレートされた画像コンテンツが、１つ以上のシミュレートされた道路オブジェクトを含むシミュレートされた道路セグメントを描写する；シミュレーション画像から合成ライティング補正画像を生成することが、第１の機械学習ロジックを使用して、シミュレーション画像における影領域およびグレア領域のうちの１つ以上を検出することと、シミュレーション画像における影領域の検出に応答して、第１の機械学習ロジックを使用して、シミュレーション画像の影領域における影を低減または除去するように影領域を調整することと、シミュレーション画像におけるグレア領域の検出に応答して、第１の機械学習ロジックを使用して、シミュレーション画像のグレア領域におけるグレアを低減または除去するようにグレア領域を調整することと、を含む；環境シミュレータを使用して、シミュレーション画像に対応する目標深度推定画像であって、シミュレーション画像に描写されたオブジェクトとシミュレーション画像に関連付けられたシミュレートされたセンサ位置との間の相対距離を示す目標深度推定画像を生成し、第２の機械学習ロジックを使用して、シミュレーション画像のシミュレートされた画像コンテンツを描写し且つライティング効果を除外または低減した目標ライティング補正画像から合成深度推定画像を生成し、第２の機械学習ロジックを使用して、合成深度推定画像と目標深度推定画像との間の類似性のレベルを示す第２の識別出力を判定し、第２の識別出力に基づいて第２の機械学習ロジックの１つ以上のパラメータを調整する；目標ライティング補正画像から合成深度推定画像を生成することが、第２の機械学習ロジックを使用して、目標ライティング補正画像における１つ以上の画像ピクセルを合成深度推定画像における１つ以上のグレースケールピクセルにマッピングすることを含む；画像コンテンツを描写するキャプチャ画像であって、画像センサによってキャプチャされたキャプチャ画像を受信し、第３の機械学習ロジックを使用して、キャプチャ画像から、環境シミュレータに関連付けられたシミュレーションスタイルにおけるキャプチャ画像の画像コンテンツの少なくとも一部を描写する模擬シミュレーション画像を生成し、第３の機械学習ロジックを使用して、模擬シミュレーション画像から、キャプチャ画像を再現する合成キャプチャ画像を生成し、第３の機械学習ロジックを使用して、合成キャプチャ画像とキャプチャ画像との間の類似性のレベルを示す第３の識別出力を判定し、第３の識別出力に基づいて、第３の機械学習ロジックの１つ以上のパラメータを調整する；キャプチャ画像の画像コンテンツがオブジェクトを含む実際の環境を描写し、環境シミュレータに関連付けられたシミュレーションスタイルが、環境シミュレータによって生成されたシミュレートされた色およびシミュレートされたテクスチャを含み、キャプチャ画像から模擬シミュレーション画像を生成することが、第３の機械学習ロジックを使用して、シミュレートされた色およびシミュレートされたテクスチャのうちの１つ以上にオブジェクトのキャプチャされた色およびオブジェクトのキャプチャされたテクスチャのうちの１つ以上を調整することを含み、模擬シミュレーション画像から合成キャプチャ画像を生成することが、第３の機械学習ロジックを使用して、キャプチャ画像において描写されたオブジェクトのキャプチャされた色およびオブジェクトのキャプチャされたテクスチャのうちの１つ以上に模擬シミュレーション画像に描写されたオブジェクトのシミュレートされた色およびオブ
ジェクトのシミュレートされたテクスチャのうちの１つ以上を調整することを含む。
【００１０】
これらのおよび他の態様のうちの１つ以上の他の実装は、非一時的コンピュータ記憶装置上で符号化された方法の動作を実行するように構成された対応するシステム、装置、およびコンピュータプログラムを含む。
【００１１】
本開示で提示される深度推定を実行し、深度推定に基づいてオブジェクトの相対距離を判定するための新規の技術は、多くの点で特に有利である。例えば、本明細書で説明される技術は、単眼深度推定を実行することができる。特に、本技術は、１つの画像センサによってキャプチャされた単一の単眼画像から深度推定画像を生成することができ、それにより、複数の画像センサを使用して異なる視点から複数の画像をキャプチャし、複数のキャプチャ画像を合成して深度推定を実行する必要がなくなる。さらなる例として、本明細書で説明される技術は、深度推定トレーニングのために環境シミュレータ（例えば、交通シミュレータ）によって生成されたシミュレーション画像を使用する。したがって、本技術は、大量の高解像度シミュレーション画像を用いて深度推定を実行するようにトレーニングされることができ、したがって、大量のトレーニングデータを用いた十分なトレーニングにより、深度推定の精度を改善することができる。
【００１２】
本明細書で説明される技術はまた、画像センサによってキャプチャされたキャプチャ画像を環境シミュレータによって生成されたシミュレーション画像のシミュレーションスタイルに調整することができるため、特に有利である。その結果、本技術は、本技術が以前にシミュレーション画像によってトレーニングされている場合であっても、キャプチャ画像の深度推定を実行するために有利に適用可能である。さらにまた、本技術は、キャプチャ画像に通常存在する周囲の制約（例えば、影、グレア、反射など）に効果的に対処することができるため、深度推定の精度に対するこれらの周囲の制約の悪影響を制限または回避することができる。さらに、本明細書で説明される技術は、複数の機械学習ロジックを含むことができる。これらの機械学習ロジックは、シミュレーション画像によって個別にトレーニングされ、その後、リアルタイムで画像センサによってキャプチャされたキャプチャ画像に対して深度推定を実行するために実装されることができる。このシステム構造は、本技術を車両に実装することができ、それにより、車両に様々な道路オブジェクトの位置を判定し、それに応じてナビゲーション経路を適合させる能力を提供することができる。
【００１３】
前述の利点は、例として提供されており、本技術は、他の多くの利点および利益を有することができることを理解されたい。
【００１４】
本開示は、添付図面の図において限定ではなく例として示されており、同様の参照符号は、同様の要素を指すために使用されている。
【図面の簡単な説明】
【００１５】
【図１】深度推定を実行し、深度推定に基づいてオブジェクトの相対距離を判定するための例示的なシステムのブロック図である。
【図２】例示的な距離推定アプリケーションのブロック図である。
【図３Ａ】距離推定アプリケーションの例示的なトレーニング段階および例示的な実装段階のブロック図を示している。
【図３Ｂ】距離推定アプリケーションの例示的なトレーニング段階および例示的な実装段階のブロック図を示している。
【図３Ｃ】距離推定アプリケーションの例示的なトレーニング段階および例示的な実装段階のブロック図を示している。
【図４】深度推定を実行し、深度推定に基づいてオブジェクトの相対距離を判定するための例示的な方法のフローチャートである。
【図５】模擬シミュレーション画像を生成する例示的な方法のフローチャートである。
【図６】ライティング補正画像を生成するための例示的な方法のフローチャートである。
【発明を実施するための形態】
【００１６】
本明細書で説明する技術は、正確な深度推定を実行し、深度推定に基づいてオブジェクトの相対距離を判定することができる。以下でさらに詳細に説明するように、本技術は、距離推定方法、システム、装置、コンピューティングデバイス、コンピュータプログラム製品などの様々な態様を含むことができる。本開示は、車両関連のコンテキストにおいて本技術を説明することができるが、本技術は、オブジェクトの位置特定を必要とする他のコンテキスト、シナリオ、および／またはアプリケーションに適用可能とすることができることが理解されるべきである。
【００１７】
例示的な距離推定システムは、複数の機械学習ロジックを含むことができる。いくつかの実施形態では、これらの機械学習ロジックのうちの第１の機械学習ロジックは、キャプチャ画像から模擬シミュレーション画像を生成するようにトレーニングされることができる。模擬シミュレーション画像は、環境シミュレータに関連付けられたシミュレーションスタイルにおいて画像センサによってキャプチャされたキャプチャ画像の画像コンテンツを描写することができる。いくつかの実施形態では、機械学習ロジックのうちの第２の機械学習ロジックは、模擬シミュレーション画像からライティング補正画像を生成するようにトレーニングされることができる。ライティング補正画像は、模擬シミュレーション画像における１つ以上のライティング効果（例えば、影、グレア、反射など）を低減または除去することができる。いくつかの実施形態では、機械学習ロジックのうちの第３の機械学習ロジックは、ライティング補正画像から深度推定画像を生成するようにトレーニングされることができる。深度推定画像は、ライティング補正画像における１つ以上の画像ピクセルを深度推定画像における１つ以上のグレースケールピクセルにマッピングすることができる。いくつかの実施形態では、深度推定画像におけるこれらのグレースケールピクセルのグレー強度は、キャプチャ画像に描写されたオブジェクトと画像センサのセンサ位置との間の相対距離を示すことができる。
【００１８】
したがって、実施段階において、トレーニングされた距離推定システムは、画像センサによってキャプチャされたキャプチャ画像を受信することができる。トレーニングされた距離推定システムは、トレーニングされた第１の機械学習ロジックを使用してキャプチャ画像から模擬シミュレーション画像を生成し、トレーニングされた第２の機械学習ロジックを使用して模擬シミュレーション画像からライティング補正画像を生成し、トレーニングされた第３の機械学習ロジックを使用してライティング補正画像から深度推定画像を生成することができる。深度推定画像は、キャプチャ画像に描写されたオブジェクトと画像センサのセンサ位置との間の相対距離を示すことができるため、トレーニングされた距離推定システムは、深度推定画像に基づいてオブジェクトのオブジェクト位置を判定することができる。いくつかの実施形態では、次いで、オブジェクトのオブジェクト位置を使用して、様々な車両のナビゲーション経路を判定または更新することができる。
【００１９】
図１は、深度推定を実行し、深度推定に基づいてオブジェクトの相対距離を判定するための例示的なシステム１００のブロック図である。示されるように、システム１００は、ネットワーク１０５を介した電子通信のために結合されたサーバ１０１および１つ以上の車両プラットフォーム１０３ａ・・・１０３ｎを含む。図１および残りの図では、例えば「１０３ａ」などの参照符号の後の文字は、その特定の参照符号を有する要素への参照を表している。例えば、「１０３」などの後続文字のないテキスト内の参照符号は、その参
照符号が付された要素のインスタンスへの一般的な参照を表している。図１に示されるシステム１００は、例として提供され、本開示によって想定されるシステム１００および／またはさらなるシステムは、追加のおよび／またはより少ない構成要素を含んでもよく、構成要素を組み合わせてもよく、および／または構成要素のうちの１つ以上を追加の構成要素に分割してもよいなどが理解されるべきである。例えば、システム１００は、任意の数の車両プラットフォーム１０３またはサーバ１０１を含むことができる。
【００２０】
ネットワーク１０５は、従来型の有線および／または無線とすることができ、スター構成、トークンリング構成、または他の構成を含む多数の異なる構成を有することができる。例えば、ネットワーク１０５は、１つ以上のローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）、パーソナルエリアネットワーク（ＰＡＮ）、パブリックネットワーク、プライベートネットワーク、仮想ネットワーク、仮想プライベートネットワーク、ピアツーピアネットワーク、近距離ネットワーク（例えば、ブルートゥース（登録商標）、ＮＦＣなど）、車両ネットワーク、および／または複数のデバイスが通信することができる他の相互接続されたデータパスを含むことができる。
【００２１】
ネットワーク１０５はまた、様々な異なる通信プロトコルにおいてデータを送信するための電気通信ネットワークの一部に結合されるか、またはそれを含むことができる。プロトコルの例は、これらに限定されるものではないが、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、伝送制御プロトコル（ＴＣＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、セキュアハイパーテキスト転送プロトコル（ＨＴＴＰＳ）、ダイナミックアダプティブストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、リアルタイムトランスポートプロトコル（ＲＴＰ）およびリアルタイムトランスポートコントロールプロトコル（ＲＴＣＰ）、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）、ファイル転送プロトコル（ＦＴＰ）、ＷｅｂＳｏｃｋｅｔ（ＷＳ）、ワイヤレスアクセスプロトコル（ＷＡＰ）、様々なメッセージングプロトコル（ＳＭＳ、ＭＭＳ、ＸＭＳ、ＩＭＡＰ、ＳＭＴＰ、ＰＯＰ、ＷｅｂＤＡＶなど）、またはその他の適切なプロトコルを含む。いくつかの実施形態では、ネットワーク１０５は、ＤＳＲＣ（専用短距離通信）、ＷＡＶＥ、８０２．１１ｐ、３Ｇ、４Ｇ、５Ｇ＋ネットワーク、ＷｉＦｉＴＭ、衛星ネットワーク、車車間（Ｖ２Ｖ）ネットワーク、車両対インフラストラクチャ／インフラストラクチャ対車両（Ｖ２Ｉ／Ｉ２Ｖ）ネットワーク、またはその他の無線ネットワークなどの接続を使用する無線ネットワークである。図１は、サーバ１０１および車両プラットフォーム１０３に結合するネットワーク１０５の単一のブロックを示しているが、ネットワーク１０５は、上述したように、実際には任意の数のネットワークの組み合わせを含むことができることが理解されるべきである。
【００２２】
サーバ１０１は、プロセッサ、メモリ、およびネットワーク通信機能（例えば、通信ユニット）を含むハードウェアおよび／または仮想サーバを含む。サーバ１０１は、信号線１４５によって反映されるように、ネットワーク１０５に通信可能に結合されてもよい。いくつかの実施形態では、サーバ１０１は、システム１００の他のエンティティ（例えば、車両プラットフォーム１０３）との間でデータを送受信することができる。示されるように、本明細書の他の箇所でさらに説明するように、サーバ１０１は、距離推定アプリケーション１２０のインスタンス１２０ａおよびナビゲーションアプリケーション１２２のインスタンス１２２ａを含むことができる。
【００２３】
車両プラットフォーム１０３は、センサ１１３、プロセッサ１１５、メモリ１１７、通信ユニット１１９、データストア１２１、距離推定アプリケーション１２０、およびナビゲーションアプリケーション１２２を有するコンピューティングデバイス１５２を含む。
コンピューティングデバイス１５２の例は、１つ以上のセンサ１１３、１つ以上のアクチュエータ、１つ以上の動機付けなどの車両プラットフォーム１０３の他の構成要素に結合される、仮想または物理コンピュータプロセッサ、制御ユニット、マイクロコントローラなどを含むことができる。車両プラットフォーム１０３は、信号線１４１を介してネットワーク１０５に結合されることができ、他の車両プラットフォーム１０３および／またはサーバ１０１との間でデータを送受信することができる。いくつかの実施形態では、車両プラットフォーム１０３は、ある地点から他の地点まで輸送することができる。車両プラットフォーム１０３の非限定的な例は、車両、自動車、バス、ボート、飛行機、バイオニックインプラント、ロボット、または非一時的なコンピュータ電子機器（例えば、プロセッサ、メモリまたは非一時的なコンピュータ電子機器の任意の組み合わせ）を有する任意の他のプラットフォームを含む。車両プラットフォーム１０３は、本明細書では車両と呼ばれることがある。
【００２４】
プロセッサ１１５は、様々な入力／出力、論理的、および／または数学的演算を実行することにより、ソフトウェア命令（例えば、タスク）を実行することができる。プロセッサ１１５は、データ信号を処理するための様々なコンピューティングアーキテクチャを有することができる。プロセッサ１１５は、物理的および／または仮想的とすることができ、単一のコアまたは複数の処理ユニットおよび／またはコアを含むことができる。車両プラットフォーム１０３のコンテキストでは、プロセッサは、自動車などの車両プラットフォーム１０３に実装される電子制御ユニット（ＥＣＵ）とすることができるが、他のタイプのプラットフォームも可能であり、想定される。ＥＣＵは、距離推定アプリケーション１２０およびナビゲーションアプリケーション１２２によるアクセスおよび／または検索のために、センサデータを車両操作データとしてデータストア１２１に受信および記憶することができる。いくつかの実装では、プロセッサ１１５は、電子ディスプレイ信号を生成および入力／出力デバイスに提供することができ、画像の表示をサポートすることができ、画像をキャプチャおよび送信することができ、様々なタイプの画像処理および機械学習の実装などを含む複雑なタスクを実行することができる。いくつかの実装では、プロセッサ１１５は、バス１５４を介してメモリ１１７に結合され、そこからデータおよび命令にアクセスし、そこにデータを記憶することができる。バス１５４は、プロセッサ１１５を、例えば、センサ１１３、メモリ１１７、通信ユニット１１９および／またはデータストア１２１などを含む車両プラットフォーム１０３の他の構成要素に結合することができる。
【００２５】
距離推定アプリケーション１２０は、深度推定を実行し、深度推定に基づいてオブジェクトの相対距離を判定するように実行可能なソフトウェアおよび／またはハードウェアロジックを含む。図１に示すように、サーバ１０１および車両プラットフォーム１０３ａ・・・１０３ｎは、距離推定アプリケーション１２０のインスタンス１２０ａおよび１２０ｂ・・・１２０ｎを含むことができる。いくつかの実施形態では、各インスタンス１２０ａおよび１２０ｂ・・・１２０ｎは、図２に示される距離推定アプリケーション１２０の１つ以上の構成要素を含むことができ、インスタンスが存在する場所に応じて本明細書に記載の機能を完全にまたは部分的に実行するように構成されることができる。いくつかの実施形態では、距離推定アプリケーション１２０は、これらに限定されるものではないが、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などのハードウェア、および／またはハードウェアとソフトウェアとの組み合わせを使用して、１つ以上のコンピュータデバイスの１つ以上のプロセッサによって実行可能なソフトウェアを使用して実装されることができる。距離推定アプリケーション１２０は、センサデータおよび／または車両データを受信および処理することができ、バス１５４を介して、メモリ１１７、通信ユニット１１９、データストア１２１、ナビゲーションアプリケーション１２２、および様々なアクチュエータおよび／または動機付けなどの車両プラットフォーム１０３の他の要素と通信することができる。例えば、距離推定アプリケー
ション１２０は、１つ以上のキャプチャ画像に描写された様々なオブジェクトのオブジェクト位置をナビゲーションアプリケーション１２２に通信することができる。距離推定アプリケーション１２０は、少なくとも図２〜図６を参照して以下で詳細に説明される。
【００２６】
ナビゲーションアプリケーション１２２は、経路計画を実行し、および／またはナビゲーションガイダンスをユーザに提供するように実行可能なコンピュータロジックである。図１に示すように、サーバ１０１および車両プラットフォーム１０３ａ・・・１０３ｎは、ナビゲーションアプリケーション１２２のインスタンス１２２ａおよび１２２ｂ・・・１２２ｎを含むことができる。いくつかの実施形態では、ナビゲーションアプリケーション１２２は、１つ以上のコンピュータデバイスの１つ以上のプロセッサによって実行可能なソフトウェアを使用して、これらに限定されるものではないが、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などのハードウェアを使用して、および／またはハードウェアとソフトウェアとの組み合わせなどで実装されることができる。ナビゲーションアプリケーション１２２は、センサデータおよび／または車両データを受信および処理することができ、バス１５４を介して、メモリ１１７、通信ユニット１１９、データストア１２１、距離推定アプリケーション１２０、および様々なアクチュエータおよび／または動機付けなどの車両プラットフォーム１０３の他の要素と通信することができる。いくつかの実施形態では、ナビゲーションアプリケーション１２２は、経路計画を実行して、距離推定アプリケーション１２０によって判定された様々なオブジェクトのオブジェクト位置に基づいてナビゲーション経路を判定または更新し、（例えば、車線変更操作を示唆する）道路を占める様々なオブジェクトのオブジェクト位置に適合したナビゲーション経路に対応するナビゲーション指示を生成し、車両プラットフォーム１０３の１つ以上の出力デバイスを介してナビゲーション指示をユーザに提供することができる。
【００２７】
メモリ１１７は、非一時的コンピュータ使用可能（例えば、読み取り可能、書き込み可能など）媒体を含み、プロセッサ１１５に関連して処理するために、命令、データ、コンピュータプログラム、ソフトウェア、コード、ルーチンなどを含み、記憶し、通信し、伝播または輸送することができる任意の有形の非一時的装置またはデバイスとすることができる。例えば、メモリ１１７は、距離推定アプリケーション１２０および／またはナビゲーションアプリケーション１２２を記憶することができる。いくつかの実装では、メモリ１１７は、揮発性メモリおよび不揮発性メモリのうちの１つ以上を含むことができる。例えば、メモリ１１７は、これらに限定されるものではないが、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、ディスクリートメモリデバイス（例えば、ＰＲＯＭ、ＦＰＲＯＭ、ＲＯＭ）、ハードディスクドライブ、光ディスクドライブ（ＣＤ、ＤＶＤ、ブルーレイＴＭなど）のうちの１つ以上を含むことができる。メモリ１１７は、単一のデバイスであってもよく、または複数のタイプのデバイスおよび構成を含んでもよいことが理解されるべきである。
【００２８】
通信ユニット１１９は、無線および／または有線接続を使用して（例えば、ネットワーク１０５を介して）通信可能に結合される他のコンピューティングデバイスとデータを送受信する。通信ユニット１１９は、データを送受信するための１つ以上の有線インターフェースおよび／または無線トランシーバを含むことができる。通信ユニット１１９は、ネットワーク１０５に結合し、他の車両プラットフォーム１０３および／またはサーバ１０１などのシステム１００の他のエンティティと通信することができる。通信ユニット１１９は、上述したような標準的な通信方法を使用して他のコンピューティングノードとデータを交換することができる。
【００２９】
センサ１１３は、車両プラットフォーム１０３に適した任意のタイプのセンサを含む。センサ１１３は、車両プラットフォーム１０３および／またはその内部および外部環境の
特性を判定するのに適した任意のタイプの信号データを収集するように構成されることができる。センサ１１３の非限定的な例は、様々な光学センサ（ＣＣＤ、ＣＭＯＳ、２Ｄ、３Ｄ、光検出および測距（ＬＩＤＡＲ）、カメラなど）、音声センサ、動き検出センサ、気圧計、高度計、熱電対、水分センサ、赤外線（ＩＲ）センサ、レーダーセンサ、他のフォトセンサ、ジャイロスコープ、加速度計、速度計、ステアリングセンサ、ブレーキセンサ、スイッチ、車両インジケータセンサ、フロントガラスワイパーセンサ、ジオロケーションセンサ、方位センサ、無線トランシーバ（例えば、携帯電話、ＷｉＦｉＴＭ、近接場など）、ソナーセンサ、超音波センサ、タッチセンサ、近接センサ、距離センサなどを含む。いくつかの実施形態では、１つ以上のセンサ１１３は、車両プラットフォーム１０３を取り巻く状況コンテキストをキャプチャするために、車両プラットフォーム１０３の前面、背面、右側面、および／または左側面に設けられる外部に面するセンサを含むことができる。
【００３０】
いくつかの実施形態では、センサ１１３は、ビデオ画像および静止画像を含む画像を記録するように構成された１つ以上の画像センサ（例えば、光学センサ）を含むことができ、任意の適用可能なフレームレートを使用してビデオストリームのフレームを記録することができ、適用可能な方法を使用してキャプチャされたビデオおよび静止画を符号化および／または処理することができる。いくつかの実施形態では、画像センサ１１３は、それらのセンサ範囲内の周囲環境の画像をキャプチャすることができる。例えば、車両プラットフォームのコンテキストにおいて、画像センサ１１３は、道路、路傍構造、建物、静的道路オブジェクト（例えば、車線、道路標識、交通標識、交通コーン、バリケードなど）、および／または動的道路オブジェクト（例えば、周囲の車両プラットフォーム１０３、道路労働者、建設車両など）などを含む車両プラットフォーム１０３の周囲の環境をキャプチャすることができる。いくつかの実施形態では、画像センサ１１３によってキャプチャされた画像は、環境シミュレータ（例えば、交通シミュレータ）によって生成されたシミュレーション画像とは対照的に、キャプチャ画像と呼ばれることができる。いくつかの実施形態では、画像センサ１１３は、車両の屋根および／または車両プラットフォーム１０３の内部に取り付けられて、車両プラットフォーム１０３の移動方向に対して任意の方向（前方、後方、側方、上方、下方など）を検知することができる。いくつかの実施形態では、画像センサ１１３は、多方向（例えば、ＬＩＤＡＲ）であってもよい。
【００３１】
データストア１２１は、様々なタイプのデータを記憶する非一時的記憶媒体を含む。例えば、データストア１２１は、コントローラエリアネットワーク（ＣＡＮ）バスなどのバスを使用して、所定の車両プラットフォーム１０３の異なる構成要素間で通信される車両データを記憶することができる。いくつかの実施形態では、車両データは、例えば、トランスミッション、速度、加速、減速、ホイール速度（分あたり回転数−ＲＰＭ）、操舵角、制動力など、これらの構成要素の動作状態を監視するために車両プラットフォーム１０３の異なる構成要素に結合された複数のセンサ１１３から収集された車両動作データを含むことができる。いくつかの実施形態では、車両データは、移動方向、車両プラットフォーム１０３の地理的位置を示す車両ジオロケーション（例えば、ＧＰＳ（全地球測位システム）座標）などを含むことができる。いくつかの実施形態では、車両データはまた、車両プラットフォーム１０３の１つ以上の画像センサ１１３によってキャプチャされた複数のキャプチャ画像、およびこれらの画像に関連付けられた画像データも含むことができる。いくつかの実施形態では、画像データは、画像の画像識別子（例えば、画像ＩＤ）、画像のデータサイズを示す画像データサイズ、画像がキャプチャされた日時を示す画像タイムスタンプなどを含むことができる。
【００３２】
いくつかの実施形態では、データストア１２１は、距離推定アプリケーション１２０のトレーニングデータを記憶してもよい。いくつかの実施形態では、距離推定アプリケーション１２０のトレーニングデータは、１つ以上の画像センサ（例えば、車両プラットフォ
ーム１０３に含まれる画像センサ１１３、路側機（例えば、監視カメラ）に含まれる画像センサなど）によってキャプチャされた１つ以上のキャプチャ画像を含むことができる。いくつかの実施形態では、キャプチャ画像は、１つ以上のオブジェクトを含む画像コンテンツを描写することができる。特に、キャプチャ画像の画像コンテンツは、１つ以上のオブジェクトを含む実際の環境を描写することができ、表現特徴（例えば、色、テクスチャなど）に関して実際の環境に現れ且つ画像センサによって再現される１つ以上のオブジェクトをレンダリングすることができる。
【００３３】
いくつかの実施形態では、距離推定アプリケーション１２０のトレーニングデータは、環境シミュレータによって生成された１つ以上のシミュレーション画像を含むことができる。いくつかの実施形態では、シミュレーション画像は、１つ以上のシミュレートされたオブジェクトを含むシミュレートされた画像コンテンツを描写することができる。特に、シミュレートされた画像コンテンツは、実際の環境をシミュレートするために環境シミュレータが生成する１つ以上のシミュレートされたオブジェクトを含むシミュレートされた環境を描写することができる。いくつかの実施形態では、シミュレーション画像は、環境シミュレータに関連付けられたシミュレーションスタイルにおいてシミュレートされた環境を描写することができる。いくつかの実施形態では、シミュレーションスタイルは、シミュレーション画像が生成される際に環境シミュレータがシミュレーション画像におけるシミュレートされた環境のシミュレートされたオブジェクトをレンダリングするために使用することができる表現特徴（例えば、色、テクスチャ、コントラストレベルなど）を記述することができる。
【００３４】
いくつかの実施形態では、データストア１２１は、距離推定アプリケーション１２０の学習データを記憶してもよい。本明細書の他の場所で説明するように、距離推定アプリケーション１２０は、１つ以上の機械学習ロジックを含むことができ、各機械学習ロジックは、その対応する動作を実行するために使用される１つ以上のパラメータ（例えば、係数、重み係数など）を有することができる。いくつかの実施形態では、各機械学習ロジックについて、学習データは、機械学習ロジックに関連付けられた１つ以上のパラメータの値、距離推定アプリケーション１２０のトレーニング段階中に機械学習ロジックによって生成された合成データ、機械学習ロジックの１つ以上のパラメータを調整するためにバックプロパゲーションされるフィードバック値などを含むことができる。他のタイプの学習データも可能であり、想定される。
【００３５】
いくつかの実施形態では、データストア１２１は、データへのアクセスを記憶および提供するためのデータ記憶装置システム（例えば、標準データまたはデータベース管理システム）の一部とすることができる。データストア１２１に記憶された他のタイプのデータも可能であり、想定される。
【００３６】
他の変形および／または組み合わせも可能であり、想定される。図１に示されるシステム１００は、例示的なシステムを代表するものであり、様々な異なるシステム環境および構成が想定され、本開示の範囲内であることが理解されるべきである。例えば、様々な行為および／または機能がサーバからクライアントに移動されることができ、その逆もしかりであり、データは、単一のデータストアに統合されたりまたは追加のデータストアにさらに分割されたりすることができ、いくつかの実装は、追加のまたはより少数のコンピューティングデバイス、サービス、および／またはネットワークを含むことができ、クライアント側またはサーバ側の様々な機能を実装することができる。さらに、システムの様々なエンティティは、単一のコンピューティングデバイスまたはシステムに統合されるかまたは追加のコンピューティングデバイスまたはシステムに分割されるなどすることができる。
【００３７】
図２は、例示的な距離推定アプリケーション１２０のブロック図である。示されるように、距離推定アプリケーション１２０は、環境シミュレータ２０２、画像スタイル転送器２１０、ライティング補正器２３０、深度推定器２５０、オブジェクト位置計算機２０４、およびトレーニングエンジン２０６を含むことができる。画像スタイル転送器２１０は、画像生成器２１２、画像識別器２１４、画像生成器２１６、および画像識別器２１８を含むことができる。ライティング補正器２３０は、画像生成器２３２および画像識別器２３４を含むことができる。深度推定器２５０は、画像生成器２５２および画像識別器２５４を含むことができる。距離推定アプリケーション１２０は、これらに限定されるものではないが、構成エンジン、他のトレーニングエンジン、暗号化／復号エンジンなどの追加の構成要素を含むことができ、および／またはこれらの様々な構成要素は、単一のエンジンに組み合わせられるかまたは追加のエンジンに分割されることができることが理解されるべきである。
【００３８】
環境シミュレータ２０２、画像スタイル転送器２１０、ライティング補正器２３０、深度推定器２５０、オブジェクト位置計算機２０４、およびトレーニングエンジン２０６は、ソフトウェア、ハードウェア、またはこれらの組み合わせとして実装されてもよい。いくつかの実施形態では、環境シミュレータ２０２、画像スタイル転送器２１０、ライティング補正器２３０、深度推定器２５０、オブジェクト位置計算機２０４、およびトレーニングエンジン２０６は、互いにおよび／またはコンピューティングデバイス１５２の他の構成要素にバス１５４および／またはプロセッサ１１５によって通信可能に結合されることができる。
【００３９】
同様に、画像スタイル転送器２１０に含まれる画像生成器２１２、画像識別器２１４、画像生成器２１６、画像識別器２１８、ライティング補正器２３０に含まれる画像生成器２３２および画像識別器２３４、ならびに深度推定器２５０に含まれる画像生成器２５２および画像識別器２５４は、ソフトウェア、ハードウェア、またはこれらの組み合わせとして実装されてもよい。画像スタイル転送器２１０に含まれる画像生成器２１２、画像識別器２１４、画像生成器２１６、および画像識別器２１８は、互いに、距離推定アプリケーション１２０の他の構成要素に、および／またはコンピューティングデバイス１５２の他の構成要素に、バス１５４および／またはプロセッサ１１５によって通信可能に結合されることができる。ライティング補正器２３０に含まれる画像生成器２３２および画像識別器２３４は、互いに、距離推定アプリケーション１２０の他の構成要素に、および／またはコンピューティングデバイス１５２の他の構成要素に、バス１５４および／またはプロセッサ１１５によって通信可能に結合されることができる。深度推定器２５０に含まれる画像生成器２５２および画像識別器２５４は、互いに、距離推定アプリケーション１２０の他の構成要素に、および／またはコンピューティングデバイス１５２の他の構成要素に、バス１５４および／またはプロセッサ１１５によって通信可能に結合されることができる。
【００４０】
いくつかの実施形態では、構成要素１２０、２０２、２１０、２３０、２５０、２０４、２０６、および／または２１２、２１４、２１６、２１８、および／または２３２、２３４、および／または２５２、２５４のうちの１つ以上は、その機能を提供するためにプロセッサ１１５によって実行可能な命令のセットである。さらなる実施形態では、構成要素１２０、２０２、２１０、２３０、２５０、２０４、２０６、および／または２１２、２１４、２１６、２１８、および／または２３２、２３４、および／または２５２、２５４のうちの１つ以上は、メモリ１１７に記憶可能であり、それらの機能を提供するためにプロセッサ１１５によってアクセス可能且つ実行可能である。前述の実施形態のいずれにおいても、これらの構成要素１２０、２０２、２１０、２３０、２５０、２０４、２０６、および／または２１２、２１４、２１６、２１８、および／または２３２、２３４、および／または２５２、２５４は、プロセッサ１１５およびコンピューティングデバイス１
５２の他の構成要素との協働および通信のために適合させることができる。距離推定アプリケーション１２０、およびその構成要素２０２、２１０、２３０、２５０、２０４、および２０６、画像スタイル転送器２１０の構成要素２１２、２１４、２１６、および２１８、ライティング補正器２３０の構成要素２３２および２３４、深度推定器２５０の構成要素２５２および２５４は、少なくとも図３Ａ〜図６を参照して以下でさらに詳細に説明される。
【００４１】
本明細書の他の場所で説明するように、距離推定アプリケーション１２０は、深度推定を実行し、深度推定に基づいてオブジェクトの相対距離を判定するために実行可能なロジックを含むことができる。いくつかの実施形態では、距離推定アプリケーション１２０は、その構成要素に実装された複数の機械学習ロジックを含むことができる。特に、距離推定アプリケーション１２０は、画像スタイル転送器２１０に実装される第１の機械学習ロジック、ライティング補正器２３０に実装される第２の機械学習ロジック、および深度推定器２５０に実装される第３の機械学習ロジックを含むことができる。いくつかの実施形態では、画像スタイル転送器２１０、ライティング補正器２３０、および深度推定器２５０は、それらの対応する動作を実行するために実装される前に個別にトレーニングプロセスを受け、それにより、距離推定アプリケーション１２０が深度推定を実行することができ、深度推定に基づいてオブジェクトの相対距離を判定することができる。いくつかの実施形態では、画像スタイル転送器２１０、ライティング補正器２３０、および深度推定器２５０は、生成敵対ネットワーク（ＧＡＮ）、リカレントニューラルネットワーク（ＲＮＮ）、ロングショートタームメモリ（ＬＳＴＭ）ネットワークなどの形態で実装されることができる。いくつかの実施形態では、画像スタイル転送器２１０は、サイクルＧＡＮの形態で実装されてもよく、ライティング補正器２３０および深度推定器２５０は、条件付きＧＡＮの形態で実装されてもよい。様々なタイプの教師ありおよび教師なし学習アルゴリズムによって機械学習ロジックを実装する他のシステムアーキテクチャも可能であり、想定される。
【００４２】
図３Ａ〜図３Ｃは、距離推定アプリケーション１２０の例示的なトレーニング段階３０２および例示的な実装段階３０４のブロック図３００、３１５、および３２５を示している。図３Ｃに示されるように、トレーニング段階３０２では、画像スタイル転送器２１０は、画像スタイル転送を実行して、キャプチャ画像から模擬シミュレーション画像を生成するようにトレーニングされることができる。画像スタイル転送器２１０をトレーニングするためのトレーニングデータは、１つ以上の画像センサによりキャプチャされた１つ以上のキャプチャ画像と、環境シミュレータ２０２により生成された１つ以上のシミュレーション画像とを含むことができる。図３Ｃに示されるように、トレーニング段階３０２において、ライティング補正器２３０は、模擬シミュレーション画像における１つ以上のライティング効果を調整して模擬シミュレーション画像からライティング補正画像を生成するようにトレーニングされることができる。ライティング補正器２３０をトレーニングするためのトレーニングデータは、環境シミュレータ２０２によって生成された１つ以上のシミュレーション画像および１つ以上の目標ライティング補正画像を含むことができる。図３Ｃに示されるように、トレーニング段階３０２において、深度推定器２５０は、ピクセルマッピングを実行して、ライティング補正画像から深度推定画像を生成するようにトレーニングされることができる。深度推定器２５０をトレーニングするためのトレーニングデータは、環境シミュレータ２０２によって生成された１つ以上の目標ライティング補正画像および１つ以上の目標深度推定画像を含むことができる。
【００４３】
したがって、図３Ｃに示されるように、画像スタイル転送器２１０、ライティング補正器２３０、および深度推定器２５０をトレーニングするためのトレーニングデータは、１つ以上の画像センサによってキャプチャされたキャプチャ画像および環境シミュレータ２０２によって生成されたシミュレーション画像を含むことができる。
【００４４】
いくつかの実施形態では、キャプチャ画像は、センサ位置にある画像センサ（例えば、車両プラットフォーム１０３の画像センサ１１３、路側機の画像センサなど）によってキャプチャされることができる。本明細書の他の場所で説明するように、キャプチャ画像は、１つ以上のオブジェクトを含む画像コンテンツを描写することができる。特に、キャプチャ画像の画像コンテンツは、１つ以上のオブジェクトを含む実際の環境を描写することができ、表現特徴（例えば、色、テクスチャなど）に関して実際の環境に現れる１つ以上のオブジェクトをレンダリングすることができる。いくつかの実施形態では、キャプチャ画像は、キャプチャされた色、キャプチャされたテクスチャ、および／または他のキャプチャされた表現特徴を有するオブジェクトを描写することができる。オブジェクトのキャプチャされた色、オブジェクトのキャプチャされたテクスチャ、および／またはキャプチャ画像内のオブジェクトの他のキャプチャされた表現特徴は、実際の環境に現れ且つ画像センサによって再現されるオブジェクトの色、オブジェクトのテクスチャ、および／またはオブジェクトの他の表現特徴とすることができる。いくつかの実施形態では、オブジェクトのテクスチャは、オブジェクトのテクスチャパターンを記述してもよい。例えば、道路領域のテクスチャは、路面のテクスチャパターン、路面の水たまりにある水のテクスチャパターンなどを記述することができる。
【００４５】
いくつかの実施形態では、シミュレーション画像は、環境シミュレータ２０２によって生成されてもよい。いくつかの実施形態では、環境シミュレータ２０２は、実際の環境をシミュレートするシミュレートされた環境を生成してもよく、シミュレートされた環境は、１つ以上のシミュレートされたオブジェクトを含んでもよい。いくつかの実施形態では、環境シミュレータ２０２はまた、シミュレートされた画像コンテンツを描写する１つ以上のシミュレーション画像を生成することもでき、シミュレートされた画像コンテンツは、１つ以上のシミュレートされたオブジェクトを含むシミュレートされた環境を描写することができる。いくつかの実施形態では、シミュレーション画像のシミュレートされた画像コンテンツは、シミュレーション画像がシミュレートされたセンサ位置からシミュレートされた画像センサによってキャプチャされるかのように、シミュレートされた環境を描写することができる。このシミュレートされたセンサ位置は、本明細書では、シミュレーション画像に関連付けられたシミュレートされたセンサ位置と呼ばれることがある。一例として、環境シミュレータ２０２は、出口２９８と出口２９５との間の高速道路Ｉ−１５をシミュレートするシミュレートされた道路セグメントを生成することができる。この例では、環境シミュレータ２０２は、シミュレートされた道路セグメント上を仮想的に移動するシミュレートされた車両のシミュレートされた画像センサによってシミュレーション画像がキャプチャされるかのように、シミュレートされた道路セグメントを描写するシミュレーション画像を生成してもよい。
【００４６】
いくつかの実施形態では、シミュレーション画像は、環境シミュレータ２０２に関連付けられたシミュレーションスタイルにおいてシミュレートされた環境を描写することができる。いくつかの実施形態では、シミュレーションスタイルは、環境シミュレータ２０２がシミュレーション画像におけるシミュレートされた環境のシミュレートされたオブジェクトをレンダリングするために使用することができる表現特徴（例えば、色、テクスチャ、コントラストレベルなど）を記述することができる。シミュレートされる各オブジェクトタイプ（例えば、車両、路面、空など）について、シミュレーションスタイルは、オブジェクトタイプのシミュレートされた色およびシミュレートされたテクスチャを指定することができる。いくつかの実施形態では、オブジェクトタイプのシミュレートされた色およびオブジェクトタイプのシミュレートされたテクスチャは、シミュレーション画像が生成される際に環境シミュレータ２０２がシミュレーション画像にこれらのシミュレートされたオブジェクトを描写するためにオブジェクトタイプのシミュレートされたオブジェクトに適用することができる色およびテクスチャとすることができる。シミュレーションス
タイルはまた、オブジェクトタイプの他のシミュレートされた表現特徴も指定することができることが理解されるべきである。上記の例を続けると、環境シミュレータ２０２によって生成されたシミュレーション画像は、シミュレートされた道路セグメント上を移動する複数のシミュレートされた車両を備えたシミュレートされた道路セグメントを描写することができる。この例では、シミュレーション画像は、シミュレートされた色「青」とシミュレートされたパターン「ソリッド」を使用して、複数のシミュレートされた車両を描写することができる。シミュレーション画像は、シミュレートされた色「グレー」と８５％のドット密度のシミュレートされたパターン「ドット配列」を使用して、シミュレートされた道路セグメントの路面を描写することができる。
【００４７】
したがって、上述したように、キャプチャ画像は、キャプチャされた色、キャプチャされたテクスチャ、および／または実際の環境に現れ且つ画像センサによって再現されたオブジェクトの他のキャプチャされた表現特徴を有する１つ以上のオブジェクトを含む実際の環境を描写することができる。一方、シミュレーション画像は、シミュレートされた色、シミュレートされたテクスチャ、および／または環境シミュレータ２０２がシミュレーション画像を生成する際にシミュレーション画像においてシミュレートされたオブジェクトを描写するために環境シミュレータ２０２が使用することができる他のシミュレートされた表現特徴を有する１つ以上のシミュレートされたオブジェクトを含むシミュレートされた環境を描写することができる。その結果、キャプチャ画像およびシミュレーション画像は、それらの画像コンテンツが同じまたは類似している場合であっても、画像スタイルの観点から異なる見た目および感触を有することがある。
【００４８】
いくつかの実施形態では、各シミュレーション画像について、環境シミュレータ２０２は、シミュレーション画像に対応する目標ライティング補正画像を生成することができる。いくつかの実施形態では、シミュレーション画像は、シミュレートされた画像コンテンツを描写することができ、１つ以上のライティング効果（例えば、影、グレア、反射など）を含むことができる。目標ライティング補正画像は、シミュレーション画像のシミュレートされた画像コンテンツを描写することができるが、１つ以上のライティング効果を除外または低減することができる。いくつかの実施形態では、目標ライティング補正画像は、いかなるライティング効果も含まないか、または１つ以上の所定のライティング効果閾値を満たすライティング効果をそこに含めることができる。
【００４９】
いくつかの実施形態では、各シミュレーション画像について、環境シミュレータ２０２はまた、シミュレーション画像に対応する目標深度推定画像も生成することができる。目標深度推定画像は、シミュレーション画像の画像ピクセルからマッピングされたグレースケールピクセルを含むことができる。いくつかの実施形態では、目標深度推定画像におけるこれらのグレースケールピクセルのグレー強度は、シミュレーション画像に描写されたシミュレートされたオブジェクトとシミュレーション画像に関連付けられたシミュレートされたセンサ位置との間の相対距離を示すことができる。いくつかの実施形態では、環境シミュレータ２０２は、シミュレーション画像に対応する目標ライティング補正画像から目標深度推定画像を生成することができ、したがって、目標深度推定画像の精度に対するシミュレーション画像に含まれるライティング効果の悪影響を回避または制限することができる。
【００５０】
環境シミュレータ２０２によるトレーニングデータの生成の実装は、環境シミュレータ２０２が限られた時間内に大量のシミュレーション画像を生成することができるため、特に効率的で費用効果が高い。さらに、環境シミュレータ２０２によって生成されたシミュレーション画像は、高い画像解像度を有することができ（例えば、シミュレーション画像の画像解像度は、所定の画像解像度閾値を満たすことができる）、したがって、トレーニングデータの画像品質を向上させることができる。さらにまた、シミュレーション画像は
、環境シミュレータ２０２によって生成されるため、シミュレーション画像の目標ライティング補正画像および目標深度推定画像の生成は、画像センサによってキャプチャされたキャプチャ画像についてこれらの目標画像の生成と比較してより少量の計算処理およびより高い精度で実行されることができる。
【００５１】
図３Ｂは、トレーニング段階３０２中に画像スタイル転送器２１０をトレーニングするためのトレーニングプロセスのブロック図３１５を示している。図３Ｃに示されるように、画像スタイル転送器２１０は、画像スタイル転送を実行して、キャプチャ画像から模擬シミュレーション画像を生成するようにトレーニングされることができる。画像スタイル転送器２１０をトレーニングするためのトレーニングデータは、１つ以上の画像センサによりキャプチャされた１つ以上のキャプチャ画像と、環境シミュレータ２０２により生成された１つ以上のシミュレーション画像とを含むことができる。
【００５２】
いくつかの実施形態では、画像スタイル転送器２１０のトレーニングデータにおけるキャプチャ画像は、キャプチャ画像ドメインを形成することができる。キャプチャ画像ドメインは、表現特徴（例えば、色、テクスチャなど）に関して実際の環境を描写し且つ実際の環境に現れて画像センサによって再現される１つ以上のオブジェクトをレンダリングするキャプチャ画像を含むことができる。いくつかの実施形態では、画像スタイル転送器２１０のトレーニングデータにおけるシミュレーション画像は、シミュレーション画像ドメインを形成することができる。シミュレーション画像ドメインは、シミュレーションスタイルにおいてシミュレートされた環境を描写するシミュレーション画像を含むことができ、シミュレーションスタイルは、シミュレーション画像が生成される際に環境シミュレータ２０２がシミュレーション画像におけるシミュレートされたオブジェクトをレンダリングするために使用することができる表現特徴（例えば、色、テクスチャなど）を含むことができる。いくつかの実施形態では、キャプチャ画像ドメインにおけるキャプチャ画像の画像コンテンツは、シミュレーション画像ドメインにおけるシミュレーション画像の画像コンテンツに関連してもしなくてもよい。例えば、キャプチャ画像ドメインにおけるキャプチャ画像は、ニューハンプシャー州のホワイトマウンテンを描写することができる一方で、シミュレーション画像ドメインにおけるシミュレーション画像は、サンフランシスコのマーケット通りのシミュレートされた道路セグメントを描写することができる。
【００５３】
いくつかの実施形態では、各トレーニングサイクルにおいて画像スタイル転送器２１０をトレーニングするために、トレーニングエンジン２０６は、データストア１２１内のトレーニングデータからキャプチャ画像３４０を取得し、キャプチャ画像３４０を画像スタイル転送器２１０に入力することができる。図３Ｂに示されるように、画像スタイル転送器２１０の画像生成器２１２および画像識別器２１４は、キャプチャ画像３４０を受信することができる。本明細書の他の場所で説明するように、キャプチャ画像３４０は、画像センサによってキャプチャされることができ、１つ以上のオブジェクトを含む画像コンテンツを描写することができる。特に、キャプチャ画像３４０の画像コンテンツは、キャプチャされた色、キャプチャされたテクスチャ、および／または実際の環境に現れ且つ画像センサによって再現されたオブジェクトの他のキャプチャされた表現特徴を有する１つ以上のオブジェクトを含む実際の環境を描写することができる。一例として、キャプチャ画像３４０は、車両プラットフォーム１０３の画像センサ１１３によってキャプチャされることができ、複数の道路オブジェクト（例えば、車線表示、周囲の車両など）を含む道路セグメントを描写することができる。
【００５４】
いくつかの実施形態では、画像スタイル転送器２１０は、キャプチャ画像３４０から模擬シミュレーション画像３４２を生成することができ、模擬シミュレーション画像３４２は、環境シミュレータ２０２に関連付けられたシミュレーションスタイルにおいてキャプチャ画像３４０の画像コンテンツ（またはキャプチャ画像３４０の画像コンテンツの少な
くとも一部）を描写することができる。特に、画像スタイル転送器２１０の画像生成器２１２は、キャプチャ画像３４０を分析することができ、シミュレートされた色、シミュレートされたテクスチャ、および／またはシミュレートされたオブジェクトをシミュレーション画像に描写し、それにより模擬シミュレーション画像３４２を生成するために環境シミュレータ２０２が使用することができるシミュレーションスタイルによって指定された他のシミュレートされた表現特徴に、１つ以上のオブジェクトのキャプチャされた色、キャプチャされたテクスチャ、および／または実際の環境に現れ且つキャプチャ画像３４０において画像センサによって再現された他のキャプチャされた表現特徴を調整することができる。したがって、模擬シミュレーション画像３４２は、キャプチャ画像３４０（例えば、複数の道路オブジェクトを含む道路セグメント）と同じキャプチャ画像コンテンツを描写することができるが、模擬シミュレーション画像３４２は、環境シミュレータ２０２によって計算的に生成され且つ画像センサによってキャプチャされないかのような見た目および感触を有することができる。いくつかの実施形態では、キャプチャ画像３４０から模擬シミュレーション画像３４２を生成することは、キャプチャ画像３４０の画像スタイルの調整のためにキャプチャ画像ドメインからシミュレーション画像ドメインにキャプチャ画像３４０を転送することと見なされてもよい。いくつかの実施形態では、画像生成器２１２は、模擬シミュレーション画像３４２を画像生成器２１６および画像識別器２１８に送信することができる。
【００５５】
いくつかの実施形態では、画像スタイル転送器２１０は、模擬シミュレーション画像３４２から合成キャプチャ画像３４４を生成することができ、模擬シミュレーション画像３４２から生成された合成キャプチャ画像３４４は、キャプチャ画像３４０を再現することができる。特に、図３Ｂに示されるように、画像スタイル転送器２１０の画像生成器２１６は、画像生成器２１２から模擬シミュレーション画像３４２を受信することができる。画像生成器２１６は、模擬シミュレーション画像３４２を分析することができ、キャプチャされた色、キャプチャされたテクスチャ、および／またはキャプチャ画像３４０に描写された１つ以上のオブジェクトの他のキャプチャされた表現特徴に、模擬シミュレーション画像３４２に描写された１つ以上のオブジェクトのシミュレートされた色、シミュレートされたテクスチャ、および／または他のシミュレートされた表現特徴を調整することができ、それにより、合成キャプチャ画像３４４を生成することができる。したがって、合成キャプチャ画像３４４は、キャプチャ画像３４０（例えば、複数の道路オブジェクトを含む道路セグメント）と同じキャプチャ画像コンテンツを描写することができ、合成キャプチャ画像３４４が模擬シミュレーション画像３４２から画像生成器２１６によって計算的に生成されるのではなく画像センサによってキャプチャされたかのようにキャプチャ画像３４０の見た目および感触を再現することができる。いくつかの実施形態では、模擬シミュレーション画像３４２から合成キャプチャ画像３４４を生成することは、模擬シミュレーション画像３４２の画像スタイルの調整により、シミュレーション画像ドメインからキャプチャ画像ドメインに模擬シミュレーション画像３４２を転送することと見なされることができる。
【００５６】
したがって、上述したように、画像生成器２１２は、キャプチャ画像３４０の画像スタイルを調整して模擬シミュレーション画像３４２を生成し、それにより、キャプチャ画像３４０をキャプチャ画像ドメインからシミュレーション画像ドメインに転送することができる。次に、画像生成器２１６は、模擬シミュレーション画像３４２の画像スタイルを調整して合成キャプチャ画像３４４を生成し、それにより模擬シミュレーション画像３４２をシミュレーション画像ドメインからキャプチャ画像ドメインに戻すことができる。結果として、合成キャプチャ画像３４４は、キャプチャ画像３４０の画像コンテンツを描写することができ、キャプチャ画像３４０に示されるように、キャプチャされた色、キャプチャされたテクスチャ、および／または１つ以上のオブジェクトの他のキャプチャされた表現特徴を再現することができる。
【００５７】
いくつかの実施形態では、画像スタイル転送器２１０は、キャプチャ画像３４０および合成キャプチャ画像３４４に基づいて識別出力３４６を判定することができる。特に、図３Ｂに示されるように、画像スタイル転送器２１０の画像識別器２１４は、トレーニングエンジン２０６からキャプチャ画像３４０を受信し、画像生成器２１６から合成キャプチャ画像３４４を受信することができる。画像識別器２１４は、合成キャプチャ画像３４４をキャプチャ画像３４０と比較し、この比較に基づいて識別出力３４６を判定することができる。いくつかの実施形態では、識別出力３４６は、合成キャプチャ画像３４４とキャプチャ画像３４０との間の類似性のレベルを示すことができる。例えば、識別出力３４６は、合成キャプチャ画像３４４とキャプチャ画像３４０との間の類似性のレベルが４０％であることを示すことができる。
【００５８】
いくつかの実施形態では、トレーニングエンジン２０６は、識別出力３４６に基づいて、画像スタイル転送器２１０に関連付けられた１つ以上のパラメータを調整することができる。特に、図３Ｂに示されるように、トレーニングエンジン２０６は、画像生成器２１２、画像生成器２１６、画像識別器２１４、および画像スタイル転送器２１０の画像識別器２１８に識別出力３４６をバックプロパゲーションすることができ、これらの構成要素によって使用される１つ以上のパラメータを調整して、識別出力３４６（例えば、４０％）に基づいて対応する操作を実行することができる。上述したように、識別出力３４６は、合成キャプチャ画像３４４とキャプチャ画像３４０との間の類似性のレベルを示すことができる。したがって、画像生成器２１２および画像生成器２１６の１つ以上のパラメータ（例えば、係数、重み係数など）は、識別出力３４６に基づいて調整されることができるため、画像生成器２１２は、模擬シミュレーション画像３４２を生成するためにキャプチャ画像３４０の画像スタイルを調整するように学習することができ、画像生成器２１６は、合成キャプチャ画像３４４とキャプチャ画像３４０との間の類似性のレベルが最大化されるように、合成キャプチャ画像３４４を生成するために模擬シミュレーション画像３４２の画像スタイルを調整するように学習することができる。一方、画像識別器２１４の１つ以上のパラメータは、識別出力３４６に基づいて調整されることができるため、画像識別器２１４は、合成キャプチャ画像３４４とキャプチャ画像３４０との間の類似性のレベルにかかわらず、合成キャプチャ画像３４４とキャプチャ画像３４０とを区別するように学習することができる。
【００５９】
いくつかの実施形態では、トレーニングエンジン２０６は、画像スタイル転送器２１０の１つ以上のパラメータが十分に調整されているかどうかを判定することができる。いくつかの実施形態では、トレーニングエンジン２０６は、識別出力３４６が所定のトレーニングサイクル数において所定の識別出力閾値（例えば、少なくとも２５０回のトレーニングサイクルにおいて９０％よりも高い）を満たすかどうかを判定することができる。あるいは、トレーニングエンジン２０６は、画像スタイル転送器２１０に関連付けられた様々なパラメータの値が、所定数のトレーニングサイクルの間に実質的に変化しないままであるかどうかを判定することができる（例えば、パラメータ調整前後のこれらのパラメータの値の差は、少なくとも２５０回のトレーニングサイクルにおける差の値の閾値（例えば、０．０５未満）を満たすことができる）。いくつかの実施形態では、識別出力３４６が所定数のトレーニングサイクルにおいて所定の識別出力閾値を満たす場合、および／または画像スタイル転送器２１０に関連付けられた様々なパラメータの値が所定数のトレーニングサイクルにおいて実質的に変化しないままである場合、トレーニングエンジン２０６は、画像スタイル転送器２１０の１つ以上のパラメータが十分に調整されていると判定することができる。したがって、トレーニングエンジン２０６は、画像スタイル転送器２１０が、実装段階３０４においてキャプチャ画像から模擬シミュレーション画像を生成する準備ができていることを判定することができる（例えば、十分にトレーニングされた画像生成器２１２を使用する）。他のアプローチおよび／または実装を使用して、画像スタイ
ル転送器２１０のトレーニングプロセスが完了したかどうかを判定することができることが理解されるべきである。
【００６０】
図３Ａは、トレーニング段階３０２中にライティング補正器２３０をトレーニングするためのトレーニングプロセスのブロック図３００を示している。図３Ｃに示されるように、ライティング補正器２３０は、模擬シミュレーション画像における１つ以上のライティング効果を調整して模擬シミュレーション画像からライティング補正画像を生成するようにトレーニングされることができる。ライティング補正器２３０をトレーニングするためのトレーニングデータは、環境シミュレータ２０２によって生成された１つ以上のシミュレーション画像および１つ以上の目標ライティング補正画像を含むことができる。
【００６１】
いくつかの実施形態では、各トレーニングサイクルにおいてライティング補正器２３０をトレーニングするために、トレーニングエンジン２０６は、データストア１２１内のトレーニングデータからシミュレーション画像３２０およびシミュレーション画像３２０に対応する目標ライティング補正画像３２２を取得することができる。トレーニングエンジン２０６は、シミュレーション画像３２０および目標ライティング補正画像３２２をライティング補正器２３０に入力することができる。図３Ａに示されるように、ライティング補正器２３０の画像生成器２３２は、シミュレーション画像３２０を受信することができ、ライティング補正器２３０の画像識別器２３４は、目標ライティング補正画像３２２を受信することができる。
【００６２】
本明細書の他の箇所で説明するように、シミュレーション画像３２０は、シミュレートされた画像コンテンツを描写することができ、シミュレートされた画像コンテンツは、環境シミュレータ２０２が実際の環境をシミュレートするために生成する１つ以上のシミュレートされたオブジェクトを含むシミュレートされた環境を描写することができる。一例として、シミュレーション画像３２０のシミュレートされた画像コンテンツは、１つ以上のシミュレートされた道路オブジェクト（例えば、車線表示、周囲の車両など）を含むマーケット通りのシミュレートされた道路セグメントを描写することができる。いくつかの実施形態では、シミュレーション画像３２０は、キャプチャ画像内のライティング効果（例えば、影、グレア、反射など）をシミュレートする１つ以上のライティング効果を含むことができる。キャプチャ画像内のライティング効果は、キャプチャ画像が画像センサによってキャプチャされたときに望ましくないライティング条件によって引き起こされることがあり、キャプチャ画像上に追加のレイヤを追加することがある。その結果、キャプチャ画像に描写されたオブジェクトは、前景オブジェクト、隆起面などとして不正確に処理されることがあり、したがって、深度推定の精度が大幅に低下することがある。いくつかの実施形態では、目標ライティング補正画像３２２は、シミュレーション画像のシミュレートされた画像コンテンツを描写することができるが、これらの１つ以上のライティング効果を除外または低減することができる。いくつかの実施形態では、目標ライティング補正画像３２２は、いかなるライティング効果も含まないか、または１つ以上の所定のライティング効果閾値（例えば、影の輝度メトリックは、３０％よりも高く、グレアの輝度メトリックは、６０％未満など）を満たすライティング効果をそこに含めることができる。
【００６３】
いくつかの実施形態では、ライティング補正器２３０は、シミュレーション画像３２０から合成ライティング補正画像３２４を生成することができ、合成ライティング補正画像３２４は、シミュレーション画像３２０内の１つ以上のライティング効果を低減または除去することができる。特に、ライティング補正器２３０の画像生成器２３２は、シミュレーション画像３２０を分析し、シミュレーション画像３２０内の１つ以上の影領域および／または１つ以上のグレア領域を検出することができる。いくつかの実施形態では、シミュレーション画像３２０内の影領域の検出に応答して、画像生成器２３２は、影領域における１つ以上の影を低減または除去するためにシミュレーション画像３２０の影領域を調
整することができる。シミュレーション画像３２０内のグレア領域の検出に応答して、画像生成器２３２は、シミュレーション画像３２０のグレア領域を調整して、グレア領域内の１つ以上のグレアを低減または除去することができる。例えば、画像生成器２３２は、影領域および／またはグレア領域の様々なライティングメトリック（例えば、輝度メトリック、不透明メトリック、コントラストレベルなど）を調整して、シミュレーション画像３２０のこれらの画像領域における影および／またはグレアを低減または除去することができ、それにより、合成ライティング補正画像３２４を生成することができる。したがって、合成ライティング補正画像３２４は、シミュレーション画像３２０（例えば、複数のシミュレートされた道路オブジェクトを含むマーケット通りのシミュレートされた道路セグメント）と同じシミュレートされた画像コンテンツを描写することができるが、画像生成器２３２によって低減または除去される１つ以上のライティング効果を有することができる。影およびグレアに加えて、画像生成器２３２はまた、他のタイプのライティング効果を補正および／または調整することができることが理解されるべきである。
【００６４】
いくつかの実施形態では、ライティング補正器２３０は、目標ライティング補正画像３２２および合成ライティング補正画像３２４に基づいて識別出力３２６を判定することができる。特に、図３Ａに示されるように、ライティング補正器２３０の画像識別器２３４は、トレーニングエンジン２０６から目標ライティング補正画像３２２を受信し、画像生成器２３２から合成ライティング補正画像３２４を受信することができる。画像識別器２３４は、合成ライティング補正画像３２４を目標ライティング補正画像３２２と比較し、この比較に基づいて識別出力３２６を判定することができる。いくつかの実施形態では、識別出力３２６は、合成ライティング補正画像３２４と目標ライティング補正画像３２２との間の類似性のレベルを示すことができる。例えば、識別出力３２６は、合成ライティング補正画像３２４と目標ライティング補正画像３２２との間の類似性のレベルが７０％であることを示すことができる。
【００６５】
いくつかの実施形態では、トレーニングエンジン２０６は、識別出力３２６に基づいて、ライティング補正器２３０に関連付けられた１つ以上のパラメータを調整することができる。特に、図３Ａに示されるように、トレーニングエンジン２０６は、ライティング補正器２３０の画像生成器２３２および画像識別器２３４に識別出力３２６をバックプロパゲーションし、これらの構成要素によって使用される１つ以上のパラメータを調整し、識別出力３２６（例えば、７０％）に基づいて、対応する操作を実行することができる。上述したように、識別出力３２６は、合成ライティング補正画像３２４と目標ライティング補正画像３２２との間の類似性のレベルを示すことができる。したがって、画像生成器２３２の１つ以上のパラメータ（例えば、係数、重み係数など）は、識別出力３２６に基づいて調整されることができるため、画像生成器２３２は、合成ライティング補正画像３２４と目標ライティング補正画像３２２との間の類似性のレベルが最大化されるように、合成ライティング補正画像３２４を生成するためにシミュレーション画像３２０におけるライティング効果を含む画像領域を検出および調整するように学習することができる。一方、画像識別器２３４の１つ以上のパラメータは、識別出力３２６に基づいて調整されることができるため、画像識別器２３４は、合成ライティング補正画像３２４と目標ライティング補正画像３２２との間の類似性のレベルにかかわらず、合成ライティング補正画像３２４と目標ライティング補正画像３２２とを区別するように学習することができる。
【００６６】
いくつかの実施形態では、トレーニングエンジン２０６は、ライティング補正器２３０の１つ以上のパラメータが十分に調整されているかどうかを判定することができる。いくつかの実施形態では、トレーニングエンジン２０６は、識別出力３２６が所定のトレーニングサイクル数において所定の識別出力閾値（例えば、少なくとも２００回のトレーニングサイクルにおいて９５％よりも高い）を満たすかどうかを判定することができる。あるいは、トレーニングエンジン２０６は、ライティング補正器２３０に関連付けられた様々
なパラメータの値が、所定数のトレーニングサイクルの間に実質的に変化しないままであるかどうかを判定することができる（例えば、パラメータ調整前後のこれらのパラメータの値の差は、２００回のトレーニングサイクルにおける差の値の閾値（例えば、０．０４未満）を満たすことができる）。いくつかの実施形態では、識別出力３２６が所定数のトレーニングサイクルにおいて所定の識別出力閾値を満たす場合、および／またはライティング補正器２３０に関連付けられた様々なパラメータの値が所定数のトレーニングサイクルにおいて実質的に変化しないままである場合、トレーニングエンジン２０６は、ライティング補正器２３０の１つ以上のパラメータが十分に調整されていることを判定することができる。したがって、トレーニングエンジン２０６は、ライティング補正器２３０が実装段階３０４において模擬シミュレーション画像からライティング補正画像を生成する準備ができていることを判定することができる（例えば、十分にトレーニングされたその画像生成器２３２を使用する）。他のアプローチおよび／または実装を使用して、ライティング補正器２３０のトレーニングプロセスが完了したかどうかを判定することができることが理解されるべきである。
【００６７】
図３Ａに示されるように、ブロック図３００はまた、トレーニング段階３０２中に深度推定器２５０をトレーニングするためのトレーニングプロセスも示している。図３Ｃに示されるように、深度推定器２５０は、ピクセルマッピングを実行して、ライティング補正画像から深度推定画像を生成するようにトレーニングされることができる。深度推定器２５０をトレーニングするためのトレーニングデータは、環境シミュレータ２０２によって生成された１つ以上の目標ライティング補正画像および１つ以上の目標深度推定画像を含むことができる。
【００６８】
いくつかの実施形態では、各トレーニングサイクルにおいて深度推定器２５０をトレーニングするために、トレーニングエンジン２０６は、データストア１２１内のトレーニングデータからシミュレーション画像３３０およびシミュレーション画像３３０に対応する目標深度推定画像３３２を取得することができる。トレーニングエンジン２０６は、シミュレーション画像３３０および目標深度推定画像３３２を深度推定器２５０に入力することができる。図３Ａに示されるように、深度推定器２５０の画像生成器２５２は、シミュレーション画像３３０を受信することができ、深度推定器２５０の画像識別器２５４は、目標深度推定画像３３２を受信することができる。
【００６９】
いくつかの実施形態では、シミュレーション画像３３０は、環境シミュレータ２０２によって生成された１つ以上のシミュレートされたオブジェクトを含むシミュレートされた環境を描写することができ、シミュレーション画像３３０は、１つ以上のライティング効果を除外または低減することができる。シミュレーション画像３３０は、１つ以上のライティング効果（例えば、影、グレア、反射など）を除外または低減することができるため、画像生成器２５２によって実行されるピクセルマッピングに対するこれらのライティング効果の悪影響を回避または制限することができる。いくつかの実施形態では、シミュレーション画像３３０に対応する目標深度推定画像３３２は、シミュレーション画像３３０から生成されることができ、シミュレーション画像３３０の画像ピクセルからマッピングされるグレースケールピクセルを含むことができる。本明細書の他の場所で説明するように、目標深度推定画像３３２におけるこれらのグレースケールピクセルのグレー強度は、シミュレーション画像３３０に描写されたシミュレートされたオブジェクトとシミュレーション画像３３０に関連付けられたシミュレートされたセンサ位置との間の相対距離を示すことができる。
【００７０】
いくつかの実施形態では、シミュレーション画像３３０は、環境シミュレータ２０２によって生成されたシミュレーション画像に対応する目標ライティング補正画像とすることができる。本明細書の他の場所で説明するように、目標ライティング補正画像は、シミュ
レーション画像のシミュレートされた画像コンテンツを描写することができるが、いかなるライティング効果も含まないか、または１つ以上の所定のライティング効果閾値（例えば、影の輝度メトリックは、３０％よりも高く、グレアの輝度メトリックは、６０％未満など）を満たすライティング効果をそこに含めることができる。いくつかの実施形態では、目標深度推定画像３３２は、同じシミュレーション画像に対応する目標深度推定画像とすることができ、シミュレーション画像の目標ライティング補正画像から生成されることができる。
【００７１】
いくつかの実施形態では、深度推定器２５０は、シミュレーション画像３３０（例えば、目標ライティング補正画像）から合成深度推定画像３３４を生成することができる。特に、深度推定器２５０の画像生成器２５２は、シミュレーション画像３３０（例えば、目標ライティング補正画像）を分析し、シミュレーション画像３３０の画像ピクセルを合成深度推定画像３３４のグレースケールピクセルにマッピングすることができる。合成深度推定画像３３４内のグレースケールピクセルは、シミュレーション画像３３０内の対応する画像ピクセルの輝度を示すグレーの陰影によって表されることができる。いくつかの実施形態では、シミュレーション画像３３０内の対応する画像ピクセルとシミュレーション画像３３０に関連付けられたシミュレートされたセンサ位置との間の相対距離は、合成深度推定画像３３４内のグレースケールピクセルのグレー強度に反比例することができる。
【００７２】
一例として、合成深度推定画像３３４は、シミュレーション画像３３０内の第１の画像ピクセルに対応する第１のグレースケールピクセルと、シミュレーション画像３３０内の第２の画像ピクセルに対応する第２のグレースケールピクセルとを含むことができる。第１のグレースケールピクセルは、グレー強度が２５５のピクセル色「白」を有することができ、第２のグレースケールピクセルは、グレー強度が０のピクセル色「黒」を有することができる。この例では、ピクセル色が「白」の第１のグレースケールピクセルに対応する第１の画像ピクセルと、シミュレーション画像３３０に関連付けられたシミュレートされたセンサ位置との間の相対距離は、２５５のグレー強度に反比例することができる。ピクセル色が「黒」の第２のグレースケールピクセルに対応する第２の画像ピクセルと、シミュレーション画像３３０に関連付けられたシミュレートされたセンサ位置との間の相対距離は、０のグレー強度に反比例することができる。結果として、ピクセル色「白」を有する第１のグレースケールピクセルに対応する第１の画像ピクセルは、ピクセル色「黒」を有する第２のグレースケールに対応する第２の画像ピクセルと比較して、シミュレーション画像３３０に関連付けられたシミュレートされたセンサ位置までの相対距離がより短くなることができる。
【００７３】
したがって、上述したように、合成深度推定画像３３４内のグレースケールピクセルのグレー強度は、シミュレーション画像３３０内の対応する画像ピクセルとシミュレーション画像３３０に関連付けられたシミュレートされたセンサ位置との間の相対距離を示すことができる。結果として、合成深度推定画像３３４内のこれらのグレースケールピクセルは、シミュレーション画像３３０に示される１つ以上のオブジェクトと、画像生成器２５２によって判定されるシミュレーション画像３３０に関連付けられたシミュレートされたセンサ位置との間の相対距離を示すことができる。
【００７４】
いくつかの実施形態では、深度推定器２５０は、目標深度推定画像３３２および合成深度推定画像３３４に基づいて識別出力３３６を判定することができる。特に、図３Ａに示されるように、深度推定器２５０の画像識別器２５４は、トレーニングエンジン２０６から目標深度推定画像３３２を受信し、画像生成器２５２から合成深度推定画像３３４を受信することができる。画像識別器２５４は、合成深度推定画像３３４を目標深度推定画像３３２と比較し、この比較に基づいて識別出力３３６を判定することができる。いくつかの実施形態では、識別出力３３６は、合成深度推定画像３３４と目標深度推定画像３３２
との間の類似性のレベルを示すことができる。例えば、識別出力３３６は、合成深度推定画像３３４と目標深度推定画像３３２との間の類似性のレベルが８０％であることを示すことができる。
【００７５】
いくつかの実施形態では、トレーニングエンジン２０６は、識別出力３３６に基づいて、深度推定器２５０に関連付けられた１つ以上のパラメータを調整することができる。特に、図３Ａに示されるように、トレーニングエンジン２０６は、深度推定器２５０の画像生成器２５２および画像識別器２５４に識別出力３３６をバックプロパゲーションし、これらの構成要素によって使用される１つ以上のパラメータを調整し、識別出力３３６（例えば、８０％）に基づいて、対応する操作を実行することができる。上述したように、識別出力３３６は、合成深度推定画像３３４と目標深度推定画像３３２との間の類似性のレベルを示すことができる。したがって、画像生成器２５２の１つ以上のパラメータ（例えば、係数、重み係数など）は、識別出力３３６に基づいて調整されることができるため、画像生成器２５２は、合成深度推定画像３３４と目標深度推定画像３３２との間の類似性のレベルが最大化されるように、合成深度推定画像３３４を生成するためにシミュレーション画像３３０内の画像ピクセルをグレースケールピクセルにマッピングするように学習することができる。一方、画像識別器２５４の１つ以上のパラメータは、識別出力３３６に基づいて調整されることができるため、画像識別器２５４は、合成深度推定画像３３４と目標深度推定画像３３２との間の類似性のレベルにかかわらず、合成深度推定画像３３４と目標深度推定画像３３２とを区別するように学習することができる。
【００７６】
いくつかの実施形態では、トレーニングエンジン２０６は、深度推定器２５０の１つ以上のパラメータが十分に調整されているかどうかを判定することができる。いくつかの実施形態では、トレーニングエンジン２０６は、識別出力３３６が所定のトレーニングサイクル数において所定の識別出力閾値（例えば、少なくとも２００回のトレーニングサイクルにおいて８５％よりも高い）を満たすかどうかを判定することができる。あるいは、トレーニングエンジン２０６は、深度推定器２５０に関連付けられた様々なパラメータの値が、所定数のトレーニングサイクルの間に実質的に変化しないままであるかどうかを判定することができる（例えば、パラメータ調整前後のこれらのパラメータの値の差は、２００回のトレーニングサイクルにおける差の値の閾値（例えば、０．０３未満）を満たすことができる）。いくつかの実施形態では、識別出力３３６が所定数のトレーニングサイクルにおいて所定の識別出力閾値を満たす場合、および／または深度推定器２５０に関連付けられた様々なパラメータの値が所定数のトレーニングサイクルにおいて実質的に変化しないままである場合、トレーニングエンジン２０６は、深度推定器２５０の１つ以上のパラメータが十分に調整されていることを判定することができる。したがって、トレーニングエンジン２０６は、深度推定器２５０が実装段階３０４においてライティング補正画像から深度推定画像を生成する準備ができていることを判定することができる（例えば、十分にトレーニングされたその画像生成器２５２を使用する）。深度推定器２５０のトレーニングプロセスが完了したかどうかを判定するために、他のアプローチおよび／または実装が使用されることができることが理解されるべきである。
【００７７】
図４は、深度推定を実行し、深度推定に基づいてオブジェクトの相対距離を判定するための例示的な方法４００のフローチャートである。いくつかの実施形態では、方法４００は、図３Ｃに示される実装段階３０４において距離推定アプリケーション１２０によって実行されることができる。実装段階３０４において、画像スタイル転送器２１０、ライティング補正器２３０、および深度推定器２５０は、それらの対応する動作を実行するために十分にトレーニングされることができる。ブロック４０２において、距離推定アプリケーション１２０は、入力画像としてセンサ位置に位置する画像センサによってキャプチャされたキャプチャ画像３６２を受信することができる。キャプチャ画像３６２は、画像コンテンツを描写することができ、画像コンテンツは、１つ以上のオブジェクトを含む実際
の環境を描写することができる。例えば、キャプチャ画像３６２の画像コンテンツは、道路セグメントに関連付けられた１つ以上の道路オブジェクト（例えば、車線表示、周囲の車両など）を含む道路セグメントを描写することができる。
【００７８】
ブロック４０４において、距離推定アプリケーション１２０は、トレーニングされた画像スタイル転送器２１０を使用して、キャプチャ画像３６２から模擬シミュレーション画像３６４を生成することができる。図５は、キャプチャ画像から模擬シミュレーション画像を生成する例示的な方法５００のフローチャートである。本明細書の他の場所で説明するように、キャプチャ画像３６２は、キャプチャされた色、キャプチャされたテクスチャ、および／または実際の環境に現れ且つ画像センサによって再現されたオブジェクトの他のキャプチャされた表現特徴を有する１つ以上のオブジェクトを含む実際の環境を描写することができる。
【００７９】
ブロック５０２において、トレーニングされた画像スタイル転送器２１０の画像生成器２１２は、環境シミュレータ２０２がシミュレーション画像においてシミュレートされたオブジェクトを描写するために使用することができるシミュレーションスタイルによって指定されたシミュレートされた色に、実際の環境に現れ且つキャプチャ画像３６２において画像センサによって再現された１つ以上のオブジェクトのキャプチャされた色を調整することができる。ブロック５０４において、画像生成器２１２は、環境シミュレータ２０２がシミュレーション画像においてシミュレートされたオブジェクトを描写するために使用することができるシミュレーションスタイルによって指定されたシミュレートされたテクスチャに、実際の環境に現れ且つキャプチャ画像３６２において画像センサによって再現された１つ以上のオブジェクトのキャプチャされたテクスチャを調整することができる。画像生成器２１２はまた、環境シミュレータ２０２に関連付けられたシミュレーションスタイルによって指定された対応するシミュレートされた表現特徴に、キャプチャ画像３６２に描写される１つ以上のオブジェクトの他のキャプチャされた表現特徴を調整することができることが理解されるべきである。
【００８０】
したがって、シミュレートされた色、シミュレートされたテクスチャ、および／または他のシミュレートされた表現特徴に、キャプチャ画像３６２に描写されている１つ以上のオブジェクトのキャプチャされた色、キャプチャされたテクスチャ、および／または他のキャプチャされた表現特徴を調整することにより、画像生成器２１２は、環境シミュレータ２０２に関連付けられたシミュレーションスタイルにおいてキャプチャ画像３６２の画像コンテンツ（または画像コンテンツの少なくとも一部）を描写する模擬シミュレーション画像３６４を生成することができる。模擬シミュレーション画像３６４は、キャプチャ画像３６２（例えば、複数の道路オブジェクトを含む道路セグメント）と同じ画像コンテンツを描写することができるが、模擬シミュレーション画像３６４は、環境シミュレータ２０２によって計算的に生成され且つ画像センサによってキャプチャされないかのような見た目および感触を有することができる。
【００８１】
この実装は、実装段階３０４においてライティング補正器２３０および深度推定器２５０の性能を改善することができるため、特に有利である。本明細書の他の場所で説明するように、ライティング補正器２３０および深度推定器２５０は、トレーニング段階３０２において環境シミュレータ２０２によって生成されたシミュレーション画像および目標画像を使用してそれらの操作を実行するようにトレーニングされることができる一方で、実装段階３０４において処理されるキャプチャ画像３６２は、画像センサによってキャプチャされることができる。したがって、キャプチャ画像３６２を環境シミュレータ２０２に関連付けられたシミュレーションスタイルに調整することは、これらの構成要素をトレーニングするために使用されるシミュレーション画像と実装段階３０４において処理されるキャプチャ画像３６２との間の画像スタイルの差異によって引き起こされるライティング
補正器２３０および深度推定器２５０の性能への悪影響を回避または制限することができる。
【００８２】
図４に戻って参照すると、ブロック４０６において、距離推定アプリケーション１２０は、トレーニングされたライティング補正器２３０を使用して、模擬シミュレーション画像３６４からライティング補正画像３６６を生成することができる。図６は、模擬シミュレーション画像からライティング補正画像を生成する例示的な方法６００のフローチャートである。本明細書の他の場所で説明するように、模擬シミュレーション画像３６４は、環境シミュレータ２０２に関連付けられたシミュレーションスタイルによって指定されたシミュレートされた色、シミュレートされたテクスチャ、および／または他のシミュレートされた表現特徴に、キャプチャ画像３６２の画像コンテンツを描写することができる。
【００８３】
ブロック６０２において、トレーニングされたライティング補正器２３０の画像生成器２３２は、模擬シミュレーション画像３６４内の１つ以上の影領域を検出することができる。模擬シミュレーション画像３６４内の影領域の検出に応答して、ブロック６０４において、画像生成器２３２は、影領域を調整して、影領域内の１つ以上の影を低減または除去することができる。例えば、画像生成器２３２は、影領域の様々なライティングメトリック（例えば、輝度メトリック、不透明メトリック、コントラストレベルなど）を調整して、模擬シミュレーション画像３６４の影領域内の１つ以上の影を低減または除去することができる。ブロック６０６において、画像生成器２３２は、模擬シミュレーション画像３６４内の１つ以上のグレア領域を検出することができる。模擬シミュレーション画像３６４のグレア領域の検出に応答して、ブロック６０８において、画像生成器２３２は、グレア領域を調整して、グレア領域における１つ以上のグレアを低減または除去することができる。例えば、画像生成器２３２は、グレア領域の様々なライティングメトリック（例えば、輝度メトリック、不透明メトリック、コントラストレベルなど）を調整して、模擬シミュレーション画像３６４のグレア領域内の１つ以上のグレアを低減または除去することができる。影およびグレアに加えて、画像生成器２３２はまた、模擬シミュレーション画像３６４における他のタイプのライティング効果を補正および／または調整することができることが理解されるべきである。
【００８４】
したがって、模擬シミュレーション画像３６４内の影、グレア、および／または他のタイプのライティング効果を低減または除去することにより、画像生成器２３２は、ライティング補正画像３６６を生成することができる。ライティング補正画像３６６は、環境シミュレータ２０２に関連付けられたシミュレーションスタイルにおいてキャプチャ画像３６２の画像コンテンツを描写することができ、ライティング補正画像３６６は、１つ以上のライティング効果（例えば、影、グレア、反射など）を除外または低減することができる。特に、ライティング補正画像３６６は、いかなるライティング効果も含まないか、または１つ以上の所定のライティング効果閾値（例えば、影の輝度メトリックは、３０％よりも高く、グレアの輝度メトリックは、６０％未満など）を満たすライティング効果をそこに含めることができる。この実装は、深度推定器２５０によって実行される深度推定の精度を向上させることができるため、特に有利である。本明細書の他の場所で説明するように、キャプチャ画像３６２は、キャプチャ画像３６２がキャプチャされる際の望ましくないライティング条件によって引き起こされる１つ以上のライティング効果を含むことができる。これらのライティング効果は、キャプチャ画像３６２上に追加のレイヤを追加し、深度推定器２５０に、キャプチャ画像３６２に描写されたオブジェクトを前景オブジェクト、隆起面などとして不正確に処理させることがある。したがって、ライティング補正画像３６６は、これらのライティング効果を除外または低減することがあるため、深度推定に対するライティング効果の悪影響を回避または制限することができ、それにより、深度推定器２５０によって実行される深度推定の精度を大幅に改善することができる。
【００８５】
図４に戻って参照すると、ブロック４０８において、距離推定アプリケーション１２０は、トレーニングされた深度推定器２５０を使用して、ライティング補正画像３６６から深度推定画像３６８を生成することができる。本明細書の他の場所で説明するように、ライティング補正画像３６６は、環境シミュレータ２０２に関連付けられたシミュレーションスタイルにおいてキャプチャ画像３６２の画像コンテンツを描写することができ、ライティング補正画像３６６は、１つ以上のライティング効果（例えば、影、グレア、反射など）を除外または低減することができる。
【００８６】
いくつかの実施形態では、トレーニングされた深度推定器２５０の画像生成器２５２は、ライティング補正画像３６６の画像ピクセルをグレースケールピクセルにマッピングして、深度推定画像３６８を生成することができる。深度推定画像３６８内のグレースケールピクセルは、ライティング補正画像３６６内の対応する画像ピクセルの輝度を示すグレーの陰影によって表されることができる。ライティング補正画像３６６は、キャプチャ画像３６２の画像コンテンツを描写することができるが、ライティング効果を除外または低減することができ、深度推定画像３６８におけるグレースケールピクセルのグレー強度は、キャプチャ画像３６２における対応する画像ピクセルとキャプチャ画像３６２に関連付けられたセンサ位置との間の相対距離を示すことができる。いくつかの実施形態では、キャプチャ画像３６２に関連付けられたセンサ位置は、キャプチャ画像３６２がキャプチャされるときの画像センサのセンサ位置とすることができる。いくつかの実施形態では、キャプチャ画像３６２における対応する画像ピクセルとキャプチャ画像３６２に関連付けられたセンサ位置との間の相対距離は、深度推定画像３６８におけるグレースケールピクセルのグレー強度に反比例することができる。深度推定画像３６８は、キャプチャ画像３６２内のオブジェクトを描写する複数の画像ピクセルとキャプチャ画像３６２に関連付けられたセンサ位置との間の相対距離を示すことができるため、深度推定画像３６８は、したがって、キャプチャ画像３６２に描写されたオブジェクトとキャプチャ画像３６２に関連付けられたセンサ位置との間の相対距離を示すことができる。
【００８７】
したがって、上述したように、キャプチャ画像３６２は、距離推定アプリケーション１２０の画像スタイル転送器２１０、ライティング補正器２３０、および深度推定器２５０によって実行される複数の処理動作を連続的に受けることができる。図３Ｃに示されるように、画像スタイル転送器２１０は、キャプチャ画像３６２から模擬シミュレーション画像３６４を生成することができる。模擬シミュレーション画像３６４は、環境シミュレータ２０２に関連付けられたシミュレーションスタイルにおいてキャプチャ画像３６２の画像コンテンツを描写することができる。図３Ｃに示されるように、次いで、ライティング補正器２３０は、模擬シミュレーション画像３６４からライティング補正画像３６６を生成することができる。ライティング補正画像３６６は、環境シミュレータ２０２に関連付けられたシミュレーションスタイルにおいてキャプチャ画像３６２の画像コンテンツを描写することができ、ライティング補正画像３６６は、１つ以上のライティング効果（例えば、影、グレア、反射など）を除外または低減することができる。図３Ｃに示されるように、深度推定器２５０は、次いで、ライティング補正画像３６６から深度推定画像３６８を生成することができる。深度推定画像３６８は、キャプチャ画像３６２から直接生成されるのではなく、ライティング補正画像３６６から生成されることができるため、深度推定器２５０をトレーニングするために使用されるシミュレーション画像と処理されるキャプチャ画像３６２との間の画像スタイルの差異によって引き起こされる深度推定に対する悪影響、およびキャプチャ画像３６２に含まれるライティング効果によって引き起こされる深度推定に対する悪影響を回避または制限することができ、それにより、深度推定画像３６８の精度を大幅に改善することができる。本明細書の他の場所で説明するように、深度推定画像３６８は、キャプチャ画像３６２に描写された１つ以上のオブジェクトとキャプチャ画像３６２に関連付けられたセンサ位置との相対距離を示すことができる。
【００８８】
ブロック４１０において、オブジェクト位置計算機２０４は、深度推定画像３６８に基づいて、キャプチャ画像３６２に描写された１つ以上のオブジェクトのオブジェクト位置を判定することができる。いくつかの実施形態では、キャプチャ画像３６２に描写されたオブジェクトのオブジェクト位置を判定するために、オブジェクト位置計算機２０４は、オブジェクトを含むキャプチャ画像３６２を、同じくオブジェクト（図示せず）を含むキャプチャ画像３７０およびキャプチャ画像３７２と一致させることができる。オブジェクトを含むキャプチャ画像３６２、キャプチャ画像３７０、およびキャプチャ画像３７２は、同じタイムスタンプでキャプチャされることができる。いくつかの実施形態では、画像スタイル転送器２１０、ライティング補正器２３０、および深度推定器２５０は、上述したキャプチャ画像３６２に対応する深度推定画像３６８を生成するのと同様の方法で、キャプチャ画像３７０（図示せず）に対応する深度推定画像３８０、およびキャプチャ画像３７２（図示せず）に対応する深度推定画像３８２を生成するためにそれらの操作を実行することができる。
【００８９】
いくつかの実施形態では、オブジェクト位置計算機２０４は、キャプチャ画像３６２に対応する深度推定画像３６８、キャプチャ画像３７０に対応する深度推定画像３８０、およびキャプチャ画像３７２に対応する深度推定画像３８２に基づいて、オブジェクトのオブジェクト位置を判定することができる。本明細書の他の場所で説明するように、キャプチャ画像３６２に対応する深度推定画像３６８は、キャプチャ画像３６２に描写されたオブジェクト（例えば、交通コーン）とキャプチャ画像３６２に関連付けられたセンサ位置との第１の相対距離を示すことができる。キャプチャ画像３６２に関連付けられたセンサ位置は、キャプチャ画像３６２がキャプチャされるタイムスタンプでキャプチャ画像３６２をキャプチャする画像センサのセンサ位置とすることができる。同様に、キャプチャ画像３７０に対応する深度推定画像３８０は、キャプチャ画像３７０に描写された同じオブジェクト（例えば、交通コーン）とキャプチャ画像３７０に関連付けられたセンサ位置との第２の相対距離を示すことができる。キャプチャ画像３７０に関連付けられたセンサ位置は、キャプチャ画像３７０がキャプチャされるタイムスタンプでキャプチャ画像３７０をキャプチャする画像センサのセンサ位置とすることができる。同様に、キャプチャ画像３７２に対応する深度推定画像３８２は、キャプチャ画像３７２に描写された同じオブジェクト（例えば、交通コーン）とキャプチャ画像３７２に関連付けられたセンサ位置との第３の相対距離を示すことができる。キャプチャ画像３７２に関連付けられたセンサ位置は、キャプチャ画像３７２がキャプチャされるタイムスタンプでキャプチャ画像３７２をキャプチャする画像センサのセンサ位置とすることができる。
【００９０】
上述したように、オブジェクトを描写するキャプチャ画像３６２、キャプチャ画像３７０、およびキャプチャ画像３７２は、同じタイムスタンプでキャプチャされることができる。したがって、いくつかの実施形態では、オブジェクト位置計算機２０４は、これらのキャプチャ画像に描写されたオブジェクト（例えば、交通コーン）のオブジェクト位置を、キャプチャ画像３６２に関連付けられたセンサ位置に対する第１の相対距離、キャプチャ画像３７０に関連付けられたセンサ位置に対する第２の相対距離、およびキャプチャ画像３７２に関連付けられたセンサ位置に対する第３の相対距離を有する地理的位置であると判定することができる。オブジェクトを含むキャプチャ画像の深度推定画像に基づいてオブジェクトのオブジェクト位置を判定するための他の実装も可能であり、想定される。
【００９１】
いくつかの実施形態では、距離推定アプリケーション１２０は、深度推定画像に基づいて判定された様々なオブジェクトのオブジェクト位置をナビゲーションアプリケーション１２２に送信することができる。ナビゲーションアプリケーション１２２は、距離推定アプリケーション１２０によって計算された様々なオブジェクトのオブジェクト位置を使用して、経路計画を実行することができる。一例として、ナビゲーションアプリケーション１２２は、現在の道路セグメント上を移動する様々な車両のオブジェクト位置を分析し、
より高速な通勤のために車線変更操作を行って混雑の少ない車線へのシフトを行うように車両プラットフォーム１０３のユーザに提案するナビゲーションガイダンスを提供することができる。他の例では、ナビゲーションアプリケーション１２２は、それらのオブジェクト位置に基づいて地理的マップ上に様々な道路オブジェクトを配置して動的交通状況マップを生成することができ、動的交通状況マップは、様々な道路セグメント上で発生した複数の交通状況（例えば、交通事故、建設ゾーンなど）を記述することができる。いくつかの実施形態では、各交通状況について、動的交通状況マップは、交通状況に存在する道路オブジェクト（例えば、交通コーン、バリケード、道路作業員、緊急車両など）、交通状況の道路オブジェクトを包含するカバレッジエリアなどを示すことができる。いくつかの実施形態では、ナビゲーションアプリケーション１２２は、動的交通状況マップに基づいて、その目的地に到達するための車両プラットフォーム１０３の最適な車両経路を計算することができる。例えば、ナビゲーションアプリケーション１２２は、車両プラットフォーム１０３の車両経路を適合させて、道路を占有して交通流を減速させる交通状況を有する道路セグメントを回避することができる。
【００９２】
いくつかの実施形態では、ナビゲーションアプリケーション１２４は、車両プラットフォーム１０３の１つ以上の出力デバイスを介して、車両プラットフォーム１０３のユーザにナビゲーションガイダンス、通知、アラート、交通状況の説明情報などを生成および表示することができる。例えば、ナビゲーションアプリケーション１２４は、車両プラットフォーム１０３のユーザに車線変更操作を行うように示唆する音声命令を提供することができる。他の例では、ナビゲーションアプリケーション１２４は、動的交通状況マップに示された交通状況を回避するために、複数の経路オプションを備えた動的交通状況マップをタッチスクリーン上に表示することができる。車両プラットフォーム１０３のユーザが複数の経路オプションから経路オプションを選択するためのユーザ入力を提供する（例えば、音声コマンドを発行する、タッチスクリーンと対話するなど）と、ナビゲーションアプリケーション１２４は、ユーザが選択した経路オプションに対応するナビゲーションガイダンスを提供し、交通状況が占める道路セグメントをたどって回避することができる。
【００９３】
上記の説明では、例えば、方法、システム、および他の態様を参照して、説明を容易にするために、第１、第２、第３などのラベルを使用していくつかの要素が参照される。これらのラベルは、要素を区別するのに役立つことを目的としているが、特に明記しない限り、任意の特定の順序やランキングを必ずしも意味するものではない。
【００９４】
説明の目的で、本開示の完全な理解を提供するために、多数の特定の詳細が記載されている。しかしながら、本明細書で説明される技術は、これらの特定の詳細がなくても実施することができることが理解されるべきである。さらに、説明を不明瞭にしないために、様々なシステム、装置、および構造がブロック図形式で示されている。例えば、特定のハードウェア、ソフトウェア、およびユーザインターフェースを有する様々な実装が説明されている。しかしながら、本開示は、データおよびコマンドを受信することができるあらゆるタイプのコンピューティングデバイス、およびサービスを提供するあらゆる周辺デバイスに適用される。
【００９５】
場合によっては、本明細書では、コンピュータメモリ内のデータビットに対する操作のアルゴリズムおよび記号表現に関して、様々な実装を提示することができる。ここで、そして一般に、アルゴリズムは、所望の結果を導く一貫した操作のセットであると考えられる。操作は、物理量の物理的な操作を必要とするものである。通常、必ずしもではないが、これらの量は、記憶、転送、結合、比較、および他の操作が可能な電気信号または磁気信号の形式をとる。主に一般的な使用上の理由から、これらの信号をビット、値、要素、記号、文字、用語、数字などと呼ぶと便利な場合があることが証明されている。
【００９６】
しかしながら、これらの用語および類似の用語は、全て適切な物理量に関連付けられるものであり、これらの量に適用される便利なラベルにすぎないことに留意するべきである。以下の説明から明らかであると特に明記しない限り、本開示全体を通して、「処理（ｐｒｏｃｅｓｓｉｎｇ）」、「計算（ｃｏｍｐｕｔｉｎｇ）」、「計算（ｃａｌｃｕｌａｔｉｎｇ）」、「判定（ｄｅｔｅｒｍｉｎｉｎｇ）」、「表示（ｄｉｓｐｌａｙｉｎｇ）」などを含む用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されるデータを、コンピュータシステムのメモリまたはレジスタ、または他のそのような情報の記憶、送信、または表示デバイス内の物理量として同様に表される他のデータに操作および変換するコンピュータシステムまたは同様の電子コンピューティングデバイスの動作およびプロセスを指すことが理解される。
【００９７】
本明細書で説明される様々な実装は、本明細書の動作を実行するための装置に関連することができる。この装置は、必要な目的のために特別に構築されてもよく、またはコンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを備えてもよい。そのようなコンピュータプログラムは、これらに限定されるものではないが、それぞれコンピュータシステムバスに結合された、フロッピーディスク、光ディスク、ＣＤＲＯＭ、および磁気ディスクを含む任意のタイプのディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードまたは光学カード、不揮発性メモリを有するＵＳＢキーを含むフラッシュメモリ、または電子命令を記憶するのに適した任意のタイプの媒体を含むコンピュータ可読記憶媒体に記憶されることができる。
【００９８】
本明細書で説明される技術は、完全にハードウェア実装、完全にソフトウェア実装、またはハードウェア要素とソフトウェア要素との両方を含む実装の形式をとることができる。例えば、本技術は、これらに限定されるものではないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むソフトウェアにおいて実装されることができる。さらにまた、本技術は、コンピュータまたは任意の命令実行システムによってまたはそれらに関連して使用するためのプログラムコードを提供するコンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形式をとることができる。この説明の目的のために、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによってまたはそれらに関連して使用するためのプログラムを含む、記憶する、通信する、伝播する、または転送することができる任意の非一時的記憶装置とすることができる。
【００９９】
プログラムコードを記憶および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接的にまたは間接的に結合された少なくとも１つのプロセッサを含むことができる。メモリ要素は、プログラムコードの実際の実行中に使用されるローカルメモリ、バルクストレージ、および実行中にバルクストレージからコードが取得される必要がある回数を減らすために少なくとも一部のプログラムコードの一時的なストレージを提供するキャッシュメモリを含むことができる。入力／出力またはＩ／Ｏデバイス（これらに限定されるものではないが、キーボード、ディスプレイ、ポインティングデバイスなどを含む）は、直接的にまたは介在するＩ／Ｏコントローラを介してシステムに結合されることができる。
【０１００】
ネットワークアダプタはまた、システムに結合され、プライベートネットワークおよび／またはパブリックネットワークを介して、データ処理システムを他のデータ処理システム、ストレージデバイス、リモートプリンタなどに結合されるようにすることもできる。無線（例えば、Ｗｉ−ＦｉＴＭ）トランシーバ、イーサネットアダプタ、およびモデムは、ネットワークアダプタのほんの数例である。プライベートネットワークおよびパブリックネットワークは、任意の数の構成および／またはトポロジを有することができる。例え
ば、様々なインターネット層、トランスポート層、またはアプリケーション層プロトコルを含む様々な異なる通信プロトコルを使用して、ネットワークを介してこれらのデバイス間でデータを送信することができる。例えば、データは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、伝送制御プロトコル（ＴＣＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、セキュアハイパーテキスト転送プロトコル（ＨＴＴＰＳ）、ダイナミックアダプティブストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、リアルタイムトランスポートプロトコル（ＲＴＰ）およびリアルタイムトランスポートコントロールプロトコル（ＲＴＣＰ）、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）、ファイル転送プロトコル（ＦＴＰ）、ＷｅｂＳｏｃｋｅｔ（ＷＳ）、ワイヤレスアクセスプロトコル（ＷＡＰ）、様々なメッセージングプロトコル（ＳＭＳ、ＭＭＳ、ＸＭＳ、ＩＭＡＰ、ＳＭＴＰ、ＰＯＰ、ＷｅｂＤＡＶなど）、またはその他の既知のプロトコルを使用したネットワークを介して送信されることができる。
【０１０１】
最後に、本明細書で提示される構造、アルゴリズム、および／またはインターフェースは、任意の特定のコンピュータまたは他の装置に本質的に関連付けられるものではない。本明細書の教示にしたがって、様々な汎用システムをプログラムとともに使用することができ、または必要な方法ブロックを実行するためのより特殊な装置を構築することが便利であることが証明されることができる。これらの様々なシステムに必要な構造は、上記の説明から明らかである。さらに、仕様は、任意の特定のプログラミング言語を参照して説明されていない。本明細書に記載の仕様の教示を実装するために、様々なプログラミング言語を使用することができることが理解される。
【０１０２】
上記の説明は、例示および説明の目的で提示されている。網羅的であること、または開示された正確な形式に仕様を限定することは意図されていない。上記の教示に照らして、多くの変更および変形が可能である。本開示の範囲は、この詳細な説明によってではなく、むしろ本特許出願の特許請求の範囲によって限定されることが意図されている。当業者によって理解されるように、本明細書は、その精神または本質的な特徴から逸脱することなく、他の特定の形態で具現化されることができる。同様に、モジュール、ルーチン、特徴、属性、方法論、およびその他の態様の特定の命名および分割は、必須または重要ではなく、仕様またはその特徴を実装するメカニズムは、異なる名称、分割、および／または形式を有することができる。
【０１０３】
さらにまた、本開示のモジュール、ルーチン、特徴、属性、方法論、および他の態様は、ソフトウェア、ハードウェア、ファームウェア、または前述の任意の組み合わせとして実装されることができる。また、本明細書のモジュールなどの構成要素がソフトウェアとして実装されている場合、構成要素は、スタンドアロンプログラムとして、より大きなプログラムの一部として、複数の別個のプログラムとして、静的にまたは動的にリンクされたライブラリとして、カーネルのロード可能なモジュールとして、デバイスドライバとして、および／または現在もしくは将来において既知のあらゆる他の方法で実装されることができる。さらに、本開示は、任意の特定のプログラミング言語での実装、または任意の特定のオペレーティングシステムまたは環境の実装に限定されるものではない。
【図１】
2020047266.tif 000003
【図２】
2020047266.tif 000004
【図３Ａ】
2020047266.tif 000005
【図３Ｂ】
2020047266.tif 000006
【図３Ｃ】
2020047266.tif 000007
【図４】
2020047266.tif 000008
【図５】
2020047266.tif 000009
【図６】
2020047266.tif 000010
【手続補正書】
【提出日】令和1年12月27日(2019.12.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オブジェクトを含む画像コンテンツを描写するキャプチャ画像であって、センサ位置にある画像センサによってキャプチャされる前記キャプチャ画像を受信することと、
トレーニングされた第１の機械学習ロジックを使用して、環境シミュレータに関連付けられたシミュレーションスタイルにおいて前記キャプチャ画像の画像コンテンツの少なくとも一部を描写する模擬シミュレーション画像からライティング補正画像を生成することと、
トレーニングされた第２の機械学習ロジックを使用して、前記ライティング補正画像から、前記キャプチャ画像に描写された前記オブジェクトと前記画像センサのセンサ位置との間の相対距離を示す深度推定画像を生成することと、
前記深度推定画像に基づいて、前記キャプチャ画像に描写された前記オブジェクトのオブジェクト位置を判定することと、を備える、方法。
【請求項２】
前記キャプチャ画像の前記画像コンテンツが道路セグメントを描写し、前記キャプチャ画像において描写された前記オブジェクトが、前記道路セグメントに関連付けられた道路オブジェクトである、請求項１に記載の方法。
【請求項３】
前記模擬シミュレーション画像から前記ライティング補正画像を生成することが、
前記トレーニングされた第１の機械学習ロジックを使用して、前記模擬シミュレーション画像において影領域およびグレア領域のうちの１つ以上を検出することと、
前記模擬シミュレーション画像における前記影領域の検出に応答して、前記トレーニングされた第１の機械学習ロジックを使用して、前記模擬シミュレーション画像の前記影領域における影を低減または除去するために前記影領域を調整することと、
前記模擬シミュレーション画像における前記グレア領域の検出に応じて、前記トレーニングされた第１の機械学習ロジックを使用して、前記模擬シミュレーション画像の前記グレア領域におけるグレアを低減または除去するために前記グレア領域を調整することと、を含む、請求項１または２に記載の方法。
【請求項４】
トレーニングされた第３の機械学習ロジックを使用して、前記キャプチャ画像から前記模擬シミュレーション画像を生成することをさらに備える、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記キャプチャ画像の前記画像コンテンツが、前記オブジェクトを含む実際の環境を描
写し、
前記環境シミュレータに関連付けられた前記シミュレーションスタイルが、前記環境シミュレータによって生成されたシミュレートされた色およびシミュレートされたテクスチャを含み、
前記キャプチャ画像から前記模擬シミュレーション画像を生成することが、前記トレーニングされた第３の機械学習ロジックを使用して、前記シミュレートされた色および前記シミュレートされたテクスチャのうちの１つ以上に、前記オブジェクトのキャプチャされた色および前記オブジェクトのキャプチャされたテクスチャのうちの１つ以上を調整することを含む、請求項４に記載の方法。
【請求項６】
前記ライティング補正画像から前記深度推定画像を生成することが、前記トレーニングされた第２の機械学習ロジックを使用して、前記ライティング補正画像の１つ以上の画像ピクセルを前記深度推定画像の１つ以上のグレースケールピクセルにマッピングすることを含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記トレーニングされた第１の機械学習ロジックが、条件付き生成敵対ネットワーク（ＧＡＮ）であり、前記トレーニングされた第２の機械学習ロジックが、他の条件付きＧＡＮであり、前記方法が、
トレーニングされた第３の機械学習ロジックを使用して、前記キャプチャ画像から前記模擬シミュレーション画像を生成することを含み、前記トレーニングされた第３の機械学習ロジックがサイクルＧＡＮである、請求項１から６のいずれか一項に記載の方法。
【請求項８】
１つ以上のプロセッサと、
１つ以上のシミュレーション画像を生成するために、前記１つ以上のプロセッサによって実行可能な環境シミュレータと、
オブジェクトを含む画像コンテンツを描写するキャプチャ画像であって、センサ位置にある画像センサによってキャプチャされた前記キャプチャ画像を受信し、前記キャプチャ画像から、前記環境シミュレータに関連付けられたシミュレーションスタイルにおいて前記キャプチャ画像の前記画像コンテンツの少なくとも一部を描写する模擬シミュレーション画像を生成するように、前記１つ以上のプロセッサによって実行可能な第１の機械学習ロジックと、
前記第１の機械学習ロジックから前記模擬シミュレーション画像を受信し、前記模擬シミュレーション画像からライティング補正画像を生成するように、前記１つ以上のプロセッサによって実行可能な第２の機械学習ロジックと、
前記第２の機械学習ロジックから前記ライティング補正画像を受信し、前記ライティング補正画像から、前記キャプチャ画像に描写された前記オブジェクトと前記画像センサのセンサ位置との間の相対距離を示す深度推定画像を生成するように、前記１つ以上のプロセッサによって実行可能な第３の機械学習ロジックと、
前記深度推定画像に基づいて、前記キャプチャ画像に描写された前記オブジェクトのオブジェクト位置を判定するように、前記１つ以上のプロセッサによって実行可能なオブジェクト位置計算手段と、を備える、システム。
【請求項９】
機械学習システムをトレーニングする方法において、
環境シミュレータを使用して、シミュレートされた画像コンテンツを描写し且つライティング効果を含むシミュレーション画像、および前記シミュレーション画像に対応する目標ライティング補正画像であって、前記シミュレートされた画像コンテンツを描写し且つ前記ライティング効果を除外または低減した目標ライティング補正画像を生成することと、
第１の機械学習ロジックを使用して、前記シミュレーション画像から、前記シミュレーション画像における前記ライティング効果を低減または除去した合成ライティング補正画
像を生成することと、
前記第１の機械学習ロジックを使用して、前記合成ライティング補正画像と前記目標ライティング補正画像との間の類似性のレベルを示す第１の識別出力を判定することと、
前記第１の識別出力に基づいて、前記第１の機械学習ロジックの１つ以上のパラメータを調整することと、を備える、方法。
【請求項１０】
前記シミュレーション画像から前記合成ライティング補正画像を生成することが、
前記第１の機械学習ロジックを使用して、前記シミュレーション画像において影領域およびグレア領域のうちの１つ以上を検出することと、
前記シミュレーション画像における前記影領域の検出に応答して、前記第１の機械学習ロジックを使用して、前記シミュレーション画像の前記影領域における影を低減または除去するために前記影領域を調整することと、
前記シミュレーション画像における前記グレア領域の検出に応じて、前記第１の機械学習ロジックを使用して、前記シミュレーション画像の前記グレア領域におけるグレアを低減または除去するために前記グレア領域を調整することと、を含む、請求項９に記載の方法。
【請求項１１】
前記環境シミュレータを使用して、前記シミュレーション画像に対応する目標深度推定画像を生成することであって、前記目標深度推定画像が、前記シミュレーション画像に描写されたオブジェクトと前記シミュレーション画像に関連付けられたシミュレートされたセンサ位置との間の相対距離を示すことと、
第２の機械学習ロジックを使用して、前記目標ライティング補正画像から合成深度推定画像を生成することであって、前記目標ライティング補正画像が、前記シミュレーション画像の前記シミュレートされた画像コンテンツを描写し、前記ライティング効果を除外または低減することと、
前記第２の機械学習ロジックを使用して、前記合成深度推定画像と前記目標深度推定画像との間の類似性のレベルを示す第２の識別出力を判定することと、
前記第２の識別出力に基づいて、前記第２の機械学習ロジックの１つ以上のパラメータを調整することと、をさらに備える、請求項９または１０に記載の方法。
【請求項１２】
前記目標ライティング補正画像から前記合成深度推定画像を生成することが、
前記第２の機械学習ロジックを使用して、前記目標ライティング補正画像における１つ以上の画像ピクセルを前記合成深度推定画像における１つ以上のグレースケールピクセルにマッピングすることを含む、請求項１１に記載の方法。
【請求項１３】
画像コンテンツを描写するキャプチャ画像を受信することであって、前記キャプチャ画像が、画像センサによってキャプチャされることと、
第３の機械学習ロジックを使用して、前記キャプチャ画像から前記模擬シミュレーション画像を生成することであって、前記模擬シミュレーション画像が、前記環境シミュレータに関連付けられたシミュレーションスタイルにおいて前記キャプチャ画像の前記画像コンテンツの少なくとも一部を描写することと、
前記第３の機械学習ロジックを使用して、前記模擬シミュレーション画像から合成キャプチャ画像を生成することであって、前記合成キャプチャ画像が前記キャプチャ画像を再現することと、
前記第３の機械学習ロジックを使用して、前記合成キャプチャ画像と前記キャプチャ画像との間の類似性のレベルを示す第３の識別出力を判定することと、
前記第３の識別出力に基づいて、前記第３の機械学習ロジックの１つ以上のパラメータを調整することと、をさらに備える、請求項９から１２のいずれか一項に記載の方法。
【請求項１４】
前記キャプチャ画像の前記画像コンテンツが、オブジェクトを含む実際の環境を描写し
、
前記環境シミュレータに関連付けられた前記シミュレーションスタイルが、前記環境シミュレータによって生成されたシミュレートされた色およびシミュレートされたテクスチャを含み、
前記キャプチャ画像から前記模擬シミュレーション画像を生成することが、前記第３の機械学習ロジックを使用して、前記シミュレートされた色および前記シミュレートされたテクスチャのうちの１つ以上に、前記オブジェクトのキャプチャされた色および前記オブジェクトのキャプチャされたテクスチャのうちの１つ以上を調整することを含み、
前記模擬シミュレーション画像から前記合成キャプチャ画像を生成することが、前記第３の機械学習ロジックを使用して、前記キャプチャ画像において描写された前記オブジェクトの前記キャプチャされた色および前記オブジェクトの前記キャプチャされたテクスチャのうちの１つ以上に、前記模擬シミュレーション画像において描写された前記オブジェクトの前記シミュレートされた色および前記オブジェクトの前記シミュレートされたテクスチャのうちの１つ以上を調整することを含む、請求項１３に記載の方法。
【請求項１５】
１つ以上のプロセッサと、
シミュレートされた画像コンテンツを描写し且つライティング効果を含むシミュレーション画像、および前記シミュレーション画像に対応する目標ライティング補正画像であって、前記シミュレートされた画像コンテンツを描写し且つ前記ライティング効果を除外または低減した目標ライティング補正画像を生成するために、前記１つ以上のプロセッサによって実行可能な環境シミュレータと、
前記シミュレーション画像から、前記シミュレーション画像における前記ライティング効果を低減または除去した合成ライティング補正画像を生成し、前記合成ライティング補正画像と前記目標ライティング補正画像との間の類似性のレベルを示す第１の識別出力を判定するように、前記１つ以上のプロセッサによって実行可能な第１の機械学習ロジックと、
前記第１の識別出力に基づいて、前記第１の機械学習ロジックの１つ以上のパラメータを調整するように、前記１つ以上のプロセッサによって実行可能なトレーニングエンジンと、を備える、システム。
【外国語明細書】
2020047266000001.pdf