(57)【要約】      （修正有）【課題】高解像度の奥行きマップの精度を高めることを可能とする、奥行き推定装置、奥行き推定方法、並びに奥行き推定方法及び奥行き推定装置を備える車両を提供する。【解決手段】奥行き推定装置であって、第１及び第２センサデータをそれぞれ生成するための第１及び第２タイプのセンサと、第１及び第２タイプのセンサに結合されたプロセッサとを備える。プロセッサは、２段階のセグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１及び第２セグメンテーション結果を生成し、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて同期化第２センサデータを生成し、２段階の奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータと、第２セグメンテーション結果とを融合させて第１及び第２奥行き結果を生成するよう構成されている。【選択図】図５
2020061114.tif 000002
【特許請求の範囲】
【請求項１】
奥行き推定装置であって、
・第１センサデータを生成するための第１タイプのセンサと、
・第２センサデータを生成するための第２タイプのセンサと、
・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている奥行き推定装置。
【請求項２】
請求項１に記載の奥行き推定装置であって、前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定装置。
【請求項３】
請求項１又は２に記載の奥行き推定装置であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成する前に、前記プロセッサが、オクルージョン相関アルゴリズムを使用することにより、前記同期化第２センサデータを処理するよう更に構成され、前記オクルージョン相関アルゴリズムが、
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定装置。
【請求項４】
請求項１〜３の何れか一項に記載の奥行き推定装置であって、前記第１奥行き推定アルゴリズムが、
前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定装置。
【請求項５】
請求項１〜４の何れか一項に記載の奥行き推定装置であって、前記第２奥行き推定アルゴリズムが、
前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
前記未規定領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定装置。
【請求項６】
請求項１〜５の何れか一項に記載の奥行き推定装置であって、前記データ整列アルゴリズムが、
変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定装置。
【請求項７】
請求項６に記載の奥行き推定装置であって、前記時間整列アルゴリズムが、前記第１セグメンテーション結果のサンプリングレートと、前記整列化第２センサデータのサンプリングレートとを同期させることを含む奥行き推定装置。
【請求項８】
請求項１〜７の何れか一項に記載の奥行き推定装置であって、前記第１タイプのセンサが、前記第２タイプのセンサよりも低い設置箇所を有する奥行き推定装置。
【請求項９】
請求項１〜８の何れか一項に記載の奥行き推定装置であって、前記第１タイプのセンサがカメラを含み、前記第２タイプのセンサがLiDARセンサを含む奥行き推定装置。
【請求項１０】
請求項１〜９の何れか一項に記載の奥行き推定装置であって、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第１セグメンテーション結果を生成し、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第２セグメンテーション結果を生成する前に、前記プロセッサが、画像修正アルゴリズムを使用することにより、前記第１センサデータを処理して前記第１センサデータの空間的歪みを除去するよう更に構成されている奥行き推定装置。
【請求項１１】
奥行き推定装置を備える自動運転車両であって、前記奥行き推定装置が、
・第１センサデータを生成するための第１タイプのセンサと、
・第２センサデータを生成するための第２タイプのセンサと、
・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている自動運転車両。
【請求項１２】
請求項１１に記載の自動運転車両であって、前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む自動運転車両。
【請求項１３】
請求項１１又は１２に記載の自動運転車両であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成する前に、前記プロセッサが、オクルージョン相関アルゴリズムを使用することにより、前記同期化第２センサデータを処理するよう更に構成され、前記オクルージョン相関アルゴリズムが、
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む自動運転車両。
【請求項１４】
自動運転車両に使用する奥行き推定方法であって、該方法が、
第１タイプのセンサを使用することにより、第１センサデータを生成するステップを含み、
第２タイプのセンサを使用することにより、第２センサデータを生成するステップを含み、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成するステップを含み、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成するステップを含み、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成するステップを含み、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するステップを含む奥行き推定方法。
【請求項１５】
請求項１４に記載の奥行き推定方法であって、前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定方法。
【請求項１６】
請求項１４又は１５に記載の奥行き推定方法であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成するステップの前に、前記奥行き推定方法が、オクルージョン相関アルゴリズムを使用することにより、同期化第２センサデータを処理するステップを更に含み、前記オクルージョン相関アルゴリズムが、
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定方法。
【請求項１７】
請求項１４〜１６の何れか一項に記載の奥行き推定方法であって、前記第１奥行き推定アルゴリズムが、
前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定方法。
【請求項１８】
請求項１４〜１７の何れか一項に記載の奥行き推定方法であって、前記第２奥行き推定アルゴリズムが、
前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
前記未規定領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定方法。
【請求項１９】
請求項１４〜１８の何れか一項に記載の奥行き推定方法であって、前記データ整列アルゴリズムが、
変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定方法。
【請求項２０】
請求項１９に記載の奥行き推定方法であって、前記時間整列アルゴリズムが、前記第１セグメンテーション結果のサンプリングレートと、前記整列化第２センサデータのサンプリングレートとを同期させることを含む奥行き推定方法。
【請求項２１】
請求項１４〜２０の何れか一項に記載の奥行き推定方法であって、前記第１タイプのセンサが、前記第２タイプのセンサよりも低い設置箇所を有する奥行き推定方法。
【請求項２２】
請求項１４〜２１に記載の奥行き推定方法であって、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第１セグメンテーション結果を生成し、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第２セグメンテーション結果を生成するステップの前に、前記方法が、画像修正アルゴリズムを使用することにより、前記第１センサデータを処理して前記第１センサデータの空間的歪みを除去するステップを更に含む奥行き推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、自動運転車両に使用される奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法に関する。
【背景技術】
【０００２】
自動運転車両の開発において、検出装置は、将来の自動運転車両にとって不可欠の構成要素である。様々な検出装置を統合すれば、より信頼性の高い検出データと、任意の環境の周囲におけるより正確な情報を提供することができる。様々な物体検出技術により、指定の物体を信頼性高くかつ正確に検出可能ではあるが、同期的なデータ取得が実施される場合、異なる環境での様々な検出モダリティに関して一貫性を欠くセンサ性能により、同時に使用されるものの準最適にしか統合されない既存の多くの検出技術における性能が間引かれる可能性がある。
【０００３】
ハードウェアの限界により、現在のところ検出性能が制約されているため、検出技術には様々な問題がある。例えば、データサンプリングレートが低いが故に、高速度の物体に関しては信頼性の高い検出結果が得られ難い。検出結果に対して統一的な仕様を適用すれば、最低の座標系における動作に起因して、検出されるべき物体の一部ではないピクセルが、検出された物体として含まれる可能性がある。細かい経路計画の場合、最低のデータ解像度により、検出された物体が失われる可能性がある。
【０００４】
図1Aは、奥行きマップを生成するために使用可能な様々なセンサを示す。このようなセンサは、LiDAR、ステレオカメラ、並びにタイム・オブ・フライトカメラ（TOFカメラ）を含むことができる。表１は、自動運転車両の周囲における奥行き情報を生成可能な各センサ間の特性を比較したものを詳細に示す。表１に示す値は、構成に基づいて特定値が変わる可能性があるため、単なる例示に過ぎない。
【表１】
2020061114.tif 000003
【０００５】
表１及び上記の記載によれば、最先端技術の奥行き検出センサは、LiDARセンサで実現可能である。LiDARセンサは、ステレオカメラ又はTOFカメラなどの機器に比べて、典型的には、360°の視野、最大の検出範囲、並びに最大の奥行き精度を有する。しかしながら、LiDARのデータ解像度及びサンプリングレートは、幾つかの要因により制約される可能性がある。
【０００６】
例えば、奥行き体積を把握するために使用されるビーム数が制限される可能性がある。図1Bは、低解像度のLiDARデータと高解像度のLiDARデータとの比較を示す。この場合、低解像度のLiDARデータは、例えば、より少ないレーザービーム数（例えば16ビーム）を有するLiDARで得られた投影点群体積であり、高解像度のLiDARデータは、例えば、より多くのレーザービーム数（例えば64ビーム）を有するLiDARで得られた投影点群体積である。現在の様々なバージョンのLiDAR変換器においては、トレードオフの関係が明らかである。例えば、より安価なLiDARであれば、より少ないビーム数（即ち図1Bであれば16ビーム）を有し、LiDARのビーム数がより少なければ、単位秒あたりに生成される点はより少ないが、LiDARのビーム数がより少なければ電力消費はより小さい。これらのトレードオフにより、幾つかの影響、例えば、疎な点群を有する物体を認識するのが困難になる。なぜなら、その物体の加速に伴い、得られる点群が少なくなるからである（図1B参照）。
【０００７】
現在の様々なバージョンのLiDAR変換器においては、トレードオフの関係が明らかである。例えば、より近傍の物体は、より多くの点群を有し、より小さな物体は、点群がより少ない。これらのトレードオフにより、幾つかの影響、例えば、より小さな物体を認識するのが困難になる。なぜなら、実質的な分析のための点群数が極端に少なく、より小さなその物体の加速が生じれば、得られる点群が更に少なくなるからである。
【０００８】
上述したトレードオフの関係を考慮すれば、疎な点群を密な点群に変換することによって検出の信頼性を高める奥行きアップサンプリング法が極めて重要である。奥行きアップサンプリング技術により、幾つかの目標を実現することができる。例えば、より正確な経路計画を実現することができる。なぜなら、奥行きアップサンプリング技術により、単にバウンディングボックスを使用するのではなく、検出結果をより細かくセグメント化できるため、各ピクセルが奥行き値を得ることが可能になるからである。更に、物体の相対位置、大きさ、又は速度（即ち加速）に関わらず、物体をより信頼性高く検出可能な高密度の奥行きマップ（検出アルゴリズム）を使用すれば、より良好な検出精度を実現することができる。この場合、システム全体としては、安価なシステムを使用することができる。なぜなら、奥行きアップサンプリングは、高コストLiDARで取得された奥行きマップを利用するのではなく、低コストLiDARで取得された高密度の奥行きマップの利用を可能にするからである。LiDARのビーム数が少なくなると、単位秒あたりに生成される点も少なくなる。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
背景技術で説明したように、点群が疎である物体は、点群がより少ないために認識が困難である。そのため、疎な点群を密な点群に変換することにより、検出の信頼性を高めることが極めて重要である。従って、奥行き推定装置、奥行き推定方法、並びに該方法及び装置を備える車両を提供し、これにより高解像度の奥行きマップの精度を高めることが必要である。
【課題を解決するための手段】
【００１０】
この課題を解決するため、本開示は、自動運転車両に使用される奥行き推定装置、奥行き推定装置を使用する自動運転車両、並びに自動運転車両に使用する奥行き推定方法に関する。
【００１１】
本開示は、例示的な実施形態の１つにおいて、これらに限定されないが、第１センサデータを生成するための第１タイプのセンサと、第２センサデータを生成するための第２タイプのセンサと、第１タイプのセンサ及び第２タイプのセンサに結合されたプロセッサとを備える奥行き推定装置に関する。プロセッサは、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成し、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータ（この場合、複数のセグメントの一部が複数の点群を含む）を生成し、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成し、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている。
【００１２】
本開示は、例示的な実施形態の１つにおいて、これらに限定されないが、第１センサデータを生成するための第１タイプのセンサと、第２センサデータを生成するための第２タイプのセンサと、第１タイプのセンサ及び第２タイプのセンサに結合されたプロセッサとを有する奥行き推定装置を備える自動運転車両に関する。プロセッサは、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成し、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータ（この場合、複数のセグメントの一部が複数の点群を含む）を生成し、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成し、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている。
【００１３】
本開示は、例示的な実施形態の１つにおいて、自動運転車両（ただし、自動運転車両に限定されない）に使用する奥行き推定方法に関する。本開示の方法は、第１タイプのセンサを使用することにより、第１センサデータを生成するステップを含み、第２タイプのセンサを使用することにより、第２センサデータを生成するステップを含み、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成するステップを含み、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータ（この場合、複数のセグメントの一部が複数の点群を含む）を生成するステップを含み、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成するステップを含み、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するステップを含む。
【発明の効果】
【００１４】
本発明の効果は、得られた２段階のセグメントを使用することにより、各センサによる奥行きマップの解像度を高めること、画像の特徴を考慮することにより、得られた２段階のセグメントを構成すること、更には色情報及び物体情報に基づいて、２段階の奥行き推定を行うことを含むことができる。これにより、奥行き推定の精度を高めることができる。
【産業上の利用可能性】
【００１５】
本発明は、自動運転車両に使用される奥行き推定装置、奥行き推定装置を使用する自動運転車両、並びに自動運転車両に使用する奥行き推定方法を提供する。本発明は、自動運転車両又は他の類似の装置で使用するのに適している。
【００１６】
添付図面は、本開示を更に理解するために提供され、本明細書に組み込まれると共に、その一部を構成するものである。各図面は、本開示の実施形態を示し、かつ本明細書の記載と共に本開示の原理を説明するのに役立つ。
【図面の簡単な説明】
【００１７】
【図１】図1Aは、奥行きマップを生成するために一般的に使用可能な機器を示す説明図であり、図1Bは、低解像度LiDARデータと高解像度LiDARデータとの比較を示す説明図である。
【図２】本開示の例示的な実施形態の１つに係る奥行き推定装置におけるハードウェアを示すブロック図である。
【図３】本開示の例示的な実施形態の１つに係る奥行き推定装置を使用する自動運転車両を示すブロック図である。
【図４】本開示の例示的な実施形態の１つに係る奥行き推定方法のステップを示すフローチャートである。
【図５】本開示の例示的な実施形態の１つに係る奥行き推定フレームワークを示すブロック図である。
【図６】図6A〜図6Fは、本開示の例示的な実施形態の１つに係る奥行き推定方法の実施例を示す説明図である。
【図７】本開示の例示的な実施形態の１つに係る奥行き推定フレームワークの詳細を示すブロック図である。
【図８】図8Aは、本開示の例示的な実施形態の１つに係る画像修正アルゴリズムを示す説明図であり、図8Bは、本開示の例示的な実施形態の１つに係る第１セグメンテーションアルゴリズムを示す説明図であり、図8Cは、本開示の例示的な実施形態の１つに係る第２セグメンテーションアルゴリズムを示す説明図である。
【図９】図9A〜図9Cは、本開示の例示的な実施形態の１つに係るデータ整列アルゴリズムを示す説明図である。
【図１０】図10A〜図10Cは、本開示の例示的な実施形態の１つに係るオクルージョン相関アルゴリズムを示す説明図である。
【図１１】図11A及び図11Bは、本開示の例示的な実施形態の１つに係る第１奥行き推定アルゴリズムを示す説明図である。
【図１２】図12A及び図12Bは、本開示の例示的な実施形態の１つに係る第２奥行き推定アルゴリズムを示す説明図である。
【図１３】図13A〜図13Cは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例を示す説明図である。
【図１４】図14A〜図14Eは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、本開示の例示的な実施形態を添付図面に基づいて詳述する。図面及び記載において、同一部分又は類似部分は、可能な限り同一参照符号で表す。
【００１９】
本開示は、自動運転車両における指定の視野（FOV）の奥行きマップを推定するためのフレームワークを提供する。このフレームワークは、奥行き推定装置、奥行き推定装置を使用する自動運転車両、並びに奥行き推定方法の観点から説明する。本発明に係る装置は、人間の介入なしに自動的に動作する自動運転車両内に配置可能であり、従って検出機能及び制御機能を実行するために、車両に関する高解像度の奥行きマップを推定することが重要である。本発明に係る装置は、重なり合うFOVを複数の異なる検出装置のセット、例えば、周囲から２次元（2D）RGBデータを取得するための１個以上の画像センサを有する撮像装置のセットと、周囲から３次元（3D）の点群体積を取得するための１個以上のLiDAR変換器を有するLiDAR変換器のセットと、画像修正アルゴリズム、オクルージョン相関アルゴリズム、データ整列アルゴリズム、セグメンテーションアルゴリズムのセット、奥行き推定アルゴリズムのセットを、各タイプのセンサに関連して実行するよう少なくとも構成され、これにより高解像度の推定マップを生成する処理ユニットとを備える(ただし、これらに限定されない)。本発明に係るフレームワークにより、奥行きマップの解像度を高めれば、高解像度の奥行きマップの精度を高めることができる。図2〜図5を参照して、奥行き推定フレームワークを更に説明する。
【００２０】
図2は、本開示の例示的な実施形態の１つに係る奥行き推定装置におけるハードウェアのブロック図を示す。奥行き推定装置200は、第１タイプのセンサ210、第２タイプのセンサ220、並びにプロセッサ230を備える。第１タイプのセンサ210としては、画像センサ、例えば、指定のFOV内における可視光を2D画像に取り込むRGB画像センサを使用することができる。第２タイプのセンサ220としては、画像・距離測定変換器、例えば、指定のFOV内における反射信号をサンプリングし、それに応じて3D体積を再構成するLiDAR変換器を使用することができる。プロセッサ230は、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成するよう少なくとも構成されている。
【００２１】
プロセッサ230は更に、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させ、複数のセグメントを含む同期化（同期された）第２センサデータを生成するよう構成されている。この場合、複数のセグメントの一部は、複数の点群を含むことができる。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。プロセッサ230は更に、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成するよう構成されている。プロセッサ230は更に、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するよう構成されている。このように、本開示においては、２段階のセグメンテーションアルゴリズム、データ整列アルゴリズム、並びに２段階の奥行き推定アルゴリズムにより、奥行きマップの解像度を高める。
【００２２】
図3は、本開示の例示的な実施形態の１つに係る奥行き推定装置を使用する自動運転車両のブロック図を示す。この場合、自動運転車両300は、図2に示す奥行き推定装置200を備える（ただし、奥行き推定装置200に限定されない）。
【００２３】
図4は、本開示の例示的な実施形態の１つに係る奥行き推定方法のステップのフローチャートを示す。ステップS410において、奥行き推定装置は、第１タイプのセンサを使用することにより、第１センサデータを生成する。ステップS420において、奥行き推定装置は、第２タイプのセンサを使用することにより、第２センサデータを生成する。ステップS412において、奥行き推定装置は、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成すると共に、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成する。
【００２４】
より詳細に述べれば、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理するステップ（即ちステップS412）は、第１センサデータの色情報に基づく第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理することを含む。第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理するステップ（即ちステップS412）は、第１センサデータの物体情報に基づく第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理することを含む。
【００２５】
ステップS421において、奥行き推定装置は、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させ、複数のセグメントを含む同期化第２センサデータを生成する。この場合、複数のセグメントの一部は、複数の点群を含むことができる。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。ステップS422において、奥行き推定装置は、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成する。最後に、ステップ430において、奥行き推定装置は、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成する。
【００２６】
以下、図5〜図15Bに基づいて、奥行き推定フレームワークを幾つかの例示的な実施形態及び実施例で説明する。図5は、本開示の例示的な実施形態の１つに係る奥行き推定フレームワークのブロック図を示す。図6A〜図6Fは、本開示の例示的な実施形態の１つに係る奥行き推定方法の実施例を示す。図5及び図6A〜図6Fにおいて、記載対象のフレームワークは、複数のタイプの検出装置（例えば、図6AのRGBカメラ及びLiDAR変換器）と、各タイプの検出装置に関連する複数のアルゴリズムとを使用することにより、重なり合うFOV（図6B参照）に亘って奥行き推定を行う奥行き推定装置を備える。この場合、RGBカメラのFOV距離は100メートルであり、LiDARセンサのFOV度は360°である。複数のタイプの検出装置は、第１タイプのセンサ（例えば、図5のRGBカメラアレイ501）と、第２タイプのセンサ（例えば、図5のLiDAR変換器アレイ502）を含むことができる。
【００２７】
より具体的に述べれば、RGBカメラアレイ501は、自動運転車両の視野内における画像を取得し、その画像に応じて第１センサデータ（例えばRGB画像データ）を生成する（RGB画像データステップS510参照）。また、LiDAR変換器アレイ502は、自動運転車両の周囲における点群体積を取得し、その点群体積に応じて第２センサデータ（例えば奥行き体積データ）を生成する（奥行き体積データステップS520参照）。この場合、奥行き体積データは、（図6Dに示すように）疎な奥行きデータである。本明細書において、用語「疎」及び「密」は、画像の解像度を指す。RGBカメラアレイ501及びLiDAR変換器502にはプロセッサが結合され、そのプロセッサは、RGB画像データ及び奥行き体積データを処理するよう少なくとも構成されている。より詳細に述べれば、プロセッサは、画像修正アルゴリズムを使用することにより、RGB画像データを処理してRGB画像データにおける空間的歪みを除去すると共に、画像修正ステップS511において、修正第１センサデータ（例えば、図6Cに示す修正RGB画像データ）を生成する。
【００２８】
色に基づくセグメンテーションステップS512aにおいて、プロセッサは、RGB画像データの色情報に基づく第１セグメンテーションアルゴリズムを使用することにより、（図6Cの）修正RGB画像データを処理して第１セグメンテーション結果を生成する。物体に基づくセグメンテーションステップS512bにおいて、プロセッサは、RGB画像データの物体情報に基づく第２セグメンテーションアルゴリズムを使用することにより、修正RGB画像データを処理して第２セグメンテーション結果を生成する。換言すれば、プロセッサは、修正RGB画像データの色情報に基づいて、修正RGB画像をセグメント化して（複数のセグメントを含む）第１セグメンテーション結果を生成する。更に、プロセッサは、修正RGB画像データの物体情報に基づいて、修正RGB画像をセグメント化して第２セグメンテーション結果を生成する。
【００２９】
ただし他の実施形態において、プロセッサは、RGB画像データステップS510にてRGBカメラアレイ501で生成される第１センサデータ（RGB画像データ）により、色に基づくセグメンテーションステップS512a及び物体に基づくセグメンテーションステップS512bを直接的に処理可能であることに留意されたい。即ち、図5は単なる一例に過ぎず、本発明を限定するものではない。
【００３０】
データ整列ステップS521において、プロセッサは、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて同期化第２センサデータを生成する。更に、同期化第２センサデータは、複数のセグメントを含む。この場合、複数のセグメントの一部は、複数の点群を含むことができ、また同期化第２センサデータは、（図6Eに示すように）疎な奥行きデータである。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。プロセッサは更に、色ガイドされた奥行き推定ステップS522において、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成する。
【００３１】
換言すれば、プロセッサは、修正RGB画像データの色情報に基づいて、同期化第２センサデータを第１セグメンテーション結果にマッピングすることにより、第１奥行き結果を生成する。物体ガイドされた奥行き推定ステップS530において、プロセッサは、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果（例えば、図6Fに示す高解像度の奥行きマップ）を生成する。換言すれば、プロセッサは、修正RGB画像データの色情報に基づいて、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果（即ち、高解像度マップ）を生成する。この場合、高解像度の奥行きマップは、密な奥行きデータである。このように、本開示は、画像修正アルゴリズム、２段階のセグメンテーションアルゴリズム、データ整列アルゴリズム、２段階の奥行き推定アルゴリズムを使用すると共に、RGBカメラアレイ501、LiDAR変換器アレイ502、並びにプロセッサにより、奥行きマップの解像度を高める。
【００３２】
図7は、本開示の例示的な実施形態の１つに係る奥行き推定フレームワークの詳細なブロック図を示す。図示の実施形態において、複数のタイプの検出装置は、第１タイプのセンサ（例えばRGBカメラアレイ701）及び第２タイプのセンサ（例えばLiDAR変換器アレイ702）を含むことができる。RGBカメラアレイ701は、（RGB画像データステップ710）において、自動運転車両近傍の画像を取得し、その画像に応じて第１センサデータ（例えばRGB画像データ）を生成する。LiDAR変換器アレイ702は、（奥行き体積データステップS720）において、自動運転車両近傍の画像を取得し、その画像に応じて第２センサデータ（例えば奥行き体積データ）を生成する。この場合、奥行き体積データは、疎な奥行きデータである。
【００３３】
本明細書において、図8Aは、本開示の例示的な実施形態の１つに係る画像修正アルゴリズムの説明図を示す。図7及び図8Aにおいて、プロセッサは、（図7及び図8Aに示す画像修正ステップS711にて）画像修正アルゴリズムを使用することにより、RGB画像データを処理してRGB画像データの空間的歪みを除去すると共に、（修正RGB画像データステップS711aにて）修正第１センサデータ（例えば修正RGB画像データ）を生成する。より具体的に述べれば、プロセッサは、レンズ効果によって引き起こされるRGB画像データ（例えば、図8Aに示す2D‐30 Hz RGB画像（C`））の空間的歪みを除去する。例えば、2D‐30 HzのRGB画像（C`）におけるバックプレーンは湾曲している（即ち、歪み現象が生じている）。図示のプロセッサは、変換行列703により、2D‐30 Hz RGB画像（C`）の空間的歪みを除去し、修正第１センサデータ（例えば、図8Aに示す2D‐30 Hz RGB画像（C）を生成する。この場合、2D‐30 Hz RGB画像（C）のバックプレーンは平坦になる。
【００３４】
図8Bは、本開示の例示的な実施形態の１つに係る第１セグメンテーションアルゴリズムの説明図を示す。図8Cは、本開示の例示的な実施形態の１つに係る第２セグメンテーションアルゴリズムの説明図を示す。図7、図8B及び図8Cにおいて、プロセッサは、（図7及び図8Bに示す、色に基づくセグメンテーションステップS712aにて）修正RGB画像データの色情報に基づいて、第１セグメンテーションアルゴリズムを使用することにより、修正RGB画像データを処理して第１セグメンテーション結果を生成する。より具体的に述べれば、プロセッサは、修正RGB画像データ（例えば、図8Bに示す2D‐30 Hz RGB画像（C））を分析し、2D‐30 Hz RGB画像（C）の色情報に基づいて、2D‐30 Hz RGB画像（C）における類似の平面を識別する。この場合、色情報には、色相（即ち色）、彩度（即ち色の強度）、並びに値（即ち輝度）が含まれる。
【００３５】
プロセッサはその後、色情報に基づいて、2D‐30 Hz RGB画像（C）における全てのピクセルを領域毎のセグメントに分類する。プロセッサは、2D‐30 Hz RGB画像（C）をセグメント化して第１セグメンテーション結果（即ち図8Bに示す、色に基づくと共に複数のセグメントを含むセグメントマップ（Sc））を生成する。2D‐30 Hz RGB画像（C）における全てのピクセルは、色情報に基づいて、異なる領域にセグメント化される。図8Bにおいて、第１セグメンテーション結果（即ち、色に基づくセグメントマップ（Sc））は、複数のセグメンテーションSEGとして表されている。各セグメンテーションSEGは、2D‐30 Hz RGB画像（C）における類似の分類特徴を有する一連のRGBピクセルに基づいている。第１セグメンテーションアルゴリズムとしては、例えば、単純な線形反復クラスタリング（SLIC）法が採用される。
【００３６】
一方、プロセッサは、（図7及び図8に示す、物体に基づくセグメンテーションステップS712bにて）修正RGB画像データの物体情報に基づいて、第２セグメンテーションアルゴリズムを使用することにより、修正RGB画像データを処理して第２セグメンテーション結果（例えば図8Cに示す、物体に基づくセグメントマップ（So））を生成する。より具体的に述べれば、プロセッサは、物体情報に基づいて、修正RGB画像（例えば図8Cに示す、2D‐30 Hz RGB画像（C））における全てのピクセルを領域毎のセグメントに分類する。物体に基づくマップは、先に行われたセグメンテーションスキームにおいて未規定のコンテキスト領域全体を識別するのに役立つ。物体に基づくマップは、図7及び図8Bに示す、色ガイドされた奥行き推定ステップS722の精度を高めることができる。
【００３７】
プロセッサはその後、2D‐30 Hz RGB画像（C）の物体情報に基づいて、2D‐30 Hz RGB画像（C）をセグメント化して第２セグメンテーション結果（即ち図8Cに示す、物体に基づくセグメントマップ（So））を生成する。より詳細に述べれば、2D‐30 Hz RGB画像（C）における全てのピクセルは、物体情報に基づいて、異なる領域にセグメント化される。この場合、物体情報には、車両、交通コーン、スクーター、歩行者、空、道路、並びに他の一般的な物体クラスが含まれる。第２セグメンテーション結果（即ち、物体に基づくセグメントマップ（So））は、複数の物体セグメンテーションとして表されている。各物体セグメンテーションは、2D‐30 Hz RGB画像（C）における類似物体の一連のRGBピクセルに基づいている。第２セグメンテーションアルゴリズムとしては、例えば、完全畳み込みネットワーク（FCN）法が採用される。
【００３８】
ただし他の実施形態において、プロセッサは、RGB画像データステップS710にてRGBカメラアレイ701で生成される第１センサデータ（RGB画像データ）により、色に基づくセグメンテーションステップS712a及び物体に基づくセグメンテーションステップS712bを直接的に処理可能であることに留意されたい。即ち、図7は単なる一例に過ぎず、本発明を限定するものではない。 
【００３９】
図9A〜図9Cは、本開示の例示的な実施形態の１つに係るデータ整列アルゴリズムの説明図を示す。図7、図9A〜図9Cにおいて、プロセッサは、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて同期化第２センサデータを生成する。この場合、データ整列アルゴリズムは、（図7及び図9Aに示す）空間整列ステップS721aと、（図7、図9B及び図9Cに示す）時間整列ステップS721bとを含む。より詳細に述べれば、データ整列アルゴリズムは、変換行列703を使用することにより、第２センサデータの空間パラメータを整列させて整列化（整列させた）第２センサデータを生成すること、並びに時間整列アルゴリズムを使用することにより、第１セグメンテーション結果の時間パラメータと、整列化第２センサデータの時間パラメータとを整列させることを含む。
【００４０】
より具体的に述べれば、プロセッサは、（図7及び図9Aに示す）変換行列703を使用することにより、第２センサデータの空間パラメータ（例えば図9に示す、3D‐20 Hzの疎な点群（L））を整列させる。換言すれば、プロセッサは、変換行列703により、第２センサデータを3Dデータから2Dデータに変換して整列化第２センサデータ（即ち、ピンホール画像原理により、図9Aの2D‐20 Hzの疎な点群
[外１]
2020061114.tif 000004
）を生成する。より詳細に述べれば、奥行きに基づく前処理は、360°のFOV及び（例えば20 Hz）の周波数fLのサンプリングレートを有する１個以上のアクティブな3D奥行きセンサ（即ちLiDAR変換器アレイ702）を必要とする。奥行きに基づくセンサ（即ちLiDAR変換器アレイ702）のデータとRGBに基づくセンサ（即ち、RGBカメラアレイ701）との間でデータの同期を可能とするために、疎な3D点群体積データ（例えば（ＬT＝［ＬX,ＬY,ＬZ］）の空間情報（又は座標系）は、RGBに基づくセンサの密なRGB画像（例えばＣT＝［Ｃｉ,Ｃｊ］）と同期させる必要がある。
【００４１】
第２センサ（例えば図9Aに示す、3D‐20 Hzの疎な点群（L））のマッピングは、2D‐30 Hz RGB画像（C）のFOV内に位置する点群についてのみ行われる。この場合、データ整列アルゴリズムは、次式で表される通り、変換行列703における回転行列を使用する：
【数１】
2020061114.tif 000005
【００４２】
更に、取得された点は、次式で表される通り、並進行列に基づいて置き換えられる：
【数２】
2020061114.tif 000006
【００４３】
その後、取得された点は、次式で表される通り、（画像修正を使用して取得された）利用可能な固有のメトリックに従って変換される：
【数３】
2020061114.tif 000007
【００４４】
最後に、次式で表される通り、取得された点が処理されることにより生の点群データに関して所望の2D画像が得られる：
【数４】
2020061114.tif 000008
【００４５】
更に、プロセッサは、時間整列アルゴリズムを使用することにより、第１セグメンテーション結果（即ち図8Bに示す、色に基づくセグメントマップ（Sc））の時間パラメータと、整列化第２センサデータ（即ち図9Aに示す、2D‐20 Hzの疎な点群
[外２］
2020061114.tif 000009
とを整列させて同期化第２センサデータを生成する。時間整列アルゴリズムは、第１セグメンテーション結果のサンプリングレートと、整列化第２センサデータとを同期させることを含む。より詳細に述べれば、LiDAR変換器アレイ702のサンプリングレートは、RGBカメラアレイ701のサンプリングレートよりも小さい。
【００４６】
一般的に、LiDAR変換器アレイ702は、（例えば20 Hz）の周波数fLのサンプリングレートを有し、RGBカメラアレイ701は、（例えば30 Hz）までの周波数fCのサンプリングレートを有することができる。この条件によれば、LiDAR変換器アレイ702のデータを20 Hzから30 Hzにアップサンプリングする同期化技術が必要であることを意味する。従って、プロセッサは、第１セグメンテーション結果のサンプリングレートと、整列化第２センサデータのサンプリングレートとを同期させる。
【００４７】
図9Bは、時間整列アルゴリズムに関連する補間法を示す。図9Bによれば、LiDAR変換器アレイ702は、50 ミリセカンド（ms）毎に１つの点群体積を得ることができる。従って、LiDAR変換器アレイ702は、（図9Bに示すように）0 ms、50 ms、100 ms、150 ms、200 ms、250 ms、並びに300 msの時点で点群体積を得ることができる。RGBカメラアレイ701は、33 ms毎に１つの画像を得ることができる。従って、RGBカメラアレイ701は、（図9Bに示すように）0 ms、33 ms、67 ms、100 ms、133 ms、167 ms、200 ms、233 ms、267 ms、並びに300 msの時点で画像を得ることができる。この場合、プロセッサは、同じ時点（即ち、0 ms、100 ms、200 ms、300 ms）で得られた画像を直接的に同期させることができる。
【００４８】
プロセッサはその後、LiDAR変換器アレイ702における前の２つのデータに対して補間法を適用する。換言すれば、プロセッサは、LiDAR変換器アレイ702によって異なる時点で得られたデータを処理する。この場合、プロセッサは、LiDAR変換器アレイ702によって0 ms及び50 msの時点で得られた画像を使用して67 msの時点におけるLiDAR変換器アレイ702の画像を生成する。プロセッサはその後、LiDAR変換器アレイ702によって67 ms及び100 msの時点で得られた画像を使用して133 msの時点におけるLiDAR変換器アレイ702の画像を生成する。プロセッサは同様に、167 msの時点における画像、233 msの時点における画像、並びに267 msの時点における画像を生成する。プロセッサはその後、自動運転車両の時間差及び移動量に基づいて、色に基づくセグメントマップ（Sc）と、3D‐20 Hzの疎な点群（L）との同期を開始する。
【００４９】
図9Cに示すように、プロセッサは、補間を行うために、自動運転車両の移動可能性及び周囲の物体を考慮する。より詳細に述べれば、時間整列アルゴリズムにおける補間法において、プロセッサは、整列化第２センサデータ（即ち図9Aに示す、2D‐20 Hzの疎な点群
[外３]
2020061114.tif 000010
）における各セグメンテーション（例えばセグメントSEG）の一連の点群（例えば点Pt1〜Pt2）を、各フレーム（例えばフレームt-1、フレームt）にて、新たに取得された点群体積
[外４]
2020061114.tif 000011
で認識する（ここにtは、画像データの時間インデックスを表す）。この場合、セグメントの一部のみが複数の点群を含むことができる。換言すれば、図示の各セグメントSEGは、複数の点群を含むセグメントのうちの１つを示す。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。プロセッサは、セグメントSEG（例えば点Pout）内とは異なる点はフィルタリングする。なぜなら、点Pout及びセグメントSEGは異なる物体に位置するからである。プロセッサはその後、次式で表される通り、対になった点群と点群との間の最小ユークリッド距離を見出すことにより、
[外５]
2020061114.tif 000012
の中の
各点群（例えばPt3，Pt4）を
[外６]
2020061114.tif 000013
の中の
各点群（例えばPt1，Pt2）と対にする：
【数５】
2020061114.tif 000014
【００５０】
ここに、
[外７]
2020061114.tif 000015
は、各セグメントSEGにおける各点群値の奥行き及び反射率値を表す。
【００５１】
第１セグメンテーション結果（即ち、色に基づくセグメントマップ（Sc））のセグメントSEG内における各点群の対に関して、t+1での新たな点群体積は、次式で表される通り、予測される：
【数６】
2020061114.tif 000016
である。
【００５２】
Ｔcamera（  ）及びＴLiDARは、RGBに基づくセンサ（即ちRGBカメラアレイ701）及び奥行きに基づくセンサ（即ちLiDAR変換器アレイ702）の正確なタイムスタンプを表す。
【００５３】
元々取得された点群又は人工的に生成された点群の全ては、サンプリングレートが周波数fL（即ち20 Hz）から周波数fC（即ち30 Hz）まで既に同期された同期化第２センサデータの体積データにおいて再度マッピングされる。
【００５４】
図10A〜図10Cは、本開示の例示的な実施形態の１つに係るオクルージョン相関アルゴリズムの説明図を示す。図7及び図10A〜図10Cにおいて、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成するステップ（即ち色ガイドされた奥行き推定ステップS722）の前に、プロセッサは、（オクルージョン相関ステップS740にて）オクルージョン相関アルゴリズムを使用することにより、同期化第２センサデータを処理するよう更に構成されている。この場合、オクルージョン相関アルゴリズムは、全てのセグメントを走査すること、複数の各セグメントにおける複数の一連の点群を認識し、複数のセグメントにおける各部分のオクルード点及び複数の非オクルード点を見出すこと、オクルード点の奥行き値を、複数のセグメントの各部分における複数の非オクルード点の平均奥行き値で置き換えることを含む。
【００５５】
より詳細には、図10Aは、本開示の例示的な実施形態の１つに係るRGBカメラアレイ701及びLiDAR変換器アレイ702の設置箇所を示す。図示の実施形態において、第１タイプのセンサは、第２タイプのセンサよりも設置箇所が低く、例えば、RGBカメラアレイ701の設置箇所は、車両V100のボンネットに位置し、LiDAR変換器アレイ702の設置箇所は、車両V100のルーフに位置している。従って、LiDAR変換器アレイ702のFOVは、RGBカメラアレイ701のFOVよりも大きくなる可能性がある。これにより、LiDAR変換器アレイ702は、他の物体（例えば物体OB2）によって隠されている物体（例えば物体OB1）の点群体積を得ることができる。この場合、物体OB2は、物体OB1よりも車両V100に近い。換言すれば、物体OB2が物体OB1を隠しているため、RGBカメラアレイ701によって物体OB1の画像を得ることができない。オクルージョン補正は、図10Aに示すように、物体OB2を越えた位置における奥行きの点群を補正するものである。
【００５６】
このように、プロセッサは、オクルージョン相関アルゴリズムにより、同期化第２センサデータを処理するよう構成されている。オクルージョン相関アルゴリズムの詳細に関して、プロセッサは、同期化第２センサデータ（即ち図10Bに示す、2D‐30 Hzの疎な点群
[外８]
2020061114.tif 000017
を、第１セグメンテーション結果（即ち図10Bに示す、色に基づくセグメントマップ（Sc））に関連付けるよう処理し、（図10Bに示すように）2D‐30 Hzの疎な点群
[外９]
2020061114.tif 000018
を生成する。
【００５７】
より詳細に述べれば、プロセッサは、（図10Cに示すように）走査ウィンドウSW1により、2D‐30 Hzの疎な点群
[外１０]
2020061114.tif 000019
における全てのセグメントを走査する。例えばセグメントSEGは、2D‐30 Hzの疎な点群
[外１１]
2020061114.tif 000020
における複数のセグメントのうちの１つである。プロセッサはその後、複数の各セグメントにおける複数の一連の点群を認識し、複数のセグメントにおける各部分のオクルード点（セグメントSEGの例えばオクルード点P100）及び複数の非オクルード点（セグメントSEGにおける他の点）を見出す。プロセッサはその後、オクルード点P100の奥行き値を、複数のセグメントの各部分における走査ウィンドウSW1内にて複数の非オクルード点の平均奥行き値で置き換える。このようにして、オクルード点P100は、非オクルード点に相関させることができる。この段階で、プロセッサは、相関奥行き体積データステップS740aにて、同期化第２センサデータ（即ち、相関させた同期化第２センサデータ）を生成する。この相関させた同期化第２センサデータは、疎な奥行きデータである。
【００５８】
第２センサデータのパラメータ及び第１セグメンテーション結果のパラメータに関して、空間パラメータ及び時間パラメータを同期させた後、奥行き推定アルゴリズムが実行される。奥行き推定アルゴリズムに関しては、２つのアルゴリズム、即ち、第１奥行き推定アルゴリズム（色ガイドされた奥行き推定）と、第２奥行き推定アルゴリズム（物体ガイドされた奥行き推定）とが実行される。図11A及び図11Bは、本開示の例示的な実施形態の１つに係る第１奥行き推定アルゴリズムの説明図を示す。図7、図11A及び図11Bに示すように、プロセッサは、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて、色ガイドされた奥行き推定ステップS722にて第１奥行き結果を生成する。
【００５９】
より詳細にのべれば、第１奥行き推定アルゴリズムは、複数のセグメントの各部分における複数の点群の平均奥行き値を計算し、複数のセグメントの各部分に対応する平均奥行き値で、複数のセグメントの各部分における奥行値を埋めることを含む。より具体的には、プロセッサは、同期化第２センサデータ（例えば図10Bに示す、2D‐30 Hzの疎な点群
[外１２]
2020061114.tif 000021
）における複数のセグメント（例えばセグメントSEG）の各部分における複数の点群（即ち、図11Aに示すセグメントSEGの点群）の平均奥行き値を計算する。
【００６０】
プロセッサはその後、複数のセグメント（即ち、図11Aに示すセグメントSEG）の各部分における奥行き値を、複数のセグメントの各部分に対応する平均奥行き値で埋めて第１奥行き結果（即ち、図11Bに示す高解像度の奥行きマップ（D））を生成する。このようにして、プロセッサは、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果（即ち図11Bに示す、色に基づくセグメントマップ（Sc））と、同期化第２センサデータ（即ち図11Bに示す、2D‐30 Hzの疎な点群
[外１３]
2020061114.tif 000022
）とを融合させて第１奥行き結果（即ち、図11Bに示す高解像度の奥行きマップ（D））を生成することができる。
【００６１】
図12A及び図12Bは、本開示の例示的な実施形態の１つに係る第２奥行き推定アルゴリズムの説明図を示す。図7、図12A及び図12Bに示すように、プロセッサは、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて、物体ガイドされた奥行き推定ステップS730にて第２奥行き結果を生成する。本明細書において、第２奥行き推定アルゴリズムは、複数の一連のセグメントを認識して、未規定の奥行き値領域を見出すこと、複数のセグメントを走査して、複数のセグメントにおける（未規定の奥行き値領域近傍の）最小の奥行き値を見出すこと、オクルード点の奥行き値を、複数のセグメントにおける複数の非オクルード点の平均奥行き値と置き換えることを含む。
【００６２】
より具体的に述べれば、プロセッサは、走査ウィンドウSW2により、複数の一連のセグメントを認識して、未規定の奥行き値領域（例えば図12Aに示す画像における物体OBSのセグメント）を見出す。この場合、物体OBSは、複数のセグメントSEGを含む。プロセッサはその後、複数のセグメント（即ち、図12Aに示す未規定の奥行き値領域UNRの近傍のセグメント）を走査して、複数のセグメントにおける（未規定の奥行き値領域UNRに近い）最小の奥行き値を見出す。プロセッサはその後、（図12Aに示すように）未規定領域UNRの奥行き値を、最小の奥行き値で埋めて第２奥行き結果（例えば図12Bに示す、高解像度の奥行きマップ（D`））を生成する。
【００６３】
このようにして、プロセッサは、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果（即ち図12Bに示す、物体に基づくセグメントマップ（So））と、第１奥行き結果（即ち図12Bに示す、高解像度の奥行きマップ（D））とを融合させて第２奥行き結果（即ち図12Bに示す、高解像度の奥行きマップ（D`））を生成する。この第２奥行き結果は、密な奥行きデータである。このように、本開示は、画像修正アルゴリズム、２段階のセグメンテーションアルゴリズム、データ整列アルゴリズム、２段階の奥行き推定アルゴリズムを使用すると共に、RGBカメラアレイ701、LiDAR変換器アレイ702、並びにプロセッサにより、奥行きマップの解像度を高める。
【００６４】
図13A〜図13Cは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例の説明図を示す。図示の自動運転車両V1310は、奥行き推定装置1300を備える。奥行き推定装置1300は、フロント右側LiDAR1302a、フロント左側LiDAR1302b、フロントカメラ1301、並びに処理ユニット1303を備える。フロント右側LiDAR1302a、フロント左側LiDAR1302b、フロントカメラ1301は、処理ユニット1303に結合されている。この場合、処理ユニット1303としては、例えば、Intel Core i7 ＠ 2.4 GHz 4GB RAMと、Ubuntu 16.04 LTS上で動作するNVidia GeForce 940M 2GB VRAMとを有するパーソナル・コンピュータを使用することができる。
【００６５】
図13A〜図13Cにおいて、奥行き推定装置1300は、同期化第２センサデータ（即ち図13Bに示す、LiDARによる2D‐20 Hzの疎な点群及びRGB画像）に関して密な奥行き値を正確に推定することができると共に、第２奥行き結果（即ち図13Cに示す、2D‐30 Hzの高解像度の奥行きマップ）に関して密な奥行き値を推定することができる。更に、上述した実施例における平均的な複雑さは、26.232 fps（又は１フレームあたり38.122 ms）に達している。奥行き推定装置1300の複雑さは、色及び物体に基づいてガイドされた推定をバウンディングボックス領域などの領域に限定すれば、容易に低減することができる。換言すれば、処理ユニット1303は、画像修正アルゴリズムを処理して修正第１センサデータを処理するよう、２段階のセグメンテーションアルゴリズムを処理して第１セグメンテーション結果及び第２セグメンテーション結果を生成するよう、データ整列アルゴリズムを処理して同期化第２センサデータを生成するよう、更には２段階の奥行き推定アルゴリズムを処理して第１奥行き結果（即ち図13Bに示す、LiDARによる2D‐20 Hzの疎な点群及びRGB画像）及び第２奥行き結果（即ち図13Cに示す、2D‐30 Hzの高解像度の奥行きマップ）を生成するよう少なくとも構成されている。
【００６６】
奥行き推定装置1300は、図2、図5又は図7に示す奥行き推定装置と同じであるか又は類似していることに留意されたい。従って、これ以上の説明は省略されている。
【００６７】
図14A〜図14Eは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例の説明図を示す。図示の自動運転車両V1410は、奥行き推定装置1400を備える。奥行き推定装置1400は、第１タイプのセンサ（例えばステレオカメラ1401）、第２タイプのセンサ（例えばVelodyne社のレーザースキャナー）、GPS1404、並びにプロセッサ1403を備える。レーザースキャナー1402、ステレオカメラ1401、並びにGPS1404は、プロセッサ1403に結合されている。この場合、プロセッサ1403としては、例えば、Intel Core i7 ＠2.4 GHz 4GB RAMと、Ubuntu 16.04 LTS上で動作するNVidia GeForce 940M 2GB VRAMとを有するパーソナル・コンピュータを使用することができる。
【００６８】
図14Bは、ステレオカメラ1401で得られた画像を示す。図14Cは、Velodyne社のレーザースキャナー1402で得られた画像を示す。より詳細に述べれば、プロセッサ1403は、画像修正アルゴリズムを処理して修正第１センサデータを処理するよう、２段階のセグメンテーションアルゴリズムを処理して第１セグメンテーション結果及び第２セグメンテーション結果を生成するよう、データ整列アルゴリズムを処理して同期化第２センサデータを生成するよう、更には２段階の奥行き推定アルゴリズムを処理して（図14Dに示す）第１奥行き結果及び（図14Eに示す）第２奥行き結果を生成するよう少なくとも構成されている。この場合、第２奥行き結果は、（図14Eに示すように）密な高解像度マップである。
【００６９】
奥行き推定装置1400は、図2、図5又は図7に示す奥行き推定装置と同じであるか又は類似していることに留意されたい。従って、これ以上の説明は省略されている。
【００７０】
以上の記載から、本開示は、自動運転車両に使用するのに適した奥行き推定装置を提供するものである。具体的に述べれば、本開示の目的は、得られた２段階のセグメントを使用することにより、各センサによる奥行きマップの解像度を高めること、画像の特徴を考慮することにより、得られた２段階のセグメントを構成すること、更には色情報及び物体情報に基づいて、２段階の奥行き推定を行うことを含む。これにより、奥行き推定の精度を高めることができる。
【００７１】
本明細書において開示された実施形態の詳細な説明における要素、動作、又は指示は、特に明示されていない限り、本開示にとって必ず重要又は必要であると解釈されるべきではない。また、本明細書における不定冠詞「a」及び「an」は、複数の要素を含み得る。１つの要素のみを対象とする場合には、「単一」又は類似の用語が使用されている。更に、本明細書における複数の要素及び／又は複数の要素のカテゴリーの前に記載の「何れか」という用語は、「任意」、「任意の組み合わせ」、「任意の複数」、及び／又は、「複数の要素の任意の組み合わせ」及び／又は「複数の要素のカテゴリーにおける任意の組み合わせ」という意味を、個別的に又は他の要素及び／又は他の要素のカテゴリーに関連して包含する。これに加えて、本明細書における「セット」という用語は、ゼロを含む任意の数の要素を包含する。更に、本明細書における「数値」は、ゼロを含む任意の数値を包含する。
【００７２】
本開示の趣旨から逸脱することなく、開示された実施形態に関して様々な変更及び変形を加え得ることは当業者にとって自明のことであろう。上記の記載において、本開示の修正及び変形は、添付の特許請求の範囲内及びその均等物に含まれるのであれば包含されるものと解釈される。
【符号の説明】
【００７３】
200                  奥行き推定装置
210                  第１タイプのセンサ
220                  第２タイプのセンサ
230                  プロセッサ
300                  自動運転車両
S410                 方法ステップ
S412                 方法ステップ
S420                 方法ステップ
S421                 方法ステップ
S422                 方法ステップ
S430                 方法ステップ
501                  RGBカメラアレイ
502                  LiDAR変換器アレイ
S510                 RGB画像データステップ
S511                 画像修正ステップ
S512a                色に基づくセグメンテーションステップ
S512b                物体に基づくセグメンテーションステップ
S520                 奥行き体積データステップ
S521                 データ整列ステップ
S522                 色ガイドされた奥行き推定ステップ
S530                 物体ガイドされた奥行き推定ステップ
701                  RGBカメラアレイ
702                  LiDAR変換器アレイ
703                  変換行列
S710                 RGB画像データステップ
S711                 画像修正ステップ
S711a                修正済みRGB画像データステップ
S712a                色に基づくセグメンテーションステップ
S712b                物体に基づくセグメンテーションステップ
S721a                空間整列ステップ
S721b                時間整列ステップ
S722                 色ガイドされた奥行き推定ステップ
S730                 物体ガイドされた奥行き推定ステップ
S740                 オクルージョン相関ステップ
S740a                相関奥行き体積データステップ
SEG                  セグメンテーション
Pt1〜Pt6、Pout              点
t、t-1、t+1          時間
OB1、OB2、OBS        物体
V100                 車両
SW1、SW2             スキャンウィンドウ
P100                 オクルージョン点
UNR                  未規定の奥行き値領域
1300                 奥行き推定装置
1301                 フロントカメラ
1302a                フロント右側LiDAR
1302b                フロント左側LiDAR
1303                 処理ユニット
V1310                自動運転車両
1400                 奥行き推定装置
1401                 ステレオカメラ
1402                 Velodyne社のレーザースキャナー
1403                 プロセッサ
1404                 GPS
V1410                自動運転車両
【図１】
2020061114.tif 000023
【図２】
2020061114.tif 000024
【図３】
2020061114.tif 000025
【図４】
2020061114.tif 000026
【図５】
2020061114.tif 000027
【図６−１】
2020061114.tif 000028
【図６−２】
2020061114.tif 000029
【図６−３】
2020061114.tif 000030
【図７】
2020061114.tif 000031
【図８−１】
2020061114.tif 000032
【図８−２】
2020061114.tif 000033
【図９Ａ】
2020061114.tif 000034
【図９Ｂ】
2020061114.tif 000035
【図９Ｃ】
2020061114.tif 000036
【図１０Ａ】
2020061114.tif 000037
【図１０Ｂ】
2020061114.tif 000038
【図１０Ｃ】
2020061114.tif 000039
【図１１Ａ】
2020061114.tif 000040
【図１１Ｂ】
2020061114.tif 000041
【図１２Ａ】
2020061114.tif 000042
【図１２Ｂ】
2020061114.tif 000043
【図１３−１】
2020061114.tif 000044
【図１３−２】
2020061114.tif 000045
【図１４−１】
2020061114.tif 000046
【図１４−２】
2020061114.tif 000047
【図１４−３】
2020061114.tif 000048
【手続補正書】
【提出日】令和2年2月21日(2020.2.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
奥行き推定装置であって、
・第１センサデータを生成するための第１タイプのセンサと、
・第２センサデータを生成するための第２タイプのセンサと、
・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されており、
前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、
前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１ンサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定装置。
【請求項２】
請求項１に記載の奥行き推定装置であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成する前に、前記プロセッサが、オクルージョン相関アルゴリズムを使用することにより、前記同期化第２センサデータを処理するよう更に構成され、前記オクルージョン相関アルゴリズムが、
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定装置。
【請求項３】
請求項１又は２に記載の奥行き推定装置であって、前記第１奥行き推定アルゴリズムが、
前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定装置。
【請求項４】
請求項１〜３の何れか一項に記載の奥行き推定装置であって、前記第２奥行き推定アルゴリズムが、
前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
前記未規定奥行き値領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定装置。
【請求項５】
請求項１〜４の何れか一項に記載の奥行き推定装置であって、前記データ整列アルゴリズムが、
変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定装置。
【請求項６】
請求項５に記載の奥行き推定装置であって、前記時間整列アルゴリズムが、前記第１セグメンテーション結果のサンプリングレートと、前記整列化第２センサデータのサンプリングレートとを同期させることを含む奥行き推定装置。
【請求項７】
請求項１〜６の何れか一項に記載の奥行き推定装置であって、前記第１タイプのセンサが、前記第２タイプのセンサよりも低い設置箇所を有する奥行き推定装置。
【請求項８】
請求項１〜７の何れか一項に記載の奥行き推定装置であって、前記第１タイプのセンサがカメラを含み、前記第２タイプのセンサがLiDARセンサを含む奥行き推定装置。
【請求項９】
請求項１〜８の何れか一項に記載の奥行き推定装置であって、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第１セグメンテーション結果を生成し、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第２セグメンテーション結果を生成する前に、前記プロセッサが、画像修正アルゴリズムを使用することにより、前記第１センサデータを処理して前記第１センサデータの空間的歪みを除去するよう更に構成されている奥行き推定装置。
【請求項１０】
奥行き推定装置を備える自動運転車両であって、前記奥行き推定装置が、
・第１センサデータを生成するための第１タイプのセンサと、
・第２センサデータを生成するための第２タイプのセンサと、
・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されており、
前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、
前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む自動運転車両。
【請求項１１】
請求項１０に記載の自動運転車両であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成する前に、前記プロセッサが、オクルージョン相関アルゴリズムを使用することにより、前記同期化第２センサデータを処理するよう更に構成され、前記オクルージョン相関アルゴリズムが、
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む自動運転車両。
【請求項１２】
自動運転車両に使用する奥行き推定方法であって、該方法が、
第１タイプのセンサを使用することにより、第１センサデータを生成するステップを含み、
第２タイプのセンサを使用することにより、第２センサデータを生成するステップを含み、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成するステップを含み、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成するステップを含み、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成するステップを含み、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するステップを含み、
プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、
前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定方法。
【請求項１３】
請求項１２に記載の奥行き推定方法であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成するステップの前に、前記奥行き推定方法が、オクルージョン相関アルゴリズムを使用することにより、同期化第２センサデータを処理するステップを更に含み、前記オクルージョン相関アルゴリズムが、
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定方法。
【請求項１４】
請求項１２又は１３に記載の奥行き推定方法であって、前記第１奥行き推定アルゴリズムが、
前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定方法。
【請求項１５】
請求項１２〜１４の何れか一項に記載の奥行き推定方法であって、前記第２奥行き推定アルゴリズムが、
前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
前記未規定奥行き値領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定方法。
【請求項１６】
請求項１２〜１５の何れか一項に記載の奥行き推定方法であって、前記データ整列アルゴリズムが、
変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定方法。
【請求項１７】
請求項１６に記載の奥行き推定方法であって、前記時間整列アルゴリズムが、前記第１セグメンテーション結果のサンプリングレートと、前記整列化第２センサデータのサンプリングレートとを同期させることを含む奥行き推定方法。
【請求項１８】
請求項１２〜１７の何れか一項に記載の奥行き推定方法であって、前記第１タイプのセンサが、前記第２タイプのセンサよりも低い設置箇所を有する奥行き推定方法。
【請求項１９】
請求項１２〜１８に記載の奥行き推定方法であって、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第１セグメンテーション結果を生成し、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第２セグメンテーション結果を生成するステップの前に、前記方法が、画像修正アルゴリズムを使用することにより、前記第１センサデータを処理して前記第１センサデータの空間的歪みを除去するステップを更に含む奥行き推定方法。
【外国語明細書】
2020061114000001.pdf