(57)【要約】【課題】自律走行車が使用する物体検出システム、そのシステムを使用する自律走行車、およびその物体検出方法を提供する。【解決手段】物体検出システムは、第１感知データを生成するための第１種類のセンサと；第２感知データを生成するための第２種類のセンサと；第１種類のセンサおよび第２種類のセンサに結合され、少なくとも：複数のパラメータ検出アルゴリズムから計算された環境パラメータをそれぞれ含む第１の複数の物体検出アルゴリズムを使用して、第１感知データを処理することと、複数のパラメータ検出アルゴリズムから計算された環境パラメータをそれぞれ含む第２の複数の物体検出アルゴリズムを使用して、第２感知データを処理することと；各検出した物体に対し、第１感知データの処理および第２感知データの処理から得られた境界ボックスを決定することと；を実行するよう構成されたプロセッサと；を含む。【選択図】図５
2019200773.tif 000002
【特許請求の範囲】
【請求項１】
第１感知データを生成するための第１種類のセンサと、
第２感知データを生成するための第２種類のセンサと、
前記第１種類のセンサおよび前記第２種類のセンサに結合され、少なくとも、
第１の複数の物体検出アルゴリズムを使用して前記第１感知データを処理し、前記第１種類のセンサに対応する第１予備検出結果を生成することと、
第２の複数の物体検出アルゴリズムを使用して前記第２感知データを処理し、前記第２種類のセンサに対応する第２予備検出結果を生成することと、
前記第１予備検出結果および前記第２予備検出結果のそれぞれに用いる複数の環境パラメータを含むパラメータ検出アルゴリズムを適用して、前記複数の環境パラメータの異なる環境パラメータに対応する各信頼値を有する複数の信頼値を生成することと、
前記第１種類のセンサの特性、前記第２種類のセンサの特性、前記第１予備検出結果と前記第２予備検出結果の間の関係、および前記複数の信頼値に基づいて、検出した物体を決定することと、
を実行するよう構成されたプロセッサと、
を含む物体検出システム。
【請求項２】
前記プロセッサが、さらに、
前記第１予備検出結果および前記第２予備検出結果を融合して、融合された予備検出結果を生成することと、
２つの境界ボックスを対にすることと、
２つの境界ボックスが所定の重複閾値を超えて重複しているかどうか、および所定の距離閾値を超えて分離しているかどうかを決定することによって、前記融合された予備決定結果から重複および散乱分析を実行することと、
を実行するよう構成された請求項１に記載の物体検出システム。
【請求項３】
前記プロセッサが、さらに、
前記所定の重複閾値および前記所定の距離閾値の両方が超過している時、デンプスター・シェファーモジュールを使用するよう構成された請求項２に記載の物体検出システム。
【請求項４】
前記プロセッサが、さらに、
前記所定の重複閾値および前記所定の距離閾値のうちの１つが超過していない時、パラメータフィルタモジュールを使用するよう構成された請求項２に記載の物体検出システム。
【請求項５】
前記プロセッサが、さらに、
少なくとも前記複数の信頼値に基づいて、前記対の境界ボックスのうち比較的信頼できると決定された第１境界ボックスを保存し、前記対の境界ボックスのうちの別の境界ボックスを廃棄するよう構成された請求項３に記載の物体検出システム。
【請求項６】
前記プロセッサが、さらに、
擬似境界ボックスを決定することと、
少なくとも前記複数の信頼値に基づいて、前記融合された予備検出結果から得られた各境界ボックスを保存するか、または除去するかを決定することと、
を実行するよう構成された請求項４に記載の物体検出システム。
【請求項７】
前記複数の環境パラメータが、気候条件、局部強度測定、露光過度検出、露光不足検出、物体の相対距離、前記物体の角度位置、および前記物体の分類器の信頼度のうちの少なくとも１つを含む請求項１に記載の物体検出システム。
【請求項８】
前記複数の環境パラメータを正規化して、前記第１種類のセンサおよび前記第２種類のセンサの範囲と一致させる請求項７に記載の物体検出システム。
【請求項９】
前記対の境界ボックス間の空間距離、前記境界ボックスの深度情報、およびクラス値に基づいて、前記対の境界ボックスが独立または従属のいずれであるかを決定する請求項２に記載の物体検出システム。
【請求項１０】
前記第１種類のセンサが、レーダーセンサを含み、前記第２種類のセンサが、カメラを含む請求項２に記載の物体検出システム。
【請求項１１】
第１感知データを生成するための第１種類のセンサと、
第２感知データを生成するための第２種類のセンサと、
前記第１種類のセンサおよび前記第２種類のセンサに結合され、少なくとも、
第１の複数の物体検出アルゴリズムを使用して前記第１感知データを処理し、前記第１種類のセンサに対応する第１予備検出結果を生成することと、
第２の複数の物体検出アルゴリズムを使用して前記第２感知データを処理し、前記第２種類のセンサに対応する第２予備検出結果を生成することと、
前記第１予備検出結果および前記第２予備検出結果のそれぞれに用いる複数の環境パラメータを含むパラメータ検出アルゴリズムを適用して、前記複数の環境パラメータの異なる環境パラメータに対応する各信頼値を有する複数の信頼値を生成することと、
前記第１種類のセンサの特性、前記第２種類のセンサの特性、前記第１予備検出結果および前記第２予備検出結果の間の関係、および前記複数の信頼値に基づいて、検出した物体を決定することと、
を実行するよう構成されたプロセッサと、
を含む物体検出システム
を含む自律走行車。
【請求項１２】
自律走行車が使用する物体検出方法であって、
第１種類のセンサを使用して、第１感知データを生成することと、
第２種類のセンサを使用して、第２感知データを生成することと、
第１の複数の物体検出アルゴリズムを使用して前記第１感知データを処理し、前記第１種類のセンサに対応する第１予備検出結果を生成することと、
第２の複数の物体検出アルゴリズムを使用して前記第２感知データを処理し、前記第２種類のセンサに対応する第２予備検出結果を生成することと、
前記第１予備検出結果および前記第２予備検出結果のそれぞれに用いる複数の環境パラメータを含むパラメータ検出アルゴリズムを適用して、前記複数の環境パラメータの異なる環境パラメータに対応する各信頼値を有する複数の信頼値を生成することと、
前記第１種類のセンサの特性、前記第２種類のセンサの特性、前記第１予備検出結果および前記第２予備検出結果の間の関係、および前記複数の信頼値に基づいて、検出した物体を決定することと、
を含む物体検出方法。
【請求項１３】
前記第１予備検出結果および前記第２予備検出結果を融合して、融合された予備検出結果を生成することと、
２つの境界ボックスを対にすることと、
２つの境界ボックスが所定の重複閾値を超えて重複しているかどうか、および所定の距離閾値を超えて分離しているかどうかを決定することによって、前記融合された予備決定結果から重複および散乱分析を実行することと、
をさらに含む請求項１２に記載の物体検出方法。
【請求項１４】
前記所定の重複閾値および前記所定の距離閾値の両方が超過している時、デンプスター・シェファーモジュールを使用することをさらに含む請求項１３に記載の物体検出方法。
【請求項１５】
前記所定の重複閾値および前記所定の距離閾値のうちの１つが超過していない時、パラメータフィルタモジュールを使用することをさらに含む請求項１３に記載の物体検出方法。
【請求項１６】
少なくとも前記複数の信頼値に基づいて、前記対の境界ボックスのうち比較的信頼できると決定された第１境界ボックスを保存し、前記対の境界ボックスのうちの別の境界ボックスを廃棄することをさらに含む請求項１４に記載の物体検出方法。
【請求項１７】
擬似境界ボックスを決定することと、
少なくとも前記複数の信頼値に基づいて、前記融合された予備検出結果から得られた各境界ボックスを保存するか、または除去するかを決定することと、
をさらに含む請求項１５に記載の物体検出方法。
【請求項１８】
前記複数の環境パラメータが、気候条件、局部強度測定、露光過度検出、露光不足検出、物体の相対距離、前記物体の角度位置、および前記物体の分類器の信頼度のうちの少なくとも１つを含む請求項１２に記載の物体検出方法。
【請求項１９】
前記複数の環境パラメータを正規化して、前記第１種類のセンサおよび前記第２種類のセンサの範囲と一致させる請求項１８に記載の物体検出方法。
【請求項２０】
前記対の境界ボックス間の空間距離、前記境界ボックスの深度情報、およびクラス値に基づいて、前記対の境界ボックスが独立または従属のいずれであるかを決定する請求項１３に記載の物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行車（autonomous vehicle）が使用する物体検出システム、そのシステムを使用する自律走行車、およびその物体検出方法に関するものである。
【背景技術】
【０００２】
ディープラーニング（deep learning）ベースの物体検出アルゴリズムの促進や、モバイル式であるが強力な計算システム（mobile yet powerful computing system）を利用して先進技術を実施するといった要因により、自律走行車の発展が急速に進んだ。さらに、より複雑で正確なフレームワークを利用する画像センサの発展によって、センシング技術は、カメラに使用する受動型ベースの技術を超え、ライダー（light detection and ranging, LiDAR）およびレーダー（Radio Frequency Signal Detection and Ranging, RaDAR）変換器（transducer）等の能動型ベースの技術になった。カメラセンサから得られる輝度および色情報等の２次元（two-dimensional, 2D）情報と比較すると、これらの能動型センサは、深度情報を導入することによって、３次元（three-dimensional, 3D）情報を提供することもできる。また、様々な実施方案が多くのセンシング技術を発展させ、異なる種類の感知装置のデータ融合から総合データを取得することによって、物体検出システムの正確度が向上した。
【０００３】
しかしながら、異なる種類の感知装置の最近の発展と多くの感知装置を用いた物体検出における現有技術の状況の性能には、欠点が少しある。例えば、自律走行車に用いる各種類の感知装置から得られるデータの品質は、外部および内部両方の制約条件（constraint）によって影響される。対応する種類の感知装置に対する不利な制約条件は、データの品質を低下させる。多くの感知装置からのデータを融合する技術を発展させた最新技術の大部分は、独占的に内部の制約条件（物体の相対位置、物体の相対距離、分類器の信頼度等）を最も考慮している。多くの感知装置に用いる融合技術を発展させた最新技術には、入力レベルの情報を融合し、単一の分類器を利用して物体検出を行っている技術もある。そうすることによって、比較的高い未検出率（miss rate）の可能性を上げることができる。
【０００４】
自律走行車において、車両内に配置された感知装置は、周囲の物体および状況の正確な情報を得るために重要であるとみなされる。理想的には、異なる感知様式（sensing modality）（すなわち、異なる種類のセンサ）から得られた総合的な種類と量のセンサ入力を実施することによって、より信頼できる情報を入手することができ、各感知装置は、他の感知装置から得た情報を検証することもできる。
【０００５】
自律走行車の発展に通常使用される感知装置は、画像センサ、ライダー（LiDAR）変換器、およびレーダー（RaDAR）変換器を含むことができる。これらの各感知装置は、感覚性能を有利に上げる、または感覚性能を不利に下げる特性および行為を保持する可能性のある感知様式を有する。感覚性能が上がるか下がるかは、各感知装置の独特な操作原理による特定の状況と環境によって決まる。
【０００６】
ＲＧＢカメラ等の画像センサの操作原理は、周囲の物体から反射した光を含む外部環境から光情報を受信することによって、画像を受動的に処理することである。反対に、レーダーおよびライダーは、少なくとも送信機および受信機に頼って周囲の物体および環境から情報を得る能動型変換器である。レーダーとライダーの間の相違点は、使用中の光のスペクトル（すなわち、赤外線とミリ波）であり、その後、そのスペクトルで対応する感知様式の特性を決定する。具体的に説明すると、ライダーは、赤外線（infrared, IR）変調波を使用して、全方位（すなわち、３６０度）の視野で送信機と受信機の間の飛行時間を測定するが；レーダーは、無線周波数を使用して、特定角度（例えば、３６０度よりも小さい）の視野で送信機と受信機の間の飛行時間を測定する。
【０００７】
表１は、自律走行車において一般的に実施される様々な感知装置の間の特性の比較を示したものである。表１に示した値は、例示的目的のためだけに示したものであるため、具体的な値は、設計考察に基づいて変更されてもよい。
【０００８】
【表１】
2019200773.tif 000003
【０００９】
表１および前述の詳細に基づくと、低いまたは過度の光強度は、得られた画像の感性品質を悪化させる可能性があるため、画像センサは、光干渉を受けやすい。画像センサの一般的特徴とは反対に、レーダーおよびライダーの感知媒体は、可視光スペクトルと同じ周波数範囲に位置しないため、レーダーおよびライダー変換器は、どの量の光強度からの干渉の影響も受けにくい。そのため、ルクス干渉の角度から見ると、一定量の光強度を有する環境においては、ライダーベースまたはレーダーベースの物体検出システムと比較すると、画像センサを用いて物体検出を行うのはあまり好ましくない。
【００１０】
また、様々な感知装置間の比較は、これらの感知装置を自律走行車内で操作する時に日光暴露から干渉を受ける可能性も示している。カメラレンズを直接日光暴露させることによって、露光反射範囲内の色情報を弱める信号クリッピング（signal clipping）を引き起こす可能性があり、その結果、得られた画像の重要な情報が無作為に削除されることがある。同様に、日光からの放射エネルギーは、ライダー受信機のスペクトルの範囲内に入る赤外線（ＩＲ）波を含むため、ライダーも直接の日光暴露に対して僅かに敏感である。しかしながら、ライダー送信機からの赤外線（ＩＲ）波は変調されるため、干渉はカメラほど高くない。一方、ライダー変換器は、感知する手段がミリ波の波長範囲の無線周波数を含むため、日光暴露の影響を受けにくい。
【００１１】
自律走行車の野外環境は、各感知装置の性能を大幅に低下させる可能性のある独立変数を生み出す。不利な天候条件は、正確な物体検出メカニズムを実施するために考慮しなければならない不可避な制約条件になり得る。カメラ、ライダー、およびレーダーの間の類似点は、非接触式感知技術のフレームワークに基づくことができ、外に送信したい情報、およびこれらの異なった種類の各感知装置で検出しようとする物体から受信したい情報に用いる媒体を必要とする。不利な天候条件（例えば、雨、霧、または靄）の間、媒体は、雨の水滴、霧の中の水コロイド、靄の中の汚染物質コロイド等の視界を狭くする可能性のある不必要な材料を含む可能性があるため、検出しようとする物体とそれに対応する感知装置の間を移動する情報の強度を弱める。これらの感知装置の性能は、天候条件によって影響される可能性があるが、本発明で説明する他の種類の感知装置の中では、ライダーの性能が最も劣っている。
【００１２】
図１Ａは、自律走行車に対して一般的に使用される感知装置の特性を示したものである。図１Ｂは、図１Ａの各感知装置の視野（field of view, FOV）および範囲を示したものである。自律走行車は、ＲＧＢカメラ１０１、ライダー１０２、およびレーダー１０３を使用して、付近の物体を感知することができる。外部の制約条件によって影響される他に、これらの感知装置（例えば、１０１、１０２、１０３）の内部規格も物体検出に対する性能に貢献することができる。表１からわかるように、感知特性に影響を与える可能性のある内部の制約条件は、（ａ）感知範囲、（ｂ）ＦＯＶ、および（ｃ）データ解析度を含む少なくとも３つのカテゴリー（ただし、本発明は、これに限定されない）に分離することができる。これらの各制約条件は、ＲＧＢカメラ１０１、ライダー変換器１０２、およびレーダー変換器１０３の性能においてトレードオフ（trade-off）として操作することができる。
【００１３】
例えば、図１Ｂに示した感知範囲の観点から見ると、レーダー１０３は、周知の物体検出アルゴリズムの大部分に対して１５０メートルまでの最も広い感知範囲を提供することができる。しかしながらＦＯＶの観点から見ると、ライダー１０２は、３６０°または全貌をカバーする最も広い視野を提供することができる。しかしながら、レーダー１０３およびライダー１０２は、いずれもＲＧＢカメラ１０１と同じ高データ解像度を提供することが難しい。
【００１４】
上述した詳細に基づくと、内部および外部の制約条件は、いずれもデータ品質と潜在的に干渉する可能性があるため、各データセンサに対する物体検出の性能に影響を与える。しかしながら、不利な条件が全てのセンサに同時に付加されるわけではないため、多くの感知様式および多くの物体検出を実施する包括的なフレームワークを利用することにより、欠点を解決することができる。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上記の背景技術で説明したように、異なる環境要因は、異なる種類のセンサを使用することによって、物体検出の効果と実行可能性に影響を与える可能性があるため、自律走行車内の異なる種類のセンサは、異なる特性、強度、および欠点を有する。そのため、物体検出システム、物体検出方法、およびその方法とシステムを有する車両を提供し、正確に物体検出を行う必要がある。
【課題を解決するための手段】
【００１６】
したがって、本発明は、上述した問題を解決することのできる自律走行車が使用する物体検出システム、そのシステムを使用する自律走行車、およびその物体検出方法を提供する。
【００１７】
１つの実施形態において、本発明は：第１感知データを生成するための第１種類のセンサと；第２感知データを生成するための第２種類のセンサと；第１種類のセンサおよび第２種類のセンサに結合され、少なくとも：複数のパラメータ検出アルゴリズムから計算された環境パラメータをそれぞれ含む第１の複数の物体検出アルゴリズムを使用して、第１感知データを処理し、複数のパラメータ検出アルゴリズムから計算された環境パラメータをそれぞれ含む第２の複数の物体検出アルゴリズムを使用して、第２感知データを処理することと；各検出した物体に対し、第１感知データの処理および第２感知データの処理から得られた境界ボックス（bounding box）を決定することと；を実行するよう構成されたプロセッサと；を含む（ただし、本発明は、これに限定されない）物体検出システムを提供する。
【００１８】
１つの実施形態において、本発明は：第１感知データを生成するための第１種類のセンサと；第２感知データを生成するための第２種類のセンサと；第１種類のセンサおよび第２種類のセンサに結合され、少なくとも：複数のパラメータ検出アルゴリズムから計算された環境パラメータをそれぞれ含む第１の複数の物体検出アルゴリズムを使用して、第１感知データを処理し、複数のパラメータ検出アルゴリズムから計算された環境パラメータをそれぞれ含む第２の複数の物体検出アルゴリズムを使用して、第２感知データを処理することと；各検出した物体に対し、第１感知データの処理および第２感知データの処理から得られた境界ボックスを決定することと；を実行するよう構成されたプロセッサと；を含む物体検出システムを含む（ただし、本発明は、これに限定されない）自律走行車を提供する。
【００１９】
１つの実施形態において、本発明は、自律走行車が使用する物体検出方法を提供し、この方法は、第１種類のセンサを使用して、第１感知データを生成することと；第２種類のセンサを使用して、第２感知データを生成することと；複数のパラメータ検出アルゴリズムから計算された環境パラメータをそれぞれ含む第１の複数の物体検出アルゴリズムを使用して、第１感知データを処理し、複数のパラメータ検出アルゴリズムから計算された環境パラメータをそれぞれ含む第２の複数の物体検出アルゴリズムを使用して、第２感知データを処理することと；各検出した物体に対し、第１感知データの処理および第２感知データの処理から得られた境界ボックスを決定することと；を含む（ただし、本発明は、これに限定されない）。
【発明の効果】
【００２０】
本発明の効果は、提供した決定融合（decision fusion）を使用して、各センサから分類器の検出率を向上させることと、各センサの特徴および行為を考慮して、提供した決定融合を設計することと、境界ボックスの位置（画素およびメートル中の）、物体のクラス、および検出信頼度を含む最終決定結果を提供することを含むことができる。このようにして、物体検出の正確度を向上させることができる。
【図面の簡単な説明】
【００２１】
添付図面は、本発明の原理がさらに理解されるために含まれており、本明細書に組み込まれ、且つその一部を構成するものである。図面は、本発明の実施形態を例示しており、説明とともに、本発明の原理を説明する役割を果たしている。
【００２２】
【図１】図１Ａは、自律走行車に対して一般的に使用される感知装置の特性を示したものである。図２Ｂは、図１Ａの各感知装置のＦＯＶおよび範囲を示したものである。
【図２】本発明の１つの実施形態に係る物体検出システムのハードウェアブロック図を示したものである。
【図３】本発明の１つの実施形態に係る物体検出システムを使用する自律走行車を示したものである。
【図４】本発明の１つの実施形態に係る物体検出方法のステップを示すフローチャートである。
【図５】本発明の１つの実施形態に係る物体検出フレームワークのブロック図を示したものである。
【図６】本発明の１つの実施形態に係る境界ボックスを分析する時に使用する技術を示したものである。
【図７】本発明の１つの実施形態に係る感知データを生成し、その後検出結果を分析して、境界ボックスを出力する時の詳細なブロック図である。
【図８】本発明の１つの実施形態に係るパラメータ検出アルゴリズムを示したものである。
【図９】本発明の１つの実施形態に係る自律走行車が使用したいセンサ候補のＦＯＶおよび各可能な検出状況を示したものである。
【図１０】図１０Ａ〜図１０Ｂは、本発明の１つの実施形態に係る物体検出方法の第１実施例を示したものである。
【図１１】図１１Ａ〜図１１Ｂは、本発明の１つの実施形態に係る物体検出方法の第２実施例を示したものである。
【図１２】図１２Ａ〜図１２Ｂは、本発明の１つの実施形態に係る物体検出方法の第３実施例を示したものである。
【発明を実施するための形態】
【００２３】
以下、添付の図面を例として、本発明の実施形態を詳細に説明する。各図面および関連説明において、同一または類似する構成要素には、同一の参照番号を使用する。
【００２４】
本発明は、付近の物体を検出する自律走行車のフレームワークを提供し、物体検出システム、物体検出システムを使用する自律走行車、および物体検出方法の観点から、フレームワークについて説明する。このシステムは、人間が介入しなくても自動的に操作することのできる自律走行車内に配置されるため、物体検出の正確度が最も重要になる。このシステムは、重複するＦＯＶを有する複数セットの異なる感知装置、例えば、周囲から２次元（２Ｄ）ＲＧＢデータを取得するための１つまたはそれ以上の画像センサを有する１セットの画像装置、周囲から３次元（３Ｄ）ポイントクラウド体積（point clouds volume）を取得するための１つまたはそれ以上のライダー変換器を有する１セットのライダー変換器、周囲から３Ｄエコーポイント体積（echo point volume）を取得するための１つまたはそれ以上のレーダー変換器を有する１セットのレーダー変換器、および各種類のセンサに対して１セットの物体検出アルゴリズムを実行して、全てのアルゴリズムからの検出結果を分析し、様々な制約条件に対するセンサの特性および行為に基づいて、最終検出結果を決定する処理ユニットを含む（ただし、本発明は、これに限定されない）。このような制約条件は、光の強度、天候状態、露光レベル、物体の位置、物体の距離、および検出アルゴリズムの信頼度を含むことができる。センサから得られた利用可能な情報を各早期検出結果に統合して、さらに処理装置で自動的に分析し、総合データの一部となり得る最終検出結果を取得して、さらなる分析を行う。提供したフレームワークにより、誤検知（false positive）を阻止し、物体検出全体の正確度を上げることができる。図２〜図５は、提供した物体検出フレームワークをさらに詳しく説明したものである。
【００２５】
図２は、本発明の１つの実施形態に係る物体検出システムのハードウェアブロック図を示したものである。物体検出システムは、第１種類のセンサ２０１と、第２種類のセンサ２０２と、プロセッサ２０３とを含む。第１種類のセンサ２０１は、指定されたＦＯＶ内の可視光を２Ｄ画像に取り込むＲＧＢ画像センサ等の画像センサであってもよい。第２種類のセンサ２０２は、指定されたＦＯＶ内から反射した信号のサンプルを抽出し、それに基づいて３Ｄ体積を再構成するライダーセンサまたはレーダーセンサ等の画像または測距センサであってもよい。プロセッサ２０３は、少なくとも第１の複数の物体検出アルゴリズムを使用して第２感知データを処理し、第２の複数の物体検出アルゴリズムを使用して第２感知データを処理するよう構成される。第１の複数の物体検出アルゴリズムおよび第２の複数の物体検出アルゴリズムのそれぞれは、複数のパラメータ検出アルゴリズムから計算された環境パラメータを含む。そして、プロセッサ２０３は、各検出した物体に対し、第１感知データの処理および第２感知データの処理から得られた境界ボックスを決定するよう構成される。
【００２６】
第１種類のセンサ２０１がＲＧＢカメラ等のＲＧＢ画像センサであると仮定すると、第１の複数の物体検出アルゴリズムは、J. Redmon等の「あなたは一度だけ見る：統合されたリアルタイムオブジェクトの検出（You Only Look Once: Unified, Real-time Object Detection）」、CoRR, vol. abs/1506.02640, 2016によって教示された「ＹＯＬＯ」アルゴリズム、S. Ren等の「より速いＲ−ＣＮＮ：地域提案ネットワークを用いたリアルタイム物体検出に向けて（Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks）」、CoRR, vol. abs/1506.01497, 2016によって教示されたより速いＲ−ＣＮＮアルゴリズム、およびW. Liu等の「ＳＳＤ：シングルショットマルチボックス検出器（SSD: Single Shot Multibox Detector）」、CoRR, vol. abs/1512/02325, 2015によって教示されたシングルショット検出器（Single Shot Detection, SSD）アルゴリズムのうちの１つまたはこれらの組み合わせを含むことができる。上述した各物体検出アルゴリズムは、参考として組み込まれる。
【００２７】
第２種類のセンサ２０２がライダーセンサ等の画像または測距センサであると仮定すると、第２の複数の物体検出アルゴリズムは、B. Li等「深層畳み込みネットワークを用いたライダーからの車両検出（Vehicle Detection from 3D Lidar Using Fully Convolutional Network）」、CoRR, vol. abs/1608.0791, 2016によって教示された３Ｄ−ＦＣＮアルゴリズム、J. Guo等の「全層の利用：スケール依存プーリングおよびカスケード拒絶分類器を有する高速且つ正確なＣＮＮ物体検出（Exploit All the Layers: Fast and Accurate CNN Object Detector with Scale Dependent Pooling and Cascaded Rejection Classifiers）」、IEEE CVPR, pp. 770-779, 2016によって教示されたＴｕＳｉｍｐｌｅアルゴリズム、およびC. Guidelの「ＣＮＮ特徴を用いた関節物体検出および注視点位置推定（Joint Object Detection and Viewpoint Estimation using CNN Features）」、IEEE VES, pp. 145-150, 2017によって教示されたＬ−ＳＶＭアルゴリズムのうちの１つまたはこれらの組み合わせを含むことができる。上述した各物体検出アルゴリズムは、参考として組み込まれる。
【００２８】
図３は、本発明の１つの実施形態に係る物体検出システムを使用する自律走行車を示したものである。自律走行車３００は、図２に示した物体検出システム２００を含む（ただし、本発明は、これに限定されない）。
【００２９】
図４は、本発明の１つの実施形態に係る物体検出方法のステップを示すフローチャートである。ステップＳ４０１において、物体検出システムは、第１種類のセンサを使用して、第１感知データを生成する。ステップＳ４０２において、物体検出システムは、第２種類のセンサを使用して、第２感知データを生成する。ステップＳ４０３において、物体検出システムは、第１の複数の物体検出アルゴリズムを使用して、第１感知データを処理し、第２の複数の物体検出アルゴリズムを使用して、第２感知データを処理する。第１の複数の物体検出アルゴリズムおよび第２の複数の物体検出アルゴリズムのそれぞれは、複数のパラメータ検出アルゴリズムから計算された環境パラメータを含む。ステップＳ４０４において、物体検出システムは、各検出した物体に対し、第１感知データの処理および第２感知データの処理から得られた境界ボックスを決定する。
【００３０】
図５〜図１２Ｂは、いくつかの例示的実施形態および実例を用いて、提供された物体検出フレームワークについて説明したものである。図５は、本発明の１つの実施形態に係る物体検出フレームワークのブロック図を示したものである。説明したいフレームワークは、複数種類の感知装置を利用し、重複するＦＯＶ（図２に示す）上の各種類の感知データに対して複数の物体検出アルゴリズム（すなわち、分類器）を使用することによって物体検出を行う検出融合システムを含む。複数種類の感知装置は、レーダー変換器アレイ５０１、ＲＧＢカメラアレイ５０２、ライダー変換器アレイ５０３、および環境センサアレイ５０４を含むことができる。環境センサアレイ５０４は、例えば、１つまたはそれ以上の雨センサ、可視スペクトル光センサ、圧力センサ等のアレイであってもよい。
【００３１】
さらに詳しく説明すると、環境センサアレイ５０４から収集した環境データは、検出した天候状況、局部強度測定、および露光過度／露光不足検出を含むことができ、これらは後に特徴アライメント（feature alignment）Ｓ５１２、Ｓ５１３のプロセスによって使用され、物体の相対距離、物体の相対角度位置、対応する物体の分類器信頼度、および／または対応する種類のセンサに基づいて物体検出の性能に影響を与える他のパラメータを計算することができる。その後、収集した環境データを正規化し、正規化数の均一範囲（uniform range）内の結果を推定する数学的モデリングによって、各種類のセンサの特徴と一致させる。
【００３２】
図５に示すように、レーダー変換器アレイ５０１は、１つまたはそれ以上のＲＦ変換器のセットであってもよく、各変換器は、Ａ物体検出Ｓ５１１の実行に使用される１セットの感知データを収集することができる。同様にして、ＲＧＢカメラアレイ５０２は、１つまたはそれ以上の画像センサのセットであってもよく、各画像センサは、Ｂ物体検出Ｓ５２１の実行に使用される１セットの原（raw）感知データを収集することができる。また、ライダー変換器アレイ５０３は、１つまたはそれ以上の赤外線変換器のセットであってもよく、各変換器は、Ｃ物体検出Ｓ５３１の実行に使用される１セットの原感知データを収集することができる。環境センサアレイ５０４は、環境分析Ｓ５４１の実行に使用される環境データを収集する１つまたはそれ以上の異なる種類のセンサであってもよい。各感知装置（すなわち、５０１、５０２、５０３、５０４）から原データを同時に取得してもよく、また、異なる種類の感知装置から物体検出を同時に行ってもよい。
【００３３】
次に、各感知装置（すなわち、５０１、５０２、５０３、５０４）の様々な物体検出アルゴリズムを用いて、各検出された物体の境界ボックス（bounding box, BB）によって特徴付けることのできるクラスおよび位置を取得する。特徴アライメントＳ５１２、Ｓ５３２の間、各環境センサ５０４から環境ベースの制約条件を取得することができる。その後、全てのデータをステップＳ５１２、Ｓ５２１、Ｓ５３２、およびＳ５４１として融合することにより、環境ベースの制約条件モデリングＳ５５１を実行し、各結果に対して１つまたは複数の物体検出アルゴリズムを適用して、１つまたはそれ以上の検出した物体のクラスおよび位置を予備検出結果として認識する。つまり、Ｓ５５１において、センサ５０１、５０２、５０３からの物体検出結果Ｓ５１２、Ｓ５２１、Ｓ５３２と、各環境センサからのいくつかの環境ベースの制約条件および環境分析Ｓ５４１の取得値を結合して予備検出結果とし、環境ベースの制約条件に基づいて予備検出結果を分析する結果融合モジュールによって１つに融合する。環境条件に基づいて、予備検出結果と対応するセンサの特性の関係から得られる様々な制約条件に基づいて最も信頼できる検出結果から予備検出結果を選択することができる。
【００３４】
予備検出結果（例えば、レーダー変換器アレイ５０１およびライダー変換器アレイ５０３は、３Ｄ座標系にあるが、ＲＧＢカメラアレイ５０２は、２Ｄ座標系にある）を生成する１セットの専用の物体検出アルゴリズムを用いて、各種類の感知装置（例えば、０１、５０２、５０３、５０４）を指定することができる。予備検出結果に対してデータ融合を実行できるようになる前に、および最終検出結果を生成できるようになる前に、特徴アライメントモジュールを使用して、レーダー変換器アレイ５０１およびライダー変換器アレイ５０３から得られた結果を３Ｄから２Ｄの座標系Ｓ５１２、５３２に変換する。これらのモジュールは、２Ｄ座標系内で同調させたい決定融合に用いる入力フォーマットを修正（rectify）し、各予備検出結果に深度情報を埋め込む。しかしながら、予備検出結果が重複するＦＯＶの外へ投影された場合、対応するデータは、３Ｄ座標系の最終検出結果として直接処理する。
【００３５】
修正（rectified）−予備検出結果は、境界ボックス（ＢＢ）の形式であってもよく、２つのＢＢは、空間距離、深度、およびクラス値を含む物体ベースの制約条件の比較を含む関係基準に基づいて、対で（pair-wisely）分析することができる。そのため、対の修正−予備検出結果は、互いに従属していても、または独立していてもよい。図５の状況では、各ＢＢが異なる種類の感知装置から生成されているため、３つまでのＢＢのクラスタ（cluster）が存在できる。
【００３６】
２つの異なる技術を使用して、各対の修正−予備検出結果間で観察された重複−散乱基準（overlapping-cluttering criterions）に基づいて、修正−予備検出結果を分析することができる。そのため、Ｓ５５２において、ＢＢが散乱しているか、重複しているかを決定することができる。最終検出結果は、正規化された制約条件パラメータ（normalized constraints parameter）の使用に基づいて、予備検出結果から決定される。散乱しているかどうかは、対の修正−予備検出結果が２つのＢＢ間の重心間のＬ２距離に基づいて計算された所定の検出距離閾値よりも小さいかどうかに基づいて決定される。また、重複しているかどうかは、対のＢＢ間の重複領域が所定に領域閾値を超過しているかどうかに基づいて決定される。ＢＢが散乱および重複している場合、検出結果は、デンプスター・シェファー（Dempster-Shafer）モジュールＳ５５３を利用し；そうでなければ、検出結果は、パラメータフィルタ（parameter filter）モジュールＳ５５５を利用する。どの対の従属ＢＢについてもデンプスター・シェファーモジュールＳ５５３を使用し、全パラメータの総信頼度に対する分析に基づいて、対応する対からより信頼できるＢＢを保存し、他のＢＢを除去する。どの独立ＢＢについてもパラメータフィルタモジュールＳ５５５を利用し、擬似ＢＢ（pseudo BB）に対抗する全パラメータの総信頼度に対する分析に基づいて、独立ＢＢ（stand-alone BB）を保存するか、除去するかを決定する。
【００３７】
デンプスター・シェファーモジュールＳ５５３は、異なる観察変数の信頼値に基づいて、１対のＢＢを競合的に対比する技術として簡単に説明することができる（詳細については後で説明する）。デンプスター・シェファーモジュールＳ５５３の開発目的は、観察変数に基づいて最も高い信頼度を有する検出結果を保存して、検出精度を向上させることである。デンプスター・シェファーモジュールＳ５５３によって決定された最終検出結果は、ＢＢ  Ｓ５５４によってハイライト表示された物体である。同様に、パラメータフィルタモジュールＳ５５５は、異なる観察変数の信頼値に基づいて、擬似バージョンのＢＢと比較する任意の独立境界ボックスの信頼度を判別可能に測定するフィルタリング技術である。擬似境界ボックスは、元の境界ボックスに基づいて作成されるため、同じ観察制約条件を有する。しかしながら、擬似境界ボックスの制約条件は、他の種類のセンサで測定されたようなモデリング公式で計算される。図６に示すように、同じ、または異なる検出クラスの物体を有する１対のＢＢは、散乱距離と重複領域が比較的小さい時に、デンプスター・シェファーモジュールＳ５５３を使用して分析され；同じ、または異なる検出クラスの物体を有する１対のＢＢは、散乱距離と重複領域が比較的大きい時に、パラメータフィルタモジュールＳ５５５を使用して分析される。
【００３８】
図７は、図５の実施形態を拡大させた詳細なブロック図を示したものである。図７において、本実施形態は、１つまたはそれ以上のレーダーセンサを有するレーダーセンサアレイ（例えば、５０１）、１つまたはそれ以上のＲＧＢカメラを有するＲＧＢカメラアレイ（例えば、５０２）、および１つまたはそれ以上のライダーセンサを有するライダーセンサアレイ（例えば、５０３）を使用するものと仮定する。レーダーセンサアレイは、ステップＳ７０１〜Ｓ７０７を実行して、深度情報を有する２Ｄ  ＢＢに示された１つまたはそれ以上の予備検出された物体のそれぞれを有する１つまたはそれ以上のレーダーの予備検出された物体を生成する。ＲＧＢカメラアレイは、ステップＳ７１１〜Ｓ７１６を実行して、深度情報を有する２Ｄ  ＢＢに示された１つまたはそれ以上の予備検出された物体のそれぞれを有する１つまたはそれ以上のカメラの予備検出された物体を生成する。ライダーセンサアレイは、ステップＳ７２１〜Ｓ７２８を実行して、予備検出された物体がレーダーセンサアレイとＲＧＢカメラアレイのＦＯＶと重複するＦＯＶ内にあるかどうかに基づいて、深度情報を有する２Ｄ  ＢＢまたは３Ｄ  ＢＢのいずれかに示された１つまたはそれ以上の予備検出された物体のそれぞれを有する１つまたはそれ以上のライダーの予備検出された物体を生成する。プロセッサ（例えば、２０３）は、レーダーセンサアレイ、ＲＧＢカメラアレイ、およびライダーセンサアレイから予備検出された物体の全ての情報を融合し、且つ環境ベースのモデリングを組み入れることによって情報を処理して、ＢＢに示された最終セットの検出物体を得る。あるいは、プロセッサ（例えば、２０３）は、ステップＳ７０１〜Ｓ７０７、Ｓ７１１〜Ｓ７１６、Ｓ７２１〜Ｓ７２９、およびＳ７３１〜Ｓ７３８を含む全てのステップを実行してもよい。以下、図７の詳細について説明する。
【００３９】
Ｓ７０１において、レーダーセンサアレイのエコーポイント取得モジュールは、レーダーセンサアレイから原感知データを取得する。Ｓ７０２において、ＮR数の物体検出アルゴリズムがあり、３Ｄ座標系の原検出結果を生成するよう実施され、ＮR数は、１よりも大きい整数である。Ｓ７０３において、各対の原検出結果のＢＢ距離を測定する３Ｄ重複検出に基づいて原検出結果を分析し、予備検出結果を生成する。Ｓ７０５において、エコーポイントアライメントモジュールは、エコーポイント取得モジュールＳ７０１から原感知データを受信して、変換行列を生成する。Ｓ７０４において、深度取得モジュールは、修正−予備検出結果のそれぞれに対して深度を計算する。Ｓ７０６において、エコーポイントアライメントモジュールＳ７０５から変換行列を要求する順方向変換モジュール（forward transformation module）を使用して、座標系を３Ｄから２Ｄに変換するよう予備検出結果を修正する。Ｓ７０７において、深度情報に対応して埋め込まれた２Ｄ  ＢＢに示された１つまたはそれ以上のレーダーの修正−予備検出された物体を生成する。
【００４０】
ＲＧＢカメラアレイに対し、Ｓ７１１において、画像取得モジュールは、１つまたはそれ以上の静止または連続画像を取り込む。Ｓ７１２において、Ｎc数の物体検出アルゴリズムがあり、２Ｄ座標系フォーマットの原検出結果を生成するよう実施される。Ｓ７１３において、各対の原検出結果に対するＢＢ距離を測定する２Ｄ重複検出に基づいて、これらの原検出結果を分析して、予備検出結果を生成する。Ｓ７１４において、逆方向変換モジュール（inverse transformation module）は、予備検出結果を受信し、Ｓ７２２から得たポイントクラウドアライメントモジュールからの変換行列を使用して、２Ｄから３Ｄ座標系のフォーマットに変換する。Ｓ７１５において、３Ｄ座標系の変換結果を使用して、予備検出結果の各ＢＢの深度情報を計算する。深度情報を取得した後、Ｓ７１６において、Ｓ７１３から得た修正予備検出結果をＳ７１５から得た対応する深度情報に埋め込み、深度情報を有する２Ｄ  ＢＢに示された１つまたはそれ以上の修正−予備検出結果のそれぞれを有する１つまたはそれ以上のカメラの予備検出された物体を生成する。
【００４１】
ライダーセンサアレイについては、Ｓ７２１において、深度取得モジュールから感知データを３Ｄポイントクラウドとして取得する。Ｓ７２２において、ポイントクラウドアライメントモジュールは、３Ｄポイントクラウドを受信して、変換行列を出力する。Ｓ７２３において、ＮL数の物体検出アルゴリズムがあり、取り込んだ画像を受信して、３Ｄ座標系フォーマットの原検出結果を生成する。Ｓ７２４において、各対の原検出結果に対するＢＢ距離を測定する３Ｄ重複検出に基づいて、これらの原検出結果を分析して、予備検出結果を生成する。Ｓ７２５において、Ｓ７２２から得たポイントクラウドアライメントモジュールからの変換行列を要求する順方向変換モジュールを使用して、座標系を３Ｄから２Ｄに変換するようこれらの予備検出結果を修正する。Ｓ７２６において、深度取得モジュールを使用して、２Ｄの修正−予備検出された物体のそれぞれに対し、深度情報（メートルで）を計算する。
【００４２】
Ｓ７２７において、変換された修正−予備検出結果がライダーセンサアレイとＲＧＢカメラアレイのＦＯＶと重複するＦＯＶ内にあるかどうかを決定する。変換された予備検出結果がライダーセンサアレイとＲＧＢカメラアレイのＦＯＶと重複するＦＯＶ内にある場合、Ｓ７２８において、変換された修正−予備検出結果を対応する深度情報に埋め込み、深度情報を有する２Ｄ  ＢＢに示された１つまたはそれ以上の修正−予備検出された物体のそれぞれを有する１つまたはそれ以上のライダーの修正−予備検出された物体を生成する。変換された修正−予備検出結果がライダーセンサアレイとＲＧＢカメラアレイのＦＯＶと重複するＦＯＶの外にある場合、Ｓ７２９において、３Ｄ  ＢＢに示された１つまたはそれ以上の修正−予備検出された物体のそれぞれを有する１つまたはそれ以上のライダーの修正−予備検出された物体を生成し、直接、元の３Ｄ座標系を使用する最終検出結果とみなす。
【００４３】
Ｓ７３１において、Ｓ７０７、Ｓ７１６、およびＳ７２８からの全ての出力を１つに融合して、ＢＢが散乱しているか、重複しているかを決定し、正規化パラメータに基づいて、最終検出結果を決定する。上述した基準に基づいて十分な散乱および重複があると仮定すると、Ｓ７３２〜Ｓ７３４を実行し；そうでなければ、Ｓ７３５〜Ｓ７３８を実行する。Ｓ７３２において、Ｓ７０７、Ｓ７１６、およびＳ７２８からの各出力をパラメータ検出モジュールに送信するが、詳細については後で説明する。Ｓ７３３において、デンプスター・シェファーモジュールは、全てのパラメータの総信頼度に対する分析に基づいて、各対応する対に対し、より信頼できるＢＢを保存して、他のＢＢを除去することにより、全てのパラメータ検出モジュールの出力を処理する。デンプスター・シェファーは、最終決定結果をＢＢ  Ｓ５５４によってハイライト表示された物体として出力し、対応する深度情報を有する。
【００４４】
Ｓ７３５において、Ｓ７０７、Ｓ７１６、およびＳ７２８からの出力を擬似ＢＢ生成モジュールおよびパラメータ検出モジュールに送信する。出力された擬似ＢＢ生成モジュールもパラメータ検出モジュールに送信する。Ｓ７３６において、各パラメータ検出モジュールは、受信したデータを処理し、処理したデータをパラメータフィルタモジュール（parameter filtering module）に送信する。パラメータ検出モジュールについては、後で詳しく説明する。Ｓ７３７において、パラメータフィルタモジュールは、擬似ＢＢ生成モジュールの出力に対抗する全てのパラメータの総信頼度に対する分析に基づいて、独立ＢＢを保存するか、除去するかを決定する。パラメータフィルタモジュールＳ５５５は、異なる観察変数の信頼値に基づいて、擬似バージョンのＢＢと比較する任意の独立境界ボックスの信頼度を判別可能に測定する。Ｓ７３８において、パラメータフィルタモジュールは、最終決定結果をＢＢ  Ｓ５５４によってハイライト表示された物体として出力し、対応する深度情報を有する。
【００４５】
図８は、本発明の１つの実施形態に係るパラメータ検出モジュールの全体図を示したものである。パラメータ検出モジュールは、強度測定モジュール８０１、ルクス検出モジュール８０２、天候検出モジュール８０３、露光不足（underexposure module, UE）測定モジュール８０４、露光過度（overexposure, OE）検出モジュール８０５、および角度位置測定モジュール８０６を使用して、６つの環境ベースの制約条件を指定し、１つの付加制約条件も指定することができる。
【００４６】
強度測定モジュール８０１は、各領域の平均輝度値を計算することによって、入力ＲＧＢ画像の均一サイズの領域内の光強度を測定する。範囲０（暗い）から１（明るい）までの連続値（Ｉ）を用いて、カメラセンサからの画像の局部パッチに対して測定を行う。境界ボックスのＩ値は、センサの種類に基づいて、強度ベースの正規化モジュール８０７で正規化される。
【００４７】
【数１】
2019200773.tif 000004
【００４８】
強度ベースの正規化モジュール８０７の出力は、強度測定（Ｃ1）に基づいて信頼値を表示する。
【００４９】
ルクス検出モジュール８０２は、画像内の全ての局部領域または専用のルクスセンサからの平均輝度値を比較することによって、入力ＲＧＢ画像の光強度を決定する。検出を離散値（discrete value）（Ｌ）範囲０（暗い）または１（明るい）として特徴付ける。境界ボックスのＬ値は、強度ベースの正規化モジュール８０７において使用される。
【００５０】
天候検出モジュール８０３は、入力ＲＧＢ画像の周波数ドメインのパターンを分析することによって、リアルタイム天候条件を決定する。カメラセンサまたは専用の湿度センサからの画像に対して全体的に測定を行う。検出を離散値（Ｗ）範囲０（悪天候）または１（好天候）として特徴付ける。ＢＢのＷ値は、センサの種類に基づいて、天候ベースの正規化モジュール８０８によって正規化される。
【００５１】
【数２】
2019200773.tif 000005
【００５２】
式中、α、β、およびγは、所定の定数を示す。天候ベースの正規化モジュール８０８の出力は、天候検出（Ｃ2）に基づいて信頼値を表示する。
【００５３】
露光不足検出モジュール８０４および露光過度検出モジュール８０５は、画像のコントラスト、輝度、および飽和度を評価することによって、入力ＲＧＢ画像の各画素に対する露光不足／過度のレベルを定量化する。検出は、連続値（ＵおよびＯ）範囲０（露光不足／過度がない）から１（露光不足／過度がある）として画素レベルに対して局部的に行われる。ＢＢのＵおよびＯの値は、センサの種類に基づいて、露光ベースの正規化モジュールによって正規化される。
【００５４】
【数３】
2019200773.tif 000006
【００５５】
露光ベースの正規化モジュール８０９の出力は、露光不足／過度（Ｃ3）に基づいて信頼値を表示する。
【００５６】
深度推定（例えば、Ｓ７０４、Ｓ７１５、Ｓ７２６）は、修正−予備検出結果から深度値を直接取得する。検出を連続値（Ｄ）範囲０（近過ぎる）から１（遠過ぎる）として特徴付ける。ＢＢの深度（Ｄ）値は、センサの種類に基づいて、深度ベースの正規化モジュールによって正規化される。
【００５７】
【数４】
2019200773.tif 000007
【００５８】
式中、θは、特徴パラメータを示す。深度ベースの正規化モジュール８１０の出力は、深度値（Ｃ4）に基づいて信頼値を表示する。
【００５９】
角度位置推定モジュール８０６は、デカルト（Cartesian）から円柱座標系に境界ボックス重心の角度位置を定量化する。推定は、連続値（Ｔ）として各修正予備ＢＢに対して局部的に行われる。境界ボックスのＴ値は、センサの種類に基づいて、角度ベースの正規化モジュール８１１によって正規化される。
【００６０】
【数５】
2019200773.tif 000008
【００６１】
式中、Ｒは、参考座標を示す。角度ベースの正規化モジュール８１１の出力は、角度位置（Ｃ5）に基づいて信頼値を表示する。
【００６２】
また、信頼値のセットは、対応する物体検出アルゴリズムの信頼度スコアも備える（ＣCLSで示す）。必要な数の信頼値を計算した後、独立した修正−予備検出結果と信頼値のセットをパラメータフィルタモジュールＳ７３７に送信する。しかしながら、擬似ＢＢは、異なる感知様式で作成されたかのように検出結果をシミュレーションすることによって生成される。擬似ＢＢの様式は、最も低い累積信頼値を提供するＢＢに基づいて選択される。独立した修正予備検出結果に対する最終信頼値は、以下のように測定される。
【００６３】
【数６】
2019200773.tif 000009
【００６４】
式中、ｗiは、各種類の信頼値に対する重量係数を示す。また、擬似ＢＢの最終信頼値は、以下のように測定される。
【００６５】
【数７】
2019200773.tif 000010
【００６６】
もし、
2019200773.tif 000011
である場合、分類器からの検出は保持され；そうでなければ、分類器からの検出は除去される。また、ＣCLS=0である場合はＣCLS=0.5である、という必要条件を追加する。
【００６７】
パラメータ検出（例えば、Ｓ７３２、Ｓ７３６）が完了した後、各パラメータモジュールからＣ1〜Ｃ5およびＣCLSを含む修正−予備検出結果と信頼値のセットをデンプスター・シェファーモジュールＳ７３３およびパラメータフィルタモジュールＳ７３７のいずれかに送信する。上述した基準に符合するデンプスター・シェファーモジュールＳ７３３に送信したいＢＢのクラスタに対し、クラスタペア（cluster pair）のプロセスにより下記の状況のうちの１つが生じる。
【００６８】
状況１について、第１種類のセンサの分類器および第２種類のセンサーの分類器から得られたＢＢのクラスが同じである場合、第１種類のセンサの修正予備検出結果に対する最終信頼値は、以下のように測定される。
【００６９】
【数８】
2019200773.tif 000012
【００７０】
そして、第２種類のセンサの修正予備検出結果に対する最終信頼値は、以下のように測定される。
【００７１】
【数９】
2019200773.tif 000013
【００７２】
CA＞ＣBである場合、第１種類のセンサの分類器からの検出を維持し；そうでなければ、第２種類のセンサの分類器からの検出を維持する。
【００７３】
状況２について、第１種類のセンサの分類器および第２種類のセンサーの分類器から得られたＢＢのクラスが同じでない場合、第１種類のセンサの修正予備検出結果に対する最終信頼値は、以下のように測定される。
【００７４】
【数１０】
2019200773.tif 000014
【００７５】
そして、第２種類のセンサの修正予備検出結果に対する最終信頼値は、以下のように測定される。
【００７６】
【数１１】
2019200773.tif 000015
【００７７】
CA,1+CB,1＞CA,2+CB,2である場合、第１種類のセンサの分類器からのクラスを使用し；そうでなければ、第２種類のセンサの分類器からのクラスを使用する。その後、プロセスは、状況１に進む。
【００７８】
状況３について、分類器のうちの１つが認識機能を持たない場合（CA,CLS|CB,CLS=0）、第１種類のセンサの修正−予備検出結果に対する最終信頼値は、以下のように測定される。
【００７９】
【数１２】
2019200773.tif 000016
【００８０】
そして、第２種類のセンサの修正予備検出結果に対する最終信頼値は、以下のように測定される。
【００８１】
【数１３】
2019200773.tif 000017
【００８２】
CA＞ＣBである場合、第１種類のセンサの分類器からの検出を維持し；そうでなければ、第２種類のセンサの分類器からの検出を維持する。
【００８３】
図９は、本発明の１つの実施形態に係る自律走行車が使用したいセンサ候補のＦＯＶおよび各可能な検出状況を示したものである。表２を参照すると、下記で提案するフレームワークの定義済み定数（predefined constants）を記載したものであり、提案するフレームワークを明確にするため、本セクションの残りの部分では、提案するフレームワークの性能および提案する物体検出フレームワークの例示的実証を簡単に説明する。ある実験では、２つの１６ビームライダー、１つの３２ビームライダー、および１つのＲＧＢカメラを使用して、提案するフレームワークを実施した。
【００８４】
【表２】
2019200773.tif 000018
【００８５】
これらの実験設定に基づいて、主に、重複している視界から得られる９７０フレームに対して性能評価を行った。真陽性率（true positive rate, TPR）、精密度（precision, PPV）、正確度（accuracy, ACC）、および精密度と正確度の調和平均（Ｆ1）を測定し、表３に提示した。下記は、提案するフレームワークの定量的観察（Quantitative Observation）を示す。
【００８６】
【表３】
2019200773.tif 000019
【００８７】
表３に基づくと、提案するフレームワークが示すように、特に、ライダーベースの検出アルゴリズムと比較した時に、様々な物体検出アルゴリズムの性能を実質的に向上させることができる。また、提案するフレームワークの計算コストは、４ＧのＲＡＭを有するインテル（Intel）ｉ７において４３．２２７秒であり、効率が良いとみなされる。提案するフレームワークからの貢献を強調するため、図１０Ａ〜図１２Ｂに示した下記の詳細は、図９の状況を説明する。
【００８８】
図１０Ａ〜図１０Ｂに対応する第１実例において、下記の表４に示した修正−予備検出結果が存在するものと仮定する。
【００８９】
【表４】
2019200773.tif 000020
【００９０】
後続の表である表４において、ｘおよびｙ値は、デカルト系における対応する２Ｄ境界ボックスの左上角部の座標を示す。ｗおよびｈは、それぞれ画素単位（すなわち、デカルト）における対応する２Ｄ境界ボックスの幅と高さを示す。ＭＯＤは、センサの様式を示し、対応する境界ボックスを生成する（例えば、カメラまたはライダーのいずれかから）。ＣＬＳは、対応する境界ボックスのクラス指標を示す。本実施形態および後続の実施形態において、カメラベースまたはライダーベースのいずれかからの物体検出アルゴリズムは、検出した物体を４つまたはそれ以上のクラスに分離することができ、「０」は、走行者物体を表し、「１」は、スクーター物体を表し、「２」は、車物体を表し、「３」は、トラック物体を表す。
【００９１】
図１０Ａに示すように、重複−散乱分析の後、デンプスター・シェファーモジュールに境界ボックスＩＤ＝０およびＩＤ＝１が送信され、パラメータフィルタモジュールに境界ボックスＩＤ＝２が送信されたことがわかる。したがって、パラメータフィルタに境界ボックスＩＤ＝２が送信されたため；擬似境界ボックスＩＤ＝２’は、境界ボックスＩＤ＝２と類似する規格と制約条件を用いて生成されたが、相補様式（complementing modality）（ＭＯＤ）を有する。画像からわかるように、図１０Ａの環境条件は、高いルクスと中くらいの局部強度、好天候を含み、露光不足および露光過度がいくつか存在する。そのため、各境界ボックスに対して環境ベースの制約条件を計算し、下記の表５に示した。
【００９２】
【表５】
2019200773.tif 000021
【００９３】
そして、これらの制約条件を正規化して処理し、各境界ボックスの最終信頼値を下記の表６に示した。
【００９４】
【表６】
2019200773.tif 000022
【００９５】
上記のデータに基づくと、境界ボックスＩＤ＝０は保存されたが、境界ボックスＩＤ＝１は除去された。最終信頼度は、擬似バージョンの境界ボックスに有利であるため、パラメータフィルタに送信された境界ボックスＩＤ＝２は、保存されなかった。その結果は、図１０Ｂにおいて見ることができる。
【００９６】
第２実例において、下記の表７に示した修正−予備検出結果が存在するものと仮定する。
【００９７】
【表７】
2019200773.tif 000023
【００９８】
図１１Ａに示すように、重複−散乱分析の後、デンプスター・シェファーモジュールに境界ボックスＩＤ＝０およびＩＤ＝１が送信され、パラメータフィルタモジュールに境界ボックスＩＤ＝２が送信されたことがわかる。したがって、パラメータフィルタに境界ボックスＩＤ＝２が送信されたため；擬似境界ボックスＩＤ＝２’は、境界ボックスＩＤ＝２と類似する規格と制約条件を用いて生成されたが、相補様式（ＭＯＤ）を有する。画像からわかるように、図１１Ａの環境条件は、高いルクスと中くらいの局部強度、好天候を含み、露光不足および露光過度がいくつか存在する。そのため、各境界ボックスに対して環境ベースの制約条件を計算し、下記の表８に示した。
【００９９】
【表８】
2019200773.tif 000024
【０１００】
そして、これらの制約条件を正規化して処理し、各境界ボックスの最終信頼値を下記の表９に示した。
【０１０１】
【表９】
2019200773.tif 000025
【０１０２】
上記のデータに基づくと、境界ボックスＩＤ＝１は保存されたが、境界ボックスＩＤ＝０は除去された。最終信頼度は、擬似バージョンの境界ボックスに有利ではないため、パラメータフィルタに送信された境界ボックスＩＤ＝２は、保存された。その結果は、図１１Ｂにおいて見ることができる。
【０１０３】
第３実例において、下記の表１０に示した修正−予備検出結果が存在するものと仮定する。
【０１０４】
【表１０】
2019200773.tif 000026
【０１０５】
図１２Ａに示すように、重複−クラスタリング分析の後、パラメータフィルタモジュールに境界ボックスＩＤ＝０が送信されたことがわかる。したがって、パラメータフィルタに境界ボックスＩＤ＝０が送信されたため；擬似境界ボックスＩＤ＝０’は、境界ボックスＩＤ＝０と類似する規格と制約条件を用いて生成されたが、相補様式（ＭＯＤ）を有する。画像から分かるように、図１２Ａの環境条件は、高いルクスと中くらいの局部強度、好天候を含み、露光過度がいくつか存在する。そのため、各境界ボックスに対して環境ベースの制約条件を計算し、下記の表１１に示した。
【０１０６】
【表１１】
2019200773.tif 000027
【０１０７】
そして、これらの制約条件を正規化して処理し、各境界ボックスの最終信頼値を下記の表１２に示した。
【０１０８】
【表１２】
2019200773.tif 000028
【０１０９】
上記のデータに基づくと、最終信頼度は、擬似バージョンの境界ボックスに有利ではないため、パラメータフィルタに送信された境界ボックスＩＤ＝０は、保存された。その結果は、図１２Ｂにおいて見ることができる。
【０１１０】
以上のように、本発明は、自律走行者に使用するのに適した物体検出システムを提供する。具体的に説明すると、本発明の目的は、提供した決定融合を使用して、各センサから分類器の検出率を向上させることと、各センサの特徴および行為を考慮して、提供した決定融合を設計することと、境界ボックスの位置（画素およびメートル中の）、物体のクラス、および検出確実性を含む最終決定結果を提供することを含むことができる。このようにして、物体検出の正確度を向上させることができる。
【０１１１】
明確に記載されていない限り、本願の開示した実施形態の詳細説明において使用した素子、動作、または指令は、本発明に対して絶対的に重要または不可欠であると解釈すべきではない。また、ここで使用した各不定冠詞「ａ」および「ａｎ」は、１つ以上の項目を含むことができる。１つの項目のみを意図する場合、「単一の（a single）」またはそれに類似する言語を使用する。さらに、ここで使用した複数の項目および／または複数の項目のカテゴリーを列記する前に記載した「のいずれか（any of）」という用語は、個別の、または他の項目および／または他の項目のカテゴリーと結合した項目および／または項目のカテゴリー「のいずれか」、「のいずれかの組み合わせ（any combination of）」、「のいずれか多数（any multiple of）」、および／または「のいずれか多数の組み合わせ（any combination of multiples of）」を含むことを意図する。さらに、ここで使用した「設定（set）」という用語は、ゼロを含むどの数の項目も含むことを意図する。さらに、ここで使用した「数（number）」という用語は、ゼロを含むどの数も含むことを意図する。
【０１１２】
以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。
【産業上の利用可能性】
【０１１３】
本発明は、自律走行者が使用する物体検出システム、そのシステムを使用する自律走行車、およびその物体検出方法を提供する。本発明は、自律走行者または他の類似デバイスに使用するのに適している。
【符号の説明】
【０１１４】
１０１  ＲＧＢカメラ
１０２  ライダー
１０３  レーダー
２００  物体検出システム
２０１  第１種類のセンサ
２０２  第２種類のセンサ
２０３  プロセッサ
３００  自律走行者
Ｓ４０１  方法のステップ
Ｓ４０２  方法のステップ
Ｓ４０３  方法のステップ
Ｓ４０４  方法のステップ
５０１  レーダー変換器アレイ
５０２  ＲＧＢカメラアレイ
５０３  ライダー変換器アレイ
５０４  環境センサアレイ
Ｓ５１１  Ａ物体検出
Ｓ５１２  特徴アライメント
Ｓ５２１  Ｂ物体検出  
Ｓ５３１  Ｃ物体検出  
Ｓ５３２  特徴アライメント
Ｓ５４１  環境分析
Ｓ５５１  環境ベースの制約条件モデリング
Ｓ５５２  重複−散乱？
Ｓ５５３  デンプスター・シェファー
Ｓ５５４  ２Ｄ＋１Ｄ境界ボックス検出
Ｓ５５５  パラメータフィルタ
Ｓ５５６  ２Ｄ＋１Ｄ境界ボックス検出
Ｓ７０１  エコーポイント取得
Ｓ７０２  物体検出１〜ＮＲ
Ｓ７０３  ３Ｄ重複検出
Ｓ７０４  深度取得
Ｓ７０５  エコーポイントアライメント  
Ｓ７０６  順方向変換（３Ｄ→２Ｄ）
Ｓ７０７  ２Ｄ＋深度ＢＢ検出（ＲＡＤ）  
Ｓ７１１  画像取得
Ｓ７１２  物体検出１〜ＮＣ
Ｓ７１３  ２Ｄ重複検出
Ｓ７１４  逆方向変換（２Ｄ→３Ｄ）
Ｓ７１５  深度計算
Ｓ７１６  ２Ｄ＋深度ＢＢ検出（ＣＡＭ）
Ｓ７２１  深度取得
Ｓ７２２  ポイントクラウドアライメント
Ｓ７２３  物体検出１〜ＮＬ
Ｓ７２４  ３Ｄ重複検出
Ｓ７２５  順方向変換（３Ｄ→２Ｄ）
Ｓ７２６  深度取得
Ｓ７２７  カメラ視野内？
Ｓ７２８  ２Ｄ＋深度ＢＢ検出（ＬＩＤ）
Ｓ７２９  ３Ｄ  ＢＢ検出（最終）
Ｓ７３１  重複−散乱？
Ｓ７３２  パラメータ検出
Ｓ７３３  デンプスター・シェファー
Ｓ７３４  ２Ｄ＋深度ＢＢ検出（最終）
Ｓ７３５  擬似ＢＢ生成
Ｓ７３６  パラメータ検出
Ｓ７３７  パラメータフィルタリング
Ｓ７３８  ２Ｄ＋深度ＢＢ検出（最終）
８０１  強度測定
８０２  ルクス検出
８０３  天候検出
８０４  露光不足検出
８０５  露光過度検出
８０６  角度位置測定
８０７  強度ベースの正規化
８０８  天候ベースの正規化
８０９  露光ベースの正規化
８１０  深度ベースの正規化
８１１  角度ベースの正規化
【図１Ａ】
2019200773.tif 000029
【図１Ｂ】
2019200773.tif 000030
【図２】
2019200773.tif 000031
【図３】
2019200773.tif 000032
【図４】
2019200773.tif 000033
【図５】
2019200773.tif 000034
【図６】
2019200773.tif 000035
【図７】
2019200773.tif 000036
【図８】
2019200773.tif 000037
【図９】
2019200773.tif 000038
【図１０】
2019200773.tif 000039
【図１１】
2019200773.tif 000040
【図１２】
2019200773.tif 000041
【外国語明細書】
2019200773000001.pdf