(57)【要約】  本願は、データ融合方法及び関連装置を開示している。この方法は、車両感知データを取得するステップであって、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される、取得するステップと；路側感知データを取得するステップであって、路側感知データは、路側感知機器が路側センサを使用して感知範囲内の道路環境を感知することによって取得される、取得するステップと；融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと；を含む。前述した解決策によれば、路側感知機器の感知範囲と車両感知機器の感知範囲との間のオーバーラップを実現することができ、それによって、感知範囲が効果的に拡張される。
2021516401.tif 000002
【特許請求の範囲】
【請求項１】
データ融合方法であって、当該方法は、
車両感知データを取得するステップであって、該車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
路側感知データを取得するステップであって、該路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
融合式を使用して前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得するステップと、を含む、
方法。
【請求項２】
前記融合式は、
ｙ＝ｆ（resultｒ，resultｖ）
として表され、
ここで、resultｒは路側結果セットであり、該路側結果セットは前記路側感知データを示すために使用され、resultｖは車両結果セットであり、該車両結果セットは前記車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、前記路側結果セット及び前記車両結果セットに基づいてマッピングすることにより、前記第１の融合結果を取得するために使用される、請求項１に記載の方法。
【請求項３】
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは前記路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｒｉは前記路側感知機器の前記感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは前記路側感知機器の前記感知範囲内の前記ターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは前記車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｖｊは前記車両感知機器の前記感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは前記車両感知機器の前記感知範囲内の前記ターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項２に記載の方法。
【請求項４】
前記信頼係数は、感知機器パラメータ、前記ターゲット対象物の感知距離、及び前記ターゲット対象物の感知角度をまとめたものに基づいて決定される、請求項３に記載の方法。
【請求項５】
前記信頼係数ｗは、
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
の式に基づいて得ることができ、
ここで、Ｓｋは前記感知機器パラメータであり、Ｒｉは前記ターゲット対象物の前記感知距離であり、θｊは前記ターゲット対象物の前記感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである、請求項４に記載の方法。
【請求項６】
前記車両結果セットは少なくとも１つの車両結果ユニットを含み、該少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される、請求項２乃至５のいずれか一項に記載の方法。
【請求項７】
前記少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの位置を示し、ｖｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの速度を示し、ｓｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊのサイズを示し、ｃｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの色を示し、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の前記数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項６に記載の方法。
【請求項８】
前記路側結果セットは少なくとも１つの路側結果ユニットを含み、該少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される、請求項２乃至７のいずれか一項に記載の方法。
【請求項９】
前記少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの位置を示し、ｖｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの速度を示し、ｓｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉのサイズを示し、ｃｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの色を示し、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の前記数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである、請求項８に記載の方法。
【請求項１０】
融合式を使用して前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得する前に、当該方法は、
前記路側感知データを前記車両感知データとマッチングして、マッチング結果を取得するステップをさらに含み、
前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得するステップは、
前記マッチング結果に基づいて、前記車両感知データと前記路側感知データとを融合して、前記第１の融合結果を取得するステップを含む、請求項２乃至５のいずれか一項に記載の方法。
【請求項１１】
前記路側感知データを前記車両感知データとマッチングして、マッチング結果を取得するステップは、
偏差ネットワークを使用して、前記路側結果セット内の路側結果ユニットと前記車両結果セット内の車両結果ユニットとの間のマッチング関係が見出されるステップを含む、請求項１０に記載の方法。
【請求項１２】
偏差ネットワークを使用して、前記路側結果セット内の路側結果ユニットと前記車両結果セット内の車両結果ユニットとの間のマッチング関係が見出されるステップは、
次式を使用して、前記路側結果セット内の前記路側結果ユニットと前記車両結果セット内の前記車両結果ユニットとの間のマッチング関係が見出されるステップを特に含み、
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎは前記偏差ネットワークであり、路側ｉは前記路側感知機器の前記感知範囲内の前記ターゲット対象物ｉに対応する前記路側結果ユニットであり、車両ｊは前記車両感知機器の前記感知範囲内の前記ターゲット対象物ｊに対応する前記車両結果ユニットであり、ｉ及びｊは共に自然数である、請求項１１に記載の方法。
【請求項１３】
前記偏差ネットワーク（Ｄｅｖｉａｔｉｏｎ）は、図５に示される逆伝播（ＢＰ）ニューラルネットワークであり、
Δｐｉｊは位置偏差であり、Δｐｉｊ＝ｆａｂｓ（ｐｒｉ−ｐｖｊ）であり、ｐｒｉは前記路側感知機器が検出した前記ターゲット対象物ｉの前記位置であり、ｐｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの前記位置であり、ｆａｂｓは絶対値を求めるための関数であり、
Δｖｉｊは速度偏差であり、Δｖｉｊ＝ｆａｂｓ（ｖｒｉ−ｖｖｊ）であり、ｖｒｉは前記路側感知機器が検出した前記ターゲット対象物ｉの前記速度であり、ｖｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの前記速度であり、
Δｓｉｊはサイズ偏差であり、Δｓｉｊ＝ｆａｂｓ（ｓｒｉ−ｓｖｊ）であり、ｓｒｉは前記路側感知機器が検出した前記ターゲット対象物ｉの前記サイズであり、ｓｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの前記サイズであり、
Δｃｉｊは色偏差であり、Δｃｉｊ＝ｆａｂｓ（ｃｒｉ−ｃｖｊ）であり、ｃｒｉは前記路側感知機器が検出した前記ターゲット対象物ｉの前記色であり、ｃｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの前記色であり、
Ｐｐは位置偏差係数であり、Ｐｐ＝１／（１＋ｅｘｐ（−ｗｒｉｐｗｖｊｐ））であり、ｗｒｉｐは前記路側感知機器が検出した前記ターゲット対象物ｉの前記位置に対応する信頼係数であり、ｗｖｊｐは前記車両感知機器が検出した前記ターゲット対象物ｊの前記位置に対応する信頼係数であり、
Ｐｖは速度偏差係数であり、Ｐｖ＝１／（１＋ｅｘｐ（−ｗｒｉｖｗｖｊｖ））であり、ｗｒｉｖは前記路側感知機器が検出した前記ターゲット対象物ｉの前記速度に対応する信頼係数であり、ｗｖｊｖは前記車両感知機器が検出した前記ターゲット対象物ｊの前記速度に対応する信頼係数であり、
Ｐｓはサイズ偏差係数であり、Ｐｓ＝１／（１＋ｅｘｐ（−ｗｒｉｓｗｖｊｓ））であり、ｗｒｉｓは前記路側感知機器が検出した前記ターゲット対象物ｉの前記サイズに対応する信頼係数であり、ｗｖｊｓは前記車両感知機器が検出した前記ターゲット対象物ｊの前記サイズに対応する信頼係数であり、
Ｐｃは速度偏差係数であり、Ｐｃ＝１／（１＋ｅｘｐ（−ｗｒｉｃｗｖｊｃ））であり、ｗｒｉｃは前記路側感知機器が検出した前記ターゲット対象物ｉの前記色に対応する信頼係数であり、ｗｖｊｃは前記車両感知機器が検出した前記ターゲット対象物ｊの前記色に対応する信頼係数であり、
φ（．）は活性化関数である、請求項１２に記載の方法。
【請求項１４】
前記路側感知データを前記車両感知データとマッチングして、マッチング結果を得た後に、当該方法は、
フレーム間ループバック及び／又はマルチフレーム相関の方法で前記マッチング結果の信頼度を評価して、評価結果を取得するステップと、
該評価結果に基づいて、前記偏差ネットワークを調整するステップと、をさらに含む、請求項１１乃至１３のいずれか一項に記載の方法。
【請求項１５】
前記フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックは前記フレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、前記第１のマッチング結果は、前記路側感知機器がｉ番目のフレームで検出した前記ターゲット対象物ｊに対応する路側結果ユニットと、前記車両感知機器が前記ｉ番目のフレームで検出した前記ターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、前記第２のマッチング結果は、前記車両感知機器が前記ｉ番目のフレームで検出した前記ターゲット対象物ｊに対応する前記車両結果ユニットと、前記車両感知機器が（ｉ＋１）番目のフレームで検出した前記ターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、前記第３のマッチング結果は、前記車両感知機器が前記（ｉ＋１）番目のフレームで検出した前記ターゲット対象物ｊに対応する前記車両結果ユニットと、前記路側感知機器が前記（ｉ＋１）番目のフレームで検出した前記ターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、前記第４のマッチング結果は、前記路側感知機器が前記（ｉ＋１）番目のフレームで検出した前記ターゲット対象物ｊに対応する前記路側結果ユニットと、前記路側感知機器が前記ｉ番目のフレームで検出した前記ターゲット対象物ｊに対応する前記路側結果ユニットとの間マッチング結果である、請求項１４に記載の方法。
【請求項１６】
前記マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームは前記マルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は前記第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は前記第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である、請求項１５に記載の方法。
【請求項１７】
車両感知データを取得するステップは、
少なくとも１つの車両装置により送信された前記車両感知データを受信するステップを含み、
融合式を使用して前記車両感知データ及び前記路側感知データを融合して、第１の融合結果を得た後に、当該方法は、
前記第１の融合結果をターゲット車両装置に送信するステップをさらに含み、
該ターゲット車両装置は、前記ターゲット車両装置の車両感知データと前記第１の融合結果とを融合して、第２の融合結果を取得するように構成され、前記ターゲット車両装置は前記少なくとも１つの車両装置に属する、請求項１乃至１６のいずれか一項に記載の方法。
【請求項１８】
データ融合方法であって、当該方法は、
車両感知データを路側装置に送信するステップであって、前記車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、送信するステップと、
前記路側装置により送信された第１の融合結果を受信するステップであって、該第１の融合結果は、前記路側装置が融合式を使用して少なくとも１つの車両装置により送信された車両感知データと路側感知データとを融合することによって取得され、該路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、受信するステップと、
前記車両感知データと前記第１の融合結果とを融合して、第２の融合結果を取得するステップと、を含む、
方法。
【請求項１９】
第１の取得モジュール、第２の取得モジュール、及び融合モジュールを含む融合機器であって、
前記第１の取得モジュールは、車両感知データを取得するように構成され、該車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得され、
前記第２の取得モジュールは、路側感知データを取得するように構成され、該路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得され、
前記融合モジュールは、融合式を使用して前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得するように構成される、
融合機器。
【請求項２０】
前記融合式は、
ｙ＝ｆ（resultｒ，resultｖ）
として表され、
ここで、resultｒは路側結果セットであり、該路側結果セットは前記路側感知データを示すために使用され、resultｖは車両結果セットであり、該車両結果セットは前記車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、前記路側結果セット及び前記車両結果セットに基づいてマッピングすることにより、前記第１の融合結果を取得するために使用される、請求項１９に記載の機器。
【請求項２１】
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは前記路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｒｉは前記路側感知機器の前記感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは前記路側感知機器の前記感知範囲内の前記ターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは前記車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｖｊは前記車両感知機器の前記感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは前記車両感知機器の前記感知範囲内の前記ターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項２０に記載の機器。
【請求項２２】
前記信頼係数は、感知機器パラメータ、前記ターゲット対象物の感知距離、及び前記ターゲット対象物の感知角度をまとめたものに基づいて決定される、請求項２１に記載の機器。
【請求項２３】
前記信頼係数ｗは、
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
の式に基づいて得ることができ、
ここで、Ｓｋは前記感知機器パラメータであり、Ｒｉは前記ターゲット対象物の前記感知距離であり、θｊは前記ターゲット対象物の前記感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである、請求項２２に記載の機器。
【請求項２４】
前記車両結果セットは少なくとも１つの車両結果ユニットを含み、該少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される、請求項２０乃至２３のいずれか一項に記載の機器。
【請求項２５】
前記少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの位置を示し、ｖｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの速度を示し、ｓｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊのサイズを示し、ｃｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの色を示し、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の前記数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項２４に記載の機器。
【請求項２６】
前記路側結果セットは少なくとも１つの路側結果ユニットを含み、該少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される、請求項２０乃至２５のいずれか一項に記載の機器。
【請求項２７】
前記少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの位置を示し、ｖｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの速度を示し、ｓｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉのサイズを示し、ｃｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの色を示し、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の前記数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである、請求項２６に記載の機器。
【請求項２８】
機器は、マッチングモジュールをさらに含み、該マッチングモジュールは、前記路側感知データを前記車両感知データとマッチングして、マッチング結果を取得するように構成され、前記融合モジュールは、前記マッチング結果に基づいて、前記車両感知データと前記路側感知データとを融合して、前記第１の融合結果を取得するようにさらに構成される、請求項２０乃至２７のいずれか一項に記載の機器。
【請求項２９】
前記マッチングモジュールは、偏差ネットワークを使用して、前記路側結果セット内の路側結果ユニットと前記車両結果セット内の車両結果ユニットとの間のマッチング関係を見出すようにさらに構成される、請求項２８に記載の機器。
【請求項３０】
前記マッチングモジュールは、以下の式を使用して、前記路側結果セット内の前記路側結果ユニットと前記車両結果セット内の前記車両結果ユニットとの間の前記マッチング関係を見出すようにさらに構成され、
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎは前記偏差ネットワークであり、路側ｉは前記路側感知機器の前記感知範囲内の前記ターゲット対象物ｉに対応する前記路側結果ユニットであり、車両ｊは前記車両感知機器の前記感知範囲内の前記ターゲット対象物ｊに対応する前記車両結果ユニットであり、ｉ及びｊは共に自然数である、請求項２９に記載の機器。
【請求項３１】
前記偏差ネットワーク（Ｄｅｖｉａｔｉｏｎ）は、図５に示される逆伝播（ＢＰ）ニューラルネットワークであり、
Δｐｉｊは位置偏差であり、Δｐｉｊ＝ｆａｂｓ（ｐｒｉ−ｐｖｊ）であり、ｐｒｉは前記路側感知機器が検出した前記ターゲット対象物ｉの前記位置であり、ｐｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの前記位置であり、ｆａｂｓは絶対値を求めるための関数であり、
Δｖｉｊは速度偏差であり、Δｖｉｊ＝ｆａｂｓ（ｖｒｉ−ｖｖｊ）であり、ｖｒｉは前記路側感知機器が検出した前記ターゲット対象物ｉの前記速度であり、ｖｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの前記速度であり、
Δｓｉｊはサイズ偏差であり、Δｓｉｊ＝ｆａｂｓ（ｓｒｉ−ｓｖｊ）であり、ｓｒｉは前記路側感知機器が検出した前記ターゲット対象物ｉの前記サイズであり、ｓｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの前記サイズであり、
Δｃｉｊは色偏差であり、Δｃｉｊ＝ｆａｂｓ（ｃｒｉ−ｃｖｊ）であり、ｃｒｉは前記路側感知機器が検出した前記ターゲット対象物ｉの前記色であり、ｃｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの前記色であり、
Ｐｐは位置偏差係数であり、Ｐｐ＝１／（１＋ｅｘｐ（−ｗｒｉｐｗｖｊｐ））であり、ｗｒｉｐは前記路側感知機器が検出した前記ターゲット対象物ｉの前記位置に対応する信頼係数であり、ｗｖｊｐは前記車両感知機器が検出した前記ターゲット対象物ｊの前記位置に対応する信頼係数であり、
Ｐｖは速度偏差係数であり、Ｐｖ＝１／（１＋ｅｘｐ（−ｗｒｉｖｗｖｊｖ））であり、ｗｒｉｖは前記路側感知機器が検出した前記ターゲット対象物ｉの前記速度に対応する信頼係数であり、ｗｖｊｖは前記車両感知機器が検出した前記ターゲット対象物ｊの前記速度に対応する信頼係数であり、
Ｐｓはサイズ偏差係数であり、Ｐｓ＝１／（１＋ｅｘｐ（−ｗｒｉｓｗｖｊｓ））であり、ｗｒｉｓは前記路側感知機器が検出した前記ターゲット対象物ｉの前記サイズに対応する信頼係数であり、ｗｖｊｓは前記車両感知機器が検出した前記ターゲット対象物ｊの前記サイズに対応する信頼係数であり、
Ｐｃは速度偏差係数であり、Ｐｃ＝１／（１＋ｅｘｐ（−ｗｒｉｃｗｖｊｃ））であり、ｗｒｉｃは前記路側感知機器が検出した前記ターゲット対象物ｉの前記色に対応する信頼係数であり、ｗｖｊｃは前記車両感知機器が検出した前記ターゲット対象物ｊの前記色に対応する信頼係数であり、
φ（．）は活性化関数である、請求項３０に記載の機器。
【請求項３２】
当該機器は、評価モジュール及び調整モジュールをさらに含み、
前記評価モジュールは、フレーム間ループバック及び／又はマルチフレーム相関の方法で前記マッチング結果の信頼度を評価して、評価結果を取得するように構成され、
前記調整モジュールは、前記評価結果に基づいて、前記偏差ネットワークを調整するように構成される、請求項２９乃至３１のいずれか一項に記載の機器。
【請求項３３】
前記フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックは前記フレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、前記第１のマッチング結果は、前記路側感知機器がｉ番目のフレームで検出した前記ターゲット対象物ｊに対応する路側結果ユニットと、前記車両感知機器が前記ｉ番目のフレームで検出した前記ターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、前記第２のマッチング結果は、前記車両感知機器が前記ｉ番目のフレームで検出した前記ターゲット対象物ｊに対応する前記車両結果ユニットと、前記車両感知機器が（ｉ＋１）番目のフレームで検出した前記ターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、前記第３のマッチング結果は、前記車両感知機器が前記（ｉ＋１）番目のフレームで検出した前記ターゲット対象物ｊに対応する前記車両結果ユニットと、前記路側感知機器が前記（ｉ＋１）番目のフレームで検出した前記ターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、前記第４のマッチング結果は、前記路側感知機器が前記（ｉ＋１）番目のフレームで検出した前記ターゲット対象物ｊに対応する前記路側結果ユニットと、前記路側感知機器が前記ｉ番目のフレームで検出した前記ターゲット対象物ｊに対応する前記路側結果ユニットとの間のマッチング結果である、請求項３２に記載の機器。
【請求項３４】
前記マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームは前記マルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は前記第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は前記第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である、請求項３２又は３３に記載の機器。
【請求項３５】
当該機器は、送信モジュールをさらに含み、
前記第１の取得モジュールは、少なくとも１つの車両装置により送信された前記車両感知データを受信するように構成され、
前記送信モジュールは、前記第１の融合結果をターゲット車両装置に送信するように構成され、該ターゲット車両装置は、前記ターゲット車両装置の車両感知データと前記第１の融合結果とを融合して、第２の融合結果を取得するように構成され、前記ターゲット車両装置は前記少なくとも１つの車両装置に属する、請求項１９乃至３４のいずれか一項に記載の機器。
【請求項３６】
送信モジュール、受信モジュール、及び融合モジュールを含む融合機器であって、
前記送信モジュールは、車両感知データを路側装置に送信するように構成され、前記車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得され、
前記受信モジュールは、前記路側装置により送信された第１の融合結果を受信するように構成され、該第１の融合結果は、前記路側装置が融合式を使用して少なくとも１つの車両装置により送信された車両感知データと路側感知データとを融合することによって取得され、前記路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得され、
前記融合モジュールは、前記車両感知データと前記第１の融合結果とを融合して、第２の融合結果を取得するように構成される、
融合機器。
【請求項３７】
メモリと、該メモリに結合されたプロセッサ及び通信モジュールとを含む融合機器であって、
前記通信モジュールは、データを外部に送信する又は該外部から受信するように構成され、前記メモリは、プログラムコードを格納するように構成され、前記プロセッサは、前記メモリに格納された前記プログラムコードを呼び出して、請求項１乃至１８のいずれか一項に記載の方法を実行するように構成される、
融合機器。
【請求項３８】
命令を含むコンピュータ可読記憶媒体であって、前記命令が融合機器で実行されると、該融合機器は、請求項１乃至１８のいずれか一項に記載の方法を実行することが可能になる、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動運転分野に関し、特に、データ融合方法及び関連装置に関する。
【背景技術】
【０００２】
道路環境感知（sensing：センシング）は、自動運転を実施するための主要なタスクである。自動運転車両は、道路上の他の車両、歩行者等をかわし、且つ道路環境を感知して初めて安全運転を行うことができる。道路環境感知を実現するために、従来技術の自動運転車両は、車両に搭載された車両感知機器を使用して道路上の他の車両、歩行者等を検出し、それにより道路環境を感知している。しかしながら、従来技術における車両感知機器の感知範囲は比較的狭く、自動運転の要件を殆ど満たすことができない。
【発明の概要】
【０００３】
本願の実施形態は、路側感知機器の感知範囲と車両感知機器の感知範囲との間のオーバーラップを実現するようなデータ融合方法及び関連装置を提供し、それによって、感知範囲が効果的に拡張される。
【０００４】
第１の態様によれば、データ融合方法が提供され、この方法は車両装置側又は路側装置側に適用してもよく、この方法は、
車両感知データを取得するステップであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
路側感知データを取得するステップであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと、を含む。
【０００５】
第１の態様を参照すると、融合式は、次のように表される：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【０００６】
特定の実施形態では、
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，... ，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【０００７】
より具体的には、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたもの（together）に基づいて決定される。
【０００８】
例えば、信頼係数ｗは、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
【０００９】
なお、感知機器が複数のセンサを含む場合に、複数のセンサの信頼度を総合的に考慮することにより、信頼係数を求めてもよい。例えば、複数のセンサの信頼度は、重付け又は平均化の方法で総合的に考慮され得る。
【００１０】
特定の実施形態では、車両結果セットは少なくとも１つの車両結果ユニットを含み、少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【００１１】
より具体的には、少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置を示し、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度を示し、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズを示し、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色を示し、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【００１２】
特定の実施形態では、路側結果セットは少なくとも１つの路側結果ユニットを含み、少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【００１３】
より具体的には、少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは路側感知機器が検出したターゲット対象物ｉの位置を示し、ｖｖｉは路側感知機器が検出したターゲット対象物ｉの速度を示し、ｓｖｉは路側感知機器が検出したターゲット対象物ｉのサイズを示し、ｃｖｉは路側感知機器が検出したターゲット対象物ｉの色を示し、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである。
【００１４】
特定の実施形態では、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する前に、方法は、
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップをさらに含み、
車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップは、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップを含む。
【００１５】
より具体的には、偏差ネットワークを使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される。
【００１６】
例えば、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは路側感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【００１７】
偏差ネットワーク（Ｄｅｖｉａｔｉｏｎ）は、逆伝播（ＢＰ）ニューラルネットワークによって示される。
【００１８】
特定の実施形態では、路側感知データを車両感知データとマッチングしてマッチング結果を得た後に、方法は、
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、をさらに含む。
【００１９】
より具体的には、フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【００２０】
より具体的には、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【００２１】
特定の実施形態では、方法が路側装置側に適用される場合に、車両感知データを取得するステップは、少なくとも１つの車両装置により送信された車両感知データを受信するステップを含み、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を得た後に、この方法は、
第１の融合結果をターゲット車両装置に送信するステップをさらに以下を含み、ターゲット車両装置は、ターゲット車両装置の車両感知データと第１の融合結果とを融合して、第２の融合結果を取得するように構成され、ターゲット車両装置は少なくとも１つの車両装置に属する。
【００２２】
第２の態様によれば、データ融合方法が、提供され、且つ車両装置側に適用される。この方法は、
車両感知データを路側装置に送信するステップであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、送信するステップと、
路側装置により送信された第１の融合結果を受信するステップであって、第１の融合結果は、路側装置が融合式を使用して少なくとも１つの車両装置により送信された車両感知データと路側感知データとを融合することによって取得され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、受信するステップと、
車両感知データと第１の融合結果とを融合して、第２の融合結果を取得するステップと、を含む。
【００２３】
第２の態様を参照すると、融合式は、、次のように表される：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【００２４】
特定の実施形態では、
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【００２５】
より具体的には、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたものに基づいて決定される。
【００２６】
例えば、信頼係数ｗは、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
【００２７】
なお、感知機器が複数のセンサを含む場合に、複数のセンサの信頼度を総合的に考慮することにより、信頼係数を求めてもよい。例えば、複数のセンサの信頼度は、重付け又は平均化の方法で総合的に考慮され得る。
【００２８】
特定の実施形態では、車両結果セットは少なくとも１つの車両結果ユニットを含み、少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【００２９】
より具体的には、少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置を示し、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度を示し、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズを示し、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色を示し、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎであるである。
【００３０】
特定の実施形態では、路側結果セットは少なくとも１つの路側結果ユニットを含み、少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【００３１】
より具体的には、少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは路側感知機器が検出したターゲット対象物ｉの位置を示し、ｖｖｉは路側感知機器が検出したターゲット対象物ｉの速度を示し、ｓｖｉは路側感知機器が検出したターゲット対象物ｉのサイズを示し、ｃｖｉは路側感知機器が検出したターゲット対象物ｉの色を示し、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである。
【００３２】
特定の実施形態では、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する前に、方法は、
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップをさらに含み、
車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップは、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップを含む。
【００３３】
より具体的には、偏差ネットワークを使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される。
【００３４】
例えば、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【００３５】
偏差ネットワーク（Ｄｅｖｉａｔｉｏｎ）は、逆伝播（ＢＰ）ニューラルネットワークによって示される。
【００３６】
特定の実施形態では、路側感知データを車両感知データとマッチングして、マッチング結果を得た後に、方法は、
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、をさらに含む。
【００３７】
より具体的には、フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【００３８】
より具体的には、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【００３９】
第３の態様によれば、第１の態様の方法を実行するように構成されたユニットを含む融合機器が提供される。
【００４０】
第４の態様によれば、第２の態様の方法を実行するように構成されたユニットを含む融合機器が提供される。
【００４１】
第５の態様によれば、メモリと、メモリに結合されたプロセッサ及び通信モジュールとを含む融合機器が提供され、通信モジュールは、データを外部に送信する又は外部から受信するように構成され、メモリは、プログラムコードを格納するように構成され、プロセッサは、メモリに格納されたプログラムコードを呼び出して、第１の態様又は第２の態様のいずれか１つによる方法を実行するように構成される。
【００４２】
第６の態様によれば、コンピュータ可読記憶媒体が、提供され、且つ命令を含み、命令が融合機器で実行されると、融合機器は、第１の態様又は第２の態様のいずれか１つによる方法を実行することが可能になる。
【００４３】
第７の態様によれば、命令を含むコンピュータプログラム製品が提供され、コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、第１の態様又は第２の態様のいずれか１つによる方法を実行することが可能になる。
【００４４】
前述した解決策によれば、路側感知機器が感知によって取得した路側感知データと、車両感知機器が感知によって取得した車両感知データとを融合して、路側感知機器の感知範囲と車両感知機器の感知範囲との間のオーバーラップ（overlapping：重複）を実現し、それによって、感知範囲が効果的に拡張される。
【図面の簡単な説明】
【００４５】
本発明の実施形態における技術的解決策をより明確に説明するために、以下では、実施形態を説明するために必要な添付図面について簡単に紹介する。明らかに、以下の説明における添付図面は、本発明のいくつかの実施形態を示し、当業者は、創造的な努力なしに、これらの添付図面から他の図面を依然として導き出すことができる。
【図１】本願の一実施形態による適用シナリオの概略図である。
【図２】本願の一実施形態による感知機器の空間設置角度の概略図である。
【図３】本願の一実施形態による感知機器の設置座標の概略図である。
【図４】本願の一実施形態による感知座標系の概略図である。
【図５】本願の一実施形態による逆伝播ニューラルネットワークの概略構造図である。
【図６】本願の一実施形態によるフレーム間ループバックの概略図である。
【図７】本願の一実施形態によるマルチフレーム相関の概略図である。
【図８】本願の一実施形態による第１のデータ融合方法の概略フローチャートである。
【図９】本願の一実施形態による第２のデータ融合方法の概略フローチャートである。
【図１０】本願の一実施形態による第３のデータ融合方法の概略フローチャートである。
【図１１】本願の一実施形態による融合機器の概略構造図である。
【図１２】本願の一実施形態による融合機器の概略構造図である。
【図１３】本願の一実施形態による融合機器の概略構造図である。
【図１４】本願の一実施形態による融合機器の概略構造図である。
【発明を実施するための形態】
【００４６】
図１は、本願の一実施形態による適用シナリオの概略図である。図１に示されるように、少なくとも１つの路側（roadside）装置が道路の側方に設置され、車両装置が道路を走行する車両の少なくとも１つに設置される。
【００４７】
路側装置は、路側角度から道路環境を感知して、路側感知データを取得するように構成される。路側感知機器を路側装置のために構成してもよい。路側感知機器は、少なくとも１つの路側センサ、例えばマイクロ波レーダー及びミリ波レーダーを含み得、感知範囲内のターゲット対象物（例えば、車両及び歩行者）の位置、速度、及びサイズ等の路側感知データを特定することができる。路側感知機器は、カメラ等の路側センサをさらに含んでもよい。カメラは、感知範囲内のターゲット対象物の位置、速度、及びサイズ等の路側感知データを特定できるだけでなく、感知範囲内のターゲット対象物の色（例えば、車両の色及び歩行者の服の色）等の路側感知データも特定できる。前述したいくつかの特定の例は、路側センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。路側感知機器は、路側センサのいずれか１つを単独で使用してもよく、又は任意の複数の路側センサを同時に使用してもよい。路側感知データは、路側結果セットの形式で記述してもよく、路側結果セットは複数の路側結果ユニットを含み得、各路側結果ユニットは１つのターゲット対象物に対応する。例えば、路側結果ユニットが路側ｉ（ｐｒ，ｖｒ，ｓｒ，ｃｒ）として表すことができると仮定すると、ｐｒは路側感知機器が検出したターゲット対象物の位置を示し、ｖｒは路側感知機器が検出したターゲット対象物の速度を示し、ｓｒは路側感知機器が検出したターゲット対象物のサイズを示し、ｃｒは路側感知機器が検出したターゲット対象物の色を示し、路側結果セットはresultｒ（roadside１，roadside２，...，roadsideＭ）として表すことができ、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量である。より具体的には、マトリックス形式を例にとると、路側結果セットは、次のように表すことができる。
【数１】
2021516401.tif 000003
【００４８】
車両装置は、車両角度から道路環境を感知して、車両感知データを取得するように構成される。車両感知機器を車両装置のために構成してもよい。車両感知機器は、少なくとも１つの車両センサ、例えば複合慣性航法、マイクロ波レーダー、ミリ波レーダー、及びカメラを含み得る。異なる車両センサが異なる車両感知データを検出することができる。例えば、車両感知機器は、複合慣性航法を使用して、ターゲット対象物の位置及び速度等の路側感知データを特定することができる。車両感知機器は、マイクロ波レーダー及びミリ波レーダーを使用して、感知範囲内のターゲット対象物の位置、速度、及びサイズ等の路側感知データを特定することができる。車両感知機器は、カメラを使用して、感知範囲内のターゲット対象物の位置、速度、サイズ、及び色等の路側感知データを特定することができる。前述したいくつかの特定の例は、車両センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。車両感知機器は、車両センサのいずれか１つを単独で使用してもよく、又は任意の複数の車両センサを同時に使用してもよい。車両感知データは、車両結果セットの形式で記述してもよく、車両結果セットは複数の車両結果ユニットを含み得、各車両結果ユニットは１つのターゲット対象物に対応する。車両結果ユニットは、多次元の角度からのターゲット対象物の特徴、例えば位置、速度、サイズ、及び色を記述する。例えば、車両結果ユニットが車両（ｐｖ，ｖｖ，ｓｖ，ｃｖ）として表すことができると仮定すると、ｐｖは車両感知機器が検出したターゲット対象物の位置を示し、ｖｖは車両感知機器が検出したターゲット対象物の速度を示し、ｓｖは車両感知機器が検出したターゲット対象物のサイズを示し、ｃｖは車両感知機器が検出したターゲット対象物の色を示し、車両結果セットはresultｖ（vehicle１，vehicle２，...，vehicleＮ）として表すことができ、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量である。より具体的には、マトリックス形式を例にとると、車両結果セットは、次のように表すことができる。
【数２】
2021516401.tif 000004
【００４９】
本願のこの実施形態では、路側装置及び車両装置は、データ通信を実施するために無線で接続してもよい。
【００５０】
本願のこの実施形態では、路側装置及び／又は車両装置は、融合式を使用して、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が感知範囲内で検出した車両感知データとに対してデータ融合を実行して、第１の融合結果を取得することができる。路側結果セットが路側感知データを示し、且つ車両結果セットが車両感知データを示す例では、融合式は、次のように表すことができる：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【００５１】
特定の実施態様では、関数ｆは、次のように表すことができる：
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。路側感知機器の信頼係数をより細かく分割することができ、それによって、路側結果ユニット内の異なる要素が異なる信頼係数に対応することが理解され得る。同様に、車両感知機器の信頼係数もより細かく分割することができ、それによって、車両結果ユニット内の異なる要素が異なる信頼係数に対応する。具体的には、
【数３】
2021516401.tif 000005
の場合に
【数４】
2021516401.tif 000006
であり、
【数５】
2021516401.tif 000007
の場合に
【数６】
2021516401.tif 000008
である。
【００５２】
路側感知機器の信頼係数と車両感知機器の信頼係数との比が大きい場合に、融合結果における路側感知データの割合と融合結果における車両感知データの割合との比が大きいことは容易に理解される。簡単に言えば、感知機器の信頼係数の値が大きいほど、融合結果での検出を通じて感知機器が取得した感知データの割合が大きくなる。
【００５３】
なお、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたもの（together）に基づいて決定してもよい。感知機器パラメータは、初期精度、空間設置角度、及び感知機器の設置座標に関連する。ターゲット対象物の感知距離は、感知座標系におけるターゲット対象物と感知機器との間の距離である。ターゲット対象物の感知角度は、感知座標系におけるターゲット対象物と感知機器とのなす角度である。なお、感知機器が複数のセンサを含む場合に、複数のセンサの信頼度を総合的に考慮することにより、重付け又は平均化の方法で信頼係数を求めてもよいことに留意されたい。特定の実施形態では、信頼係数は、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉは感知距離であり、θｊは感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。較正パラメータテーブルは、大量の既知のターゲット対象物のデータをセンサ機器の較正プロセスにおいて使用することにより、逆推定によって得ることができる。感知機器パラメータの精度が高い場合に、信頼係数の値が大きくなり、又は感知機器パラメータの精度が低い場合に、信頼係数の値が小さくなることは容易に理解できる。感知距離が短い場合に、信頼係数の値は大きくなり、又は感知距離が長い場合に、信頼係数の値は小さくなることは容易に理解できる。感知角度が小さい場合に、信頼係数の値は大きくなり、又は感知角度が大きい場合に、信頼係数の値は小さくなることは容易に理解できる。
【００５４】
特定の実施形態では、感知機器パラメータは、以下の式に基づいて得ることができる：
Ｓｋ＝ｈ（Ｓ０，Ａ，Ｐ）
ここで、Ｓｋは感知機器パラメータであり、Ｓ０は感知機器パラメータの初期精度であり、Ａは、感知機器の空間設置角度、つまり、感知機器が設置された後の道路の地面に対する空間角であり、Ｐは、感知機器の設置座標、つまり、感知機器が設置された後の道路の地面に対する３次元座標である。
【００５５】
オプションで、感知機器の空間設置角度は、Ａ＝（ヨー、ピッチ、ロール）として規定してもよく、ヨーは道路の地面に対する感知機器のヨー角であり、ピッチは道路の地面に対する感知機器のピッチ角であり、ロールは道路の地面に対する感知機器のロール角である。図２に示されるように、道路の地面に対して右手デカルト座標が作成される例では、ヨー角（yaw：ヨー）は、感知機器をｙ軸の周りに回転させることによって得られる角度として規定することができ、ピッチ角（pitch：ピッチ）は、感知機器をｘ軸の周りに回転させることによって得られる角度として規定することができ、ロール角（roll：ロール）は、感知機器をｚ軸の周りに回転させることによって得られる角度として規定することができる。
【００５６】
オプションで、感知機器の設置座標は、Ｐ＝（ｘ、ｙ、ｈ）として規定してもよい。図３に示されるように、ｘ及びｙは、道路の地面に投影された感知機器の座標を示し、ｈは、感知機器から道路の地面までの垂直距離を示す。
【００５７】
特定の実施形態では、ターゲット対象物の感知距離及びターゲット対象物の感知角度は、以下の方法で取得してもよい。図４に示されるように、感知機器を中心として、感知機器の感知範囲を異なる距離及び異なる角度のセクタ（sector）領域に分割し、それによって、感知座標系を作成する。感知機器は、ターゲット対象物が感知座標系に含まれるセクタ領域に基づいて、ターゲット対象物の感知距離Ｒｉ及びターゲット対象物の感知角度θｊを決定する。
【００５８】
路側感知データ及び車両感知データに対してデータ融合を実行して融合結果を取得する前に、路側装置及び／又は車両装置は、路側感知データを車両感知データとマッチングして、マッチングを取得する必要があり、それによって、路側装置及び／又は車両装置は、マッチング結果に基づいて、路側感知データ及び車両感知データに対してデータ融合を実行することができる。
【００５９】
以下では、路側感知データを車両感知データとマッチングさせることの意味を説明する例を使用する。路側結果セットの形式で表された路側感知データがresultｒ（roadside１，roadside２，...，roadsideＭ）であり、車両結果セットの形式で表された車両感知データがresultｒ（vehicle１，vehicle２，...，vehicleＮ）であると仮定し、ここで、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、Ｍ＞Ｎであり、roadside１（路側１）は路側感知機器がターゲット対象物１を検出することによって取得された路側結果ユニットであり、roadside２（路側２）は路側感知機器がターゲット対象物２を検出することによって取得された路側結果ユニットであり、・・・（以下同様に続き）、roadsideＭ（路側M）は路側感知機器がターゲット対象物Ｍを検出することによって取得された路側結果ユニットであり、そして、vehicle１（車両１）は車両感知機器がターゲット対象物１を検出することによって取得された車両結果ユニットであり、vehicle２（車両２）は車両感知機器がターゲット対象物２を検出することによって取得された車両結果ユニットであり、・・・（以下同様に続き）、vehicleＮ（車両N）は車両感知機器がターゲット対象物Ｎを検出することによって取得された車両結果ユニットである。従って、roadside１及びvehicle１は両方とも、ターゲット対象物１を検出することによって取得された結果ユニットであり、且つマッチング関係を有しており、roadside２及びvehicle２は両方とも、ターゲット対象物２を検出することによって取得された結果ユニットであり、且つマッチング関係を有しており、・・・（以下同様に続き）、roadsideＭ及びvehicleＮは両方とも、どちらもターゲット対象物Ｎを検出することによって取得された結果ユニットであり、且つマッチング関係を有する。従って、路側感知データを車両感知データとマッチングさせることは、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間の全てのマッチング関係を見出すことである。
【００６０】
本願のこの実施形態では、路側装置及び／又は車両装置は、偏差ネットワークを使用して、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係を見出すことができる。具体的には、路側結果ユニット及び車両結果ユニットは偏差ネットワークの入力として使用される。この場合に、偏差ネットワークは、路側結果ユニットと車両結果ユニットとの間のマッチング結果を出力する。偏差ネットワークによって出力されたマッチング結果が、路側結果ユニットが車両結果ユニットと一致することを示す場合に、それは、路側結果ユニットと車両結果ユニットとの間にマッチング関係が存在すると考えられ得る。或いは、偏差ネットワークによって出力されたマッチング結果が、路側結果ユニットが車両結果ユニットと一致しないことを示す場合に、それは、路側結果ユニットと車両結果ユニットとの間にマッチング関係が存在しないと考えられ得る。さらに前述した例を例にとると、roadside１及びvehicle１が偏差ネットワークの入力として使用され、偏差ネットワークによって出力されたマッチング結果が、roadside１がvehicle１と一致することを示す場合に、それは、roadside１とvehicle１との間にマッチング関係が存在すると判定することができる。或いは、roadside１及びvehicle２が偏差ネットワークの入力として使用され、偏差ネットワークによって出力されたマッチング結果が、roadside１がvehicle２と一致しないことを示す場合に、それは、roadside１とvehicle２との間にマッチング関係が存在しないと判定することができる。
【００６１】
本願のこの実施形態では、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出すことができる：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【００６２】
路側ｉ＝（ｐｒｉ、ｖｒｉ、ｓｒｉ、ｃｒｉ）及び車両ｊ＝（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）を例にとると、特定の実施態様では、偏差ネットワーク（Ｄｅｖｉａｔｉｏｎ）は、図５に示される逆伝播（back propagation : BP）ニューラルネットワークであり得、
ここで、Δｐｉｊは位置偏差であり、Δｐｉｊ＝ｆａｂｓ（ｐｒｉ−ｐｖｊ）であり、ｐｒｉは路側感知機器が検出したターゲット対象物ｉの位置であり、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置であり、ｆａｂｓは絶対値を求めるための関数であり、
Δｖｉｊは速度偏差であり、Δｖｉｊ＝ｆａｂｓ（ｖｒｉ−ｖｖｊ）であり、ｖｒｉは路側感知機器が検出したターゲット対象物ｉの速度であり、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度であり、
Δｓｉｊはサイズ偏差であり、Δｓｉｊ＝ｆａｂｓ（ｓｒｉ−ｓｖｊ）であり、ｓｒｉは路側感知機器が検出したターゲット対象物ｉのサイズであり、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズであり、
Δｃｉｊは色偏差であり、Δｃｉｊ＝ｆａｂｓ（ｃｒｉ−ｃｖｊ）であり、ｃｒｉは路側感知機器が検出したターゲット対象物ｉの色であり、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色であり、
Ｐｐは位置偏差係数であり、Ｐｐ＝１／（１＋ｅｘｐ（−ｗｒｉｐｗｖｊｐ））であり、ｗｒｉｐは路側感知機器が検出したターゲット対象物ｉの位置に対応する信頼係数であり、ｗｖｊｐは車両感知機器が検出したターゲット対象物ｊの位置に対応する信頼係数であり、
Ｐｖは速度偏差係数であり、Ｐｖ＝１／（１＋ｅｘｐ（−ｗｒｉｖｗｖｊｖ））であり、ｗｒｉｖは路側感知機器が検出したターゲット対象物ｉの速度に対応する信頼係数であり、ｗｖｊｖは車両感知機器が検出したターゲット対象物ｊの速度に対応する信頼係数であり、
Ｐｓはサイズ偏差係数であり、Ｐｓ＝１／（１＋ｅｘｐ（−ｗｒｉｓｗｖｊｓ））であり、ｗｒｉｓは路側感知機器が検出したターゲット対象物ｉのサイズに対応する信頼係数であり、ｗｖｊｓは車両感知機器が検出したターゲット対象物ｊのサイズに対応する信頼係数であり、
Ｐｃは速度偏差係数であり、Ｐｃ＝１／（１＋ｅｘｐ（−ｗｒｉｃｗｖｊｃ））であり、ｗｒｉｃは路側感知機器が検出したターゲット対象物ｉの色に対応する信頼係数であり、ｗｖｊｃは車両感知機器が検出したターゲット対象物ｊの色に対応する信頼係数であり、
φ（．）は活性化関数であり、ここで、活性化関数は、漏れ（leaky）正規化線形ユニット（Leaky
Rectified Linear Unit : LReLU）、パラメータ正規化線形ユニット（Parametric
Rectified Linear Unit : PReLU）、ランダム化漏れ正規化線形ユニット（Randomized
Leaky Rectified Linear unit : RReLU）、ReLUSoftplus関数、Softsign関数、Sigmoid関数、又はtanh関数であり得る。
【００６３】
なお、ｗｒｉｐ，ｗｖｊｐ，ｗｒｉｖ，ｗｖｊｖ，ｗｒｉｓ，ｗｖｊｓ，ｗｒｉｃ，及びｗｖｊｃを取得するための方法については、信頼係数に関連する前述した段落を参照することができることに留意されたい。詳細については、ここでは再び説明しない。
【００６４】
前述した例では、偏差ネットワークは、ＢＰニューラルネットワークを例として使用することにより説明した。あるいはまた、別の実施態様では、偏差ネットワークは、長・短期記憶（Long Short-Term Memory : LSTM）ネットワーク、残差ネットワーク（Residential Networking : ResNet）、再帰型ニューラルネットワーク（Recurrent Neural Networks : RNN）等であり得る。これは、本明細書では特に限定されない。
【００６５】
以上の内容では、路側感知データと車両感知データとの間のマッチングを単一のフレームのみで実施しており、マッチング結果の信頼度は高くはない。上記の問題を解決するために、２つのフレーム又はさらに多くのフレームにおける路側感知データと車両感知データとの間のマッチングが考慮され得、それによって、マッチング結果の信頼度が向上する。さらに、路側装置及び／又は車両装置は、フレーム間（interframe）ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度をさらに評価して、評価結果を取得し、評価結果に基づいて、偏差ネットワークを調整することができる。
【００６６】
本願のこの実施形態では、フレーム間ループバックは、主に、隣接するフレームにおける路側感知データと車両感知データとの間のクロスマッチングによって取得されたマッチング結果に基づく計算によって得られる。結果ユニットを例にとると、フレーム間ループバックは、主に、フレーム内（intraframe）マッチング結果及び隣接フレームのフレーム間マッチング結果に基づいて取得される。フレーム内マッチング結果とは、異なる感知機器が同じフレーム内の同じターゲット対象物を検出することによって取得された結果ユニットのマッチングにより得られるマッチング結果である。フレーム間マッチング結果とは、同じ感知機器が隣接するフレームで同一のターゲット対象物を検出することによって取得された結果ユニットのマッチングにより得られるマッチング結果である。
【００６７】
図６に示されるように、路側感知機器及び車両感知機器を例にとると、フレーム間ループバックは、次のように規定することができる：
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【００６８】
本願のこの実施形態では、マルチフレーム相関は、主に、複数の連続するフレームの間のフレーム間ループバックに基づいて得られる。特定の実施態様では、図７に示されるように、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【００６９】
路側装置及び／又は車両装置によって実行されるデータ融合が、少なくとも以下の２つの利点をもたらすことは容易に理解される。
【００７０】
１．  路側感知機器の感知範囲と車両感知機器の感知範囲との間にオーバーラップを実現することができ、それによって、路側感知機器及び／又は車両感知機器の感知範囲が効果的に拡張される。例えば、路側感知機器が感知範囲内で検出したターゲット対象物の数量が３つ（ターゲット対象物１、ターゲット対象物２、及びターゲット対象物３）であり、車両感知機器が感知範囲内で検出したターゲット対象物の数量が２つ（ターゲット対象物３、及びターゲット対象物４）であると仮定すると、車両感知機器が路側感知データと車両感知データとを融合した後に、融合結果の感知範囲には、４つのターゲット対象物（ターゲット対象物１、ターゲット対象物２、ターゲット対象物３、及びターゲット対象物４）が含まれる。
【００７１】
２．  信頼度の高いデータを使用して信頼度の低いデータを補正することができ、それによって、路側感知機器及び／又は車両感知機器のデータの信頼度を効果的に向上させる。例えば、路側感知機器が計測によって取得したターゲット対象物の速度の信頼度が、車両感知機器が計測によって取得したターゲット対象物の速度の信頼度よりも低いと仮定すると、路側感知機器は、車両感知機器が計測によって取得したターゲット対象物の速度を使用して、路側感知機器が計測によって取得したターゲット対象物の速度を補正し、信頼度の高いデータを取得することができる。
【００７２】
仕様の前述の内容は、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が感知範囲内で検出した車両感知データとに対してデータ融合をどの様に実施するかに関する解決策に焦点を当てている。以下は、データ融合方法及び関連装置の観点から、路側感知機器及び／又は車両感知機器が、前述したデータ融合解決策をどの様に使用して感知範囲を拡張するかを説明する。
【００７３】
図８は、本願の一実施形態による第１のデータ融合方法の概略フローチャートである。図８に示されるように、本願のこの実施形態におけるデータ融合方法は、具体的には、以下のステップを含む。
【００７４】
Ｓ１０１．  車両装置は車両感知データを取得し、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される。
【００７５】
本願のこの実施形態では、車両感知機器を車両感知装置のために構成してもよい。車両感知機器は、少なくとも１つの車両センサ、例えば複合慣性航法、マイクロ波レーダー、ミリ波レーダー、及びカメラを含み、且つ感知範囲内のターゲット対象物の車両感知データを特定することができる。車両感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【００７６】
前述したいくつかの特定の例は、車両センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。車両感知機器は、車両センサのいずれか１つを単独で使用してもよく、又は任意の複数の車両センサを同時に使用してもよい。
【００７７】
Ｓ１０２．  路側装置は路側感知データを取得し、路側感知データは、路側感知機器が路側センサを使用して感知範囲内の道路環境を感知することによって取得される。
【００７８】
本願のこの実施形態では、路側感知機器を路側装置のために構成してもよい。路側感知機器は、少なくとも１つの路側センサ、例えばマイクロ波レーダー及びミリ波レーダーを含み、且つ感知範囲内のターゲット対象物の路側感知データを特定することができる。路側感知データには、ターゲット対象物の位置、速度、サイズ、及び色等が含まれ得る。
【００７９】
前述したいくつかの特定の例は、路側センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。路側感知機器は、路側センサのいずれか１つを単独で使用してもよく、又は任意の複数の路側センサを同時に使用してもよい。
【００８０】
Ｓ１０３．  路側装置は、路側感知データを車両装置に送信する。対応して、車両装置は、路側装置により送信された路側感知データを受信する。
【００８１】
Ｓ１０４．  車両装置は、路側感知データを車両感知データとマッチングして、マッチング結果を取得する。
【００８２】
本願のこの実施形態では、車両装置は、偏差ネットワークを使用して、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係を見出すことができる。具体的には、路側結果ユニット及び車両結果ユニットは、偏差ネットワークの入力として使用される。この場合に、偏差ネットワークは、路側結果ユニットと車両結果ユニットとの間のマッチング結果を出力する。
【００８３】
本願のこの実施形態では、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出すことができる：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【００８４】
Ｓ１０５．  車両装置は、フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価し、評価結果に基づいて、偏差ネットワークを調整する。
【００８５】
本願のこの実施形態では、フレーム間ループバックは、次のように規定することができる：
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【００８６】
本願のこの実施形態では、マルチフレーム相関は、主に、複数の連続するフレームの間のフレーム間ループバックに基づいて得られる。特定の実施態様では、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【００８７】
Ｓ１０６．  車両装置は、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する。
【００８８】
本願のこの実施形態では、車両装置は、融合式を使用して、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が感知範囲で検出した車両感知データとに対してデータ融合を実行して、第１の融合結果を取得することができる。
【００８９】
本願のこの実施形態では、
ｙ＝ｆ（resultｒ，resultｖ）
として表すことができ、
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【００９０】
特定の実施態様では、関数ｆは、次のように表すことができる：
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまりｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。
【００９１】
簡潔にするために、本願のこの実施形態では、路側感知データと車両感知データとの融合については、再び詳細に説明しない。詳細については、明細書の冒頭の路側感知データと車両感知データとの融合に関する説明を参照されたい。
【００９２】
図９は、本願の一実施形態による第２のデータ融合方法の概略フローチャートである。図９に示されるように、本願のこの実施形態におけるデータ融合方法は、具体的には、以下のステップを含む。
【００９３】
Ｓ２０１．  路側装置は路側感知データを取得し、路側感知データは、路側感知機器が路側センサを使用して感知範囲内の道路環境を感知することによって取得される。
【００９４】
本願のこの実施形態では、路側感知機器を路側装置のために構成してもよい。路側感知機器は、少なくとも１つの路側センサ、例えばマイクロ波レーダー及びミリ波レーダーを含み、且つ感知範囲内のターゲット対象物の路側感知データを特定することができる。路側感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【００９５】
前述したいくつかの特定の例は、路側センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。路側感知機器は、路側センサのいずれか１つを単独で使用してもよく、又は任意の複数の路側センサを同時に使用してもよい。
【００９６】
Ｓ２０２．  車両装置は車両感知データを取得し、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される。
【００９７】
本願のこの実施形態では、車両感知機器を車両装置のために構成してもよい。車両感知機器は、少なくとも１つの車両センサ、例えば複合慣性航法、マイクロ波レーダー、ミリ波レーダー、及びカメラを含み、且つ感知範囲内のターゲット対象物の車両感知データを特定することができる。車両感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【００９８】
前述したいくつかの特定の例は、車両センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。車両感知機器は、車両センサのいずれか１つを単独で使用してもよく、又は任意の複数の車両センサを同時に使用してもよい。
【００９９】
Ｓ２０３．  車両装置は、車両感知データを路側装置に送信する。対応して、路側装置は、車両装置により送信された車両感知データを受信する。
【０１００】
Ｓ２０４．  路側装置は、路側感知データを車両感知データとマッチングして、マッチング結果を取得する。
【０１０１】
本願のこの実施形態では、路側感知機器は、偏差ネットワークを使用して、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係を見出すことができる。具体的には、路側結果ユニット及び車両結果ユニットは偏差ネットワークの入力として使用される。この場合に、偏差ネットワークは、路側結果ユニットと車両結果ユニットとの間のマッチング結果を出力する。
【０１０２】
本願のこの実施形態では、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出すことができる：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【０１０３】
Ｓ２０５．  路側装置は、フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得し、評価結果に基づいて、偏差ネットワークを調整する。
【０１０４】
本願のこの実施形態では、フレーム間ループバックは、次のように規定することができる：
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【０１０５】
本願のこの実施形態では、マルチフレーム相関は、主に、複数の連続するフレームの間のフレーム間ループバックに基づいて得られる。特定の実施態様では、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【０１０６】
Ｓ２０６．  路側装置は、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する。
【０１０７】
本願のこの実施形態では、路側感知機器は、融合式を使用して、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が検出範囲内で検出した車両感知データとに対してデータ融合を実行して、第１の融合結果を取得することができる。
【０１０８】
本願のこの実施形態では、融合式は、
ｙ＝ｆ（resultｒ，resultｖ）
として表すことができ、
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【０１０９】
特定の実施態様では、関数ｆは、次のように表すことができる：
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまりｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。
【０１１０】
簡潔にするために、本願のこの実施形態では、路側感知データと車両感知データとの融合については、再び詳細に説明しない。詳細については、明細書の冒頭の路側感知データと車両感知データとの融合に関する説明を参照されたい。
【０１１１】
図１０は、本願の一実施形態による第３のデータ融合方法の概略フローチャートである。図１０に示されるように、本願のこの実施形態におけるデータ融合方法は、具体的には、以下のステップを含む。
【０１１２】
Ｓ３０１．  路側装置は路側感知データを取得し、路側感知データは、路側感知機器が路側センサを使用して感知範囲内の道路環境を感知することによって取得される。
【０１１３】
本願のこの実施形態では、路側感知機器を路側装置のために構成してもよい。路側感知機器は、少なくとも１つの路側センサ、例えばマイクロ波レーダー及びミリ波レーダーを含み、且つ感知範囲内のターゲット対象物の路側感知データを特定することができる。路側感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【０１１４】
前述したいくつかの特定の例は、路側センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。路側感知機器は、路側センサのいずれか１つを単独で使用してもよく、又は任意の複数の路側センサを同時に使用してもよい。
【０１１５】
Ｓ３０２．  少なくとも１つの車両装置は車両感知データを取得し、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される。
【０１１６】
本願のこの実施形態では、車両感知機器を車両装置のために構成してもよい。車両感知機器は、少なくとも１つの車両センサ、例えば複合慣性航法、マイクロ波レーダー、ミリ波レーダー、及びカメラを含み、且つ感知範囲内のターゲット対象物の車両感知データを特定することができる。車両感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【０１１７】
前述したいくつかの特定の例は、車両センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。車両感知機器は、車両センサのいずれか１つを単独で使用してもよく、又は任意の複数の車両センサを同時に使用してもよい。
【０１１８】
Ｓ３０３．  少なくとも１つの車両装置は、車両感知データを路側装置に送信する。対応して、路側装置は、少なくとも１つの車両装置により送信された車両感知データを受信する。
【０１１９】
Ｓ３０４．  路側装置は、路側感知データを少なくとも１つの車両装置により送信された車両感知データとマッチングして、マッチング結果を取得する。
【０１２０】
本願のこの実施形態では、路側装置は、偏差ネットワークを使用して、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係を見出すことができる。具体的には、路側結果ユニット及び車両結果ユニットは偏差ネットワークの入力として使用される。この場合に、偏差ネットワークは、路側結果ユニットと車両結果ユニットとの間のマッチング結果を出力する。
【０１２１】
本願のこの実施形態では、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出すことができる：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【０１２２】
Ｓ３０５．  路側装置は、フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得し、評価結果に基づいて、偏差ネットワークを調整する。
【０１２３】
本願のこの実施形態では、フレーム間ループバックは、次のように規定することができる：
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとのマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【０１２４】
本願のこの実施形態では、マルチフレーム相関は、主に、複数の連続するフレームの間のフレーム間ループバックに基づいて得られる。特定の実施態様では、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【０１２５】
Ｓ３０６．  路側装置は、融合式を使用して少なくとも１つの車両装置により送信された車両感知データと路側感知データとを融合して、第１の融合結果を取得する。
【０１２６】
本願のこの実施形態では、路側装置は、融合式を使用して、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が感知範囲内で検出した車両感知データとに対してデータ融合を実行して、第１の融合結果を取得することができる。
【０１２７】
本願のこの実施形態では、融合式は
ｙ＝ｆ（resultｒ，resultｖ）
として表すことができ、
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【０１２８】
特定の実施態様では、関数ｆは、次のように表すことができる：
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまりｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。
【０１２９】
本願のこの実施形態では、第１の融合結果は、路側感知機器が融合式を使用して１つ又は複数の車両感知機器により送信された車両感知データと路側感知機器の路側感知データとを融合することによって取得することができる。これは、特に制限されない。
【０１３０】
簡潔にするために、本願のこの実施形態では、路側感知データと車両感知データとの融合については、再び詳細に説明しない。詳細については、明細書の冒頭の路側感知データと車両感知データとの融合に関する説明を参照されたい。
【０１３１】
Ｓ３０７．  路側装置は、第１の融合結果をターゲット車両装置に送信する。対応して、ターゲット車両装置は、路側装置により送信された第１の融合結果を受信する。ターゲット車両装置は、少なくとも１つの車両装置に属する。
【０１３２】
Ｓ３０８．  ターゲット車両装置は、第１の融合結果とターゲット車両装置の車両感知データとを融合して、第２の融合結果を取得する。
【０１３３】
本願のこの実施形態では、ターゲット車両装置は、融合式を使用して第１の融合結果及びターゲット車両装置の車両感知データに対してデータ融合を実行して、第２の融合結果を取得することができる。第１の融合結果と車両感知データとを融合するプロセスは、路側感知データと車両感知データを融合するプロセスと同様であり、ここでは再び説明しない。
【０１３４】
前述した解決策では、路側装置は、複数の車両感知機器により送信された車両感知データと路側装置の路側感知データとを融合して、より広い感知範囲の第１の融合結果を取得し（ここでの感知範囲は、路側感知機器の感知範囲と複数の車両感知機器の感知範囲との間のオーバーラップの結果である）、次に、第１の融合結果をターゲット車両装置に送信することができ、それによって、ターゲット車両装置が第１の融合結果と車両感知データとを融合して、車両感知機器の感知範囲を拡張する。
【０１３５】
同じ発明概念に基づいて、本願の実施形態は融合機器を提供し、装置を、車両装置に適用してもよく、又は路側装置に適用してもよい。融合機器は、チップ、プログラム可能なコンポーネント、回路コンポーネント、装置（すなわち、融合機器は車両装置又は路側装置である）、システム等であり得、本明細書では特に限定されない。
【０１３６】
図１１に示されるように、融合機器が車両装置である例では、融合機器１００は、センサシステム１０４、制御システム１０６、周辺装置１０８、電源１１０、及び計算機器１１１を含む。計算機器１１１は、プロセッサ１１３とメモリ１１４とを含み得る。計算機器１１１は、融合機器１００のコントローラ又はコントローラの一部であってもよい。メモリ１１４は、プロセッサ１１３によって実行され得る命令１１５を含み得、さらに地図データ１１６を格納し得る。融合機器１００のコンポーネントは、互いの相互接続及び／又は様々なシステムに結合された他のコンポーネントとの相互接続の方法で機能するように構成され得る。例えば、電源１１０は、融合機器１００の全ての構成要素に電力を供給することができる。計算機器１１１は、センサシステム１０４、制御システム１０６、及び周辺装置１０８からデータを受け取り、それらを制御するように構成され得る。
【０１３７】
他の例では、融合機器１００は、より多い、より少ない、又は異なるシステムを含むことができ、各システムは、より多い、より少ない、又は異なるコンポーネントを含むことができる。さらに、示されたシステム及びコンポーネントは、任意の方法で結合又は分割してもよい。
【０１３８】
センサシステム１０４は、融合機器１００の感知範囲内の道路環境を感知するように構成されたいくつかのセンサを含み得る。図に示されるように、センサシステムのセンサは、ＧＰＳ１２６、慣性測定ユニット（inertial measurement unit : IMU）１２８、無線検出及びレーダー測距（RADAR）ユニット１３０、レーザ測距（LIDAR）ユニット１３２、カメラ１３４、及びセンサの位置及び／又は向きを変更するように構成されたアクチュエータ１３６を含む。
【０１３９】
ＧＰＳモジュール１２６は、車両の地理的位置を推定するように構成された任意のセンサであり得る。従って、ＧＰＳモジュール１２６は、トランシーバを含み、且つ衛星測位データに基づいて地球に対する融合機器１００の位置を推定することができる。一例では、ＧＰＳモジュール１２６を使用し、地図データ１１６を参照することにより、計算機器１１１は、車両装置が走行可能な道路の車線端における融合機器１００の位置を推定するように構成され得る。あるいはまた、ＧＰＳモジュール１２６は別の形態であってもよい。
【０１４０】
ＩＭＵ１２８は、慣性、加速度、及びこれらの任意の組合せに基づいて、車両の位置及び向きの変化を感知するように構成され得る。いくつかの例では、センサの組合せは、加速度計及びジャイロを含み得る。センサの他の組合せも可能である。
【０１４１】
レーダー（RADAR）ユニット１３０は、対象物（object：物体、オブジェクト）検出システムと考えることができる。レーダーユニット１３０は、電波を使用して、ターゲット対象物の特徴、例えば対象物の距離、高さ、方向、又は速度を検出するように構成される。レーダーユニット１３０は、電波又はマイクロ波パルスを送信するように構成され得る。電波又はマイクロ波パルスは、その波の経路内の任意の対象物によって反射され得る。対象物は、その波のエネルギーの一部を受信機（例えば、ディッシュアンテナ又はアンテナ）に戻すことができ、受信機は、レーダーユニット１３０の一部にすることもできる。レーダーユニット１３０は、（対象物から反射された）受信信号に対してデジタル信号処理を実行するようにさらに構成され得、ターゲット対象物を特定するように構成され得る。
【０１４２】
レーダー（RADAR）に類似する他のシステムは、電磁スペクトルの他の部分で既に使用されている。例はＬＩＤＡＲ（light detection and ranging：光の検出及び測距）であり、これは、電波の代わりにレーザからの可視光を使用し得る。
【０１４３】
ＬＩＤＡＲユニット１３２はセンサを含み、センサは、光を使用して、融合機器１００の感知範囲内の道路環境内のターゲット対象物を感知又は検出する。一般に、ＬＩＤＡＲは、光を使用してターゲットを照らし、ターゲット対象物までの距離、又はターゲット対象物の他の属性を測定し得る光リモート感知技術である。例えば、ＬＩＤＡＲユニット１３２は、レーザパルスを送信するように構成されたレーザ源及び／又はレーザスキャナと、レーザパルスの反射を受け取る（受光する）ように構成された検出器とを含み得る。例えば、ＬＩＤＡＲユニット１３２は、回転ミラーによる反射に基づくレーザ距離計を含み、デジタルシーンの周りを１次元又は２次元でレーザ走査して、指定された角度から指定された間隔で距離測定値を収集することができる。一例では、ＬＩＤＡＲユニット１３２は、光源（例えば、レーザ）、スキャナ、光システム、光検出器、及び受信機又は電子コンポーネント、並びに位置及びナビゲーションシステム等のコンポーネントを含み得る。
【０１４４】
一例では、ＬＩＤＡＲユニット１３２は、対象物イメージングに紫外（ＵＶ）、可視光、又は赤外光を使用するように構成され得、非金属対象物を含む広範囲のターゲット対象物に適用され得る。一例では、狭い（narrow）レーザビームを使用して、対象物の物理的特徴に関するマップを高解像度で描くことができる。
【０１４５】
一例では、約１０ミクロン（赤外線）から約２５０ナノメートル（ＵＶ）の範囲の波長を使用することができる。光は、通常、後方散乱後に反射される。様々な種類の散乱、例えばレイリー散乱、ミー散乱、ラマン散乱、及び蛍光が、様々なＬＩＤＡＲアプリケーションで使用される。従って、例えば、異なるタイプの後方散乱に基づいて、ＬＩＤＡＲは、レイリーレーザＲＡＤＡＲ、ミーＬＩＤＡＲ、ラマンＬＩＤＡＲ、及びナトリウム／Ｆｅ／カリウム蛍光ＬＩＤＡＲと呼ばれ得る。波長の適切な組合せにより、例えば、反射信号の強度の波長依存変化を探索することにより、対象物のリモートマップ描画が可能になる。
【０１４６】
３次元（３Ｄ）イメージングは、走査型ＬＩＤＡＲシステム及び非走査型ＬＩＤＡＲシステムを使用することによって実施され得る。「３Ｄゲート表示レーザレーダー（3D gated viewing laser radar）」は、非走査型レーザ測距システムの例である。パルスレーザと高速ゲートカメラとが、３Ｄゲート表示レーザレーダーに適用される。イメージングＬＩＤＡＲは、一般にＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）及びＣＣＤ（Charge Coupled Device：電荷結合素子、 hybrid complementary metal oxide semiconductor／charge coupled device：ハイブリッドＣＭＯＳ／ＣＣＳ）製造技術を使用してシングルチップ上に構築された高速検出器アレイと変調感知型検出器アレイとを使用して実装することもできる。これらの機器では、各ピクセルは、高速復調又はゲーティングを介して局所的に処理することができ、それによって、アレイを処理して、カメラからの画像を表すことができる。この技術を使用して数千のピクセルを同時に取得し、ＬＩＤＡＲユニット１３２によって検出された対象物又はシーンを表す３Ｄ点群を作成できる。
【０１４７】
点群は、３Ｄ座標系における頂点のグループを含み得る。頂点は、例えば、Ｘ、Ｙ、及びＺ座標によって規定することができ、且つターゲット対象物の外面を表すことができる。ＬＩＤＡＲユニット１３２は、ターゲット対象物の表面上の大量の点を測定することによって点群を作成するように構成され得、且つ出力するために点群をデータファイルとして使用し得る。ＬＩＤＡＲユニット１３２を使用して対象物に対して実行された３Ｄ走査プロセスの結果として、点群は、ターゲット対象物を特定及び視覚化するために使用され得る。
【０１４８】
一例では、点群は、ターゲット対象物を視覚化するために直接レンダリングしてもよい。別の例では、点群は、表面再構成と呼ばれ得るプロセスで、多角形又は三角形のグリッドモデルに変換され得る。点群を３Ｄ表面に変換する技術の例には、Ｄｅｌａｕｎａｒｙ三角形分割、アルファ形状、回転球等が含まれ得る。その技術には、点群の既存の頂点に対して三角形のネットワークを構築することが含まれる。他の例示的な技術には、点群を体積距離場に変換すること、及びマーチングキューブアルゴリズムを使用して、この方法で規定された陰関数曲面を再構築することが含まれ得る。
【０１４９】
カメラ１３４は、車両が位置する道路環境の画像を取得するように構成された任意のカメラ（例えば、静止カメラ又はビデオカメラ）であり得る。従って、カメラは、可視光を検出するように構成することができ、又はスペクトルの他の部分（例えば、赤外光又は紫外）からの光を検出するように構成することができる。他のタイプのカメラも可能である。カメラ１３４は、２次元検出器であってもよく、又は３次元空間範囲を有してもよい。いくつかの例では、カメラ１３４は、例えば距離検出器であってもよく、カメラ１３４は、カメラ１３４から環境内のいくつかの点までの距離を示す２次元画像を生成するように構成される。従って、カメラ１３４は、１つ又は複数の距離検出技術を使用することができる。例えば、カメラ１３４は、構造化光技術を使用するように構成してもよい。融合機器１００は、所定の光パターン、例えばグリッド又はチェス盤グリッドパターンを使用して、環境内の対象物を照明し、そして、カメラ１３４を使用して、対象物からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、融合機器１００は、対象物上の点までの距離を検出するように構成され得る。所定の光パターンには、赤外光又は他の波長の光が含まれ得る。
【０１５０】
例えば、アクチュエータ１３６は、センサの位置及び／又は方向を変更するように構成され得る。センサシステム１０４は、示されたコンポーネント以外のコンポーネントを追加的又は代替的に含み得る。
【０１５１】
制御システム１０６は、融合機器１００の動作及び融合機器１００のコンポーネントを制御するように構成され得る。従って、制御システム１０６は、センサ融合アルゴリズム１４４、コンピュータ視覚システム１４６、ナビゲーション又は経路制御（pathing：経路設定）システム１４８、及び障害物回避システム１５０を含み得る。
【０１５２】
センサ融合アルゴリズム１４４は、例えば、計算機器１１１が実行し得るアルゴリズム（又は、アルゴリズムを格納するコンピュータプログラム製品）を含み得る。センサ融合アルゴリズム１４４は、センサ１０４からのデータを入力として受け入れるように構成され得る。データは、例えば、センサシステム１０４のセンサによって検出された情報のデータを含み得る。センサ融合アルゴリズム１４４は、例えば、カルマンフィルタ、ベイジアンネットワーク、又は別のアルゴリズムを含み得る。センサ融合アルゴリズム１４４は、例えば、車両が位置している環境における個々の対象物及び／又は特徴に関する評価、特定の状況での評価、及び／又は特定の状況に基づいて考えられる影響に関する評価を含む、センサシステム１０４からのデータに基づいて、様々な評価を提供するようにさらに構成され得る。他の評価も可能である。
【０１５３】
コンピュータ視覚システム１４６は、カメラ１３４によって取り込まれた画像を処理及び解析して、融合機器１００が位置している環境内の対象物及び／又は特徴を特定するように構成された任意のシステムであり得、対象物及び／又は特徴には、例えば車線情報、信号機、及び障害物が含まれる。従って、コンピュータ視覚システム１４６は、対象物識別アルゴリズム、動きからの構造化（Structure from Motion : SFM）アルゴリズム、ビデオ追跡、又は別のコンピュータ視覚技術を使用することができる。いくつかの例では、コンピュータ視覚システム１４６は、環境マップを描画し、対象物を追跡し、対象物の速度を推定する等のためにさらに構成され得る。
【０１５４】
ナビゲーション及び経路制御システム１４８は、車両の走行経路を決定するように構成された任意のシステムであってよい。ナビゲーション及び経路制御システム１４８は、車両が動作しているときに走行経路を動的に更新するようにさらに構成され得る。いくつかの例では、ナビゲーション及び経路制御システム１４８は、センサ融合アルゴリズム１４４、ＧＰＳモジュール１２６、及び１つ又は複数の所定のマップからのデータを参照して、車両の走行経路を決定するように構成され得る。
【０１５５】
障害物回避システム１５０は、車両が位置している環境内の障害物を識別し、評価し、回避するか、又は別の方法で追い越すように構成された任意のシステムであり得る。
【０１５６】
制御システム１０６は、示されたコンポーネント以外のコンポーネントを追加的又は代替的に含み得る。
【０１５７】
周辺装置１０８は、融合機器１００が外部センサ、別の車両、及び／又はユーザと相互作用するのを可能にするように構成され得る。従って、周辺装置１０８には、例えば、無線通信システム１５２、タッチスクリーン１５４、マイクロフォン１５６、及び／又はスピーカ１５８が含まれ得る。
【０１５８】
無線通信システム１５２は、１つ又は複数の他の車両、センサ、又は別のエンティティに直接結合する又は無線方式で通信ネットワークを使用することによって結合するように構成された任意のシステムとすることができる。従って、無線通信システム１５２は、別の車両、センサ、又は別のエンティティと直接又はエアインターフェイスを使用することによって通信するように構成されたアンテナ及びチップセットを含み得る。チップセット又は無線通信システム１５２全体は、１つ又は複数の他のタイプの無線通信（例えば、プロトコル）に基づいて通信するように構成してもよく、無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１（任意のＩＥＥＥ８０２．１１改訂を含む）に記載された通信プロトコル、セルラー技術（例えば、ＧＳＭ、ＣＤＭＡ、ＵＭＴＳ（Universal Mobile Telecommunications System  ユニバーサルモバイルテレコミュニケーションシステム））、ＥＶ−ＤＯ、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution：ロングタームエボリューション）、ＺｉｇＢｅｅ、ＤＳＲＣ（Dedicated Short Range Communications：専用短距離通信）、ＲＦＩＤ（Radio Frequency Identification：無線周波数識別）等である。無線通信システム１５２は、別の形態であってもよい。
【０１５９】
タッチスクリーン１５４は、ユーザがコマンドを融合機器１００に入力するために使用され得る。従って、タッチスクリーン１５４は、静電容量感知、抵抗感知、表面弾性波プロセス等によってユーザの指の位置及び動きの少なくとも１つを感知するように構成され得る。タッチスクリーン１５４は、タッチスクリーンの表面に平行な方向又はタッチスクリーンの表面と同じ面内の方向、タッチスクリーンの表面に垂直な方向、又は両方向で指の動きを感知することができ、さらにタッチスクリーンの表面に加えられた圧力のレベルを感知することができる。タッチスクリーン１５４は、１つ又は複数の半透明又は透明な絶縁層、及び１つ又は複数の半透明又は透明な導電層を含み得る。タッチスクリーン１５４はまた、別の形態であってもよい。
【０１６０】
マイクロフォン１５６は、融合機器１００のユーザから音声（例えば、音声コマンド又は別の音声入力）を受け取るように構成され得る。同様に、スピーカ１５８は、音声を融合機器１００のユーザに出力するように構成され得る。
【０１６１】
周辺装置１０８は、示されたコンポーネント以外のコンポーネントを追加的又は代替的に含み得る。
【０１６２】
電源１１０は、融合機器１００のコンポーネントの一部又は全てに電力を供給するように構成され得る。従って、電源１１０は、例えば、再充電可能なリチウムイオン又は鉛蓄電池を含み得る。いくつかの例では、１つ又は複数の電池グループは、電力を供給するように構成され得る。他の電力材料及び構成も可能である。いくつかの例では、電源１１０及びエネルギー源１２０は、電気自動車のように一緒に実装され得る。
【０１６３】
計算機器１１１に含まれるプロセッサ１１３は、１つ又は複数の汎用プロセッサ及び／又は１つ又は複数の専用プロセッサ（例えば、画像プロセッサ又はデジタル信号プロセッサ）を含み得る。プロセッサ１１３が２つ以上のプロセッサを含む場合に、プロセッサは、独立して動作するか、又は組み合わせて動作することができる。計算機器１１１は、ユーザインターフェイス１１２を使用して受け取った入力に基づいて、車両１００を制御する機能を実現することができる。
【０１６４】
メモリ１１４は、１つ又は複数の揮発性記憶コンポーネント及び／又は１つ又は複数の不揮発性記憶コンポーネント、例えば光学的、磁気的及び／又は有機的記憶機器等をさらに含み得、メモリ１１４は、プロセッサ１１３と完全に又は部分的に統合され得る。メモリ１１４は、本明細書に記載されている機能又は方法のいずれか１つを含む様々な車両機能を実行するために、プロセッサ１１３によって実行される命令１１５（例えば、プログラムロジック）を含み得る。
【０１６５】
融合機器１００のコンポーネントは、それぞれのシステム内の他のコンポーネントとの相互接続及び／又は他の外部コンポーネントとの相互接続の方法で機能するように構成され得る。従って、融合機器１００のコンポーネント及びシステムは、システムバス、ネットワーク、及び／又は別の接続機構を使用することによって通信可能に相互接続され得る。
【０１６６】
実施形態１では、融合機器１００のプロセッサ１１３は、以下の命令を実行する：
車両感知データを取得することであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
路側感知データを取得することであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得することと、を実行する。
【０１６７】
実施形態２では、融合機器１００のプロセッサ１１３は、以下の命令を実行する：
車両感知データを路側装置に送信することであって、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される、送信することと、
路側装置により送信された第１の融合結果を受信することであって、第１の融合結果は、路側装置が融合式を使用して少なくとも１つの車両装置の車両感知データと路側感知データとを融合することによって取得され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、受信することと、
車両感知データと第１の融合結果とを融合して、第２の融合結果を取得することと、を実行する。
【０１６８】
実施形態１又は実施形態２を参照すると、融合式は次のように表される：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【０１６９】
特定の実施態様では、
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【０１７０】
より具体的には、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたものに基づいて決定される。
【０１７１】
例えば、信頼係数ｗは、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ここで、ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
【０１７２】
特定の実施態様では、車両結果セットは少なくとも１つの車両結果ユニットを含み、少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【０１７３】
より具体的には、少なくとも１つの車両結果ユニット内の１つの車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置を示し、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度を示し、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズを示し、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色を示し、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【０１７４】
特定の実施態様では、路側結果セットは少なくとも１つの路側結果ユニットを含み、少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【０１７５】
より具体的には、少なくとも１つの路側結果ユニット内の１つの路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは路側感知機器が検出したターゲット対象物ｉの位置を示し、ｖｖｉは路側感知機器が検出したターゲット対象物ｉの速度を示し、ｓｖｉは路側感知機器が検出したターゲット対象物ｉのサイズを示し、ｃｖｉは路側感知機器が検出したターゲット対象物ｉの色を示し、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである。
【０１７６】
実施形態１又は実施形態２を参照すると、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する前に、方法は、
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップと、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと、を含む。
【０１７７】
特定の実施態様では、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係は、偏差ネットワークを使用して見出される。
【０１７８】
より具体的には、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が、偏差ネットワークを使用して見出されることは、具体的には、以下を含む：
次式を使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【０１７９】
特定の実施態様では、路側感知データを車両感知データとマッチングして、マッチング結果を得た後に、方法は、
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、を含む。
【０１８０】
具体的には、フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【０１８１】
具体的には、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックフレームであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【０１８２】
なお、図１１の実施形態で言及していない内容については、図８〜図１０に対応する実施形態を参照することができることに留意されたい。詳細については、ここでは再び説明しない。
【０１８３】
図１２に示されるように、例えば、融合機器が路側装置である場合に、融合機器２００は、ＲＦ（Radio Frequency：無線周波数）回路２１０、メモリ２２０、別の入力装置２３０、表示画面２４０、センサシステム２５０、Ｉ／Ｏサブシステム２７０、プロセッサ２８０、及び電源２９０等のコンポーネントを含む。当業者は、路側感知機器が図１２に示される路側感知機器の構造に限定されないことを理解することができる。路側感知機器は、図に示したものより多くの又は少ない部品を含むことができ、又はいくつかの部品が組み合わされるか、又はいくつかの部品が分割されるか、又は部品の配置が異なる。当業者は、表示画面２４０がユーザインターフェイス（UI : User Interface）を表示するように構成され得ることを理解することができる。
【０１８４】
次に、図１２を参照して、融合機器２００の各コンポーネントについて詳細に説明する。
【０１８５】
ＲＦ回路２１０は、データを送信又は受信するように構成され得る。一般に、ＲＦ回路は、アンテナ、少なくとも１つの増幅器、トランシーバ、カプラ、ＬＮＡ（Low Noise Amplifier：低雑音増幅器）、デュプレクサ等を含むが、これらに限定されない。さらに、ＲＦ回路２１０は、無線通信によってネットワーク及び他の装置とさらに通信することができる。ワイヤレス通信は、ＧＳＭ（Global System of Mobile：モバイル通信のグローバルシステム）、ＧＰＲＳ（General Packet Radio Service：汎用パケット無線サービス）、ＣＤＭＡ（Code Division Multiple Access：符号分割多重アクセス）、ＷＣＤＭＡ（Wideband Code Division Multiple Access：広帯域符号分割多重アクセス）、ＬＴＥ（Long Term Evolution：ロングタームエボリューション）、電子メール、ＳＭＳ（Short Messaging Service：ショートメッセージサービス）等を含むが、これらに限定されない、任意の通信規格又はプロトコルを使用することができる。
【０１８６】
メモリ２２０は、高速ランダムアクセスメモリを含み得、不揮発性メモリ、例えば少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ、又は別の揮発性固体記憶装置をさらに含み得る。メモリ２２０は、プロセッサ２８０によって実行され得る命令２２２を含み得、さらに地図データ２２４を格納し得る。
【０１８７】
別の入力装置２３０は、入力数字又は文字情報を受け取り、融合機器２００のユーザ設定及び機能制御に関連するキー信号入力を生成するように構成され得る。具体的には、別の入力装置２３０は、１つ又は複数の物理キーボード、ファンクションキー（ボリューム制御キー、電源オン／オフキー等）、トラックボール、マウス、ジョイスティック、光学式マウス（光学式マウスは、視覚的出力を表示しないタッチ感知面である、又はタッチスクリーンによって形成されたタッチ感知面の延長である）等を含み得るが、これらに限定されない。別の入力装置２３０は、Ｉ／Ｏサブシステム２７０の別の入力装置コントローラ２７１に接続され、別の入力装置コントローラ２７１がプロセッサ２８０との信号相互作用を実行するように制御される。
【０１８８】
表示画面２４０は、表示パネル２４１とタッチパネル２４２とを含み得る。表示パネル２４１について、表示パネル２４１は、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、ＯＬＥＤ（Organic Light-Emitting Diode：有機発光ダイオード）等の形態で構成してもよい。タッチパネル２４２は、タッチスクリーン、タッチ感知スクリーン等とも呼ばれ、タッチパネル上又はその近くでのユーザのタッチ又は非タッチ操作をキャプチャすることができ（例えば、操作は、ユーザがタッチパネル２４２上又はタッチパネル２４２の近くの指又はスタイラス等の任意の適切なオブジェクト又はアクセサリを使用することによって実行される操作である、又は動き感知操作を含み得、操作の操作タイプは、単一点制御操作、又は多点制御操作等を含む）、予め設定されたプログラムに基づいて対応する接続機器を駆動する。
【０１８９】
センサシステム２５０は、融合機器２００の感知範囲内の道路環境を感知するように構成されたいくつかのセンサを含み得る。図に示されるように、センサシステムのセンサは、ＧＰＳ２５１、無線検出及びレーダー測距（ＲＡＤＡＲ）ユニット２５５、レーザ測距（ＬＩＤＡＲ）ユニット２５７、カメラ２５８、及びセンサの位置及び／又は向きを変更するように構成されたアクチュエータ２５９を含む。センサシステム２５０は、Ｉ／Ｏサブシステム２７０のセンサコントローラ２７２に接続され、且つセンサコントローラ２７２がプロセッサ２８０との相互作用を実行するように制御される。
【０１９０】
ＧＰＳモジュール２５１は、車両の地理的位置を推定するように構成された任意のセンサであり得る。従って、ＧＰＳモジュール２５１は、トランシーバを含み、且つ衛星測位データに基づいて地球に対する融合機器２００の位置を推定することができる。一例では、融合機器２００は、ＧＰＳモジュール２５１を使用し、地図データ２２４を参照することにより、道路上の融合機器２００の位置を推定するように構成され得る。あるいはまた、ＧＰＳモジュール１２６は、別の形態であってもよい。
【０１９１】
レーダー（RADAR）ユニット２５５は、対象物検出システムと考えることができる。レーダーユニット２５５は、電波を使用して、ターゲット対象物の特徴、例えば対象物の距離、高さ、方向、又は速度を検出するように構成される。レーダーユニット２５５は、電波又はマイクロ波パルスを送信するように構成され得る。電波又はマイクロ波パルスは、その波の経路内の任意の対象物によって反射され得る。対象物は、その波のエネルギーの一部を受信機（例えば、ディッシュアンテナ又はアンテナ）に戻すことができ、受信機は、レーダーユニット２５５の一部とすることもできる。レーダーユニット２５５は、（対象物から反射された）受信信号に対してデジタル信号処理を実行するように構成され得、ターゲット対象物を特定するように構成され得る。
【０１９２】
レーダー（RADAR）に類似した他のシステムは、電磁スペクトルの他の部分で既に使用されている。例はＬＩＤＡＲ（light detection and ranging：光の検出及び測距）であり、これは、電波の代わりにレーザからの可視光を使用し得る。
【０１９３】
ＬＩＤＡＲユニット２５７はセンサを含み、センサは、光を使用して、融合機器２００の感知範囲内の道路環境内のターゲット対象物を感知又は検出する。一般に、ＬＩＤＡＲは、光を使用してターゲットを照らし、ターゲット対象物までの距離、又はターゲット対象物の他の属性を測定し得る光リモート感知技術である。例えば、ＬＩＤＡＲユニット２５７は、レーザパルスを送信するように構成されたレーザ源及び／又はレーザスキャナと、レーザパルスの反射を受け取る（受光する）ように構成された検出器とを含み得る。例えば、ＬＩＤＡＲユニット２５７は、回転ミラーによる反射に基づくレーザ距離計を含み、デジタルシーンの周りを１次元又は２次元でレーザ走査して、指定された角度から指定された間隔で距離測定値を収集することができる。一例では、ＬＩＤＡＲユニット２５７は、光源（例えば、レーザ）、スキャナ、光システム、光検出器、及び受信機又は電子コンポーネント、並びに位置及びナビゲーションシステム等のコンポーネントを含み得る。
【０１９４】
一例では、ＬＩＤＡＲユニット２５７は、対象物イメージングに紫外（ＵＶ）、可視光、又は赤外光を使用するように構成され得、非金属物体を含む広範囲のターゲット対象物に適用され得る。一例では、狭い（narrow）レーザビームを使用して、対象物の物理的特徴に関するマップを高解像度で描くことができる。
【０１９５】
一例では、約１０ミクロン（赤外線）から約２５０ナノメートル（ＵＶ）の範囲の波長を使用することができる。光は、通常、後方散乱後に反射される。様々な種類の散乱、例えばレイリー散乱、ミー散乱、ラマン散乱、及び蛍光が、様々なＬＩＤＡＲアプリケーションで使用される。従って、例えば、異なるタイプの後方散乱に基づいて、ＬＩＤＡＲは、レイリーレーザＲＡＤＡＲ、ミーＬＩＤＡＲ、ラマンＬＩＤＡＲ、及びナトリウム／Ｆｅ／カリウム蛍光ＬＩＤＡＲと呼ばれ得る。波長の適切な組合せにより、例えば、反射信号の強度の波長依存変化を探索することにより、対象物のリモートマップ描画が可能になる。
【０１９６】
３次元（３Ｄ）イメージングは、走査型ＬＩＤＡＲシステム及び非走査型ＬＩＤＡＲシステムを使用することによって実施され得る。「３Ｄゲート表示レーザレーダー（3D gated viewing laser radar）」は、非走査型レーザ測距システムの例である。パルスレーザと高速ゲートカメラとが、３Ｄゲート表示レーザレーダーに適用される。イメージングＬＩＤＡＲは、一般にＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）及びＣＣＤ（Charge Coupled Device：電荷結合素子, hybrid complementary metal oxide semiconductor／charge coupled device：ハイブリッドＣＭＯＳ／ＣＣＳ）製造技術を使用してシングルチップ上に構築された高速検出器アレイと変調感知型検出器アレイを使用して実装することもできる。これらの機器では、各ピクセルは、高速復調又はゲーティングを介して局所的に処理することができ、それによって、アレイを処理して、カメラからの画像を表すことができる。この技術を使用して数千のピクセルを同時に取得し、ＬＩＤＡＲユニット２５７によって検出された対象物又はシーンを表す３Ｄ点群を作成できる。
【０１９７】
点群は、３Ｄ座標系における頂点のグループを含み得る。頂点は、例えば、Ｘ、Ｙ、及びＺ座標によって規定することができ、且つターゲット対象物の外面を表すことができる。ＬＩＤＡＲユニット２５７は、ターゲット対象物の表面上の大量の点を測定することによって点群を作成するように構成され得、且つ出力するために点群をデータファイルとして使用し得る。ＬＩＤＡＲユニット２５７を使用して対象物に対して実行された３Ｄ走査プロセスの結果として、点群は、ターゲット対象物を特定及び視覚化するために使用され得る。
【０１９８】
一例では、点群は、ターゲット対象物を視覚化するために直接レンダリングしてもよい。別の例では、点群は、表面再構成と呼ばれ得るプロセスで、多角形又は三角形のグリッドモデルに変換され得る。点群を３Ｄ表面に変換する技術の例には、Ｄｅｌａｕｎａｒｙ三角形分割、アルファ形状、回転球等が含まれ得る。その技術には、点群の既存の頂点に対して三角形のネットワークを構築することが含まれる。他の例示的な技術には、点群を体積距離場に変換すること、及びマーチングキューブアルゴリズムを使用して、この方法で規定された陰関数曲面を再構築することが含まれ得る。
【０１９９】
カメラ２５８は、車両が位置する道路環境の画像を取得するように構成された任意のカメラ（例えば、静止カメラ又はビデオカメラ）であり得る。従って、カメラは、可視光を検出するように構成することができ、又はスペクトルの他の部分（例えば、赤外光又は紫外）からの光を検出するように構成することができる。他のタイプのカメラも可能である。カメラ２５８は、２次元検出器であってもよく、又は３次元空間範囲を有してもよい。いくつかの例では、カメラ２５８は、例えば距離検出器であってもよく、カメラ２５８は、カメラ２５８から環境内のいくつかの点までの距離を示す２次元画像を生成するように構成される。従って、カメラ２５８は、１つ又は複数の距離検出技術を使用することができる。例えば、カメラ２５８は、構造化光技術を使用するように構成してもよい。融合機器２００は、所定の光パターン、例えばグリッド又はチェス盤グリッドパターンを使用して、環境内の対象物を照明し、そして、カメラ２５８を使用して、対象物からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、路側感知機器２５８は、対象物上の点までの距離を検出するように構成され得る。所定の光パターンには、赤外光又は他の波長の光が含まれ得る。
【０２００】
Ｉ／Ｏサブシステム２７０は、外部入力／出力装置を制御するように構成され、且つ別の入力装置コントローラ２７１及びセンサコントローラ２７２を含み得る。オプションで、１つ又は複数の他の入力制御装置コントローラ２７１は、別の入力装置２３０から信号を受信し、及び／又は別の入力装置２３０に信号を送信する。別の入力装置２３０は、物理ボタン（押しボタン、ロッカーアーム式ボタン等）、ダイヤル、スライダスイッチ、ジョイスティック、スクロールホイール、又は光学式マウス（光学式マウスは、視覚出力を表示しないタッチ感知面である、又はタッチスクリーンによって形成されたタッチ感知面の延長である）を含み得る。なお、他の入力制御装置コントローラ２７１は、前述した装置のいずれか１つ又は複数に接続することができる。センサコントローラ２７２は、１つ又は複数のセンサ２５０から信号を受信し、及び／又は１つ又は複数のセンサ２５０に信号を送信することができる。
【０２０１】
プロセッサ２８０は、融合機器２００の制御センターである。プロセッサ２８０は、様々なインターフェイス及びラインを使用して融合機器２００全体の全ての部分に接続され、且つメモリ２２０に格納されたソフトウェアプログラム及び／又はモジュールを実行又は起動し、メモリ２２０に格納されたデータを呼び出すことにより融合機器２００の様々な機能及びデータ処理を実行し、それにより融合機器２００の全体的な監視を実行する。オプションで、プロセッサ２８０は１つ又は複数の処理ユニットを含み得る。好ましくは、プロセッサ２８０は、２つのモデムプロセッサを統合することができ、モデムプロセッサは、主に無線通信を処理する。あるいはまた、モデムプロセッサは、プロセッサ２８０に統合しなくてもよいことが理解され得る。
【０２０２】
融合機器２００は、コンポーネントに電力を供給するための電源２９０（電池等）をさらに含む。好ましくは、電源は、電力管理システムを使用してプロセッサ２８０に論理的に接続され得、それによって、電力管理システムを使用することによって充電、放電、及び電力消費の管理等の機能を実行する。
【０２０３】
実施形態１では、融合機器２００のプロセッサ２８０は、以下の命令を実行する：
車両感知データを取得することであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
路側感知データを取得することであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得することと、を実行する。
実施形態２では、融合機器２００のプロセッサ２８０は、以下の命令を実行する：
少なくとも１つの車両装置により送信された車両感知データを受信することであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、受信することと、
融合式を使用して少なくとも１つの車両装置の車両感知データと路側感知データとを融合して、第１の融合結果を取得することであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
第１の融合結果をターゲット車両装置に送信することであって、ターゲット車両装置は、車両感知データと第１の融合結果とを融合して第２の融合結果を取得するように構成され、ターゲット車両装置は少なくとも１つの車両装置に属する、送信することと、を実行する。
【０２０４】
実施形態１又は実施形態２を参照すると、融合式は、以下のように表される：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【０２０５】
特定の実施態様では、
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器のセンサ範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【０２０６】
より具体的には、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたものに基づいて決定される。
【０２０７】
例えば、信頼係数ｗは、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ここで、ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
【０２０８】
特定の実施形態では、車両結果セットは少なくとも１つの車両結果ユニットを含み、少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【０２０９】
より具体的には、少なくとも１つの車両結果ユニット内の１つの車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置を示し、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度を示し、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズを示し、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色を示し、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【０２１０】
特定の実施態様では、路側結果セットは少なくとも１つの路側結果ユニットを含み、少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【０２１１】
より具体的には、少なくとも１つの路側結果ユニット内の１つの路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは路側感知機器が検出したターゲット対象物ｉの位置を示し、ｖｖｉは路側感知機器が検出したターゲット対象物ｉの速度を示し、ｓｖｉは路側感知機器が検出したターゲット対象物ｉのサイズを示し、ｃｖｉは路側感知機器が検出したターゲット対象物ｉの色を示し、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである。
【０２１２】
実施形態１又は実施形態２を参照すると、融合式を使用して車両感知データと路側感知データとを融合して、融合結果を取得する前に、方法は、
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップと、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと、を含む。
【０２１３】
特定の実施態様では、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係は、偏差ネットワークを使用して見出される。
【０２１４】
より具体的には、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が、偏差ネットワークを使用して見出されることは、具体的には、以下を含む：
次式を使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【０２１５】
特定の実施態様では、路側感知データを車両感知データとマッチングして、マッチング結果を得た後に、方法は、
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、を含む。
【０２１６】
具体的には、フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【０２１７】
具体的には、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【０２１８】
なお、図１２の実施形態で言及していない内容については、図８〜図１０に対応する実施形態を参照することができることに留意されたい。詳細については、ここでは再び説明しない。
【０２１９】
同じ発明概念に基づいて、図１３は、本発明の一実施形態による融合機器の概略構造図である。図１３に示されるように、融合機器３００は、第１の取得モジュール３０１、第２の取得モジュール３０２、及び融合モジュール３０３を含み得る。
【０２２０】
第１の取得モジュール３０１は、車両感知データを取得するように構成され、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される。
【０２２１】
第２の取得モジュール３０２は、路側感知データを取得するように構成され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される。
【０２２２】
融合モジュール３０３は、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得するように構成される。
【０２２３】
なお、図１３の実施形態で言及していない内容及び各機能ユニットの特定の実施態様については、図８及び図９に対応する実施形態を参照することができることに留意されたい。詳細については、ここでは再び説明しない。
【０２２４】
同じ発明概念に基づいて、図１４は、本発明の一実施形態による融合機器の概略構造図である。図１４に示されるように、この実施形態の融合機器４００は、送信モジュール４０１、受信モジュール４０２、及び融合モジュール４０３を含む。
【０２２５】
送信モジュール４０１は、車両感知データを路側装置に送信するように構成され、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される。
【０２２６】
受信モジュール４０２は、路側装置により送信された第１の融合結果を受信するように構成され、第１の融合結果は、路側感知機器が融合式を使用して少なくとも１つの車両装置の車両感知データと路側感知データとを融合することによって取得され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される。
【０２２７】
融合モジュール４０３は、少なくとも１つの車両装置の車両感知データと第１の融合結果とを融合して、第２の融合結果を取得するように構成される。
【０２２８】
なお、図１４の実施形態で言及していない内容及び各機能ユニットの特定の実施態様については、図１０に対応する実施形態を参照することができることに留意されたい。詳細については、ここでは再び説明しない。
【０２２９】
前述した解決策によれば、路側感知機器が感知することによって取得した路側感知データと、車両感知機器が感知することによって取得した車両感知データとを融合して、路側感知機器の感知範囲と車両感知機器の感知範囲との間のオーバーラップを実現し、それによって、感知範囲が効果的に拡張される。
【０２３０】
本願で提供されるいくつかの実施形態では、開示されたシステム、端末、及び方法は、他の方法で実施してもよいことを理解すべきである。例えば、記載された機器の実施形態は単なる例である。例えば、ユニット分割は単なる論理的な機能分割であり、実際の実施態様では他の分割であってもよい。例えば、複数のユニット又はコンポーネントを組み合わせたり、又は別のシステムに統合したりしてもよく、いくつかの機能を無視したり、又は実行できない場合がある。さらに、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかのインターフェイス、機器又はユニッ同士の間の間接結合又は通信接続、又は電気接続、機械的接続、又は他の形態の接続によって実施してもよい。
【０２３１】
別個の部品として記載されたユニットは、物理的に別個であってもなくてもよく、ユニットとして表示される部品は、物理ユニットであってもなくてもよく、一箇所に配置してもよく、又は複数のネットワークユニットに分散してもよい。本発明の実施形態の解決策の目的を達成するための実際の要件に従って、ユニットの一部又は全てを選択することができる。
【０２３２】
また、本発明の実施形態における機能ユニットは、１つの処理ユニットに統合してもよく、又は各ユニットが物理的に単独で存在してもよく、又は２つ以上のユニットを１つのユニットに統合してもよい。統合されたユニットは、ハードウェアの形態で実装してもよく、又はソフトウェア機能ユニットの形態で実装してもよい。
【０２３３】
統合ユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売又は使用される場合に、統合ユニットは、コンピュータ可読記憶媒体に格納され得る。そのような理解に基づいて、本発明の技術的解決策は本質的に、又は先行技術に寄与する部分、又は技術的解決策の全て又は一部は、ソフトウェア製品の形態で実装することができる。コンピュータソフトウェア製品は、記憶媒体に格納され、本発明の実施形態において説明した方法のステップの全て又は一部を実行するようにコンピュータ装置（パーソナルコンピュータ、サーバ、ネットワーク装置等であり得る）に命令するためのいくつかの命令を含む。前述した記憶媒体には、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（ROM: Read-Only Memory）、ランダムアクセスメモリ（RAM: Random Access Memory）、磁気ディスク、又は光ディスク等の、プログラムコードを格納できる任意の媒体が含まれる。
【０２３４】
前述した説明は、本発明の特定の実施形態に過ぎず、本発明の保護範囲を限定することを意図したものではない。本発明に開示された技術的範囲内で当業者によって容易に理解されるあらゆる修正又は置換は、本発明の保護範囲内に含まれるものとする。従って、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
【図１】
2021516401.tif 000009
【図２】
2021516401.tif 000010
【図３】
2021516401.tif 000011
【図４】
2021516401.tif 000012
【図５】
2021516401.tif 000013
【図６】
2021516401.tif 000014
【図７】
2021516401.tif 000015
【図８】
2021516401.tif 000016
【図９】
2021516401.tif 000017
【図１０】
2021516401.tif 000018
【図１１】
2021516401.tif 000019
【図１２】
2021516401.tif 000020
【図１３】
2021516401.tif 000021
【図１４】
2021516401.tif 000022
【手続補正書】
【提出日】令和2年10月13日(2020.10.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データ融合方法であって、当該方法は、
車両感知データを取得するステップであって、該車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
路側感知データを取得するステップであって、該路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
融合式を使用して前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得するステップと、を含む、
方法。
【請求項２】
前記融合式は、
ｙ＝ｆ（resultｒ，resultｖ）
として表され、
ここで、resultｒは路側結果セットであり、該路側結果セットは前記路側感知データを示すために使用され、resultｖは車両結果セットであり、該車両結果セットは前記車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、前記路側結果セット及び前記車両結果セットに基づいてマッピングすることにより、前記第１の融合結果を取得するために使用される、請求項１に記載の方法。
【請求項３】
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは前記路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｒｉは前記路側感知機器の前記感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは前記路側感知機器の前記感知範囲内の前記ターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは前記車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｖｊは前記車両感知機器の前記感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは前記車両感知機器の前記感知範囲内の前記ターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項２に記載の方法。
【請求項４】
前記信頼係数は、感知機器パラメータ、前記ターゲット対象物の感知距離、及び前記ターゲット対象物の感知角度をまとめたものに基づいて決定される、請求項３に記載の方法。
【請求項５】
前記信頼係数ｗは、
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
の式に基づいて得ることができ、
ここで、Ｓｋは前記感知機器パラメータであり、Ｒｉは前記ターゲット対象物の前記感知距離であり、θｊは前記ターゲット対象物の前記感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである、請求項４に記載の方法。
【請求項６】
前記車両結果セットは少なくとも１つの車両結果ユニットを含み、該少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される、請求項２乃至５のいずれか一項に記載の方法。
【請求項７】
前記少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの位置を示し、ｖｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの速度を示し、ｓｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊのサイズを示し、ｃｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの色を示し、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の前記数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項６に記載の方法。
【請求項８】
前記路側結果セットは少なくとも１つの路側結果ユニットを含み、該少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される、請求項２乃至７のいずれか一項に記載の方法。
【請求項９】
前記少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの位置を示し、ｖｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの速度を示し、ｓｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉのサイズを示し、ｃｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの色を示し、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の前記数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである、請求項８に記載の方法。
【請求項１０】
融合式を使用して前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得する前に、当該方法は、
前記路側感知データを前記車両感知データとマッチングして、マッチング結果を取得するステップをさらに含み、
前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得するステップは、
前記マッチング結果に基づいて、前記車両感知データと前記路側感知データとを融合して、前記第１の融合結果を取得するステップを含む、請求項２乃至５のいずれか一項に記載の方法。
【請求項１１】
第１の取得モジュール、第２の取得モジュール、及び融合モジュールを含む融合機器であって、
前記第１の取得モジュールは、車両感知データを取得するように構成され、該車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得され、
前記第２の取得モジュールは、路側感知データを取得するように構成され、該路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得され、
前記融合モジュールは、融合式を使用して前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得するように構成される、
融合機器。
【請求項１２】
前記融合式は、
ｙ＝ｆ（resultｒ，resultｖ）
として表され、
ここで、resultｒは路側結果セットであり、該路側結果セットは前記路側感知データを示すために使用され、resultｖは車両結果セットであり、該車両結果セットは前記車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、前記路側結果セット及び前記車両結果セットに基づいてマッピングすることにより、前記第１の融合結果を取得するために使用される、請求項１１に記載の機器。
【請求項１３】
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは前記路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｒｉは前記路側感知機器の前記感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは前記路側感知機器の前記感知範囲内の前記ターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは前記車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｖｊは前記車両感知機器の前記感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは前記車両感知機器の前記感知範囲内の前記ターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項１２に記載の機器。
【請求項１４】
前記信頼係数は、感知機器パラメータ、前記ターゲット対象物の感知距離、及び前記ターゲット対象物の感知角度をまとめたものに基づいて決定される、請求項１３に記載の機器。
【請求項１５】
前記信頼係数ｗは、
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
の式に基づいて得ることができ、
ここで、Ｓｋは前記感知機器パラメータであり、Ｒｉは前記ターゲット対象物の前記感知距離であり、θｊは前記ターゲット対象物の前記感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである、請求項１４に記載の機器。
【請求項１６】
前記車両結果セットは少なくとも１つの車両結果ユニットを含み、該少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される、請求項１２乃至１５のいずれか一項に記載の機器。
【請求項１７】
前記少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの位置を示し、ｖｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの速度を示し、ｓｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊのサイズを示し、ｃｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの色を示し、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の前記数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項１６に記載の機器。
【請求項１８】
前記路側結果セットは少なくとも１つの路側結果ユニットを含み、該少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される、請求項１２乃至１７のいずれか一項に記載の機器。
【請求項１９】
前記少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの位置を示し、ｖｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの速度を示し、ｓｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉのサイズを示し、ｃｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの色を示し、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の前記数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである、請求項１７に記載の機器。
【請求項２０】
メモリと、該メモリに結合されたプロセッサ及び通信モジュールとを含む融合機器であって、
前記通信モジュールは、データを外部に送信する又は該外部から受信するように構成され、前記メモリは、プログラムコードを格納するように構成され、前記プロセッサは、前記メモリに格納された前記プログラムコードを呼び出して、請求項１乃至１０のいずれか一項に記載の方法を実行するように構成される、
融合機器。
【請求項２１】
命令を含むコンピュータ可読記憶媒体であって、前記命令が融合機器で実行されると、該融合機器は、請求項１乃至１０のいずれか一項に記載の方法を実行することが可能になる、
コンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2021516401.tif 000023
【国際調査報告】
2021516401.tif 000024
2021516401.tif 000025
2021516401.tif 000026
2021516401.tif 000027