(57)【要約】      （修正有）【課題】カメラによるイメージと対応するレーダまたはライダによるポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する効率的な方法を提供する。【解決手段】方法は、初期演算レイヤが、オリジナルポイントクラウドマップに含むデプス情報をオリジナルイメージに追加して第１ヒューズド特徴マップ２０１＿１、及び前記イメージに含む色相情報を前記マップに追加して第１ヒューズドポイントクラウドマップ２０２＿１を生成し、変換レイヤが、第１ヒューズド特徴マップを第１変換演算して第１＿１中間特徴マップ２０３＿１を生成し、第１ヒューズド特徴マップを第２変換演算して第１＿２中間特徴マップ２０４＿１を生成し、統合レイヤが、第１＿１中間特徴マップ及び第１＿２中間特徴マップを統合した第２ヒューズド特徴マップにマッピング演算して第２ヒューズドポイントクラウドマップを生成する。【選択図】図４
2020126607.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのカメラにより生成された少なくとも１つのイメージと、これに対応する、少なくとも１つのレーダまたはライダにより生成された少なくとも１つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法において、
（ａ）コンピューティング装置が、少なくとも一つの初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのオリジナルポイントクラウドマップと統合して、（ｉ）前記オリジナルポイントクラウドマップに含まれたデプス情報を前記オリジナルイメージに追加することによって少なくとも一つの第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルイメージに含まれた色相情報を前記オリジナルポイントクラウドマップに追加することによって少なくとも一つの第１ヒューズドポイントクラウドマップを生成させる段階；
（ｂ）前記コンピューティング装置が、少なくとも一つの変換レイヤをもって、前記第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによって第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによって第１＿２中間特徴マップを生成させる段階；及び
（ｃ）前記コンピューティング装置が、少なくとも一つの統合レイヤをもって、前記第１＿１中間特徴マップ及び前記第１＿２中間特徴マップを統合することによって第２ヒューズド特徴マップを生成させ、前記第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによって第２ヒューズドポイントクラウドマップを生成させる段階；
を含むことを特徴とする方法。
【請求項２】
（ｄ）前記コンピューティング装置が、前記（ｂ）段階及び前記（ｃ）段階を繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成された第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによって第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成された第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによって第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記第Ｎ＿１中間特徴マップ及び前記第Ｎ＿２中間特徴マップを統合することによって第Ｎ＋１ヒューズド特徴マップを生成させ、前記第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによって第Ｎ＋１ヒューズドポイントクラウドマップを生成させる段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
（ｅ）前記コンピューティング装置が、少なくとも一つの出力レイヤをもって、前記第Ｎ＋１ヒューズド特徴マップ及び前記第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な演算のうち少なくとも一部を遂行させる段階；
をさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
（ｆ）前記コンピューティング装置が、前記出力レイヤにより生成された前記ニューラルネットワークの少なくとも１つの出力が生成されると、前記出力及びそれに対応する少なくとも１つの原本正解を参照して前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部を学習させる段階；
をさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記（ａ）段階で、
前記第１ヒューズド特徴マップは、（ｉ）前記オリジナルイメージに含まれた、各ピクセルに対するオリジナル色相情報、及び（ｉｉ）前記レーダまたは前記ライダに隣接した３次元空間上の各位置に対するオリジナル座標情報を参照して取得された、前記各ピクセルに対する前記デプス情報を含み、前記各位置は前記オリジナルポイントクラウドマップに含まれることを特徴とし、
前記第１ヒューズドポイントクラウドマップは、（ｉ）前記オリジナル座標情報及び（ｉｉ）前記オリジナル色相情報を参照して取得された、前記各位置に対する前記色相情報を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記（ｂ）段階で、
前記第１＿１中間特徴マップは、前記第１ヒューズド特徴マップに、少なくとも一つのコンボリューション演算を含む前記第１変換演算を適用することによって生成されることを特徴とする請求項１に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記第１＿１中間特徴マップは、前記第１ヒューズド特徴マップに、少なくとも一つのコンボリューション演算の他に、少なくとも一つのＲｅＬＵ演算及び少なくとも一つのプーリング演算をさらに含む前記第１変換演算を適用することによって生成されることを特徴とする請求項６に記載の方法。
【請求項８】
前記（ｂ）段階で、
前記第１＿２中間特徴マップは、前記第１ヒューズドポイントクラウドマップに、少なくとも一つのニューラルネットワーク演算と、少なくとも一つの逆マッピング演算と、少なくとも一つのコンボリューション演算とを含む前記第２変換演算を適用することによって生成され、
前記逆マッピング演算は、（ｉ）前記第１ヒューズドポイントクラウドマップに含まれた、３次元座標に前記色相情報が連動した形態の前記デプス情報と（ｉｉ）前記第１＿１中間特徴マップのそれぞれの特徴とを連動させる演算であることを特徴とする請求項１に記載の方法。
【請求項９】
前記（ｃ）段階で、
前記第２ヒューズド特徴マップは、前記第１＿１中間特徴マップ及び前記第１＿２中間特徴マップをチャンネル方向にコンカチネートすることによって生成されることを特徴とする請求項１に記載の方法。
【請求項１０】
前記（ｃ）段階で、
前記マッピング演算は、（ｉ）前記第２ヒューズド特徴マップのそれぞれの特徴値を（ｉｉ）前記レーダまたは前記ライダに隣接した３次元空間上の各位置に連動させる演算であることを特徴とする請求項１に記載の方法。
【請求項１１】
少なくとも１つのカメラにより生成された少なくとも１つのイメージと、これに対応する、少なくとも１つのレーダまたはライダにより生成された少なくとも１つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合し、これを利用するテスト方法において、
（ａ）（１）学習装置が、少なくとも一つの初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルトレーニングイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのトレーニング用オリジナルポイントクラウドマップと統合して、（ｉ）前記トレーニング用オリジナルポイントクラウドマップに含まれたトレーニング用デプス情報を前記オリジナルトレーニングイメージに追加することによって少なくとも一つのトレーニング用第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルトレーニングイメージに含まれたトレーニング用色相情報を前記トレーニング用オリジナルポイントクラウドマップに追加することによって少なくとも一つのトレーニング用第１ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（２）前記学習装置が、少なくとも一つの変換レイヤをもって、前記トレーニング用第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによってトレーニング用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記トレーニング用第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによってトレーニング用第１＿２中間特徴マップを生成するプロセスを遂行させ、（３）前記学習装置が、少なくとも一つの統合レイヤをもって、前記トレーニング用第１＿１中間特徴マップ及び前記トレーニング用第１＿２中間特徴マップを統合することによってトレーニング用第２ヒューズド特徴マップを生成させ、前記トレーニング用第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによってトレーニング用第２ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（４）前記学習装置が、前記（２）プロセス及び前記（３）プロセスを繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成されたトレーニング用第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってトレーニング用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成されたトレーニング用第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってトレーニング用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記トレーニング用第Ｎ＿１中間特徴マップ及び前記トレーニング用第Ｎ＿２中間特徴マップを統合することによってトレーニング用第Ｎ＋１ヒューズド特徴マップを生成させ、前記トレーニング用第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによってトレーニング用第Ｎ＋１ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（５）前記学習装置が、少なくとも一つの出力レイヤをもって、前記トレーニング用第Ｎ＋１ヒューズド特徴マップ及び前記トレーニング用第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行するプロセスを遂行させ、（６）前記学習装置が、前記出力レイヤにより生成された前記ニューラルネットワークの少なくとも一つの出力が生成されると、前記出力及びそれに対応する少なくとも一つの原本正解を参照して、前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部を学習するプロセスを遂行させた状態で、
テスト装置が、前記初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルテストイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのテスト用オリジナルポイントクラウドマップと統合して、（ｉ）前記テスト用オリジナルポイントクラウドマップに含まれたテスト用デプス情報を前記オリジナルテストイメージに追加することにより少なくとも一つのテスト用第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルテストイメージに含まれたテスト用色相情報を前記テスト用オリジナルポイントクラウドマップに追加することによって少なくとも一つのテスト用第１ヒューズドポイントクラウドマップを生成させる段階；
（ｂ）前記テスト装置が、前記変換レイヤをもって、前記テスト用第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによってテスト用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記テスト用第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによってテスト用第１＿２中間特徴マップを生成させる段階；
（ｃ）前記テスト装置が、前記統合レイヤをもって、前記テスト用第１＿１中間特徴マップ及び前記テスト用第１＿２中間特徴マップを統合することによってテスト用第２ヒューズド特徴マップを生成させ、前記テスト用第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによってテスト用第２ヒューズドポイントクラウドマップを生成させる段階；
（ｄ）前記テスト装置が、前記（ｂ）段階及び前記（ｃ）段階を繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成されたテスト用第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってテスト用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成されたテスト用第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってテスト用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記テスト用第Ｎ＿１中間特徴マップ及び前記テスト用第Ｎ＿２中間特徴マップを統合することによってテスト用第Ｎ＋１ヒューズド特徴マップを生成させ、前記テスト用第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによってテスト用第Ｎ＋１ヒューズドポイントクラウドマップを生成させる段階；
（ｅ）前記テスト装置が、前記出力レイヤをもって、前記テスト用第Ｎ＋１ヒューズド特徴マップ及び前記テスト用第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行させる段階；
を含むことを特徴とするテスト方法。
【請求項１２】
少なくとも１つのカメラにより生成された少なくとも１つのイメージと、これに対応する、少なくとも１つのレーダまたはライダにより生成された少なくとも１つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合するコンピューティング装置において、
各インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）少なくとも一つの初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのオリジナルポイントクラウドマップと統合して、（ｉ）前記オリジナルポイントクラウドマップに含まれたデプス情報を前記オリジナルイメージに追加することによって少なくとも一つの第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルイメージに含まれた色相情報を前記オリジナルポイントクラウドマップに追加することによって少なくとも一つの第１ヒューズドポイントクラウドマップを生成させるプロセス；（ＩＩ）少なくとも一つの変換レイヤをもって、前記第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによって第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによって第１＿２中間特徴マップを生成させるプロセス；（ＩＩＩ）少なくとも一つの統合レイヤをもって、前記第１＿１中間特徴マップ及び前記第１＿２中間特徴マップを統合することによって第２ヒューズド特徴マップを生成させ、前記第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによって第２ヒューズドポイントクラウドマップを生成させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするコンピューティング装置。
【請求項１３】
（ＩＶ）前記プロセッサが、前記（ＩＩ）プロセス及び前記（ＩＩＩ）プロセスを繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成された第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによって第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成された第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによって第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記第Ｎ＿１中間特徴マップ及び前記第Ｎ＿２中間特徴マップを統合することによって第Ｎ＋１ヒューズド特徴マップを生成させ、前記第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによって第Ｎ＋１ヒューズドポイントクラウドマップを生成させるプロセス；
をさらに遂行することを特徴とする請求項１２に記載のコンピューティング装置。
【請求項１４】
（Ｖ）前記プロセッサが、少なくとも一つの出力レイヤをもって、前記第Ｎ＋１ヒューズド特徴マップ及び前記第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行させるプロセス；
をさらに遂行することを特徴とする請求項１３に記載のコンピューティング装置。
【請求項１５】
（ＶＩ）前記プロセッサが、前記出力レイヤにより生成された前記ニューラルネットワークの少なくとも一つの出力が生成されると、前記出力及びそれに対応する少なくとも一つの原本正解を参照して前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部を学習させるプロセス；
をさらに遂行することを特徴とする請求項１４に記載のコンピューティング装置。
【請求項１６】
前記（Ｉ）プロセスで、
前記第１ヒューズド特徴マップは、（ｉ）前記オリジナルイメージに含まれた、各ピクセルに対するオリジナル色相情報、及び（ｉｉ）前記レーダまたは前記ライダに隣接した３次元空間上の各位置に対するオリジナル座標情報を参照して取得された、前記各ピクセルに対する前記デプス情報を含み、前記各位置は前記オリジナルポイントクラウドマップに含まれることを特徴とし、
前記第１ヒューズドポイントクラウドマップは、（ｉ）前記オリジナル座標情報及び（ｉｉ）前記オリジナル色相情報を参照して取得された、前記各位置に対する前記色相情報を含むことを特徴とする請求項１２に記載のコンピューティング装置。
【請求項１７】
前記（ＩＩ）プロセスで、
前記第１＿１中間特徴マップは、前記第１ヒューズド特徴マップに、少なくとも一つのコンボリューション演算を含む前記第１変換演算を適用することによって生成されることを特徴とする請求項１２に記載のコンピューティング装置。
【請求項１８】
前記（ＩＩ）プロセスで、
前記第１＿１中間特徴マップは、前記第１ヒューズド特徴マップに、少なくとも一つのコンボリューション演算の他に、少なくとも一つのＲｅＬＵ演算及び少なくとも一つのプーリング演算をさらに含む前記第１変換演算を適用することによって生成されることを特徴とする請求項１７に記載のコンピューティング装置。
【請求項１９】
前記（ＩＩ）プロセスで、
前記第１＿２中間特徴マップは、前記第１ヒューズドポイントクラウドマップに、少なくとも一つのニューラルネットワーク演算と、少なくとも一つの逆マッピング演算と、少なくとも一つのコンボリューション演算とを含む前記第２変換演算を適用することによって生成され、
前記逆マッピング演算は、（ｉ）前記第１ヒューズドポイントクラウドマップに含まれた、３次元座標に前記色相情報が連動した形態の前記デプス情報と（ｉｉ）前記第１＿１中間特徴マップのそれぞれの特徴とを連動させる演算であることを特徴とする請求項１２に記載のコンピューティング装置。
【請求項２０】
前記（ＩＩＩ）プロセスで、
前記第２ヒューズド特徴マップは、前記第１＿１中間特徴マップ及び前記第１＿２中間特徴マップをチャンネル方向にコンカチネートすることによって生成されることを特徴とする請求項１２に記載のコンピューティング装置。
【請求項２１】
前記（ＩＩＩ）プロセスで、
前記マッピング演算は、（ｉ）前記第２ヒューズド特徴マップのそれぞれの特徴値を（ｉｉ）前記レーダまたは前記ライダに隣接した３次元空間上の各位置に連動させる演算であることを特徴とする請求項１２に記載のコンピューティング装置。
【請求項２２】
少なくとも１つのカメラにより生成された少なくとも１つのイメージと、これに対応する、少なくとも１つのレーダまたはライダにより生成された少なくとも１つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合し、これを利用するテスト装置において、
各インストラクションを格納する少なくとも一つのメモリと、
（１）学習装置が、少なくとも一つの初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルトレーニングイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのトレーニング用オリジナルポイントクラウドマップと統合して、（ｉ）前記トレーニング用オリジナルポイントクラウドマップに含まれたトレーニング用デプス情報を前記オリジナルトレーニングイメージに追加することによって少なくとも一つのトレーニング用第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルトレーニングイメージに含まれたトレーニング用色相情報を前記トレーニング用オリジナルポイントクラウドマップに追加することによって少なくとも一つのトレーニング用第１ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（２）前記学習装置が、少なくとも一つの変換レイヤをもって、前記トレーニング用第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによってトレーニング用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記トレーニング用第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによってトレーニング用第１＿２中間特徴マップを生成するプロセスを遂行させ、（３）前記学習装置が、少なくとも一つの統合レイヤをもって、前記トレーニング用第１＿１中間特徴マップ及び前記トレーニング用第１＿２中間特徴マップを統合することによってトレーニング用第２ヒューズド特徴マップを生成させ、前記トレーニング用第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによってトレーニング用第２ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（４）前記学習装置が、前記（２）プロセス及び前記（３）プロセスを繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成されたトレーニング用第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってトレーニング用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成されたトレーニング用第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってトレーニング用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記トレーニング用第Ｎ＿１中間特徴マップ及び前記トレーニング用第Ｎ＿２中間特徴マップを統合することによってトレーニング用第Ｎ＋１ヒューズド特徴マップを生成させ、前記トレーニング用第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによってトレーニング用第Ｎ＋１ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（５）前記学習装置が、少なくとも一つの出力レイヤをもって、前記トレーニング用第Ｎ＋１ヒューズド特徴マップ及び前記トレーニング用第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行するプロセスを遂行させ、（６）前記学習装置が、前記出力レイヤにより生成された前記ニューラルネットワークの少なくとも一つの出力が生成されると、前記出力及びそれに対応する少なくとも一つの原本正解を参照して前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部を学習するプロセスを遂行させた状態で、少なくとも一つのプロセッサが、（Ｉ）前記初期演算レイヤをもって、前記カメラにより生成された一つ以上のオリジナルテストイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのテスト用オリジナルポイントクラウドマップと統合して、（ｉ）前記テスト用オリジナルポイントクラウドマップに含まれたテスト用デプス情報を前記オリジナルテストイメージに追加することにより少なくとも一つのテスト用第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルテストイメージに含まれたテスト用色相情報を前記テスト用オリジナルポイントクラウドマップに追加することによって少なくとも一つのテスト用第１ヒューズドポイントクラウドマップを生成させるプロセス；（ＩＩ）前記変換レイヤをもって、前記テスト用第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによって、テスト用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記テスト用第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによってテスト用第１＿２中間特徴マップを生成させるプロセス；（ＩＩＩ）前記統合レイヤをもって、前記テスト用第１＿１中間特徴マップ及び前記テスト用第１＿２中間特徴マップを統合することによってテスト用第２ヒューズド特徴マップを生成させ、前記テスト用第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによってテスト用第２ヒューズドポイントクラウドマップを生成させるプロセス；（ＩＶ）前記（ＩＩ）プロセス及び前記（ＩＩＩ）プロセスを繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成されたテスト用第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってテスト用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成されたテスト用第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってテスト用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記テスト用第Ｎ＿１中間特徴マップ及び前記テスト用第Ｎ＿２中間特徴マップを統合することによってテスト用第Ｎ＋１ヒューズド特徴マップを生成させ、前記テスト用第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによってテスト用第Ｎ＋１のフューズドポイントクラウドマップを生成させるプロセス；（Ｖ）前記出力レイヤをもって、前記テスト用第Ｎ＋１ヒューズド特徴マップ及び前記テスト用第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行車両とともに使用するための学習方法及び学習装置に関し、より具体的に、カメラによって取得されたイメージと、レーダ又はライダを通じて取得されたポイントクラウドマップとを統合する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ  ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にも使用されていたが、近年になって機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で広く使用されるようになった。例えば、ＣＮＮは、２０１２年にイメージ認識コンテスト（ＩｍａｇｅＮｅｔ  Ｌａｒｇｅ  Ｓｃａｌｅ  Ｖｉｓｕａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。その後、ＣＮＮは、機械学習分野で非常に有用なツールとして使用されるようになった。
【０００３】
最近ＣＮＮは、自律走行自動車の分野で極めて広く使用されている。自律走行自動車の分野で使用される場合、ＣＮＮは自動車に取り付けられたカメラからイメージを取得し、これを利用して車線を探索するなどの役割を遂行する。
【０００４】
しかし、ＣＮＮがカメラから取得された映像のみを利用する場合、特定の状況、すなわち、暗かったり霧が濃くて映像の信頼性が好ましくない場合、自律走行の安全性が保障されなくなる。したがって、カメラ以外の追加のセンサ、例えば少なくとも１つのレーダ及び／又は少なくとも１つのライダを使用すれば自律走行をより安全に行うのに役立つが、従来技術は、これを単にツートラック（ｔｗｏ−ｔｒａｃｋ）方式でのみ利用して、カメラから得られた情報とレーダ及び／又はライダから得られた情報とを別途に演算して利用するのにとどまっていた。
【０００５】
このような場合、それぞれのニューラルネットワークが独立して動作するようになるため、非効率的である問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前述した問題点を解決することを目的とする。
【０００７】
本発明は、ニューラルネットワークのそれぞれのコンボリューションステージごとに、少なくとも一つのカメラにより生成された少なくとも一つのイメージと、それに対応する少なくとも一つのレーダまたはライダにより生成された少なくとも一つのポイントクラウドマップとを統合する方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【０００９】
本発明の一態様によると、少なくとも１つのカメラにより生成された少なくとも１つのイメージと、これに対応する、少なくとも１つのレーダまたはライダにより生成された少なくとも１つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法において、（ａ）コンピューティング装置が、少なくとも一つの初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのオリジナルポイントクラウドマップと統合して、（ｉ）前記オリジナルポイントクラウドマップに含まれたデプス情報を前記オリジナルイメージに追加することによって少なくとも一つの第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルイメージに含まれた色相情報を前記オリジナルポイントクラウドマップに追加することによって少なくとも一つの第１ヒューズドポイントクラウドマップを生成させる段階；（ｂ）前記コンピューティング装置が、少なくとも一つの変換レイヤをもって、前記第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによって第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによって第１＿２中間特徴マップを生成させる段階；及び（ｃ）前記コンピューティング装置が、少なくとも一つの統合レイヤをもって、前記第１＿１中間特徴マップ及び前記第１＿２中間特徴マップを統合することによって第２ヒューズド特徴マップを生成させ、前記第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによって第２ヒューズドポイントクラウドマップを生成させる段階；を含むことを特徴とする方法が提供される。
【００１０】
一実施例において、（ｄ）前記コンピューティング装置が、前記（ｂ）段階及び前記（ｃ）段階を繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成された第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによって第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成された第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによって第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記第Ｎ＿１中間特徴マップ及び前記第Ｎ＿２中間特徴マップを統合することによって第Ｎ＋１ヒューズド特徴マップを生成させ、前記第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによって第Ｎ＋１ヒューズドポイントクラウドマップを生成させる段階；をさらに含むことを特徴とする方法が提供される。
【００１１】
一実施例において、（ｅ）前記コンピューティング装置が、少なくとも一つの出力レイヤをもって、前記第Ｎ＋１ヒューズド特徴マップ及び前記第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な演算のうち少なくとも一部を遂行させる段階；をさらに含むことを特徴とする方法が提供される。
【００１２】
一実施例において、（ｆ）前記コンピューティング装置が、前記出力レイヤにより生成された前記ニューラルネットワークの少なくとも１つの出力が生成されると、前記出力及びそれに対応する少なくとも１つの原本正解を参照して前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部を学習させる段階；をさらに含むことを特徴とする方法が提供される。
【００１３】
一実施例において、前記（ａ）段階で、前記第１ヒューズド特徴マップは、（ｉ）前記オリジナルイメージに含まれた、各ピクセルに対するオリジナル色相情報、及び（ｉｉ）前記レーダまたは前記ライダに隣接した３次元空間上の各位置に対するオリジナル座標情報を参照して取得された、前記各ピクセルに対する前記デプス情報を含み、前記各位置は前記オリジナルポイントクラウドマップに含まれることを特徴とし、前記第１ヒューズドポイントクラウドマップは、（ｉ）前記オリジナル座標情報及び（ｉｉ）前記オリジナル色相情報を参照して取得された、前記各位置に対する前記色相情報を含むことを特徴とする方法が提供される。
【００１４】
一実施例において、前記（ｂ）段階で、前記第１＿１中間特徴マップは、前記第１ヒューズド特徴マップに、少なくとも一つのコンボリューション演算を含む前記第１変換演算を適用することによって生成されることを特徴とする方法が提供される。
【００１５】
一実施例において、前記（ｂ）段階で、前記第１＿１中間特徴マップは、前記第１ヒューズド特徴マップに、少なくとも一つのコンボリューション演算の他に、少なくとも一つのＲｅＬＵ演算及び少なくとも一つのプーリング演算をさらに含む前記第１変換演算を適用することによって生成されることを特徴とする方法が提供される。
【００１６】
一実施例において、前記（ｂ）段階で、前記第１＿２中間特徴マップは、前記第１ヒューズドポイントクラウドマップに、少なくとも一つのニューラルネットワーク演算と、少なくとも一つの逆マッピング演算と、少なくとも一つのコンボリューション演算とを含む前記第２変換演算を適用することによって生成され、前記逆マッピング演算は、（ｉ）前記第１ヒューズドポイントクラウドマップに含まれた、３次元座標に前記色相情報が連動した形態の前記デプス情報と（ｉｉ）前記第１＿１中間特徴マップのそれぞれの特徴とを連動させる演算であることを特徴とする方法が提供される。
【００１７】
一実施例において、前記（ｃ）段階で、前記第２ヒューズド特徴マップは、前記第１＿１中間特徴マップ及び前記第１＿２中間特徴マップをチャンネル方向にコンカチネートすることによって生成されることを特徴とする方法が提供される。
【００１８】
一実施例において、前記（ｃ）段階で、前記マッピング演算は、（ｉ）前記第２ヒューズド特徴マップのそれぞれの特徴値を（ｉｉ）前記レーダまたは前記ライダに隣接した３次元空間上の各位置に連動させる演算であることを特徴とする方法が提供される。
【００１９】
本発明の他の態様によると、少なくとも１つのカメラにより生成された少なくとも１つのイメージと、これに対応する、少なくとも１つのレーダまたはライダにより生成された少なくとも１つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合し、これを利用するテスト方法において、（ａ）（１）学習装置が、少なくとも一つの初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルトレーニングイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのトレーニング用オリジナルポイントクラウドマップと統合して、（ｉ）前記トレーニング用オリジナルポイントクラウドマップに含まれたトレーニング用デプス情報を前記オリジナルトレーニングイメージに追加することによって少なくとも一つのトレーニング用第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルトレーニングイメージに含まれたトレーニング用色相情報を前記トレーニング用オリジナルポイントクラウドマップに追加することによって少なくとも一つのトレーニング用第１ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（２）前記学習装置が、少なくとも一つの変換レイヤをもって、前記トレーニング用第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによってトレーニング用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記トレーニング用第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによってトレーニング用第１＿２中間特徴マップを生成するプロセスを遂行させ、（３）前記学習装置が、少なくとも一つの統合レイヤをもって、前記トレーニング用第１＿１中間特徴マップ及び前記トレーニング用第１＿２中間特徴マップを統合することによってトレーニング用第２ヒューズド特徴マップを生成させ、前記トレーニング用第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによってトレーニング用第２ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（４）前記学習装置が、前記（２）プロセス及び前記（３）プロセスを繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成されたトレーニング用第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってトレーニング用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成されたトレーニング用第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってトレーニング用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記トレーニング用第Ｎ＿１中間特徴マップ及び前記トレーニング用第Ｎ＿２中間特徴マップを統合することによってトレーニング用第Ｎ＋１ヒューズド特徴マップを生成させ、前記トレーニング用第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによってトレーニング用第Ｎ＋１ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（５）前記学習装置が、少なくとも一つの出力レイヤをもって、前記トレーニング用第Ｎ＋１ヒューズド特徴マップ及び前記トレーニング用第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行するプロセスを遂行させ、（６）前記学習装置が、前記出力レイヤにより生成された前記ニューラルネットワークの少なくとも一つの出力が生成されると、前記出力及びそれに対応する少なくとも一つの原本正解を参照して、前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部を学習するプロセスを遂行させた状態で、テスト装置が、前記初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルテストイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのテスト用オリジナルポイントクラウドマップと統合して、（ｉ）前記テスト用オリジナルポイントクラウドマップに含まれたテスト用デプス情報を前記オリジナルテストイメージに追加することにより少なくとも一つのテスト用第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルテストイメージに含まれたテスト用色相情報を前記テスト用オリジナルポイントクラウドマップに追加することによって少なくとも一つのテスト用第１ヒューズドポイントクラウドマップを生成させる段階；（ｂ）前記テスト装置が、前記変換レイヤをもって、前記テスト用第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによってテスト用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記テスト用第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによってテスト用第１＿２中間特徴マップを生成させる段階；（ｃ）前記テスト装置が、前記統合レイヤをもって、前記テスト用第１＿１中間特徴マップ及び前記テスト用第１＿２中間特徴マップを統合することによってテスト用第２ヒューズド特徴マップを生成させ、前記テスト用第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによってテスト用第２ヒューズドポイントクラウドマップを生成させる段階；（ｄ）前記テスト装置が、前記（ｂ）段階及び前記（ｃ）段階を繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成されたテスト用第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってテスト用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成されたテスト用第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってテスト用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記テスト用第Ｎ＿１中間特徴マップ及び前記テスト用第Ｎ＿２中間特徴マップを統合することによってテスト用第Ｎ＋１ヒューズド特徴マップを生成させ、前記テスト用第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによってテスト用第Ｎ＋１ヒューズドポイントクラウドマップを生成させる段階；（ｅ）前記テスト装置が、前記出力レイヤをもって、前記テスト用第Ｎ＋１ヒューズド特徴マップ及び前記テスト用第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行させる段階；を含むことを特徴とするテスト方法が提供される。
【００２０】
本発明のまた他の態様によると、少なくとも１つのカメラにより生成された少なくとも１つのイメージと、これに対応する、少なくとも１つのレーダまたはライダにより生成された少なくとも１つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合するコンピューティング装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）少なくとも一つの初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのオリジナルポイントクラウドマップと統合して、（ｉ）前記オリジナルポイントクラウドマップに含まれたデプス情報を前記オリジナルイメージに追加することによって少なくとも一つの第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルイメージに含まれた色相情報を前記オリジナルポイントクラウドマップに追加することによって少なくとも一つの第１ヒューズドポイントクラウドマップを生成させるプロセス；（ＩＩ）少なくとも一つの変換レイヤをもって、前記第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによって第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによって第１＿２中間特徴マップを生成させるプロセス；（ＩＩＩ）少なくとも一つの統合レイヤをもって、前記第１＿１中間特徴マップ及び前記第１＿２中間特徴マップを統合することによって第２ヒューズド特徴マップを生成させ、前記第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによって第２ヒューズドポイントクラウドマップを生成させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするコンピューティング装置が提供される。
【００２１】
一実施例において、（ＩＶ）前記プロセッサが、前記（ＩＩ）プロセス及び前記（ＩＩＩ）プロセスを繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成された第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによって第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成された第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによって第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記第Ｎ＿１中間特徴マップ及び前記第Ｎ＿２中間特徴マップを統合することによって第Ｎ＋１ヒューズド特徴マップを生成させ、前記第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによって第Ｎ＋１ヒューズドポイントクラウドマップを生成させるプロセス；をさらに遂行することを特徴とするコンピューティング装置が提供される。
【００２２】
一実施例において、（Ｖ）前記プロセッサが、少なくとも一つの出力レイヤをもって、前記第Ｎ＋１ヒューズド特徴マップ及び前記第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行させるプロセス；をさらに遂行することを特徴とするコンピューティング装置が提供される。
【００２３】
一実施例において、（ＶＩ）前記プロセッサが、前記出力レイヤにより生成された前記ニューラルネットワークの少なくとも一つの出力が生成されると、前記出力及びそれに対応する少なくとも一つの原本正解を参照して前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部を学習させるプロセス；をさらに遂行することを特徴とするコンピューティング装置が提供される。
【００２４】
一実施例において、前記（Ｉ）プロセスで、前記第１ヒューズド特徴マップは、（ｉ）前記オリジナルイメージに含まれた、各ピクセルに対するオリジナル色相情報、及び（ｉｉ）前記レーダまたは前記ライダに隣接した３次元空間上の各位置に対するオリジナル座標情報を参照して取得された、前記各ピクセルに対する前記デプス情報を含み、前記各位置は前記オリジナルポイントクラウドマップに含まれることを特徴とし、前記第１ヒューズドポイントクラウドマップは、（ｉ）前記オリジナル座標情報及び（ｉｉ）前記オリジナル色相情報を参照して取得された、前記各位置に対する前記色相情報を含むことを特徴とするコンピューティング装置が提供される。
【００２５】
一実施例において、前記（ＩＩ）プロセスで、前記第１＿１中間特徴マップは、前記第１ヒューズド特徴マップに、少なくとも一つのコンボリューション演算を含む前記第１変換演算を適用することによって生成されることを特徴とするコンピューティング装置が提供される。
【００２６】
一実施例において、前記（ＩＩ）プロセスで、前記第１＿１中間特徴マップは、前記第１ヒューズド特徴マップに、少なくとも一つのコンボリューション演算の他に、少なくとも一つのＲｅＬＵ演算及び少なくとも一つのプーリング演算をさらに含む前記第１変換演算を適用することによって生成されることを特徴とするコンピューティング装置が提供される。
【００２７】
一実施例において、前記（ＩＩ）プロセスで、前記第１＿２中間特徴マップは、前記第１ヒューズドポイントクラウドマップに、少なくとも一つのニューラルネットワーク演算と、少なくとも一つの逆マッピング演算と、少なくとも一つのコンボリューション演算とを含む前記第２変換演算を適用することによって生成され、前記逆マッピング演算は、（ｉ）前記第１ヒューズドポイントクラウドマップに含まれた、３次元座標に前記色相情報が連動した形態の前記デプス情報と（ｉｉ）前記第１＿１中間特徴マップのそれぞれの特徴とを連動させる演算であることを特徴とするコンピューティング装置が提供される。
【００２８】
一実施例において、前記（ＩＩＩ）プロセスで、前記第２ヒューズド特徴マップは、前記第１＿１中間特徴マップ及び前記第１＿２中間特徴マップをチャンネル方向にコンカチネートすることによって生成されることを特徴とするコンピューティング装置が提供される。
【００２９】
一実施例において、前記（ＩＩＩ）プロセスで、前記マッピング演算は、（ｉ）前記第２ヒューズド特徴マップのそれぞれの特徴値を（ｉｉ）前記レーダまたは前記ライダに隣接した３次元空間上の各位置に連動させる演算であることを特徴とするコンピューティング装置が提供される。
【００３０】
本発明のまた他の態様によると、少なくとも１つのカメラにより生成された少なくとも１つのイメージと、これに対応する、少なくとも１つのレーダまたはライダにより生成された少なくとも１つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合し、これを利用するテスト装置において、各インストラクションを格納する少なくとも一つのメモリと、（１）学習装置が、少なくとも一つの初期演算レイヤをもって、前記カメラにより生成された一つ以上のオリジナルトレーニングイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのトレーニング用オリジナルポイントクラウドマップと統合して、（ｉ）前記トレーニング用オリジナルポイントクラウドマップに含まれたトレーニング用デプス情報を前記オリジナルトレーニングイメージに追加することによって少なくとも一つのトレーニング用第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルトレーニングイメージに含まれたトレーニング用色相情報を前記トレーニング用オリジナルポイントクラウドマップに追加することによって少なくとも一つのトレーニング用第１ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（２）前記学習装置が、少なくとも一つの変換レイヤをもって、前記トレーニング用第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによってトレーニング用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記トレーニング用第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによってトレーニング用第１＿２中間特徴マップを生成するプロセスを遂行させ、（３）前記学習装置が、少なくとも一つの統合レイヤをもって、前記トレーニング用第１＿１中間特徴マップ及び前記トレーニング用第１＿２中間特徴マップを統合することによってトレーニング用第２ヒューズド特徴マップを生成させ、前記トレーニング用第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによってトレーニング用第２ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（４）前記学習装置が、前記（２）プロセス及び前記（３）プロセスを繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成されたトレーニング用第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってトレーニング用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成されたトレーニング用第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってトレーニング用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記トレーニング用第Ｎ＿１中間特徴マップ及び前記トレーニング用第Ｎ＿２中間特徴マップを統合することによってトレーニング用第Ｎ＋１ヒューズド特徴マップを生成させ、前記トレーニング用第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによってトレーニング用第Ｎ＋１ヒューズドポイントクラウドマップを生成するプロセスを遂行させ、（５）前記学習装置が、少なくとも一つの出力レイヤをもって、前記トレーニング用第Ｎ＋１ヒューズド特徴マップ及び前記トレーニング用第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行するプロセスを遂行させ、（６）前記学習装置が、前記出力レイヤにより生成された前記ニューラルネットワークの少なくとも一つの出力が生成されると、前記出力及びそれに対応する少なくとも一つの原本正解を参照して前記ニューラルネットワークの一つ以上のパラメータの少なくとも一部を学習するプロセスを遂行させた状態で、少なくとも一つのプロセッサが、（Ｉ）前記初期演算レイヤをもって、前記カメラにより生成された一つ以上のオリジナルテストイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのテスト用オリジナルポイントクラウドマップと統合して、（ｉ）前記テスト用オリジナルポイントクラウドマップに含まれたテスト用デプス情報を前記オリジナルテストイメージに追加することにより少なくとも一つのテスト用第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルテストイメージに含まれたテスト用色相情報を前記テスト用オリジナルポイントクラウドマップに追加することによって少なくとも一つのテスト用第１ヒューズドポイントクラウドマップを生成させるプロセス；（ＩＩ）前記変換レイヤをもって、前記テスト用第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによって、テスト用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記テスト用第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによってテスト用第１＿２中間特徴マップを生成させるプロセス；（ＩＩＩ）前記統合レイヤをもって、前記テスト用第１＿１中間特徴マップ及び前記テスト用第１＿２中間特徴マップを統合することによってテスト用第２ヒューズド特徴マップを生成させ、前記テスト用第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによってテスト用第２ヒューズドポイントクラウドマップを生成させるプロセス；（ＩＶ）前記（ＩＩ）プロセス及び前記（ＩＩＩ）プロセスを繰り返した結果、（ｉ）前記変換レイヤをもって、前記統合レイヤにより生成されたテスト用第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってテスト用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤにより生成されたテスト用第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってテスト用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤをもって、前記テスト用第Ｎ＿１中間特徴マップ及び前記テスト用第Ｎ＿２中間特徴マップを統合することによってテスト用第Ｎ＋１ヒューズド特徴マップを生成させ、前記テスト用第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによってテスト用第Ｎ＋１のピュージュドゥポイントクラウドマップを生成させるプロセス；（Ｖ）前記出力レイヤをもって、前記テスト用第Ｎ＋１ヒューズド特徴マップ及び前記テスト用第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするテスト装置が提供される。
【発明の効果】
【００３１】
本発明は、カメラにより生成されたイメージと、それに対応する、レーダ、ライダ又は異種センサフュージョンにより生成されたポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法を提供することにより、ＣＮＮがカメラにより生成された情報とレーダ、ライダ又は異種センサフュージョンにより生成された情報とを統合して演算することができるようにする効果がある。
【００３２】
また、本発明は、ＨＤマップアップデートのために使用され得、距離予測とともに物体検出及びセグメンテーションを改善するのにも効果がある。
【図面の簡単な説明】
【００３３】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの各図面に基づいて他の各図面が得られ得る。
【００３４】
【図１】本発明の一実施例にしたがって、少なくとも一つのカメラにより生成された少なくとも一つのイメージと、それに対応する、少なくとも一つのレーダまたはライダにより生成された少なくとも一つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法を遂行するコンピューティング装置の構成を示した図面である。
【図２】本発明の一実施例にしたがって、カメラにより生成されたイメージと、それに対応する、レーダまたはライダにより生成されたポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法を遂行するニューラルネットワークの構成を示した図面である。
【図３】本発明の一実施例にしたがって、カメラにより生成されたイメージと、それに対応する、レーダまたはライダにより生成されたポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法を遂行する少なくとも一つの初期演算レイヤにより生成された第１ヒューズド特徴マップ及び第１ヒューズドポイントクラウドマップを示した図面である。
【図４】本発明の一実施例にしたがって、カメラにより生成されたイメージと、それに対応する、レーダまたはライダにより生成されたポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する例を示した図面である。
【図５】本発明の一実施例にしたがって、カメラにより生成されたイメージと、それに対応する、レーダまたはライダにより生成されたポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法の一部としての第２変換演算を示した図面である。
【発明を実施するための形態】
【００３５】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００３６】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３７】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３８】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００３９】
図１は、本発明の一実施例にしたがって、少なくとも一つのカメラにより生成された少なくとも一つのイメージと、それに対応する、少なくとも一つのレーダまたはライダにより生成された少なくとも一つのポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法を遂行するコンピューティング装置の構成を示した図面である。
【００４０】
図１を参照すると、コンピューティング装置１００は、追って詳しく説明する構成要素であるニューラルネットワーク２００を含むことができる。ニューラルネットワーク２００及びニューラルネットワーク２００に含まれた、追って説明される各レイヤの入出力及び演算の過程は、それぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、少なくとも一つのメモリ１１５は、後述する様々なインストラクションを予め格納した状態であり得、プロセッサ１２０は、メモリ１１５に格納された各インストラクションを実行するように設定され、プロセッサ１２０は、追って説明するプロセスを遂行することにより本発明を遂行することができる。このように学習装置１００が描写されたからといって、コンピューティング装置１００が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
【００４１】
また、図１を参照すると、コンピューティング装置１００は、（ｉ）少なくとも一つのカメラ３００及び（ｉｉ）少なくとも一つのレーダまたはライダ４００を通じてデータを取得することができる。このような連結関係は、カメラ３００及びレーダまたはライダ４００を通じてリアルタイムにコンピューティング装置１００がデータを取得することのみを意味するのではない。特に、コンピューティング装置１００が、追って説明する学習過程を遂行する場合には、（ｉ）カメラ３００により生成されたデータの形式を有する少なくとも一つのトレーニング用オリジナルイメージ、及び（ｉｉ）レーダまたはライダ４００により生成されたデータの形式を有する少なくとも一つのトレーニング用オリジナルポイントクラウドマップを、カメラ３００及びレーダまたはライダ４００ではなく外部から取得することもできるであろう。
【００４２】
以上、コンピューティング装置１００の全体的な構成について説明したところ、そのうち核心的な役割を遂行するニューラルネットワーク２００の構造を説明するために、図２を参照することにする。
【００４３】
図２は、本発明の一実施例にしたがって、カメラにより生成されたイメージと、それに対応する、レーダまたはライダにより生成されたポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法を遂行するニューラルネットワークの構成を示した図面である。
【００４４】
図２を参照すると、ニューラルネットワーク２００は、少なくとも一つの初期演算レイヤ２１０と、少なくとも一つの変換レイヤ２２０と、少なくとも一つの統合レイヤ２３０と、少なくとも一つの出力レイヤ２４０とを含むことができる。それぞれのレイヤの役割については、具体的に本発明の一実施例による統合方法を説明しながら併せて説明することにする。
【００４５】
以上、本発明の構成要素について説明したところ、具体的な本発明の一実施例による統合方法について説明するが、その前にこれを説明するために本明細書で使用する特有の表記法（ｎｏｔａｔｉｏｎ）について説明することにする。
【００４６】
以下の図面及び詳細な説明において、［Ａ、Ｂ］及び［Ｃ、Ｄ、Ｅ］形態の表記法を確認することができるはずである。ここで、［Ａ、Ｂ］表記法は、ポイントクラウドマップを描写するために使用されるものであり、［Ｃ、Ｄ、Ｅ］表記法は、イメージまたは特徴マップを表示するために使用されるものである。具体的に、［Ａ、Ｂ］表記法において、Ｂ部分は当該ポイントクラウドマップに含まれている座標の個数を意味し、Ａ部分は各座標に対応する各値のチャンネル数を意味し得る。例えば、［３、Ｍ］であるポイントクラウドマップがあるとすれば、当該ポイントクラウドマップには座標がＭ個存在し、それぞれの座標に３個のチャンネルの値が連動した状態で存在するということである。［Ｃ、Ｄ、Ｅ］表記法において、Ｄは当該イメージまたは当該特徴マップの第１軸方向特徴値の数を意味し、Ｅは当該イメージまたは当該特徴マップの第２軸方向特徴値の数を意味し得る。Ｃは特徴マップに含まれているそれぞれの特徴値のチャンネル数を意味し得る。前記第１軸及び前記第２軸はｙ軸及びｘ軸であり得、それ以外に座標を表現するための何らかの軸であり得る。例えば、［４、ｈ、ｗ］である特徴マップがあるとすれば、特徴マップのｘ軸方向ピクセル数はｗであり、ｙ軸方向ピクセル数はｈであり、そのチャンネル数は４である特徴マップであり得る。
【００４７】
また、追って詳細に説明する少なくとも１つのマップピング演算及び少なくとも１つの逆マッピング（ｉｎｖｅｒｓｅ  ｍａｐｐｉｎｇ）演算があるが、マッピング演算とは、特徴マップの形態を有するデータをポイントクラウドマップの形態を有するデータに変換する演算であり得、逆マッピング演算とは、反対にポイントクラウドマップの形態を有するデータを特徴マップの形態を有するデータに変換する演算であり得る。
【００４８】
以下、図３、図４及び図５を参照して本発明の一実施例による統合方法について説明することにする。
【００４９】
図３は、本発明の一実施例にしたがって、カメラにより生成されたイメージと、それに対応する、レーダまたはライダにより生成されたポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法を遂行する少なくとも一つの初期演算レイヤにより生成された第１ヒューズド特徴マップ及び第１ヒューズドポイントクラウドマップを示した図面である。
【００５０】
図３を参照すると、本発明の統合方法を遂行するために、コンピューティング装置１００が、初期演算レイヤ２１０をもって、オリジナルイメージ及びオリジナルポイントクラウドマップを取得した後、これらを統合して第１ヒューズド特徴マップ２０１＿１及び第１ヒューズドポイントクラウドマップ２０２＿１を生成させることができる。オリジナルイメージ及びオリジナルポイントクラウドマップは、前述したようにカメラ３００及びレーダまたはライダ４００を通じて直接取得されるか、任意の外部でトレーニング用データとして取得され得るであろう。
【００５１】
まず、第１ヒューズド特徴マップ２０１＿１の生成過程をさらに具体的に説明すると、初期演算レイヤ２１０は、オリジナルイメージに含まれたそれぞれのピクセルをオリジナルポイントクラウドマップに含まれたそれぞれの座標に対応させるようにすることができる。以後、オリジナルイメージに含まれたそれぞれのピクセルに対応する、オリジナルポイントクラウドマップに含まれているオリジナル座標情報を参照して、オリジナルイメージに含まれているそれぞれのピクセルに関するデプス情報を生成することができる。以後、初期演算レイヤ２１０は、デプス情報をそれぞれのピクセルに対応するオリジナル色相情報に追加することにより、第１ヒューズド特徴マップ２０１＿１を生成することができるのである。すなわち、第１ヒューズド特徴マップ２０１＿１は、オリジナルイメージにデプスチャンネルが追加され、当該デプスチャンネルに各ピクセルに対応するデプス情報が追加されたものと同じである。前述した表記法を活用すると、第１ヒューズド特徴マップ２０１＿１は、［3, h_1, w_1］の形態を有するオリジナルイメージにデプス情報が追加されて、チャンネルが一つ追加された形態である［4, h_1, w_1］の形態を有することができるであろう。
【００５２】
次に、第１ヒューズドポイントクラウドマップ２０２＿１の生成過程について検討してみると、オリジナルポイントクラウドマップが［３、Ｍ］の形態を有する場合、初期演算レイヤ２１０は、［3, h_1, w_1］の形態を有するオリジナルイメージに含まれた各ピクセルをオリジナルポイントクラウドマップに含まれたＭ個の座標に対応させた後、前記オリジナルイメージに含まれたオリジナル色相情報を参照して取得された、それぞれのＭ座標に対応する色相情報をオリジナルポイントクラウドマップに追加することにより第１ヒューズドポイントクラウドマップ２０２＿１を生成することができる。ここで、第１ヒューズドポイントクラウドマップ２０２＿１は、それぞれのオリジナル座標情報に、それぞれのＭ座標に対応する色相情報の各部分が追加された形態であるので、［６、Ｍ］の形態を有するであろう。
【００５３】
また、図４を参照すると、第１ヒューズド特徴マップ２０１＿１及び第１ヒューズドポイントクラウドマップ２０２＿１が、先に説明したように生成されると、コンピューティング装置１００は変換レイヤ２２０をもって、第１ヒューズド特徴マップ２０１＿１に少なくとも一つの第１変換演算を適用することによって第１＿１中間特徴マップ２０３＿１を生成させ、第１ヒューズドポイントクラウドマップ２０２＿１に少なくとも一つの第２変換演算を適用することによって第１＿２中間特徴マップ２０４＿１を生成させることができる。
【００５４】
本発明による一実施例において、中間特徴マップは、ニューラルネットワーク２００のそれぞれのコンボリューションステージにおいて対で生成され得る。
【００５５】
ここで、第１変換演算は少なくとも一つのコンボリューション演算を含むことができ、それ以外に少なくとも一つのＲｅＬＵ演算及び少なくとも一つのプーリング演算をさらに含むことができる。第１変換演算によって、［4, h_1, w_1］の形態を有する第１ヒューズド特徴マップ２０１＿１を［c_2,h_2,w_2］の形態を有する第１＿１中間特徴マップ２０３＿１に変換することができる。特徴マップのサイズを減らし、そのチャンネルの数を増やすコンボリューション演算によって、h_2及びw_2はそれぞれh_1及びw_1より小さくてよく、c_2は４より大きくてよい。
【００５６】
また、第２変換演算は、前述したように、第１ヒューズドポイントクラウドマップ２０２＿１を第１＿２中間特徴マップ２０４＿１に変換することができる。これを説明するために、図５を参照することにする。
【００５７】
図５は、本発明の一実施例にしたがって、カメラにより生成されたイメージと、それに対応する、レーダまたはライダにより生成されたポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法の一部としての第２変換演算を示した図面である。
【００５８】
第２変換演算は、少なくとも一つのニューラルネットワーク演算と、少なくとも一つの逆マッピング演算と、少なくとも一つのコンボリューション演算とを含むことができる。まず、ニューラルネットワーク演算は［６、Ｍ］の形態を有する第１ヒューズドポイントクラウドマップ２０２＿１を［f_2、Ｍ］の形態を有する臨時ポイントクラウドマップに変換することができる。これは、追って説明する出力レイヤ２４０が遂行する機能によって、出力レイヤ２４０に入力される第Ｎ＋１ヒューズド特徴マップ及び第Ｎ＋１ヒューズドポイントクラウドマップのチャンネル数を決定するためである。したがって、f_2は６より大きくてもよく小さくてもよい。ニューラルネットワーク演算は、このように各座標に連動した値のチャンネル数を変更することができる。
【００５９】
以後、前述した逆マッピング演算が前記臨時ポイントクラウドマップに適用され得る。これは、第１ヒューズドポイントクラウドマップ２０２＿１に含まれた、３次元座標に色相情報が連動した形態の情報を第１＿１中間特徴マップ２０３＿１のような第１軸及び第２軸方向の長さを有する特徴マップに変換することができる。前述の表記法を使用して、臨時ポイントクラウドマップは、［f_2, M］の形態を有するが、これは［f_2, h_2, w_2］の形態を有する臨時特徴マップに変換されるであろう。第１軸方向の長さと第２軸方向の長さがそれぞれh_2, w_2であり、これは、第１＿１中間特徴マップ２０３＿１と同じであるが、これは後に説明するチャンネルごとのコンカチネートを容易にするためである。ただし、逆マッピング演算の場合、前述したコンボリューション演算を経てサイズが小さくなった第１＿１中間特徴マップ２０３＿１のサイズに対応するように臨時ポイントクラウドマップを変換するものであることから、特徴値の個数が臨時ポイントクラウドマップに含まれた座標の個数より少ないことがある。このような場合、臨時ポイントクラウドマップに含まれている複数個の座標に対応する複数の値は一つの特徴値に対応し得、ここで前記複数の値に対する平均値を当該特徴値として使用することができる。
【００６０】
そして、さらにコンボリューション演算を臨時特徴マップに適用することができる。これは、臨時ポイントクラウドマップの各値を臨時特徴マップに逆マッピングをする際に、臨時ポイントクラウドマップの値から計算することができない臨時特徴マップの値を出力するためのものである。すなわち、臨時ポイントクラウドマップの各値を臨時特徴マップに逆マッピングした後、空いている各特徴値をコンボリューション演算でスムーズに満たすのである。ここで、コンボリューション演算によって臨時特徴マップが第１＿２中間特徴マップ２０４＿１に変換されるに伴って大きさが変わるか又はチャンネル数が変わりはしないので、第１＿２中間特徴マップ２０４＿１は臨時特徴マップのように［f_2, h_2, w_2］の形態を有するようになる。
【００６１】
このような第２変換演算を通じて、第１＿２中間特徴マップ２０４＿１が生成されると、コンピューティング装置１００は、統合レイヤ２３０をもって、第１＿１中間特徴マップ２０３＿１及び第１＿２中間特徴マップ２０４＿１を統合することにより第２ヒューズド特徴マップ２０１＿２を生成させ、第２ヒューズド特徴マップ２０１＿２にマッピング演算を適用することによって第２ヒューズドポイントクラウドマップ２０２＿２を生成させることができる。
【００６２】
ここで、第２ヒューズド特徴マップ２０１＿２は、第１＿１中間特徴マップ２０３＿１及び第１＿２中間特徴マップ２０４＿１を、チャンネル方向にコンカチネートすることにより生成され得る。チャンネルの方向にコンカチネートした結果、［c_2,h_2,w_2］の形態を有する第１＿１中間特徴マップ２０３＿１と［f_2, h_2, w_2］の形態を有する第１＿２中間特徴マップ２０４＿１とを統合して［c_2+f_2,h_2,w_2］の形態を有する第２ヒューズド特徴マップ２０１＿２が生成される。
【００６３】
第２ヒューズドポイントクラウドマップ２０２＿２は、前記のように生成された第２ヒューズド特徴マップ２０１＿２にマッピング演算を適用することによって生成されるが、マッピング演算は、第２ヒューズド特徴マップ２０１＿２に含まれているそれぞれの特徴値をレーダまたはライダ４００に隣接した３次元空間上の各地点に連動させることができる。前述した表記法を再び使用して、第２ヒューズド特徴マップ２０１＿２が［c_2+f_2,h_2,w_2］の形態を有している場合、第２ヒューズドポイントクラウドマップ２０２＿２は［c_2+f_2,M］の形態を有することができる。すなわち、第２ヒューズド特徴マップ２０１＿２に含まれているそれぞれの特徴値を、オリジナルポイントクラウドマップ及び第１ヒューズドポイントクラウドマップ２０２＿１に含まれているようなそれぞれの座標情報に連動されるようにするということである。
【００６４】
前記のように第２ヒューズド特徴マップ２０１＿２及び第２ヒューズドポイントクラウドマップ２０２＿２が生成されると、コンピューティング装置１００は変換レイヤ２２０及び統合レイヤ２３０をもって、第２ヒューズド特徴マップ２０１＿２及び第２ヒューズドポイントクラウドマップ２０２＿２に、第１ヒューズド特徴マップ２０１＿１及び第１ヒューズドポイントクラウドマップ２０２＿１に適用した各演算を適用することによって第３ヒューズド特徴マップ（図示せず）及び第３ヒューズドポイントクラウドマップ（図示せず）を生成させることができる。このような過程を繰り返して、第Ｎヒューズド特徴マップ２０１＿Ｎ及び第Ｎヒューズドポイントクラウドマップ２０２＿Ｎが生成されると、コンピューティング装置１００は、第Ｎヒューズド特徴マップ２０１＿Ｎに少なくとも一つの第１変換演算を適用することによって第Ｎ＿１中間特徴マップ２０３＿Ｎを生成させ、第Ｎヒューズドポイントクラウドマップ２０２＿Ｎに少なくとも一つの第２変換演算を適用することによって第Ｎ＿２中間特徴マップ２０４＿Ｎを生成させた後、第Ｎ＿１中間特徴マップ２０３＿Ｎ及び第Ｎ＿２中間特徴マップ２０４＿Ｎを統合することにより第Ｎ＋１ヒューズド特徴マップ２０１＿（Ｎ＋１）を生成させ、第Ｎ＋１ヒューズド特徴マップ２０１＿（Ｎ＋１）にマッピング演算を適用することによって第Ｎ＋１ヒューズドポイントクラウドマップ２０２＿（Ｎ＋１）を生成させることができる。
【００６５】
以後、コンピューティング装置１００は、出力レイヤ２４０をもって、第Ｎ＋１ヒューズド特徴マップ２０１＿（Ｎ＋１）及び第Ｎ＋１ヒューズドポイントクラウドマップ２０２＿（Ｎ＋１）のうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な演算のうち少なくとも一部を遂行させることができる。その他の例として、コンピューティング装置１００は、出力レイヤ２４０をもって、第Ｎ＋１ヒューズド特徴マップ２０１＿（Ｎ＋１）及び第Ｎ＋１ヒューズドポイントクラウドマップ２０２＿（Ｎ＋１）を使用する代わりに、その前段階で生成されたヒューズド特徴マップ及びヒューズドポイントクラウドマップを使用させることができる。
【００６６】
以後、出力レイヤにより生成された前記ニューラルネットワーク２００の少なくとも一つの出力が生成されると、コンピューティング装置１００は、前記出力及びそれに対応する少なくとも一つの原本正解を参照して、一つ以上のロスを計算することができ、前記ロスを参照して前記ニューラルネットワーク２００の一つ以上のパラメータの少なくとも一部を学習することができる。
【００６７】
結果として、前記コンボリューション演算及びニューラルネットワーク演算のパラメータは、自律走行車両に必要な演算に合わせて最適化され得るであろう。
【００６８】
以上、コンピューティング装置１００の学習過程について説明したところ、以下、コンピューティング装置１００のテスト過程について説明することにする。以下ではコンピューティング装置１００という用語の代わりに学習装置、テスト装置という用語を使用するが、学習過程を全て終える前のコンピューティング装置１００を学習装置として、学習過程を全て終えた後のコンピューティング装置１００をテスト装置として理解することができるであろう。
【００６９】
参考までに、後述する説明において混同を防止するために、トレーニングプロセスに関する用語には「トレーニング用」という文句が追加され、テストプロセスに関する用語には「テスト用」という文句が追加された。
【００７０】
（ａ）（１）学習装置１００が、初期演算レイヤ２１０をもって、前記カメラ３００により生成された少なくとも一つのオリジナルトレーニングイメージを、これに対応する、前記レーダまたは前記ライダ４００により生成された少なくとも一つのトレーニング用オリジナルポイントクラウドマップと統合して、（ｉ）前記トレーニング用オリジナルポイントクラウドマップに含まれているトレーニング用デプス情報を前記オリジナルトレーニングイメージに追加することによって少なくとも一つのトレーニング用第１フューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルトレーニングイメージに含まれているトレーニング用色相情報を前記トレーニング用オリジナルポイントクラウドマップに追加することによって少なくとも一つのトレーニング用第１フューズドポイントクラウドマップを生成させ、（２）前記学習装置１００が、少なくとも一つの変換レイヤ２２０をもって、前記トレーニング用第１フューズド特徴マップに少なくとも一つの第１変換演算を適用することによってトレーニング用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記トレーニング用第１フューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによってトレーニング用第１＿２中間特徴マップを生成させ、（３）前記学習装置１００が、少なくとも一つの統合レイヤ２３０をもって、前記トレーニング用第１＿１中間特徴マップ及び前記トレーニング用第１＿２中間特徴マップを統合することによってトレーニング用第２フューズド特徴マップを生成させ、前記トレーニング用第２フューズド特徴マップに少なくとも一つのマッピング演算を適用することによってトレーニング用第２フューズドポイントクラウドマップを生成させ、（４）前記学習装置１００が、前記（２）段階及び前記（３）段階を繰り返した結果、（ｉ）前記変換レイヤ２２０をもって、前記統合レイヤ２３０により生成されたトレーニング用第Ｎフューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってトレーニング用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤ２３０により生成されたトレーニング用第Ｎフューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってトレーニング用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤ２３０をもって、前記トレーニング用第Ｎ＿１中間特徴マップ及び前記トレーニング用第Ｎ＿２中間特徴マップを統合することによってトレーニング用第Ｎ＋１フューズド特徴マップを生成させ、前記トレーニング用第Ｎ＋１フューズド特徴マップに前記マッピング演算を適用することによってトレーニング用第Ｎ＋１フューズドポイントクラウドマップを生成させ、（５）前記学習装置１００が、少なくとも一つの出力レイヤ２４０をもって、前記トレーニング用第Ｎ＋１フューズド特徴マップ及び前記トレーニング用第Ｎ＋１フューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行するようにし、（６）前記学習装置１００が、前記出力レイヤ２４０により生成された前記ニューラルネットワーク２００のうち少なくとも一つの出力が生成されると、前記出力及びそれに対応する少なくとも一つの原本正解を参照して、前記ニューラルネットワークの一つ以上のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、前記初期演算レイヤ２１０をもって、前記カメラにより生成された一つ以上のオリジナルテストイメージを、これに対応する、前記レーダまたは前記ライダにより生成された少なくとも一つのテスト用オリジナルポイントクラウドマップと統合して、（ｉ）前記テスト用オリジナルポイントクラウドマップに含まれたテスト用デプス情報を前記オリジナルテストイメージに追加することにより少なくとも一つのテスト用第１フューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルテストイメージに含まれたテスト用色相情報を前記テスト用オリジナルポイントクラウドマップに追加することによって少なくとも一つのテスト用第１フューズドポイントクラウドマップを生成させることができる。
【００７１】
その後、（ｂ）前記テスト装置が前記変換レイヤ２２０をもって、前記テスト用第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによってテスト用第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記テスト用第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによって、テスト用第１＿２中間特徴マップを生成させることができる。
【００７２】
また、（ｃ）前記テスト装置が、前記統合レイヤ２３０をもって、前記テスト用第１＿１中間特徴マップ及び前記テスト用第１＿２中間特徴マップを統合することによってテスト用第２ヒューズド特徴マップを生成させ、前記テスト用第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによってテスト用第２ヒューズドポイントクラウドマップを生成させることができる。
【００７３】
以後、（ｄ）前記テスト装置が、前記（ｂ）段階及び前記（ｃ）段階を繰り返した結果、（ｉ）前記変換レイヤ２２０をもって、前記統合レイヤ２３０により生成されたテスト用第Ｎヒューズド特徴マップに少なくとも一つの前記第１変換演算を適用することによってテスト用第Ｎ＿１中間特徴マップを生成させ、前記統合レイヤ２３０により生成されたテスト用第Ｎヒューズドポイントクラウドマップに少なくとも一つの前記第２変換演算を適用することによってテスト用第Ｎ＿２中間特徴マップを生成させ、（ｉｉ）前記統合レイヤ２３０をもって、前記テスト用第Ｎ＿１中間特徴マップ及び前記テスト用第Ｎ＿２中間特徴マップを統合することによってテスト用第Ｎ＋１ヒューズド特徴マップを生成させ、前記テスト用第Ｎ＋１ヒューズド特徴マップに前記マッピング演算を適用することによってテスト用第Ｎ＋１ヒューズドポイントクラウドマップを生成させることができる。
【００７４】
また、（ｅ）前記テスト装置が、前記出力レイヤ２４０をもって、前記テスト用第Ｎ＋１ヒューズド特徴マップ及び前記テスト用第Ｎ＋１ヒューズドポイントクラウドマップのうち少なくとも一部を参照して、物体検出と、セマンティックセグメンテーションと、デプス予測とのうち少なくとも一部を含む、車両の自律走行に必要な各演算のうち少なくとも一部を遂行させることができる。
【００７５】
このように車両の自律走行に必要な当該演算に合わせて最適化されたパラメータを参照して、カメラ３００により生成されたイメージとレーダまたはライダ４００により生成されたポイントクラウドマップとを統合して利用することにより、ニューラルネットワーク２００ははるかに好ましい性能を出すことができるであろう。
【００７６】
本発明の技術分野における通常の技術者に理解され得るところとして、上記で説明されたイメージ、例えば、オリジナルイメージ、オリジナルラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
【００７７】
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００７８】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００７９】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【００８０】
［付記］
本発明は、カメラから取得されたイメージと、それに対応するレーダまたはライダを通じて取得されたポイントクラウドマップをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ  ＭＥＴＨＯＤ  ＡＮＤ  ＬＥＡＲＮＩＮＧ  ＤＥＶＩＣＥ  ＦＯＲ  ＩＮＴＥＧＲＡＴＩＮＧ  ＩＭＡＧＥ  ＡＣＱＵＩＲＥＤ  ＢＹ  ＣＡＭＥＲＡ  ＡＮＤ  ＰＯＩＮＴ−ＣＬＯＵＤ  ＭＡＰ  ＡＣＱＵＩＲＥＤ  ＢＹ  ＲＡＤＡＲ  ＯＲ  ＬＩＤＡＲ  ＣＯＲＲＥＳＰＯＮＤＩＮＧ  ＴＯ  ＩＭＡＧＥ  ＡＴ  ＥＡＣＨ  ＯＦ  ＣＯＮＶＯＬＵＴＩＯＮ  ＳＴＡＧＥＳ  ＩＮ  ＮＥＵＲＡＬ  ＮＥＴＷＯＲＫ  ＡＮＤ  ＴＥＳＴＩＮＧ  ＭＥＴＨＯＤ  ＡＮＤ  ＴＥＳＴＩＮＧ  ＤＥＶＩＣＥ  ＵＳＩＮＧ  ＴＨＥ  ＳＡＭＥ｝に関する。
【００８１】
特に、本発明は、カメラにより生成されたイメージと、それに対応する、レーダまたはライダにより生成されたポイントクラウドマップとをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する方法において、（ａ）コンピューティング装置が、少なくとも一つの初期演算レイヤをもって、前記カメラにより生成された少なくとも一つのオリジナルイメージを、これに対応する前記レーダまたは前記ライダにより生成された少なくとも一つのオリジナルポイントクラウドマップと統合して、（ｉ）前記オリジナルポイントクラウドマップに含まれたデプス情報を前記オリジナルイメージに追加することによって少なくとも一つの第１ヒューズド（ｆｕｓｅｄ）特徴マップ、及び（ｉｉ）前記オリジナルイメージに含まれた色相情報を前記オリジナルポイントクラウドマップに追加することによって少なくとも一つの第１ヒューズドポイントクラウドマップを生成させる段階；（ｂ）前記コンピューティング装置が、少なくとも一つの変換レイヤをもって、前記第１ヒューズド特徴マップに少なくとも一つの第１変換演算を適用することによって第１＿１中間（ｉｎｔｅｒｍｅｄｉａｔｅ）特徴マップを生成させ、前記第１ヒューズドポイントクラウドマップに少なくとも一つの第２変換演算を適用することによって第１＿２中間特徴マップを生成させる段階；及び（ｃ）前記コンピューティング装置が、少なくとも一つの統合レイヤをもって、前記第１＿１中間特徴マップ及び前記第１＿２中間特徴マップを統合することによって第２ヒューズド特徴マップを生成させ、前記第２ヒューズド特徴マップに少なくとも一つのマッピング演算を適用することによって第２ヒューズドポイントクラウドマップを生成させる段階；を含むことを特徴とする学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置に関する。
【図１】
2020126607.tif 000003
【図２】
2020126607.tif 000004
【図３】
2020126607.tif 000005
【図４】
2020126607.tif 000006
【図５】
2020126607.tif 000007