(57)【要約】【課題】周辺車両のサブイメージを利用してベース車両のベースイメージをオートラベリングする装置を学習する方法を提供する。【解決手段】ベースイメージとサブイメージからデンス対応を生成する段階、ベースイメージとサブイメージを入力して、コンボリューション特徴マップを出力し、前記コンボリューション特徴マップからデコンボリューション特徴マップを出力する段階、第ｋデンス対応情報を利用して第ｋ＋１デコンボリューション特徴マップの座標を移動して、第ｋ調整デコンボリューション特徴マップを生成する段階、第１デコンボリューション特徴マップと調整デコンボリューション特徴マップをコンカチネートしてコンカチネート済み特徴マップを生成する段階、コンカチネート済み特徴マップからセマンティックセグメンテーションイメージを出力し、第１ロスを計算し、デコーダ重付値及びエンコーダ重付値を更新する段階を含む。【選択図】図３
2020126635.tif 000002
【特許請求の範囲】
【請求項１】
周辺車両のイメージを利用してベース車両のイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置を学習する方法において、
（ａ）前記ベース車両の少なくとも一つのベースイメージと、一台以上の周辺車両それぞれの第１サブイメージないし第ｎサブイメージ（ｎは０より大きい整数（ｉｎｔｅｇｅｒ）である）とが取得されると、学習装置が、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの第１デンス対応（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）情報ないし第ｎデンス対応情報をそれぞれ生成させるプロセス（それぞれの前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスが前記ベースイメージに移動する場合、それぞれの前記第１デンス対応情報ないし前記第ｎデンス対応情報は、前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスそれぞれの、前記ベースイメージ上におけるそれぞれの位置を表す）を遂行する段階、
（ｂ）前記学習装置が、（ｉ）前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１エンコーダ（ｅｎｃｏｄｅｒ）ないし第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して、第１コンボリューション特徴マップないし第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップをそれぞれ第１デコーダ（ｄｅｃｏｄｅｒ）ないし第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、第１デコンボリューション特徴マップないし第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して第ｋ＋１デコンボリューション特徴マップの座標を前記第１デコンボリューション特徴マップの座標に移動させて、第ｋ調整デコンボリューション特徴マップを生成することによって、第１調整デコンボリューション特徴マップないし第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記第１デコンボリューション特徴マップと、前記第１調整デコンボリューション特徴マップないし前記第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのコンカチネート済み特徴マップを生成するプロセスを遂行する段階、及び
（ｃ）前記学習装置が、前記コンカチネート済み特徴マップをマスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して少なくとも一つのセマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセス、及び第１ロスレイヤで、前記セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して一つ以上の第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて、前記第１ロスを最小化するように前記第１デコーダないし前記第ｎ＋１デコーダの重み付け値それぞれ及び前記第１エンコーダないし前記第ｎ＋１エンコーダの重み付け値それぞれをアップデートするプロセスを遂行する段階、
を含むことを特徴とする方法。
【請求項２】
前記学習装置は、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークで、（ｉ）前記ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第１サブエンコーダにそれぞれ入力することによって、それぞれの前記第１サブエンコーダで、前記ベースイメージに前記コンボリューション演算を適用して、それぞれの第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）それぞれの前記第１ないし前記第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第２サブエンコーダにそれぞれ入力することによって、それぞれの前記第２サブエンコーダで、それぞれの前記第１ないし前記第ｎサブイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記第１サブコンボリューション特徴マップと、それぞれの前記第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのサブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの第１ないし第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｖ）それぞれの前記第１ないし前記第ｎサブデコンボリューション特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのリグレッサ（ｒｅｇｒｅｓｓｏｒ）にそれぞれ入力することによって、それぞれの前記リグレッサで、それぞれの前記第１ないし前記第ｎデンス対応情報にそれぞれ少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して、それぞれの前記第１ないし前記第ｎデンス対応情報を出力させるプロセスを遂行させることを特徴とする請求項１に記載の方法。
【請求項３】
それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、サブ学習装置により、それぞれの前記第１ないし前記第ｎデンス対応情報をそれぞれ出力するように学習され、
少なくとも一つの第１トレーニングイメージ及び少なくとも一つの第２トレーニングイメージが取得されると、前記サブ学習装置が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダに入力することによって、それぞれの前記第１サブエンコーダで、前記第１トレーニングイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダに入力することによって、それぞれの前記第２サブエンコーダで、前記第２トレーニングイメージに前記コンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップと、それぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、前記学習用サブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサに入力することによって、それぞれの前記リグレッサで、それぞれの学習用デンス対応情報（前記第２トレーニングイメージのデンスが前記第１トレーニングイメージに移動する場合、それぞれの前記学習用デンス対応情報は、前記第２トレーニングイメージのデンスそれぞれの前記第１トレーニングイメージ上におけるそれぞれの位置を表す）をそれぞれ出力させるプロセス、及び（ｖｉ）第２ロスレイヤで、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダのサブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ及び前記第２サブエンコーダのサブエンコーダ重み付け値それぞれとをアップデートするプロセスを遂行することを特徴とする請求項２に記載の方法。
【請求項４】
それぞれの前記第１サブエンコーダとそれぞれの前記第２サブエンコーダとは、サブエンコーダ重み付け値を共有することを特徴とする請求項２に記載の方法。
【請求項５】
それぞれの前記第１ないし前記第ｎデンス対応情報は、それぞれの前記第１ないし前記第ｎサブイメージのそれぞれのピクセルが前記ベースイメージのどのピクセルに対応するのかを表す情報を含むことを特徴とする請求項１に記載の方法。
【請求項６】
それぞれの前記第１ないし前記第ｎデンス対応情報は、それぞれの前記第１ないし前記第ｎサブイメージのそれぞれのピクセルが、前記ベースイメージのどのピクセルにも対応していない場合、前記ベースイメージの少なくとも一つの外側拡張領域における少なくとも一つの位置に対応する情報を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記第１エンコーダないし前記第ｎ＋１エンコーダは、エンコーダ重み付け値を共有し、前記第１デコーダないし前記第ｎ＋１デコーダは、デコーダ重み付け値を共有することを特徴とする請求項１に記載の方法。
【請求項８】
周辺車両のイメージを利用してベース車両のイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置をテストする方法において、
（ａ）学習装置が、（１）前記学習用ベース車両の少なくとも一つの学習用ベースイメージと、一つ以上の学習用周辺車両それぞれの学習用第１サブイメージないし学習用第ｎサブイメージ（ｎは０より大きい整数である）とが取得されると、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとをそれぞれ第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの学習用第１デンス対応情報ないし学習用第ｎデンス対応情報（それぞれの前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスが前記学習用ベースイメージに移動する場合、それぞれの前記学習用第１デンス対応情報ないし前記学習用第ｎデンス対応情報は、前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスそれぞれの、前記学習用ベースイメージ上におけるそれぞれの位置を表す）をそれぞれ生成させるプロセス、（２）（ｉ）前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとをそれぞれ第１エンコーダ（ｅｎｃｏｄｅｒ）ないし第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して学習用第１コンボリューション特徴マップないし学習用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップをそれぞれ第１デコーダ（ｄｅｃｏｄｅｒ）ないし第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、学習用第１デコンボリューション特徴マップないし学習用第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）学習用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して、学習用第ｋ＋１デコンボリューション特徴マップの座標を前記学習用第１デコンボリューション特徴マップの座標に移動させて、学習用第ｋ調整デコンボリューション特徴マップを生成することによって、学習用第１調整デコンボリューション特徴マップないし学習用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記学習用第１デコンボリューション特徴マップと、前記学習用第１調整デコンボリューション特徴マップないし前記学習用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つの学習用コンカチネート済み特徴マップを生成するプロ��ス、及び（３）前記学習用コンカチネート済み特徴マップをマスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記学習用コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して少なくとも一つの学習用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセス、及び第１ロスレイヤで、前記学習用セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して一つ以上の第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記第１ロスを最小化するように前記第１デコーダないし前記第ｎ＋１デコーダの重み付け値それぞれ及び前記第１エンコーダないし前記第ｎ＋１エンコーダの重み付け値それぞれをアップデートするプロセスを遂行した状態で、テスティング装置が、前記テスト用ベース車両の少なくとも一つのテスト用ベースイメージと、一台以上のテスト用周辺車両それぞれのテスト用第１サブイメージないしテスト用第ｎサブイメージ（ｎは０より大きい整数である）とが取得されると、前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれ前記第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし前記第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれのテスト用第１デンス対応情報ないしテスト用第ｎデンス対応情報をそれぞれ生成させるプロセス（それぞれの前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスが前記テスト用ベースイメージに移動する場合、それぞれの前記テスト用第１デンス対応情報ないし前記テスト用第ｎデンス対応情報は、前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスそれぞれの、前記テスト用ベースイメージ上におけるそれぞれの位置を表す）を遂行する段階、
（ｂ）前記テスティング装置が、（ｉ）前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれの前記第１エンコーダ（ｅｎｃｏｄｅｒ）ないし前記第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとにそれぞれの前記コンボリューション演算を適用して、テスト用第１コンボリューション特徴マップないしテスト用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリューション特徴マップをそれぞれの前記第１デコーダ（ｄｅｃｏｄｅｒ）ないし前記第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリューション特徴マップにそれぞれの前記デコンボリューション演算を適用して、テスト用第１デコンボリューション特徴マップないしテスト用第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）テスト用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照してテスト用第ｋ＋１デコンボリューション特徴マップの座標を前記テスト用第１デコンボリューション特徴マップの座標に移動させて、テスト用第ｋ調整デコンボリューション特徴マップを生成することによって、テスト用第１調整デコンボリューション特徴マップないしテスト用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記テスト用第１デコンボリューション特徴マップと、前記テスト用第１調整デコンボリューション特徴マップないし前記テスト用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのテスト用コンカチネート済み特徴マップを生成するプロセスを遂行する段階、及び
（ｃ）前記テスティング装置が、前記テスト用コンカチネート済み特徴マップを前記マスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記テスト用コンカチネート済み特徴マップに前記マスキング演算を適用して、少なくとも一つのテスト用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセスを遂行する段階、
を含むことを特徴とするテスティング方法。
【請求項９】
前記テスティング装置は、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークで、（ｉ）前記テスト用ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第１サブエンコーダにそれぞれ入力することによって、それぞれの前記第１サブエンコーダで、前記テスト用ベースイメージに前記コンボリューション演算を適用して、それぞれのテスト用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第２サブエンコーダにそれぞれ入力することによって、それぞれの前記第２サブエンコーダで、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージにそれぞれ前記コンボリューション演算を適用して、それぞれのテスト用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記テスト用第１サブコンボリューション特徴マップと、それぞれの前記テスト用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのサブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれのテスト用第１ないしテスト用第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｖ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブデコンボリューション特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのリグレッサ（ｒｅｇｒｅｓｓｏｒ）にそれぞれ入力することによって、それぞれの前記リグレッサで、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報にそれぞれ少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報を出力させるプロセスを遂行させることを特徴とする請求項８に記載のテスティング方法。
【請求項１０】
それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、サブ学習装置により、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報をそれぞれ出力するように学習され、
少なくとも一つの第１トレーニングイメージ及び少なくとも一つの第２トレーニングイメージが取得されると、前記サブ学習装置が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダに入力することによって、それぞれの前記第１サブエンコーダで、前記第１トレーニングイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダに入力することによって、それぞれの前記第２サブエンコーダで、前記第２トレーニングイメージに前記コンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップと、それぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、前記学習用サブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサに入力することによって、それぞれの前記リグレッサで、それぞれの学習用デンス対応情報（前記第２トレーニングイメージのデンスが前記第１トレーニングイメージに移動する場合、それぞれの前記学習用デンス対応情報は、前記第２トレーニングイメージのデンスそれぞれの前記第１トレーニングイメージ上におけるそれぞれの位置を表す）をそれぞれ出力させるプロセス、及び（ｖｉ）第２ロスレイヤで、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダのサブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ及び前記第２サブエンコーダのサブエンコーダ重み付け値それぞれとをアップデートするプロセスを遂行することを特徴とする請求項９に記載のテスティング方法。
【請求項１１】
それぞれの前記第１サブエンコーダとそれぞれの前記第２サブエンコーダとは、サブエンコーダ重み付け値を共有することを特徴とする請求項９に記載のテスティング方法。
【請求項１２】
それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報は、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージのそれぞれのピクセルが前記テスト用ベースイメージのどのピクセルに対応するのかを表す情報を含むことを特徴とする請求項８に記載のテスティング方法。
【請求項１３】
それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報は、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージのそれぞれのピクセルが、前記テスト用ベースイメージのどのピクセルにも対応していない場合、前記テスト用ベースイメージの少なくとも一つの外側拡張領域における少なくとも一つの位置に対応する情報を含むことを特徴とする請求項１２に記載のテスティング方法。
【請求項１４】
前記第１エンコーダないし前記第ｎ＋１エンコーダは、エンコーダ重み付け値を共有し、前記第１デコーダないし前記第ｎ＋１デコーダは、デコーダ重み付け値を共有することを特徴とする請求項８に記載のテスティング方法。
【請求項１５】
周辺車両のイメージを利用してベース車両のイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置を学習する学習装置において、
インストラクションを格納する少なくとも１つのメモリと、
（Ｉ）前記ベース車両の少なくとも一つのベースイメージと、一台以上の周辺車両それぞれの第１サブイメージないし第ｎサブイメージ（ｎは０より大きい整数である）とが取得されると、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの第１デンス対応情報ないし第ｎデンス対応情報（それぞれの前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスが前記ベースイメージに移動する場合、それぞれの前記第１デンス対応情報ないし前記第ｎデンス対応情報は、前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスそれぞれの、前記ベースイメージ上におけるそれぞれの位置を表す）をそれぞれ生成させるプロセス、（ＩＩ）（ｉ）前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１エンコーダ（ｅｎｃｏｄｅｒ）ないし第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して、第１コンボリューション特徴マップないし第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップをそれぞれ第１デコーダ（ｄｅｃｏｄｅｒ）ないし第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、第１デコンボリューション特徴マップないし第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して第ｋ＋１デコンボリューション特徴マップの座標を前記第１デコンボリューション特徴マップの座標に移動させて、第ｋ調整デコンボリューション特徴マップを生成することによって、第１調整デコンボリューション特徴マップないし第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記第１デコンボリューション特徴マップと、前記第１調整デコンボリューション特徴マップないし前記第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのコンカチネート済み特徴マップを生成するプロセス、及び（ＩＩＩ）前記コンカチネート済み特徴マップをマスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して少なくとも一つのセマンティック（ｓｅｍａｎｔｉｃ）セグメン��ーションイメージを出力させるプロセス、及び第１ロスレイヤで、前記セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して一つ以上の第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて、前記第１ロスを最小化するように前記第１デコーダないし前記第ｎ＋１デコーダの重み付け値それぞれ及び前記第１エンコーダないし前記第ｎ＋１エンコーダの重み付け値それぞれをアップデートするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする学習装置。
【請求項１６】
前記プロセッサは、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークで、（ｉ）前記ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第１サブエンコーダにそれぞれ入力することによって、それぞれの前記第１サブエンコーダで、前記ベースイメージに前記コンボリューション演算を適用して、それぞれの第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）それぞれの前記第１ないし前記第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第２サブエンコーダにそれぞれ入力することによって、それぞれの前記第２サブエンコーダで、それぞれの前記第１ないし前記第ｎサブイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記第１サブコンボリューション特徴マップと、それぞれの前記第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのサブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの第１ないし第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｖ）それぞれの前記第１ないし前記第ｎサブデコンボリューション特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのリグレッサ（ｒｅｇｒｅｓｓｏｒ）にそれぞれ入力することによって、それぞれの前記リグレッサで、それぞれの前記第１ないし前記第ｎデンス対応情報にそれぞれ少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して、それぞれの前記第１ないし前記第ｎデンス対応情報を出力させるプロセスを遂行させることを特徴とする請求項１５に記載の学習装置。
【請求項１７】
それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、サブ学習装置により、それぞれの前記第１ないし前記第ｎデンス対応情報をそれぞれ出力するように学習され、
少なくとも一つの第１トレーニングイメージ及び少なくとも一つの第２トレーニングイメージが取得されると、前記サブ学習装置が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダに入力することによって、それぞれの前記第１サブエンコーダで、前記第１トレーニングイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダに入力することによって、それぞれの前記第２サブエンコーダで、前記第２トレーニングイメージに前記コンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップと、それぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、前記学習用サブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサに入力することによって、それぞれの前記リグレッサで、それぞれの学習用デンス対応情報（前記第２トレーニングイメージのデンスが前記第１トレーニングイメージに移動する場合、それぞれの前記学習用デンス対応情報は、前記第２トレーニングイメージのデンスそれぞれの前記第１トレーニングイメージ上におけるそれぞれの位置を表す）をそれぞれ出力させるプロセス、及び（ｖｉ）第２ロスレイヤで、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダのサブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ及び前記第２サブエンコーダのサブエンコーダ重み付け値それぞれとをアップデートするプロセスを遂行することを特徴とする請求項１６に記載の学習装置。
【請求項１８】
それぞれの前記第１サブエンコーダとそれぞれの前記第２サブエンコーダとは、サブエンコーダ重み付け値を共有することを特徴とする請求項１６に記載の学習装置。
【請求項１９】
それぞれの前記第１ないし前記第ｎデンス対応情報は、それぞれの前記第１ないし前記第ｎサブイメージのそれぞれのピクセルが前記ベースイメージのどのピクセルに対応するのかを表す情報を含むことを特徴とする請求項１５に記載の学習装置。
【請求項２０】
それぞれの前記第１ないし前記第ｎデンス対応情報は、それぞれの前記第１ないし前記第ｎサブイメージのそれぞれのピクセルが、前記ベースイメージのどのピクセルにも対応していない場合、前記ベースイメージの少なくとも一つの外側拡張領域における少なくとも一つの位置に対応する情報を含むことを特徴とする請求項１９に記載の学習装置。
【請求項２１】
前記第１エンコーダないし前記第ｎ＋１エンコーダは、エンコーダ重み付け値を共有し、前記第１デコーダないし前記第ｎ＋１デコーダは、デコーダ重み付け値を共有することを特徴とする請求項１５に記載の学習装置。
【請求項２２】
周辺車両のイメージを利用してベース車両のイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置をテストするテスティング装置において、
インストラクションを格納する少なくとも１つのメモリと、
（Ｉ）学習装置が、（１）前記学習用ベース車両の少なくとも一つの学習用ベースイメージと、一つ以上の学習用周辺車両それぞれの学習用第１サブイメージないし学習用第ｎサブイメージ（ｎは０より大きい整数である）が取得されると、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとをそれぞれ第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの学習用第１デンス対応情報ないし学習用第ｎデンス対応情報（それぞれの前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスが前記学習用ベースイメージに移動する場合、それぞれの前記学習用第１デンス対応情報ないし前記学習用第ｎデンス対応情報は、前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスそれぞれの、前記学習用ベースイメージ上におけるそれぞれの位置を表す）をそれぞれ生成させるプロセス、（２）（ｉ）前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとをそれぞれ第１エンコーダ（ｅｎｃｏｄｅｒ）ないし第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して学習用第１コンボリューション特徴マップないし学習用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップをそれぞれ第１デコーダ（ｄｅｃｏｄｅｒ）ないし第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して学習用第１デコンボリューション特徴マップないし学習用第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）学習用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して学習用第ｋ＋１デコンボリューション特徴マップの座標を前記学習用第１デコンボリューション特徴マップの座標に移動させて、学習用第ｋ調整デコンボリューション特徴マップを生成することによって、学習用第１調整デコンボリューション特徴マップないし学習用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記学習用第１デコンボリューション特徴マップと、前記学習用第１調整デコンボリューション特徴マップないし前記学習用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つの学習用コンカチネート済み特徴マップを生成するプロセス、��び（３）前記学習用コンカチネート済み特徴マップをマスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記学習用コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して少なくとも一つの学習用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセス、及び第１ロスレイヤで、前記学習用セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して一つ以上の第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記第１ロスを最小化するように前記第１デコーダないし前記第ｎ＋１デコーダの重み付け値それぞれ及び前記第１エンコーダないし前記第ｎ＋１エンコーダの重み付け値それぞれをアップデートするプロセスを遂行した状態で、（Ｉ−１）前記テスト用ベース車両の少なくとも一つのテスト用ベースイメージと、一台以上のテスト用周辺車両それぞれのテスト用第１サブイメージないしテスト用第ｎサブイメージ（ｎは０より大きい整数である）とが取得されると、前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれ前記第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし前記第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれのテスト用第１デンス対応情報ないしテスト用第ｎデンス対応情報（それぞれの前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスが前記テスト用ベースイメージに移動する場合、それぞれの前記テスト用第１デンス対応情報ないし前記テスト用第ｎデンス対応情報は、前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスそれぞれの、前記テスト用ベースイメージ上におけるそれぞれの位置を表す）をそれぞれ生成するプロセス、（ＩＩ）（ＩＩ−１）前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれの前記第１エンコーダ（ｅｎｃｏｄｅｒ）ないし前記第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとにそれぞれの前記コンボリューション演算を適用して、テスト用第１コンボリューション特徴マップないしテスト用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ＩＩ−２）それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリューション特徴マップをそれぞれの前記第１デコーダ（ｄｅｃｏｄｅｒ）ないし前記第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリュ���ション特徴マップにそれぞれの前記デコンボリューション演算を適用して、テスト用第１デコンボリューション特徴マップないしテスト用第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ＩＩ−３）テスト用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照してテスト用第ｋ＋１デコンボリューション特徴マップの座標を前記テスト用第１デコンボリューション特徴マップの座標に移動させて、テスト用第ｋ調整デコンボリューション特徴マップを生成することによって、テスト用第１調整デコンボリューション特徴マップないしテスト用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ＩＩ−４）前記テスト用第１デコンボリューション特徴マップと、前記テスト用第１調整デコンボリューション特徴マップないし前記テスト用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのテスト用コンカチネート済み特徴マップを生成するプロセス、及び（ＩＩＩ）前記テスト用コンカチネート済み特徴マップを前記マスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記テスト用コンカチネート済み特徴マップに前記マスキング演算を適用して、少なくとも一つのテスト用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも１つのプロセッサと、
を含むことを特徴とするテスティング装置。
【請求項２３】
前記プロセッサは、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークで、（ｉ）前記テスト用ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第１サブエンコーダにそれぞれ入力することによって、それぞれの前記第１サブエンコーダで、前記テスト用ベースイメージに前記コンボリューション演算を適用して、それぞれのテスト用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第２サブエンコーダにそれぞれ入力することによって、それぞれの前記第２サブエンコーダで、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージにそれぞれ前記コンボリューション演算を適用して、それぞれのテスト用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記テスト用第１サブコンボリューション特徴マップと、それぞれの前記テスト用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのサブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれのテスト用第１ないしテスト用第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｖ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブデコンボリューション特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのリグレッサ（ｒｅｇｒｅｓｓｏｒ）にそれぞれ入力することによって、それぞれの前記リグレッサで、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報にそれぞれ少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報を出力させるプロセスを遂行させることを特徴とする請求項２２に記載のテスティング装置。
【請求項２４】
それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、サブ学習装置により、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報をそれぞれ出力するように学習され、
少なくとも一つの第１トレーニングイメージ及び少なくとも一つの第２トレーニングイメージが取得されると、前記サブ学習装置が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダに入力することによって、それぞれの前記第１サブエンコーダで、前記第１トレーニングイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダに入力することによって、それぞれの前記第２サブエンコーダで、前記第２トレーニングイメージに前記コンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップと、それぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、前記学習用サブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサに入力することによって、それぞれの前記リグレッサで、それぞれの学習用デンス対応情報（前記第２トレーニングイメージのデンスが前記第１トレーニングイメージに移動する場合、それぞれの前記学習用デンス対応情報は、前記第２トレーニングイメージのデンスそれぞれの前記第１トレーニングイメージ上におけるそれぞれの位置を表す）をそれぞれ出力させるプロセス、及び（ｖｉ）第２ロスレイヤで、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダのサブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ及び前記第２サブエンコーダのサブエンコーダ重み付け値それぞれとをアップデートするプロセスを遂行することを特徴とする請求項２３に記載のテスティング装置。
【請求項２５】
それぞれの前記第１サブエンコーダとそれぞれの前記第２サブエンコーダとは、サブエンコーダ重み付け値を共有することを特徴とする請求項２３に記載のテスティング装置。
【請求項２６】
それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報は、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージのそれぞれのピクセルが前記テスト用ベースイメージのどのピクセルに対応するのかを表す情報を含むことを特徴とする請求項２２に記載のテスティング装置。
【請求項２７】
それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報は、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージのそれぞれのピクセルが、前記テスト用ベースイメージのどのピクセルにも対応していない場合、前記テスト用ベースイメージの少なくとも一つの外側拡張領域における少なくとも一つの位置に対応する情報を含むことを特徴とする請求項２６に記載のテスティング装置。
【請求項２８】
前記第１エンコーダないし前記第ｎ＋１エンコーダは、エンコーダ重み付け値を共有し、前記第１デコーダないし前記第ｎ＋１デコーダは、デコーダ重み付け値を共有することを特徴とする請求項２２に記載のテスティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージをオートラベリングする方法及び装置に関し、より詳細には、周辺車両のイメージを利用してベース車両のイメージをオートラベリングするオートラベリング装置を学習させる学習方法及び学習装置、そして、これを利用したテスティング方法及びテスティング装置に関する。
【背景技術】
【０００２】
近年、マシンラーニングを利用して物体の識別及びそれらの遂行方法に関する研究が行われている。このようなマシンラーニング方法のうち一つとして、入力レイヤと出力レイヤとの間に複数個のヒドゥン（ｈｉｄｄｅｎ）レイヤを有するニューラルネットワークを利用したディープラーニングは高い識別性能を有している。
【０００３】
そして、このようなディープラーニングを利用するニューラルネットワークは、一般的にロス（ｌｏｓｓ）を利用したバックプロパーゲーションを通じて学習をする。
【０００４】
ディープラーニングネットワークのこのような学習を遂行するために、ラベラー（ｌａｂｅｌｅｒ）により個別のデータポイントにタグが追加されたトレーニングデータが必要である。このようなトレーニングデータを準備することは（つまり、正確にデータを分類すること）大量のトレーニングデータが利用されなければならず、データの事前準備に対する品質が一貫して好ましくない場合、極めて労働集約的であり、かなり費用がかかって不便である。従来の相互的なラベリングは、計算的な面でかなり費用がかかり、好ましい結果を導き出すことは難しい。
【０００５】
したがって、最近ではディープラーニング基盤のオートラベリング装置を利用してトレーニングイメージにタグ、すなわちラベルを追加するオートラベリングが普遍的に使用されており、検収者がオートラベリングされたトレーニングイメージを検収してタグやラベリングを補正するようにしている。
【０００６】
しかし、このような従来の方法では、オートラベリング装置の処理量に比べて検収者の処理量が少ないため、トレーニングイメージ全体に対して正確なラベルを生成するには長時間が所要される。全体の処理量を向上させるために、検収者の数を増やさなければならないが、その場合には費用が増加する問題点がある。
【０００７】
また、オートラベリング装置の処理量を消化するだけの十分に熟達した多数の検収者を確保するのに困難がある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述の問題点をすべて解決することをその目的とする。
【０００９】
本発明は、ベース車両の走行中に取得される少なくとも１つのベースイメージをリアルタイムにオートラベリングすることを他の目的とする。
【００１０】
本発明は、ベース車両と周辺車両とが走行中にベース車両から取得されたベースイメージと、一台以上の周辺車両から取得された一つ以上のサブイメージとを統合することによって、統合されたイメージをオートラベリングすることをまた他の目的とする。
【課題を解決するための手段】
【００１１】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下のとおりである。
【００１２】
本発明の一態様によると、周辺車両のイメージを利用してベース車両のイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置を学習する方法において、（ａ）前記ベース車両の少なくとも一つのベースイメージと、一台以上の周辺車両それぞれの第１サブイメージないし第ｎサブイメージ（ｎは０より大きい整数（ｉｎｔｅｇｅｒ）である）とが取得されると、学習装置が、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの第１デンス対応（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）情報ないし第ｎデンス対応情報をそれぞれ生成させるプロセス（それぞれの前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスが前記ベースイメージに移動する場合、それぞれの前記第１デンス対応情報ないし前記第ｎデンス対応情報は、前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスそれぞれの、前記ベースイメージ上におけるそれぞれの位置を表す）を遂行する段階、（ｂ）前記学習装置が、（ｉ）前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１エンコーダ（ｅｎｃｏｄｅｒ）ないし第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して、第１コンボリューション特徴マップないし第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップをそれぞれ第１デコーダ（ｄｅｃｏｄｅｒ）ないし第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、第１デコンボリューション特徴マップないし第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して第ｋ＋１デコンボリューション特徴マップの座標を前記第１デコンボリューション特徴マップの座標に移動させて、第ｋ調整デコンボリューション特徴マップを生成することによって、第１調整デコンボリューション特徴マップないし第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記第１デコンボリューション特徴マップと、前記第１調整デコンボリューション特徴マップないし前記第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのコンカチネート済み特徴マップを生成するプロセスを遂行する段階、及び（ｃ）前記学習装置が、前記コンカチネート済み特徴マップをマスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して少なくとも一つのセマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセス、及び第１ロスレイヤで、前記セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して一つ以上の第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて、前記第１ロスを最小化するように前記第１デコーダないし前記第ｎ＋１デコーダの重み付け値それぞれ及び前記第１エンコーダないし前記第ｎ＋１エンコーダの重み付け値それぞれをアップデートするプロセスを遂行する段階、を含むことを特徴とする方法が提供される。
【００１３】
一実施例において、前記学習装置は、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークで、（ｉ）前記ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第１サブエンコーダにそれぞれ入力することによって、それぞれの前記第１サブエンコーダで、前記ベースイメージに前記コンボリューション演算を適用して、それぞれの第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）それぞれの前記第１ないし前記第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第２サブエンコーダにそれぞれ入力することによって、それぞれの前記第２サブエンコーダで、それぞれの前記第１ないし前記第ｎサブイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記第１サブコンボリューション特徴マップと、それぞれの前記第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのサブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの第１ないし第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｖ）それぞれの前記第１ないし前記第ｎサブデコンボリューション特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのリグレッサ（ｒｅｇｒｅｓｓｏｒ）にそれぞれ入力することによって、それぞれの前記リグレッサで、それぞれの前記第１ないし前記第ｎデンス対応情報にそれぞれ少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して、それぞれの前記第１ないし前記第ｎデンス対応情報を出力させるプロセスを遂行させる。
【００１４】
一実施例において、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、サブ学習装置により、それぞれの前記第１ないし前記第ｎデンス対応情報をそれぞれ出力するように学習され、少なくとも一つの第１トレーニングイメージ及び少なくとも一つの第２トレーニングイメージが取得されると、前記サブ学習装置が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダに入力することによって、それぞれの前記第１サブエンコーダで、前記第１トレーニングイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダに入力することによって、それぞれの前記第２サブエンコーダで、前記第２トレーニングイメージに前記コンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップと、それぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、前記学習用サブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサに入力することによって、それぞれの前記リグレッサで、それぞれの学習用デンス対応情報（前記第２トレーニングイメージのデンスが前記第１トレーニングイメージに移動する場合、それぞれの前記学習用デンス対応情報は、前記第２トレーニングイメージのデンスそれぞれの前記第１トレーニングイメージ上におけるそれぞれの位置を表す）をそれぞれ出力させるプロセス、及び（ｖｉ）第２ロスレイヤで、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダのサブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ及び前記第２サブエンコーダのサブエンコーダ重み付け値それぞれとをアップデートするプロセスを遂行する。
【００１５】
一実施例において、それぞれの前記第１サブエンコーダとそれぞれの前記第２サブエンコーダとは、サブエンコーダ重み付け値を共有する。
【００１６】
一実施例において、それぞれの前記第１ないし前記第ｎデンス対応情報は、それぞれの前記第１ないし前記第ｎサブイメージのそれぞれのピクセルが前記ベースイメージのどのピクセルに対応するのかを表す情報を含む。
【００１７】
一実施例において、それぞれの前記第１ないし前記第ｎデンス対応情報は、それぞれの前記第１ないし前記第ｎサブイメージのそれぞれのピクセルが、前記ベースイメージのどのピクセルにも対応していない場合、前記ベースイメージの少なくとも一つの外側拡張領域における少なくとも一つの位置に対応する情報を含む。
【００１８】
一実施例において、前記第１エンコーダないし前記第ｎ＋１エンコーダは、エンコーダ重み付け値を共有し、前記第１デコーダないし前記第ｎ＋１デコーダは、デコーダ重み付け値を共有する。
【００１９】
本発明の他の態様によると、周辺車両のイメージを利用してベース車両のイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置をテストする方法において、（ａ）学習装置が、（１）前記学習用ベース車両の少なくとも一つの学習用ベースイメージと、一つ以上の学習用周辺車両それぞれの学習用第１サブイメージないし学習用第ｎサブイメージ（ｎは０より大きい整数である）とが取得されると、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとをそれぞれ第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの学習用第１デンス対応情報ないし学習用第ｎデンス対応情報（それぞれの前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスが前記学習用ベースイメージに移動する場合、それぞれの前記学習用第１デンス対応情報ないし前記学習用第ｎデンス対応情報は、前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスそれぞれの、前記学習用ベースイメージ上におけるそれぞれの位置を表す）をそれぞれ生成させるプロセス、（２）（ｉ）前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとをそれぞれ第１エンコーダ（ｅｎｃｏｄｅｒ）ないし第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して学習用第１コンボリューション特徴マップないし学習用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップをそれぞれ第１デコーダ（ｄｅｃｏｄｅｒ）ないし第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、学習用第１デコンボリューション特徴マップないし学習用第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）学習用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して、学習用第ｋ＋１デコンボリューション特徴マップの座標を前記学習用第１デコンボリューション特徴マップの座標に移動させて、学習用第ｋ調整デコンボリューション特徴マップを生成することによって、学習用第１調整デコンボリューション特徴マップないし学習用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記学習用第１デコンボリューション特徴マップと、前記学習用第１調整デコンボリューション特徴マッ��ないし前記学習用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つの学習用コンカチネート済み特徴マップを生成するプロセス、及び（３）前記学習用コンカチネート済み特徴マップをマスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記学習用コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して少なくとも一つの学習用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセス、及び第１ロスレイヤで、前記学習用セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して一つ以上の第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記第１ロスを最小化するように前記第１デコーダないし前記第ｎ＋１デコーダの重み付け値それぞれ及び前記第１エンコーダないし前記第ｎ＋１エンコーダの重み付け値それぞれをアップデートするプロセスを遂行した状態で、テスティング装置が、前記テスト用ベース車両の少なくとも一つのテスト用ベースイメージと、一台以上のテスト用周辺車両それぞれのテスト用第１サブイメージないしテスト用第ｎサブイメージ（ｎは０より大きい整数である）とが取得されると、前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれ前記第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし前記第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれのテスト用第１デンス対応情報ないしテスト用第ｎデンス対応情報をそれぞれ生成させるプロセス（それぞれの前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスが前記テスト用ベースイメージに移動する場合、それぞれの前記テスト用第１デンス対応情報ないし前記テスト用第ｎデンス対応情報は、前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスそれぞれの、前記テスト用ベースイメージ上におけるそれぞれの位置を表す）を遂行する段階、（ｂ）前記テスティング装置が、（ｉ）前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれの前記第１エンコーダ（ｅｎｃｏｄｅｒ）ないし前記第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとにそれぞれの前記コンボリューション演算を適用して、テスト用第１コンボリューション特徴マップないしテスト用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリューション特徴マップをそれぞれの前記第１デコー���（ｄｅｃｏｄｅｒ）ないし前記第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリューション特徴マップにそれぞれの前記デコンボリューション演算を適用して、テスト用第１デコンボリューション特徴マップないしテスト用第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）テスト用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照してテスト用第ｋ＋１デコンボリューション特徴マップの座標を前記テスト用第１デコンボリューション特徴マップの座標に移動させて、テスト用第ｋ調整デコンボリューション特徴マップを生成することによって、テスト用第１調整デコンボリューション特徴マップないしテスト用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記テスト用第１デコンボリューション特徴マップと、前記テスト用第１調整デコンボリューション特徴マップないし前記テスト用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのテスト用コンカチネート済み特徴マップを生成するプロセスを遂行する段階、及び（ｃ）前記テスティング装置が、前記テスト用コンカチネート済み特徴マップを前記マスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記テスト用コンカチネート済み特徴マップに前記マスキング演算を適用して、少なくとも一つのテスト用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセスを遂行する段階、を含むことを特徴とするテスティング方法が提供される。
【００２０】
一実施例において、前記テスティング装置は、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークで、（ｉ）前記テスト用ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第１サブエンコーダにそれぞれ入力することによって、それぞれの前記第１サブエンコーダで、前記テスト用ベースイメージに前記コンボリューション演算を適用して、それぞれのテスト用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第２サブエンコーダにそれぞれ入力することによって、それぞれの前記第２サブエンコーダで、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージにそれぞれ前記コンボリューション演算を適用して、それぞれのテスト用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記テスト用第１サブコンボリューション特徴マップと、それぞれの前記テスト用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのサブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれのテスト用第１ないしテスト用第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｖ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブデコンボリューション特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのリグレッサ（ｒｅｇｒｅｓｓｏｒ）にそれぞれ入力することによって、それぞれの前記リグレッサで、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報にそれぞれ少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報を出力させるプロセスを遂行させる。
【００２１】
一実施例において、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、サブ学習装置により、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報をそれぞれ出力するように学習され、少なくとも一つの第１トレーニングイメージ及び少なくとも一つの第２トレーニングイメージが取得されると、前記サブ学習装置が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダに入力することによって、それぞれの前記第１サブエンコーダで、前記第１トレーニングイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダに入力することによって、それぞれの前記第２サブエンコーダで、前記第２トレーニングイメージに前記コンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップと、それぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、前記学習用サブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサに入力することによって、それぞれの前記リグレッサで、それぞれの学習用デンス対応情報（前記第２トレーニングイメージのデンスが前記第１トレーニングイメージに移動する場合、それぞれの前記学習用デンス対応情報は、前記第２トレーニングイメージのデンスそれぞれの前記第１トレーニングイメージ上におけるそれぞれの位置を表す）をそれぞれ出力させるプロセス、及び（ｖｉ）第２ロスレイヤで、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダのサブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ及び前記第２サブエンコーダのサブエンコーダ重み付け値それぞれとをアップデートするプロセスを遂行する。
【００２２】
一実施例において、それぞれの前記第１サブエンコーダとそれぞれの前記第２サブエンコーダとは、サブエンコーダ重み付け値を共有する。
【００２３】
一実施例において、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報は、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージのそれぞれのピクセルが前記テスト用ベースイメージのどのピクセルに対応するのかを表す情報を含む。
【００２４】
一実施例において、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報は、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージのそれぞれのピクセルが、前記テスト用ベースイメージのどのピクセルにも対応していない場合、前記テスト用ベースイメージの少なくとも一つの外側拡張領域における少なくとも一つの位置に対応する情報を含む。
【００２５】
一実施例において、前記第１エンコーダないし前記第ｎ＋１エンコーダは、エンコーダ重み付け値を共有し、前記第１デコーダないし前記第ｎ＋１デコーダは、デコーダ重み付け値を共有する。
【００２６】
本発明のまた他の態様によると、周辺車両のイメージを利用してベース車両のイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置を学習する学習装置において、インストラクションを格納する少なくとも１つのメモリと、（Ｉ）前記ベース車両の少なくとも一つのベースイメージと、一台以上の周辺車両それぞれの第１サブイメージないし第ｎサブイメージ（ｎは０より大きい整数である）とが取得されると、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの第１デンス対応情報ないし第ｎデンス対応情報（それぞれの前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスが前記ベースイメージに移動する場合、それぞれの前記第１デンス対応情報ないし前記第ｎデンス対応情報は、前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスそれぞれの、前記ベースイメージ上におけるそれぞれの位置を表す）をそれぞれ生成させるプロセス、（ＩＩ）（ｉ）前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１エンコーダ（ｅｎｃｏｄｅｒ）ないし第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して、第１コンボリューション特徴マップないし第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップをそれぞれ第１デコーダ（ｄｅｃｏｄｅｒ）ないし第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、第１デコンボリューション特徴マップないし第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して第ｋ＋１デコンボリューション特徴マップの座標を前記第１デコンボリューション特徴マップの座標に移動させて、第ｋ調整デコンボリューション特徴マップを生成することによって、第１調整デコンボリューション特徴マップないし第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記第１デコンボリューション特徴マップと、前記第１調整デコンボリューション特徴マップないし前記第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのコンカチネート済み特徴マップを生成するプロセス、及び（ＩＩＩ）前記コンカチネー��済み特徴マップをマスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して少なくとも一つのセマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセス、及び第１ロスレイヤで、前記セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して一つ以上の第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて、前記第１ロスを最小化するように前記第１デコーダないし前記第ｎ＋１デコーダの重み付け値それぞれ及び前記第１エンコーダないし前記第ｎ＋１エンコーダの重み付け値それぞれをアップデートするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする学習装置が提供される。
【００２７】
一実施例において、前記プロセッサは、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークで、（ｉ）前記ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第１サブエンコーダにそれぞれ入力することによって、それぞれの前記第１サブエンコーダで、前記ベースイメージに前記コンボリューション演算を適用して、それぞれの第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）それぞれの前記第１ないし前記第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第２サブエンコーダにそれぞれ入力することによって、それぞれの前記第２サブエンコーダで、それぞれの前記第１ないし前記第ｎサブイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記第１サブコンボリューション特徴マップと、それぞれの前記第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのサブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの第１ないし第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｖ）それぞれの前記第１ないし前記第ｎサブデコンボリューション特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのリグレッサ（ｒｅｇｒｅｓｓｏｒ）にそれぞれ入力することによって、それぞれの前記リグレッサで、それぞれの前記第１ないし前記第ｎデンス対応情報にそれぞれ少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して、それぞれの前記第１ないし前記第ｎデンス対応情報を出力させるプロセスを遂行させる。
【００２８】
一実施例において、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、サブ学習装置により、それぞれの前記第１ないし前記第ｎデンス対応情報をそれぞれ出力するように学習され、少なくとも一つの第１トレーニングイメージ及び少なくとも一つの第２トレーニングイメージが取得されると、前記サブ学習装置が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダに入力することによって、それぞれの前記第１サブエンコーダで、前記第１トレーニングイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダに入力することによって、それぞれの前記第２サブエンコーダで、前記第２トレーニングイメージに前記コンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップと、それぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、前記学習用サブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサに入力することによって、それぞれの前記リグレッサで、それぞれの学習用デンス対応情報（前記第２トレーニングイメージのデンスが前記第１トレーニングイメージに移動する場合、それぞれの前記学習用デンス対応情報は、前記第２トレーニングイメージのデンスそれぞれの前記第１トレーニングイメージ上におけるそれぞれの位置を表す）をそれぞれ出力させるプロセス、及び（ｖｉ）第２ロスレイヤで、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダのサブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ及び前記第２サブエンコーダのサブエンコーダ重み付け値それぞれとをアップデートするプロセスを遂行する。
【００２９】
一実施例において、それぞれの前記第１サブエンコーダとそれぞれの前記第２サブエンコーダとは、サブエンコーダ重み付け値を共有する。
【００３０】
一実施例において、それぞれの前記第１ないし前記第ｎデンス対応情報は、それぞれの前記第１ないし前記第ｎサブイメージのそれぞれのピクセルが前記ベースイメージのどのピクセルに対応するのかを表す情報を含む。
【００３１】
一実施例において、それぞれの前記第１ないし前記第ｎデンス対応情報は、それぞれの前記第１ないし前記第ｎサブイメージのそれぞれのピクセルが、前記ベースイメージのどのピクセルにも対応していない場合、前記ベースイメージの少なくとも一つの外側拡張領域における少なくとも一つの位置に対応する情報を含む。
【００３２】
一実施例において、前記第１エンコーダないし前記第ｎ＋１エンコーダは、エンコーダ重み付け値を共有し、前記第１デコーダないし前記第ｎ＋１デコーダは、デコーダ重み付け値を共有する。
【００３３】
本発明のまた他の態様によると、周辺車両のイメージを利用してベース車両のイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置をテストするテスティング装置において、インストラクションを格納する少なくとも１つのメモリと、（Ｉ）学習装置が、（１）前記学習用ベース車両の少なくとも一つの学習用ベースイメージと、一つ以上の学習用周辺車両それぞれの学習用第１サブイメージないし学習用第ｎサブイメージ（ｎは０より大きい整数である）が取得されると、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとをそれぞれ第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの学習用第１デンス対応情報ないし学習用第ｎデンス対応情報（それぞれの前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスが前記学習用ベースイメージに移動する場合、それぞれの前記学習用第１デンス対応情報ないし前記学習用第ｎデンス対応情報は、前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスそれぞれの、前記学習用ベースイメージ上におけるそれぞれの位置を表す）をそれぞれ生成させるプロセス、（２）（ｉ）前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとをそれぞれ第１エンコーダ（ｅｎｃｏｄｅｒ）ないし第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して学習用第１コンボリューション特徴マップないし学習用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ｉｉ）それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップをそれぞれ第１デコーダ（ｄｅｃｏｄｅｒ）ないし第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して学習用第１デコンボリューション特徴マップないし学習用第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ｉｉｉ）学習用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して学習用第ｋ＋１デコンボリューション特徴マップの座標を前記学習用第１デコンボリューション特徴マップの座標に移動させて、学習用第ｋ調整デコンボリューション特徴マップを生成することによって、学習用第１調整デコンボリューション特徴マップないし学習用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記学習用第１デコンボリューシ��ン特徴マップと、前記学習用第１調整デコンボリューション特徴マップないし前記学習用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つの学習用コンカチネート済み特徴マップを生成するプロセス、及び（３）前記学習用コンカチネート済み特徴マップをマスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記学習用コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して少なくとも一つの学習用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセス、及び第１ロスレイヤで、前記学習用セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して一つ以上の第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記第１ロスを最小化するように前記第１デコーダないし前記第ｎ＋１デコーダの重み付け値それぞれ及び前記第１エンコーダないし前記第ｎ＋１エンコーダの重み付け値それぞれをアップデートするプロセスを遂行した状態で、（Ｉ−１）前記テスト用ベース車両の少なくとも一つのテスト用ベースイメージと、一台以上のテスト用周辺車両それぞれのテスト用第１サブイメージないしテスト用第ｎサブイメージ（ｎは０より大きい整数である）とが取得されると、前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれ前記第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）ないし前記第ｎ以前学習デンス対応ネットワークにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれのテスト用第１デンス対応情報ないしテスト用第ｎデンス対応情報（それぞれの前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスが前記テスト用ベースイメージに移動する場合、それぞれの前記テスト用第１デンス対応情報ないし前記テスト用第ｎデンス対応情報は、前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスそれぞれの、前記テスト用ベースイメージ上におけるそれぞれの位置を表す）をそれぞれ生成するプロセス、（ＩＩ）（ＩＩ−１）前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれの前記第１エンコーダ（ｅｎｃｏｄｅｒ）ないし前記第ｎ＋１エンコーダそれぞれに入力することによって、それぞれの前記第１エンコーダないし前記第ｎ＋１エンコーダで、前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとにそれぞれの前記コンボリューション演算を適用して、テスト用第１コンボリューション特徴マップないしテスト用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、（ＩＩ−２）それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリューション特徴マップ���それぞれの前記第１デコーダ（ｄｅｃｏｄｅｒ）ないし前記第ｎ＋１デコーダに入力することによって、それぞれの前記第１デコーダないし前記第ｎ＋１デコーダで、それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリューション特徴マップにそれぞれの前記デコンボリューション演算を適用して、テスト用第１デコンボリューション特徴マップないしテスト用第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセス、（ＩＩ−３）テスト用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照してテスト用第ｋ＋１デコンボリューション特徴マップの座標を前記テスト用第１デコンボリューション特徴マップの座標に移動させて、テスト用第ｋ調整デコンボリューション特徴マップを生成することによって、テスト用第１調整デコンボリューション特徴マップないしテスト用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ＩＩ−４）前記テスト用第１デコンボリューション特徴マップと、前記テスト用第１調整デコンボリューション特徴マップないし前記テスト用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのテスト用コンカチネート済み特徴マップを生成するプロセス、及び（ＩＩＩ）前記テスト用コンカチネート済み特徴マップを前記マスキング（ｍａｓｋｉｎｇ）レイヤに入力することによって、前記マスキングレイヤで、前記テスト用コンカチネート済み特徴マップに前記マスキング演算を適用して、少なくとも一つのテスト用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも１つのプロセッサと、を含むことを特徴とするテスティング装置が提供される。
【００３４】
一実施例において、前記プロセッサは、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークで、（ｉ）前記テスト用ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第１サブエンコーダにそれぞれ入力することによって、それぞれの前記第１サブエンコーダで、前記テスト用ベースイメージに前記コンボリューション演算を適用して、それぞれのテスト用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第２サブエンコーダにそれぞれ入力することによって、それぞれの前記第２サブエンコーダで、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージにそれぞれ前記コンボリューション演算を適用して、それぞれのテスト用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記テスト用第１サブコンボリューション特徴マップと、それぞれの前記テスト用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのサブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれのテスト用第１ないしテスト用第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｖ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブデコンボリューション特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのリグレッサ（ｒｅｇｒｅｓｓｏｒ）にそれぞれ入力することによって、それぞれの前記リグレッサで、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報にそれぞれ少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報を出力させるプロセスを遂行させる。
【００３５】
一実施例において、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、サブ学習装置により、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報をそれぞれ出力するように学習され、少なくとも一つの第１トレーニングイメージ及び少なくとも一つの第２トレーニングイメージが取得されると、前記サブ学習装置が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダに入力することによって、それぞれの前記第１サブエンコーダで、前記第１トレーニングイメージにそれぞれ前記コンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダに入力することによって、それぞれの前記第２サブエンコーダで、前記第２トレーニングイメージに前記コンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップと、それぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダにそれぞれ入力することによって、それぞれの前記サブデコーダで、前記学習用サブコンカチネート済み特徴マップにそれぞれ前記デコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセス、（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサに入力することによって、それぞれの前記リグレッサで、それぞれの学習用デンス対応情報（前記第２トレーニングイメージのデンスが前記第１トレーニングイメージに移動する場合、それぞれの前記学習用デンス対応情報は、前記第２トレーニングイメージのデンスそれぞれの前記第１トレーニングイメージ上におけるそれぞれの位置を表す）をそれぞれ出力させるプロセス、及び（ｖｉ）第２ロスレイヤで、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダのサブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ及び前記第２サブエンコーダのサブエンコーダ重み付け値それぞれとをアップデートするプロセスを遂行する。
【００３６】
一実施例において、それぞれの前記第１サブエンコーダとそれぞれの前記第２サブエンコーダとは、サブエンコーダ重み付け値を共有する。
【００３７】
一実施例において、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報は、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージのそれぞれのピクセルが前記テスト用ベースイメージのどのピクセルに対応するのかを表す情報を含む。
【００３８】
一実施例において、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報は、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージのそれぞれのピクセルが、前記テスト用ベースイメージのどのピクセルにも対応していない場合、前記テスト用ベースイメージの少なくとも一つの外側拡張領域における少なくとも一つの位置に対応する情報を含む。
【００３９】
一実施例において、前記第１エンコーダないし前記第ｎ＋１エンコーダは、エンコーダ重み付け値を共有し、前記第１デコーダないし前記第ｎ＋１デコーダは、デコーダ重み付け値を共有する。
【００４０】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００４１】
本発明は、車両が走行中にリアルタイムにオートラベリングを遂行することができる効果がある。
【００４２】
また、本発明は、走行中である車両からのビデオイメージと周辺車両からのビデオイメージとを統合してオートラベリングすることで、良質なオートラベリングを遂行することができる効果がある。
【００４３】
また、本発明は、走行中である車両からのビデオイメージと周辺車両からのビデオイメージとを統合してオートラベリングすることで、別途のセンサを利用せずにカメラのビデオイメージのみを利用してオートラベリングを遂行することができる効果がある。
【００４４】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこのような図面に基づいて他の各図面が得られ得る。
【図面の簡単な説明】
【００４５】
【図１】図１は、本発明の一実施例にしたがって、一台以上の周辺車両の一つ以上のサブイメージを利用して、それぞれのベース車両のそれぞれのベースイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するプロセスを簡略に示したものである。
【図２】図２は、本発明の一実施例にしたがって、周辺車両のサブイメージを利用してベース車両のベースイメージをオートラベリングするオートラベリング装置を学習させる学習装置を簡略に示したものである。
【図３】図３は、本発明の一実施例にしたがって、周辺車両のサブイメージを利用してベース車両のベースイメージをオートラベリングするオートラベリング装置を学習させる方法を簡略に示したものである。
【図４】図４は、本発明の一実施例にしたがって、周辺車両のサブイメージを利用してベース車両のベースイメージをオートラベリングするオートラベリング装置を学習させる方法において、以前学習デンス対応（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）ネットワークのプロセスを簡略に示したものである。
【図５】図５は、本発明の一実施例にしたがって、周辺車両のイメージを利用してベース車両のベースイメージをオートラベリングするオートラベリング装置を学習させる方法において、以前学習デンス対応（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）ネットワークを学習させるプロセスを簡略に示したものである。
【図６】図６は、本発明の一実施例にしたがって、周辺車両のサブイメージを利用してベース車両のベースイメージをオートラベリングする前記オートラベリング装置をテストするためのテスティング装置を簡略に示したものである。
【図７】図７は、本発明の一実施例にしたがって、周辺車両のサブイメージを利用してベース車両のベースイメージをオートラベリングするオートラベリング装置をテストするための方法を簡略に示したものである。
【図８】図８は、本発明の一実施例にしたがって、周辺車両のサブイメージを利用してベース車両のベースイメージをオートラベリングするオートラベリング装置をテストするための方法において、以前学習デンス対応ネットワークのプロセスを簡略に示したものである。
【発明を実施するための形態】
【００４６】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。このような実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。
【００４７】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４８】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００４９】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００５０】
本願の明細書に提供された本発明の名称及び要約は便宜のためのものであって、実施例の範囲を限定したり実施例の意味を解釈するものではない。
【００５１】
参考までに、以下の説明において混同を防止するために、前記学習プロセスに関する用語には「学習用」あるいは「トレーニング」という単語が追加されており、テスティングプロセスに関する用語には「テスト用」あるいは「テスティング用」という単語が追加されている。
【００５２】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００５３】
図１は、本発明の一実施例にしたがって、一台以上の周辺車両の一つ以上のサブイメージを利用して、それぞれのベース車両のそれぞれのベースイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するプロセスを簡略に示したものである。この場合、前記ベースイメージのサイズは前記サブイメージのサイズと同一であるが、本発明の範囲はこれに限定されない。
【００５４】
図１を参照すると、道路を走行中である車両は、Ｖ２Ｖ（ｖｅｈｉｃｌｅ  ｔｏ  ｖｅｈｉｃｌｅ）通信を介して前記車両それぞれに設けられた一つ以上のそれぞれのカメラから撮影された走行環境に対する一つ以上のビデオイメージを送受信する。
【００５５】
そして、それぞれの周辺車両から前記ビデオイメージを受信した前記車両それぞれに設けられたオートラベリング装置それぞれは、これに対する特徴フュージョンセマンティックセグメンテーション（ｆｕｓｉｏｎ  ｓｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ）ネットワークを通じてそれぞれの周辺車両で撮影された前記ビデオイメージを利用して、少なくとも一つのセマンティックセグメンテーション（前記セマンティックセグメンテーションは、前記車両それぞれにおいて撮影された前記ビデオイメージに対応する）を出力させることにより、それぞれにおいて撮影された前記ビデオイメージをオートラベリングできる。
【００５６】
この場合、図２では４台の車両を例示として示したが、本発明の範囲は、これに限定されない。
【００５７】
また、それぞれの周辺車両から前記ビデオイメージを取得した前記車両それぞれは、すなわち、ベース車両それぞれは、Ｖ２Ｘ通信を介してセンサフュージョンにより周辺車両の位置センサなどを共有することによって、前記ベース車両の視点と異なる視点を有する周辺車両から撮影された前記ビデオイメージを利用することができる。すなわち、前記ベース車両は、異なる視点から撮影された特定位置の前記ビデオイメージを取得するか、他の装置で取得するように支援することができる。
【００５８】
この後、それぞれの前記車両の前記オートラベリング装置それぞれは、前記特徴フュージョンセマンティックセグメンテーションネットワークそれぞれから出力された前記セマンティックセグメンテーションを利用して、それ自体の車両で撮影された前記ビデオイメージをオートラベリングすることができる。
【００５９】
図２は、本発明の一実施例にしたがって、周辺車両から撮影されたサブイメージを利用してベース車両から撮影された少なくとも一つのベースイメージをオートラベリングするオートラベリング装置を学習させる学習装置を簡略に示したものである。図２を参照すると、前記学習装置１０００は、周辺車両から撮影されたサブイメージを利用してベース車両から撮影されたベースイメージをオートラベリングするオートラベリング装置を学習させるための各インストラクションを格納するメモリ１１００と、メモリ１１００に格納された各インストラクションにしたがって周辺車両から撮影されたサブイメージを利用してベース車両から撮影されたベースイメージをオートラベリングするオートラベリング装置を学習させるためのプロセスを遂行するプロセッサ１２００と、を含むことができる。
【００６０】
具体的に、前記学習装置１０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置、出力装置、及びその他既存のコンピューティング装置の各構成要素を含むことができる装置、ルータ、スイッチなどのような電子通信装置、ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置で特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。
【００６１】
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、前記コンピューティング装置は、オペレーティングシステム、及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００６２】
しかし、前記コンピューティング装置が、本発明を実施するためのミディアム（ｍｅｄｉｕｍ）、プロセッサ、及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
【００６３】
このように構成された本発明の一実施例による学習装置１０００を利用して周辺車両から撮影されたサブイメージを利用して、ベース車両から撮影されたベースイメージをオートラベリングするために利用されるオートラベリング装置を学習させる方法を、図３を参照して説明すると以下のとおりである。
【００６４】
まず、前記ベース車両の前記ベースイメージと、前記周辺車両の第１サブイメージないし第ｎサブイメージとが取得されると、前記学習装置１０００が、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１以前学習デンス対応ネットワーク（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｎｅｔｗｏｒｋ）１００＿１ないし第ｎ以前学習デンス対応ネットワーク１００＿ｎにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの第１デンス対応（ｄｅｎｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）情報ないし第ｎデンス対応情報をそれぞれ生成させる。この際、ｎは０より大きい整数（ｉｎｔｅｇｅｒ）である。なおかつ、それぞれの前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスが前記ベースイメージに移動する場合、それぞれの前記第１デンス対応情報ないし前記第ｎデンス対応情報は、前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスそれぞれの、前記ベースイメージ上におけるそれぞれの位置を表す。また、それぞれの前記第１サブイメージのデンスないし前記第ｎサブイメージのデンスは、それぞれの前記第１サブイメージないし前記第ｎサブイメージ上のピクセルのうちで、それぞれの物体が位置するものと推定されたピクセルの各クラスターを表す。
【００６５】
すなわち、前記ベースイメージと前記第１サブイメージとは、前記第１以前学習デンス対応ネットワーク１００＿１に入力されることによって、前記第１以前学習デンス対応ネットワーク１００＿１で、前記第１デンス対応情報を生成させ、前記ベースイメージと前記第２サブイメージとは、前記第２以前学習デンス対応ネットワーク１００＿２に入力されることによって、前記第２以前学習デンス対応ネットワーク１００＿２で、前記第２デンス対応情報を生成させ、これと同様に、前記ベースイメージと前記第ｎサブイメージとは、前記第ｎ以前学習デンス対応ネットワーク１００＿ｎに入力されることによって、前記第ｎ以前学習デンス対応ネットワーク１００＿ｎで、前記第ｎデンス対応情報を生成させることができる。結果的に、それぞれの前記第１以前学習デンス対応ネットワーク１００＿１ないし前記第ｎ以前学習デンス対応ネットワーク１００＿ｎは、これに対応するそれぞれの前記第１デンス対応情報ないし前記第ｎデンス対応情報を生成することができる。
【００６６】
この場合、前記第１ないし第ｎデンス対応情報それぞれは、前記第１ないし前記第ｎサブイメージそれぞれのピクセルそれぞれが前記ベースイメージの各所定のピクセルに対応することを示す情報、すなわち前記第１ないし前記第ｎサブイメージそれぞれの前記ピクセルそれぞれが前記ベースイメージのどのピクセルに対応するかに関する情報を含むことができる。一方、それぞれの前記第１ないし前記第ｎサブイメージのそれぞれのピクセルが、前記ベースイメージのどのピクセルにも対応していない場合、それぞれの前記第１ないし前記第ｎデンス対応情報は、前記ベースイメージの少なくとも一つの外側拡張領域における少なくとも一つの位置に対応する情報を含むことができる。すなわち、前記第１ないし前記第ｎデンス対応情報それぞれは、前記ベースイメージを基準として計算されたそれぞれの前記第１ないし前記第ｎサブイメージ内のすべてのピクセル（それぞれの前記第１ないし前記第ｎサブイメージの各ピクセルは移動する）に対する相対座標であるｄｘ、ｄｙを含み、前記ベースイメージの対応するピクセルがない場合、前記相対座標は、前記ベースイメージに追加される前記外側拡張領域の前記位置に対応する（イメージ幅、イメージ高さ）として表すことができる。
【００６７】
そして、図４を参照すると、それぞれの前記第１以前学習デンス対応ネットワーク１００＿１ないし前記第ｎ以前学習デンス対応ネットワーク１００＿ｎが、それぞれの前記第１デンス対応情報ないし前記第ｎデンス対応情報を生成するプロセスをより詳細に説明すると以下のとおりである。
【００６８】
それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワーク１００は、（ｉ）前記ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第１サブエンコーダ１１０にそれぞれ入力することによって、それぞれの前記第１サブエンコーダ１１０で、前記ベースイメージに少なくとも一つのコンボリューション演算を適用して、それぞれの第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｉｉ）それぞれの前記第１ないし前記第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの第２サブエンコーダ１２０にそれぞれ入力することによって、それぞれの前記第２サブエンコーダ１２０で、それぞれの前記第１ないし前記第ｎサブイメージにそれぞれ少なくとも一つのコンボリューション演算を適用して、それぞれの第２サブコンボリューション特徴マップをそれぞれ生成させるプロセスを遂行することができる。
【００６９】
この場合、それぞれの前記第１サブエンコーダ１１０及びそれぞれの前記第２サブエンコーダ１２０は、少なくとも一つのコンボリューションレイヤを含むことができ、少なくとも一つのコンボリューション演算を加えて前記ベースイメージをダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）することができる。また、それぞれの前記第１サブエンコーダ１００及びそれぞれの前記第２サブエンコーダ１２０は、これらのサブエンコーダ重み付け値を共有することができる。
【００７０】
そして、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、それぞれの前記第１サブコンボリューション特徴マップとそれぞれの前記第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの第１ないし第ｎサブコンカチネート済み特徴マップを生成する。
【００７１】
その後、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれのサブデコーダ１３０にそれぞれ入力することによって、それぞれの前記サブデコーダ１３０で、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、それぞれの第１ないし第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセスを遂行することができる。この際、それぞれの前記サブデコーダ１３０は、少なくとも一つのデコンボリューションレイヤを含み、少なくとも一つのデコンボリューション演算を適用して、それぞれの前記第１ないし前記第ｎサブコンカチネート済み特徴マップをアップサンプリング（ｕｐ−ｓａｍｐｌｉｎｇ）することができる。
【００７２】
そして、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークが、前記第１ないし前記第ｎサブデコンボリューション特徴マップを当該リグレッサ（ｒｅｇｒｅｓｓｏｒ）１４０にそれぞれ入力することによって、それぞれの前記リグレッサ１４０で、それぞれの前記第１ないし前記第ｎデンス対応情報を出力させることができる。
【００７３】
一方、それぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークは、サブ学習装置により、それぞれの前記第１ないし前記第ｎデンス対応情報をそれぞれ出力するように学習され得る。
【００７４】
一例として、図５を参照すると、少なくとも一つの第１トレーニングイメージ及び少なくとも一つの第２トレーニングイメージが取得されると、前記サブ学習装置１５００が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダ１１０に入力することによって、それぞれの前記第１サブエンコーダ１１０で、前記第１トレーニングイメージに少なくとも一つのコンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダ１２０に入力することによって、それぞれの前記第２サブエンコーダ１２０で、前記第２トレーニングイメージに少なくとも一つのコンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセスを遂行することができる。
【００７５】
そして、前記サブ学習装置１５００は、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップと、それぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダ１３０にそれぞれ入力することによって、それぞれの前記サブデコーダ１３０で、それぞれの前記学習用サブコンカチネート済み特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサ１４０にそれぞれ入力することによって、それぞれの前記リグレッサ１４０で、それぞれの学習用デンス対応情報をそれぞれ出力させるプロセスを遂行することができる。この際、前記第２トレーニングイメージのデンスが前記第１トレーニングイメージに移動する場合、それぞれの前記学習用デンス対応情報は、前記第２トレーニングイメージのデンスの前記第１トレーニングイメージ上におけるそれぞれの位置を表す。また、前記第２トレーニングイメージのデンスは、前記第２トレーニングイメージ上のピクセルのうちで、学習用物体が位置するものと推定されたピクセルのクラスターを示す。
【００７６】
その後、前記サブ学習装置１５００は、（ｖｉ）第２ロスレイヤ１５５０で、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダ１３０のサブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ１１０及び前記第２サブエンコーダ１２０のサブエンコーダ重み付け値とをアップデートするプロセスを遂行することができる。
【００７７】
次に、再び図３を参照すると、前記学習装置１０００は、（ｉ）前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとをそれぞれ第１エンコーダ２００＿１ないし第ｎ＋１エンコーダ２００＿ｎ＋１それぞれに入力することによって、それぞれの前記第１エンコーダ２００＿１ないし前記第ｎ＋１エンコーダ２００＿ｎ＋１で、前記ベースイメージと、それぞれの前記第１サブイメージないし前記第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して、第１コンボリューション特徴マップないし第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、及び（ｉｉ）それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップをそれぞれ第１デコーダ３００＿１ないし第ｎ＋１デコーダ３００＿ｎ＋１に入力することによって、それぞれの前記第１デコーダ３００＿１ないし前記第ｎ＋１デコーダ３００＿ｎ＋１で、それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、第１デコンボリューション特徴マップないし第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセスを遂行することができる。この場合、それぞれの前記第１エンコーダ２００＿１ないし前記第ｎ＋１エンコーダ２００＿ｎ＋１は、少なくとも一つのコンボリューションレイヤを含むことができ、少なくとも一つのコンボリューション演算を適用して前記ベースイメージとそれぞれの前記第１ないし前記第ｎ＋１サブイメージとをダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）することができる。そして、それぞれの前記第１デコーダ３００＿１ないし前記第ｎ＋１デコーダ３００＿ｎ＋１は、少なくとも一つのデコンボリューションレイヤを含み、少なくとも一つのデコンボリューション演算を適用して、それぞれの前記第１コンボリューション特徴マップないし前記第ｎ＋１コンボリューション特徴マップをアップサンプリングすることができる。また、それぞれの前記第１エンコーダ２００＿１ないし前記第ｎ＋１エンコーダ２００＿ｎ＋１は、これらのエンコーダ重み付け値を共有することができ、それぞれの前記第１デコーダ３００＿１ないし前記第ｎ＋１デコーダ３００＿ｎ＋１は、これらのデコーダ重み付け値を共有することができる。
そして、前記学習装置１０００は、（ｉｉｉ）第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して第ｋ＋１デコンボリューション特徴マップの座標を前記第１デコンボリューション特徴マップの座標に移動させて、第ｋ調整デコンボリューション特徴マップを生成することによって、第１調整デコンボリューション特徴マップないし第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記第１デコンボリューション特徴マップと、前記第１調整デコンボリューション特徴マップないし前記第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのコンカチネート済み特徴マップを生成するプロセスを遂行することができる。
【００７８】
その後、前記学習装置１０００が、前記コンカチネート済み特徴マップをマスキング（ｍａｓｋｉｎｇ）レイヤ４００に入力することによって、前記マスキングレイヤ４００で、前記コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して、少なくとも一つのセマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセスを遂行することができる。この場合、前記セマンティックセグメンテーションイメージは、前記ベースイメージに前記第１サブイメージないし前記第ｎサブイメージに関する情報を追加して、これからの出力をセグメンテーションすることから生成され、これは前記オートラベリングされたベースイメージに対応する。
【００７９】
次に、前記学習装置１０００は、第１ロスレイヤ５００で、前記セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して一つ以上の第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて、前記第１ロスを最小化するように前記第１デコーダ３００＿１ないし前記第ｎ＋１デコーダ３００＿ｎ＋１の重み付け値それぞれ及び前記第１エンコーダ２００＿１ないし前記第ｎ＋１エンコーダ２００＿ｎ＋１の重み付け値をアップデートするプロセスを遂行し、結果的に、前記学習装置１０００は、前記周辺車両の前記サブイメージを利用して前記ベース車両の前記ベースイメージをオートラベリングするために利用される前記オートラベリング装置を学習させることができる。
【００８０】
図６は、本発明の一実施例にしたがって、前記周辺車両から撮影された前記サブイメージを利用して、前記ベース車両から撮影された前記ベースイメージをオートラベリングする前記オートラベリング装置をテストするためのテスティング装置を簡略に示したものである。図６を参照すると、前記テスティング装置２０００は、前記周辺車両から撮影された前記サブイメージを利用して、前記ベース車両から撮影された前記ベースイメージをオートラベリングする前記オートラベリング装置をテストするための各インストラクションを格納するメモリ２１００と、メモリ２１００に格納された各インストラクションにしたがって、前記周辺車両から撮影された前記サブイメージを利用して、前記ベース車両から撮影された前記ベースイメージをオートラベリングする前記オートラベリング装置をテストするためのプロセスを遂行するプロセッサ２２００と、を含むことができる。
【００８１】
具体的に、前記テスティング装置２０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置、出力装置、及びその他既存のコンピューティング装置の各構成要素を含むことができる装置、ルータ、スイッチなどのような電子通信装置、ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置で特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。
【００８２】
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、前記コンピューティング装置は、オペレーティングシステム（ＯＳ）、及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００８３】
しかし、前記コンピューティング装置が、本発明を実施するためのミディアム、プロセッサ、メモリ、または他のコンピューティング構成要素が統合された形態である統合プロセッサを含む場合を排除するわけではない。
【００８４】
本発明の一実施例にしたがって、テスティング装置２０００を利用した周辺車両から撮影したサブイメージを利用して、ベース車両から撮影したベースイメージをオートラベリングするために利用されるオートラベリング装置をテストする方法を、図７を参照して説明すると以下のとおりである。以下の説明では、前記図３ないし図５の説明から容易に理解することが可能な部分については詳細な説明を省略することにする。
【００８５】
まず、周辺車両のサブイメージを利用してベース車両から撮影したベースイメージをオートラベリングするオートラベリング装置は、図３ないし図５を参照して説明した学習プロセスにより学習された状態であり得る。
【００８６】
すなわち、学習用ベース車両から撮影された少なくとも一つの学習用ベースイメージと、一つ以上の学習用周辺車両それぞれから撮影された学習用第１サブイメージないし学習用第ｎサブイメージが取得されると、前記学習装置は、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとをそれぞれ前記第１以前学習デンス対応ネットワーク１００＿１ないし前記第ｎ以前学習デンス対応ネットワーク１００＿ｎにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれの学習用第１デンス対応情報ないし学習用第ｎデンス対応情報をそれぞれ生成させる。この場合、それぞれの前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスが前記学習用ベースイメージに移動する場合、それぞれの前記学習用第１デンス対応情報ないし前記学習用第ｎデンス対応情報は、前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスそれぞれの、前記学習用ベースイメージ上におけるそれぞれの位置を表す。また、それぞれの前記学習用第１サブイメージのデンスないし前記学習用第ｎサブイメージのデンスは、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージ上のピクセルのうちで、それぞれの学習用物体が位置するものと推定されたピクセルの各クラスターを表す。そして、前記学習装置は、（ｉ）前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとを前記第１エンコーダ２００＿１ないし前記第ｎ＋１エンコーダ２００＿ｎ＋１それぞれに入力することによって、それぞれの前記第１エンコーダ２００＿１ないし前記第ｎ＋１エンコーダ２００＿ｎ＋１で、前記学習用ベースイメージと、それぞれの前記学習用第１サブイメージないし前記学習用第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して、学習用第１コンボリューション特徴マップないし学習用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、及び（ｉｉ）それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップをそれぞれ前記第１デコーダ３００＿１ないし前記第ｎ＋１デコーダ３００＿ｎ＋１それぞれに入力することによって、それぞれの前記第１デコーダ３００＿１ないし前記第ｎ＋１デコーダ３００＿ｎ＋１で、それぞれの前記学習用第１コンボリューション特徴マップないし前記学習用第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、学習用第１デコンボリューション特徴マップないし学習用第ｎ＋１デコンボリューション特徴マップそれぞれを出力させるプロセスを遂行することができる。その後、前記学習装置が、（ｉｉｉ）学習用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照して学習用第ｋ＋１デコンボリューション特徴マップの座標を前記学習用第１デコンボリューション特徴マップの座標に移動させて、学習用第ｋ調整デコンボリューション特徴マップを生成することによって、学習用第１調整デコンボリューション特徴マップないし学習用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記学習用第１デコンボリューション特徴マップと、前記学習用第１調整デコンボリューション特徴マップないし前記学習用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つの学習用コンカチネート済み特徴マップを生成するプロセスを遂行することができる。そして、前記学習装置は、前記学習用コンカチネート済み特徴マップを前記マスキング４００レイヤに入力することによって、前記マスキングレイヤ４００で、前記学習用コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して少なくとも一つの学習用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセス、及び前記第１ロスレイヤで、前記学習用セマンティックセグメンテーションイメージとこれに対応する少なくとも一つのセグメンテーション原本正解とを参照して前記第１ロスを計算させ、前記第１ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて、前記第１ロスを最小化するように前記第１デコーダ３００＿１ないし前記第ｎ＋１デコーダ３００＿ｎ＋１の前記重み付け値それぞれ及び前記第１エンコーダ２００＿１ないし前記第ｎ＋１エンコーダ２００＿ｎ＋１の前記重み付け値それぞれをアップデートするプロセスを遂行する。
【００８７】
前記プロセスを完了した後、前記テスティング装置２０００が、テスト用ベース車両から撮影された少なくとも一つのテスト用ベースイメージと、一台以上のテスト用周辺車両それぞれから撮影されたテスト用第１サブイメージないしテスト用第ｎサブイメージとが取得されると、前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれ前記第１以前学習デンス対応ネットワーク１００＿１ないし前記第ｎ以前学習デンス対応ネットワーク１００＿ｎにそれぞれ入力することによって、前記第１ないし前記第ｎ以前学習デンス対応ネットワークそれぞれで、それぞれのテスト用第１デンス対応情報ないしテスト用第ｎデンス対応情報をそれぞれ生成させるプロセスを実行する。この場合、それぞれの前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスが前記テスト用ベースイメージに移動する場合、それぞれの前記テスト用第１デンス対応情報ないし前記テスト用第ｎデンス対応情報は、前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスそれぞれの、前記テスト用ベースイメージ上におけるそれぞれの位置を表す。また、それぞれの前記テスト用第１サブイメージのデンスないし前記テスト用第ｎサブイメージのデンスは、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージ上のピクセルのうちで、それぞれのテスト用物体が位置するものと推定されたピクセルの各クラスターを表す。
【００８８】
すなわち、図８を参照して、前記テスティング装置が、それぞれの前記第１以前学習デンス対応ネットワーク１００＿１ないし前記第ｎ以前学習デンス対応ネットワーク１００＿ｎで、（ｉ）前記テスト用ベースイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの前記第１サブエンコーダ１１０にそれぞれ入力することによって、それぞれの前記第１サブエンコーダ１１０で、前記テスト用ベースイメージに少なくとも一つのコンボリューション演算を適用して、それぞれのテスト用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｉｉ）それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの前記第２サブエンコーダ１２０にそれぞれ入力することによって、それぞれの前記第２サブエンコーダ１２０で、それぞれの前記テスト用第１ないし前記テスト用第ｎサブイメージにそれぞれ少なくとも一つのコンボリューション演算を適用して、それぞれのテスト用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセスを遂行することができる。そして、前記テスティング装置が、それぞれの前記第１以前学習デンス対応ネットワーク１００＿１ないし前記第ｎ以前学習デンス対応ネットワーク１００＿ｎで、それぞれの前記テスト用第１サブコンボリューション特徴マップと、それぞれの前記テスト用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップを生成するプロセス、及びそれぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップをそれぞれの前記第１ないし前記第ｎ以前学習デンス対応ネットワークに対応するそれぞれの前記サブデコーダ１３０にそれぞれ入力することによって、それぞれの前記サブデコーダ１３０で、それぞれの前記テスト用第１ないし前記テスト用第ｎサブコンカチネート済み特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、それぞれのテスト用第１ないしテスト用第ｎサブデコンボリューション特徴マップをそれぞれ生成させるプロセスを遂行させることができる。その後、前記テスティング装置が、それぞれの前記第１以前学習デンス対応ネットワーク１００＿１ないし前記第ｎ以前学習デンス対応ネットワーク１００＿ｎで、前記テスト用第１ないし前記テスト用第ｎサブデコンボリューション特徴マップを前記対応するリグレッサ１４０にそれぞれ入力することによって、それぞれの前記リグレッサ１４０で、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報を出力させることができる。
【００８９】
一方、それぞれの前記第１以前学習デンス対応ネットワーク１００＿１ないし前記第ｎ以前学習デンス対応ネットワーク１００＿ｎは、前記サブ学習装置により、それぞれの前記テスト用第１ないし前記テスト用第ｎデンス対応情報をそれぞれ出力するように学習される。
【００９０】
すなわち、前記第１トレーニングイメージ及び前記第２トレーニングイメージが取得されると、前記サブ学習装置が、（ｉ）前記第１トレーニングイメージをそれぞれの前記第１サブエンコーダ１１０に入力することによって、それぞれの前記第１サブエンコーダ１１０で、前記第１トレーニングイメージに少なくとも一つのコンボリューション演算を適用して、それぞれの学習用第１サブコンボリューション特徴マップをそれぞれ生成させるプロセス、及び（ｉｉ）前記第２トレーニングイメージをそれぞれの前記第２サブエンコーダ１２０に入力することによって、それぞれの前記第２サブエンコーダ１２０で、前記第２トレーニングイメージに少なくとも一つのコンボリューション演算を適用して、それぞれの学習用第２サブコンボリューション特徴マップをそれぞれ生成させるプロセスを遂行することができる。そして、前記サブ学習装置は、（ｉｉｉ）それぞれの前記学習用第１サブコンボリューション特徴マップとそれぞれの前記学習用第２サブコンボリューション特徴マップとをコンカチネートすることによって、それぞれの学習用サブコンカチネート済み特徴マップを生成するプロセス、及び（ｉｖ）それぞれの前記学習用サブコンカチネート済み特徴マップをそれぞれの前記サブデコーダ１３０にそれぞれ入力することによって、それぞれの前記サブデコーダ１３０で、前記学習用サブコンカチネート済み特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、それぞれの学習用サブデコンボリューション特徴マップをそれぞれ生成させるプロセスを遂行することができる。その後、前記サブ学習装置は、（ｖ）それぞれの前記学習用サブデコンボリューション特徴マップをそれぞれの前記リグレッサ１４０に入力することによって、それぞれの前記リグレッサ１４０で、それぞれの前記学習用デンス対応情報をそれぞれ出力させるプロセス、及び（ｖｉ）前記第２ロスレイヤで、前記学習用デンス対応情報とデンス対応原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して前記第２ロスを計算させ、前記第２ロスを利用したバックプロパゲーションを通じてそれぞれの前記サブデコーダ１３０の前記サブデコーダ重み付け値それぞれと、それぞれの前記第１サブエンコーダ１１０及び前記第２サブエンコーダ１２０の前記サブエンコーダ重み付け値それぞれをアップデートするプロセスを遂行して、前記サブ学習装置が、前記第１以前学習デンス対応ネットワーク１００＿１ないし前記第ｎ以前学習デンス対応ネットワーク１００＿ｎを学習させることができる。
【００９１】
次に、再び図７を参照すると、前記テスティング装置２０００が、（ｉ）前記テスト用ベースイメージと、それぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとをそれぞれの前記第１エンコーダ２００＿１ないし前記第ｎ＋１エンコーダ２００＿ｎ＋１それぞれに入力することによって、それぞれの前記第１エンコーダ２００＿１ないし前記第ｎ＋１エンコーダ２００＿ｎ＋１で、前記テスト用ベースイメージとそれぞれの前記テスト用第１サブイメージないし前記テスト用第ｎサブイメージとにそれぞれ少なくとも一つのコンボリューション演算を適用して、それぞれのテスト用第１コンボリューション特徴マップないしテスト用第ｎ＋１コンボリューション特徴マップをそれぞれ出力させるプロセス、及び（ｉｉ）それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリューション特徴マップをそれぞれの前記第１デコーダ３００＿１ないし前記第ｎ＋１デコーダ３００＿ｎ＋１に入力することによって、それぞれの前記第１デコーダ３００＿１ないし前記第ｎ＋１デコーダ３００＿ｎ＋１で、それぞれの前記テスト用第１コンボリューション特徴マップないし前記テスト用第ｎ＋１コンボリューション特徴マップにそれぞれ少なくとも一つのデコンボリューション演算を適用して、それぞれのテスト用第１デコンボリューション特徴マップないしテスト用第ｎ＋１デコンボリューション特徴マップをそれぞれ出力させるプロセスを遂行する。
【００９２】
次に、前記テスティング装置２０００が、（ｉｉｉ）テスト用第ｋ（ｋは１からｎまでの整数である）デンス対応情報を参照してテスト用第ｋ＋１デコンボリューション特徴マップの座標を前記テスト用第１デコンボリューション特徴マップの座標に移動させて、テスト用第ｋ調整デコンボリューション特徴マップを生成することによって、テスト用第１調整デコンボリューション特徴マップないしテスト用第ｎ調整デコンボリューション特徴マップを生成するプロセス、及び（ｉｖ）前記テスト用第１デコンボリューション特徴マップと、前記テスト用第１調整デコンボリューション特徴マップないし前記テスト用第ｎ調整デコンボリューション特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して少なくとも一つのテスト用コンカチネート済み特徴マップを生成するプロセスを遂行することができる。
【００９３】
次に、前記テスティング装置２０００が、前記テスト用コンカチネート済み特徴マップを前記マスキングレイヤ４００に入力することによって、前記マスキングレイヤ４００で、前記テスト用コンカチネート済み特徴マップに少なくとも一つのマスキング演算を適用して、少なくとも一つのテスト用セマンティック（ｓｅｍａｎｔｉｃ）セグメンテーションイメージを出力させるプロセスを遂行し、結果的に前記ベースイメージがオートラベリングされ得るようにする。
【００９４】
前記で説明したように、本発明は、センサフュージョンを利用して各周辺車両の位置センサなどを共有して、他の視点から撮影された各ビデオイメージをＶ２Ｘ通信を介して取得し、Ｖ２Ｘ情報フュージョンにより他の視点から撮影された各ビデオイメージの特徴をフュージョンして走行する車両から撮影されたビデオイメージをリアルタイムにオートラベリングすることが可能になる。
【００９５】
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００９６】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００９７】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126635.tif 000003
【図２】
2020126635.tif 000004
【図３】
2020126635.tif 000005
【図４】
2020126635.tif 000006
【図５】
2020126635.tif 000007
【図６】
2020126635.tif 000008
【図７】
2020126635.tif 000009
【図８】
2020126635.tif 000010