(57)【要約】      （修正有）【課題】周辺環境に対する正確な物体検出情報を取得することができる物体検出方法及び装置を提供する。【解決手段】周辺に位置するカメラそれぞれに対応し、ディープラーニング基盤のイメージ分析により、それぞれのカメラから生成されるそれぞれのイメージ内の物体を検出する物体検出器により検出される物体検出情報を統合する方法であって、第１ないし第ｎ物体検出情報がそれぞれ第１物体検出器ないし第ｎ物体検出器から検出信頼度の降順で取得されると、統合装置がｋを３からｎまで増加させながら、マッチング演算によって第（ｋ−２）物体と第ｋ物体とを統合して第（ｋ−１）物体統合情報を取得し、第（ｋ−１）物体統合情報をイメージに再投影する。【選択図】図２
2020123336.tif 000002
【特許請求の範囲】
【請求項１】
周辺に位置するカメラそれぞれに対応し、ディープラーニング基盤のイメージ分析により、それぞれの前記カメラから生成されるそれぞれのイメージ内の物体を検出する物体検出器により検出される物体検出情報を統合する方法において、
（ａ）周辺に位置する前記カメラそれぞれに対応する前記物体検出器から物体検出情報（前記物体検出情報それぞれは、それぞれの前記イメージを撮影する前記カメラに対応する一つ以上のイメージ撮影主体に該当する一つ以上のプライマリ物体（ｐｒｉｍａｒｙ  ｏｂｊｅｃｔ）、及びそれぞれの前記カメラによって生成される前記イメージのうち、少なくとも一部のイメージ上に現れる一つ以上のイメージ撮影対象に該当する一つ以上のセカンダリ物体（ｓｅｃｏｎｄａｒｙ  ｏｂｊｅｃｔ）を含む）が取得されると、前記物体検出器に対応する統合装置のうち、特定物体検出器に対応する特定統合装置が、前記物体検出情報を参照してそれぞれの前記物体検出器の検出信頼度の順序を決定する段階；及び
（ｂ）前記物体検出器のうちの少なくとも一部を前記検出信頼度の降順で第１物体検出器ないし第ｎ物体検出器とし、前記第１物体検出器ないし前記第ｎ物体検出器それぞれから取得されたそれぞれの前記物体検出情報を第１物体検出情報ないし第ｎ物体検出情報であるとした場合、前記特定統合装置が、（ｉ）前記第１物体検出情報と第２物体検出情報とを参照して、少なくとも一つのマッチング（ｍａｔｃｈｉｎｇ）演算によって、前記第１物体検出情報内の第１全体物体（前記第１全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）と、前記第２物体検出情報内の第２全体物体（前記第２全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）との間の対応関係を確認し、前記第１全体物体と、前記第２全体物体とを統合して第１物体統合情報を取得し、（ｉｉ）ｋを３からｎまで増加させながら、第（ｋ−２）物体統合情報と第ｋ物体検出情報とを参照して、前記マッチング演算によって前記第（ｋ−２）物体統合情報に含まれた第（ｋ−２）物体と、前記第ｋ物体検出情報に含まれた第ｋ物体との間の対応関係を確認し、前記第（ｋ−２）物体と前記第ｋ物体とを統合して第（ｋ−１）物体統合情報を取得し、前記第（ｋ−１）物体統合情報を、前記特定物体検出器に対応する少なくとも一つの特定カメラから取得される少なくとも一つの特定イメージに再投影する段階；
を含むことを特徴とする方法。
【請求項２】
（ｃ）前記特定統合装置が、前記第（ｋ−１）物体統合情報と、前記特定物体検出器の特定物体検出情報との間の類似度を参照して前記特定物体検出器の特定検出信頼度をアップデートする段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
（ｄ）前記特定統合装置が、前記第（ｋ−１）物体統合情報に含まれた第（ｋ−１）物体をオートラベリング（ａｕｔｏ  ｌａｂｅｌｌｉｎｇ）し、前記オートラベリングによって生成されたラベルを参照して前記特定物体検出器の一つ以上のパラメータの少なくとも一部を学習する段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記物体検出情報それぞれは、前記プライマリ物体それぞれに対する情報と、前記セカンダリ物体それぞれに対する情報とを含み、
前記プライマリ物体それぞれに対する情報は、前記プライマリ物体それぞれに対する状態情報（前記プライマリ物体それぞれに対する状態情報は、前記プライマリ物体それぞれに対する現在位置情報と、現在方向情報と、現在速力情報とを含む）及び前記プライマリ物体それぞれに対応する前記物体検出器それぞれの前記検出信頼度を含み、
前記セカンダリ物体それぞれに対する情報は、前記セカンダリ物体それぞれに対する状態情報（前記セカンダリ物体それぞれに対する状態情報は、前記セカンダリ物体それぞれに対する現在位置情報と、現在方向情報と、現在速力情報とを含む）及び前記セカンダリ物体それぞれに対する製品情報を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記プライマリ物体それぞれに対する情報は、前記プライマリ物体それぞれに対する製品情報及び前記プライマリ物体それぞれに対応する前記物体検出器それぞれの製品情報の中の一つを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記（ａ）段階で、
前記特定統合装置は、（ｉ）前記検出信頼度を受信してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセス、（ｉｉ）前記物体検出器それぞれの製品情報それぞれに対応する予め設定された第１信頼度を参照してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセス、及び（ｉｉｉ）前記物体検出器の特徴情報が取得されない場合、基準信頼度として予め設定された第２信頼度を参照してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセスの中の一つを遂行するのを特徴とする請求項５に記載の方法。
【請求項７】
前記第１物体検出情報と、前記第（ｋ−２）物体統合情報との中の一つに対応する第１全体物体（前記第１全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）をＡ１ないしＡｉとし、前記第２物体検出情報と、前記第ｋ物体検出情報との中の一つに対応する第２全体物体（前記第２全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）をＢ１ないしＢｊとする場合、
前記（ｂ）段階で、
前記特定統合装置は、前記マッチング演算によって前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとの間の対応関係のコスト（ｃｏｓｔ）を算出し、前記算出された対応関係のコストに応じて前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとを統合することを特徴とする請求項１に記載の方法。
【請求項８】
前記特定統合装置は、（１）｛１−第１ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ）｝（前記第１ＩｏＵは、前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の三次元立方体ＩｏＵである）（２）｛１−第２ＩｏＵ｝（前記第２ＩｏＵは、前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の三次元立方体を鳥瞰して二次元平面上に投影させた結果として生成される二次元長方形ＩｏＵである）、（３）前記Ａ１ないし前記Ａｉのうちの一つの重心と、前記Ｂ１ないし前記Ｂｊのうちの一つの重心との間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ  ｄｉｓｔａｎｃｅ）、（４）前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の角度、及び（５）前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の速力の差異のうちの中のいずれか一つ、あるいは前記（１）ないし（５）のうちの少なくとも二つの加重和（ｗｅｉｇｈｔｅｄ  ｓｕｍ）を利用して、前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとの間の対応関係のコストを算出することを特徴とする請求項７に記載の方法。
【請求項９】
前記特定統合装置は、前記第１物体検出情報または前記第（ｋ−２）物体統合情報に対応する第１未検出物体をＣ１ないしＣｊだけ追加して前記第１未検出物体が前記Ｂ１ないし前記Ｂｊに対応するようにし、前記第２物体検出情報または前記第ｋ物体検出情報に対応する第２未検出物体をＤ１ないしＤｉだけ追加して前記第２未検出物体が前記Ａ１ないし前記Ａｉに対応するようにし、
前記特定統合装置は、前記マッチング演算により（ｉ）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊと、（ｉｉ）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコストを算出し、（ｉ）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊと、（ｉｉ）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとを統合することを特徴とする請求項７に記載の方法。
【請求項１０】
前記特定統合装置は、（ｉ）（ｉ−１）前記Ｃ１ないし前記Ｃｊのうちの一つと、（ｉ−２）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコスト及び（ｉｉ）（ｉｉ−１）前記Ｄ１ないし前記Ｄｉの一つと、（ｉｉ−２）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊの一つとの間の対応関係のコストを予め設定された初期値に決定することを特徴とする請求項９に記載の方法。
【請求項１１】
前記（ｂ）段階で、
前記算出されたコストに応じて前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとを統合するプロセスの間、前記特定統合装置が、（ｉ）前記第１全体物体及び前記第２全体物体それぞれに対応する前記検出信頼度を重み付け値として、前記第１全体物体及び前記第２全体の物体に対する状態情報を加重和で統合し、（ｉｉ）前記検出信頼度の合計が一番高い所定物体検出器の製品情報を前記第１全体物体及び前記第２全体物体に対する製品情報に統合することを特徴とする請求項７に記載の方法。
【請求項１２】
周辺に位置するカメラそれぞれに対応し、ディープラーニング基盤のイメージ分析により、それぞれの前記カメラから生成されるそれぞれのイメージ内の物体を検出する物体検出器により検出される物体検出情報を統合する統合装置のうち、特定物体検出器に対応する特定統合装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）周辺に位置する前記カメラそれぞれに対応する前記物体検出器から物体検出情報（前記物体検出情報それぞれは、それぞれの前記イメージを撮影する前記カメラに対応する一つ以上のイメージ撮影主体に該当する一つ以上のプライマリ物体、及びそれぞれの前記カメラによって生成される前記イメージの中の少なくとも一部のイメージ上に現れる一つ以上のイメージ撮影対象に当たる一つ以上のセカンダリ物体を含む）が取得されると、前記物体検出情報を参照してそれぞれの前記物体検出器の検出信頼度の順序を決定するプロセス、及び（ＩＩ）前記物体検出器のうちの少なくとも一部を前記検出信頼度の降順で第１物体検出器から第ｎ物体検出器とし、前記第１物体検出器から前記第ｎ物体検出器それぞれから取得されたそれぞれの前記物体検出情報を第１物体検出情報ないし第ｎ物体検出情報であるとした場合、（ｉ）前記第１物体検出情報と第２物体検出情報とを参照して、少なくとも一つのマッチング（ｍａｔｃｈｉｎｇ）演算によって、前記第１物体検出情報内の第１全体物体（前記第１全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）と、前記第２物体検出情報内の第２全体物体（前記第２全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）との間の対応関係を確認して、前記第１全体物体と、前記第２全体物体とを統合して第１物体統合情報を取得し、（ｉｉ）ｋを３からｎまで増加させながら、第（ｋ−２）物体統合情報と第ｋ物体検出情報とを参照して、前記マッチング演算によって前記第（ｋ−２）物体統合情報に含まれた第（ｋ−２）物体と、前記第ｋ物体検出情報に含まれた第ｋ物体との間の対応関係を確認し、前記第（ｋ−２）物体と前記第ｋ物体とを統合して第（ｋ−１）物体統合情報を取得し、前記第（ｋ−１）物体統合情報を、前記特定物体検出器に対応する少なくとも一つの特定カメラから取得される少なくとも一つの特定イメージに再投影するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする特定統合装置。
【請求項１３】
前記プロセッサが、（ＩＩＩ）前記第（ｋ−１）物体統合情報と、前記特定物体検出器の特定物体検出情報との間の類似度を参照して前記特定物体検出器の特定検出信頼度をアップデートするプロセスをさらに遂行することを特徴とする請求項１２に記載の特定統合装置。
【請求項１４】
前記プロセッサが、（ＩＶ）前記第（ｋ−１）物体統合情報に含まれた第（ｋ−１）物体をオートラベリング（ａｕｔｏ  ｌａｂｅｌｌｉｎｇ）し、前記オートラベリングによって生成されたラベルを参照して前記特定物体検出器の一つ以上のパラメータの少なくとも一部を学習するプロセスをさらに遂行することを特徴とする請求項１２に記載の特定統合装置。
【請求項１５】
前記物体検出情報それぞれは、前記プライマリ物体それぞれに対する情報と、前記セカンダリ物体それぞれに対する情報とを含み、
前記プライマリ物体それぞれに対する情報は、前記プライマリ物体それぞれに対する状態情報（前記プライマリ物体それぞれに対する状態情報は、前記プライマリ物体それぞれに対する現在位置情報と、現在方向情報と、現在速力情報とを含む）及び前記プライマリ物体それぞれに対応する前記物体検出器それぞれの前記検出信頼度を含み、
前記セカンダリ物体それぞれに対する情報は、前記セカンダリ物体それぞれに対する状態情報（前記セカンダリ物体それぞれに対する状態情報は、前記セカンダリ物体それぞれに対する現在位置情報と、現在方向情報と、現在速力情報とを含む）及び前記セカンダリ物体それぞれに対する製品情報を含むことを特徴とする請求項１２に記載の特定統合装置。
【請求項１６】
前記プライマリ物体それぞれに対する情報は、前記プライマリ物体それぞれに対する製品情報及び前記プライマリ物体それぞれに対応する前記物体検出器それぞれの製品情報の中の一つを含むことを特徴とする請求項１５に記載の特定統合装置。
【請求項１７】
前記（Ｉ）プロセスで、
前記プロセッサは、（ｉ）前記検出信頼度を受信してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセス、（ｉｉ）前記物体検出器それぞれの製品情報それぞれに対応する予め設定された第１信頼度を参照してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセス、及び（ｉｉｉ）前記物体検出器の特徴情報が取得されない場合、基準信頼度として予め設定された第２信頼度を参照してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセスの中の一つを遂行するのを特徴とする請求項１６に記載の特定統合装置。
【請求項１８】
前記第１物体検出情報と、前記第（ｋ−２）物体統合情報との中の一つに対応する第１全体物体（前記第１全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）をＡ１ないしＡｉとし、前記第２物体検出情報と、前記第ｋ物体検出情報との中の一つに対応する第２全体物体（前記第２全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）をＢ１ないしＢｊとする場合、
前記（ＩＩ）プロセスで、
前記プロセッサは、前記マッチング演算によって前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとの間の対応関係のコスト（ｃｏｓｔ）を算出し、前記算出された対応関係のコストに応じて前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとを統合することを特徴とする請求項１２に記載の特定統合装置。
【請求項１９】
前記プロセッサは、（１）｛１−第１ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ）｝（前記第１ＩｏＵは、前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の三次元立方体ＩｏＵである）、（ｉｉ）｛１−第２ＩｏＵ｝（前記第２ＩｏＵは、前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の三次元立方体を鳥瞰して二次元平面上に投影させた結果として生成される二次元長方形ＩｏＵである）、（ｉｉｉ）前記Ａ１ないし前記Ａｉのうちの一つの重心と、前記Ｂ１ないし前記Ｂｊのうちの一つの重心との間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ  ｄｉｓｔａｎｃｅ）、（ｉｖ）前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の角度、及び（ｖ）前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の速力の差異のうちの中のいずれか一つ、あるいは前記（ｉ）ないし（ｖ）のうちの少なくとも二つの加重和（ｗｅｉｇｈｔｅｄ  ｓｕｍ）を利用して、前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとの間の対応関係のコストを算出することを特徴とする請求項１８に記載の特定統合装置。
【請求項２０】
前記プロセッサは、前記第１物体検出情報または前記第（ｋ−２）物体統合情報に対応する第１未検出物体をＣ１ないしＣｊだけ追加して前記第１未検出物体が前記Ｂ１ないし前記Ｂｊに対応するようにし、前記第２物体検出情報または前記第ｋ物体検出情報に対応する第２未検出物体をＤ１ないしＤｉだけ追加して前記第２未検出物体が前記Ａ１ないし前記Ａｉに対応するようにし、
前記プロセッサは、前記マッチング演算によって（ｉ）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊと、（ｉｉ）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコストを算出し、（ｉ）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊと、（ｉｉ）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとを統合することを特徴とする請求項１８に記載の特定統合装置。
【請求項２１】
前記プロセッサは、（ｉ）（ｉ−１）前記Ｃ１ないし前記Ｃｊのうちの一つと、（ｉ−２）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコスト及び（ｉｉ）（ｉｉ−１）前記Ｄ１ないし前記Ｄｉの一つと、（ｉｉ−２）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊの一つとの間の対応関係のコストを予め設定された初期値に決定することを特徴とする請求項２０に記載の特定統合装置。
【請求項２２】
前記（ＩＩ）プロセスで、
前記算出されたコストに応じて前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとを統合するプロセスの間、前記プロセッサが、（ｉ）前記第１全体物体及び前記第２全体物体それぞれに対応する前記検出信頼度を重み付け値として、前記第１全体物体及び前記第２全体の物体に対する状態情報を加重和で統合し、（ｉｉ）前記検出信頼度の合計が一番高い所定物体検出器の製品情報を前記第１全体物体及び前記第２全体物体に対する製品情報に統合することを特徴とする請求項１８に記載の特定統合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行車両に利用するための方法及び装置に関し；より詳しくは、周辺に位置するカメラそれぞれに対応する物体検出器によって検出される物体検出情報を統合する方法及び装置に関する。
【背景技術】
【０００２】
一般に、ディープラーニング（Ｄｅｅｐ  ｌｅａｒｎｉｎｇ）は、様々な非線形変換手法の組み合わせにより、高い水準の抽象化を試みる機械学習アルゴリズムの集合として定義され、大きな枠組みで人の考え方をコンピュータに学習させる機械学習の一分野である。
【０００３】
何らかのデータを、コンピュータが読み取れる形態、一例として、イメージのピクセル情報を列ベクトル（ｃｏｌｕｍｎ  ｖｅｃｔｏｒ）で表現し、これを機械学習に適用するために多くの研究が進められている。このような努力の結果、深層神経網（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）、畳み込み神経網（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）、回帰型神経網（Ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）といった様々なディープラーニング技法がコンピュータビジョン、音声認識、自然言語処理、音声・信号処理などの分野に適用され、高性能なディープラーニングネットワークが開発されている。
【０００４】
このようなディープラーニングを用いてイメージを分析し、イメージ内の物体を検出する物体検出器が多くの産業分野に適用されている。
【０００５】
特に物体検出器を自律走行自動車、モバイル端末、監視システムなどに適用して、ユーザの利便性や安定性を向上させている。
【０００６】
しかし、従来の物体検出器は、学習されたパラメータに従って物体を検出するため、実際の状況で物体を正確に検出したか否かを確認することができず、そのために別途モニタリングが必要という短所がある。
【０００７】
また、従来の物体検出器では、性能向上のための多様な学習データを確保することが容易ではない。
【０００８】
また、従来の物体検出器を適用したシステムは、カメラで見ることができる方向及び障害物により遮蔽されていない空間についてのみ確認することができるので、死角エリアや障害物により遮蔽された領域は実際の状況を正確に認知できないという問題点がある。
【０００９】
また、従来の物体検出器は学習されたパラメータによって異なる結果を出力し得、これによって周辺に位置した各システムから検出された情報の間には不一致があり得る。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、前述した問題点を全て解決することを目的とする。
【００１１】
本発明は、周辺に位置するカメラから取得されるイメージ分析結果の間の不一致を防止できるようにすることを他の目的とする。
【００１２】
本発明は、死角エリアや障害物によって遮蔽されていて感知できない領域に位置する物体を検出し得るようにすることをまた他の目的とする。
【００１３】
本発明は、周辺領域に対する正確な物体検出情報を確保して物体検出器を検証できるようにすることをまた他の目的とする。
【００１４】
本発明は、周辺領域に対する正確な物体検出情報を利用してトレーニングデータを自動的に生成し得るようにすることをまた他の目的とする。
【課題を解決するための手段】
【００１５】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【００１６】
本発明の一態様によれば、周辺に位置するカメラそれぞれに対応し、ディープラーニング基盤のイメージ分析により、それぞれの前記カメラから生成されるそれぞれのイメージ内の物体を検出する物体検出器により検出される物体検出情報を統合する方法において、（ａ）周辺に位置する前記カメラそれぞれに対応する前記物体検出器から物体検出情報（前記物体検出情報それぞれは、それぞれの前記イメージを撮影する前記カメラに対応する一つ以上のイメージ撮影主体に該当する一つ以上のプライマリ物体（ｐｒｉｍａｒｙ  ｏｂｊｅｃｔ）、及びそれぞれの前記カメラによって生成される前記イメージのうち、少なくとも一部のイメージ上に現れる一つ以上のイメージ撮影対象に該当する一つ以上のセカンダリ物体（ｓｅｃｏｎｄａｒｙ  ｏｂｊｅｃｔ）を含む）が取得されると、前記物体検出器に対応する統合装置のうち、特定物体検出器に対応する特定統合装置が、前記物体検出情報を参照してそれぞれの前記物体検出器の検出信頼度の順序を決定する段階；及び（ｂ）前記物体検出器のうちの少なくとも一部を前記検出信頼度の降順で第１物体検出器ないし第ｎ物体検出器とし、前記第１物体検出器ないし前記第ｎ物体検出器それぞれから取得されたそれぞれの前記物体検出情報を第１物体検出情報ないし第ｎ物体検出情報であるとした場合、前記特定統合装置が、（ｉ）前記第１物体検出情報と第２物体検出情報とを参照して、少なくとも一つのマッチング（ｍａｔｃｈｉｎｇ）演算によって、前記第１物体検出情報内の第１全体物体（前記第１全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）と、前記第２物体検出情報内の第２全体物体（前記第２全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）との間の対応関係を確認し、前記第１全体物体と、前記第２全体物体とを統合して第１物体統合情報を取得し、（ｉｉ）ｋを３からｎまで増加させながら、第（ｋ−２）物体統合情報と第ｋ物体検出情報とを参照して、前記マッチング演算によって前記第（ｋ−２）物体統合情報に含まれた第（ｋ−２）物体と、前記第ｋ物体検出情報に含まれた第ｋ物体との間の対応関係を確認し、前記第（ｋ−２）物体と前記第ｋ物体とを統合して第（ｋ−１）物体統合情報を取得し、前記第（ｋ−１）物体統合情報を、前記特定物体検出器に対応する少なくとも一つの特定カメラから取得される少なくとも一つの特定イメージに再投影する段階；を含むことを特徴とする方法が提供される。
【００１７】
一例として、（ｃ）前記特定統合装置が、前記第（ｋ−１）物体統合情報と、前記特定物体検出器の特定物体検出情報との間の類似度を参照して前記特定物体検出器の特定検出信頼度をアップデートする段階；をさらに含む。
【００１８】
一例として、（ｄ）前記特定統合装置が、前記第（ｋ−１）物体統合情報に含まれた第（ｋ−１）物体をオートラベリング（ａｕｔｏ  ｌａｂｅｌｌｉｎｇ）し、前記オートラベリングによって生成されたラベルを参照して前記特定物体検出器の一つ以上のパラメータの少なくとも一部を学習する段階；をさらに含む。
【００１９】
一例として、前記物体検出情報それぞれは、前記プライマリ物体それぞれに対する情報と、前記セカンダリ物体それぞれに対する情報とを含み、前記プライマリ物体それぞれに対する情報は、前記プライマリ物体それぞれに対する状態情報（前記プライマリ物体それぞれに対する状態情報は、前記プライマリ物体それぞれに対する現在位置情報と、現在方向情報と、現在速力情報とを含む）及び前記プライマリ物体それぞれに対応する前記物体検出器それぞれの前記検出信頼度を含み、前記セカンダリ物体それぞれに対する情報は、前記セカンダリ物体それぞれに対する状態情報（前記セカンダリ物体それぞれに対する状態情報は、前記セカンダリ物体それぞれに対する現在位置情報と、現在方向情報と、現在速力情報とを含む）及び前記セカンダリ物体それぞれに対する製品情報を含む。
【００２０】
一例として、前記プライマリ物体それぞれに対する情報は、前記プライマリ物体それぞれに対する製品情報及び前記プライマリ物体それぞれに対応する前記物体検出器それぞれの製品情報の中の一つを含む。
【００２１】
一例として、前記（ａ）段階で、前記特定統合装置は、（ｉ）前記検出信頼度を受信してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセス、（ｉｉ）前記物体検出器それぞれの製品情報それぞれに対応する予め設定された第１信頼度を参照してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセス、及び（ｉｉｉ）前記物体検出器の特徴情報が取得されない場合、基準信頼度として予め設定された第２信頼度を参照してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセスの中の一つを遂行する。
【００２２】
一例として、前記第１物体検出情報と、前記第（ｋ−２）物体統合情報との中の一つに対応する第１全体物体（前記第１全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）をＡ１ないしＡｉとし、前記第２物体検出情報と、前記第ｋ物体検出情報との中の一つに対応する第２全体物体（前記第２全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）をＢ１ないしＢｊとする場合、前記（ｂ）段階で、前記特定統合装置は、前記マッチング演算によって前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとの間の対応関係のコスト（ｃｏｓｔ）を算出し、前記算出された対応関係のコストに応じて前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとを統合する。
【００２３】
一例として、前記特定統合装置は、（１）｛１−第１ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ）｝（前記第１ＩｏＵは、前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の三次元立方体ＩｏＵである）（２）｛１−第２ＩｏＵ｝（前記第２ＩｏＵは、前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の三次元立方体を鳥瞰して二次元平面上に投影させた結果として生成される二次元長方形ＩｏＵである）、（３）前記Ａ１ないし前記Ａｉのうちの一つの重心と、前記Ｂ１ないし前記Ｂｊのうちの一つの重心との間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ  ｄｉｓｔａｎｃｅ）、（４）前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の角度、及び（５）前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の速力の差異のうちの中のいずれか一つ、あるいは前記（１）ないし（５）のうちの少なくとも二つの加重和（ｗｅｉｇｈｔｅｄ  ｓｕｍ）を利用して、前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとの間の対応関係のコストを算出する。
【００２４】
一例として、前記特定統合装置は、前記第１物体検出情報または前記第（ｋ−２）物体統合情報に対応する第１未検出物体をＣ１ないしＣｊだけ追加して前記第１未検出物体が前記Ｂ１ないし前記Ｂｊに対応するようにし、前記第２物体検出情報または前記第ｋ物体検出情報に対応する第２未検出物体をＤ１ないしＤｉだけ追加して前記第２未検出物体が前記Ａ１ないし前記Ａｉに対応するようにし、
前記特定統合装置は、前記マッチング演算により（ｉ）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊと、（ｉｉ）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコストを算出し、（ｉ）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊと、（ｉｉ）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとを統合する。
【００２５】
一例として、前記特定統合装置は、（ｉ）（ｉ−１）前記Ｃ１ないし前記Ｃｊのうちの一つと、（ｉ−２）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコスト及び（ｉｉ）（ｉｉ−１）前記Ｄ１ないし前記Ｄｉの一つと、（ｉｉ−２）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊの一つとの間の対応関係のコストを予め設定された初期値に決定する。
【００２６】
一例として、前記（ｂ）段階で、前記算出されたコストに応じて前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとを統合するプロセスの間、前記特定統合装置が、（ｉ）前記第１全体物体及び前記第２全体物体それぞれに対応する前記検出信頼度を重み付け値として、前記第１全体物体及び前記第２全体の物体に対する状態情報を加重和で統合し、（ｉｉ）前記検出信頼度の合計が一番高い所定物体検出器の製品情報を前記第１全体物体及び前記第２全体物体に対する製品情報に統合する。
【００２７】
本発明の他の態様によれば、周辺に位置するカメラそれぞれに対応し、ディープラーニング基盤のイメージ分析により、それぞれの前記カメラから生成されるそれぞれのイメージ内の物体を検出する物体検出器により検出される物体検出情報を統合する統合装置のうち、特定物体検出器に対応する特定統合装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）周辺に位置する前記カメラそれぞれに対応する前記物体検出器から物体検出情報（前記物体検出情報それぞれは、それぞれの前記イメージを撮影する前記カメラに対応する一つ以上のイメージ撮影主体に該当する一つ以上のプライマリ物体、及びそれぞれの前記カメラによって生成される前記イメージの中の少なくとも一部のイメージ上に現れる一つ以上のイメージ撮影対象に当たる一つ以上のセカンダリ物体を含む）が取得されると、前記物体検出情報を参照してそれぞれの前記物体検出器の検出信頼度の順序を決定するプロセス、及び（ＩＩ）前記物体検出器のうちの少なくとも一部を前記検出信頼度の降順で第１物体検出器から第ｎ物体検出器とし、前記第１物体検出器から前記第ｎ物体検出器それぞれから取得されたそれぞれの前記物体検出情報を第１物体検出情報ないし第ｎ物体検出情報であるとした場合、（ｉ）前記第１物体検出情報と第２物体検出情報とを参照して、少なくとも一つのマッチング（ｍａｔｃｈｉｎｇ）演算によって、前記第１物体検出情報内の第１全体物体（前記第１全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）と、前記第２物体検出情報内の第２全体物体（前記第２全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）との間の対応関係を確認して、前記第１全体物体と、前記第２全体物体とを統合して第１物体統合情報を取得し、（ｉｉ）ｋを３からｎまで増加させながら、第（ｋ−２）物体統合情報と第ｋ物体検出情報とを参照して、前記マッチング演算によって前記第（ｋ−２）物体統合情報に含まれた第（ｋ−２）物体と、前記第ｋ物体検出情報に含まれた第ｋ物体との間の対応関係を確認し、前記第（ｋ−２）物体と前記第ｋ物体とを統合して第（ｋ−１）物体統合情報を取得し、前記第（ｋ−１）物体統合情報を、前記特定物体検出器に対応する少なくとも一つの特定カメラから取得される少なくとも一つの特定イメージに再投影するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする特定統合装置が提供される。
一例として、前記プロセッサが、（ＩＩＩ）前記第（ｋ−１）物体統合情報と、前記特定物体検出器の特定物体検出情報との間の類似度を参照して前記特定物体検出器の特定検出信頼度をアップデートするプロセスをさらに遂行する。
【００２８】
一例として、前記プロセッサが、（ＩＶ）前記第（ｋ−１）物体統合情報に含まれた第（ｋ−１）物体をオートラベリング（ａｕｔｏ  ｌａｂｅｌｌｉｎｇ）し、前記オートラベリングによって生成されたラベルを参照して前記特定物体検出器の一つ以上のパラメータの少なくとも一部を学習するプロセスをさらに遂行する。
【００２９】
一例として、前記物体検出情報それぞれは、前記プライマリ物体それぞれに対する情報と、前記セカンダリ物体それぞれに対する情報とを含み、前記プライマリ物体それぞれに対する情報は、前記プライマリ物体それぞれに対する状態情報（前記プライマリ物体それぞれに対する状態情報は、前記プライマリ物体それぞれに対する現在位置情報と、現在方向情報と、現在速力情報とを含む）及び前記プライマリ物体それぞれに対応する前記物体検出器それぞれの前記検出信頼度を含み、前記セカンダリ物体それぞれに対する情報は、前記セカンダリ物体それぞれに対する状態情報（前記セカンダリ物体それぞれに対する状態情報は、前記セカンダリ物体それぞれに対する現在位置情報と、現在方向情報と、現在速力情報とを含む）及び前記セカンダリ物体それぞれに対する製品情報を含む。
【００３０】
一例として、前記プライマリ物体それぞれに対する情報は、前記プライマリ物体それぞれに対する製品情報及び前記プライマリ物体それぞれに対応する前記物体検出器それぞれの製品情報の中の一つを含む。
【００３１】
一例として、前記（Ｉ）プロセスで、前記プロセッサは、（ｉ）前記検出信頼度を受信してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセス、（ｉｉ）前記物体検出器それぞれの製品情報それぞれに対応する予め設定された第１信頼度を参照してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセス、及び（ｉｉｉ）前記物体検出器の特徴情報が取得されない場合、基準信頼度として予め設定された第２信頼度を参照してそれぞれの前記物体検出器の前記検出信頼度の前記順序を決定するプロセスの中の一つを遂行する。
【００３２】
一例として、前記第１物体検出情報と、前記第（ｋ−２）物体統合情報との中の一つに対応する第１全体物体（前記第１全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）をＡ１ないしＡｉとし、前記第２物体検出情報と、前記第ｋ物体検出情報との中の一つに対応する第２全体物体（前記第２全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）をＢ１ないしＢｊとする場合、前記（ＩＩ）プロセスで、前記プロセッサは、前記マッチング演算によって前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとの間の対応関係のコスト（ｃｏｓｔ）を算出し、前記算出された対応関係のコストに応じて前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとを統合する。
【００３３】
一例として、前記プロセッサは、（１）｛１−第１ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ）｝（前記第１ＩｏＵは、前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の三次元立方体ＩｏＵである）、（ｉｉ）｛１−第２ＩｏＵ｝（前記第２ＩｏＵは、前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の三次元立方体を鳥瞰して二次元平面上に投影させた結果として生成される二次元長方形ＩｏＵである）、（ｉｉｉ）前記Ａ１ないし前記Ａｉのうちの一つの重心と、前記Ｂ１ないし前記Ｂｊのうちの一つの重心との間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ  ｄｉｓｔａｎｃｅ）、（ｉｖ）前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の角度、及び（ｖ）前記Ａ１ないし前記Ａｉのうちの一つと、前記Ｂ１ないし前記Ｂｊのうちの一つとの間の速力の差異のうちの中のいずれか一つ、あるいは前記（ｉ）ないし（ｖ）のうちの少なくとも二つの加重和（ｗｅｉｇｈｔｅｄ  ｓｕｍ）を利用して、前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとの間の対応関係のコストを算出する。
【００３４】
一例として、前記プロセッサは、前記第１物体検出情報または前記第（ｋ−２）物体統合情報に対応する第１未検出物体をＣ１ないしＣｊだけ追加して前記第１未検出物体が前記Ｂ１ないし前記Ｂｊに対応するようにし、前記第２物体検出情報または前記第ｋ物体検出情報に対応する第２未検出物体をＤ１ないしＤｉだけ追加して前記第２未検出物体が前記Ａ１ないし前記Ａｉに対応するようにし、前記プロセッサは、前記マッチング演算によって（ｉ）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊと、（ｉｉ）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコストを算出し、（ｉ）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊと、（ｉｉ）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとを統合する。
【００３５】
一例として、前記プロセッサは、（ｉ）（ｉ−１）前記Ｃ１ないし前記Ｃｊのうちの一つと、（ｉ−２）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコスト及び（ｉｉ）（ｉｉ−１）前記Ｄ１ないし前記Ｄｉの一つと、（ｉｉ−２）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊの一つとの間の対応関係のコストを予め設定された初期値に決定する。
【００３６】
一例として、前記（ＩＩ）プロセスで、前記算出されたコストに応じて前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとを統合するプロセスの間、前記プロセッサが、（ｉ）前記第１全体物体及び前記第２全体物体それぞれに対応する前記検出信頼度を重み付け値として、前記第１全体物体及び前記第２全体の物体に対する状態情報を加重和で統合し、（ｉｉ）前記検出信頼度の合計が一番高い所定物体検出器の製品情報を前記第１全体物体及び前記第２全体物体に対する製品情報に統合する。
【００３７】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読読可能な記録媒体がさらに提供される。
【発明の効果】
【００３８】
本発明は、周辺に位置するカメラを用いた物体検出器の検出情報を統合することにより、カメラの死角エリアや障害物によって認知できない領域に対する正確な情報が取得し得る効果がある。
【００３９】
また、本発明は周辺に位置するカメラを用いた物体検出器等の検出情報を統合することによりイメージ分析結果間の不調和を防止し得る効果がある。
【００４０】
また、本発明は、周辺に位置するカメラを用いた物体検出器の検出情報を統合することにより周辺環境に対する正確な検出情報を取得し得るようになり、これを学習データとして取得し得る効果がある。
【００４１】
また、本発明は、周辺に位置するカメラを用いた物体検出器の検出情報を統合することにより周辺環境に対する正確な検出情報を取得し得るようになり、これによって物体検出器を検証し得る効果がある。
【図面の簡単な説明】
【００４２】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図１】図１は、本発明の一例に係る周辺に位置するカメラそれぞれに対応する各物体検出器によって検出される物体検出情報を統合する統合装置を示した図面である。
【図２】図２は、本発明の一例に係る周辺に位置するカメラそれぞれに対応する各物体検出器によって検出される物体検出情報を統合する統合方法を示した図面である。
【図３】図３は、本発明の一例に係る周辺に位置するカメラそれぞれに対応する各物体検出器によって検出される物体検出情報を統合する方法において少なくとも一つのイメージ内の一つ以上の物体を検出する物体検出器のプロセスを示した図面である。
【図４】図４は、本発明の一例に係る周辺に位置するカメラそれぞれに対応する各物体検出器によって検出される物体検出情報の統合結果の例を示した図面である。
【発明を実施するための形態】
【００４３】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００４４】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４５】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４６】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４７】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００４８】
図１は、本発明の一例に係る周辺に位置するカメラそれぞれに対応するそれぞれの物体検出器によって検出される物体検出情報を統合する統合装置を示した図面である。図１を参照すれば、統合装置１００は、周辺に位置する前記カメラそれぞれに対応するそれぞれの前記物体検出器によって検出される前記物体検出情報を統合するためのインストラクションを格納するメモリ１１０と、前記メモリ１１０に格納された前記インストラクションに対応して周辺に位置する前記カメラそれぞれに対応するそれぞれの前記物体検出器によって検出される前記物体検出情報を統合するプロセスを遂行するプロセッサ１２０とを含む。その際、周辺に位置する前記カメラは、所定半径以内に位置する一つ以上のカメラまたは所定空間内に位置する一つ以上のカメラであり得るが、これに限るものではない。
【００４９】
具体的に、前記統合装置１００は、典型的にコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の既存のコンピューティング装置の各要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、コンピュータソフトウェア（つまり、コンピューティング装置をもって、特定の方式で機能させるインストラクション）との組み合わせを利用して、希望するシステム性能を達成するものであり得る。
【００５０】
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのを含み得る。また、前記コンピューティング装置は、オペレーティングシステム及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００５１】
しかし、前記コンピューティング装置が本発明を行うためのミディアム、プロセッサ及びメモリが統合された形である統合プロセッサを含む場合を排除するものではない。
【００５２】
本発明の一例に係る前記統合装置１００を利用して周辺に位置する前記カメラそれぞれに対応する、それぞれの前記物体検出器によって検出される前記物体検出情報を統合する方法を説明する。
【００５３】
まず、前記統合装置１００は、周辺に位置する前記カメラそれぞれに対応するそれぞれの前記物体検出器から前記物体検出情報を取得するか、他の装置をもって取得するよう支援することができる（Ｓ１０）。
【００５４】
この際、それぞれの前記物体検出器は周辺に位置する前記カメラそれぞれに対応し、ディープランニング基盤のイメージ分析によって、それぞれの前記カメラから生成される各々のイメージ内の一つ以上の物体を検出することができる。
【００５５】
一例として、前記カメラによって撮影された少なくとも一つのテストイメージが入力されれば、前記物体検出器２００は一つ以上のコンボリューションレイヤ２１０をもって、前記テストイメージに一つ以上のコンボリューション演算を適用することにより、少なくとも一つの特徴マップを出力するようにする。この際、前記コンボリューションレイヤ２１０は、前記テストイメージに順次コンボリューション演算を適用して前記特徴マップを出力することができる。
【００５６】
そして、前記物体検出器２００は、少なくとも一つのＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）２２０をもって、前記物体を含むものと推定される、前記特徴マップ上の候補領域に対応するプロポーザルボックスを出力するようにする。
【００５７】
以降、前記物体検出器２００は、少なくとも一つのプーリングレイヤ２３０をもって、前記プロポーザルボックスに対応する、前記特徴マップ上の領域に一つ以上のプーリング演算を適用して一つ以上の特徴ベクトルを出力するようにする。
【００５８】
そして、前記物体検出器２００は、少なくとも一つのＦＣ（Ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）レイヤ２４０をもって、前記特徴ベクトルに少なくとも一つのＦＣ演算を適用するようにし、少なくとも一つの分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）レイヤ２５０をもって、前記プロポーザルボックスそれぞれに対応するそれぞれの物体クラス情報を出力するようにし、少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）レイヤ２６０をもって、それぞれの前記物体をバウンディングしたそれぞれの前記プロポーザルボックスを利用して前記バウンディングボックスを生成するようにする。
【００５９】
一方、前記物体検出器に対応する前記カメラは自律走行自動車、モバイル端末、監視システム等に設置され得るが、本発明はこれに限られるものではない。
【００６０】
また、それぞれの前記物体検出器に対応する統合装置それぞれは有無線通信により、周辺に位置する前記カメラに対応する他の物体検出器の統合装置に前記物体検出情報を伝送することができる。
【００６１】
その際、前記物体検出情報それぞれは、それぞれの前記イメージを撮影する前記カメラに対応する一つ以上のイメージ撮影主体に該当する一つ以上のプライマリ物体と、それぞれの前記カメラにより生成される前記イメージの中の少なくとも一部イメージ上に現れる一つ以上のイメージ撮影対象に該当する一つ以上のセカンダリ物体とを含むことができる。その際、前記プライマリ物体のうちの少なくとも一つ及び前記セカンダリ物体のうちの少なくとも一つは、少なくとも一つの同じ物体を示すことができる。言い換えれば、特定物体は他の物体のイメージを撮影する前記プライマリ物体の一つであり得、かつ前記他の物体のうち少なくとも一部によって撮影されたイメージに含まれた前記セカンダリ物体の一つであり得る。
【００６２】
前記物体検出情報それぞれは、前記プライマリ物体それぞれに対する情報と、前記セカンダリ物体それぞれに対する情報とを含み得る。
【００６３】
また、それぞれの前記プライマリ物体についての情報は、それぞれの前記プライマリ物体に対するステータス情報、及びそれぞれの前記プライマリ物体に対応するそれぞれの前記物体検出器のそれぞれの検出信頼度を含むことができ、それぞれの前記プライマリ物体に対するステータス情報は、それぞれの前記プライマリ物体の現在位置情報、現在方向情報、現在スピード情報などが含まれる。その際、それぞれの前記プライマリ物体の現在速力情報及び現在方向情報は、移動する前記プライマリ物体の速力情報及び方向情報だけではなく、停止している前記プライマリ物体に対する移動する前記セカンダリ物体の相対速力情報及び相対方向情報を含み得る。
【００６４】
また、それぞれの前記プライマリ物体に対する情報は、それぞれの前記プライマリ物体の製造会社、モデル、製造年度、色などを含む、前記プライマリ物体それぞれに対する製品情報と、それぞれの前記プライマリ物体に対応するそれぞれの前記物体検出器に対する製品情報とを含み得る。その際、それぞれの前記物体検出器に対する前記製品情報は、前記物体検出器の製造会社、モデル、製造年度などを含み得る。
【００６５】
また、それぞれの前記セカンダリ物体に対する情報は、それぞれの前記セカンダリ物体に対する状態情報と、それぞれの前記セカンダリ物体に対する製品情報とを含み得る。それぞれの前記セカンダリ物体に対する状態情報は、それぞれの前記セカンダリ物体の現在位置情報、現在方向情報、現在速力情報などを含み得、それぞれの前記セカンダリ物体に対する製品情報は、それぞれの前記セカンダリ物体の製造会社、モデル、製造年度、色などを含み得る。その際、それぞれの前記セカンダリ物体の現在速力情報及び現在方向情報は、移動する前記セカンダリ物体の速力情報及び方向情報だけではなく、停止している前記セカンダリ物体に対する移動する前記プライマリ物体の相対速力情報及び相対方向情報を含み得る。
【００６６】
一方、本発明の範囲は前記説明に限られず、前記プライマリ物体及び前記セカンダリ物体に係るすべての情報が含まれ得る。
【００６７】
次に、前記統合装置１００それぞれは、前記物体検出情報を参照してそれぞれの前記物体検出器の前記検出信頼度の順序を決定することができる（Ｓ２０）。
【００６８】
つまり、それぞれの前記物体検出器に対応するそれぞれの前記統合装置のうち、特定物体検出器に対応する特定統合装置１００が、前記物体検出情報を参照してそれぞれの前記物体検出器の検出信頼度の順序を決定し得る。以下の説明は、前記特定統合装置についてのみ説明するが、これは説明の便宜上のものであり、それぞれのすべての統合装置においても前記物体検出情報を統合できることは明白な事実である。
【００６９】
この際、前記特定統合装置１００は、前記物体検出器の前記検出信頼度を受信した後、それぞれの前記物体検出器の前記検出信頼度の順序を決定することができる。
【００７０】
しかし、検出信頼度が存在しないか、取得されなかった場合、前記特定統合装置１００は、それぞれの前記物体検出器の前記製品情報それぞれに対応する予め設定された第１信頼度を参照して、それぞれの前記物体検出器の前記検出信頼度の順序を決定することができる。つまり、前記特定統合装置１００は、それぞれの前記物体検出器の製造会社、モデル、製造年度それぞれに対応する前記予め設定された第１信頼度を確認して、前記物体検出器それぞれの前記検出の信頼度の順序を決定することができる。
【００７１】
また、前記物体検出器の製品情報が存在しない場合、前記特定統合装置１００は、基準信頼度として予め設定された第２信頼度を参照してそれぞれの前記物体の検出器の前記検出信頼度の順序を決定することができる。また、前記物体検出器の製品情報が存在しない場合、前記特定統合装置１００は、デフォルト（ｄｅｆａｕｌｔ）で設定された前記基準信頼度を参照してそれぞれの前記物体の検出器の前記検出信頼度の順序を決定することができる（Ｓ２０）。
【００７２】
次に、前記特定統合装置１００は、検出信頼度が最も高い二つの前記物体検出情報を選択して統合する（Ｓ３０）。
【００７３】
すなわち、前記物体検出器のうちの少なくとも一部を前記検出信頼度の降順で第１物体検出器ないし第ｎ物体検出器とし、前記第１物体検出器ないし前記第ｎ物体検出器それぞれから取得されたそれぞれの前記物体検出情報を第１物体検出情報ないし第ｎ物体検出情報であるとした場合、前記特定統合装置１００が、前記第１物体検出情報と第２物体検出情報とを参照して、少なくとも一つのマッチング（ｍａｔｃｈｉｎｇ）演算によって、前記第１物体検出情報内の第１全体物体（前記第１全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）に対する情報と、前記第２物体検出情報内の第２全体物体（前記第２全体物体は、前記プライマリ物体及び前記セカンダリ物体を含む）に対する情報との間の対応関係を確認するプロセス、及び前記第１全体物体に対する情報と、前記第２全体物体に対する情報とを統合して第１物体統合情報を取得するプロセスを遂行するか、他の装置をもって遂行するように支援することができる。
【００７４】
一例として、図４を参照して前記第１物体検出情報と前記第２物体検出情報とを統合するプロセスを説明する。図４では、自動車が例示物体として示されたが、本発明はこれに限定されているものではない。
【００７５】
固有の物体検出器をそれぞれ有する多数の車がそれぞれ固有の物体検出を遂行しながら走行している状況において、それぞれの前記物体検出器として入力される映像がそれぞれ異なるため、物体を検出できる領域も異なり、前記検出された物体に対する情報などもそれぞれ異なることがある。
【００７６】
言い換えれば、物体Ａ１を基盤とする物体検出情報は、前記プライマリ物体Ａ１と、イメージの分析によって検出された前記セカンダリ物体Ａ２，Ａ３，……，Ａｉとを含み得る。つまり、前記第１物体検出情報１０は、第１全体物体Ａ１ないしＡｉを含み得る。
【００７７】
そして、物体Ｂ１を基盤とする物体検出情報は、前記プライマリ物体Ｂ１と、前記イメージの分析によって検出された前記セカンダリ物体Ｂ２，Ｂ３，……，Ｂｊとを含み得る。つまり、前記第２物体検出情報２０は、第２全体物体Ｂ１ないしＢｊを含み得る。その際、前記物体検出情報に含まれた前記プライマリ物体についての情報はビジュアル認識（ｖｉｓｕａｌ  ｒｅｃｏｇｎｉｔｉｏｎ）を用いた物体検出によって取得されてはいないが、前記プライマリ物体の方向性、速力等を感知する所定のセンサにより、あるいは予め設定された製品情報によって取得され得る。もちろん、本発明の範囲がこれに限られるものではない。
【００７８】
以降、前記特定統合装置１００は、二分マッチング（ｂｉｐａｒｔｉｔｅ  ｍａｔｃｈｉｎｇ）のような前記マッチング演算を利用して、前記第１物体検出情報１０内のＡ１ないしＡｉと、前記第２物体検出情報２０内のＢ１ないしＢｊとの間の対応関係のコスト（ｃｏｓｔ）を算出し、前記算出されたコストに応じて前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとを統合する。
【００７９】
この際、前記特定統合装置１００は、｛１−第１ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ）｝及び｛１−第２ＩｏＵ｝を参照して前記コストを算出する。ここで、前記第１ＩｏＵは、前記第１物体検出情報１０内の前記Ａ１ないし前記Ａｉのうちの一つと、前記第２物体検出情報２０内の前記Ｂ１ないし前記Ｂｊのうちの一つとの間の三次元立方体ＩｏＵであり、ここで、前記第２ＩｏＵは、前記第１物体検出情報１０内の前記Ａ１ないし前記Ａｉのうちの一つと、前記第２物体検出情報２０内の前記Ｂ１ないし前記Ｂｊのうちの一つとを含む三次元立方体を鳥瞰して二次元平面上に投影させた結果として生成される二次元長方形ＩｏＵである。
【００８０】
また、前記特定統合装置１００は、前記第１物体検出情報１０内の前記Ａ１ないし前記Ａｉのうちの一つの重心と、前記第２物体検出情報２０内の前記Ｂ１ないし前記Ｂｊのうちの一つの重心との間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ  ｄｉｓｔａｎｃｅ）、前記Ａ１ないし前記Ａｉのうちの一つ及び前記Ｂ１ないし前記Ｂｊのうちの一つの間の角度と、前記Ａ１ないし前記Ａｉのうちの一つ及び前記Ｂ１ないし前記Ｂｊのうちの一つの間の速力の差異とを参照してコストを算出する。
【００８１】
これに加えて、前記特定統合装置１００は｛１−前記第１ＩｏＵ｝と、｛１−前記第２ＩｏＵ｝と、前記Ａ１ないし前記Ａｉのうちの一つの重心と、前記Ｂ１ないし前記Ｂｊのうちの一つの重心の間のユークリッド距離と、前記Ａ１ないし前記Ａｉのうちの一つ及び前記Ｂ１ないし前記Ｂｊのうちの一つの間の角度と、前記Ａ１ないし前記Ａｉのうちの一つ及び前記Ｂ１ないし前記Ｂｊのうちの一つの間の速力差とのうちの少なくとも二つの加重和（ｗｅｉｇｈｔｅｄ  ｓｕｍ）を利用して、前記Ａ１ないし前記Ａｉと、前記Ｂ１ないし前記Ｂｊとの間の前記対応関係のコストを算出することができる。
【００８２】
たとえば、前記第１物体検出情報１０内の前記第１全体物体と、前記第２物体検出情報２０内の前記第２全体物体との間の対応関係の前記コストは次の表１のように示され得る。この際、前記第１全体物体の個数と、前記第２全体物体の数とがそれぞれ三つずつである例を概略的に示したものである。
【００８３】
【表１】
2020123336.tif 000003
前記表１によれば、物体Ａ１と物体Ｂ２とが互いに対応し、物体Ａ３と物体Ｂ３とが互いに対応する。
【００８４】
したがって、前記特定統合装置１００は、前記算出されたコストによって、前記第１物体検出情報１０内のＡ１ないしＡｉと、記第２物体検出情報２０内のＢ１ないしＢｊとを統合する。
【００８５】
つまり、図４及び表１を参照すれば、前記第１物体検出情報１０と、前記第２物体検出情報２０とを統合して生成された第１物体統合情報は、Ａ１Ｂ２と、Ａ２と、Ａ３Ｂ３と、Ｂ１とを含み得る。
【００８６】
この際、前記特定統合装置１００はまた、前記第１物体検出情報１０と、前記第２物体検出情報２０とが統合される間に前記物体に対する情報も統合することができる。
【００８７】
一例として、統合される物体の現在位置情報、現在方向情報、現在速力情報などのように、要素が数字で表現され得る、前記統合される物体に対する状態情報は、前記統合される物体に対応するそれぞれの物体検出器の検出信頼度それぞれを用いた加重和を用いて統合され得る。つまり、前記第１物体検出情報内の前記統合される物体に対する状態情報を第１情報とし、前記第２物体検出情報内の前記統合される物体に対する状態情報を第２情報とした場合、前記第１物体統合情報は、前記第１物体検出情報と前記第２物体検出情報とが統合された、前記第１物体統合情報内の統合された物体に対する状態情報であり、
【００８８】
【数１】
2020123336.tif 000004
のように表される。
【００８９】
製造会社、モデル、製造年度、色など前記物体の製品情報は、一つ以上の物体検出器に対応する一つ以上の検出信頼度の和が最も高い値になるよう前記物体統合情報に統合されるために選択され得る。例えば、統合される特定物体に対して、前記第１物体検出情報を前記第１製造会社、前記第２物体検出情報を前記第２製造会社、前記第３物体検出情報を前記第１製造会社であるとした場合、前記第１製造会社に対する検出信頼度の和は、｛前記第１検出信頼度＋前記第３検出信頼度｝となり、前記第２製造会社に対する検出信頼度の和は、前記第２検出信頼度になり得、それによって、｛前記第１検出信頼度＋前記第３検出信頼度｝と、前記第２検出信頼度とのうち、検出信頼度の高い前記第１製造会社または前記第２製造会社が前記物体統合情報に選定されて利用され得る。さらに詳細な例として、５０ｍｐｈの速力で移動する黒い車を見てみる。一つの検出器によって検出された情報Ａは、［車両のバウンディングボックス情報、４０ｍｐｈ、黒い色］を含み、他の検出器によって検出された情報Ｂは、［車両のバウンディングボックス情報、５０ｍｐｈ、灰色］を含む。したがって、前記情報Ａと、前記情報Ｂとが互いに同一であるか否かについて対応関係のコストを用いて確認され、その後、前記二つの情報は、バウンディングボックス情報及び速力情報等を参照して統合され得る。前記のような検出信頼度の場合、前記速力情報は、加重和、例えば、（ｗ１×速力Ａ＋ｗ２×速力Ｂ）で統合され得る。だが、こうした加重和は、色については算出することができないため、前記検出信頼度によって黒色（前記第１検出信頼度）あるいは灰色（前記第２方向信頼度）が統合されるように選定され得る。すなわち、二つの物体検出器が前記車両を黒色と検出し、一つの物体検出器が前記車両を灰色と検出し、二つの物体検出器が前記車両を黄色と検出した場合、前記物体統合情報は、黒色を検出した物体検出器の物体検出信頼度の和と、灰色を検出した物体検出器の検出信頼度の和と、黄色を検出した物体検出器の検出信頼度の和との中の最も大きい検出信頼度の和を有する製品情報を含むであろう。
【００９０】
一方、前記第１物体検出情報に含まれた特定物体が前記第２物体検出情報に含まれない場合には対応関係がないこともあり得る。
【００９１】
従って、前記特定統合装置１００は、前記第１物体検出情報１０に対応する第１未検出物体をＣ１ないしＣｊだけ追加して前記第１未検出物体が前記Ｂ１ないし前記Ｂｊに対応するようにし、前記第２物体検出情報２０に対応する第２未検出物体をＤ１ないしＤｉだけ追加して前記第２未検出物体が前記Ａ１ないし前記Ａｉに対応するようにし、表１の所定のマッチング演算によって（ｉ）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊと、（ｉｉ）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコストを算出する。この際、一つ以上の未検出物体は、前記検出器の一つの視野から外れた物体あるいは視野内にある物体であるとしても、一つ以上の障害物により遮蔽された物体を含むことができる。つまり、例えば、遮蔽あるいは死角エリアのために、前記未検出物体が前記第１物体検出情報を生成した物体検出器によって検出されないことがあるが、前記第２物体検出情報を生成した物体検出器によっては検出され得る。
【００９２】
この際、前記特定統合装置１００は、（ｉ）（ｉ−１）前記Ｃ１ないし前記Ｃｊのうちの一つと、（ｉ−２）前記Ｂ１ないし前記Ｂｊ及び前記Ｄ１ないし前記Ｄｉとの間の対応関係のコスト、及び（ｉｉ）（ｉｉ−１）前記Ｄ１ないし前記Ｄｉの一つと、（ｉｉ−２）前記Ａ１ないし前記Ａｉ及び前記Ｃ１ないし前記Ｃｊの一つとの間の対応関係のコストを予め設定された初期値に決定し得る。そして、前記既設定の初期値は、物体間の対応関係を決定するのに利用される閾値としての役割を果たすことができ、前記予め設定された初期値よりも少ないコストを有しない物体は、前記未検出物体として判断され得る。つまり、表１で、Ｂ１、Ｂ２、Ｂ３の状態でＡ２のコストのうち、前記予め設定された初期値である１０より小さい値が存在しないので、前記第２物体検出情報２０内のＡ２は未検出物体として判断され得る。また、Ａ１、Ａ２、Ａ３の状態でＢ１のコストのうちの前記予め設定された初期値である１０より小さい値は存在しないので、前記第１物体検出情報１０内のＢ１は未検出物体として判断され得る。
【００９３】
次に、前記特定統合装置１００は、前記のような動作によって、検出信頼度が最も高い、前記第１物体検出情報と前記第２物体検出情報とを前記第１物体統合情報として統合し、前記第１物体統合情報と次の順位の検出信頼度とを有する物体検出情報を統合するプロセスを繰り返す（Ｓ４０）。
【００９４】
つまり、前記特定統合装置１００は、ｋを３からｎまで増加させながら、第（ｋ−２）物体統合情報と第ｋ物体検出情報とを参照して、前記マッチング演算によって前記第（ｋ−２）物体統合情報に含まれた第（ｋ−２）物体と、前記第ｋ物体検出情報に含まれた第ｋ物体との間の対応関係を確認し、前記（ｋ−２）物体と前記ｋ物体とを統合して第（ｋ−１）物体統合情報を生成し得る。
【００９５】
そして、前記第（ｋ−１）物体統合情報は、以前取得された物体統合情報と、次の順位の物体検出情報とを統合するプロセスを繰り返すことにより生成され得るが、例えば、前記第１物体検出情報と、前記第２物体検出情報とが統合されて前記第１物体統合情報が生成され得、前記第１物体統合情報と、前記第３物体統合情報とが統合されて第２物体統合情報が生成され得る。
【００９６】
この際、前記第（ｋ−１）物体統合情報は、前記第１物体検出情報ないし第ｎ物体検出情報の中から、対応関係によって少なくとも一つの同一物体に対する情報をそれぞれ含むものと判断される、前記物体検出情報のうちの少なくとも一部に含まれた物体情報を統合したものであり得る。一例として、図４及び表１を参照すれば、前記第１物体検出情報１０と、前記第２物体検出情報２０とを統合した第１物体統合情報は、Ａ１Ｂ２と、Ａ２と、Ａ３Ｂ３と、Ｂ１とを含み得る。この際、Ａ１とＢ２は同一の物体であると判断され、前記第１物体検出情報内のＡ１に対する情報と、前記第２物体検出情報内のＢ２に対する情報とがＡ１Ｂ２の物体統合情報として統合され得、Ａ３とＢ３とは同一の物体であると判断され、前記第１物体検出情報内のＡ３に対する情報と、前記第２物体検出情報内のＢ３に対する情報とがＡ３Ｂ３の物体統合情報として統合され得る。
【００９７】
次に、前記特定統合装置１００は、前記第（ｋ−１）物体統合情報を、前記特定物体検出器に対応する特定カメラから取得される特定イメージに再投影できる（Ｓ５０）。これらのプロセスにより、前記物体検出器によって検出されない少なくとも一つの領域内に位置する一つ以上の物体が確認され得るようになる。
【００９８】
また、前記特定統合装置１００が、前記第（ｋ−１）物体統合情報と、前記特定物体検出器の特定物体検出情報との間の類似度を参照して前記特定物体検出器の特定検出信頼度をアップデートすることができる。
【００９９】
一例として、前記特定統合装置１００は、前記第（ｋ−１）物体統合情報と、前記特定物体の検出器の前記特定物体検出情報との間の対応関係のコストを算出する。その後、前記算出されたコストを参照して、前記特定検出信頼度をアップデートするために用いられる重み付け値を取得してから、これを利用して前記特定検出信頼度がアップデートされ得る。つまり、前記特定統合装置１００は、それぞれの前記物体検出器の各前記物体検出情報と、前記第（ｋ−１）物体統合情報との間の対応関係のコストを算出し、
【０１００】
【数２】
2020123336.tif 000005
によって前記検出信頼度の重み付け値を算出し、前記算出された、前記検出信頼度の重み付け値を利用して前記特定検出信頼度をアップデートすることができる。
【０１０１】
また、前記特定統合装置１００は、前記第（ｋ−１）物体統合情報に含まれた第（ｋ−１）物体をオートラベリング（ａｕｔｏ  ｌａｂｅｌｌｉｎｇ）し、前記オートラベリングによって生成されたラベルを参照して前記特定物体検出器の一つ以上のパラメータの少なくとも一部を学習させ得る。
【０１０２】
つまり、前記特定統合装置１００は、他の自動車または監視カメラから取得された映像の統合された物体に対する情報を利用してオートラベリングを遂行し得る。
【０１０３】
その際、自動車製造会社、モデル、年式、色などの情報のように、前記カメラや前記カメラの位置に関係なく不変である情報は、追加的プロセスなしにラベルとして利用され得る。そして、位置、方向、速力のように、前記カメラや前記カメラの位置によって変わりやすい情報は、前記カメラのイメージ平面上に再投影された後、前記ラベルとして用いられ得る。
【０１０４】
これに加えて、前記特定統合装置１００は、オートラベリングによって生成されたラベルをＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）と仮定してそれぞれの前記物体検出器の性能を評価することができる。すなわち、オートラベリングで生成されたラベルが性能評価のために求められる条件を満たすか否かを確認して前記物体検出器の性能が検証され得る。
【０１０５】
前述の情報を取得するために、前記方法でＶ２Ｘ基盤のオートラベリング及び評価が利用され得る。そして、多数の車両によるセンサーフュージョン、Ｖ２Ｘ通信可能なアプリケーションによる、協業走行あるいはＨＤマップのアップデートになどに前記方法が利用され得る。
【０１０６】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【０１０７】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【０１０８】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020123336.tif 000006
【図２】
2020123336.tif 000007
【図３】
2020123336.tif 000008
【図４】
2020123336.tif 000009