(57)【要約】      （修正有）【課題】ＣＮＮを利用した空間の検出結果をＶ２Ｖ技術によって相互に共有することができる、学習方法、テスティング方法、学習装置、およびテスティング装置を提供する。【解決手段】学習方法は、学習装置がコンカチネーティングネットワーク２１０をもって、一つ以上のペア特徴ベクトルを生成させる段階と、学習装置が判別ネットワーク２２０をもって、ＦＣ演算をペア特徴ベクトルに適用することで、判別ベクトル及びボックスリグレッションベクトルを生成させる段階及び学習装置がロスユニット２３０をもって、判別ベクトルと、ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成させ、統合ロスを利用してバックプロパゲーションを遂行することでＤＮＮに含まれたパラメータのうちの少なくとも一部を学習させる段階と、を含む。【選択図】図２
2020126623.tif 000002
【特許請求の範囲】
【請求項１】
第１車両によって生成された第１ターゲット空間に対する第１物体検出情報と、第２車両によって生成された第２ターゲット空間に対する第２物体検出情報とを統合して、前記第１ターゲット空間及び前記第２ターゲット空間を含む統合ターゲット空間に対する統合物体検出情報を生成する学習方法において、
（ａ）学習装置が、前記第１ターゲット空間に対する第１原本イメージと、前記第２ターゲット空間に対する第２原本イメージとが処理されて生成された、前記第１ターゲット空間に対する前記第１物体検出情報と、前記第２ターゲット空間に対する前記第２物体検出情報とを取得すると、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれたコンカチネーティング（ｃｏｎｃａｔｅｎａｔｉｎｇ）ネットワークをもって、前記第１ターゲット空間に含まれた第１原本ＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）と、前記第２ターゲット空間に含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにする段階；
（ｂ）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合ターゲット空間上で、前記ペアのうちの少なくとも一部の各要素の各元の３次元位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対３次元位置に関する情報を含む一つ以上のボックスリグレッション（ｒｅｇｒｅｓｓｉｏｎ）ベクトルを生成するようにする段階；及び
（ｃ）前記学習装置が、ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記ＤＮＮに含まれたパラメータのうち少なくとも一部を学習させる段階；
を含むことを特徴とする方法。
【請求項２】
前記（ａ）段階で、
前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１ターゲット空間に含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの３次元座標値、（ｉｖ）前記第１特定原本ＲＯＩの３次元座標値、（ｖ）前記第２ターゲット空間に含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの３次元座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの３次元座標値を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｂ）段階で、
前記特定ペア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合ターゲット空間に統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合ターゲット空間上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの３次元座標に対する情報を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｃ）段階で、
前記学習装置は、前記ロスユニットをもって、（ｉ）クロスエントロピー（ｃｒｏｓｓ  ｅｎｔｒｏｐｙ）方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１（ｓｍｏｏｔｈ−Ｌ１）方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項５】
前記（ｃ）段階で、
前記判別ロスは次の数式によって生成され、
【数１】
2020126623.tif 000038
【数２】
2020126623.tif 000039
は、前記判別ベクトルの個数を、
【数３】
2020126623.tif 000040
は、第ｉ判別ベクトルを、そして
【数４】
2020126623.tif 000041
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、
前記ボックスリグレッションロスは、次の数式によって生成され、
【数５】
2020126623.tif 000042
【数６】
2020126623.tif 000043
【数７】
2020126623.tif 000044
は、前記ボックスリグレッションベクトルの個数を、
【数８】
2020126623.tif 000045
は、第ｉボックスリグレッションベクトルを、そして
【数９】
2020126623.tif 000046
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする請求項４に記載の方法。
【請求項６】
前記学習装置が、前記ＤＮＮの一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記各ディープランニングニューロンの出力を次のディープランニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記学習装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項８】
第１テスト用車両によって生成された第１テスト用ターゲット空間に対する第１テスト用物体検出情報と、第２テスト用車両によって生成された第２テスト用ターゲット空間に対する第２テスト用物体検出情報とを統合して、前記第１テスト用ターゲット空間及び前記第２テスト用ターゲット空間を含むテスト用統合ターゲット空間に対するテスト用統合物体検出情報を生成するテスティング方法において、
（ａ）学習装置が（１）前記第１学習用ターゲット空間に対する第１学習用原本イメージと、前記第２学習用ターゲット空間に対する第２学習用原本イメージとが処理されて生成された、前記第１学習用ターゲット空間に対する第１学習用物体検出情報と、前記第２学習用ターゲット空間に対する第２学習用物体検出情報とを取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用ターゲット空間に含まれた第１学習用原本ＲＯＩと、前記第２学習用ターゲット空間に含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）学習用統合ターゲット空間上で、前記学習用ペアのうちの少なくとも一部の各要素の各学習用元の３次元位置と比較した、前記学習用ペアのうちの前記少なくとも一部に対応する学習用統合ＲＯＩの各学習用相対３次元位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、前記第１テスト用車両に搭載されたテスティング装置が、前記第１テスト用ターゲット空間に対する第１テスト用原本イメージと、前記第２テスト用ターゲット空間に対する第２テスト用原本イメージとが処理されて生成された、前記第１テスト用ターゲット空間に対する前記第１テスト用物体検出情報と、前記第２テスト用ターゲット空間に対する前記第２テスト用物体検出情報とを取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用ターゲット空間に含まれた第１テスト用原本ＲＯＩと、前記第２テスト用ターゲット空間に含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにする段階；
（ｂ）前記テスティング装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合ターゲット空間上で、前記テスト用ペアのうちの少なくとも一部の各要素の各テスト用元の３次元位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各テスト用相対３次元位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにする段階；及び
（ｃ）前記テスティング装置が、併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックス及び第２テスト用原本バウンディンボックスの前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにする段階；
を含むことを特徴とする方法。
【請求項９】
前記第１テスト用車両に搭載された、一つ以上の第１カメラと、一つ以上の第１ライダ（ｌｉｄａｒ）と、一つ以上の第１レーダ（ｒａｄａｒ）とのうちの少なくとも一部によって取得された、前記第１テスト用ターゲット空間に対する前記第１テスト用原本イメージは、前記第１テスト用車両に含まれた第１ニューラルネットワークによって処理されることにより、（ｉ）前記第１テスト用ターゲット空間に含まれたテスト用物体に関する第１テスト用クラス情報、（ｉｉ）前記第１テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第１テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第１テスト用物体検出情報が生成され、
前記第２テスト用車両に搭載された、一つ以上の第２カメラと、一つ以上の第２ライダと、一つ以上の第２レーダとのうちの少なくとも一部によって取得された、前記第２テスト用ターゲット空間に対する前記第２テスト用原本イメージは、前記第２テスト用車両に含まれた第２ニューラルネットワークによって処理されることにより、（ｉ）前記第２テスト用ターゲット空間に含まれたテスト用物体に関する第２テスト用クラス情報、（ｉｉ）前記第２テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第２テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第２テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第２物体検出情報が生成され、前記第２物体検出情報は、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信によって前記第１テスト用車両へ伝達されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記（ａ）段階で、
前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用ターゲット空間に含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの３次元座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの３次元座標値、（ｖ）前記第２テスト用ターゲット空間に含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの３次元座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの３次元座標値を含むことを特徴とする請求項８に記載の方法。
【請求項１１】
前記（ｂ）段階で、
前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合ターゲット空間に統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記テスト用統合ターゲット空間上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの３次元座標に対する情報を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
第１車両によって生成された第１ターゲット空間に対する第１物体検出情報と、第２車両によって生成された第２ターゲット空間に対する第２物体検出情報とを統合して、前記第１ターゲット空間及び前記第２ターゲット空間を含む統合ターゲット空間に対する統合物体検出情報を生成する学習装置において、
各インストラクションを格納する一つ以上のメモリ；及び
（Ｉ）前記第１ターゲット空間に対する第１原本イメージと、前記第２ターゲット空間に対する第２原本イメージとが処理されて生成された、前記第１ターゲット空間に対する前記第１物体検出情報と、前記第２ターゲット空間に対する前記第２物体検出情報とを取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１ターゲット空間に含まれた第１原本ＲＯＩと、前記第２ターゲット空間に含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにするプロセス、（ＩＩ）前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合ターゲット空間上で、前記ペアのうちの少なくとも一部の各要素の各元の３次元位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対３次元位置に関する情報を含む一つ以上のボックスリグレッションベクトルを生成するようにするプロセス、及び（ＩＩＩ）ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
【請求項１３】
前記（Ｉ）プロセスで、
前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１ターゲット空間に含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの３次元座標値、（ｉｖ）前記第１特定原本ＲＯＩの３次元座標値、（ｖ）前記第２ターゲット空間に含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの３次元座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの３次元座標値を含むことを特徴とする請求項１２に記載の学習装置。
【請求項１４】
前記（ＩＩ）プロセスで、
前記特定ペア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合ターゲット空間に統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合ターゲット空間上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの３次元座標に対する情報を含むことを特徴とする請求項１３に記載の学習装置。
【請求項１５】
前記（ＩＩＩ）プロセスで、
前記プロセッサが、前記ロスユニットをもって、（ｉ）クロスエントロピー方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする請求項１２に記載の学習装置。
【請求項１６】
前記（ＩＩＩ）プロセスで、
前記判別ロスは次の数式によって生成され、
【数１０】
2020126623.tif 000047
【数１１】
2020126623.tif 000048
は、前記判別ベクトルの個数を、
【数１２】
2020126623.tif 000049
は、第ｉ判別ベクトルを、そして
【数１３】
2020126623.tif 000050
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、
前記ボックスリグレッションロスは、次の数式によって生成され、
【数１４】
2020126623.tif 000051
【数１５】
2020126623.tif 000052
【数１６】
2020126623.tif 000053
は、前記ボックスリグレッションベクトルの個数を、
【数１７】
2020126623.tif 000054
は、第ｉボックスリグレッションベクトルを、そして
【数１８】
2020126623.tif 000055
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする請求項１５に記載の学習装置。
【請求項１７】
前記プロセッサが、前記ＤＮＮの一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記ディープランニングニューロンの出力を次のディープランニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにすることを特徴とする請求項１２に記載の学習装置。
【請求項１８】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする請求項１２に記載の学習装置。
【請求項１９】
第１テスト用車両によって生成された第１テスト用ターゲット空間に対する第１テスト用物体検出情報と、第２テスト用車両によって生成された第２テスト用ターゲット空間に対する第２テスト用物体検出情報とを統合して、前記第１テスト用ターゲット空間及び前記第２テスト用ターゲット空間を含むテスト用統合ターゲット空間に対するテスト用統合物体検出情報を生成するテスティング装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）学習装置が（１）前記第１学習用ターゲット空間に対する第１学習用原本イメージと、前記第２学習用ターゲット空間に対する第２学習用原本イメージとが処理されて生成された、前記第１学習用ターゲット空間に対する第１学習用物体検出情報と、前記第２学習用ターゲット空間に対する第２学習用物体検出情報とを取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用ターゲット空間に含まれた第１学習用原本ＲＯＩと、前記第２学習用ターゲット空間に含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）学習用統合ターゲット空間上で、前記学習用ペアのうちの少なくとも一部の各要素の各学習用元の３次元位置と比較した、前記学習用ペアのうちの前記少なくとも一部に対応する学習用統合ＲＯＩの各学習用相対３次元位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、前記第１テスト用ターゲット空間に対する第１テスト用原本イメージと、前記第２テスト用ターゲット空間に対する第２テスト用原本イメージとが処理されて生成された、前記第１テスト用ターゲット空間に対する前記第１テスト用物体検出情報と、前記第２テスト用ターゲット空間に対する前記第２テスト用物体検出情報とを取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用ターゲット空間に含まれた第１テスト用原本ＲＯＩと、前記第２テスト用ターゲット空間に含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにするプロセス；（ＩＩ）前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合ターゲット空間上で、前記テスト用ペアのうちの少なくとも一部の各要素の各テスト用元の３次元位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各テスト用相対３次元位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにするプロセス、及び（ＩＩＩ）併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックス及び第２テスト用原本バウンディンボックスの前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスティング装置。
【請求項２０】
前記第１テスト用車両に搭載された、一つ以上の第１カメラと、一つ以上の第１ライダと、一つ以上の第１レーダとのうちの少なくとも一部によって取得された、前記第１テスト用ターゲット空間に対する前記第１テスト用原本イメージは、前記第１テスト用車両に含まれた第１ニューラルネットワークによって処理されることにより、（ｉ）前記第１テスト用ターゲット空間に含まれたテスト用物体に関する第１テスト用クラス情報、（ｉｉ）前記第１テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第１テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第１テスト用物体検出情報が生成され、
前記第２テスト用車両に搭載された、一つ以上の第２カメラと、一つ以上の第２ライダと、一つ以上の第２レーダとのうちの少なくとも一部によって取得された、前記第２テスト用ターゲット空間に対する前記第２テスト用原本イメージは、前記第２テスト用車両に含まれた第２ニューラルネットワークによって処理されることにより、（ｉ）前記第２テスト用ターゲット空間に含まれたテスト用物体に関する第２テスト用クラス情報、（ｉｉ）前記第２テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第２テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第２テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第２物体検出情報が生成され、前記第２物体検出情報は、Ｖ２Ｖ通信によって前記第１テスト用車両へ伝達されることを特徴とする請求項１９に記載のテスティング装置。
【請求項２１】
前記（Ｉ）プロセスで、
前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用ターゲット空間に含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの３次元座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの３次元座標値、（ｖ）前記第２テスト用ターゲット空間に含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの３次元座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの３次元座標値を含むことを特徴とする請求項１９に記載のテスティング装置。
【請求項２２】
前記（ＩＩ）プロセスで、
前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合ターゲット空間に統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つであるテスト用特定ボックスリグレッションベクトルは、前記テスト用統合ターゲット空間上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの３次元座標に対する情報を含むことを特徴とする請求項２１に記載のテスティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、Ｖ２Ｖ通信によって取得された、他の自律走行車両の空間探知結果を自身の自律走行車両の空間探知結果と統合する学習方法及び学習装置に関する。
【背景技術】
【０００２】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。それから、ＣＮＮは、機械学習分野で非常に有用なツールとなった。
【０００３】
このようなＣＮＮは、自律走行分野においても広く利用されている。ＣＮＮは、自律走行車両で主にセマンティック（ｓｅｍａｎｔｉｃ）セグメンテーション、物体検出、及び余裕空間検出などイメージ処理を担当する。これによってＣＮＮを搭載した車両は、車両周辺空間に物体が位置するか否かを判断することで、空間検出の結果を生成することができる。
【０００４】
一方、最近、Ｖ２Ｘ（ｖｅｈｉｃｌｅ  ｔｏ  ｅｖｅｒｙｔｈｉｎｇ）技術が脚光を浴びている。Ｖ２Ｘは、車がオンラインで他の物体と繋がる通信技術をいう。Ｖ２Ｘ技術の一種であるＶ２Ｖ（ｖｅｈｉｃｌｅ  ｔｏ  ｖｅｈｉｃｌｅ）技術は車両と車両間の通信技術をいう。Ｖ２Ｖ技術でできるのは多いが、自律走行車両に適用された場合、大きな効果が得られることが期待できる。特に、前述したＣＮＮを利用した空間の検出結果をＶ２Ｖ技術によって互いに共有することができれば、事故確率を大きく減らすことができるであろう。
【０００５】
しかし、空間検出結果を相互に共有することは、各車両が自分を中心に空間検出を遂行したために、相対的に難しい側面がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前述した問題点を解決することを目的とする。
【０００７】
本発明は、Ｖ２Ｖ通信によって取得された、他の自律走行車両の物体検出情報を自身の自律走行車両によって生成された物体検出情報と統合する学習方法を提供することにより、統合空間検出結果を利用して自律走行車両の安全性を向上することを他の目的とする。
【課題を解決するための手段】
【０００８】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
【０００９】
本発明の一態様によれば、第１車両によって生成された第１ターゲット空間に対する第１物体検出情報と、第２車両によって生成された第２ターゲット空間に対する第２物体検出情報とを統合して、前記第１ターゲット空間及び前記第２ターゲット空間を含む統合ターゲット空間に対する統合物体検出情報を生成する学習方法において、（ａ）学習装置が、前記第１ターゲット空間に対する第１原本イメージと、前記第２ターゲット空間に対する第２原本イメージとが処理されて生成された、前記第１ターゲット空間に対する前記第１物体検出情報と、前記第２ターゲット空間に対する前記第２物体検出情報とを取得すると、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に含まれたコンカチネーティング（ｃｏｎｃａｔｅｎａｔｉｎｇ）ネットワークをもって、前記第１ターゲット空間に含まれた第１原本ＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）と、前記第２ターゲット空間に含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにする段階；（ｂ）前記学習装置が、前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合ターゲット空間上で、前記ペアのうちの少なくとも一部の各要素の各元の３次元位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対３次元位置に関する情報を含む一つ以上のボックスリグレッション（ｒｅｇｒｅｓｓｉｏｎ）ベクトルを生成するようにする段階；及び（ｃ）前記学習装置が、ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記ＤＮＮに含まれたパラメータのうち少なくとも一部を学習させる段階；を含むことを特徴とする方法が開示される。
【００１０】
一例として、前記（ａ）段階で、前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１ターゲット空間に含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの３次元座標値、（ｉｖ）前記第１特定原本ＲＯＩの３次元座標値、（ｖ）前記第２ターゲット空間に含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの３次元座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの３次元座標値を含むことを特徴とする。
【００１１】
一例として、前記（ｂ）段階で、前記特定ペア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合ターゲット空間に統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合ターゲット空間上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの３次元座標に対する情報を含むことを特徴とする。
【００１２】
一例として、前記（ｃ）段階で、前記学習装置は、前記ロスユニットをもって、（ｉ）クロスエントロピー（ｃｒｏｓｓ  ｅｎｔｒｏｐｙ）方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１（ｓｍｏｏｔｈ−Ｌ１）方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする。
【００１３】
一例として、前記（ｃ）段階で、前記判別ロスは次の数式によって生成され、
【数１】
2020126623.tif 000003
【数２】
2020126623.tif 000004
は、前記判別ベクトルの個数を、
【数３】
2020126623.tif 000005
は、第ｉ判別ベクトルを、そして
【数４】
2020126623.tif 000006
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、
前記ボックスリグレッションロスは、次の数式によって生成され、
【数５】
2020126623.tif 000007
【数６】
2020126623.tif 000008
【数７】
2020126623.tif 000009
は、前記ボックスリグレッションベクトルの個数を、
【数８】
2020126623.tif 000010
は、第ｉボックスリグレッションベクトルを、そして
【数９】
2020126623.tif 000011
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする。
【００１４】
一例として、前記学習装置が、前記ＤＮＮの一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記各ディープランニングニューロンの出力を次のディープランニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにすることを特徴とする。
【００１５】
一例として、前記（ｂ）段階で、前記学習装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする。
【００１６】
本発明の他の態様によれば、第１テスト用車両によって生成された第１テスト用ターゲット空間に対する第１テスト用物体検出情報と、第２テスト用車両によって生成された第２テスト用ターゲット空間に対する第２テスト用物体検出情報とを統合して、前記第１テスト用ターゲット空間及び前記第２テスト用ターゲット空間を含むテスト用統合ターゲット空間に対するテスト用統合物体検出情報を生成するテスティング方法において、（ａ）学習装置が（１）前記第１学習用ターゲット空間に対する第１学習用原本イメージと、前記第２学習用ターゲット空間に対する第２学習用原本イメージとが処理されて生成された、前記第１学習用ターゲット空間に対する第１学習用物体検出情報と、前記第２学習用ターゲット空間に対する第２学習用物体検出情報とを取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用ターゲット空間に含まれた第１学習用原本ＲＯＩと、前記第２学習用ターゲット空間に含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）学習用統合ターゲット空間上で、前記学習用ペアのうちの少なくとも一部の各要素の各学習用元の３次元位置と比較した、前記学習用ペアのうちの前記少なくとも一部に対応する学習用統合ＲＯＩの各学習用相対３次元位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、前記第１テスト用車両に搭載されたテスティング装置が、前記第１テスト用ターゲット空間に対する第１テスト用原本イメージと、前記第２テスト用ターゲット空間に対する第２テスト用原本イメージとが処理されて生成された、前記第１テスト用ターゲット空間に対する前記第１テスト用物体検出情報と、前記第２テスト用ターゲット空間に対する前記第２テスト用物体検出情報とを取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用ターゲット空間に含まれた第１テスト用原本ＲＯＩと、前記第２テスト用ターゲット空間に含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにする段階；（ｂ）前記テスティング装置が、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合ターゲット空間上で、前記テスト用ペアのうちの少なくとも一部の各要素の各テスト用元の３次元位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各テスト用相対３次元位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにする段階；及び（ｃ）前記テスティング装置が、併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックス及び第２テスト用原本バウンディンボックスの前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにする段階；を含むことを特徴とする方法が開示される。
【００１７】
一例として、前記第１テスト用車両に搭載された、一つ以上の第１カメラと、一つ以上の第１ライダ（ｌｉｄａｒ）と、一つ以上の第１レーダ（ｒａｄａｒ）とのうちの少なくとも一部によって取得された、前記第１テスト用ターゲット空間に対する前記第１テスト用原本イメージは、前記第１テスト用車両に含まれた第１ニューラルネットワークによって処理されることにより、（ｉ）前記第１テスト用ターゲット空間に含まれたテスト用物体に関する第１テスト用クラス情報、（ｉｉ）前記第１テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第１テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第１テスト用物体検出情報が生成され、前記第２テスト用車両に搭載された、一つ以上の第２カメラと、一つ以上の第２ライダと、一つ以上の第２レーダとのうちの少なくとも一部によって取得された、前記第２テスト用ターゲット空間に対する前記第２テスト用原本イメージは、前記第２テスト用車両に含まれた第２ニューラルネットワークによって処理されることにより、（ｉ）前記第２テスト用ターゲット空間に含まれたテスト用物体に関する第２テスト用クラス情報、（ｉｉ）前記第２テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第２テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第２テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第２物体検出情報が生成され、前記第２物体検出情報は、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信によって前記第１テスト用車両へ伝達されることを特徴とする。
【００１８】
一例として、前記（ａ）段階で、前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用ターゲット空間に含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの３次元座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの３次元座標値、（ｖ）前記第２テスト用ターゲット空間に含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの３次元座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの３次元座標値を含むことを特徴とする。
【００１９】
一例として、前記（ｂ）段階で、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合ターゲット空間に統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記テスト用統合ターゲット空間上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの３次元座標に対する情報を含むことを特徴とする。
【００２０】
本発明のまた他の態様によれば、第１車両によって生成された第１ターゲット空間に対する第１物体検出情報と、第２車両によって生成された第２ターゲット空間に対する第２物体検出情報とを統合して、前記第１ターゲット空間及び前記第２ターゲット空間を含む統合ターゲット空間に対する統合物体検出情報を生成する学習装置において、各インストラクションを格納する一つ以上のメモリ；及び（Ｉ）前記第１ターゲット空間に対する第１原本イメージと、前記第２ターゲット空間に対する第２原本イメージとが処理されて生成された、前記第１ターゲット空間に対する前記第１物体検出情報と、前記第２ターゲット空間に対する前記第２物体検出情報とを取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１ターゲット空間に含まれた第１原本ＲＯＩと、前記第２ターゲット空間に含まれた第２原本ＲＯＩとの一つ以上のペアに関する情報を含む一つ以上のペア特徴ベクトルを生成するようにするプロセス、（ＩＩ）前記ＤＮＮに含まれた判別ネットワークをもって、前記ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記ペアそれぞれに含まれた、前記第１原本ＲＯＩと前記第２原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の判別ベクトル及び（ｉｉ）前記統合ターゲット空間上で、前記ペアのうちの少なくとも一部の各要素の各元の３次元位置と比較した、前記ペアのうち前記少なくとも一部に対応する統合ＲＯＩの各相対３次元位置に関する情報を含む一つ以上のボックスリグレッションベクトルを生成するようにするプロセス、及び（ＩＩＩ）ロスユニットをもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が開示される。
【００２１】
一例として、前記（Ｉ）プロセスで、前記ペア特徴ベクトルの一つである特定ペア特徴ベクトルは、（ｉ）前記第１ターゲット空間に含まれた第１特定物体の第１クラス情報、（ｉｉ）前記第１特定物体を含む第１特定原本ＲＯＩの特徴値、（ｉｉｉ）前記第１特定原本ＲＯＩに対応する第１特定原本バウンディングボックスの３次元座標値、（ｉｖ）前記第１特定原本ＲＯＩの３次元座標値、（ｖ）前記第２ターゲット空間に含まれた第２特定物体の第２クラス情報、（ｖｉ）前記第２特定物体を含む第２特定原本ＲＯＩの特徴値、（ｖｉｉ）前記第２特定原本ＲＯＩに対応する第２特定原本バウンディングボックスの３次元座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの３次元座標値を含むことを特徴とする。
【００２２】
一例として、前記（ＩＩ）プロセスで、前記特定ペア特徴ベクトルに対応する、前記判別ベクトルの一つである特定判別ベクトルは、前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとが前記統合ターゲット空間に統合される確率に関する情報を含み、前記特定ペア特徴ベクトルに対応する、前記ボックスリグレッションベクトルのうちの一つである特定ボックスリグレッションベクトルは、前記統合ターゲット空間上の前記第１特定原本ＲＯＩと前記第２特定原本ＲＯＩとを統合して生成される特定統合バウンディンボックスの３次元座標に対する情報を含むことを特徴とする。
【００２３】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記ロスユニットをもって、（ｉ）クロスエントロピー方式により前記判別ベクトルのうち少なくとも一部を利用して判別ロスを生成し、（ｉｉ）スムーズＬ１方式によって前記ボックスリグレッションベクトルのうちの少なくとも一部を利用してボックスリグレッションロスを生成した後、（ｉｉｉ）前記判別ロスと、前記ボックスリグレッションロスとを参照にして前記統合ロスを生成するようにすることを特徴とする。
【００２４】
一例として、前記（ＩＩＩ）プロセスで、前記判別ロスは次の数式によって生成され、
【数１０】
2020126623.tif 000012
【数１１】
2020126623.tif 000013
は、前記判別ベクトルの個数を、
【数１２】
2020126623.tif 000014
は、第ｉ判別ベクトルを、そして
【数１３】
2020126623.tif 000015
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し、前記ボックスリグレッションロスは、次の数式によって生成され、
【数１４】
2020126623.tif 000016
【数１５】
2020126623.tif 000017
【数１６】
2020126623.tif 000018
は、前記ボックスリグレッションベクトルの個数を、
【数１７】
2020126623.tif 000019
は、第ｉボックスリグレッションベクトルを、そして
【数１８】
2020126623.tif 000020
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味することを特徴とする。
【００２５】
一例として、前記プロセッサが、前記ＤＮＮの一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記ディープランニングニューロンの出力を次のディープランニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにすることを特徴とする。
【００２６】
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記ＤＮＮに含まれた前記判別ネットワークをもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにすることを特徴とする。
【００２７】
本発明のまた他の態様によれば、第１テスト用車両によって生成された第１テスト用ターゲット空間に対する第１テスト用物体検出情報と、第２テスト用車両によって生成された第２テスト用ターゲット空間に対する第２テスト用物体検出情報とを統合して、前記第１テスト用ターゲット空間及び前記第２テスト用ターゲット空間を含むテスト用統合ターゲット空間に対するテスト用統合物体検出情報を生成するテスティング装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）学習装置が（１）前記第１学習用ターゲット空間に対する第１学習用原本イメージと、前記学習用第２ターゲット空間に対する第２学習用原本イメージとが処理されて生成された、前記第１学習用ターゲット空間に対する第１学習用物体検出情報と、前記第２学習用ターゲット空間に対する第２学習用物体検出情報とを取得すると、ＤＮＮに含まれたコンカチネーティングネットワークをもって、前記第１学習用ターゲット空間に含まれた第１学習用原本ＲＯＩと、前記第２学習用ターゲット空間に含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記ＤＮＮに含まれた判別ネットワークをもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）学習用統合ターゲット空間上で、前記学習用ペアのうちの少なくとも一部の各要素の各学習用元の３次元位置と比較した、前記学習用ペアのうちの前記少なくとも一部に対応する学習用統合ＲＯＩの各学習用相対３次元位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）ロスユニットをもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、前記第１テスト用ターゲット空間に対する第１テスト用原本イメージと、前記第２テスト用ターゲット空間に対する第２テスト用原本イメージとが処理されて生成された、前記第１テスト用ターゲット空間に対する前記第１テスト用物体検出情報と、前記第２テスト用ターゲット空間に対する前記第２テスト用物体検出情報とを取得すると、前記ＤＮＮに含まれた前記コンカチネーティングネットワークをもって、前記第１テスト用ターゲット空間に含まれた第１テスト用原本ＲＯＩと、前記第２テスト用ターゲット空間に含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにするプロセス；（ＩＩ）前記ＤＮＮに含まれた前記判別ネットワークをもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合ターゲット空間上で、前記テスト用ペアのうちの少なくとも一部の各要素の各テスト用元の３次元位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各テスト用相対３次元位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにするプロセス、及び（ＩＩＩ）併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックス及び第２テスト用原本バウンディンボックスの前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が開示される。
【００２８】
一例として、前記第１テスト用車両に搭載された、一つ以上の第１カメラと、一つ以上の第１ライダと、一つ以上の第１レーダとのうちの少なくとも一部によって取得された、前記第１テスト用ターゲット空間に対する前記第１テスト用原本イメージは、前記第１テスト用車両に含まれた第１ニューラルネットワークによって処理されることにより、（ｉ）前記第１テスト用ターゲット空間に含まれたテスト用物体に関する第１テスト用クラス情報、（ｉｉ）前記第１テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第１テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第１テスト用物体検出情報が生成され、前記第２テスト用車両に搭載された、一つ以上の第２カメラと、一つ以上の第２ライダと、一つ以上の第２レーダとのうちの少なくとも一部によって取得された、前記第２テスト用ターゲット空間に対する前記第２テスト用原本イメージは、前記第２テスト用車両に含まれた第２ニューラルネットワークによって処理されることにより、（ｉ）前記第２テスト用ターゲット空間に含まれたテスト用物体に関する第２テスト用クラス情報、（ｉｉ）前記第２テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第２テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第２テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第２物体検出情報が生成され、前記第２物体検出情報は、Ｖ２Ｖ通信によって前記第１テスト用車両へ伝達されることを特徴とする。
【００２９】
一例として、前記（Ｉ）プロセスで、前記テスト用ペア特徴ベクトルの一つであるテスト用特定ペア特徴ベクトルは、（ｉ）前記第１テスト用ターゲット空間に含まれた第１テスト用特定物体の第１テスト用クラス情報、（ｉｉ）前記第１テスト用特定物体を含む第１テスト用特定原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用特定原本ＲＯＩに対応する第１テスト用特定原本バウンディングボックスの３次元座標値、（ｉｖ）前記第１テスト用特定原本ＲＯＩの３次元座標値、（ｖ）前記第２テスト用ターゲット空間に含まれた第２テスト用特定物体の第２テスト用クラス情報、（ｖｉ）前記第２テスト用特定物体を含む第２テスト用特定原本ＲＯＩのテスト用特徴値、（ｖｉｉ）前記第２テスト用特定原本ＲＯＩに対応する第２テスト用特定原本バウンディングボックスの３次元座標値、及び（ｖｉｉｉ）前記第２テスト用特定原本ＲＯＩの３次元座標値を含むことを特徴とする。
【００３０】
一例として、前記（ＩＩ）プロセスで、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用判別ベクトルの一つであるテスト用特定判別ベクトルは、前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとが前記テスト用統合ターゲット空間に統合される確率に関する情報を含み、前記テスト用特定ペア特徴ベクトルに対応する、前記テスト用ボックスリグレッションベクトルのうちの一つであるテスト用特定ボックスリグレッションベクトルは、前記テスト用統合ターゲット空間上の前記第１テスト用特定原本ＲＯＩと前記第２テスト用特定原本ＲＯＩとを統合して生成されるテスト用特定統合バウンディンボックスの３次元座標に対する情報を含むことを特徴とする。
【発明の効果】
【００３１】
本発明は、Ｖ２Ｖ通信によって取得された、他の自律走行車両の物体検出情報を自身の自律走行車両によって生成された物体検出情報と統合する学習方法を提供することにより、統合空間検出結果を利用して自律走行車両の安全性を向上するようにする効果がある。
【００３２】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図面の簡単な説明】
【００３３】
【図１】本発明の一例に係るＶ２Ｖ通信によって取得された他の自律走行車両の物体検出情報を、自身の自律走行車両によって生成された物体検出情報と統合する学習方法を遂行する学習装置の構成を概略的に示した図面である。
【図２】本発明の一例に係るＶ２Ｖ通信によって取得された他の自律走行車両の物体検出情報を、自身の自律走行車両によって生成された物体検出情報と統合する学習方法を遂行する学習装置を遂行する学習装置の具体的な動作方式を概略的に示した図面である。
【図３】本発明の一例に係るＶ２Ｖ通信によって取得された他の自律走行車両の物体検出情報を、自身の自律走行車両によって生成された物体検出情報と統合する学習方法を遂行する学習装置によって第１特定原本ＲＯＩ及び第２特定原本ＲＯＩを統合する一例を概略的に示した図面である。
【図４】本発明の一例に係るＶ２Ｖ通信によって取得された他の自律走行車両の物体検出情報を、自身の自律走行車両によって生成された物体検出情報と統合する学習方法の遂行が完了した状態でテスティング装置の具体的な動作方法を概略的に示した図面である。
【発明を実施するための形態】
【００３４】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００３５】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３６】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００３７】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３８】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００３９】
図１は、本発明の一例に係るＶ２Ｖ通信によって取得された他の自律走行車両の物体検出情報を、自身の自律走行車両によって生成された物体検出情報と統合する学習方法を遂行する学習装置の構成を概略的に示した図面である。
【００４０】
図１を参照すれば、前記学習装置１００は、後から詳しく説明される構成要素であるＤＮＮ２００を含み得る。前記ＤＮＮ２００の入出力及び演算過程は、通信部１１０及びプロセッサ１２０によってそれぞれ行われ得る。この際、メモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを遂行するように設定され、後から説明されるインストラクションを遂行することで本発明のプロセスを遂行することができる。このように前記学習装置１００が描写されたところで、前記学習装置１００が、プロセッサ、メモリ、ミディアム、または他の演算要素を含む統合装置を排除するものではない。
【００４１】
以上、本発明の一例に係るＶ２Ｖ通信によって取得された他の自律走行車両の物体検出情報を、自身の自律走行車両によって生成された物体検出情報と統合する学習方法を遂行する学習方法を遂行する学習装置１００の構成について説明した。次に、図２を参照にして前記ＤＮＮ２００の具体的な構成及び学習プロセスについて説明する。
【００４２】
図２は、本発明の一例に係るＶ２Ｖ通信によって取得された他の自律走行車両の物体検出情報を、自身の自律走行車両によって生成された物体検出情報と統合する学習方法を遂行する学習装置を遂行する学習装置の具体的な動作方式を概略的に示した図面である。
【００４３】
図２を参照すれば、前記ＤＮＮ２００は、コンカチネーティング（ｃｏｎｃａｔｉｎａｔｉｎｇ）ネットワーク２１０及び判別ネットワーク２２０を含み得、前記学習装置１００は、前記ＤＮＮ２００に対応するロスユニット２３０を含み得る。具体的に、各車両に対応するそれぞれの前記ターゲット空間に対するそれぞれの前記物体検出情報が各車両からＶ２Ｖ通信によって取得されると、前記学習装置１００は、前記それぞれの物体検出情報を前記ＤＮＮ２００に含まれた前記コンカチネーティングネットワーク２１０に伝達し得る。前記Ｖ２Ｖ通信は、４Ｇ通信、５Ｇ通信など、高容量のデータを伝送できるすべての従来技術によって実装され得る。この際、前記それぞれの物体検出情報は、それぞれの前記車両に対応するそれぞれの前記ターゲット空間に含まれた各ＲＯＩと、それぞれの前記ＲＯＩの各物体と、それに対応する原本バウンディングボックスとに対する情報を含み得る。また、前記ＲＯＩ及び前記原本バウンディングボックスは、３次元であり得る。だが、こうした３次元ＲＯＩ及びこれらの３次元の原本バウンディングボックスは、２次元ＲＯＩ及び原本バウンディングボックスと類似するが、３次元という点で異なる。追加的に、前記ターゲット空間のそれぞれの前記原本イメージは、同一時点の多様な視点で互いに近く位置した各車両によって占められた前記特定空間の各イメージであり得る。したがって、それぞれの前記原本イメージの各内容は同一または類似するはずで、それぞれの前記原本イメージに対する各原本ＲＯＩも互いに同一または類似する領域を含み得る。
【００４４】
このように前記物体検出情報が取得されると、前記コンカチネーティングネットワーク２１０は、前記原本ＲＯＩに含まれたそれぞれの前記原本バウンディングボックスのうちの少なくとも一部をペアリングすることで、一つ以上のいわゆるペア特徴ベクトルを生成することができる。一例として、前記コンカチネーティングネットワーク２１０は、第１車両によって生成された第１物体検出情報の第１原本ＲＯＩ及び第２車両によって生成された第２物体検出情報の第２原本ＲＯＩにそれぞれ含まれる、第１特定原本バウンディングボックス及び第２特定原本バウンディングボックスを統合して、（ｉ）前記第１原本バウンディングボックスの特徴値、（ｉｉ）前記第１原本バウンディングボックスの３次元座標情報、（ｉｉｉ）前記第１原本バウンディングボックスに含まれた物体に関する第１クラス情報、（ｉｖ）前記第２原本バウンディングボックスの特徴値、（ｖ）前記第２原本バウンディングボックスの３次元座標情報、（ｖｉ）前記第２原本バウンディングボックスに含まれた物体に関する第２クラス情報、（ｖｉｉ）前記第１特定原本ＲＯＩの３次元座標値、及び（ｖｉｉｉ）前記第２特定原本ＲＯＩの３次元座標を含む、前記ペア特徴ベクトルのうちの特定ペア特徴ベクトルを生成することができる。この際、第１原本イメージに対する第１物体検出情報は（ｉ，ｉｉ，ｉｉｉ，及びｖｉｉ）を、第２物体検出情報は（ｉｖ，ｖ，ｖｉ，及びｖｉｉｉ）を含み得る。前記第１特定原本ＲＯＩは、一つ以上の第１原本バウンディングボックスを含み得、前記第２特定原本ＲＯＩは、一つ以上の第２原本バウンディングボックスを含み得、前記１特定原本ＲＯＩに含まれたそれぞれの前記第１原本バウンディンボックスと、前記第２特定原本ＲＯＩに含まれたそれぞれの前記第２原本バウンディンボックスとは、一度ペアリングされることでそれぞれの前記ペア特徴ベクトルを生成することができる。
【００４５】
前記第１特定原本バウンディンボックスを含むこのような第１原本ＲＯＩは、前記ターゲット空間のうちの第１ターゲット空間に含まれ得る。これと同様に、前記第２特定原本バウンディンボックスを含むこのような第２原本ＲＯＩは、前記ターゲット空間のうちの第２ターゲット空間に含まれ得る。
【００４６】
図３を参照して、前記特定ペア特徴ベクトルの例示を具体的に説明する。
【００４７】
図３は、本発明の一例に係るＶ２Ｖ通信によって取得された他の自律走行車両の物体検出情報を、自身の自律走行車両によって生成された物体検出情報と統合する学習方法を遂行する学習装置によって第１特定原本ＲＯＩ及び第２特定原本ＲＯＩを統合する一例を概略的に示した図面である。
【００４８】
前記第１特定原本ＲＯＩは、男性を含む前記第１バウンディンボックスの一つと、女性の上半身を含む前記第１バウンディンボックスのうちの他の一つとを含み得、前記第２特定原本ＲＯＩは、前記女性を含む前記第２バウンディンボックスの一つと、車両を含む前記第２バウンディンボックスのうちの他の一つとを含み得る。この際、合計４つのバウンディングボックスペアが生成され得るのだが、ここには、（ｉ）前記女性を含む前記第２バウンディンボックスのうちの一つのとともに前記女性の上半身を含む前記第１バウンディングボックスのうちの一つ、（ｉｉ）前記車両を含む前記第２バウンディンボックスのうちの一つとともに前記女性の上半身を含む前記第１バウンディングボックスのうちの一つ、（ｉｉｉ）前記女性を含む前記第２バウンディンボックスのうちの一つとともに前記男性を含む前記第１バウンディングボックスのうちの他の一つ、及び（ｉｖ）前記車両を含む前記第２バウンディンボックスのうちの他の一つとともに前記男性を含む前記第１バウンディングボックスのうちの他の一つが含まれる。一例として、前記女性を含む前記第２バウンディンボックスのうちの前記一つとともに前記女性の上半身を含む前記第１バウンディンボックスのうちの前記一つの前記ペアを利用して生成された前記特定ペア特徴ベクトルは、このようなバウンディンボックスに関して前述情報を含み得る。
【００４９】
このように前記ペア特徴ベクトルが生成されると、前記学習装置１００は、前記ＤＮＮ２００に含まれた前記判別ネットワーク２２０をもって、少なくとも一つのＦＣ演算により一つ以上の判別ベクトル
【数１９】
2020126623.tif 000021
及び一つ以上のボックスリグレッションベクトル
【数２０】
2020126623.tif 000022
を生成するようにする。この際、前記判別ベクトル
【数２１】
2020126623.tif 000023
のうちの一つは、二つの原本ＲＯＩにペアとして含まれた前記二つの原本バウンディングボックスが統合され得るか否かを示すことができる。一例として、これの第１構成要素は、前記二つの原本バウンディンボックスが統合される確率であり得、この第２構成要素は、前記二つの原本バウンディンボックスが統合されない確率であり得る。この際、前記判別ネットワーク２２０は、各構成要素の各確率を計算し得る。図２を再び参照すると、前記特定ペア特徴ベクトルに対応する前記ペアが統合される確率が０．９と計算されたことを確認できる。前記ボックスリグレッションベクトル
【数２２】
2020126623.tif 000024
のうちの一つは、前記二つの原本バウンディングボックスが統合されることにより、頂点座標変更に対応する変更値をその構成要素とするベクトルであり得る。具体的に、前記ボックスリグレッションベクトルのうちの一つに含まれた前記変更値は、（Ｉ）前記二つの原本バウンディングボックスの積集合の中心の（ｉ）横の長さ、（ｉｉ）縦の長さ、並びに（ｉｉｉ）ｘ座標及びｙ座標、（ＩＩ）前記二つの原本バウンディングボックスが統合される統合バウンディングボックスの中心（ｉ）横の長さ、（ｉｉ）縦の長さ、並びに（ｉｉｉ）ｘ座標及びｙ座標の間の各差異情報に対応し得る。すなわち、前記ボックスリグレッションベクトルは、前記統合イメージ上で、前記ペアのうち少なくとも一部に関する各構成要素の既存位置情報を比較して、前記ペアのうちの少なくとも一部に対応する統合ＲＯＩの各相対位置情報を含み得る。
【００５０】
一例として、前記ボックスリグレッションベクトルは、前記すべてのペア特徴ベクトルに対応できない。すなわち、前記ボックスリグレッションベクトルは、前記ペア特徴ベクトルのうちの一部を選択し、前記ＦＣ演算のうちの少なくとも一部を前記選択されたペア特徴ベクトルに適用して生成され得る。この例示は、後から詳細に説明される。
【００５１】
このように、前記判別ベクトル及び前記ボックスリグレッションのベクトルが生成されると、前記学習装置１００は、前記ロスユニット２３０をもって、前記判別ベクトルと、前記ボックスリグレッションベクトルと、これに対応するＧＴとを参照して一つ以上のロスを生成するようにする。前記ロスは、
【数２３】
2020126623.tif 000025
及び
【数２４】
2020126623.tif 000026
二つの構成要素から成り立ち得るが、前記
【数２５】
2020126623.tif 000027
は、前記判別ベクトルに関連する判別ロスとして、クロスエントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）方式によって生成されたものであり得、前記
【数２６】
2020126623.tif 000028
は、前記ボックスリグレッションベクトルと関連したボックスリグレッションロスとして、スムーズＬ１（ｓｍｏｏｔｈ−Ｌ１）方式によって生成されたものであり得る。
【００５２】
具体的には、前記判別ロスは次の数式によって生成され、
【数２７】
2020126623.tif 000029
この際、
【数２８】
2020126623.tif 000030
は、前記判別ベクトルの個数を意味し、
【数２９】
2020126623.tif 000031
は、第ｉ判別ベクトルを意味し、
【数３０】
2020126623.tif 000032
は、前記第ｉ判別ベクトルに対する第ｉ判別ＧＴベクトルを意味し得る。
【００５３】
また、前記ボックスリグレッションロスは、次の数式によって生成され、
【数３１】
2020126623.tif 000033
【数３２】
2020126623.tif 000034
この際、
【数３３】
2020126623.tif 000035
は、前記ボックスリグレッションベクトルの個数を、
【数３４】
2020126623.tif 000036
は、第ｉボックスリグレッションベクトルを、そして
【数３５】
2020126623.tif 000037
は、前記第ｉボックスリグレッションベクトルに対する第ｉボックスリグレッションＧＴベクトルを意味する。
【００５４】
前記ロスが作成された後、このようなロスはバックプロパゲーションされることで、前記ＤＮＮ２００に含まれた前記判別ネットワーク２２０の一つ以上のパラメータの少なくとも一部を学習するのに用いられ得る。これによって、前記判別ネットワーク２２０は、その入力されたバウンディンボックスがより正確に統合され得るかを判断し、統合された後の前記頂点情報をさらに正確に予測することができるようになる。
【００５５】
本発明の他の例として、前記学習装置１００が、前記ＤＮＮ２００に含まれた前記判別ネットワーク２２０をもって、前記ペア特徴ベクトルに前記ＦＣ演算のうちの少なくとも一部を適用して前記判別ベクトルを生成するようにした後、前記ペア特徴ベクトルのうち、特定ペアが統合される特定確率を示す特定判別ベクトルの値が、予め設定された閾値以上である一つ以上の特定ペア特徴ベクトルに前記ＦＣ演算の残りの一部を適用して、前記特定ペア特徴ベクトルに対応する前記ボックスリグレッションベクトルを生成するようにし得る。前記他の例は、統合される確率が前記閾値以下であるペアの座標値を計算しないため、効率的である。
【００５６】
続いて、前記ＤＮＮ２００の作動原理を説明する。前記学習装置１００が、前記ＤＮＮ２００の一つ以上のレイヤに含まれた各ディープラーニングニューロンをもって、その少なくとも一つのパラメータを利用して前記各ディープラーニングニューロンの入力に一つ以上のコンボリューション演算を適用し、前記ディープランニングニューロンの出力を次のディープランニングニューロンに伝達する過程を繰り返すことにより、前記ペア特徴ベクトルと、前記判別ベクトルと、前記ボックスリグレッションベクトルとを生成するようにし得る。
【００５７】
前記学習プロセスが完了した後、前記学習装置１００がテスティング装置として機能する過程について、図４を参照に説明する。
【００５８】
参考までに、以下の説明において混同を避けるために、前記プロセスに関連する用語には「学習用」または「トレーニング」という単語が追加され、テスティングプロセスに関連する用語には「テスト用」または「テスティング」という単語が追加された。
【００５９】
図４は、本発明の一例に係るＶ２Ｖ通信によって取得された他の自律走行車両の物体検出情報を、自身の自律走行車両によって生成された物体検出情報と統合する学習方法の遂行が完了した状態でテスティング装置の具体的な動作方法を概略的に示した図面である。
【００６０】
図４を参照にすれば、前記テスティング装置は、前記ロスユニット２３０の代わりに併合ユニットを含み得る。前記併合ユニットは、少なくとも一つのテスト用判別ベクトルに含まれた、二つのテスト用原本バウンディングボックスが統合されるべき確率が特定閾値以上である場合、前記二つのテスト用原本バウンディングボックスが、少なくとも一つのテスト用ボックスリグレッションベクトルに含まれた、テスト用変更値を利用して統合されたテスト用統合バウンディングボックスの頂点座標を計算することができる。前記原本ＲＯＩの前記ペアそれぞれは、これらの演算を前記原本ＲＯＩの前記ペアのテスト用ペア特徴ベクトルに繰り返すことにより前記原本ＲＯＩの前記ペアそれぞれを統合し、その後、前記演算を各原本ＲＯＩに適用することにより、前記原本イメージを統合し、以後、前記統合イメージに対する物体検出結果を前記統合イメージに追加演算を適用しなくても生成することができる。前記コンカチネーティングネットワーク２１０と、前記判別ネットワーク２２０のような構成要素の機能は、前記学習装置１００で遂行する際の機能と類似するので省略することにする。
【００６１】
具体的に、第１テスト用車両によって生成された第１テスト用ターゲット空間に対する第１テスト用物体検出情報と、第２テスト用車両によって生成された第２テスト用ターゲット空間に対する第２テスト用物体検出情報とを統合して、前記第１テスト用ターゲット空間及び前記第２テスト用ターゲット空間を含むテスト用統合ターゲット空間に対するテスト用統合物体検出情報を生成するテスティング方法が提示され得る。
【００６２】
まず、（ａ）学習装置１００が（１）前記第１学習用ターゲット空間に対する第１学習用原本イメージと、前記第２学習用ターゲット空間に対する第２学習用原本イメージとが処理されて生成された、前記第１学習用ターゲット空間に対する第１学習用物体検出情報と、前記第２学習用ターゲット空間に対する第２学習用物体検出情報とを取得すると、前記ＤＮＮ２００に含まれた前記コンカチネーティングネットワーク２１０をもって、前記第１学習用ターゲット空間に含まれた第１学習用原本ＲＯＩと前記第２学習用ターゲット空間に含まれた第２学習用原本ＲＯＩとの一つ以上の学習用ペアに関する情報を含む一つ以上の学習用ペア特徴ベクトルを生成するようにし、（２）前記ＤＮＮ２００に含まれた判別ネットワーク２２０をもって、前記学習用ペア特徴ベクトルに一つ以上のＦＣ演算を適用することにより、（ｉ）前記学習用ペアそれぞれに含まれた、前記第１学習用原本ＲＯＩと前記第２学習用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上の学習用判別ベクトル、及び（ｉｉ）学習用統合ターゲット空間上で、前記学習用ペアのうちの少なくとも一部の各要素の各学習用元の３次元位置と比較した、前記学習用ペアのうちの前記少なくとも一部に対応する学習用統合ＲＯＩの各学習用相対３次元位置に関する情報を含む一つ以上の学習用ボックスリグレッションベクトルを生成するようにし、（３）ロスユニット２３０をもって、前記学習用判別ベクトルと、前記学習用ボックスリグレッションベクトルと、これに対応するＧＴとを参照にして統合ロスを生成するようにし、前記統合ロスを利用してバックプロパゲーションを遂行することで前記ＤＮＮに含まれたパラメータのうちの少なくとも一部を学習するようにした状態で、前記第１テスト用車両に搭載されたテスティング装置が、前記第１テスト用ターゲット空間に対する第１テスト用原本イメージと、前記第２テスト用ターゲット空間に対する第２テスト用原本イメージとが処理されて生成された、前記第１テスト用ターゲット空間に対する前記第１テスト用物体検出情報と、前記第２テスト用ターゲット空間に対する前記第２テスト用物体検出情報とを取得すると、前記ＤＮＮ２００に含まれた前記コンカチネーティングネットワーク２１０をもって、前記第１テスト用ターゲット空間に含まれた第１テスト用原本ＲＯＩと、前記第２テスト用ターゲット空間に含まれた第２テスト用原本ＲＯＩとの一つ以上のテスト用ペアに関する情報を含む一つ以上のテスト用ペア特徴ベクトルを生成するようにすることができる。
【００６３】
その後、前記テスティング装置が、前記ＤＮＮ２００に含まれた前記判別ネットワーク２２０をもって、前記テスト用ペア特徴ベクトルに前記ＦＣ演算を適用することにより、（ｉ）前記テスト用ペアそれぞれに含まれた、前記第１テスト用原本ＲＯＩと前記第２テスト用原本ＲＯＩとが統合されるのに適切である確率に関する情報を含む一つ以上のテスト用判別ベクトル及び（ｉｉ）前記テスト用統合ターゲット空間上で、前記テスト用ペアのうちの少なくとも一部の各要素の各テスト用元の３次元位置と比較した、前記テスト用ペアのうち前記少なくとも一部に対応するテスト用統合ＲＯＩの各テスト用相対３次元位置に関する情報を含む一つ以上のテスト用ボックスリグレッションベクトルを生成するようにし得る。
【００６４】
最後に、前記テスティング装置が、併合ユニットをもって、前記テスト用判別ベクトルと、前記テスト用ボックスリグレッションベクトルとを参照にして、第１テスト用原本バウンディンボックス及び第２テスト用原本バウンディンボックスの前記テスト用ペアのうちの少なくとも一部を併合することで、前記テスト用統合物体検出情報を生成するようにし得る。
【００６５】
この際、前記第１テスト用車両に搭載された、一つ以上の第１カメラと、一つ以上の第１ライダ（ｌｉｄａｒ）と、一つ以上の第１レーダ（ｒａｄａｒ）とのうちの少なくとも一部によって取得され得、前記第１テスト用ターゲット空間に対する前記第１テスト用原本イメージは、前記第１テスト用車両に含まれた第１ニューラルネットワークによって処理されることにより、（ｉ）前記第１テスト用ターゲット空間に含まれたテスト用物体に関する第１テスト用クラス情報、（ｉｉ）前記第１テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第１テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第１テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第１テスト用物体検出情報が生成され得る。
【００６６】
これと類似して、前記第２テスト用車両に搭載された、一つ以上の第２カメラと、一つ以上の第２ライダと、一つ以上の第２レーダとのうちの少なくとも一部によって取得され得、前記第２テスト用ターゲット空間に対する前記第２テスト用原本イメージは、前記第２テスト用車両に含まれた第２ニューラルネットワークによって処理されることにより、（ｉ）前記第２テスト用ターゲット空間に含まれたテスト用物体に関する第２テスト用クラス情報、（ｉｉ）前記第２テスト用原本ＲＯＩのテスト用特徴値、（ｉｉｉ）前記第２テスト用原本バウンディングボックスのテスト用３次元座標値、及び（ｉｖ）前記第２テスト用原本ＲＯＩのテスト用３次元座標値を含む前記第２物体検出情報が生成され得、前記第２物体検出情報は、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信によって前記第１テスト用車両へ伝達される。
【００６７】
前記第１ニューラルネットワーク及び前記第２ニューラルネットワークは、物体を検出する用途で構成されたニューラルネットワークであり得る。ディープラーニング分野で従来の技術を用いて物体検出を遂行するいかなる技術もこれに利用され得る。例えば、ＳＶＮｅｔ、ＩｍａｇｅＮｅｔなどが利用され得る。
【００６８】
この際、本発明の前記ＤＮＮ２００は、それぞれ異なる物体検出情報を併合するので、併合ネットワークとも呼ぶことができる。
【００６９】
本発明は、非最大抑制（ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）を遂行する併合ネットワークを利用して前記Ｖ２Ｖ通信によって取得された情報を統合しようとする発明として、共同（ｃｏｌｌａｂｏｒａｔｉｖｅ）走行と関連がある。多数の他の車両によって生成された物体検出結果が前記Ｖ２Ｖ通信によって取得されると、ＲＯＩは、前記多数の他の車両ごとに異なり、すべてのＲＯＩは、本発明の一例に係る一つの統合ＲＯＩに統合される。これのために前記併合ネットワークが利用され、これによってより安全に自律走行をし得る。
【００７０】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば前記原本イメージ、前記原本ラベル及び追加ラベルといったイメージデータの送受信が前記学習装置１００及び前記テスティング装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが前記学習装置１００及びテスティング装置のプロセッサ（及び／またはメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に前記学習装置１００及び前記テスティング装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【００７１】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【００７２】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００７３】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126623.tif 000056
【図２】
2020126623.tif 000057
【図３】
2020126623.tif 000058
【図４】
2020126623.tif 000059