(57)【要約】      （修正有）【課題】互いに異なるデータセットを利用して学習した一つのＲ−ＣＮＮネットワークを利用することを特徴とする物体検出器の学習方法とテスト方法及びそれを利用した学習装置とテスト装置を提供する。【解決手段】物体検出器のテスト装置２００は、コンボリューションレイヤが特徴マップを生成し、ＲＰＮがＲＯＩリグレッション情報及びマッチング情報を出力し、プロポーザルレイヤがＲＯＩ候補を出力し、プロポーザル選択レイヤがＲＯＩプロポーザルを出力する段階と、プーリングレイヤが特徴ベクトルを算出し、ＦＣレイヤが物体リグレッション情報及び物体クラス情報を出力する段階と、第１ロスレイヤが物体クラスロス及び物体リグレッションロスを計算し、各物体クラスロス及び各物体リグレッションロスをバックプロパゲーションして、ＦＣレイヤ及びコンボリューションレイヤのパラメータを学習する段階と、を含む。【選択図】図６
2020061141.tif 000002
【特許請求の範囲】
【請求項１】
Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器のパラメータを学習する方法において、
（ａ）少なくとも一つのトレーニングイメージが入力されると、学習装置が、（ｉ）少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成させ、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、ＲＯＩ（Ｉｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びマッチング情報を出力するようにし、前記ＲＯＩリグレッション情報は、前記特徴マップのうち特定の特徴マップ上にある少なくとも一つの物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するリグレッション情報を含み、前記マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのＲＯＩ候補に含まれた前記少なくとも一つの物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記ＲＯＩリグレッション情報及び前記マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのＲＯＩプロポーザルとして出力するようにし、（ｉｖ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して前記マッチング情報それぞれに対して前記ＲＯＩプロポーザルそれぞれを出力させる段階；
（ｂ）前記学習装置が、前記マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特定の特徴マップ上で前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれの特徴ベクトルを算出するようにし、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記特徴ベクトルそれぞれを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力させる段階：及び
（ｃ）前記学習装置が、前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記ＦＣレイヤそれぞれの前記マッチング情報それぞれに対する前記物体クラス情報と、前記マッチング情報それぞれに対する前記物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習させる段階；
を含むことを特徴とする学習方法。
【請求項２】
前記学習装置は、前記ＲＰＮに対応する第２ロスレイヤをもって、前記ＲＯＩリグレッション情報と、前記マッチング情報と、少なくとも一つの第２原本正解とを参照して取得した少なくとも一つの第２ロスをバックプロパゲーションして、前記ＲＰＮのパラメータを学習させることを特徴とする請求項１に記載の学習方法。
【請求項３】
前記トレーニングイメージ上に前記マッチング情報のうち第１マッチング情報に対応する第１物体と第２マッチング情報に対応する第２物体とが含まれているものと判断される場合、
前記（ａ）段階で、
前記学習装置は、前記プロポーザル選択レイヤをもって、前記第１マッチング情報に対応する第１ＲＯＩプロポーザルと第２マッチング情報に対応する第２ＲＯＩプロポーザルとを出力するようにし、
前記（ｂ）段階で、
前記学習装置は、（ｉ）前記第１マッチング情報に対応する第１プーリングレイヤをもって、前記特定の特徴マップ上で前記第１ＲＯＩプロポーザルに対応する領域をプーリングして第１特徴ベクトルを算出するようにし、前記第１プーリングレイヤに対応する第１ＦＣレイヤをもって、前記第１特徴ベクトルを利用して前記第１物体の第１物体クラス情報及び第１物体リグレッション情報を出力するようにし、（ｉｉ）前記第２マッチング情報に対応する第２プーリングレイヤをもって、前記特徴マップ上で前記第２ＲＯＩプロポーザルに対応する領域をプーリングして第２特徴ベクトルを算出するようにし、前記第２プーリングレイヤに対応する第２ＦＣレイヤをもって、前記第２特徴ベクトルを利用して前記第２物体の第２物体クラス情報及び第２物体リグレッション情報を出力するようにし、
前記（ｃ）段階で、
前記学習装置は、（ｉ）前記第１ロスレイヤのうち前記第１ＦＣレイヤに対応する第１−１ロスレイヤをもって、前記第１物体クラス情報と、前記第１物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−１原本正解とを参照して、少なくとも一つの第１物体クラスロス及び少なくとも一つの第１物体リグレッションロスを計算するようにし、前記第１物体クラスロス及び前記第１物体リグレッションロスをバックプロパゲーションすることにより、前記第１ＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習し、（ｉｉ）前記第１ロスレイヤのうち前記第２ＦＣレイヤに対応する第１−２ロスレイヤをもって、前記第２物体クラス情報と、前記第２物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−２原本正解とを参照して、少なくとも一つの第２物体クラスロス及び少なくとも一つの第２物体リグレッションロスを計算するようにし、前記第２物体クラスロス及び前記第２物体リグレッションロスをバックプロパゲーションすることにより、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習することを特徴とする請求項１に記載の学習方法。
【請求項４】
前記（ａ）段階以前において、
前記学習装置は、前記クラス群それぞれに対応するそれぞれの物体が含まれた前記トレーニングイメージをそれぞれのバッチ（ｂａｔｃｈ）データとして取得することを特徴とする請求項１に記載の学習方法。
【請求項５】
前記バッチデータは、前記クラス群それぞれに対応する同一の個数の前記トレーニングイメージを含むことを特徴とする請求項４に記載の学習方法。
【請求項６】
前記バッチデータに登録された前記トレーニングイメージのうち少なくとも一つの特定のトレーニングイメージは、前記クラス群のうち特定のクラス群に属する特定のクラスの物体のみを含むか、又は前記クラス群のうち少なくとも二つ以上のクラス群に属するクラスの物体を含むことを特徴とする請求項４に記載の学習方法。
【請求項７】
前記（ａ）段階で、
前記学習装置は、前記ＲＰＮをもって、前記バッチデータに登録されたすべてのトレーニングイメージに対する前記ＲＰＮのパラメータを学習させることを特徴とする請求項４に記載の学習方法。
【請求項８】
前記少なくとも一つの第２原本正解は、前記それぞれのバッチデータに登録された前記トレーニングイメージそれぞれに対して、各クラス群に対応する物体としてタグ付けされたポジティブサンプルの少なくとも一つの第２ポジティブ原本正解と、前記各クラス群に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第２ネガティブ原本正解とを含むことを特徴とする請求項７に記載の学習方法。
【請求項９】
前記（ｃ）段階で、
前記学習装置は、前記それぞれの第１ロスレイヤをもって、前記バッチデータに登録されたそれぞれのトレーニングイメージに対して、前記マッチング情報に対応する物体としてタグ付けされたポジティブサンプルの少なくとも一つの第１ポジティブ原本正解と、前記マッチング情報に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第１ネガティブ原本正解とを利用して前記物体クラスロス及び前記物体リグレッションロスを計算させることを特徴とする請求項４に記載の学習方法。
【請求項１０】
前記学習装置は、前記プロポーザル選択レイヤをもって、前記トレーニングイメージを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する前記それぞれの第１原本正解を取得して、前記取得されたそれぞれの第１原本正解を前記マッチング情報それぞれに対応するそれぞれの第１ロスレイヤに入力させることを特徴とする請求項１に記載の学習方法。
【請求項１１】
Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器をテストする方法において、
（ａ）学習装置が、（ｉ）少なくとも一つのトレーニングイメージが入力されると、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを生成させ、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、トレーニング用ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びトレーニング用マッチング情報を出力させ、前記トレーニング用ＲＯＩリグレッション情報は、前記トレーニング用特徴マップのうち特定のトレーニング用特徴マップ上にある少なくとも一つのトレーニング用物体を含むものと予測された候補領域それぞれに対応するトレーニング用ＲＯＩ候補それぞれに対するリグレッション情報を含み、前記トレーニング用マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む、少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのトレーニング用ＲＯＩ候補に含まれた前記少なくとも一つのトレーニング用物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記トレーニング用ＲＯＩリグレッション情報及び前記トレーニング用マッチング情報を参照して前記トレーニング用ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのトレーニング用ＲＯＩプロポーザルとして出力するようにし、（ｉｖ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して前記トレーニング用マッチング情報それぞれに対して前記トレーニング用ＲＯＩプロポーザルそれぞれを出力させ、（ｖ）前記トレーニング用マッチング情報それぞれに対応するそれぞれのプーリングレイヤをもって、前記トレーニング用特定の特徴マップ上で前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのトレーニング用特徴ベクトルを算出させ、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤをもって、前記トレーニング用特徴ベクトルそれぞれを参照して前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応するトレーニング用物体リグレッション情報及びトレーニング用物体クラス情報を出力するようにし、（ｖｉ）前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記ＦＣレイヤそれぞれの前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体クラス情報と前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習した状態で、少なくとも一つのテストイメージが入力されると、テスト装置が、前記コンボリューションレイヤをもって前記テストイメージにコンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成させる段階；
（ｂ）前記テスト装置が、（ｉ）前記ＲＰＮをもって、テスト用ＲＯＩリグレッション情報及びテスト用マッチング情報を出力するようにし、前記テスト用ＲＯＩリグレッション情報は、前記テスト用特徴マップのうち特定の特徴マップ上にある少なくとも一つのテスト用物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するテスト用リグレッション情報を含み、前記テスト用マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのＲＯＩ候補に含まれた前記少なくとも一つのテスト用物体に関する情報を参照して決定され、（ｉｉ）プロポーザルレイヤをもって、前記テスト用ＲＯＩリグレッション情報及び前記テスト用マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのテスト用ＲＯＩプロポーザルとして出力させる段階；及び
（ｃ）前記テスト装置が、前記テスト用マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記テスト用特定の特徴マップ上で前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのテスト用特徴ベクトルを算出するようにし、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記テスト用の特徴ベクトルそれぞれを参照して前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応するテスト用物体リグレッション情報及びテスト用物体クラス情報を出力させる段階；
を含むことを特徴とするテスト方法。
【請求項１２】
前記（ａ）段階において、
前記学習装置にしたがって、第２ロスレイヤによって計算された少なくとも一つ以上の第２ロス（前記第２ロスは前記トレーニング用ＲＯＩリグレッション情報、前記トレーニング用マッチング情報、及び少なくとも一つの第２原本正解を参照して取得される）をバックプロパゲーションして、前記ＲＰＮのパラメータを学習した状態であることを特徴とする請求項１１に記載のテスト方法。
【請求項１３】
前記テストイメージ上に前記テスト用マッチング情報のうち第１テストマッチング情報に対応する第１テスト用物体と、第２テストマッチング情報に対応する第２テスト用物体とが含まれているものと判断される場合、
前記（ｂ）段階において、
前記テスト装置は、前記プロポーザル選択レイヤをもって、前記第１テスト用マッチング情報に対応する第１テスト用ＲＯＩプロポーザルと第２テスト用マッチング情報に対応する第２テスト用ＲＯＩプロポーザルとを出力するようにし、
前記（ｃ）段階で、
前記テスト装置は、（ｉ）前記第１テスト用マッチング情報に対応する第１プーリングレイヤをもって、前記テスト用特定の特徴マップ上で前記第１テスト用ＲＯＩプロポーザルに対応する領域をプーリングして第１テスト用特徴ベクトルを算出するようにし、前記第１プーリングレイヤに対応する第１ＦＣレイヤをもって、前記第１テスト用特徴ベクトルを利用して前記第１テスト用物体の第１テスト用物体クラス情報及び第１テスト用物体リグレッション情報を出力するようにし、（ｉｉ）前記第２テスト用マッチング情報に対応する第２プーリングレイヤをもって、前記テスト用特定の特徴マップ上で前記第２テスト用ＲＯＩプロポーザルに対応する領域をプーリングして第２テスト用特徴ベクトルを算出するようにし、前記第２プーリングレイヤに対応する第２ＦＣレイヤをもって、前記第２テスト用特徴ベクトルを利用して前記第２テスト用物体の第２テスト用物体クラス情報及び第２テスト用物体リグレッション情報を出力させることを特徴とする請求項１１に記載のテスト方法。
【請求項１４】
（ｄ）前記テスト装置は、出力レイヤをもって、前記プロポーザルレイヤから出力された前記テスト用マッチング情報それぞれのテスト用ＲＯＩプロポーザルと、それぞれのＦＣレイヤから出力された前記テスト用物体クラス情報と、前記テスト用物体リグレッション情報とを参照して、前記テストイメージ上に前記テスト用前記物体と対応する物体情報を表示することをさらに含むことを特徴とする請求項１１に記載のテスト方法。
【請求項１５】
Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器のパラメータを学習する学習装置において、
少なくとも一つのトレーニングイメージを受信する通信部；及び
（Ｉ）少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して、少なくとも一つの特徴マップを生成するプロセス、（ＩＩ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びマッチング情報を出力させ、前記ＲＯＩリグレッション情報は、前記特徴マップのうち特定の特徴マップ上にある少なくとも一つの物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するリグレッション情報を含み、前記マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのＲＯＩ候補に含まれた前記少なくとも一つの物体に関する情報を参照して決定されるプロセス、（ＩＩＩ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記ＲＯＩリグレッション情報及び前記マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのＲＯＩプロポーザルとして出力するプロセス、（ＩＶ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して前記マッチング情報それぞれに対して前記ＲＯＩプロポーザルそれぞれを出力するプロセス、（Ｖ）前記マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特定の特徴マップ上で前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれの特徴ベクトルを算出するようにし、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記特徴ベクトルそれぞれを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力するプロセス、（ＶＩ）前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記ＦＣレイヤそれぞれの前記マッチング情報それぞれに対する前記物体クラス情報と、前記マッチング情報それぞれに対する前記物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習するプロセスを遂行するプロセッサ；
を含むことを特徴とする学習装置。
【請求項１６】
前記プロセッサは、前記ＲＰＮに対応する第２ロスレイヤをもって、前記ＲＯＩリグレッション情報と、前記マッチング情報と、少なくとも一つの第２原本正解とを参照して取得した少なくとも一つの第２ロスをバックプロパゲーションして、前記ＲＰＮのパラメータを学習させることを特徴とする請求項１５に記載の学習装置。
【請求項１７】
前記トレーニングイメージ上に前記マッチング情報のうち第１マッチング情報に対応する第１物体と第２マッチング情報に対応する第２物体とが含まれているものと判断される場合、
前記プロセッサは、
前記（ＩＶ）プロセスにおいて、前記プロポーザル選択レイヤをもって、前記第１マッチング情報に対応する第１ＲＯＩプロポーザルと第２マッチング情報に対応する第２ＲＯＩプロポーザルとを出力するようにし、
前記（Ｖ）プロセスで、（ｉ）前記第１マッチング情報に対応する第１プーリングレイヤをもって、前記特定の特徴マップ上で前記第１ＲＯＩプロポーザルに対応する領域をプーリングして第１特徴ベクトルを算出するようにし、前記第１プーリングレイヤに対応する第１ＦＣレイヤをもって、前記第１特徴ベクトルを利用して前記第１物体の第１物体クラス情報及び第１物体リグレッション情報を出力するようにし、（ｉｉ）前記第２マッチング情報に対応する第２プーリングレイヤをもって、前記特徴マップ上で前記第２ＲＯＩプロポーザルに対応する領域をプーリングして第２特徴ベクトルを算出するようにし、前記第２プーリングレイヤに対応する第２ＦＣレイヤをもって、前記第２特徴ベクトルを利用して前記第２物体の第２物体クラス情報及び第２物体リグレッション情報を出力するようにし、
前記（ＶＩ）プロセスで、（ｉ）前記第１ロスレイヤのうち前記第１ＦＣレイヤに対応する第１−１ロスレイヤをもって、前記第１物体クラス情報と、前記第１物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−１原本正解とを参照して少なくとも一つの第１物体クラスロス及び少なくとも一つの第１物体リグレッションロスを計算するようにし、前記第１物体クラスロス及び前記第１物体リグレッションロスをバックプロパゲーションすることにより、前記第１ＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習し、（ｉｉ）前記第１ロスレイヤのうち前記第２ＦＣレイヤに対応する第１−２ロスレイヤをもって、前記第２物体クラス情報と、前記第２物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−２原本正解とを参照して、少なくとも一つの第２物体クラスロス及び少なくとも一つの第２物体リグレッションロスを計算するようにし、前記第２物体クラスロス及び前記第２物体リグレッションロスをバックプロパゲーションすることにより、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習することを特徴とする請求項１５に記載の学習装置。
【請求項１８】
前記通信部は、
前記クラス群それぞれに対応するそれぞれの物体が含まれた前記トレーニングイメージをそれぞれのバッチ（ｂａｔｃｈ）データとして取得することを特徴とする請求項１５に記載の学習装置。
【請求項１９】
前記バッチデータは、前記クラス群それぞれに対応する同一の個数の前記トレーニングイメージを含むことを特徴とする請求項１８に記載の学習装置。
【請求項２０】
前記バッチデータに登録された前記トレーニングイメージのうち少なくとも一つの特定のトレーニングイメージは、前記クラス群のうち特定のクラス群に属する特定のクラスの物体のみを含むか、又は前記クラス群のうち少なくとも二つ以上のクラス群に属するクラスの物体を含むことを特徴とする請求項１８に記載の学習装置。
【請求項２１】
前記プロセッサは、
前記（ＩＩ）プロセスにおいて、前記ＲＰＮをもって、前記バッチデータに登録されたすべてのトレーニングイメージに対する前記ＲＰＮのパラメータを学習させることを特徴とする請求項１８に記載の学習装置。
【請求項２２】
前記少なくとも一つの第２原本正解は、前記それぞれのバッチデータに登録された前記トレーニングイメージそれぞれに対して、各クラス群に対応する物体としてタグ付けされたポジティブサンプルの少なくとも一つの第２ポジティブ原本正解と、前記各クラス群に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第２ネガティブ原本正解とを含むことを特徴とする請求項２１に記載の学習装置。
【請求項２３】
前記プロセッサは、
前記（ＶＩ）プロセスで、
前記それぞれの第１ロスレイヤをもって、前記バッチデータに登録されたそれぞれのトレーニングイメージに対して、前記マッチング情報に対応する物体としてタグ付けされたポジティブサンプルの少なくとも一つの第１ポジティブ原本正解と、前記マッチング情報に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第１ネガティブ原本正解とを利用して、前記物体クラスロス及び前記物体リグレッションロスを計算させることを特徴とする請求項１８に記載の学習装置。
【請求項２４】
前記プロセッサは、前記プロポーザル選択レイヤをもって、前記トレーニングイメージを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する前記それぞれの第１原本正解を取得して、前記取得したそれぞれの第１原本正解を前記マッチング情報それぞれに対応するそれぞれの第１ロスレイヤに入力させることを特徴とする請求項１５に記載の学習装置。
【請求項２５】
Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器をテストする装置において、
学習装置が、（ｉ）少なくとも一つのトレーニングイメージが入力されると、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して、少なくとも一つのトレーニング用特徴マップを生成させ、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、トレーニング用ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びトレーニング用マッチング情報を出力させ、前記トレーニング用ＲＯＩリグレッション情報は、前記トレーニング用特徴マップのうちトレーニング用特定の特徴マップ上にある少なくとも一つのトレーニング用物体を含むものと予測された候補領域それぞれに対応するトレーニング用ＲＯＩ候補それぞれに対するリグレッション情報を含み、前記トレーニング用マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのトレーニング用ＲＯＩ候補に含まれた前記少なくとも一つのトレーニング用物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記トレーニング用ＲＯＩリグレッション情報及び前記トレーニング用マッチング情報を参照して前記トレーニング用ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のトレーニング用ＲＯＩ候補を少なくとも一つのトレーニング用ＲＯＩプロポーザルとして出力するようにし、（ｉｖ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して前記トレーニング用マッチング情報それぞれに対して前記トレーニング用ＲＯＩプロポーザルそれぞれを出力させ、（ｖ）前記トレーニング用マッチング情報それぞれに対応するそれぞれのプーリングレイヤをもって、前記トレーニング用特定の特徴マップ上で前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングして、それぞれのトレーニング用特徴ベクトルを算出させ、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤをもって、前記トレーニング用特徴ベクトルそれぞれを参照して前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及びトレーニング用物体クラス情報を出力させ、（ｖｉ）前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記ＦＣレイヤそれぞれの前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体クラス情報と、前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習した状態で少なくとも一つのテストイメージを取得する通信部；及び
（Ｉ）前記コンボリューションレイヤをもって、前記テストイメージにコンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成するプロセス、（ＩＩ）（ｉ）前記ＲＰＮに対して、テスト用ＲＯＩリグレッション情報及びテスト用マッチング情報を出力するようにし、前記テスト用ＲＯＩリグレッション情報は前記テスト用特徴マップのうち特定の特徴マップ上にある、少なくとも一つのテスト用物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するテスト用リグレッション情報を含み、前記テスト用マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのＲＯＩ候補に含まれた前記少なくとも一つのテスト用物体に関する情報を参照して決定され、（ｉｉ）前記プロポーザルレイヤをもって、前記テスト用ＲＯＩリグレッション情報及び前記テスト用マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのテスト用ＲＯＩプロポーザルとして出力するプロセス、（ＩＩＩ）前記テスト用マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記テスト用特定の特徴マップ上で前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのテスト用特徴ベクトルを算出するようにし、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記テスト用特徴ベクトルそれぞれを参照して前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応するテスト用物体リグレッション情報及びテスト用物体クラス情報を出力するプロセスを遂行するプロセッサ；
を含むことを特徴とするテスト装置。
【請求項２６】
前記プロセッサは、
前記（Ｉ）プロセス以前に、
前記学習装置にしたがって、第２ロスレイヤによって計算された少なくとも一つ以上の第２ロス（前記第２ロスは前記トレーニング用ＲＯＩリグレッション情報、前記トレーニング用マッチング情報、及び少なくとも一つの第２原本正解を参照して取得される）をバックプロパゲーションして、前記ＲＰＮのパラメータを学習した状態であることを特徴とする請求項２５に記載のテスト装置。
【請求項２７】
前記テストイメージ上に前記テスト用マッチング情報のうち第１テストマッチング情報に対応する第１テスト用物体と第２テストマッチング情報に対応する第２テスト用物体とが含まれているものと判断される場合、
前記プロセッサは、
前記（ＩＩ）プロセスにおいて、前記プロポーザル選択レイヤをもって、前記第１テスト用マッチング情報に対応する第１テスト用ＲＯＩプロポーザルと第２テスト用マッチング情報に対応する第２テスト用ＲＯＩプロポーザルとを出力するようにし、
前記（ＩＩＩ）プロセスで、（ｉ）前記第１テスト用マッチング情報に対応する第１プーリングレイヤをもって、前記テスト用特定の特徴マップ上で前記第１テスト用ＲＯＩプロポーザルに対応する領域をプーリングして第１テスト用特徴ベクトルを算出するようにし、前記第１プーリングレイヤに対応する第１ＦＣレイヤをもって、前記第１テスト用特徴ベクトルを利用して前記第１テスト用物体の第１テスト用物体クラス情報及び第１テスト用物体リグレッション情報を出力するようにし、（ｉｉ）前記第２テスト用マッチング情報に対応する第２プーリングレイヤをもって、前記テスト用特定の特徴マップ上で前記第２テスト用ＲＯＩプロポーザルに対応する領域をプーリングして第２テスト用特徴ベクトルを算出するようにし、前記第２プーリングレイヤに対応する第２ＦＣレイヤをもって、前記第２テスト用特徴ベクトルを利用して前記第２テスト用物体の第２テスト用物体クラス情報及び第２テスト用物体リグレッション情報を出力させることを特徴とする請求項２５に記載のテスト装置。
【請求項２８】
前記プロセッサは、
出力レイヤをもって、前記プロポーザルレイヤから出力された前記テスト用マッチング情報それぞれのテスト用ＲＯＩプロポーザルと、それぞれのＦＣレイヤから出力された前記テスト用物体クラス情報と、前記テスト用物体リグレッション情報とを参照して、前記テストイメージ上に前記テスト用前記物体と対応する物体情報を表示することをさらに含むことを特徴とする請求項２５に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器の学習方法とテスト方法、及びそれを利用した学習装置とテスト装置に関し、より詳細には、（ａ）少なくとも一つのトレーニングイメージが入力されると、学習装置が、（ｉ）少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成させ、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもってＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びマッチング情報を出力させ、前記ＲＯＩリグレッション情報は、前記特徴マップのうち特定の特徴マップ上にある少なくとも一つの物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するリグレッション情報を含み、前記マッチング情報は少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのＲＯＩ候補に含まれた前記少なくとも一つの物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記ＲＯＩリグレッション情報及び前記マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩになる確率が高い少なくとも一つの特定のＲＯＩ候補を少なくとも一つのＲＯＩプロポーザルとして出力するようにし、（ｉｖ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して前記マッチング情報それぞれに対して前記ＲＯＩプロポーザルそれぞれを出力させる段階；（ｂ）前記学習装置が、（ｉ）前記マッチング情報それぞれに対応するそれぞれのプーリングレイヤをもって、前記特定の特徴マップ上で前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれの特徴ベクトルを算出させ、（ｉｉ）前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記特徴ベクトルそれぞれを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力させる段階；及び（ｃ）前記学習装置が、前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、（ｉ）前記ＦＣレイヤそれぞれの前記マッチング情報それぞれに対する前記物体クラス情報と、前記マッチング情報それぞれに対する前記物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、（ｉｉ）前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、（ｉｉｉ）前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習させる段階；を含むことを特徴とする学��方法とテスト方法、及びそれを利用した学習装置とテスト装置に関する。
【背景技術】
【０００２】
ディープラーニングは、事物やデータを群集化したり分類するのに使用する技術である。例えば、コンピュータは写真だけで犬と猫を区分することができない。しかし、人はとても容易に区分することができる。このため、「機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）」という方法が考案された。これは多くのデータをコンピュータに入力し、類似したもの同士分類するようにする技術である。格納された犬の写真と類似した写真が入力されると、これを犬の写真であると分類するのである。
【０００３】
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「意思決定木」や「ベイジアンネットワーク」、「サポートベクターマシン（ＳＶＭ）」、「人工神経網」などが代表的である。このうち、ディープラーニングは人工神経網の後裔である。
【０００４】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ  ＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解決するために９０年代にすでに使用されていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなディープＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
【０００５】
特に、最近では、イメージ内に位置する物体を検出するためにＲ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器が数多く用いられている。
【０００６】
このようなＲ−ＣＮＮ基盤の物体検出器はロス値を参照してバックプロパゲーションを利用して学習が行われるようになり、学習された結果に応じてその性能が決定される。
【０００７】
しかし、前記物体検出器を利用して検出しようとするすべての物体が含まれたデータセット（ｄａｔａ  ｓｅｔ）を求めることは容易ではない。
【０００８】
一例として、自動車の走行道路のイメージにおいて歩行者、運転者、車両、交通標識、交通信号及び動物のような６種類の物体を検出するための物体検出器を開発しようとする場合、前記６種類の物体すべてが含まれたトレーニングイメージでデータセットを構成することは容易ではない。
【０００９】
したがって、従来のＲ−ＣＮＮ基盤の物体検出器は、検出しようとする各物体が分類されたそれぞれのクラス群に対するそれぞれのデータセットが提供されると、前記それぞれのデータセットごとにＲ−ＣＮＮネットワークをそれぞれ生成し、Ｒ−ＣＮＮネットワークのパラメータを学習した。ここで、前記従来の物体検出器は、それぞれ学習されたＲ−ＣＮＮネットワークを含むようになる。
【００１０】
つまり、図１を参照すると、歩行者、運転者、車両、交通標識、交通信号及び動物のような６種類の物体を検出しようとする場合、（ａ）のように、少なくとも一つの歩行者、運転者及び車両に対するデータセットが構成されてＲ−ＣＮＮ１のパラメータを学習するのに使用され、（ｂ）のように、少なくとも一つの交通標識及び交通信号に対する各データセットが構成されてＲ−ＣＮＮ２のパラメータを学習するのに使用され、（ｃ）のように、少なくとも一つの動物に対するデータセットが構成されてＲ−ＣＮＮ３のパラメータを学習するのに使用される。
【００１１】
以後、それぞれ学習された前記Ｒ−ＣＮＮ１、前記Ｒ−ＣＮＮ２、及び前記Ｒ−ＣＮＮ３を含むように前記Ｒ−ＣＮＮ基盤の前記物体検出器を構成する。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、こうした従来の前記Ｒ−ＣＮＮ基盤の前記物体検出器は、学習用データセットの個数に対応する互いに異なる多数のディ―プラーニングネットワークを含むものであって、実際のテストを進める場合、前記従来の物体検出器は１つのディープラーニングネットワークのみを含む検出器と比較すると、含まれたディープラーニングネットワークの個数に比例して実行時間が増加する問題点がある。
【００１３】
本発明は、上述した問題点を全て解決することを目的とする。
【００１４】
本発明は、複数の互いに異なるデータセット（ｄａｔａ  ｓｅｔ）が一つのディープラーニングネットワークのパラメータを学習することができるようにすることを他の目的とする。
【００１５】
本発明は、複数の互いに異なるデータセットを利用して学習したＲ−ＣＮＮ基盤の物体検出器の実行時間を短縮することができるようにすることをまた他の目的とする。
【００１６】
本発明は、複数の互いに異なるデータセットを利用して学習した前記ディープラーニングネットワークを利用した前記Ｒ−ＣＮＮ基盤の前記物体検出器を提供することをまた他の目的とする。
【課題を解決するための手段】
【００１７】
本発明の一態様によると、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器のパラメータを学習する方法において、（ａ）少なくとも一つのトレーニングイメージが入力されると、学習装置が、（ｉ）少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成させ、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びマッチング情報を出力するようにし、前記ＲＯＩリグレッション情報は、前記特徴マップのうち特定の特徴マップ上にある少なくとも一つの物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するリグレッション情報を含み、前記マッチング情報は少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスはそれぞれのＲＯＩ候補に含まれた前記少なくとも一つの物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記ＲＯＩリグレッション情報及び前記マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのＲＯＩプロポーザルとして出力するようにし、（ｉｖ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して前記マッチング情報それぞれに対して前記ＲＯＩプロポーザルそれぞれを出力させる段階；（ｂ）前記学習装置が、（ｉ）前記マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特定の特徴マップ上で前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれの特徴ベクトルを算出させ、（ｉｉ）前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって前記特徴ベクトルそれぞれを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力させる段階；及び（ｃ）前記学習装置が、前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、（ｉ）前記ＦＣレイヤそれぞれの前記マッチング情報それぞれに対する前記物体クラス情報と、前記マッチング情報それぞれに対する前記物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、（ｉｉ）前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、（ｉｉｉ）前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習する段階；を含むことを特徴とす���学習方法が提供される。
【００１８】
一実施例で、前記学習装置は、前記ＲＰＮに対応する第２ロスレイヤをもって、前記ＲＯＩリグレッション情報と、前記マッチング情報と、少なくとも一つの第２原本正解とを参照して取得した少なくとも一つの第２ロスをバックプロパゲーションして前記ＲＰＮのパラメータを学習させることを特徴とする学習方法が提供される。
【００１９】
一実施例で、前記トレーニングイメージ上に前記マッチング情報のうち第１マッチング情報に対応する第１物体と第２マッチング情報に対応する第２物体とが含まれているものと判断される場合、前記（ａ）段階において、前記学習装置は、前記プロポーザル選択レイヤをもって、前記第１マッチング情報に対応する第１ＲＯＩプロポーザルと第２マッチング情報に対応する第２ＲＯＩプロポーザルとを出力するようにし、前記（ｂ）段階において、前記学習装置は、（ｉ）前記第１マッチング情報に対応する第１プーリングレイヤをもって、前記特定の特徴マップ上で前記第１ＲＯＩプロポーザルに対応する領域をプーリングして第１特徴ベクトルを算出するようにし、前記第１プーリングレイヤに対応する第１ＦＣレイヤをもって、前記第１特徴ベクトルを利用して前記第１物体の第１物体クラス情報及び第１物体リグレッション情報を出力するようにし、（ｉｉ）前記第２マッチング情報に対応する第２プーリングレイヤをもって、前記特徴マップ上で前記第２ＲＯＩプロポーザルに対応する領域をプーリングして第２特徴ベクトルを算出するようにし、前記第２プーリングレイヤに対応する第２ＦＣレイヤをもって、前記第２特徴ベクトルを利用して前記第２物体の第２物体クラス情報及び第２物体リグレッション情報を出力するようにし、前記（ｃ）段階において、前記学習装置は、（ｉ）前記第１ロスレイヤのうち前記第１ＦＣレイヤに対応する第１−１ロスレイヤをもって、前記第１物体クラス情報と、前記第１物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−１原本正解とを参照して、少なくとも一つの第１物体クラスロス及び少なくとも一つの第１物体リグレッションロスを計算するようにし、前記第１物体クラスロス及び前記第１物体リグレッションロスをバックプロパゲーションすることにより、前記第１ＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習し、（ｉｉ）前記第１ロスレイヤのうち前記第２ＦＣレイヤに対応する第１−２ロスレイヤをもって、前記第２物体クラス情報と、前記第２物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−２原本正解とを参照して、少なくとも一つの第２物体クラスロス及び少なくとも一つの第２物体リグレッションロスを計算するようにし、前記第２物体クラスロス及び前記第２物体リグレッションロスをバックプロパゲーションすることにより、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習することを特徴とする学習方法が提供される。
【００２０】
一実施例において、前記（ａ）段階以前で、前記学習装置は、前記クラス群それぞれに対応するそれぞれの物体が含まれた前記トレーニングイメージをそれぞれのバッチ（ｂａｔｃｈ）データとして取得することを特徴とする学習方法が提供される。
【００２１】
一実施例において、前記バッチデータは前記クラス群それぞれに対応する同一の個数の前記トレーニングイメージを含むことを特徴とする学習方法が提供される。
【００２２】
一実施例において、前記バッチデータに登録された前記トレーニングイメージのうち少なくとも一つの特定のトレーニングイメージは、前記クラス群のうち特定のクラス群に属する特定のクラスの物体のみを含むか、又はクラス群のうち少なくとも二つ以上のクラス群に属するクラスの物体を含むことを特徴とする学習方法が提供される。
【００２３】
一実施例において、前記（ａ）段階で、前記学習装置は、前記ＲＰＮをもって前記バッチデータに登録されたすべてのトレーニングイメージに対する前記ＲＰＮのパラメータを学習させることを特徴とする学習方法が提供される。
【００２４】
一実施例で、前記少なくとも一つの第２原本正解は、前記それぞれのバッチデータに登録された前記トレーニングイメージそれぞれに対して、各クラス群に対応する物体としてタグ付けされたポジティブサンプルの少なくとも一つの第２ポジティブ原本正解と、前記各クラス群に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第２ネガティブ原本正解とを含むことを特徴とする学習方法が提供される。
【００２５】
一実施例で、前記（ｃ）段階において、前記学習装置は、前記それぞれの第１ロスレイヤをもって、前記バッチデータに登録されたそれぞれのトレーニングイメージに対して、前記マッチング情報に対応する物体としてタグ付けされたポジティブサンプルの少なくとも一つの第１ポジティブ原本正解と、前記マッチング情報に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第１ネガティブ原本正解とを利用して、前記物体クラスロス及び前記物体リグレッションロスを計算させることを特徴とする学習方法が提供される。
【００２６】
一実施例で、前記学習装置は、前記プロポーザル選択レイヤをもって、前記トレーニングイメージを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する前記それぞれの第１原本正解を取得して、前記取得されたそれぞれの第１原本正解を前記マッチング情報それぞれに対応するそれぞれの第１ロスレイヤに入力させることを特徴とする学習方法が提供される。 
【００２７】
本発明の他の態様によると、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器をテストする方法において、（ａ）学習装置によって、（ｉ）少なくとも一つのトレーニングイメージが入力されると、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを生成させ、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、トレーニング用ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びトレーニング用マッチング情報を出力するようにし、前記トレーニング用ＲＯＩリグレッション情報は、前記トレーニング用特徴マップのうちトレーニング用特定の特徴マップ上にある少なくとも一つのトレーニング用物体を含むものと予測された候補領域それぞれに対応するトレーニング用ＲＯＩ候補それぞれに対するリグレッション情報を含み、前記トレーニング用マッチング情報は少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのトレーニング用ＲＯＩ候補に含まれた前記少なくとも一つのトレーニング用物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記トレーニング用ＲＯＩリグレッション情報及び前記トレーニング用マッチング情報を参照して、前記トレーニング用ＲＯＩ候補のうちＲＯＩとなる確率の高い、少なくとも一つの特定トレーニング用ＲＯＩ候補を少なくとも一つのトレーニング用ＲＯＩプロポーザルとして出力するようにし、（ｉｖ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して前記トレーニング用マッチング情報それぞれに対して前記トレーニング用ＲＯＩプロポーザルそれぞれを出力させ、（ｖ）前記トレーニング用マッチング情報それぞれに対応するそれぞれのプーリングレイヤをもって、前記トレーニング用特定の特徴マップ上で前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのトレーニング用特徴ベクトルを算出するようにし、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤをもって、前記トレーニング用特徴ベクトルそれぞれを参照して前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応するトレーニング用物体リグレッション情報及びトレーニング用物体クラス情報を出力するようにし、（ｖｉ）前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記ＦＣレイヤそれぞれの前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体クラス情報と、前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕ���ｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習した状態で、少なくとも一つのテストイメージが入力されると、テスト装置が前記コンボリューションレイヤをもって、前記テストイメージにコンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成させる段階；（ｂ）前記テスト装置が、（ｉ）前記ＲＰＮをもって、テスト用ＲＯＩリグレッション情報及びテスト用マッチング情報を出力するようにし、前記テスト用ＲＯＩリグレッション情報は前記テスト用特徴マップのうち特定の特徴マップ上にある少なくとも一つのテスト用物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するテスト用リグレッション情報を含み、前記テスト用マッチング情報は少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスはそれぞれのＲＯＩ候補に含まれた前記少なくとも一つのテスト用物体に関する情報を参照して決定され、（ｉｉ）前記プロポーザルレイヤをもって、前記テスト用ＲＯＩリグレッション情報及び前記テスト用マッチング情報を参照して、前記ＲＯＩ候補のうちＲＯＩとなる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのテスト用ＲＯＩプロポーザルとして出力させる段階；及び（ｃ）前記テスト装置が、前記テスト用マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記テスト用特定の特徴マップ上で前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのテスト用特徴ベクトルを算出するようにし、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記テスト用特徴ベクトルそれぞれを参照して前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応するテスト用物体リグレッション情報及びテスト用物体クラス情報を出力させる段階；を含むことを特徴とするテスト方法が提供される。
【００２８】
一実施例で、前記（ａ）段階において、前記学習装置に従って第２ロスレイヤによって計算された少なくとも一つ以上の第２ロス（前記第２ロスは前記トレーニング用ＲＯＩリグレッション情報、前記トレーニング用マッチング情報、及び少なくとも一つの第２原本正解を参照して取得される）をバックプロパゲーションして、前記ＲＰＮのパラメータを学習した状態であることを特徴とするテスト方法が提供される。
【００２９】
一実施例で、前記テストイメージ上に前記テスト用マッチング情報のうち第１テストマッチング情報に対応する第１テスト用物体と、第２テストマッチング情報に対応する第２テスト用物体とが含まれているものと判断される場合、前記（ｂ）段階において、前記テスト装置は、前記プロポーザル選択レイヤをもって、前記第１テスト用マッチング情報に対応する第１テスト用ＲＯＩプロポーザルと第２テスト用マッチング情報に対応する第２テスト用ＲＯＩプロポーザルとを出力するようにし、前記（ｃ）段階において、前記テスト装置は、（ｉ）前記第１テスト用マッチング情報に対応する第１プーリングレイヤをもって、前記テスト用特定の特徴マップ上で前記第１テスト用ＲＯＩプロポーザルに対応する領域をプーリングして第１テスト用特徴ベクトルを算出するようにし、前記第１プーリングレイヤに対応する第１ＦＣレイヤをもって、前記第１テスト用特徴ベクトルを利用して前記第１テスト用物体の第１テスト用物体クラス情報及び第１テスト用物体リグレッション情報を出力するようにし、（ｉｉ）前記第２テスト用マッチング情報に対応する第２プーリングレイヤをもって、前記テスト用特定の特徴マップ上で前記第２テスト用ＲＯＩプロポーザルに対応する領域をプーリングして第２テスト用特徴ベクトルを算出するようにし、前記第２プーリングレイヤに対応する第２ＦＣレイヤをもって、前記第２テスト用特徴ベクトルを利用して前記第２テスト用物体の第２テスト用物体クラス情報及び第２テスト用物体リグレッション情報を出力させることを特徴とするテスト方法が提供される。
【００３０】
一実施例において、（ｄ）前記テスト装置は、出力レイヤをもって前記プロポーザルレイヤから出力された前記テスト用マッチング情報それぞれのテスト用ＲＯＩプロポーザルと、それぞれのＦＣレイヤから出力された前記テスト用物体クラス情報と、前記テスト用物体リグレッション情報とを参照して、前記テストイメージ上に前記テスト用前記物体と対応する物体情報を表示することをさらに含むことを特徴とするテスト方法が提供される。
【００３１】
本発明のさらに他の態様によると、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器のパラメータを学習する学習装置において、少なくとも一つのトレーニングイメージを受信する通信部；及び（Ｉ）少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するプロセス、（ＩＩ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びマッチング情報を出力するようにし、前記ＲＯＩリグレッション情報は、前記特徴マップのうち特定の特徴マップ上にある、少なくとも一つの物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するリグレッション情報を含み、前記マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのＲＯＩ候補に含まれた前記少なくとも一つの物体に関する情報を参照して決定されるプロセス、（ＩＩＩ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記ＲＯＩリグレッション情報および前記マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのＲＯＩプロポーザルとして出力するプロセス、（ＩＶ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して前記マッチング情報それぞれに対して前記ＲＯＩプロポーザルそれぞれを出力するプロセス、（Ｖ）前記マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特定の特徴マップ上で前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれの特徴ベクトルを算出するようにし、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記特徴ベクトルそれぞれを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力するプロセス、（ＶＩ）前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記ＦＣレイヤそれぞれの前記マッチング情報それぞれに対する前記物体クラス情報と、前記マッチング情報それぞれに対する前記物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習するプロセスを遂行するプロセッサ；を含むことを特徴とする学習装���が提供される。
【００３２】
一実施例において、前記プロセッサは、前記ＲＰＮに対応する第２ロスレイヤをもって、前記ＲＯＩリグレッション情報と、前記マッチング情報と、少なくとも一つの第２原本正解とを参照して取得した少なくとも一つの第２ロスをバックプロパゲーションして前記ＲＰＮのパラメータを学習させることを特徴とする学習装置が提供される。
【００３３】
一実施例で、前記トレーニングイメージ上に前記マッチング情報のうち第１マッチング情報に対応する第１物体と第２マッチング情報に対応する第２物体とが含まれているものと判断される場合、前記プロセッサは、前記（ＩＶ）プロセスで、前記プロポーザル選択レイヤをもって、前記第１マッチング情報に対応する第１ＲＯＩプロポーザルと第２マッチング情報に対応する第２ＲＯＩプロポーザルとを出力するようにし、前記（Ｖ）プロセスで、（ｉ）前記第１マッチング情報に対応する第１プーリングレイヤをもって、前記特定の特徴マップ上で前記第１ＲＯＩプロポーザルに対応する領域をプーリングして第１特徴ベクトルを算出するようにし、前記第１プーリングレイヤに対応する第１ＦＣレイヤをもって、前記第１特徴ベクトルを利用して前記第１物体の第１物体クラス情報及び第１物体リグレッション情報を出力するようにし、（ｉｉ）前記第２マッチング情報に対応する第２プーリングレイヤをもって、前記特徴マップ上で前記第２ＲＯＩプロポーザルに対応する領域をプーリングして第２特徴ベクトルを算出するようにし、前記第２プーリングレイヤに対応する第２ＦＣレイヤをもって、前記第２特徴ベクトルを利用して前記第２物体の第２物体クラス情報及び第２物体リグレッション情報を出力するようにし、前記（ＶＩ）プロセスで、（ｉ）前記第１ロスレイヤのうち前記第１ＦＣレイヤに対応する第１−１ロスレイヤをもって、前記第１物体クラス情報と、前記第１物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−１原本正解とを参照して、少なくとも一つの第１物体クラスロス及び少なくとも一つの第１物体リグレッションロスを計算するようにし、前記第１物体クラスロス及び前記第１物体リグレッションロスをバックプロパゲーションすることにより、前記第１ＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習し、（ｉｉ）前記第１ロスレイヤのうち前記第２ＦＣレイヤに対応する第１−２ロスレイヤをもって、前記第２物体クラス情報と、前記第２物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−２原本正解とを参照して、少なくとも一つの第２物体クラスロス及び少なくとも一つの第２物体リグレッションロスを計算するようにし、前記第２物体クラスロス及び前記第２物体リグレッションロスをバックプロパゲーションすることにより、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習することを特徴とする学習装置が提供される。
【００３４】
一実施例において、前記通信部は、前記クラス群それぞれに対応するそれぞれの物体が含まれた前記トレーニングイメージをそれぞれのバッチ（ｂａｔｃｈ）データとして取得することを特徴とする学習装置が提供される。
【００３５】
一実施例において、前記バッチデータは前記クラス群それぞれに対応する同一の個数の前記トレーニングイメージを含むことを特徴とする学習装置が提供される。
【００３６】
一実施例において、前記バッチデータに登録された前記トレーニングイメージのうち少なくとも一つの特定のトレーニングイメージは、前記クラス群のうち特定のクラス群に属する特定のクラスの物体のみを含むか、又は前記クラス群のうち少なくとも二つ以上のクラス群に属するクラスの物体を含むことを特徴とする学習装置が提供される。
【００３７】
一実施例において、前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記ＲＰＮをもって前記バッチデータに登録されたすべてのトレーニングイメージに対する前記ＲＰＮのパラメータを学習させることを特徴とする学習装置が提供される。
【００３８】
一実施例で、前記少なくとも一つの第２原本正解は前記それぞれのバッチデータに登録された前記トレーニングイメージそれぞれに対して、各クラス群に対応する物体としてタグ付けされたポジティブサンプルの少なくとも一つの第２ポジティブ原本正解と、前記各クラス群に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第２ネガティブ原本正解とを含むことを特徴とする学習装置が提供される。
【００３９】
一実施例において、前記プロセッサは、前記（ＶＩ）プロセスで、前記それぞれの第１ロスレイヤをもって、前記バッチデータに登録されたそれぞれのトレーニングイメージに対して、前記マッチング情報に対応する物体としてタグ付けされたポジティブサンプルの少なくとも一つの第１ポジティブ原本正解と、前記マッチング情報に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第１ネガティブ原本正解とを利用して、前記物体クラスロス及び前記物体リグレッションロスを計算させることを特徴とする学習装置が提供される。
【００４０】
一実施例において、前記プロセッサは、前記プロポーザル選択レイヤをもって、前記トレーニングイメージを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する前記それぞれの第１原本正解を取得して、前記取得されたそれぞれの第１原本正解を前記マッチング情報それぞれに対応するそれぞれの第１ロスレイヤに入力させることを特徴とする学習装置が提供される。
【００４１】
本発明のさらに他の態様によると、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器をテストする装置において、学習装置によって、（ｉ）少なくとも一つのトレーニングイメージが入力されると、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを生成させ、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、トレーニング用ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びトレーニング用マッチング情報を出力させ、前記トレーニング用ＲＯＩリグレッション情報は、前記トレーニング用特徴マップのうちトレーニング用特定の特徴マップ上にある少なくとも一つのトレーニング用物体を含むものと予測された候補領域それぞれに対応するトレーニング用ＲＯＩ候補それぞれに対するリグレッション情報を含み、前記トレーニング用マッチング情報は少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのトレーニング用ＲＯＩ候補に含まれた前記少なくとも一つのトレーニング用物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記トレーニング用ＲＯＩリグレッション情報及び前記トレーニング用マッチング情報を参照して、前記トレーニング用ＲＯＩ候補のうちＲＯＩとなる確率の高い、少なくとも一つの特定のトレーニング用ＲＯＩ候補を少なくとも一つのトレーニング用ＲＯＩプロポーザルとして出力するようにし、（ｉｖ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して前記トレーニング用マッチング情報それぞれに対して前記トレーニング用ＲＯＩプロポーザルそれぞれを出力させ、（ｖ）前記トレーニング用マッチング情報それぞれに対応するそれぞれのプーリングレイヤをもって、前記トレーニング用特定の特徴マップ上で前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングして、それぞれのトレーニング用特徴ベクトルを算出するようにし、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤをもって、前記トレーニング用特徴ベクトルそれぞれを参照して前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応するトレーニング用物体リグレッション情報及びトレーニング用物体クラス情報を出力するようにし、（ｖｉ）前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記ＦＣレイヤそれぞれの前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体クラス情報と前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  ��ｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習した状態で、少なくとも一つのテストイメージを取得する通信部；及び（Ｉ）前記コンボリューションレイヤをもって、前記テストイメージにコンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成するプロセス、（ＩＩ）（ｉ）前記ＲＰＮをもって、テスト用ＲＯＩリグレッション情報及びテスト用マッチング情報を出力させ、前記テスト用ＲＯＩリグレッション情報は、前記テスト用特徴マップのうち特定の特徴マップ上にある少なくとも一つのテスト用物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するテスト用リグレッション情報を含み、前記テスト用マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスはそれぞれのＲＯＩ候補に含まれた前記少なくとも一つのテスト用物体に関する情報を参照して決定され、（ｉｉ）前記プロポーザルレイヤをもって、前記テスト用ＲＯＩリグレッション情報及び前記テスト用マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩとなる確率の高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのテスト用ＲＯＩプロポーザルとして出力するプロセス、（ＩＩＩ）前記テスト用マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記テスト用特定の特徴マップ上で、前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのテスト用特定のベクトルを算出させ、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記テスト用特徴ベクトルそれぞれを参照して前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応するテスト用物体リグレッション情報及びテスト用物体クラス情報を出力するプロセスを遂行するプロセッサ；を含むことを特徴とするテスト装置が提供される。
【００４２】
一実施例において、前記プロセッサは、前記（Ｉ）プロセス以前に、前記学習装置に従って、第２ロスレイヤによって計算された少なくとも一つ以上の第２ロス（前記第２ロスは前記トレーニング用ＲＯＩリグレッション情報、前記トレーニング用マッチング情報、及び少なくとも一つの第２原本正解を参照して取得される）をバックプロパゲーションして、前記ＲＰＮのパラメータを学習した状態であることを特徴とするテスト装置が提供される。
【００４３】
一実施例で、前記テストイメージ上に前記テスト用マッチング情報のうち第１テストマッチング情報に対応する第１テスト用物体と、第２テストマッチング情報に対応する第２テスト用物体とが含まれているものと判断される場合、前記プロセッサは、前記（ＩＩ）プロセスにおいて、前記プロポーザル選択レイヤをもって、前記第１テスト用マッチング情報に対応する第１テスト用ＲＯＩプロポーザルと第２テスト用マッチング情報に対応する第２テスト用ＲＯＩプロポーザルとを出力するようにし、前記（ＩＩＩ）プロセスで、（ｉ）前記第１テスト用マッチング情報に対応する第１プーリングレイヤをもって、前記テスト用特定の特徴マップ上で前記第１テスト用ＲＯＩプロポーザルに対応する領域をプーリングして第１テスト用特徴ベクトルを算出するようにし、前記第１プーリングレイヤに対応する第１ＦＣレイヤをもって、前記第１テスト用特徴ベクトルを利用して前記第１テスト用物体の第１テスト用物体クラス情報及び第１テスト用物体リグレッション情報を出力するようにし、（ｉｉ）前記第２テスト用マッチング情報に対応する第２プーリングレイヤをもって、前記テスト用特定の特徴マップ上で前記第２テスト用ＲＯＩプロポーザルに対応する領域をプーリングして第２テスト用特徴ベクトルを算出するようにし、前記第２プーリングレイヤに対応する第２ＦＣレイヤをもって、前記第２テスト用特徴ベクトルを利用して前記第２テスト用物体の第２テスト用物体クラス情報及び第２テスト用物体リグレッション情報を出力させることを特徴とするテスト装置が提供される。
【００４４】
一実施例において、前記プロセッサは、出力レイヤをもって前記プロポーザルレイヤで出力された前記テスト用マッチング情報それぞれのテスト用ＲＯＩプロポーザルと、それぞれのＦＣレイヤから出力された前記テスト用物体クラス情報と、前記テスト用物体リグレッション情報とを参照して、前記テストイメージ上に前記テスト用前記物体と対応する物体情報を表示することをさらに含むことを特徴とするテスト装置が提供される。
【発明の効果】
【００４５】
本発明は、互いに異なるデータセットが与えられた状況で、一つのディープラーニングネットワークを利用して学習することができるため、Ｒ−ＣＮＮ基盤の物体検出器の学習のためのデータセットを容易に確保することができる。
【００４６】
本発明は、互いに異なるデータセットを利用して学習した一つのＲ−ＣＮＮネットワークを利用することにより、従来多数のＲ−ＣＮＮネットワークを利用することに比べて、物体検出器の実行時間を短縮させることができる。
【００４７】
本発明は、互いに異なるデータセットを利用して学習した一つのディープラーニングネットワークを利用したＲ−ＣＮＮ基盤の物体検出器を提供するので、物体検出器の開発時間を短縮することができるだけでなく、開発コストを削減することができる。
【図面の簡単な説明】
【００４８】
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図１】図１は、従来のＲ−ＣＮＮ基盤の物体検出器におけるそれぞれのクラス群を学習する各プロセスを簡略に示した図面である。
【図２】図２は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器の学習装置を簡略に示した図面である。
【図３】図３は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器の学習装置によって、それぞれのクラス群を学習するプロセスを簡略に示した図面である。
【図４】図４は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器の学習方法を簡略に示した図面である。
【図５】図５は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器のテスト装置を簡略に示した図面である。
【図６】図６は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器のテスト方法を簡略に示した図面である。
【発明を実施するための形態】
【００４９】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００５０】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００５１】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の各技術的特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本明細書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００５２】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施するようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。
【００５３】
図２は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器の学習装置を簡略に示したものであって、図２を参照すると、前記学習装置１００は通信部１１０とプロセッサ１２０を含むことができる。
【００５４】
先ず、通信部１１０は、少なくとも一つのトレーニングイメージを受信することができる。
【００５５】
この際、前記トレーニングイメージはデータベース１３０に格納されていてもよく、前記トレーニングイメージ内の物体は、それぞれの物体に対応する少なくとも一つのクラスそれぞれを含む少なくとも一つのクラス群に分類され得、前記それぞれのクラス群に対応する前記物体それぞれが含まれた前記トレーニングイメージは、それぞれのクラス群によるそれぞれのデータセットとして格納され得る。また、前記データベース１３０には、前記トレーニングイメージそれぞれに対応するそれぞれの物体のクラス情報及び位置情報に対する少なくとも一つの原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）が格納されていてもよい。
【００５６】
次に、前記プロセッサ１２０は、（ｉ）少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成し、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）リグレッション情報及びマッチング情報を出力するようにし、前記ＲＯＩリグレッション情報は、前記特徴マップのうち特定の特徴マップ上にある少なくとも一つの物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するリグレッション情報を含み、前記マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのＲＯＩ候補に含まれた前記少なくとも一つの物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤ（ｐｒｏｐｏｓａｌ  ｌａｙｅｒ）をもって、前記ＲＯＩリグレッション情報及び前記マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩとなる確率の高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのＲＯＩプロポーザルとして出力し、（ｉｖ）プロポーザル選択レイヤ（ｐｒｏｐｏｓａｌ−ｓｅｌｅｃｔｉｎｇ  ｌａｙｅｒ）をもって、前記トレーニングイメージを参照して、前記マッチング情報それぞれに対して前記ＲＯＩプロポーザルそれぞれを出力することができる。そして、前記プロセッサ１２０は、前記マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特定の特徴マップ上において、前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれの特徴ベクトルを算出するようにし、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記特徴ベクトルそれぞれを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力することができる。以後、前記プロセッサ１２０は、前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記ＦＣレイヤそれぞれの前記マッチング情報それぞれに対する前記物体クラス情報と、前記マッチング情報それぞれに対する前記物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパラメータを学習させることができる。
【００５７】
この際、前記プロセッサ１２０は、前記ＲＰＮに対応する第２ロスレイヤをもって、前記ＲＯＩリグレッション情報と、前記マッチング情報と、少なくとも一つの第２原本正解とを参照して取得した少なくとも一つの第２ロスをバックプロパゲーションして、前記ＲＰＮのパラメータを学習させることができる。ここで、第１ロスによるバックプロパゲーションと第２ロスによるバックプロパゲーションの時間的順序には制限がないであろう。
【００５８】
このようなプロセスを図３を参照して説明すると、歩行者、運転者、車両、交通標識、交通信号及び動物のような６種類の物体を検出するための学習が遂行されると、（ｉ）歩行者、運転者及び動物が含まれたトレーニングイメージで構成された歩行者、運転者及び動物に対する少なくとも一つのデータセットが構成され、（ｉｉ）交通標識及び交通信号が含まれたトレーニングイメージで構成された交通標識及び交通信号に対する少なくとも一つのデータセットが構成され、（ｉｉｉ）動物が含まれたトレーニングイメージで構成された動物に対する少なくとも一つのデータセットが構成される。以後、それぞれ構成された前記歩行者、運転者及び車両に対するデータセットと、前記交通標識及び交通信号に対するデータセットと、前記動物に対するデータセットとを利用して、前記プロセッサ１２０は歩行者、運転者、車両、交通標識、交通信号及び動物を検出するための前記Ｒ−ＣＮＮ基盤の前記物体検出器のパラメータを学習するか又は他の装置をもって学習するように支援する。この際、図３では前記歩行者、運転者及び車両に対するデータセットと、前記交通標識及び交通信号に対するデータセットと、前記動物に対するデータセットとが一つのデータベースに格納されたものと示したが、以下で説明する図４で示されているように前記それぞれのデータセットがそれぞれのデータベースに別々に格納されてもよい。
【００５９】
ここで、本発明の前記学習装置１００は、コンピュータ装置であって、プロセッサを搭載して演算能力を備えたデジタル装置であればいくらでも本発明による学習装置１００として採択され得る。参考までに、図２では前記一つの学習装置１００のみを示したが、これに限定されず、前記学習装置１００は複数の装置で構成されて機能を遂行することもできる。
【００６０】
このように構成された本発明の一実施例による前記学習装置を利用して、前記Ｒ−ＣＮＮ基盤の前記物体検出器のパラメータを学習する方法を図４を参照して説明すると以下のとおりである。
【００６１】
まず、バッチデータ１３４それぞれは、前記クラス群それぞれによって、すなわち、例えば前記クラス群それぞれによる前記データセット１３１、１３２、１３３それぞれを利用して、それぞれのバッチ（ｂａｔｃｈ）データ１３４を準備する。この際、前記それぞれのバッチデータ１３４は、前記クラス群それぞれに対応する前記トレーニングイメージを含むことができる。この際、前記それぞれのバッチデータ１３４は、前記トレーニングイメージの個数が同一になるように含むことができる。また、前記バッチデータ１３４に含まれた前記トレーニングイメージのうち特定のトレーニングイメージは、前記クラス群のうち特定のクラス群に属する各クラスの少なくとも一つの物体のみを含むか、又は前記クラス群のうち少なくとも二つ以上のクラス群に属する少なくとも二つ以上のクラスの少なくとも一つの物体を含むことができる。この際、前記クラス群による前記それぞれのデータセット１３１、１３２、１３３がそれぞれのデータベースにそれぞれ格納されたものと図示したが、図３で示されているように、前記それぞれのデータセットが前記一つのデータベース１３０に格納されてもよい。
【００６２】
一例として、前記歩行者、運転者及び車両に対するデータセット１３１、前記交通標識及び交通信号に対するデータセット１３２、並びに前記動物に対するデータセット１３３から、（ｉ）前記歩行者、運転者及び車両に対するデータセット１３１を利用して第１バッチデータが準備され得、（ｉｉ）交通標識及び交通信号に対するデータセット１３２を利用して第２バッチデータが準備され得、（ｉｉｉ）動物に対するデータセット１３３を利用して第３バッチデータが準備され得る。
【００６３】
次に、前記それぞれのバッチデータ１３４から前記トレーニングイメージが入力されると、前記学習装置１００は、前記コンボリューションレイヤ１２１をもって、前記トレーニングイメージに前記コンボリューション演算を適用して前記特徴マップを生成することができる。
【００６４】
ここで、前記特徴マップは、所定の大きさとチャンネルデプスを有することができる。また、前記コンボリューションレイヤ１２１は、複数のレイヤで構成され得、前記複数のレイヤそれぞれは、前記トレーニングイメージに順次に前記コンボリューション演算を適用することができる。
【００６５】
次に、前記学習装置１００は、前記ＲＰＮ１２２をもって、ＲＯＩリグレッション情報及びマッチング情報を出力させることができる。ここで、前記ＲＯＩリグレッション情報は、前記特徴マップのうち特定の特徴マップ上にある少なくとも一つの物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するリグレッション情報を含み、前記マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群のうちから選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのＲＯＩ候補に含まれた前記少なくとも一つの物体に関する情報を参照して決定することができる。
【００６６】
この際、ＲＰＮ１２２は、前記特定の特徴マップの背景と物体のみを分類する従来の方法とは異なり、背景と前記クラス群のうち一つに分類する。
【００６７】
一例として、ＲＰＮ１２２は、それぞれの各ＲＯＩ候補に歩行者、運転者及び車両クラス群のカテゴリに関するマッチング情報、交通標識及び交通信号クラス群のカテゴリに関するマッチング情報、並びに動物クラス群のカテゴリに関するマッチング情報のうち少なくとも一つのマッチング情報を出力する。
【００６８】
そして、学習装置１００は、プロポーザルレイヤ１２３をもって、ＲＯＩリグレッション情報及びマッチング情報を参照して、ＲＯＩ候補のうち確率の高い、すなわち、スコア値の高い特定のＲＯＩ候補を各ＲＯＩプロポーザルに出力するようにし、プロポーザル選択レイヤ１２４をもって、トレーニングイメージを参照して、マッチング情報それぞれに対してＲＯＩプロポーザルそれぞれを出力させる。
【００６９】
一例として、プロポーザル選択レイヤ１２４は、（ｉ）歩行者、運転者及び車両クラス群カテゴリの学習のための歩行者、運転者及び車両クラス群カテゴリのマッチング情報に対応するＲＯＩプロポーザル、（ｉｉ）交通標識及び交通信号クラス群カテゴリの学習のための交通標識及び交通信号クラス群カテゴリのマッチング情報に対応するＲＯＩプロポーザル、及び（ｉｉｉ）動物クラス群カテゴリの学習のための動物クラス群カテゴリのマッチング情報に対応するＲＯＩプロポーザルを出力する。
【００７０】
次に、学習装置１００は、マッチング情報それぞれに対応するそれぞれのプーリングレイヤ１２５−１、１２５−２、１２５−３をもって、前記特定の特徴マップ上で前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれの特徴ベクトルを算出することができる。
【００７１】
一例として、学習装置１００は（ｉ）プーリングレイヤ１２５−１をもって、特徴マップ上で歩行者、運転者及び車両クラス群カテゴリのマッチング情報に対応するＲＯＩプロポーザルに対応する領域をプーリングして歩行者、運転者及び車両クラス群カテゴリのマッチング情報に対応する特徴ベクトルを生成させ、（ｉｉ）プーリングレイヤ１２５−２をもって、特徴マップ上で交通標識及び交通信号クラス群カテゴリのマッチング情報に対応するＲＯＩプロポーザルに対応する領域をプーリングして交通標識及び交通信号クラス群カテゴリのマッチング情報に対応する特徴ベクトルを生成させ、（ｉｉｉ）プーリングレイヤ１２５−３をもって、特徴マップ上で動物クラス群カテゴリのマッチング情報に対応するＲＯＩプロポーザルに対応する領域をプーリングして動物クラス群カテゴリのマッチング情報に対応する特徴ベクトルを生成させる。
【００７２】
この際、前記ではマッチング情報に対応するそれぞれのプーリングレイヤ１２５−１、１２５−２、１２５−３をもって、特徴マップ上で当該マッチング情報ごとの各ＲＯＩプロポーザルに対応する領域をプーリングしてそれぞれの特徴ベクトルを生成するようにしたが、これとは異なり、一つのプーリングレイヤを利用し、特徴マップ上で当該マッチング情報ごとの各ＲＯＩプロポーザルに対応する領域をプーリングしてそれぞれの特徴ベクトルを生成するようにアルゴリズムを具現することもできる。
【００７３】
次に、学習装置１００は、それぞれのプーリングレイヤ１２５−１、１２５−２、１２５−３に対応するそれぞれのＦＣレイヤ１２６−１、１２６−２、１２６−３をもって、前記特徴ベクトルそれぞれを参照して前記マッチング情報それぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力させる。
【００７４】
一例として、学習装置１００は（ｉ）プーリングレイヤ１２５−１に対応するＦＣレイヤ１２６−１をもって、プーリングレイヤ１２５−１で生成された特徴ベクトルを利用して歩行者、運転者及び車両に対する物体リグレッション情報及び物体クラス情報を出力するようにし、（ｉｉ）プーリングレイヤ１２５−２に対応するＦＣレイヤ１２６−２をもって、プーリングレイヤ１２５−２で生成された特徴ベクトルを利用して交通標識及び交通信号に対する物体リグレッション情報及び物体クラス情報を出力するようにし、（ｉｉｉ）プーリングレイヤ１２５−３に対応するＦＣレイヤ１２６−３をもって、プーリングレイヤ１２５−３で生成された特徴ベクトルを利用して動物に対する物体リグレッション情報及び物体クラス情報を出力させる。
【００７５】
このとき、プーリングレイヤそれぞれに対応するＦＣレイヤそれぞれをもって、前記特徴ベクトルを参照して、それぞれのマッチング情報ごとのＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力させるのとは異なり、一つのＦＣレイヤを利用し、一つのＦＣレイヤで前記特徴ベクトルを利用してそれぞれのマッチング情報ごとのＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力するようにソフトウェア的に具現することもできる。
【００７６】
次に、学習装置１００は、それぞれのＦＣレイヤ１２６−１、１２６−２、１２６−３に対応するそれぞれの第１ロスレイヤ１２７−１、１２７−２、１２７−３をもって、それぞれのＦＣレイヤ１２６−１、１２６−２、１２６−３の前記物体クラス情報、前記物体リグレッション情報及びこれに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）を参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ１２６−１、１２６−２、１２６−３及びコンボリューションレイヤ１２１のパラメータを学習する。この際、ソフトウェア的に、それぞれのＦＣレイヤに対応するそれぞれの第１ロスレイヤで具現され得、一つのロスレイヤで具現され得る。
【００７７】
一例として、学習装置１００は、（ｉ）前記第１ロスレイヤのうち前記ＦＣレイヤ１２６−１に対応する第１ロスレイヤ１２７−１をもって、ＦＣレイヤ１２６−１の前記物体クラス情報、前記物体リグレッション情報及び少なくとも一つの第１原本正解を参照して、少なくとも一つの物体クラスロス及び少なくとも一つの物体リグレッションロスを計算するようにし、前記物体クラスロス及び前記物体リグレッションロスをバックプロパゲーションすることにより、前記第１ＦＣレイヤ１２６−１及び前記コンボリューションレイヤ１２１のパラメータを学習し、（ｉｉ）前記第１ロスレイヤのうち前記ＦＣレイヤ１２６−２に対応する第１ロスレイヤ１２７−２をもって、ＦＣレイヤ１２６−２の前記物体クラス情報、前記物体リグレッション情報及び少なくとも一つの第１原本正解を参照して、少なくとも一つの物体クラスロス及び少なくとも一つの物体リグレッションロスを計算するようにし、前記物体クラスロス及び前記物体リグレッションロスをバックプロパゲーションすることにより、前記第１ＦＣレイヤ１２６−２及び前記コンボリューションレイヤ１２１のパラメータを学習し、（ｉｉｉ）前記第１ロスレイヤのうち前記ＦＣレイヤ１２６−３に対応する第１ロスレイヤ１２７−３をもって、ＦＣレイヤ１２６−３の前記物体クラス情報、前記物体リグレッション情報及び少なくとも一つの第１原本正解を参照して、少なくとも一つの物体クラスロス及び少なくとも一つの物体リグレッションロスを計算するようにし、前記物体クラスロス及び前記物体リグレッションロスをバックプロパゲーションすることにより、前記第１ＦＣレイヤ１２６−３及び前記コンボリューションレイヤ１２１のパラメータを学習することができる。
【００７８】
この際、学習装置１００は、プロポーザル選択レイヤ１２４をもって、トレーニングイメージを参照して、マッチング情報それぞれのＲＯＩプロポーザルそれぞれに対応するそれぞれの第１原本正解を取得して、マッチング情報それぞれに対応する第１ロスレイヤそれぞれに前記第１原本正解それぞれを入力させることができる。一例として、（ｉ）マッチング情報が歩行者、運転者及び車両クラス群に対応することと決定されると、前記歩行者、運転者及び車両クラス群に関するマッチング情報の各ＲＯＩプロポーザルに対応する少なくとも一つの第１原本正解は第１ロスレイヤ１２７−１に入力するようにし、（ｉｉ）マッチング情報が交通標識及び交通信号クラス群に対応することと決定されると、交通標識及び交通信号クラス群に対するマッチング情報の各ＲＯＩプロポーザルに対応する少なくとも一つの第１原本正解は第１ロスレイヤ１２７−２に入力するようにし、（ｉｉｉ）マッチング情報が動物クラス群に対応することと決定されると、動物クラス群に対するマッチング情報の各ＲＯＩプロポーザルに対応する少なくとも一つの第１原本正解は第１ロスレイヤ１２７−３に入力させることができる。
【００７９】
その後、学習装置１００は、ＲＰＮ１２２に対応する第２ロスレイヤ（１２９）をもって、前記ＲＯＩリグレッション情報と、前記マッチング情報と、少なくとも一つの第２原本正解とを参照して取得した少なくとも一つの第２ロスをバックプロパゲーションして、前記ＲＰＮのパラメータを学習させることができる。
【００８０】
この際、学習装置１００は、ＲＰＮ選択レイヤ１２８をもって、それぞれのバッチデータに登録されたすべてのトレーニングイメージを参照して、すべてのＲＯＩ候補それぞれに対応する第２原本正解をそれぞれ取得して、第２原本正解それぞれを第２ロスレイヤに入力させることができる。
【００８１】
前記のような方法によって学習を進めるのにおいて、トレーニングイメージ上に、マッチング情報のうち第１マッチング情報に対応する第１物体と、マッチング情報のうち第２マッチング情報に対応する第２物体とが含まれている場合を簡略に説明すると、学習装置１００が、プロポーザル選択レイヤ１２４をもって、前記第１マッチング情報に対応する第１ＲＯＩプロポーザルと第２マッチング情報に対応する第２ＲＯＩプロポーザルとを出力させる。そして、学習装置１００は、（ｉ）前記第１マッチング情報に対応する第１プーリングレイヤをもって、前記特定の特徴マップ上で前記第１ＲＯＩプロポーザルに対応する領域をプーリングして第１特徴ベクトルを算出するようにし、前記第１プーリングレイヤに対応する第１ＦＣレイヤをもって、前記第１特徴ベクトルを利用して前記第１物体の第１物体クラス情報及び第１物体リグレッション情報を出力するようにし、（ｉｉ）前記第２マッチング情報に対応する第２プーリングレイヤをもって、前記特徴マップ上で前記第２ＲＯＩプロポーザルに対応する領域をプーリングして第２特徴ベクトルを算出するようにし、前記第２プーリングレイヤに対応する第２ＦＣレイヤをもって、前記第２特徴ベクトルを利用して前記第２物体の第２物体クラス情報及び第２物体リグレッション情報を出力させる。
【００８２】
以後、学習装置１００は、（ｉ）前記第１ロスレイヤのうち前記第１ＦＣレイヤに対応する第１−１ロスレイヤをもって、前記第１物体クラス情報と、前記第１物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−１原本正解とを参照して、少なくとも一つの第１物体クラスロス及び少なくとも一つの第１物体リグレッションロスを計算するようにし、前記第１物体クラスロス及び前記第１物体リグレッションロスをバックプロパゲーションすることにより、前記第１ＦＣレイヤ及び前記コンボリューションレイヤ１２１のパラメータを学習し、（ｉｉ）前記第１ロスレイヤのうち前記第２ＦＣレイヤに対応する第１−２ロスレイヤをもって、前記第２物体クラス情報と、前記第２物体リグレッション情報と、前記第１原本正解のうち少なくとも一つの第１−２原本正解とを参照して、少なくとも一つの第２物体クラスロス及び少なくとも一つの第２物体リグレッションロスを計算するようにし、前記第２物体クラスロス及び前記第２物体リグレッションロスをバックプロパゲーションすることにより、前記第２ＦＣレイヤ及び前記コンボリューションレイヤ１２１のパラメータを学習する。
【００８３】
この際、それぞれのクラス群に対応するそれぞれのバッチデータ内のトレーニングイメージにおいて、当該クラス群に対応する全ての物体に対しては全てタグ付けされており、クラス群に対応しない物体に対しては部分的にタグ付けされていてもよい。
【００８４】
一例として、歩行者、運転者及び車両クラス群に対応するバッチデータの全てのトレーニングイメージに対しては、すべての歩行者、運転者及び車両は漏れなくタグ付けされており、交通標識及び交通信号／動物に対しては、一部のみタグ付けされていてもよい。
【００８５】
このような状況で最も問題となる部分は、交通標識及び交通信号／動物クラス群に含まれた物体が一部タグ付けされていなかったという点であり、それによって、歩行者、運転者及び車両クラス群の学習のための背景サンプルを選ぶ際に交通標識及び交通信号／動物クラス群に含まれるもののタグ付けされていない一部の物体が背景サンプルとして誤って選ばれることがある。例えば、歩行者、運転者及び車両クラス群に対するバッチデータでは、交通標識及び交通信号／動物に該当する一部の物体がタグ付けされておらず、学習の際に背景サンプルに含まれて学習の妨げとなり得る。同様に、交通標識及び交通信号クラスに対するバッチデータでは、歩行者、運転者及び車両／動物に該当する一部の物体がタグ付けされないため学習の際に背景と認識される問題が生じる。
【００８６】
特に、ＲＰＮを学習する際に、背景サンプルが全体イメージ領域でランダムに選ばれるため、タグ付けされていない物体は背景サンプルとして選択される確率が少ないので大きな問題ではないが、ＦＣレイヤを学習する際には、ＲＰＮで物体とみられる候補領域を選択し、その候補領域の間で背景を選択するため、もし学習データにタグ付けされていない物体があるとすれば、その領域が背景サンプルとして誤って選択されるため問題が深刻になる。このような問題を防止するために、ＦＣレイヤを学習する際、背景サンプルは関心のあるクラス群に対応するバッチデータでのみ選択するように制限しなければならない。例えば、歩行者、運転者及び車両クラス群に対応するＦＣレイヤのための背景サンプルは、歩行者、運転者及び車両クラス群に対応するバッチデータでのみ選択するように制限する。
【００８７】
このために、本発明の一実施例による学習方法では、学習装置１００がプロポーザル選択レイヤ１２４をもって、（ｉ）第１バッチデータ、第２バッチデータ、及び第３バッチデータから歩行者、運転者及び車両クラス群に対応するポジティブサンプルを抽出し、第１バッチデータから歩行者、運転者及び車両クラス群に対応するネガティブサンプルを抽出して、歩行者、運転者及び車両クラス群の学習のための少なくとも一つの第１原本正解を第１ロスレイヤ１２７−１に入力するようにし、（ｉｉ）第１バッチデータ、第２バッチデータ、及び第３バッチデータから交通標識及び交通信号クラス群に対応するポジティブサンプルを抽出し、第２バッチデータから交通標識及び交通信号クラス群に対応するネガティブサンプルを抽出して、交通標識及び交通信号クラス群を学習するための少なくとも一つの第１原本正解を第２ロスレイヤ１２７−２に入力するようにし、（ｉｉｉ）第１バッチデータ、第２バッチデータ、及び第３バッチデータから動物クラス群に対応するポジティブサンプルを抽出し、第３バッチデータから動物クラス群に対応するネガティブサンプルを抽出して、動物クラス群を学習するための少なくとも一つの第１原本正解を第３ロスレイヤ１２７−３に入力させる。
【００８８】
そうすると、それぞれの第１ロスレイヤ１２７−１、１２７−２、１２７−３はそれぞれのバッチデータに登録されたテストイメージで、マッチング情報に対応する物体としてタグ付けしたポジティブサンプルの少なくとも一つの第１ポジティブ原本正解及びマッチング情報に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第１ネガティブ原本正解を利用して、物体クラスロス及び物体リグレッションロスを算出することができるようになる。
【００８９】
一方で、少なくとも一つの第２原本正解は、それぞれのバッチデータに登録されたトレーニングイメージで、クラス群に対応する物体としてタグ付けしたポジティブサンプルの少なくとも一つの第２ポジティブ原本正解及びクラス群に対応する物体としてタグ付けされていないネガティブサンプルの少なくとも一つの第２ネガティブ原本正解を含むことができる。
【００９０】
図５は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器のテスト装置を簡略に示したものであって、図５を参照すると、テスト装置２００は通信部２１０とプロセッサ２２０を含むことができる。
【００９１】
先ず、通信部２１０は、少なくとも一つのテストイメージを受信することができる。
【００９２】
次に、プロセッサ２２０は（ｉ）前記コンボリューションレイヤをもって、前記テストイメージにコンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成するプロセス、（ｉｉ）（ｉｉ−１）前記ＲＰＮをもって、テスト用ＲＯＩリグレッション情報及びテスト用マッチング情報を出力させ、前記テスト用ＲＯＩリグレッション情報は前記テスト用特徴マップのうち特定の特徴マップ上にある少なくとも一つのテスト用物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するテスト用リグレッション情報を含み、前記テスト用マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスはそれぞれのＲＯＩ候補に含まれた前記少なくとも一つのテスト用物体に関する情報を参照して決定され、（ｉｉ−２）前記プロポーザルレイヤをもって、前記テスト用ＲＯＩリグレッション情報及び前記テスト用マッチング情報を参照して前記ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのテスト用ＲＯＩプロポーザルとして出力するプロセス、（ｉｉｉ）（ｉｉｉ−１）前記テスト用マッチング情報それぞれに対応するそれぞれのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記テスト用特定の特徴マップ上で前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのテスト用特徴ベクトルを算出するようにし、（ｉｉｉ−２）前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）をもって、前記テスト用特徴ベクトルそれぞれを参照して前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応するテスト用物体リグレッション情報及びテスト用物体クラス情報を出力するプロセスを遂行することができる。
【００９３】
この際、それぞれのＦＣレイヤとコンボリューションレイヤは、図１ないし図４を参照して説明した学習装置による学習方法によって学習されたものであって、これを簡略に説明すると、トレーニングイメージが入力されると、（ｉ）コンボリューションレイヤをもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを生成させ、（ｉｉ）ＲＰＮをもって、トレーニング用ＲＯＩリグレッション情報及びトレーニング用マッチング情報を出力させ、前記トレーニング用ＲＯＩリグレッション情報は、前記トレーニング用特徴マップのうちトレーニング用特定の特徴マップ上にある少なくとも一つのトレーニング用物体を含むものと予測された候補領域それぞれに対応するトレーニング用ＲＯＩ候補それぞれに対するリグレッション情報を含み、前記トレーニング用マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む、少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのトレーニング用ＲＯＩ候補に含まれた前記少なくとも一つのトレーニング用物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤをもって、前記トレーニング用ＲＯＩリグレッション情報及び前記トレーニング用マッチング情報を参照して前記トレーニング用ＲＯＩ候補のうちＲＯＩとなる確率の高い、少なくとも一つの特定トレーニング用ＲＯＩ候補を少なくとも一つのトレーニング用ＲＯＩプロポーザルとして出力するようにし、（ｉｖ）プロポーザル選択レイヤをもって、前記トレーニングイメージを参照して前記トレーニング用マッチング情報それぞれに対して前記トレーニング用ＲＯＩプロポーザルそれぞれを出力させ、（ｖ）前記トレーニング用マッチング情報それぞれに対応するそれぞれのプーリングレイヤをもって、前記トレーニング用特定の特徴マップ上で前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのトレーニング用特徴ベクトルを算出させ、前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤをもって、前記トレーニング用特徴ベクトルそれぞれを参照して前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応するトレーニング用物体リグレッション情報及びトレーニング用物体クラス情報を出力するようにし、（ｖｉ）前記ＦＣレイヤそれぞれに対応するそれぞれの第１ロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記ＦＣレイヤそれぞれの前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体クラス情報と、前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤのパ��メータを学習することができる。
【００９４】
ここで、ＲＰＮのパラメータは、学習装置にしたがって、第２ロスレイヤによって計算された少なくとも一つ以上の第２ロス（前記第２ロスは前記トレーニング用ＲＯＩリグレッション情報、前記トレーニング用マッチング情報、及び少なくとも一つの第２原本正解を参照して取得される）をバックプロパゲーションして、前記ＲＰＮのパラメータを学習することができる。
【００９５】
ここで、本発明の一実施例によるテスト装置２００は、コンピュータ装置であって、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明によるテスト装置２００として採択され得る。また、図５では一つのテスト装置２００のみを示したが、これに限定されず、テスト装置は複数個に分けて役割を遂行することもできる。
【００９６】
このように構成された本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器のテスト装置を利用してＲ−ＣＮＮ基盤の物体検出器をテストする方法を、図６を参照して説明すると以下のとおりである。
【００９７】
まず、学習装置によってトレーニングイメージが入力されると、（ｉ）コンボリューションレイヤ２２１をもって、前記トレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを生成させ、（ｉｉ）ＲＰＮ２２をもって、トレーニング用ＲＯＩリグレッション情報及びトレーニング用マッチング情報を出力させ、前記トレーニング用ＲＯＩリグレッション情報は、前記トレーニング用特徴マップのうちトレーニング用特定の特徴マップ上にある少なくとも一つのトレーニング用物体を含むものと予測された候補領域それぞれに対応するトレーニング用ＲＯＩ候補それぞれに対するリグレッション情報を含み、前記トレーニング用マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスは、それぞれのトレーニング用ＲＯＩ候補に含まれた前記少なくとも一つのトレーニング用物体に関する情報を参照して決定され、（ｉｉｉ）プロポーザルレイヤ２２３をもって、前記トレーニング用ＲＯＩリグレッション情報及び前記トレーニング用マッチング情報を参照して前記トレーニング用ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のトレーニング用ＲＯＩ候補を少なくとも一つのトレーニング用ＲＯＩプロポーザルとして出力するようにし、（ｉｖ）プロポーザル選択レイヤ（図示せず）をもって、前記トレーニングイメージを参照して前記トレーニング用マッチング情報それぞれに対して前記トレーニング用ＲＯＩプロポーザルそれぞれを出力するようにし、（ｖ）前記トレーニング用マッチング情報それぞれに対応するそれぞれのプーリングレイヤ２２５−１、２２５−２、２２５−３をもって、前記トレーニング用特定の特徴マップ上で前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのトレーニング用特徴ベクトルを算出するようにし、（ｖｉ）前記プーリングレイヤそれぞれに対応するそれぞれのＦＣレイヤをもって、前記トレーニング用特徴ベクトルそれぞれを参照して前記トレーニング用マッチング情報それぞれに対する前記トレーニング用ＲＯＩプロポーザルそれぞれに対応するトレーニング用物体リグレッション情報及びトレーニング用物体クラス情報を出力するようにし、（ｖｉｉ）前記ＦＣレイヤそれぞれ２２６−１、２２６−２、２２６−３に対応するそれぞれの第１ロスレイヤ（図示せず）をもって、前記ＦＣレイヤそれぞれの前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体クラス情報と、前記トレーニング用マッチング情報それぞれに対する前記トレーニング用物体リグレッション情報と、これに各対応する第１原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して、それぞれの物体クラスロス及びそれぞれの物体リグレッションロスを計算するようにし、前記各物体クラスロス及び前記各物体リグレッションロスをバックプロパゲーションするようにして、前記それぞれのＦＣレイヤ２２６−１、２２６−２、２２６−３及び前記コンボリューションレイヤ２２１���パラメータを学習した状態で、テストイメージが入力されると、テスト装置２００が、前記コンボリューションレイヤ２２１をもって、前記テストイメージにコンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成させる。
【００９８】
ここで、ＲＰＮ２２２のパラメータは、学習装置にしたがって、第２ロスレイヤ（図示せず）によって計算された少なくとも一つ以上の第２ロス（前記第２ロスは前記トレーニング用ＲＯＩリグレッション情報、前記トレーニング用マッチング情報、及び少なくとも一つの第２原本正解を参照して取得される）をバックプロパゲーションして、前記ＲＰＮ２２２のパラメータを学習することができる。
【００９９】
次に、テスト装置２００は、ＲＰＮ２２２をもって、テスト用ＲＯＩリグレッション情報及びテスト用マッチング情報を出力させ、前記テスト用ＲＯＩリグレッション情報は前記テスト用特徴マップのうち特定の特徴マップ上にある少なくとも一つのテスト用物体を含むものと予測された候補領域それぞれに対応するＲＯＩ候補それぞれに対するテスト用リグレッション情報を含み、前記テスト用マッチング情報は、少なくとも一つの対応するクラスをそれぞれ含む少なくとも一つのクラス群の中から選択された一つのクラス群に関する情報を含み、前記少なくとも一つのクラスはそれぞれのＲＯＩ候補に含まれた前記少なくとも一つのテスト用物体に関する情報を参照して決定する。
【０１００】
そして、テスト装置２００は、プロポーザルレイヤ２２３をもって、前記テスト用ＲＯＩリグレッション情報及び前記テスト用マッチング情報を参照して、前記ＲＯＩ候補のうちＲＯＩになる確率が高い、少なくとも一つの特定のＲＯＩ候補を少なくとも一つのテスト用ＲＯＩプロポーザルとして出力させる。
【０１０１】
一例として、プロポーザルレイヤ２２３は歩行者、運転者及び車両クラス群のテストのための歩行者、運転者及び車両クラス群のマッチング情報に対応する少なくとも一つのＲＯＩプロポーザルと、交通標識及び交通信号クラス群のテストのための交通標識及び交通信号クラス群のマッチング情報に対応する少なくとも一つのＲＯＩプロポーザルと、動物クラス群のテストのための動物クラス群のマッチング情報に対応する少なくとも一つのＲＯＩプロポーザルとを出力する。
【０１０２】
次に、テスト装置１００は、テスト用マッチング情報それぞれに対応するそれぞれのプーリングレイヤ２２５−１、２２５−２、２２５−３をもって、前記テスト用特定の特徴マップ上で前記テスト用マッチング情報それぞれに対する前記テスト用ＲＯＩプロポーザルそれぞれに対応する領域をプーリングしてそれぞれのテスト用特徴ベクトルを算出するようにする。この際、それぞれのプーリングレイヤ２２５−１、２２５−２、２２５−３を別途のレイヤでそれぞれ構成したが、これとは異なり、一つのプーリングレイヤを利用して、テスト用特定の特徴マップ上でテスト用マッチング情報それぞれに対するテスト用各ＲＯＩプロポーザルに対応する領域をプーリングしてそれぞれのテスト用特徴ベクトルを生成するようにアルゴリズムを具現することもできる。
【０１０３】
一例として、テスト装置２００は、プーリングレイヤ２２５−１をもって、テスト用特定の特徴マップ上で歩行者、運転者及び車両クラス群のテスト用マッチング情報に対応するテスト用ＲＯＩプロポーザルに対応する領域をプーリングして、歩行者、運転者及び車両クラス群のテスト用マッチング情報に対応するテスト用特徴ベクトルを生成させ、プーリングレイヤ２２５−２をもって、テスト用特定の特徴マップ上で交通標識及び交通信号クラス群のテスト用マッチング情報に対応するテスト用ＲＯＩプロポーザルに対応する領域をプーリングして、交通標識及び交通信号クラス群のテスト用マッチング情報に対応するテスト用特徴ベクトルを生成させ、プーリングレイヤ２２５−３をもって、テスト用特徴マップ上で動物クラス群のテスト用マッチング情報に対応するテスト用ＲＯＩプロポーザルに対応する領域をプーリングして、動物クラス群のテスト用マッチング情報に対応するテスト用特徴ベクトルを生成させる。
【０１０４】
次に、テスト装置２００は、それぞれのプーリングレイヤ２２５−１、２２５−２、２２５−３に対応するそれぞれのＦＣレイヤ２２６−１、２２６−２、２２６−３をもって、前記特徴ベクトルそれぞれを参照して前記マッチング情報のそれぞれに対する前記ＲＯＩプロポーザルそれぞれに対応する物体リグレッション情報及び物体クラス情報を出力させる。この際、それぞれのＦＣレイヤ２２６−１、２２６−２、２２６−３を別途のレイヤでそれぞれ構成したが、これとは異なり、一つのＦＣレイヤを利用して、テスト用特徴ベクトルを参照にして、テスト用マッチング情報のそれぞれに対するテスト用ＲＯＩプロポーザルのそれぞれに対応するテスト用物体リグレッション情報及びテスト用物体クラス情報を出力するようにソフトウェア的に具現することもできる。
【０１０５】
一例として、テスト装置２００は、プーリングレイヤ２２５−１に対応するＦＣレイヤ２２６−１をもって、プーリングレイヤ２２５−１から出力されたテスト用特徴ベクトルを利用して歩行者、運転者及び車両に対するテスト用物体リグレッション情報及びテスト用物体クラス情報を出力するようにし、プーリングレイヤ２２５−２に対応するＦＣレイヤ２２６−２をもって、プーリングレイヤ２２５−２から出力されたテスト用特徴ベクトルを利用して交通標識及び交通信号に関するテスト用物体リグレッション情報及びテスト用物体クラス情報を出力するようにし、プーリングレイヤ２２５−３に対応するＦＣレイヤ２２６−３をもって、プーリングレイヤ２２５−３から出力されたテスト用特徴ベクトルを利用して動物に対するテスト用物体リグレッション情報及びテスト用物体クラス情報を出力させる。
【０１０６】
そして、テスト装置１００は、出力レイヤ２３０をもって、プロポーザルレイヤ２２３から出力された前記テスト用マッチング情報それぞれのテスト用ＲＯＩプロポーザルと、それぞれのＦＣレイヤ２２６−１、２２６−２、２２６−３から出力された前記テスト用物体クラス情報及び前記テスト用物体リグレッション情報とを参照して、前記テストイメージ上に前記テスト用前記物体と対応する物体情報を表示させることができる。
【０１０７】
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【０１０８】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
【０１０９】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。 
【図１】
2020061141.tif 000003
【図２】
2020061141.tif 000004
【図３】
2020061141.tif 000005
【図４】
2020061141.tif 000006
【図５】
2020061141.tif 000007
【図６】
2020061141.tif 000008