(57)【要約】      （修正有）【課題】Ｒ−ＣＮＮ基盤の物体検出器を学習する方法及びテストする方法、それを利用した学習装置及びテスト装置を提供する。【解決手段】学習装置１００において、第ｋアップサンプリングブロック乃至第１アップサンプリングブロックをもって第（ｋ−１）ピラミッド特徴マップ乃至第１ピラミッド特徴マップをそれぞれ出力するようにし、ＲＰＮをもってそれぞれの候補領域に対応するそれぞれのＲＯＩを出力するようにし、プーリングレイヤをもって特徴ベクトルを出力するようにし、物体クラス情報、物体リグレッション情報及びこれに対応するＧＴを参照して生成された第１ロスを利用したバックプロパゲーションを通じてＦＣレイヤ、第ｋアップサンプリングブロック乃至第１アップサンプリングブロック、及び第１フィルターブロック乃至第ｎフィルターブロックのパラメータを学習する。【選択図】図３
2020061143.tif 000002
【特許請求の範囲】
【請求項１】
順次に一つ以上のコンボリューション演算を通じて、それぞれ第１特徴マップ乃至第ｎ特徴マップを出力する第１フィルターブロック乃至第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する第ｋアップサンプリングブロック乃至第１アップサンプリングブロックを利用してＲ−ＣＮＮ基盤の物体検出器を学習する方法において、
（ａ）少なくとも一つのトレーニングイメージが入力されると、学習装置が、（ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記トレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた前記第１特徴マップ乃至前記第ｎ特徴マップを出力するようにし、（ｉｉ）前記第ｋアップサンプリングブロックをもって（ｉｉ−１）前記第ｎ特徴マップを第（ｎ−１）特徴マップと同一のスケールの第ｋアップスケールされた特徴マップに変換した後、（ｉｉ−２）前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを利用した演算を通じて第ｋ統合特徴マップを出力するようにし、（ｉｉ−３）前記第ｋ統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｋ統合特徴マップを利用して第ｋピラミッド特徴マップに出力するようにし、（ｉｉｉ）第ｊアップサンプリングブロック（前記ｊはｋより小さい整数である）をもって（ｉｉｉ−１）第（ｊ＋１）統合特徴マップを第（ｊ＋１）特徴マップと同一のスケールの第ｊアップスケールされた特徴マップに変換した後、（ｉｉｉ−２）前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを利用した演算を通じて第ｊ統合特徴マップを生成し、（ｉｉｉ−３）前記第ｊ統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉｉ−４）前記第ｊ統合特徴マップを利用して第ｊピラミッド特徴マップに出力するようにし、（ｉｖ）前記第１アップサンプリングブロックによって第１ピラミッド特徴マップが出力されるまで前記（ｉｉ）及び（ｉｉｉ）プロセスを繰り返すことにより、第（ｋ−１）ピラミッド特徴マップ乃至前記第１ピラミッド特徴マップを出力させる段階；
（ｂ）前記学習装置が、ＲＰＮをもって前記第ｋピラミッド特徴マップ乃至前記第１ピラミッド特徴マップのうち少なくとも二つ以上のピラミッド特徴マップそれぞれに対して、少なくとも一つの物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各ＲＯＩを出力するようにし、プーリングレイヤをもって前記少なくとも二つ以上のピラミッド特徴マップ上で、それぞれの前記各ＲＯＩに対応する各領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力させる段階；及び
（ｃ）前記学習装置が、少なくとも一つのＦＣレイヤをもって、前記特徴ベクトルを利用して、それぞれの前記各ＲＯＩに対応する物体クラス情報及び物体リグレッション情報をそれぞれ出力するようにし、第１ロスレイヤをもってそれぞれの前記物体クラス情報とそれぞれの前記物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習する段階；
を含むことを特徴とする学習方法。
【請求項２】
前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）それに含まれる第（１−ｋ）サブフィルターレイヤ乃至第（１−１）サブフィルターレイヤそれぞれをもってそれぞれの下位スケールの特徴マップのチャンネル深さをそれぞれの上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する第（１−ｋ）特徴アップサンプリングレイヤ乃至第（１−１）特徴アップサンプリングレイヤそれぞれをもって、それぞれの前記下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記下位スケールの特徴マップのサイズがそれぞれの前記上位スケールの特徴マップのサイズと同一になるようにすることを特徴とする請求項１に記載の学習方法。
【請求項３】
前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）第（２−ｋ）サブフィルターレイヤ乃至第（２−１）サブフィルターレイヤそれぞれをもって前記統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記統合特徴マップ上でそれぞれの前記特徴がリファイン（ｒｅｆｉｎｅ）されるように、前記統合特徴マップに前記コンボリューション演算を適用することにより、リバイスされた（ｒｅｖｉｓｅｄ）統合特徴マップを出力するようにし、（ｉｉ）第（３−ｋ）サブフィルターレイヤ乃至第（３−１）サブフィルターレイヤそれぞれをもって前記チャンネル深さ方向の特徴を利用して前記リバイスされた統合特徴マップ上でそれぞれの特徴がリファインされるように前記リバイスされた統合特徴マップに前記コンボリューション演算を適用して前記ピラミッド特徴マップを出力させることを特徴とする請求項１に記載の学習方法。
【請求項４】
前記（ｂ）段階において、
前記ＲＰＮが、（ｉ）前記少なくとも二つ以上のピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するピラミッド特徴マップに前記コンボリューション演算を適用することによって、前記ピラミッド特徴マップ上で前記物体を含むものと推定される候補領域それぞれに対応するそれぞれのＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）プロポーザルレイヤをもって前記ＲＯＩ候補のうち前記物体が位置する確率が高い、少なくとも一つの特定ＲＯＩ候補を選択して、それぞれの前記ＲＯＩを出力させることを特徴とする請求項１に記載の学習方法。
【請求項５】
前記学習装置は、
前記ＲＰＮに対応する少なくとも一つの第２ロスレイヤをもって前記ＲＯＩリグレッション情報、前記ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記ＲＰＮのパラメータを学習するようにすることを特徴とする請求項４に記載の学習方法。
【請求項６】
前記（ｂ）段階において、
前記プロポーザルレイヤを利用して、スケールの大きなピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分及びスケールが小さなピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分のうちで前記少なくとも一つの特定ＲＯＩ候補が選択された際に、前記スケールが小さなピラミッド特徴マップに対応する前記ＲＯＩ候補のうち前記少なくとも一部分に含まれたピクセルデータの個数が前記スケールの大きなピラミッド特徴マップに対応する前記ＲＯＩ候補のうち前記少なくとも一部分に含まれたピクセルデータの個数より多いか、又は同じになるようにすることを特徴とする請求項４に記載の学習方法。
【請求項７】
前記（ｂ）段階において、
前記プーリングレイヤは、それぞれの前記ピラミッド特徴マップ上でそれぞれの前記各ＲＯＩに対応するそれぞれの領域に前記プーリング演算を適用してそれぞれのプーリングされた特徴マップを生成し、これをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して前記特徴ベクトルを出力することを特徴とする請求項１に記載の学習方法。
【請求項８】
前記（ａ）段階において、
前記学習装置は、前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを要素別演算して前記第ｋ統合特徴マップを生成し、前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを要素別演算して前記第ｊ統合特徴マップを出力することを特徴とする請求項１に記載の学習方法。
【請求項９】
順次に一つ以上のコンボリューション演算を通じて、それぞれ第１テスト用特徴マップ乃至第ｎテスト用特徴マップを出力する第１フィルターブロック乃至第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する第ｋアップサンプリングブロック乃至第１アップサンプリングブロックを利用してＲ−ＣＮＮ基盤の物体検出器をテストする方法において、
（ａ）学習装置が、（ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって少なくとも一つのトレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた第１学習用特徴マップ乃至第ｎ学習用特徴マップを出力するようにし、（ｉｉ）前記第ｋアップサンプリングブロックをもって（ｉｉ−１）前記第ｎ学習用特徴マップを第（ｎ−１）学習用特徴マップと同一のスケールの第ｋ学習用アップスケールされた特徴マップに変換した後、（ｉｉ−２）前記第ｋ学習用アップスケールされた特徴マップ及び前記第（ｎ−１）学習用特徴マップを利用した演算を通じて第ｋ学習用統合特徴マップを出力するようにし、（ｉｉ−３）前記第ｋ学習用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｋ学習用統合特徴マップを利用して第ｋ学習用ピラミッド特徴マップに出力するようにし、（ｉｉｉ）第ｊアップサンプリングブロック（前記ｊはｋより小さい整数である）をもって（ｉｉｉ−１）第（ｊ＋１）学習用統合特徴マップを第（ｊ＋１）学習用特徴マップと同一のスケールの第ｊ学習用アップスケールされた特徴マップに変換した後、（ｉｉｉ−２）前記第ｊ学習用アップスケールされた特徴マップ及び前記第（ｊ＋１）学習用特徴マップを利用した演算を通じて第ｊ学習用統合特徴マップを出力し、（ｉｉｉ−３）前記第ｊ学習用統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉｉ−４）前記第ｊ学習用統合特徴マップを利用して第ｊ学習用ピラミッド特徴マップに出力するようにし、（ｉｖ）前記第１アップサンプリングブロックによって第１学習用ピラミッド特徴マップが出力されるまで前記（ｉｉ）及び（ｉｉｉ）プロセスを繰り返すことにより、第（ｋ−１）学習用ピラミッド特徴マップ乃至前記第１学習用ピラミッド特徴マップを出力し、（ｖ）ＲＰＮをもって前記第ｋ学習用ピラミッド特徴マップ乃至前記第１学習用ピラミッド特徴マップのうち少なくとも二つ以上の学習用ピラミッド特徴マップそれぞれに対して、少なくとも一つの学習用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各学習用ＲＯＩを出力するようにし、（ｖｉ）少なくとも一つのプーリングレイヤをもって前記少なくとも二つ以上の学習用ピラミッド特徴マップ上で、それぞれの前記各学習用ＲＯＩに対応する各領域に少なくとも一つのプーリング演算を適用して少なくとも一つの学習用特徴ベクトルを出力するようにし、（ｖｉｉ）少なくとも一つのＦＣレイヤをもって前記学習用特徴ベクトルを利用して、それぞれの前記各学習用ＲＯＩに対応する学習用物体クラス情報及び学習用物体リグレッション情報をそれぞれ出力するようにし、（ｖｉｉｉ）少なくとも一つの第１ロスレイヤをもってそれぞれの前記学習用物体クラス情報とそれぞれの前記学習用物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習した状態で、少なくとも一つのテストイメージが入力されると、テスト装置が、（I）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記テストイメージに順次に前記コンボリューション演算を適用して、順次にダウンサンプリングされた前記第１テスト用特徴マップ乃至前記第ｎテスト用特徴マップを出力するようにし、（ＩＩ）前記第ｋアップサンプリングブロックをもって（ＩＩ−１）前記第ｎテスト用特徴マップを第（ｎ−１）テスト用特徴マップと同一のスケールの第ｋテスト用アップスケールされた特徴マップに変換した後、（ＩＩ−２）前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを利用した演算を通じて第ｋテスト用統合特徴マップを出力し、（ＩＩ−３）前記第ｋテスト用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ＩＩ−４）前記第ｋテスト用統合特徴マップを利用して第ｋテスト用ピラミッド特徴マップに出力するようにし、（ＩＩＩ）前記第ｊアップサンプリングブロックをもって（ＩＩＩ−１）第（ｊ＋１）テスト用統合特徴マップを第（ｊ＋１）テスト用特徴マップと同一のスケールの第ｊテスト用アップスケールされた特徴マップに変換した後、（ＩＩＩ−２）前記第ｊテスト用アップスケールされた特徴マップと前記第（ｊ＋１）テスト用特徴マップを利用した演算を通じて第ｊテスト用統合特徴マップを生成し、（ＩＩＩ−３）前記第ｊテスト用統合特徴マップを前記第（ｊ−１）アップサンプリングブロックに入力し、（ＩＩＩ−４）前記第ｊテスト用統合特徴マップを利用して第ｊテスト用ピラミッド特徴マップに出力するようにし、（ＩＶ）前記第１アップサンプリングブロックによって第１テスト用ピラミッド特徴マップが出力されるまで前記（ＩＩ）及び（ＩＩＩ）プロセスを繰り返すことにより、第（ｋ−１）テスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップを出力させる段階；
（ｂ）前記テスト装置が、前記ＲＰＮをもって前記第ｋテスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップのうち少なくとも二つ以上のテスト用ピラミッド特徴マップそれぞれに少なくとも一つのテスト用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれのテスト用ＲＯＩを出力し、前記プーリングレイヤをもって前記少なくとも二つ以上のテスト用ピラミッド特徴マップ上で、それぞれの前記各テスト用ＲＯＩに対応する各領域に前記プーリング演算を適用して少なくとも一つのテスト用特徴ベクトルを出力させる段階；及び
（ｃ）前記テスト装置が前記ＦＣレイヤをもって前記テスト用特徴ベクトルを利用して、それぞれの前記各テスト用ＲＯＩに対応するテスト用物体クラス情報及びテスト用物体リグレッション情報をそれぞれ出力させる段階；
を含むことを特徴とするテスト方法。
【請求項１０】
前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）それに含まれる第（１−ｋ）サブフィルターレイヤ乃至第（１−１）サブフィルターレイヤそれぞれをもってそれぞれのテスト用下位スケールの特徴マップのチャンネル深さをそれぞれのテスト用上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する第（１−ｋ）特徴アップサンプリングレイヤ乃至第（１−１）特徴アップサンプリングレイヤそれぞれをもってそれぞれの前記テスト用下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記テスト用下位スケールの特徴マップのサイズがそれぞれの前記テスト用上位スケールの特徴マップのサイズと同一になるようにすることを特徴とする請求項９に記載のテスト方法。
【請求項１１】
前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）第（２−ｋ）サブフィルターレイヤ乃至第（２−１）サブフィルターレイヤそれぞれをもって前記テスト用統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記テスト用統合特徴マップ上でそれぞれの前記特徴がリファインされるように、前記テスト用統合特徴マップに前記コンボリューション演算を適用することによって、テスト用リバイスされた統合特徴マップを出力するようにし、（ｉｉ）第（３−ｋ）サブフィルターレイヤ乃至第（３−１）サブフィルターレイヤそれぞれをもって前記チャンネル深さ方向の特徴を利用して前記テスト用リバイスされた統合特徴マップ上でそれぞれの特徴がリファインされるように前記テスト用リバイスされた統合特徴マップに前記コンボリューション演算を適用して、前記テスト用ピラミッド特徴マップを出力させることを特徴とする請求項９に記載のテスト方法。
【請求項１２】
前記（ｂ）段階において、
前記ＲＰＮが、（ｉ）前記少なくとも二つ以上のテスト用ピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するテスト用ピラミッド特徴マップに前記コンボリューション演算を適用するようにすることによって、前記テスト用ピラミッド特徴マップ上で前記テスト用物体を含むものと推定される候補領域それぞれに対応するそれぞれのテスト用ＲＯＩ候補のテスト用ＲＯＩリグレッション情報及びテスト用ＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）プロポーザルレイヤをもって前記テスト用ＲＯＩ候補のうち前記テスト用物体が位置する確率が高い、少なくとも一つのテスト用特定ＲＯＩ候補を選択して、それぞれの前記各テスト用ＲＯＩを出力させることを特徴とする請求項９に記載のテスト方法。
【請求項１３】
前記学習装置によって、前記ＲＰＮはこれに対応する少なくとも一つの第２ロスレイヤをもって、それぞれの前記学習用ＲＯＩ候補の学習用ＲＯＩリグレッション情報、学習用ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記学習装置の前記ＲＰＮのパラメータを学習するようにすることを特徴とする請求項１２に記載のテスト方法。
【請求項１４】
前記（ｂ）段階において、
前記プーリングレイヤは、それぞれの前記テスト用ピラミッド特徴マップ上でそれぞれの前記各テスト用ＲＯＩに対応するそれぞれの領域に前記プーリング演算を適用してそれぞれのテスト用プーリングされた特徴マップを生成し、これをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して前記テスト用特徴ベクトルを出力することを特徴とする請求項９に記載のテスト方法。
【請求項１５】
前記（ａ）段階において、
前記テスト装置は、前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを要素別演算して前記第ｋテスト用統合特徴マップを生成し、前記第ｊテスト用アップスケールされた特徴マップ及び前記第（ｊ＋１）テスト用特徴マップを要素別演算して前記第ｊテスト用統合特徴マップを出力することを特徴とする請求項９に記載のテスト方法。
【請求項１６】
順次に一つ以上のコンボリューション演算を通じて、それぞれ第１特徴マップ乃至第ｎ特徴マップを出力する第１フィルターブロック乃至第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する第ｋアップサンプリングブロック乃至第１アップサンプリングブロックを利用してＲ−ＣＮＮ基盤の物体検出器を学習する学習装置において、
少なくとも一つのトレーニングイメージを取得する通信部；及び
（Ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記トレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた前記第１特徴マップ乃至前記第ｎ特徴マップを出力するようにし、（ＩＩ）前記第ｋアップサンプリングブロックをもって（ＩＩ−１）前記第ｎ特徴マップを第（ｎ−１）特徴マップと同一のスケールの第ｋアップスケールされた特徴マップに変換した後、（ＩＩ−２）前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを利用した演算を通じて第ｋ統合特徴マップを出力するようにし、（ＩＩ−３）前記第ｋ統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ＩＩ−４）前記第ｋ統合特徴マップを利用して第ｋピラミッド特徴マップに出力するようにし、（ＩＩＩ）第ｊアップサンプリングブロック（前記ｊはｋより小さい整数である）をもって（ＩＩＩ−１）第（ｊ＋１）統合特徴マップを第（ｊ＋１）特徴マップと同一のスケールの第ｊアップスケールされた特徴マップに変換した後、（ＩＩＩ−２）前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを利用した演算を通じて第ｊ統合特徴マップを生成し、（ＩＩＩ−３）前記第ｊ統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ＩＩＩ−４）前記第ｊ統合特徴マップを利用して第ｊピラミッド特徴マップに出力するようにし、（ＩＶ）前記第１アップサンプリングブロックによって第１ピラミッド特徴マップが出力されるまで前記（ＩＩ）及び（ＩＩＩ）プロセスを繰り返すことにより、第（ｋ−１）ピラミッド特徴マップ乃至前記第１ピラミッド特徴マップを出力するようにし、（Ｖ）ＲＰＮをもって前記第ｋピラミッド特徴マップ乃至前記第１ピラミッド特徴マップのうち少なくとも二つ以上のピラミッド特徴マップそれぞれに対して、少なくとも一つの物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各ＲＯＩを出力するようにし、プーリングレイヤをもって前記少なくとも二つ以上のピラミッド特徴マップ上で、それぞれの前記各ＲＯＩに対応する各領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力するようにし、（ＶＩ）少なくとも一つのＦＣレイヤをもって、前記特徴ベクトルを利用してそれぞれの前記各ＲＯＩに対応する物体クラス情報及び物体リグレッション情報をそれぞれ出力するようにし、第１ロスレイヤをもってそれぞれの前記物体クラス情報とそれぞれの前記物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習するプロセスを遂行するプロセッサ；
を含むことを特徴とする学習装置。
【請求項１７】
前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）それに含まれる第（１−ｋ）サブフィルターレイヤ乃至第（１−１）サブフィルターレイヤそれぞれをもってそれぞれの下位スケールの特徴マップのチャンネル深さをそれぞれの上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する第（１−ｋ）特徴アップサンプリングレイヤ乃至第（１−１）特徴アップサンプリングレイヤそれぞれをもってそれぞれの前記下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記下位スケールの特徴マップのサイズがそれぞれの前記上位スケールの特徴マップのサイズと同一になるようにすることを特徴とする請求項１６に記載の学習装置。
【請求項１８】
前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）第（２−ｋ）サブフィルターレイヤ乃至第（２−１）サブフィルターレイヤそれぞれをもって前記統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記統合特徴マップ上でそれぞれの前記特徴がリファインされるように、前記統合特徴マップに前記コンボリューション演算を適用することにより、リバイスされた統合特徴マップを出力するようにし、（ｉｉ）第（３−ｋ）サブフィルターレイヤ乃至第（３−１）サブフィルターレイヤそれぞれをもって前記チャンネル深さ方向の特徴を利用して前記リバイスされた統合特徴マップ上でそれぞれの特徴がリファインされるように前記リバイスされた統合特徴マップに前記コンボリューション演算を適用して前記ピラミッド特徴マップを出力させることを特徴とする請求項１６に記載の学習装置。
【請求項１９】
前記（V）プロセスにおいて、
前記ＲＰＮが、（ｉ）前記少なくとも二つ以上のピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するピラミッド特徴マップに前記コンボリューション演算を適用することによって、前記ピラミッド特徴マップ上で前記物体を含むものと推定される候補領域それぞれに対応するそれぞれのＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）プロポーザルレイヤをもって前記ＲＯＩ候補のうち前記物体が位置する確率が高い、少なくとも一つの特定ＲＯＩ候補を選択して、それぞれの前記ＲＯＩを出力させることを特徴とする請求項１６に記載の学習装置。
【請求項２０】
前記プロセッサは、
前記ＲＰＮに対応する少なくとも一つの第２ロスレイヤをもって前記ＲＯＩリグレッション情報、前記ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記ＲＰＮのパラメータを学習するようにすることを特徴とする請求項１９に記載の学習装置。
【請求項２１】
前記（V）プロセスにおいて、
前記プロポーザルレイヤを利用して、スケールの大きいピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分及びスケールの小さいピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分の中から前記少なくとも一つの特定ＲＯＩ候補が選ばれた際、前記スケールの小さいピラミッド特徴マップに対応する前記ＲＯＩ候補のうち、前記一部分に含まれたピクセルデータ個数よりも多いか、又は同じになるようにすることを特徴とする請求項１９に記載の学習装置。
【請求項２２】
前記（Ｖ）プロセスにおいて、
前記プーリングレイヤは、それぞれの前記ピラミッド特徴マップ上でそれぞれの前記各ＲＯＩに対応するそれぞれの領域に前記プーリング演算を適用してそれぞれのプーリングされた特徴マップを生成し、これをコンカチネートして前記特徴ベクトルを出力することを特徴とする請求項１６に記載の学習装置。
【請求項２３】
前記（ＩＩ）乃至（ＩＩＩ）プロセスにおいて、
前記プロセスは、前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを要素別演算して前記第ｋ統合特徴マップを生成し、前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを要素別演算して前記第ｊ統合特徴マップを出力することを特徴とする請求項１６に記載の学習装置。
【請求項２４】
順次に一つ以上のコンボリューション演算を通じて、それぞれ第１テスト用特徴マップ乃至第ｎテスト用特徴マップを出力する第１フィルターブロック乃至第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する第ｋアップサンプリングブロック乃至第１アップサンプリングブロックを利用してＲ−ＣＮＮ基盤の物体検出器をテストするテスト装置において、
学習装置が、（ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって少なくとも一つのトレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた第１学習用特徴マップ乃至第ｎ学習用特徴マップを出力するようにし、（ｉｉ）前記第ｋアップサンプリングブロックをもって（ｉｉ−１）前記第ｎ学習用特徴マップを第（ｎ−１）学習用特徴マップと同一のスケールの第ｋ学習用アップスケールされた特徴マップに変換した後、（ｉｉ−２）前記第ｋ学習用アップスケールされた特徴マップ及び前記第（ｎ−１）学習用特徴マップを利用した演算を通じて第ｋ学習用統合特徴マップを出力するようにし、（ｉｉ−３）前記第ｋ学習用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｋ学習用統合特徴マップを利用して第ｋ学習用ピラミッド特徴マップに出力するようにし、（ｉｉｉ）第ｊアップサンプリングブロック（前記ｊはｋより小さい整数である）をもって（ｉｉｉ−１）第（ｊ＋１）学習用統合特徴マップを第（ｊ＋１）学習用特徴マップと同一のスケールの第ｊ学習用アップスケールされた特徴マップに変換した後、（ｉｉｉ−２）前記第ｊ学習用アップスケールされた特徴マップ及び前記第（ｊ＋１）学習用特徴マップを利用した演算を通じて第ｊ学習用統合特徴マップを出力し、（ｉｉｉ−３）前記第ｊ学習用統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉｉ−４）前記第ｊ学習用統合特徴マップを利用して第ｊ学習用ピラミッド特徴マップに出力するようにし、（ｉｖ）前記第１アップサンプリングブロックによって第１学習用ピラミッド特徴マップが出力されるまで前記（ｉｉ）及び（ｉｉｉ）プロセスを繰り返すことにより、第（ｋ−１）学習用ピラミッド特徴マップ乃至前記第１学習用ピラミッド特徴マップを出力し、（ｖ）ＲＰＮをもって前記第ｋ学習用ピラミッド特徴マップ乃至前記第１学習用ピラミッド特徴マップのうち少なくとも二つ以上の学習用ピラミッド特徴マップそれぞれに対して、少なくとも一つの学習用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各学習用ＲＯＩを出力するようにし、（ｖｉ）少なくとも一つのプーリングレイヤをもって前記少なくとも二つ以上の学習用ピラミッド特徴マップ上で、それぞれの前記各学習用ＲＯＩに対応する各領域に少なくとも一つのプーリング演算を適用して少なくとも一つの学習用特徴ベクトルを出力するようにし、（ｖｉｉ）少なくとも一つのＦＣレイヤをもって前記学習用特徴ベクトルを利用して、それぞれの前記各学習用ＲＯＩに対応する学習用物体クラス情報及び学習用物体リグレッション情報をそれぞれ出力するようにし、（ｖｉｉｉ）少なくとも一つの第１ロスレイヤをもってそれぞれの前記学習用物体クラス情報とそれぞれの前記学習用物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習した状態で、少なくとも一つのテストイメージを取得する通信部；及び
（I）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記テストイメージに順次に前記コンボリューション演算を適用して、順次にダウンサンプリングされた前記第１テスト用特徴マップ乃至前記第ｎテスト用特徴マップを出力するようにし、（ＩＩ）前記第ｋアップサンプリングブロックをもって（ＩＩ−１）前記第ｎテスト用特徴マップを第（ｎ−１）テスト用特徴マップと同一のスケールの第ｋテスト用アップスケールされた特徴マップに変換した後、（ＩＩ−２）前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを利用した演算を通じて第ｋテスト用統合特徴マップを出力し、（ＩＩ−３）前記第ｋテスト用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ＩＩ−４）前記第ｋテスト用統合特徴マップを利用して第ｋテスト用ピラミッド特徴マップに出力するようにし、（ＩＩＩ）前記第ｊアップサンプリングブロックをもって（ＩＩＩ−１）第（ｊ＋１）テスト用統合特徴マップを第（ｊ＋１）テスト用特徴マップと同一のスケールの第ｊテスト用アップスケールされた特徴マップに変換した後、（ＩＩＩ−２）前記第ｊテスト用アップスケールされた特徴マップと前記第（ｊ＋１）テスト用特徴マップを利用した演算を通じて第ｊテスト用統合特徴マップを生成し、（ＩＩＩ−３）前記第ｊテスト用統合特徴マップを前記第（ｊ−１）アップサンプリングブロックに入力し、（ＩＩＩ−４）前記第ｊテスト用統合特徴マップを利用して第ｊテスト用ピラミッド特徴マップに出力するようにし、（IV）前記第１アップサンプリングブロックによって第１テスト用ピラミッド特徴マップが出力されるまで前記（ＩＩ）及び（ＩＩＩ）プロセスを繰り返すことにより、第（ｋ−１）テスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップを出力するようにし、（V）前記ＲＰＮをもって前記第ｋテスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップのうち少なくとも二つ以上のテスト用ピラミッド特徴マップそれぞれに少なくとも一つのテスト用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれのテスト用ＲＯＩを出力し、前記プーリングレイヤをもって前記少なくとも二つ以上のテスト用ピラミッド特徴マップ上で、それぞれの前記各テスト用ＲＯＩに対応する各領域に前記プーリング演算を適用して少なくとも一つのテスト用特徴ベクトルを出力させるようにし、（VI）前記ＦＣレイヤをもって前記テスト用特徴ベクトルを利用して、それぞれの前記各テスト用ＲＯＩに対応するテスト用物体クラス情報及びテスト用物体リグレッション情報をそれぞれ出力させるプロセスを遂行するプロセッサ；
を含むことを特徴とするテスト装置。
【請求項２５】
前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）それに含まれる第（１−ｋ）サブフィルターレイヤ乃至第（１−１）サブフィルターレイヤそれぞれをもってそれぞれのテスト用下位スケールの特徴マップのチャンネル深さをそれぞれのテスト用上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する第（１−ｋ）特徴アップサンプリングレイヤ乃至第（１−１）特徴アップサンプリングレイヤそれぞれをもってそれぞれの前記テスト用下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記テスト用下位スケールの特徴マップのサイズがそれぞれの前記テスト用上位スケールの特徴マップのサイズと同一になるようにすることを特徴とする請求項２４に記載のテスト装置。
【請求項２６】
前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）第（２−ｋ）サブフィルターレイヤ乃至第（２−１）サブフィルターレイヤそれぞれをもって前記テスト用統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記テスト用統合特徴マップ上でそれぞれの前記特徴がリファインされるように、前記テスト用統合特徴マップに前記コンボリューション演算を適用することによって、テスト用リバイスされた統合特徴マップを出力するようにし、（ｉｉ）第（３−ｋ）サブフィルターレイヤ乃至第（３−１）サブフィルターレイヤそれぞれをもって前記チャンネル深さ方向の特徴を利用して前記テスト用リバイスされた統合特徴マップ上でそれぞれの特徴がリファインされるように前記テスト用リバイスされた統合特徴マップに前記コンボリューション演算を適用して、前記テスト用ピラミッド特徴マップを出力させることを特徴とする請求項２４に記載のテスト装置。
【請求項２７】
前記（Ｖ）プロセスにおいて、
前記ＲＰＮが、（ｉ）前記少なくとも二つ以上のテスト用ピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するテスト用ピラミッド特徴マップに前記コンボリューション演算を適用するようにすることによって、前記テスト用ピラミッド特徴マップ上で前記テスト用物体を含むものと推定される候補領域それぞれに対応するそれぞれのテスト用ＲＯＩ候補のテスト用ＲＯＩリグレッション情報及びテスト用ＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）プロポーザルレイヤをもって前記テスト用ＲＯＩ候補のうち前記テスト用物体が位置する確率が高い、少なくとも一つのテスト用特定ＲＯＩ候補を選択して、それぞれの前記各テスト用ＲＯＩを出力させることを特徴とする請求項２４に記載のテスト装置。
【請求項２８】
前記学習装置によって、前記ＲＰＮはこれに対応する少なくとも一つの第２ロスレイヤをもってそれぞれの前記学習用ＲＯＩ候補の学習用ＲＯＩリグレッション情報、学習用ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記学習装置の前記ＲＰＮのパラメータを学習するようにすることを特徴とする請求項２７に記載のテスト装置。
【請求項２９】
前記（Ｖ）プロセスにおいて、
前記プーリングレイヤは、それぞれの前記テスト用ピラミッド特徴マップ上でそれぞれの前記各テスト用ＲＯＩに対応するそれぞれの領域に前記プーリング演算を適用してそれぞれのテスト用プーリングされた特徴マップを生成し、これをコンカチネートして前記テスト用特徴ベクトルを出力することを特徴とする請求項２４に記載のテスト装置。
【請求項３０】
前記（ＩＩ）乃至（ＩＩＩ）プロセスにおいて、
前記プロセスは、前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを要素別演算して前記第ｋテスト用統合特徴マップを生成し、前記第ｊテスト用アップスケールされた特徴マップ及び前記第（ｊ＋１）テスト用特徴マップを要素別演算して前記第ｊテスト用統合特徴マップを出力することを特徴とする請求項２４に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は順次に一つ以上のコンボリューション演算を通じて、それぞれ第１特徴マップ乃至第ｎ特徴マップを出力する第１フィルターブロック乃至第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する第ｋアップサンプリングブロック乃至第１アップサンプリングブロックを利用してＲ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器を学習する方法に関し、より詳細には、順次に前記コンボリューション演算を通じて、それぞれ前記第１特徴マップ乃至前記第ｎ特徴マップを出力する前記第１フィルターブロック乃至前記第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックを利用して前記Ｒ−ＣＮＮ基盤の前記物体検出器を学習する前記方法において、（ａ）少なくとも一つのトレーニングイメージが入力されると、（ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記トレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた前記第１特徴マップ乃至前記第ｎ特徴マップを出力するようにし、（ｉｉ）前記第ｋアップサンプリングブロックをもって（ｉｉ−１）前記第ｎ特徴マップを第（ｎ−１）特徴マップと同一のスケールの第ｋアップスケールされた特徴マップに変換した後、（ｉｉ−２）前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを利用した演算を通じて第ｋ統合特徴マップを出力するようにし、（ｉｉ−３）前記第ｋ統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｋ統合特徴マップを利用して第ｋピラミッド特徴マップに出力するようにし、（ｉｉｉ）第ｊアップサンプリングブロック（前記ｊはｋより小さい整数である）をもって（ｉｉｉ−１）第（ｊ＋１）統合特徴マップを第（ｊ＋１）特徴マップと同一のスケールの第ｊアップスケールされた特徴マップに変換した後、（ｉｉｉ−２）前記第ｊアップスケールリングされた特徴マップ及び前記第（ｊ＋１）特徴マップを利用した演算を通じて第ｊ統合特徴マップを生成し、（ｉｉｉ−３）前記第ｊ統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉｉ−４）前記第ｊ統合特徴マップを利用して第ｊピラミッド特徴マップに出力するようにし、（ｉｖ）前記第１アップサンプリングブロックによって第１ピラミッド特徴マップが出力されるまで前記（ｉｉ）及び（ｉｉｉ）プロセスを繰り返すことにより、第（ｋ−１）ピラミッド特徴マップ乃至前記第１ピラミッド特徴マップを出力させる段階：（ｂ）前記学習装置が、ＲＰＮをもって前記第ｋピラミッド特徴マップ乃至前記第１ピラミッド特徴マップのうち少なくとも二つ以上のピラミッド特徴マップそれぞれに対して、少なくとも一つの物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各ＲＯＩを出力するようにし、プーリングレイヤをもって前記少なくとも二つ以上のピラミッド特徴マップ上で、それぞれの前記各ＲＯＩに対応する各領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力させる段階；及び（ｃ）前記学習装置が、少なくとも一つのＦＣレイヤをもって、前記特徴ベクトルを利用して、それぞれの前記各ＲＯＩに対応する物体クラス情報及び物体リグレッション情報をそれぞれ出力するようにし、第１ロスレイヤをもってそれぞれの前記物体クラス情報とそれぞれの前記物体リグレッション情報及びこれに対応する第１ＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）それぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習する段階；を含むことを特徴とする学習方法、これを利用したテスト方法と学習装置及びテスト装置に関する。
【背景技術】
【０００２】
マシンラーニングにおいて、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）はビジュアルイメージを分析するのに成功裏に適用されるディープフィードフォワード人工神経回路網の一つのクラスである。
【０００３】
図１は、従来のＲ−ＣＮＮを利用した物体検出器のテスト方法を簡略的に示したものである。
【０００４】
まず、図１に示されたようなテスト装置は、ＲＧＢイメージ（１０１）を取得して学習された一つ以上のコンボリューションレイヤ（１０２）、つまりコンボリューションブロックに含まれたコンボリューションフィルターに入力させる。  前記コンボリューションレイヤを通過することによって、前記ＲＧＢイメージは幅、高さは減るもののチャンネル数は増加する。
【０００５】
次に、前記テスト装置は、特徴マップ（１０３）を学習されたＲＰＮ（ＲＥＧＩＯＮ  ＰＲＯＰＯＳＡＬ  ＮＥＴＷＯＲＫ）（１０４）に通過させてＲＯＩ（１０５）を取得し、プーリングレイヤ（１０６）をもって前記特徴マップ上で前記ＲＯＩ（１０５）に対応する領域にマックスプーリング演算または平均プーリング演算のいずれかを適用して前記領域に含まれたピクセルデータをリサイズさせ、前記リサイズされた特徴マップを参照して特徴ベクトルを出力する。
【０００６】
次に、前記テスト装置はクラシフィケーション（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）などの演算を通じて前記入力されたＲＧＢイメージ上で各物体の種類が何であるかを決定するために、前記特徴ベクトルを学習されたＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）レイヤ（１０８）に入力し、前記ＦＣレイヤを利用して前記入力されたＲＧＢイメージ上でバウンディングボックスを生成することができる。
【０００７】
しかし、従来のＲ−ＣＮＮを利用して前記物体を検出する方法は、前記物体に対応するバウンディングボックスを取得することができないというデメリットが存在する。コンボリューション演算が前記イメージに多く遂行された結果、取得されたサイズの小さい特徴マップが一般的に利用されるため、前記サイズの小さい特徴マップで前記物体を表現するには不十分である。
【０００８】
したがって、本発明の発明者は、複数のマルチスケールの特徴マップから高い正確度を有するバウンディングボックスを生成するための学習方法、学習装置及びそれを利用したテスト方法、テスト装置を提案する。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上述した問題点を全て解決することを目的とする。
【００１０】
本発明は少ないピクセルデータの個数を含む物体に対する検出能力が向上したＲ−ＣＮＮ基盤の物体検出器を提供することを他の目的とする。
【００１１】
本発明は演算量を増加させず、かつイメージ内の小さな物体を検出することができるようにする前記Ｒ−ＣＮＮ基盤の前記物体検出器を提供することをまた他の目的とする。
【課題を解決するための手段】
【００１２】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【００１３】
本発明の一態様によると、順次に一つ以上のコンボリューション演算を通じてそれぞれ第１特徴マップ乃至第ｎ特徴マップを出力する第１フィルターブロック乃至第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する第ｋアップサンプリングブロック乃至第１アップサンプリングブロックを利用してＲ−ＣＮＮ基盤の物体検出器を学習する方法において、（ａ）少なくとも一つのトレーニングイメージが入力されると、学習装置が、（ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記トレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた前記第１特徴マップ乃至前記第ｎ特徴マップを出力するようにし、（ｉｉ）前記第ｋアップサンプリングブロックをもって（ｉｉ−１）前記第ｎ特徴マップを第（ｎ−１）特徴マップと同一のスケールの第ｋアップスケールされた特徴マップに変換した後、（ｉｉ−２）前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを利用した演算を通じて第ｋ統合特徴マップを出力するようにし、（ｉｉ−３）前記第ｋ統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｋ統合特徴マップを利用して第ｋピラミッド特徴マップに出力するようにし、（ｉｉｉ）第ｊアップサンプリングブロック（前記ｊはｋより小さな整数である）をもって（ｉｉｉ−１）第（ｊ＋１）統合特徴マップを第（ｊ＋１）特徴マップと同一のスケールの第ｊアップスケールされた特徴マップに変換した後、（ｉｉｉ−２）前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを利用した演算を通じて第ｊ統合特徴マップを生成し、（ｉｉｉ−３）前記第ｊ統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉｉ−４）前記第ｊ統合特徴マップを利用して第ｊピラミッド特徴マップに出力するようにし、（ｉｖ）前記第１アップサンプリングブロックによって第１ピラミッド特徴マップが出力されるまで前記（ｉｉ）及び（ｉｉｉ）プロセスを繰り返すことにより、第（ｋ−１）ピラミッド特徴マップ乃至前記第１ピラミッド特徴マップを出力させる段階：（ｂ）前記学習装置が、ＲＰＮをもって前記第ｋピラミッド特徴マップ乃至前記第１ピラミッド特徴マップのうち少なくとも二つ以上のピラミッド特徴マップそれぞれに対して、少なくとも一つの物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各ＲＯＩを出力するようにし、プーリングレイヤをもって前記少なくとも二つ以上のピラミッド特徴マップ上で、それぞれの前記各ＲＯＩに対応する各領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力させる段階；及び（ｃ）前記学習装置が、少なくとも一つのＦＣレイヤをもって前記特徴ベクトルを利用して、それぞれの前記各ＲＯＩに対応する物体クラス情報及び物体リグレッション情報をそれぞれ出力するようにし、第１ロスレイヤをもってそれぞれの前記物体クラス情報とそれぞれの前記物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習する段階；を含むことを特徴とする学習方法が提供される。
【００１４】
一実施例において、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）それに含まれる第（１−ｋ）サブフィルターレイヤ乃至第（１−１）サブフィルターレイヤそれぞれをもってそれぞれの下位スケールの特徴マップのチャンネル深さをそれぞれの上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する第（１−ｋ）特徴アップサンプリングレイヤ乃至第（１−１）特徴アップサンプリングレイヤそれぞれをもってそれぞれの前記下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記下位スケールの特徴マップのサイズがそれぞれの前記上位スケールの特徴マップのサイズと同一になるようにする。
【００１５】
一実施例において、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）第（２−ｋ）サブフィルターレイヤ乃至第（２−１）サブフィルターレイヤそれぞれをもって前記統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記統合特徴マップ上でそれぞれの前記特徴がリファインされるように前記統合特徴マップに前記コンボリューション演算を適用することにより、リバイスされた統合特徴マップを出力するようにし、（ｉｉ）第（３−ｋ）サブフィルターレイヤ乃至第（３−１）サブフィルターレイヤそれぞれをもって前記チャンネル深さ方向の特徴を利用して前記リバイスされた統合特徴マップ上でそれぞれの特徴がリファインされるように前記リバイスされた統合特徴マップに前記コンボリューション演算を適用して前記ピラミッド特徴マップを出力させる。
【００１６】
一実施例において、前記（ｂ）段階において、前記ＲＰＮが、（ｉ）前記少なくとも二つ以上のピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するピラミッド特徴マップに前記コンボリューション演算を適用することによって、前記ピラミッド特徴マップ上で前記物体を含むものと推定される候補領域それぞれに対応するそれぞれのＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）プロポーザルレイヤをもって前記ＲＯＩ候補のうち前記物体が位置する確率が高い、少なくとも一つの特定ＲＯＩ候補を選択して、それぞれの前記ＲＯＩを出力させる。
【００１７】
一実施例において、前記学習装置は、前記ＲＰＮに対応する少なくとも一つの第２ロスレイヤをもって前記ＲＯＩリグレッション情報、前記ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記ＲＰＮのパラメータを学習するようにする。
【００１８】
一実施例において、前記（ｂ）段階において、前記プロポーザルレイヤを利用して、スケールの大きなピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分及びスケールが小さなピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分のうちで前記少なくとも一つの特定ＲＯＩ候補が選択された際に、前記スケールが小さなピラミッド特徴マップに対応する前記ＲＯＩ候補のうち前記少なくとも一部分に含まれたピクセルデータの個数が前記スケールの大きなピラミッド特徴マップに対応する前記ＲＯＩ候補のうち前記少なくとも一部分に含まれたピクセルデータの個数より多いか、又は同じになるようにする。
【００１９】
一実施例において、前記（ｂ）段階において、前記プーリングレイヤは、それぞれの前記ピラミッド特徴マップ上でそれぞれの前記各ＲＯＩに対応するそれぞれの領域に前記プーリング演算を適用してそれぞれのプーリングされた特徴マップを生成し、これをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して、前記特徴ベクトルを出力させる。
【００２０】
一実施例において、前記（ａ）段階において、前記学習装置は、前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを要素別（ｅｌｅｍｅｎｔ−ｗｉｓｅ）演算して前記第ｋ統合特徴マップを生成し、前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを要素別演算して前記第ｊ統合特徴マップを出力させる。
【００２１】
本発明の他の態様によると、順次に一つ以上のコンボリューション演算を通じて、それぞれ第１テスト用特徴マップ乃至第ｎテスト用特徴マップを出力する第１フィルターブロック乃至第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する第ｋアップサンプリングブロック乃至第１アップサンプリングブロックを利用してＲ−ＣＮＮ基盤の物体検出器をテストする方法において、（ａ）学習装置が、（ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって少なくとも一つのトレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた第１学習用特徴マップ乃至第ｎ学習用特徴マップを出力するようにし、（ｉｉ）前記第ｋアップサンプリングブロックをもって（ｉｉ−１）前記第ｎ学習用特徴マップを第（ｎ−１）学習用特徴マップと同一のスケールの第ｋ学習用アップスケールされた特徴マップに変換した後、（ｉｉ−２）前記第ｋ学習用アップスケールされた特徴マップ及び前記第（ｎ−１）学習用特徴マップを利用した演算を通じて第ｋ学習用統合特徴マップを出力するようにし、（ｉｉ−３）前記第ｋ学習用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｋ学習用統合特徴マップを利用して第ｋ学習用ピラミッド特徴マップに出力するようにし、（ｉｉｉ）第ｊアップサンプリングブロック（前記ｊはｋより小さい整数である）をもって（ｉｉｉ−１）第（ｊ＋１）学習用統合特徴マップを第（ｊ＋１）学習用特徴マップと同一のスケールの第ｊ学習用アップスケールされた特徴マップに変換した後、（ｉｉｉ−２）前記第ｊ学習用アップスケールされた特徴マップ及び前記第（ｊ＋１）学習用特徴マップを利用した演算を通じて第ｊ学習用統合特徴マップを出力し、（ｉｉｉ−３）前記第ｊ学習用統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉｉ−４）前記第ｊ学習用統合特徴マップを利用して第ｊ学習用ピラミッド特徴マップに出力するようにし、（ｉｖ）前記第１アップサンプリングブロックによって第１学習用ピラミッド特徴マップが出力されるまで前記（ｉｉ）及び（ｉｉｉ）プロセスを繰り返すことにより、第（ｋ−１）学習用ピラミッド特徴マップ乃至第１学習用ピラミッド特徴マップを出力し、（ｖ）ＲＰＮをもって前記第ｋ学習用ピラミッド特徴マップ乃至前記第１学習用ピラミッド特徴マップのうち少なくとも二つ以上の学習用ピラミッド特徴マップそれぞれに対して、少なくとも一つの学習用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各学習用ＲＯＩを出力するようにし、（ｖｉ）少なくとも一つのプーリングレイヤをもって前記少なくとも二つ以上の学習用ピラミッド特徴マップ上で、それぞれの前記各学習用ＲＯＩに対応する各領域に少なくとも一つのプーリング演算を適用して少なくとも一つの学習用特徴ベクトルを出力するようにし、（ｖｉｉ）少なくとも一つのＦＣレイヤをもって前記学習用特徴ベクトルを利用して、それぞれの前記各学習用ＲＯＩに対応する学習用物体クラス情報及び学習用物体リグレッション情報をそれぞれ出力するようにし、（ｖｉｉｉ）少なくとも一つの第１ロスレイヤをもってそれぞれの前記学習用物体クラス情報とそれぞれの前記学習用物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習した状態で、少なくとも一つのテストイメージが入力されると、テスト装置が、（I）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記テストイメージに順次に前記コンボリューション演算を適用して、順次にダウンサンプリングされた前記第１テスト用特徴マップ乃至前記第ｎテスト用特徴マップを出力するようにし、（II）前記第ｋアップサンプリングブロックをもって（II−１）前記第ｎテスト用特徴マップを第（ｎ−１）テスト用特徴マップと同一のスケールの第ｋテスト用アップスケールされた特徴マップに変換した後、（II−２）前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを利用した演算を通じて第ｋテスト用統合特徴マップを出力し、（II−３）前記第ｋテスト用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（II−４）前記第ｋテスト用統合特徴マップを利用して第ｋテスト用ピラミッド特徴マップに出力するようにし、（III）前記第ｊアップサンプリングブロックをもって（III−１）第（ｊ＋１）テスト用統合特徴マップを第（ｊ＋１）テスト用特徴マップと同一のスケールの第ｊテスト用アップスケールされた特徴マップに変換した後、（III−２）前記第ｊテスト用アップスケールされた特徴マップと前記第（ｊ＋１）テスト用特徴マップを利用した演算を通じて第ｊテスト用統合特徴マップを生成し、（III−３）前記第ｊテスト用統合特徴マップを前記第（ｊ−１）アップサンプリングブロックに入力し、（III−４）前記第ｊテスト用統合特徴マップを利用して第ｊテスト用ピラミッド特徴マップに出力するようにし、（IV）前記第１アップサンプリングブロックによって第１テスト用ピラミッド特徴マップが出力されるまで前記（II）及び（III）プロセスを繰り返すことにより、第（ｋ−１）テスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップを出力させる段階：（ｂ）前記テスト装置が、前記ＲＰＮをもって前記第ｋテスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップのうち少なくとも二つ以上のテスト用ピラミッド特徴マップそれぞれに少なくとも一つのテスト用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれのテスト用ＲＯＩを出力し、前記プーリングレイヤをもって前記少なくとも二つ以上のテスト用ピラミッド特徴マップ上で、それぞれの前記各テスト用ＲＯＩに対応する各領域に前記プーリング演算を適用して少なくとも一つのテスト用特徴ベクトルを出力させる段階；及び（ｃ）前記テスト装置が前記ＦＣレイヤをもって前記テスト用特徴ベクトルを利用して、それぞれの前記各テスト用ＲＯＩに対応するテスト用物体クラス情報及びテスト用物体リグレッション情報をそれぞれ出力させる段階；を含むことを特徴とするテスト方法が提供される。
【００２２】
一実施例において、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）それに含まれる第（１−ｋ）サブフィルターレイヤ乃至第（１−１）サブフィルターレイヤそれぞれをもってそれぞれのテスト用下位スケールの特徴マップのチャンネル深さをそれぞれのテスト用上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する第（１−ｋ）特徴アップサンプリングレイヤ乃至第（１−１）特徴アップサンプリングレイヤそれぞれをもってそれぞれの前記テスト用下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記テスト用下位スケールの特徴マップのサイズがそれぞれの前記テスト用上位スケールの特徴マップのサイズと同一になるようにする。
【００２３】
一実施例において、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）第（２−ｋ）サブフィルターレイヤ乃至第（２−１）サブフィルターレイヤそれぞれをもって前記テスト用統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記テスト用統合特徴マップ上でそれぞれの前記特徴がリファインされるように、前記テスト用統合特徴マップに前記コンボリューション演算を適用することによって、テスト用リバイスされた統合特徴マップを出力するようにし、（ｉｉ）第（３−ｋ）サブフィルターレイヤ乃至第（３−１）サブフィルターレイヤそれぞれをもって前記チャンネル深さ方向の特徴を利用して前記テスト用リバイスされた統合特徴マップ  上でそれぞれの特徴がリファインにされるように、前記テスト用リバイスされた統合特徴マップに前記コンボリューション演算を適用して前記テスト用ピラミッド特徴マップを出力させる。
【００２４】
一実施例において、前記（ｂ）段階において、前記ＲＰＮが、（ｉ）前記少なくとも二つ以上のテスト用ピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するテスト用ピラミッド特徴マップに前記コンボリューション演算を適用するようにすることによって、前記テスト用ピラミッド特徴マップ上で前記テスト用物体を含むものと推定される候補領域それぞれに対応するそれぞれのテスト用ＲＯＩ候補のテスト用ＲＯＩリグレッション情報及びテスト用ＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）プロポーザルレイヤをもって前記テスト用ＲＯＩ候補のうち前記テスト用物体が位置する確率が高い、少なくとも一つのテスト用特定ＲＯＩ候補を選択して、それぞれの前記各テスト用ＲＯＩを出力させる。
【００２５】
一実施例において、前記学習装置によって、前記ＲＰＮはこれに対応する少なくとも一つの第２ロスレイヤをもってそれぞれの前記学習用ＲＯＩ候補の学習用ＲＯＩリグレッション情報、学習用ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記学習装置の前記ＲＰＮのパラメータを学習するようにする。
【００２６】
一実施例において、前記（ｂ）段階で、前記プーリングレイヤは、それぞれの前記テスト用のピラミッド特徴マップ上でそれぞれの前記各テスト用ＲＯＩに対応するそれぞれの領域に前記プーリング演算を適用してそれぞれのテスト用プーリングされた特徴マップを生成し、これをコンカチネートして前記テスト用特徴ベクトルを出力させる。
【００２７】
一実施例において、前記（ａ）段階において、前記テスト装置は、前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを要素別演算して前記第ｋテスト用統合特徴マップを生成し、前記第ｊテスト用アップスケールされた特徴マップ及び前記第（ｊ＋１）テスト用特徴マップを要素別演算して前記第ｊテスト用統合特徴マップを出力させる。
【００２８】
本発明のまた他の態様によると、順次に一つ以上のコンボリューション演算を通じて、それぞれ第１特徴マップ乃至第ｎ特徴マップを出力する第１フィルターブロック乃至第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する第ｋアップサンプリングブロック乃至第１アップサンプリングブロックを利用してＲ−ＣＮＮ基盤の物体検出器を学習する学習装置において、少なくとも一つのトレーニングイメージを取得する通信部；及び（Ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記トレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた前記第１特徴マップ乃至前記第ｎ特徴マップを出力するようにし、（ＩＩ）前記第ｋアップサンプリングブロックをもって（ＩＩ−１）前記第ｎ特徴マップを第（ｎ−１）特徴マップと同一のスケールの第ｋアップスケールされた特徴マップに変換した後、（ＩＩ−２）前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを利用した演算を通じて第ｋ統合特徴マップを出力するようにし、（ＩＩ−３）前記第ｋ統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ＩＩ−４）前記第ｋ統合特徴マップを利用して第ｋピラミッド特徴マップに出力するようにし、（ＩＩＩ）第ｊアップサンプリングブロック（前記ｊはｋより小さな整数である）をもって（ＩＩＩ−１）第（ｊ＋１）統合特徴マップを第（ｊ＋１）特徴マップと同一のスケールの第ｊアップスケールされた特徴マップに変換した後、（ＩＩＩ−２）前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを利用した演算を通じて第ｊ統合特徴マップを生成し、（ＩＩＩ−３）前記第ｊ統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ＩＩＩ−４）前記第ｊ統合特徴マップを利用して第ｊピラミッド特徴マップに出力するようにし、（ＩＶ）前記第１アップサンプリングブロックによって第１ピラミッド特徴マップが出力されるまで前記（ＩＩ）及び（ＩＩＩ）プロセスを繰り返すことにより、第（ｋ−１）ピラミッド特徴マップ乃至前記第１ピラミッド特徴マップを出力するようにし、（Ｖ）ＲＰＮをもって前記第ｋピラミッド特徴マップ乃至前記第１ピラミッド特徴マップのうち少なくとも二つ以上のピラミッド特徴マップそれぞれに対して、少なくとも一つの物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各ＲＯＩを出力するようにし、プーリングレイヤをもって前記少なくとも二つ以上のピラミッド特徴マップ上で、それぞれの前記各ＲＯＩに対応する各領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力するようにし、（ＶＩ）少なくとも一つのＦＣレイヤをもって、前記特徴ベクトルを利用して、それぞれの前記各ＲＯＩに対応する物体クラス情報及び物体  リグレッション情報をそれぞれ出力するようにし、第１ロスレイヤをもってそれぞれの前記物体クラス情報とそれぞれの前記物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロ���を利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習するプロセス；を含むことを特徴とする学習装置が提供される。
【００２９】
一実施例において、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）それに含まれる第（１−ｋ）サブフィルターレイヤ乃至第（１−１）サブフィルターレイヤそれぞれをもってそれぞれの下位スケールの特徴マップのチャンネル深さをそれぞれの上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する第（１−ｋ）特徴アップサンプリングレイヤ乃至第（１−１）特徴アップサンプリングレイヤそれぞれをもってそれぞれの前記下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記下位スケールの特徴マップのサイズがそれぞれの前記上位スケールの特徴マップのサイズと同一になるようにする。
【００３０】
一実施例において、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）第（２−ｋ）サブフィルターレイヤ乃至第（２−１）サブフィルターレイヤそれぞれをもって前記統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記統合特徴マップ上でそれぞれの前記特徴がリファインされるように、前記統合特徴マップに前記コンボリューション演算を適用することにより、リバイスされた統合特徴マップを出力するようにし、（ｉｉ）第（３−ｋ）サブフィルターレイヤ乃至第（３−１）サブフィルターレイヤそれぞれをもって前記チャンネル深さ方向の特徴を利用して前記リバイスされた統合特徴マップ上でそれぞれの特徴がリファインされるように前記リバイスされた統合特徴マップに前記コンボリューション演算を適用して前記ピラミッド特徴マップを出力させる。
【００３１】
一実施例において、前記（Ｖ）プロセスにおいて、前記ＲＰＮが、（ｉ）前記少なくとも二つ以上のピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するピラミッド特徴マップに前記コンボリューション演算を適用することによって、前記ピラミッド特徴マップ上で前記物体を含むものと推定される候補領域それぞれに対応するそれぞれのＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）プロポーザルレイヤをもって前記ＲＯＩ候補のうち前記物体が位置する確率が高い、少なくとも一つの特定ＲＯＩ候補を選択して、それぞれの前記ＲＯＩを出力させる。
【００３２】
一実施例において、前記プロセスは、前記ＲＰＮに対応する少なくとも一つの第２ロスレイヤをもって前記ＲＯＩリグレッション情報、前記ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記ＲＰＮのパラメータを学習するようにする。
【００３３】
一実施例において、前記（Ｖ）プロセスにおいて、前記プロポーザルレイヤを利用して、スケールの大きいピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分及びスケールの小さいピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分のうちで前記少なくとも一つの特定ＲＯＩ候補が選択された際に、前記スケールの小さいピラミッド特徴マップに対応する前記ＲＯＩ候補のうち前記少なくとも一部分に含まれたピクセルデータ個数より多いか、または同じになるようする。
【００３４】
一実施例において、前記（Ｖ）プロセスにおいて、前記プーリングレイヤは、それぞれの前記ピラミッド特徴マップ上でそれぞれの前記各ＲＯＩに対応するそれぞれの領域に前記プーリング演算を適用してそれぞれのプーリングされた特徴マップを生成し、これをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して前記特徴ベクトルを出力させる。
【００３５】
一実施例において、前記（ＩＩ）乃至（ＩＩＩ）プロセスにおいて前記プロセスは、前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを要素別演算して前記第ｋ統合特徴マップを生成し、前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを要素別演算して前記第ｊ統合特徴マップを出力させる。
【００３６】
本発明のまた他の態様によると、順次に一つ以上のコンボリューション演算を通じて、それぞれ第１テスト用特徴マップ乃至第ｎテスト用特徴マップを出力する第１フィルターブロック乃至第ｎフィルターブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのうち少なくとも一部とそれぞれ連動する第ｋアップサンプリングブロック乃至第１アップサンプリングブロックを利用してＲ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器をテストするテスト装置において、学習装置が、（ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって少なくとも一つのトレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた第１学習用特徴マップ乃至第ｎ学習用特徴マップを出力するようにし、（ｉｉ）前記第ｋアップサンプリングブロックをもって（ｉｉ−１）前記第ｎ学習用特徴マップを第（ｎ−１）学習用特徴マップと同一のスケールの第ｋ学習用アップスケールされた特徴マップに変換した後、（ｉｉ−２）前記第ｋ学習用アップスケールされた特徴マップ及び前記第（ｎ−１）学習用特徴マップを利用した演算を通じて第ｋ学習用統合特徴マップを出力するようにし、（ｉｉ−３）前記第ｋ学習用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｋ学習用統合特徴マップを利用して第ｋ学習用ピラミッド特徴マップに出力するようにし、（ｉｉｉ）第ｊアップサンプリングブロック（前記ｊはｋより小さい整数である）をもって（ｉｉｉ−１）第（ｊ＋１）学習用統合特徴マップを第（ｊ＋１）学習用特徴マップと同一のスケールの第ｊ学習用アップスケールされた特徴マップに変換した後、（ｉｉｉ−２）前記第ｊ学習用アップスケールされた特徴マップ及び前記第（ｊ＋１）学習用特徴マップを利用した演算を通じて第ｊ学習用統合特徴マップを出力し、（ｉｉｉ−３）前記第ｊ学習用統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉｉ−４）前記第ｊ学習用統合特徴マップを利用して第ｊ学習用ピラミッド特徴マップに出力するようにし、（ｉｖ）前記第１アップサンプリングブロックによって  第１学習用ピラミッド特徴マップが出力されるまで前記（ｉｉ）及び（ｉｉｉ）プロセスを繰り返すことにより、第（ｋ−１）学習用ピラミッド特徴マップ乃至第１学習用ピラミッド特徴マップを出力し、（ｖ）ＲＰＮをもって前記第ｋ学習用ピラミッド特徴マップ乃至前記第１学習用ピラミッド特徴マップのうち少なくとも二つ以上の学習用ピラミッド特徴マップそれぞれに対して、少なくとも一つの学習用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各学習用ＲＯＩを出力するようにし、（ｖｉ）少なくとも一つのプーリングレイヤをもって前記少なくとも二つ以上の学習用ピラミッド特徴マップ上で、それぞれの前記各学習用ＲＯＩに対応する各領域に少なくとも一つのプーリング演算を適用して少なくとも一つの学習用特徴ベクトルを出力するようにし、（ｖｉｉ）少なくとも一つのＦＣレイヤをもって前記学習用特徴ベクトルを利用して、それぞれの前���各学習用ＲＯＩに対応する学習用物体クラス情報及び学習用物体リグレッション情報をそれぞれ出力するようにし、（ｖｉｉｉ）少なくとも一つの第１ロスレイヤをもってそれぞれの前記学習用物体クラス情報とそれぞれの前記学習用物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習した状態で、少なくとも一つのテストイメージが入力されると、テスト装置が、（I）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記テストイメージに順次に前記コンボリューション演算を適用して、順次にダウンサンプリングされた前記第１テスト用特徴マップ乃至前記第ｎテスト用特徴マップを出力するようにし、（II）前記第ｋアップサンプリングブロックをもって（II−１）前記第ｎテスト用特徴マップを第（ｎ−１）テスト用特徴マップと同一のスケールの第ｋテスト用アップスケールされた特徴マップに変換した後、（II−２）前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを利用した演算を通じて第ｋテスト用統合特徴マップを出力し、（II−３）前記第ｋテスト用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（II−４）前記第ｋテスト用統合特徴マップを利用して第ｋテスト用ピラミッド特徴マップに出力するようにし、（III）前記第ｊアップサンプリングブロックをもって（III−１）第（ｊ＋１）テスト用統合特徴マップを第（ｊ＋１）テスト用特徴マップと同一のスケールの第ｊテスト用アップスケールされた特徴マップに変換した後、（ＩＩＩ−２）前記第ｊテスト用アップスケールされた特徴マップと前記第（ｊ＋１）テスト用特徴マップを利用した演算を通じて第ｊテスト用統合特徴マップを生成し、（ＩＩＩ−３）前記第ｊテスト用統合特徴マップを前記第（ｊ−１）アップサンプリングブロックに入力し、（III−４）前記第ｊテスト用統合特徴マップを利用して第ｊテスト用ピラミッド特徴マップに出力するようにし、（IV）前記第１アップサンプリングブロックによって第１テスト用ピラミッド特徴マップが出力されるまで前記（II）及び（III）プロセスを繰り返すことにより、第（ｋ−１）テスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップを出力するようにし、（V）前記ＲＰＮをもって前記第ｋテスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップのうち少なくとも二つ以上のテスト用ピラミッド特徴マップそれぞれに少なくとも一つのテスト用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれのテスト用ＲＯＩを出力し、前記プーリングレイヤをもって前記少なくとも二つ以上のテスト用ピラミッド特徴マップ上で、それぞれの前記各テスト用ＲＯＩに対応する各領域に前記プーリング演算を適用して少なくとも一つのテスト用特徴ベクトルを出力するようにし、（VI）前記ＦＣレイヤをもって���記テスト用特徴ベクトルを利用して、それぞれの前記各テスト用ＲＯＩに対応するテスト用物体クラス情報及びテスト用物体リグレッション情報をそれぞれ出力させるプロセスを遂行するプロセッサを含むことを特徴とするテスト装置が提供される。
【００３７】
一実施例において、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）それに含まれる第（１−ｋ）サブフィルターレイヤ乃至第（１−１）サブフィルターレイヤそれぞれをもってそれぞれのテスト用下位スケールの特徴マップのチャンネル深さをそれぞれのテスト用上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する第（１−ｋ）特徴アップサンプリングレイヤ乃至第（１−１）特徴アップサンプリングレイヤそれぞれをもってそれぞれの前記テスト用下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記テスト用下位スケールの特徴マップのサイズがそれぞれの前記テスト用上位スケールの特徴マップのサイズと同一になるようにする。
【００３８】
一実施例において、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロックのそれぞれは、（ｉ）第（２−ｋ）サブフィルターレイヤ乃至第（２−１）サブフィルターレイヤそれぞれをもって前記テスト用統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記テスト用統合特徴マップ上でそれぞれの前記特徴がリファインされるように、前記テスト用統合特徴マップに前記コンボリューション演算を適用することによって、テスト用リバイスされた統合特徴マップを出力するようにし、（ｉｉ）第（３−ｋ）サブフィルターレイヤ乃至第（３−１）サブフィルターレイヤそれぞれをもって前記チャンネル深さ方向の特徴を利用して前記テスト用リバイスされた統合特徴マップ上でそれぞれの特徴がリファインされるように前記テスト用リバイスされた統合特徴マップに前記コンボリューション演算を適用して、前記テスト用ピラミッド特徴マップを出力させる。
【００３９】
一実施例において、前記（Ｖ）プロセスにおいて、前記ＲＰＮが、（ｉ）前記少なくとも二つ以上のテスト用ピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するテスト用ピラミッド特徴マップに前記コンボリューション演算を適用するようにすることによって、前記テスト用ピラミッド特徴マップ上で前記テスト用物体を含むものと推定される候補領域それぞれに対応するそれぞれのテスト用ＲＯＩ候補のテスト用ＲＯＩリグレッション情報及びテスト用ＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）プロポーザルレイヤをもって前記テスト用ＲＯＩ候補のうち前記テスト用物体が位置する確率が高い、少なくとも一つのテスト用特定ＲＯＩ候補を選択して、それぞれの前記各テスト用ＲＯＩを出力させる。
【００４０】
一実施例において、前記学習装置によって、前記ＲＰＮはこれに対応する少なくとも一つの第２ロスレイヤをもってそれぞれの前記学習用ＲＯＩ候補の学習用ＲＯＩリグレッション情報、学習用ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記学習装置の前記ＲＰＮのパラメータを学習するようにする。
【００４１】
一実施例において、前記（Ｖ）プロセスにおいて、前記プーリングレイヤは、それぞれの前記テスト用ピラミッド特徴マップ上でそれぞれの前記各テスト用ＲＯＩに対応するそれぞれの領域に前記プーリング演算を適用してそれぞれのテスト用プーリングされた特徴マップを生成し、これをコンカチネート（ｃｏｎｃａｔｅｎａｔｉｎｇ）して前記テスト用特徴ベクトルを出力させる。
【００４２】
一実施例において、前記（ＩＩ）乃至（ＩＩＩ）プロセスにおいて前記プロセスは、前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを要素別演算して前記第ｋテスト用統合特徴マップを生成し、前記第ｊテスト用アップスケールされた特徴マップ及び前記第（ｊ＋１）テスト用特徴マップを要素別演算して前記第ｊテスト用統合特徴マップを出力させる。
【００４３】
このほかにも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００４４】
本発明はコンボリューション演算によってスケールが小さくなった特徴マップをアップサンプリングし、多数のアップサンプリングされた特徴マップを利用して、少ない数のピクセルデータを有するイメージ内の小さな物体を容易に検出することができる効果がある。
【００４５】
また、本発明は、アップサンプリングされた互いに異なるスケールを有する少なくとも二つ以上の特徴マップを利用して、イメージ内の小さな物体を容易に検出することができる効果がある。
【００４６】
また、本発明は、従来のＲ−ＣＮＮを基盤にした前記物体検出器に比べて、さらなる演算が要求されないように前記プーリングされた特徴ベクトルの前記全体チャンネル深さが従来の特徴ベクトルの全体チャンネル深さより小さくすることによって、イメージ内の小さな物体を容易に検出することができる効果がある。
【００４７】
また、本発明はアップサンプリングされた互いに異なるスケールを有する少なくとも二つ以上のピッチャーマップを利用してプーリングしたピッチャーベクトルの全体チャンネル深さが従来ピッチャーベクトルのチャンネル深さより小さいので、従来のＲ−ＣＮＮ基盤のオブジェクトディテクタに比べて演算量を増加させず、かつイメージ内の小さな物体を検出することができるようになる。
【図面の簡単な説明】
【００４８】
本発明の実施例の説明に利用されるために添付された次の図面は、本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野における通常の知識を有する者（以下「通常の技術者」）においては、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図１】従来のＲ−ＣＮＮを利用した物体検出器のテスト装置を簡略的に示したものである。
【図２】本発明の一実施例によるＲ−ＣＮＮ基盤の前記物体検出器を学習する学習装置を簡略的に示したものである。
【図３】本発明の一実施例による前記Ｒ−ＣＮＮ基盤の前記物体検出器を学習する方法を簡略的に示したものである。
【図４】本発明の一実施例による前記Ｒ−ＣＮＮ基盤の前記物体検出器を学習する方法において、第ｋピラミッド特徴マップ乃至第１ピラミッド特徴マップを取得する状態を簡略的に示したものである。
【図５】本発明の一実施例による前記Ｒ−ＣＮＮ基盤の前記物体検出器を学習する方法において、ＲＰＮが少なくとも二つ以上のピラミッド特徴マップにそれぞれ対応するＲＯＩを出力するプロセスを簡略的に示したものである。
【図６】本発明の一実施例による前記Ｒ−ＣＮＮ基盤の前記物体検出器を学習する方法において、プーリングレイヤが前記少なくとも二つ以上のピラミッド特徴マップ上でそれぞれの前記各ＲＯＩに対応する各領域をプーリングして特徴ベクトルを生成するプロセスを簡略的に示したものである。
【図７】本発明の一実施例による前記Ｒ−ＣＮＮ基盤の前記物体検出器をテストするテスト装置を簡略的に示したものである。
【図８】本発明の一実施例による前記Ｒ−ＣＮＮ基盤の前記物体検出器をテストする方法を簡略的に示したものである。
【発明を実施するための形態】
【００４９】
後述する本発明に関する詳細な説明は、本発明の目的、技術的解法及び長所を明らかにするために、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
【００５０】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又はプロセスを除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
【００５１】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００５２】
さらに、本発明は本明細書に表示された実施例のすべての可能な組合せを網羅している。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、その実施例に関連して、本発明の精神及び範囲を逸脱せず、他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００５３】
以下、本発明の属する技術分野において、通常の知識を有する者が本発明を容易に行えるようにするため、本発明の望ましい実施例について、添付された図面を参照して詳細に説明することとする。
【００５４】
図２は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器（１００）の学習装置（１００）を簡略的に示したものであって、図２を参照すると、学習装置（１００）は通信部（１１０）とプロセッサ（１２０）を含むことができる。
【００５５】
まず、前記通信部（１１０）は、少なくとも一つのトレーニングイメージを取得したり、他の装置によって取得できるよう支援することができる。
【００５６】
この際、前記トレーニングイメージはデータ基盤（１３０）に格納されていることもあり、前記データ基盤（１３０）には前記トレーニングイメージに対応して一つ以上の物体に対するクラス情報及び位置情報について少なくとも一つのＧＴが格納されていることもある。
【００５７】
次に、前記プロセッサ（１２０）は第１フィルターブロック乃至第ｎフィルターブロックをもって前記トレーニングイメージに順次に一つ以上のコンボリューション演算を適用して順次にダウンサンプリングされた第１特徴マップ乃至第ｎ特徴マップを出力させる。そして、前記プロセッサ（１２０）は（ｉ）第ｋアップサンプリングブロックをもって（ｉ−１）前記第ｎ特徴マップを第（ｎ−１）特徴マップと同一のスケールの第ｋアップスケールされた特徴マップに変換した後、（ｉ−２）前記第（ｎ−１）特徴マップ及び前記第ｋアップスケールされた特徴マップを利用した演算を通じて第ｋ統合特徴マップを生成するようにし、（ｉ−３）前記第ｋ統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力するようにして、（ｉ−４）前記第ｋ統合特徴マップを利用して第ｋピラミッド特徴マップに出力するようにし、（ｉｉ）第ｊアップサンプリングブロックをもって（ｉｉ−１）第（ｊ＋１）統合特徴マップを第（ｊ＋１）特徴マップと同一のスケールの第ｊアップスケールされた特徴マップに変換するようにし、（ｉｉ−２）前記第ｊアップスケールされた特徴マップと前記第（ｊ＋１）特徴マップを利用した演算を通じて第ｊ統合特徴マップを生成し、（ｉｉ−３）前記第ｊ統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｊ統合特徴マップを利用して第ｊピラミッド特徴マップに出力するようにし、（ｉｉｉ）前記第１アップサンプリングブロックによって第１ピラミッド特徴マップが出力されるまで前記（ｉ）及び（ｉｉ）プロセスを繰り返すことにより、第（ｋ−１）ピラミッド特徴マップ乃至前記第１ピラミッド特徴マップを出力させる。この際、前記ｊは、前記ｋより小さい整数であり得る。以後、前記学習装置（１００）は、ＲＰＮをもって前記第ｋピラミッド特徴マップ乃至前記第１ピラミッド特徴マップのうち少なくとも二つ以上のピラミッド特徴マップそれぞれに対して、少なくとも一つの物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各ＲＯＩを出力するようにし、プーリングレイヤをもって前記少なくとも二つ以上のピラミッド特徴マップ上で、それぞれの前記各ＲＯＩに対応する各領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力させる。前記学習装置（１００）は、少なくとも一つのＦＣレイヤをもって、前記特徴ベクトルを利用して、それぞれの前記各ＲＯＩに対応する物体クラス情報及び物体リグレッション情報をそれぞれ出力するようにし、第１ロスレイヤをもってそれぞれの前記物体クラス情報とそれぞれの前記物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習することができる。
【００５８】
また、前記ＲＰＮが、（ｉ）前記少なくとも二つ以上のピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するピラミッド特徴マップに前記コンボリューション演算を適用することによって、前記ピラミッド特徴マップ上で前記物体を含むものと推定される候補領域それぞれに対応するそれぞれのＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）プロポーザルレイヤをもって前記ＲＯＩ候補のうち前記物体が位置する確率が高い、少なくとも一つの特定ＲＯＩ候補を選択して、それぞれの前記ＲＯＩを出力させることができる。この際、前記特定のＲＯＩ候補の前記確率は、既に設定された臨界値より高い確率値であり得る。  以後、前記学習装置（１００）は、前記ＲＰＮに対応する少なくとも一つの第２ロスレイヤをもって前記ＲＯＩリグレッション情報、前記ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記ＲＰＮのパラメータを学習するようにすることができる。ここで、前記第１ロスによるバックプロパゲーションと前記第２ロスによるバックプロパゲーションの時間的順序には制限がないであろう。
【００５９】
この際、本発明の一実施例による学習装置（１００）は、コンピューティング装置としてプロセッサを搭載して演算能力を備えた装置であるならば、いくらでも本発明による学習装置（１００）として採択され得る。また、図２では一つの学習装置（１００）のみを示したが、これに限定されず、学習装置は複数個に分けて役割を遂行することもできる。
【００６０】
本発明の一実施例による前記学習装置（１００）を利用して前記Ｒ−ＣＮＮ基盤の前記物体検出器のパラメータを学習する方法を図３を参照して説明すると次のとおりである。
【００６１】
まず、前記トレーニングイメージが入力されると、前記学習装置（１００）が前記第１フィルターブロック（１２１−１）乃至前記第ｎフィルターブロック（１２１−ｎ）をもって前記トレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた前記第１特徴マップ乃至前記第ｎ特徴マップを出力させる。ここで、前記第１フィルターブロック（１２１−１）乃至前記第ｎフィルターブロック（１２１−ｎ）はイメージや特徴マップに前記コンボリューション演算を適用するコンボリューションレイヤであり得る。
【００６２】
一例として、図４を参照すると、サイズが１２８０ｘ７２０ｘ３、つまり、幅が１２８０であり、高さが７２０であるＲＧＢ  ３チャンネルのテストイメージ（ＴＩ）が入力されると、前記第１フィルターブロック（１２１−１）が前記テストイメージ（ＴＩ）に前記コンボリューション演算を適用してサイズが６４０ｘ３６０ｘ１６である前記第１特徴マップ（ＦＭ１）を出力し、前記第２フィルターブロック（１２１−２）が前記第１特徴マップ（ＦＭ１）に前記コンボリューション演算を適用してサイズが３２０ｘ１８０ｘ３２である前記第２特徴マップ（ＦＭ２）を出力する。そして、前記第３フィルターブロック（１２１−３）が前記第２特徴マップ（ＦＭ２）に前記コンボリューション演算を適用してサイズが１６０ｘ９０ｘ６４である前記第３特徴マップ（ＦＭ３）を出力し、前記第４フィルターブロック（１２１−４）が前記第３特徴マップ（ＦＭ３）に前記コンボリューション演算を適用してサイズが８０ｘ４５ｘ１２８である前記第４特徴マップ（ＦＭ４）を出力し、前記第５フィルターブロック（１２１−５）が前記第４特徴マップ（ＦＭ４）に前記コンボリューション演算を適用してサイズが４０ｘ２３ｘ２５６である前記第５特徴マップ（ＦＭ５）を出力する。この際、図４では５つのフィルターブロックが示されているが、これは説明の便宜のためであってフィルタブロックの個数はこれに限定されない。
【００６３】
再び、図３を参照すると、前記学習装置（１００）は第ｋアップサンプリングブロック（１２２−ｋ）をもって（ｉ）前記第ｎ特徴マップを第（ｎ−１）特徴マップと同一のスケールの第ｋアップスケールされた特徴マップに変換した後、（ｉｉ）前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを利用した演算を通じて第ｋ統合特徴マップを出力するようにし、（ｉｉｉ）前記第ｋ統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｖ）前記第ｋ統合特徴マップを利用して第ｋピラミッド特徴マップに出力させる。この際、前記ｊは、前記ｋより小さい整数とする場合、前記学習装置（１００）は（I）第ｊアップサンプリングブロックをもって（ｉ）第（ｊ＋１）統合特徴マップを第（ｊ＋１）特徴マップと同一のスケールの第ｊアップスケールされた特徴マップに変換するようにし、（ｉｉ）前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを利用した演算を通じて第ｊ統合特徴マップを生成し、（ｉｉｉ）前記第ｊ統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｖ）前記第ｊ統合特徴マップを利用して第ｊピラミッド特徴マップに出力するようにし、（ＩＩ）前記第１アップサンプリングブロック（１２２−１）が前記第１ピラミッド特徴マップ（ＰＭ１）を出力するときまで第ｊ統合特徴マップを利用して第ｊピラミッド特徴マップを生成する過程を繰り返すことにより、第（ｋ−１）ピラミッド特徴マップ（ＰＭ（ｋ−１））乃至前記第１ピラミッド特徴マップ（ＰＭ１）を出力させる。
【００６４】
この際、前記学習装置（１００）は、前記第ｋアップスケールされた特徴マップ及び前記第（ｎ−１）特徴マップを要素別演算して前記第ｋ統合特徴マップを出力し、前記第ｊアップスケールされた特徴マップ及び前記第（ｊ＋１）特徴マップを要素別演算して前記第ｊ統合特徴マップを出力することができる。また、前記第ｋアップサンプリングブロック（１２２−ｋ）乃至前記第１アップサンプリングブロック（１２２−１）のそれぞれは、（ｉ）それに含まれる第（１−ｋ）サブフィルターレイヤ乃至第（１−１）サブフィルターレイヤそれぞれをもってそれぞれの下位スケールの特徴マップのチャンネル深さをそれぞれの上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する第（１−ｋ）特徴アップサンプリングレイヤ乃至第（１−１）特徴アップサンプリングレイヤそれぞれをもってそれぞれの前記下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記下位スケールの特徴マップのサイズがそれぞれの前記上位スケールの特徴マップのサイズと同一になるようにする。これに加えて、前記第ｋアップサンプリングブロック（１２２−ｋ）乃至前記第１アップサンプリングブロック（１２２−１）のそれぞれは、（ｉ）第（２−ｋ）サブフィルターレイヤ乃至第（２−１）サブフィルターレイヤそれぞれをもって前記統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記統合特徴マップ上でそれぞれの前記特徴がリファインされるように、前記統合特徴マップに前記コンボリューション演算を適用することにより、リバイスされた（ｒｅｖｉｓｅｄ）統合特徴マップを出力するようにし、（ｉｉ）第（３−ｋ）サブフィルターレイヤ乃至第（３−１）サブフィルターレイヤそれぞれをもって前記リバイスされた統合特徴マップに前記コンボリューション演算を適用して前記ピラミッド特徴マップを出力させる。
【００６５】
一例として、図４を参照すると、前記第３アップサンプリングブロック（１２２−３）の第（１−３）サブフィルターレイヤ（１２２−３１）は、前記第５フィルターブロック（１２１−５）で出力された、サイズが４０ｘ２３ｘ２５６である前記第５特徴マップ（ＦＭ５）にコンボリューション演算を適用して上位スケールである前記第４特徴マップ（ＦＭ４）と同一のチャンネル深さである１２８のチャンネル深さを有するサイズが４０ｘ２３ｘ１２８である特徴マップを出力する。この際、前記第（１−３）サブフィルターレイヤ（１２２−３１）は１ｘ１コンボリューションレイヤであり得る。そして、前記第３アップサンプリングブロック（１２２−３）の第（１−３）特徴アップサンプリングレイヤ（１２２−３２）は、前記第（１−３）サブフィルターレイヤ（１２２−３１）から出力された、サイズが４０ｘ２３ｘ１２８である前記特徴マップを上位スケールの前記第４特徴マップ（ＦＭ４）のサイズと同一の８０ｘ４５のサイズを有するサイズが８０ｘ４５ｘ１２８である特徴マップに変換することができる。結果的に、前記第５フィルターブロック（１２１−５）から出力される前記第５特徴マップ（ＦＭ５）は、前記第３アップサンプリングブロック（１２２−３）の前記第（１−３）特徴アップサンプリングレイヤ（１２２−３２）及び前記第（１−３）サブフィルターレイヤ（１２２−３１）によって、上位スケールの前記第４特徴マップ（ＦＭ４）と同一のチャンネル深さとサイズを有する第３アップスケールされた特徴マップに変換することができる。しかし、前記第３アップスケールされた特徴マップは、同じスケールを有する前記第４特徴マップ（ＦＭ４）に比べて前記第５特徴マップ（ＦＭ５）の特徴を含むことができる。以後、前記第３アップサンプリングブロック（１２２−３）は、前記第３アップスケールされた特徴マップと前記第４特徴マップ（ＦＭ４）を要素別演算して、サイズが８０ｘ４５ｘ１２８である第３統合特徴マップを生成し、これを前記第２アップサンプリングブロック（１２２−２）に入力し、前記第３アップサンプリングブロック（１２２−３）の第（２−３）サブフィルターレイヤ（１２２−３３）をもって前記第３統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記第３統合特徴マップ上でそれぞれの前記特徴がリファインされるように、前記第３統合特徴マップに前記コンボリューション演算を適用するようにすることによって、第（３−３）サブフィルターレイヤ（１２２−３４）をもって前記チャンネル深さ方向の特徴を利用して前記リバイスされた第３統合特徴マップ上でそれぞれの特徴がリファインされるように前記リバイスされた第３統合特徴マップに前記コンボリューション演算を適用するようにすることによって、前記第３ピラミッドの特徴マップ（ＰＭ３）を出力する。ここで、前記第（２−３）サブフィルターレイヤ（１２２−３３）は３ｘ３コンボリューションレイヤとなり得、前記第（３−３）サブフィルターレイヤ（１２２−３４）は１ｘ１コンボリューションレイヤであり得る。また、前記第（２−３）サブフィルターレイヤ（１２２−３３）が前記３ｘ３コンボリューションレイヤであるものと想定すると、前記第３統合特徴マップでそれぞれの前記特徴から所定の距離内に位置した前記各特徴は、前記第３統合特徴マップ上でそれぞれの特徴に対する前記３ｘ３コンボリューション演算に寄与する各特徴の周辺の特徴を意味し得る。
【００６６】
そして、前記第２アップサンプリングブロック（１２２−２）の第（１−２）サブフィルターレイヤ（１２２−２１）は、前記第３アップサンプリングブロック（１２１−３）で出力されるサイズが８０ｘ４５ｘ１２８である前記第３統合特徴マップにコンボリューション演算を適用することによって、上位スケールの前記第３特徴マップ（ＦＭ３）と同一のチャンネル深さである６４のチャンネル深さを有するサイズが８０ｘ４５ｘ６４である特徴マップを生成する。この際、前記第（１−２）サブフィルターレイヤ（１２２−２１）は１ｘ１コンボリューションレイヤであり得る。そして、前記第２アップサンプリングブロック（１２２−２）の第（１−２）特徴アップサンプリングレイヤ（１２２−２２）は、前記第（１−２）サブフィルターレイヤ（１２２−２１）で出力されたサイズが８０ｘ４５ｘ６４である特徴マップを上位スケールの前記第３特徴マップ（ＦＭ３）と同一サイズである１６０ｘ９０のサイズを有するサイズが１６０ｘ９０ｘ６４である特徴マップに変換する。結果的に、前記第３アップサンプリングブロック（１２２−３）から出力された前記第３統合特徴マップは、前記第２アップサンプリングブロック（１２２−２）の前記第（１−２）特徴アップサンプリングレイヤ（１２２−２２）と、前記第（１−２）サブフィルターレイヤ（１２２−２１）によって上位スケールの前記第３特徴マップ（ＦＭ３）と同一のサイズとチャンネル深さを有する、つまりサイズが１６０ｘ９０ｘ６４である第２アップスケールされた特徴マップに変換され得る。しかし、前記第２アップスケールされた特徴マップは同一スケールの前記第３特徴マップ（ＦＭ３）に比べて前記第５特徴マップ（ＦＭ５）と前記第４特徴マップ（ＦＭ４）に含まれた特徴を含むようになる。以後、前記第２アップサンプリングブロック（１２２−２）は、前記第２アップスケールされた特徴マップと前記第３特徴マップ（ＦＭ３）を要素別演算して、サイズが１６０ｘ９０ｘ６４である第２統合特徴マップを生成して、これを前記第１アップサンプリングブロック（１２２−１）に入力し、前記第２アップサンプリングブロック（１２２−２）の第（２−２）サブフィルターレイヤ（１２２−２３）をもって前記第２統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記第２統合特徴マップでそれぞれの前記特徴がリファインされるように前記第２統合特徴マップに前記コンボリューション演算を適用するようにし、第（３−２）サブフィルターレイヤ（１２２−２４）をもって前記チャンネル深さ方向の特徴を利用して前記リバイスされた第２統合特徴マップ上でそれぞれの特徴がリファインされるように前記リバイスされた第２統合特徴マップに前記コンボリューション演算を適用するようにすることによって、サイズが１６０ｘ９０ｘ６４である前記第２ピラミッド特徴マップ（ＰＭ２）を出力させる。この際、前記第（２−２）サブフィルターレイヤ（１２２−２３）は３ｘ３コンボリューションレイヤであり得、前記第（３−２）サブフィルターレイヤ（１２２−２４）は１ｘ１コンボリューションレイヤであり得る。
【００６７】
以後、前記第１アップサンプリングブロック（１２２−１）の第（１−１）サブフィルターレイヤ（１２２−１１）は、前記第２アップサンプリングブロック（１２２−２）から出力されたサイズが１６０ｘ９０ｘ６４である前記第２統合特徴マップに前記コンボリューション演算を適用することによって、上位スケールの前記第２特徴マップ（ＦＭ２）のチャンネル深さと同一の３２のチャンネル深さを有するサイズが１６０ｘ９０ｘ３２である特徴マップを出力する。この際、前記第（１−１）サブフィルターレイヤ（１２２−１１）は、１ｘ１コンボリューションレイヤであり得る。そして、前記第１アップサンプリングブロック（１２２−１）の第（１−１）特徴アップサンプリングレイヤ（１２２−１２）は、前記第（１−１）サブフィルターレイヤ（１２２−１１）で出力されたサイズが１６０ｘ９０ｘ３２である前記特徴マップを上位スケールの前記第２特徴マップ（ＦＭ２）と同一サイズである３２０ｘ１８０のサイズを有する３２０ｘ１８０ｘ３２の特徴マップに変換する。結果的に、前記第２アップサンプリングブロック（１２２−２）から出力された前記第２統合特徴マップは、前記第（１−１）サブフィルターレイヤ（１２２−１１）及び前記第１アップサンプリングブロック（１２２−１）の前記第（１−１）特徴アップサンプリングレイヤ（１２２−１２）によって上位スケールの前記第２特徴マップ（ＦＭ２）の同一サイズとチャンネル深さを有する、つまりサイズが３２０ｘ１８０ｘ３２である第１アップスケールされた特徴マップに変換される。しかし、前記第１アップスケールされた特徴マップは、同一スケールの前記第２特徴マップ（ＦＭ２）に比べて前記第５特徴マップ（ＦＭ５）、前記第４特徴マップ（ＦＭ４）、及び前記第３特徴マップ（ＦＭ３）に含まれた特徴を含むようになる。以後、前記第１アップサンプリングブロック（１２２−１）は、前記第１アップスケールされた特徴マップと前記第３特徴マップ（ＦＭ３）を要素別演算して、サイズが３２０ｘ１８０ｘ３２である第１統合特徴マップを生成し、前記第１アップサンプリングブロック（１２２−１）の第（２−１）サブフィルターレイヤ（１２２−１３）をもって前記第１統合特徴マップ上でそれぞれの特徴から所定の距離内に位置した各特徴を利用して前記第１統合特徴マップでそれぞれの前記特徴がリファインされるように前記第１統合特徴マップに前記コンボリューション演算を適用するようにし、第（３−１）サブフィルターレイヤ（１２２−１４）をもって前記チャンネル深さ方向の特徴を利用して前記リバイスされた第１統合特徴マップ上でそれぞれの特徴がリファインされるように前記リバイスされた第１統合特徴マップに前記コンボリューション演算を適用するようにすることによって、サイズが３２０ｘ１８０ｘ３２である前記第１ピラミッド特徴マップ（ＰＭ１）を出力させる。この際、前記第（２−１）サブフィルターレイヤ（１２２−１３）は３ｘ３コンボリューションレイヤであり得、前記第（３−１）サブフィルターレイヤ（１２２−１４）は１ｘ１コンボリューションレイヤであり得る。
【００６８】
図４では前記第３アップサンプリングブロック乃至前記第１アップサンプリングブロックについて説明したが、これは説明の便宜のためのものであって、アップサンプリングブロックの個数はフィルタブロックの個数に対応して設定することができる。特に、前記第１アップサンプリングブロックで出力される前記ピラミッド特徴マップの前記スケールは、前記第２フィルタブロックから出力される前記特徴マップの前記スケールに対応するように説明したが、これとは異なり、前記アップサンプリングブロックの個数を調整して前記第１アップサンプリングブロックで出力される前記ピラミッド特徴マップの前記スケールが前記第１フィルタブロックで出力される前記第１特徴マップの前記スケールに対応させることもできる。
【００６９】
次に、再び図３を参照すると、前記第ｋピラミッド特徴マップ（ＰＭｋ）乃至前記第１ピラミッド特徴マップ（ＰＭ１）が生成された以後、前記学習装置（１００）は、前記ＲＰＮ（１２３）をもって前記第ｋピラミッド特徴マップ（ＰＭｋ）乃至前記第１ピラミッド特徴マップ（ＰＭ１）のうち少なくとも二つ以上のピラミッド特徴マップそれぞれに対して、少なくとも一つの物体を含むものと推定される各候補の領域に対応するそれぞれのＲＯＩに対するそれぞれのプロポーザルボックス（ＰＢ）を出力させる。
【００７０】
この際、前記ＲＰＮ（１２３）が、（ｉ）前記少なくとも二つ以上のピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するピラミッド特徴マップに前記コンボリューション演算を適用することによって、前記ピラミッド特徴マップ上で前記物体を含むものと推定される候補領域それぞれに対応するそれぞれのＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）前記プロポーザルレイヤをもって前記ＲＯＩ候補のうち前記物体が位置する確率が高い、少なくとも一つの特定ＲＯＩ候補を選択して、それぞれの前記ＲＯＩに対する前記プロポーザルボックス（ＰＢ）を出力させることができる。前記特定ＲＯＩ候補の前記確率は、既に設定された限界値より高い確率値であり得る。そして、前記プロポーザルレイヤを利用して、スケールの大きなピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分、及びスケールの小さなピラミッド特徴マップに対応する前記ＲＯＩ候補の少なくとも一部分のうちで前記少なくとも一つの特定ＲＯＩ候補が選択された際に、前記スケールが小さなピラミッド特徴マップに対応する前記ＲＯＩ候補のうち前記少なくとも一部分に含まれたピクセルデータの個数が、前記スケールの大きなピラミッド特徴マップに対応する前記ＲＯＩ候補のうち前記少なくとも一部分に含まれたピクセルデータの個数より多いか、又は同じになるようにすることができる。
【００７１】
一例として、図５を参照すると、（ｉ）前記第１ピラミッドピッチャーマップ（ＰＭ１）に対応する前記ＲＰＮ用コンボリューションレイヤ（１２３−１）が前記第１ピラミッド特徴マップ（ＰＭ１）に前記コンボリューション演算を加えた後、第１ＲＰＮ用ＦＣレイヤ（１２３−２）が第１ＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報を出力し、（ｉｉ）前記第２ピラミッド特徴マップ（ＰＭ２）に対応する前記ＲＰＮ用コンボリューションレイヤ（１２３−３）が前記第２ピラミッド特徴マップ（ＰＭ２）に前記コンボリューション演算を加えた後、第２ＲＰＮ用ＦＣレイヤ（１２３−４）が第２ＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報を出力し、（ｉｉｉ）前記第３ピラミッドの特徴マップ（ＰＭ３）に対応する前記ＲＰＮ用コンボリューションレイヤ（１２３−５）が前記第３ピラミッドの特徴マップ（ＰＭ３）に前記コンボリューション演算を加えた後、第３ＲＰＮ用ＦＣレイヤ（１２３−６）が第３ＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報を出力する。そして、前記プロポーザルレイヤ（１２３−７）は、前記第１ＲＯＩ候補、前記第２ＲＯＩ候補、及び前記第３ＲＯＩ候補それぞれについて前記物体を含む確率が高いＲＯＩ候補にそれぞれ対応する第１ＲＯＩ、第２ＲＯＩ、及び第３ＲＯＩを前記プロポーザルボックス（ＰＢ）として選択することができる。
【００７２】
次に、再び図３を参照すると、前記学習装置（１００）は、前記プーリングレイヤ（１２４）をもってそれぞれの前記少なくとも二つ以上のピラミッド特徴マップ上でそれぞれの前記各ＲＯＩに対応する各領域をプーリングして少なくとも一つの特徴ベクトルを出力させる。
【００７３】
一例として、図６を参照すると、前記第１ＲＯＩに対応する前記プーリングレイヤ（１２４−１）は、前記第１ピラミッド特徴マップ（ＰＭ１）上で前記第１ＲＯＩに対応する少なくとも一つの領域に前記プーリング演算を適用することによって、３２のチャンネル深さを有するサイズがＰｘＰである特徴マップを出力するようにし、前記第２ＲＯＩに対応する前記プーリングレイヤ（１２４−２）は、前記第２ピラミッド特徴マップ（ＰＭ２）上で前記第２ＲＯＩに対応する少なくとも一つの領域に前記プーリング演算を適用することによって、６４のチャンネル深さを有するサイズがＰｘＰである特徴マップを出力するようにし、前記第３ＲＯＩに対応する前記プーリングレイヤ（１２４−３）は、前記第３ピラミッドの特徴マップ（ＰＭ３）上で前記第３ＲＯＩに対応する少なくとも一つの領域に前記プーリング演算を適用することによって、１２８のチャンネル深さを有するサイズがＰｘＰである特徴マップを出力させる。そして、前記プーリングレイヤ（１２４）は、前記第１ＲＯＩに対応する前記チャンネル深さが３２である特徴マップ、前記第２ＲＯＩに対応する前記チャンネル深さが６４である特徴マップ、及び前記第３ＲＯＩに対応する前記チャンネル深さが１２８である特徴マップをコンカチネートしてチャンネル深さが２２４である前記特徴ベクトルを出力する。
【００７４】
再び図３を参照して、前記学習装置（１００）は、少なくとも一つのＦＣレイヤ（１２５）をもって、前記特徴ベクトルを利用してそれぞれの前記各ＲＯＩに対応する物体クラス情報（１２６）及び物体リグレッション情報（１２７）をそれぞれ出力するようにし、第１ロスレイヤ（１２８）をもってそれぞれの前記物体クラス情報とそれぞれの前記物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ（１２５）、前記第ｋアップサンプリングブロック（１２２−ｋ）乃至前記第１アップサンプリングブロック（１２２−１）、及び前記第１フィルターブロック（１２１−１）乃至前記第ｎフィルターブロック（１２２−ｎ）のパラメータのうち少なくとも一部を学習することができる。
【００７５】
また、前記学習装置（１００）は、前記ＲＰＮ（１２３）に対応する少なくとも一つの第２ロスレイヤ（１２９）をもって前記ＲＯＩリグレッション情報、前記ＲＯＩクラス情報、及びそれに対応する一つ以上の第２ＧＴを参照して少なくとも一つの第２ロスを出力させることによって、前記第２ロスを利用したバックプロパゲーションを通じて前記ＲＰＮ（１２３）の前記パラメータを学習するようにする。ここで、それぞれの物体クラス、及びそれぞれの物体リグレッションロスを含む前記第１ロスを利用したバックプロパゲーションと前記第２ロスを利用したバックプロパゲーションの時間的順序には制限がないであろう。
【００７６】
前記で説明したように、アップサンプリングされた互いに異なるスケールを有する少なくとも二つ以上の特徴マップを利用してプーリングされた特徴ベクトルの全体チャンネル深さが従来の特徴ベクトルの全体チャンネル深さより小さいので、従来のＲ−ＣＮＮ基盤の物体検出器に比べて演算量を増加させず、かつイメージ内の小さな物体は容易に検出することができるようになる。
【００７７】
図７は、本発明の一実施例による前記Ｒ−ＣＮＮ基盤の前記物体検出器のテスト装置（２００）を簡略的に示したものであって、図７を参照すると、前記テスト装置（２００）は通信部（２１０）とプロセッサ（２２０）を含むことができる。
【００７８】
まず、前記通信部（２１０）は、少なくとも一つのトレーニングイメージを取得するか、又は他の装置をもって取得できるよう支援することができる。
【００７９】
この際、本発明の一実施例による前記Ｒ−ＣＮＮ基盤の前記物体検出器は、図１乃至図６を参照して説明された前記学習方法によって学習された状態であり得る。
【００８０】
参考として下記の説明において、混同を防ぐために前記学習過程と関連した用語には「学習用」という単語を、テスト過程と関連した用語には「テスト用」という単語を追加した。
【００８１】
つまり、前記学習装置は、（ａ）少なくとも一つのトレーニングイメージが取得されると、（ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって少なくとも一つのトレーニングイメージに順次に前記コンボリューション演算を適用して順次にダウンサンプリングされた第１学習用特徴マップ乃至第ｎ学習用特徴マップを出力するようにし、（ｉｉ）前記第ｋアップサンプリングブロックをもって（ｉｉ−１）前記第ｎ学習用特徴マップを第（ｎ−１）学習用特徴マップと同一のスケールの第ｋ学習用アップスケールされた特徴マップに変換した後、（ｉｉ−２）前記第ｋ学習用アップスケールされた特徴マップ及び前記第（ｎ−１）学習用特徴マップを利用した演算を通じて第ｋ学習用統合特徴マップを出力するようにし、（ｉｉ−３）前記第ｋ学習用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｋ学習用統合特徴マップを利用して第ｋ学習用ピラミッド特徴マップに出力するようにし、（ｉｉｉ）第ｊアップサンプリングブロック（前記ｊはｋより小さい整数である）をもって（ｉｉｉ−１）第（ｊ＋１）学習用統合特徴マップを第（ｊ＋１）学習用特徴マップと同一のスケールの第ｊ学習用アップスケールされた特徴マップに変換した後、（ｉｉｉ−２）前記第ｊ学習用アップスケールされた特徴マップ及び前記第（ｊ＋１）学習用特徴マップを利用した演算を通じて第ｊ学習用統合特徴マップを出力し、（ｉｉｉ−３）前記第ｊ学習用統合特徴マップを第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉｉ−４）前記第ｊ学習用統合特徴マップを利用して第ｊ学習用ピラミッド特徴マップに出力するようにし、（ｉｖ）前記第１アップサンプリングブロックによって第１学習用ピラミッド特徴マップが出力されるまで前記（ｉｉ）及び（ｉｉｉ）プロセスを繰り返すことにより、第（ｋ−１）学習用ピラミッド特徴マップ乃至前記第１学習用ピラミッド特徴マップを出力し、（ｂ）ＲＰＮをもって前記第ｋ学習用ピラミッド特徴マップ乃至前記第１学習用ピラミッド特徴マップのうち少なくとも二つ以上の学習用ピラミッド特徴マップそれぞれに対して、少なくとも一つの学習用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれの各学習用ＲＯＩを出力するようにし、少なくとも一つのプーリングレイヤをもって前記少なくとも二つ以上の学習用ピラミッド特徴マップ上で、それぞれの前記各学習用ＲＯＩに対応する各領域に少なくとも一つのプーリング演算を適用して少なくとも一つの学習用特徴ベクトルを出力するようにし、（ｃ）少なくとも一つのＦＣレイヤをもって前記学習用特徴ベクトルを利用して、それぞれの前記各学習用ＲＯＩに対応する学習用物体クラス情報及び学習用物体リグレッション情報をそれぞれ出力するようにし、少なくとも一つの第１ロスレイヤをもってそれぞれの前記学習用物体クラス情報とそれぞれの前記学習用物体リグレッション情報及びこれに対応する第１ＧＴそれぞれを参照して少なくとも一つの第１ロスを出力させることによって、前記第１ロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記第ｋアップサンプリングブロック乃至前記第１アップサンプリングブロック、及び前記第１フィルターブロック乃至前記第ｎフィルターブロックのパラメータのうち少なくとも一部を学習した状態であり得る。
【００８２】
次に、前記プロセス（２２０）が（ａ）少なくとも一つのテストイメージが取得されると、（ｉ）前記第１フィルターブロック乃至前記第ｎフィルターブロックをもって前記テストイメージに順次に前記コンボリューション演算を適用して、順次にダウンサンプリングされた前記第１テスト用特徴マップ乃至前記第ｎテスト用特徴マップを出力するようにし、（ｉｉ）前記第ｋアップサンプリングブロックをもって（ｉｉ−１）前記第ｎテスト用特徴マップを第（ｎ−１）テスト用特徴マップと同一のスケールの第ｋテスト用アップスケールされた特徴マップに変換した後、（ｉｉ−２）前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを利用した演算を通じて第ｋテスト用統合特徴マップを出力し、（ｉｉ−３）前記第ｋテスト用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｉ−４）前記第ｋテスト用統合特徴マップを利用して第ｋテスト用ピラミッド特徴マップに出力するようにし、（ｉｉｉ）前記第ｊアップサンプリングブロック（この際、前記ｊは、前記ｋより小さい整数である）をもって（ｉｉｉ−１）第（ｊ＋１）テスト用統合特徴マップを第（ｊ＋１）テスト用特徴マップと同一のスケールの第ｊテスト用アップスケールされた特徴マップに変換した後、（ｉｉｉ−２）前記第ｊテスト用アップスケールされた特徴マップと前記第（ｊ＋１）テスト用特徴マップを利用した演算を通じて第ｊテスト用統合特徴マップを生成し、（ｉｉｉ−３）前記第ｊテスト用統合特徴マップを前記第（ｊ−１）アップサンプリングブロックに入力し、（ｉｉｉ−４）前記第ｊテスト用統合特徴マップを利用して第ｊテスト用ピラミッド特徴マップに出力するようにし、（ｉｖ）前記第１アップサンプリングブロックによって第１テスト用ピラミッド特徴マップが出力されるまで前記（ｉｉ）及び（ｉｉｉ）プロセスを繰り返すことにより、第（ｋ−１）テスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップを出力させる第１プロセス、（ｂ）前記ＲＰＮをもって前記第ｋテスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップのうち少なくとも二つ以上のテスト用ピラミッド特徴マップそれぞれに少なくとも一つのテスト用物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれのテスト用ＲＯＩを出力し、前記プーリングレイヤをもって前記少なくとも二つ以上のテスト用ピラミッド特徴マップ上で、それぞれの前記各テスト用ＲＯＩに対応する各領域に前記プーリング演算を適用して少なくとも一つのテスト用特徴ベクトルを出力させる第２プロセス、（ｃ）前記ＦＣレイヤをもって前記テスト用特徴ベクトルを利用して、それぞれの前記各テスト用ＲＯＩに対応するテスト用物体クラス情報及びテスト用物体リグレッション情報をそれぞれ出力させる第３プロセスを遂行することができる。
【００８３】
この際、本発明の一実施例による前記テスト装置（２００）は、コンピューティング装置としてプロセッサを搭載して演算能力を備えた装置であるならば、いくらでも本発明によるテスト装置（２００）として採択され得る。また、図７では一つのテスト装置（２００）のみを示したが、これに限定されず、前記テスト装置は複数に分けて役割を遂行することもできる。
【００８４】
本発明の一実施例による前記テスト装置（２００）を利用して前記Ｒ−ＣＮＮ基盤の前記物体検出器のテストする方法は、図８を参照して説明すると次のとおりである。以下の説明において、図２乃至６を参照して説明された前記学習装置から容易に理解可能な部分については詳細な説明を省略することとする。
【００８５】
まず、図２乃至図６を参照して説明した前記学習方法によって前記ＦＣレイヤ（２２５）、前記第ｋアップサンプリングブロック（２２２−ｋ）乃至前記第１アップサンプリングブロック（２２２−１）、前記第１フィルターブロック（２２１−１）乃至前記第ｎフィルターブロック（２２１−ｎ）、及び前記ＲＰＮ（２２３）の前記パラメータのうち少なくとも一部が学習された状態で、前記テストイメージが入力されると、前記テスト装置（２００）が、前記第１フィルターブロック（２２１−１）乃至前記第ｎフィルターブロック（２２１−ｎ）をもって前記テストイメージに順次に前記コンボリューション演算を適用するようにすることによって、順次にダウンサンプリングされた前記第１テスト用特徴マップ乃至前記第ｎ  テスト用フィーチャーマップを出力させる。
【００８６】
次に、前記テスト装置（２００）は、前記第ｋアップサンプリングブロック（２２２−ｋ）をもって（ｉ）前記第ｎテスト用特徴マップを第（ｎ−１）テスト用特徴マップと同一のスケールの第ｋテスト用アップスケールされた特徴マップに変換した後、（ｉｉ）前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを利用した演算を通じて第ｋテスト用統合特徴マップを出力するようにし、（ｉｉｉ）前記第ｋテスト用統合特徴マップを前記第（ｋ−１）アップサンプリングブロックに入力し、（ｉｖ）前記第ｋテスト用統合特徴マップを利用して第ｋテスト用ピラミッド特徴マップに出力させる。そして、前記テスト装置（２００）は（Ｉ）前記第ｊアップサンプリングブロックをもって（ｊはｋより小さな整数）（ｉ）第（ｊ＋１）テスト用統合特徴マップを第（ｊ＋１）テスト用特徴マップと同一のスケールの第ｊテスト用アップスケールされた特徴マップに変換した後、（ｉｉ）前記第ｊテスト用アップスケールされた特徴マップ及び前記第（ｊ＋１）テスト用特徴マップを利用した演算を通じて第ｊテスト用統合特徴マップを生成し、（ｉｉｉ）前記第ｊテスト用統合特徴マップを前記第（ｊ−１）アップサンプリングブロックに入力し、（ｉｖ）前記第ｊテスト用統合特徴マップを利用して第ｊテスト用ピラミッド特徴マップに出力するようにし、（ＩＩ）前記第１アップサンプリングブロック（２２２−１）によって第１テスト用ピラミッド特徴マップが出力されるまで第ｊテスト用統合特徴マップを利用して第ｊテスト用ピラミッド特徴マップを出力する前記プロセスを繰り返すことにより、第（ｋ−１）テスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップを出力させる。
【００８７】
この際、前記テスト装置（２００）は、前記第ｋテスト用アップスケールされた特徴マップ及び前記第（ｎ−１）テスト用特徴マップを要素別演算して前記第ｋテスト用統合特徴マップを出力し、前記第ｊテスト用アップスケールされた特徴マップ及び前記第（ｊ＋１）テスト用特徴マップを要素別演算して前記第ｊテスト用統合特徴マップを出力することができる。また、前記第ｋアップサンプリングブロック（２２２−ｋ）乃至前記第１アップサンプリングブロック（２２２−１）のそれぞれは、（ｉ）それに含まれる前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤそれぞれをもってそれぞれのテスト用下位スケールの特徴マップのチャンネル深さをそれぞれのテスト用上位スケールの特徴マップのチャンネル深さと同一に調節するようにし、（ｉｉ）前記第（１−ｋ）サブフィルターレイヤ乃至前記第（１−１）サブフィルターレイヤにそれぞれ対応する前記第（１−ｋ）特徴アップサンプリングレイヤ乃至前記第（１−１）特徴アップサンプリングレイヤそれぞれをもってそれぞれの前記テスト用下位スケールの特徴マップをアップサンプリングするようにすることによって、それぞれの前記テスト用下位スケールの特徴マップのサイズがそれぞれの前記テスト用上位スケールの特徴マップのサイズと同一になるようにする。そして、前記第ｋアップサンプリングブロック（２２２−ｋ）乃至前記第１アップサンプリングブロック（２２２−１）のそれぞれは、（ｉ）前記第（２−ｋ）サブフィルターレイヤ乃至前記第（２−１）サブフィルターレイヤそれぞれをもって前記テスト用統合特徴マップ上でそれぞれのテスト用特徴から所定の距離内に位置した各特徴を利用して前記テスト用統合特徴マップ上でそれぞれの前記テスト用特徴がリファインされるように、前記テスト用統合特徴マップに前記コンボリューション演算を適用することによりテスト用リバイスされた統合特徴マップを出力するようにし、（ｉｉ）前記第（３−ｋ）サブフィルターレイヤ乃至前記第（３−１）サブフィルターレイヤそれぞれをもって前記チャンネル深さ方向の特徴を利用して前記テスト用リバイスされた統合特徴マップ上でそれぞれのテスト用特徴がリファインされるように前記テスト用リバイスされた統合特徴マップに前記コンボリューション演算を適用して前記テスト用ピラミッド特徴マップを出力させる。
【００８８】
次に、前記第ｋテスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップが生成された後に、前記テスト装置（２００）は、前記ＲＰＮ（２２３）をもって前記第ｋテスト用ピラミッド特徴マップ乃至前記第１テスト用ピラミッド特徴マップのうち少なくとも二つ以上のテスト用ピラミッド特徴マップそれぞれについて前記物体を含むものと推定されるそれぞれの候補領域に対応するそれぞれのテスト用ＲＯＩに対するテスト用プロポーザルボックスを出力させる。
【００８９】
この際、前記ＲＰＮ（２２３）が、（ｉ）前記少なくとも二つ以上のテスト用ピラミッド特徴マップにそれぞれ対応するＲＰＮ用コンボリューションレイヤをもってこれに対応するテスト用ピラミッド特徴マップに前記コンボリューション演算を適用することによって、前記テスト用ピラミッド特徴マップ上で前記物体を含むものと推定される候補領域それぞれに対応するそれぞれのテスト用ＲＯＩ候補のテスト用ＲＯＩリグレッション情報及びテスト用ＲＯＩクラス情報それぞれを出力するようにし、（ｉｉ）前記プロポーザルレイヤをもって前記テスト用ＲＯＩ候補のうち前記物体が位置する確率が高い、少なくとも一つのテスト用特定ＲＯＩ候補を選択して、それぞれの前記テスト用ＲＯＩのための前記テスト用プロポーザルボックス（ＰＢ）を出力させる。前記テスト用特定ＲＯＩ候補の前記確率は、既に設定された限界値より高い確率値であり得る。そして、前記プロポーザルレイヤを利用して、スケールの大きなテスト用ピラミッド特徴マップに対応する前記テスト用ＲＯＩ候補の少なくとも一部分及びスケールの小さいテスト用ピラミッド特徴マップに対応する前記テスト用ＲＯＩ候補の少なくとも一部分のうちで前記少なくとも一つのテスト用特定ＲＯＩ候補を選択するにおいて、前記スケールの小さいテスト用ピラミッド特徴マップに対応する前記テスト用ＲＯＩ候補のうち前記少なくとも一部分に含まれたピクセルデータの個数が前記スケールの大きなテスト用ピラミッド特徴マップに対応する前記テスト用ＲＯＩ候補のうち前記少なくとも一部分に含まれたピクセルデータの個数より多いか、又は同じになるようにすることができる。
【００９０】
次に、前記テスト装置（２００）は、前記プーリングレイヤ（２２４）をもってそれぞれの前記少なくとも二つ以上のテスト用ピラミッド特徴マップ上で、それぞれの前記各テスト用ＲＯＩに対応する各領域に前記プーリング演算を適用して少なくとも一つのテスト用特徴ベクトルを出力させる。
【００９１】
次に、前記テスト装置（２１０）は、前記ＦＣレイヤ（２２５）によって前記テスト用特徴ベクトルを利用して、それぞれの前記各テスト用ＲＯＩに対応するテスト用物体クラス情報（２２６）及びテスト用物体リグレッション情報（２２７）をそれぞれ出力するようにして、前記テストイメージで前記物体を検出する。
【００９２】
前記で説明したとおり、アップサンプリングされた互いに異なるスケールを有する少なくとも二つ以上のテスト用特徴マップを利用してプーリングされた前記テスト用特徴ベクトルの全体チャンネル深さは従来のテスト用特徴ベクトルの全体チャンネル深さより小さいので、前記従来のＲ−ＣＮＮ基盤の前記物体検出器に比べて演算量を増加させず、かつイメージ内の小さな物体は容易に検出することができるようになる。
【００９３】
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を介して遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリーなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００９４】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
【００９５】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020061143.tif 000003
【図２】
2020061143.tif 000004
【図３】
2020061143.tif 000005
【図４】
2020061143.tif 000006
【図５】
2020061143.tif 000007
【図６】
2020061143.tif 000008
【図７】
2020061143.tif 000009
【図８】
2020061143.tif 000010