(57)【要約】      （修正有）【課題】Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器を学習する方法を提供する。【解決手段】学習方法は、学習装置１００がＲＰＮをもってＲＯＩ候補を生成させる段階と、プーリングレイヤをもって特徴ベクトルを出力させる段階と、バックプロパゲーションを通じてＦＣレイヤおよびコンボリューションレイヤを学習する段階と、を含む。本方法において、プーリングプロセスは、レーダー、ライダー（Ｌｉｄａｒ）または他のセンサーを通じて取得された距離情報及び物体情報を利用して物体の実際の割合と実際の大きさに応じて遂行される。学習方法及びテスト方法は、特定の位置で同一の観点からほぼ同じ大きさを有するため、監視に使用できる。【選択図】図３
2020119522.tif 000002
【特許請求の範囲】
【請求項１】
Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）を学習する方法において、
（ａ）学習装置が、少なくとも一つのコンボリューションレイヤをもって少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数のアンカーボックスを使用して、前記トレーニングイメージ内で少なくとも一つの物体が位置するものと推定される候補領域に対応するＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記物体が位置するものと判断される確率の高い特定ＲＯＩ候補をＲＯＩプロポーザルとして出力するようにする段階；
（ｂ）前記学習装置が、（ｉ）前記ＲＯＩプロポーザル生成に使用されたそれぞれの特定アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってそれに対応するプーリングサイズに応じて前記特徴マップ上で前記ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応する特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもって前記それぞれの特徴ベクトルを利用して前記それぞれのＲＯＩプロポーザルに対応するそれぞれの物体クラス情報及びそれぞれの物体リグレッション情報を出力させる段階；及び
（ｃ）前記学習装置が、前記それぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもって、前記それぞれの物体クラス情報と前記それぞれの物体リグレッション情報、これに対応するそれぞれの物体ＧＴを参照してそれぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出するようにすることにより、前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションを通じて前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤを学習する段階；
を含むことを特徴とする方法。
【請求項２】
前記学習装置が、ＲＰＮロスレイヤをもって（ｉ）前記ＲＯＩ候補のＲＯＩクラス情報及びＲＯＩリグレッション情報と（ｉｉ）これに該当するそれぞれのＲＯＩのＧＴを参照して、それぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを算出するようにし、
前記学習装置は、前記それぞれのＲＯＩクラスロスと前記それぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを遂行して前記ＲＰＮを学習することを特徴とする請求項１に記載の方法。
【請求項３】
前記学習装置が、
（ｉ）前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションと（ｉｉ）前記それぞれのＲＯＩクラスロスと前記それぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを別個に遂行することを特徴とする請求項２に記載の方法。
【請求項４】
前記（ａ）段階以前に、
前記学習装置が、（ｉ）前記ＲＯＩ候補のＲＯＩクラス情報及びＲＯＩリグレッション情報と（ｉｉ）これに対応するＲＯＩのＧＴそれぞれを参照して算出されたそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを通じて前記ＲＰＮを学習するプロセスを完了した状態であることを特徴とする請求項１に記載の方法。
【請求項５】
前記それぞれのプーリングサイズは、前記特定アンカーボックスの前記縦横比に対応することを特徴とする請求項１に記載の方法。
【請求項６】
前記それぞれのプーリングサイズは、前記特定アンカーボックスの前記スケールに対応することを特徴とする請求項１に記載の方法。
【請求項７】
前記それぞれのプーリングサイズは、検出しようとする前記物体の形状に対応することを特徴とする請求項１に記載の方法。
【請求項８】
前記それぞれのプーリングサイズは、前記特定アンカーボックスそれぞれのサイズに対応することを特徴とする請求項１に記載の方法。
【請求項９】
Ｒ−ＣＮＮ基盤の物体検出器をテストする方法において、
（ａ）学習装置が（Ｉ）少なくとも一つのコンボリューションレイヤをもって少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの学習用特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記学習用特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数の学習用アンカーボックスを使用して、前記トレーニングイメージ内で少なくとも一つの学習用物体が位置するものと推定される候補領域に対応する学習用ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記学習用物体が位置するものと判断される確率の高い特定学習用ＲＯＩ候補を学習用ＲＯＩプロポーザルとして出力するようにするプロセス；（ＩＩ）（ｉ）前記学習用ＲＯＩプロポーザル生成に使用されたそれぞれの特定学習用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記学習用ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってそれに対応するプーリングサイズに応じて前記学習用特徴マップ上で前記学習用ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応する学習用特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもって前記それぞれの学習用特徴ベクトルを利用して前記それぞれの学習用ＲＯＩプロポーザルに対応するそれぞれの学習用物体クラス情報及びそれぞれの学習用物体リグレッション情報を出力させるプロセス；（ＩＩＩ）前記それぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもって前記それぞれの学習用物体クラス情報、前記それぞれの学習用物体リグレッション情報及びそれに対応するそれぞれの物体ＧＴを参照してそれぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出するようにすることにより、前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションを通じて前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤを学習するプロセス；を遂行した状態で、テスト装置が、前記コンボリューションレイヤをもって少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つのテスト用特徴マップを出力するようにし、前記ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記テスト用特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別されるテスト用アンカーボックスを使用して前記テストイメージ内で少なくとも一つのテスト用物体が位置するものと推定される候補領域に対応するテスト用ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記テスト用物体が位置するものと判断される確率の高い特定テスト用ＲＯＩ候補をテスト用ＲＯＩプロポーザルとして出力するようにする段階；
（ｂ）前記テスト装置が、（ｉ）前記テスト用ＲＯＩプロポーザル生成に使用されたそれぞれの特定テスト用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記テスト用ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってそれに対応するプーリングサイズに応じて前記テスト用特徴マップ上で前記テスト用ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応するテスト用特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応する前記それぞれのＦＣレイヤをもって前記それぞれのテスト用特徴ベクトルを利用して前記それぞれのテスト用ＲＯＩプロポーザルに対応するそれぞれのテスト用物体クラス情報及びそれぞれのテスト用物体リグレッション情報を出力させる段階；
を含むことを特徴とするテスト方法。
【請求項１０】
前記（Ｉ）プロセス以前に、
前記学習装置が、（ｉ）前記学習用ＲＯＩ候補の学習用ＲＯＩクラス情報及び学習用ＲＯＩリグレッション情報と（ｉｉ）これに対応するＲＯＩのＧＴそれぞれを参照して算出されたそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを通じて前記ＲＰＮを学習するプロセスを完了した状態であることを特徴とする請求項９に記載のテスト方法。
【請求項１１】
前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスの前記縦横比に対応することを特徴とする請求項９に記載のテスト方法。
【請求項１２】
前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスの前記スケールに対応することを特徴とする請求項９に記載のテスト方法。
【請求項１３】
前記それぞれのプーリングサイズは、検出しようとする前記テスト用物体の形状に対応することを特徴とする請求項９に記載のテスト方法。
【請求項１４】
前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスそれぞれのサイズに対応することを特徴とする請求項９に記載のテスト方法。
【請求項１５】
Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）を学習する学習装置において、
インストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納する少なくとも一つのメモリ；及び
（Ｉ）少なくとも一つのコンボリューションレイヤをもって少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数のアンカーボックスを使用して、前記トレーニングイメージ内で少なくとも一つの物体が位置するものと推定される候補領域に対応するＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記物体が位置するものと判断される確率の高い特定ＲＯＩ候補をＲＯＩプロポーザルとして出力するようにするプロセス、（ＩＩ）（ｉ）前記ＲＯＩプロポーザル生成に使用されたそれぞれの特定アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってそれに対応するプーリングサイズに応じて前記特徴マップ上で前記ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応する特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもって前記それぞれの特徴ベクトルを利用して前記それぞれのＲＯＩプロポーザルに対応するそれぞれの物体クラス情報及びそれぞれの物体リグレッション情報を出力させるプロセス、及び（ＩＩＩ）前記それぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもって前記それぞれの物体クラス情報と前記それぞれの物体リグレッション情報、これに対応するそれぞれの物体ＧＴを参照してそれぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出するようにすることにより、前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションを通じて前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤを学習するプロセスを遂行するための前記インストラクションを遂行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
【請求項１６】
前記プロセッサは、ＲＰＮロスレイヤをもって（ｉ）前記ＲＯＩ候補のＲＯＩクラス情報及びＲＯＩリグレッション情報と（ｉｉ）これに該当するそれぞれのＲＯＩのＧＴを参照して、それぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを算出するようにし、
前記プロセッサは、前記それぞれのＲＯＩクラスロスと前記それぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを遂行して前記ＲＰＮを学習することを特徴とする請求項１５に記載の学習装置。
【請求項１７】
前記プロセッサは、
（ｉ）前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションと（ｉｉ）前記それぞれのＲＯＩクラスロスと前記それぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを別個に遂行することを特徴とする請求項１６に記載の学習装置。
【請求項１８】
前記（Ｉ）プロセス以前に、
前記プロセッサは、（ｉ）前記ＲＯＩ候補のＲＯＩクラス情報及びＲＯＩリグレッション情報と（ｉｉ）これに対応するＲＯＩのＧＴそれぞれを参照して算出されたそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを通じて前記ＲＰＮを学習するプロセスを完了した状態であることを特徴とする請求項１５に記載の学習装置。
【請求項１９】
前記それぞれのプーリングサイズは、前記特定アンカーボックスの前記縦横比に対応することを特徴とする請求項１５に記載の学習装置。
【請求項２０】
前記それぞれのプーリングサイズは、前記特定アンカーボックスの前記スケールに対応することを特徴とする請求項１５に記載の学習装置。
【請求項２１】
前記それぞれのプーリングサイズは、検出しようとする前記物体の形状に対応することを特徴とする請求項１５に記載の学習装置。
【請求項２２】
前記それぞれのプーリングサイズは、前記特定アンカーボックスそれぞれのサイズに対応することを特徴とする請求項１５に記載の学習装置。
【請求項２３】
Ｒ−ＣＮＮ基盤の物体検出器をテストするテスト装置において、
インストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納する少なくとも一つのメモリ；及び
（Ｉ）少なくとも一つのコンボリューションレイヤをもって少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの学習用特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記学習用特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数の学習用アンカーボックスを使用して、前記トレーニングイメージ内で少なくとも一つの学習用物体が位置するものと推定される候補領域に対応する学習用ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記学習用物体が位置するものと判断される確率の高い特定学習用ＲＯＩ候補を学習用ＲＯＩプロポーザルとして出力するようにするプロセス；  （ＩＩ）（ｉ）前記学習用ＲＯＩプロポーザル生成に使用されたそれぞれの特定学習用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記学習用ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってこれに対応するプーリングサイズに応じて前記学習用特徴マップ上で、前記学習用ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応する学習用特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもって前記それぞれの学習用特徴ベクトルを利用して前記それぞれの学習用ＲＯＩプロポーザルに対応するそれぞれの学習用物体クラス情報及びそれぞれの学習用物体リグレッション情報を出力させるプロセス；（ＩＩＩ）前記それぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもって、前記それぞれの学習用物体クラス情報、前記それぞれの学習用物体リグレッション情報及びそれに対応するそれぞれの物体ＧＴを参照してそれぞれの物体クラスロスとそれぞれの物体リグレッションをロスを算出するようにすることにより、前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションを通じて前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤを学習するプロセス；を遂行した状態で、（１）前記コンボリューションレイヤをもって少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つのテスト用特徴マップを出力するようにし、前記ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記テスト用特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別されるテスト用アンカーボックスを使用して前記テストイメージ内で少なくとも一つのテスト用物体が位置するものと推定される候補領域に対応するテスト用ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記テスト用物体が位置するものと判断される確率の高い特定テスト用ＲＯＩ候補をテスト用ＲＯＩプロポーザルとして出力するようにするプロセス、及び（２）（ｉ）前記テスト用ＲＯＩプロポーザル生成に使用されたそれぞれ��特定テスト用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記テスト用ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってそれに対応するプーリングサイズに応じて前記テスト用特徴マップ上で前記テスト用ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応するテスト用特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応する前記それぞれのＦＣレイヤをもって前記それぞれのテスト用特徴ベクトルを利用して、前記それぞれのテスト用ＲＯＩプロポーザルに対応するそれぞれのテスト用物体クラス情報及びそれぞれのテスト用物体リグレッション情報を出力させるプロセスを遂行するインストラクションを遂行するように設定された少なくとも一つのプロセッサ；
を含むことを特徴とするテスト装置。
【請求項２４】
前記（Ｉ）プロセス以前に、
前記学習装置が、（ｉ）前記学習用ＲＯＩ候補の学習用ＲＯＩクラス情報及び学習用ＲＯＩリグレッション情報と（ｉｉ）これに対応するＲＯＩのＧＴそれぞれを参照して算出されたそれぞれのＲＯＩクラスロスと、それぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを通じて前記ＲＰＮを学習するプロセスを完了した状態であることを特徴とする請求項２３に記載のテスト装置。
【請求項２５】
前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスの前記縦横比に対応することを特徴とする請求項２３に記載のテスト装置。
【請求項２６】
前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスの前記スケールに対応することを特徴とする請求項２３に記載のテスト装置。
【請求項２７】
前記それぞれのプーリングサイズは、検出しようとする前記テスト用物体の形状に対応することを特徴とする請求項２３に記載のテスト装置。
【請求項２８】
前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスそれぞれのサイズに対応することを特徴とする請求項２３に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
物体の縦横比やスケールに応じてモードを切り換えることができるＲ−ＣＮＮ基盤の監視に使用される物体検出器の学習方法及びテスト方法、それを利用した学習装置及びテスト装置｛ＬＥＡＲＮＩＮＧ  ＭＥＴＨＯＤ  ＡＮＤ  ＴＥＳＴＩＮＧ  ＭＥＴＨＯＤ  ＯＦ  ＯＢＪＥＣＴ  ＤＥＴＥＣＴＯＲ  ＴＯ  ＢＥ  ＵＳＥＤ  ＦＯＲ  ＳＵＲＶＥＩＬＬＡＮＣＥ  ＢＡＳＥＤ  ＯＮ  Ｒ−ＣＮＮ  ＣＡＰＡＢＬＥ  ＯＦ  ＣＯＮＶＥＲＴＩＮＧ  ＭＯＤＥＳ  ＡＣＣＯＲＤＩＮＧ  ＴＯ  ＡＳＰＥＣＴ  ＲＡＴＩＯＳ  ＯＲ  ＳＣＡＬＥＳ  ＯＦ  ＯＢＪＥＣＴＳ、  ＡＮＤ  ＬＥＡＲＮＩＮＧ  ＤＥＶＩＣＥ  ＡＮＤ  ＴＥＳＴＩＮＧ  ＤＥＶＩＣＥ  ＵＳＩＮＧ  ＴＨＥ  ＳＡＭＥ｝を提供する。
【０００２】
本発明は、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）を学習する方法に関し、より詳細には、前記Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の前記物体検出器（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）を学習する方法において、（ａ）学習装置が、少なくとも一つのコンボリューションレイヤをもって少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数のアンカーボックスを使用して、前記トレーニングイメージ内で少なくとも一つの物体が位置するものと推定される候補領域に対応するＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成させ、（ｉｉ）前記物体が位置するものと判断される確率の高い特定ＲＯＩ候補をＲＯＩプロポーザルとして出力させる段階；（ｂ）前記学習装置が、（ｉ）前記ＲＯＩプロポーザル生成に使用されたそれぞれの特定アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもって、これに対応するプーリングサイズに応じて前記特徴マップ上で前記ＲＯＩプロポーザルに対応する領域をプーリングするようにし、これに対応する特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもって前記それぞれの特徴ベクトルを利用して前記それぞれのＲＯＩプロポーザルに対応するそれぞれの物体クラス情報及びそれぞれの物体リグレッション情報を出力させる段階及び（ｃ）前記学習装置が、前記それぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもって前記それぞれの物体クラス情報と前記それぞれの物体リグレッション情報、それに対応するそれぞれの物体ＧＴを参照して、それぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出するようにすることにより、前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションを通じて前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤを学習する段階；を含むことを特徴とする学習方法、テスト方法と、それを利用した学習装置及びテスト装置に関する。
【背景技術】
【０００３】
マシンラーニングにおいて、ＣＮＮ又はＣｏｎｖＮｅｔ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）はビジュアルイメージを分析するのに成功裏に適用されるディープフィードフォワード人工神経回路網（Ｄｅｅｐ、  Ｆｅｅｄ−Ｆｏｒｗａｒｄ  Ａｒｔｉｆｉｃｉａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の一つのクラス（Ｃｌａｓｓ）である。
【０００４】
図１は、従来のＲ−ＣＮＮを利用した物体検出器のテスト方法を簡略に示す。
【０００５】
まず、図１に示されているようなテスト装置は、ＲＧＢイメージ（１０１）を取得してコンボリューションブロックに含まれた少なくとも一つのコンボリューションレイヤ（１０２）、すなわち、コンボリューションフィルターに入力させる。コンボリューションレイヤを通過することによって、ＲＧＢイメージは幅、高さが減るもののチャンネル数は増加する。
【０００６】
次にテスト装置は、特徴マップ（１０３）を学習されたＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）（１０４）に通過させてＲＯＩ（１０５）を生成し、プーリングレイヤ（１０６）をもって特徴マップ上でＲＯＩ（１０５）に対応する領域にマックスプーリング（Ｍａｘ  Ｐｏｏｌｉｎｇ）演算又は平均プーリング（Ａｖｅｒａｇｅ  Ｐｏｏｌｉｎｇ）演算のうちいずれかを適用して、前記領域に含まれたピクセルデータをリサイズさせ、前記リサイズされた特徴マップを参照して特徴ベクトルを出力する。
【０００７】
次にテスト装置は、特徴ベクトルを学習されたＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤ（１０８）に入力して分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）などの作業を通じて入力されたＲＧＢイメージ上で物体の種類を決定し、ＦＣレイヤを利用して入力されたＲＧＢイメージ上でパウンディンボックスを生成することができる。
【０００８】
このような従来のＲ−ＣＮＮを利用して物体を検出する方法によって、アンカーボックスを使用してＲＯＩプロポーザルを取得する。ここで、物体は大きさと形態が多様であるため、これをうまく探すためにアンカーボックスは多様なスケール（Ｓｃａｌｅ）と縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）を有する。
【０００９】
しかし、プーリングレイヤが特徴マップをプーリングする過程で、多様な物体の大きさと形態を考慮することができず、単一スケールと単一の縦横比でのみプーリング演算が遂行される問題点がある。このため、このような方法は物体を正確に検出することができない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上述した問題点を全て解決することをその目的とする。
【００１１】
本発明は、物体の大きさと形態に関係なく正確に検出することができるＲ−ＣＮＮ基盤の物体検出器を提供することを他の目的とする。
【００１２】
本発明は、従来に比べて演算量の増加や演算速度の減少なしに、より正確な物体検出が可能なＲ−ＣＮＮ基盤の物体検出器を提供することをまた他の目的とする。
【課題を解決するための手段】
【００１３】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【００１４】
本発明の一態様によると、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）を学習する方法において、（ａ）学習装置が、少なくとも一つのコンボリューションレイヤをもって少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数のアンカーボックスを使用して、前記トレーニングイメージ内で少なくとも一つの物体が位置するものと推定される候補領域に対応するＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記物体が位置するものと判断される確率の高い特定ＲＯＩ候補をＲＯＩプロポーザルとして出力させる段階；（ｂ）前記学習装置が、（ｉ）前記ＲＯＩプロポーザル生成に使用されたそれぞれの特定アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプレーリングレイヤに前記ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもって、これに対応するプーリングサイズに応じて、前記特徴マップ上で前記ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応する特徴ベクトルを出力させ、（ｉｉｉ）前記それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもって前記それぞれの特徴ベクトルを利用して前記それぞれのＲＯＩプロポーザルに対応するそれぞれの物体クラス情報及びそれぞれの物体リグレッション情報を出力させる段階；及び（ｃ）前記学習装置が、前記それぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもって前記それぞれの物体クラス情報と前記それぞれの物体リグレッション情報、これに対応するそれぞれの物体ＧＴを参照して、それぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出することによって、前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションを通じて前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤを学習する段階；を含むことを特徴とする。
【００１５】
一実施例で、前記学習装置が、ＲＰＮロスレイヤをもって（ｉ）前記ＲＯＩ候補のＲＯＩクラス情報及びＲＯＩリグレッション情報と（ｉｉ）これに該当するそれぞれのＲＯＩのＧＴを参照して、それぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを算出するようにし、前記学習装置は、前記それぞれのＲＯＩクラスロスと前記それぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを遂行して前記ＲＰＮを学習することを特徴とする。
【００１６】
一実施例で、前記学習装置が、（ｉ）前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションと、（ｉｉ）前記それぞれのＲＯＩクラスロスと前記それぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを別個に遂行することを特徴とする。
【００１７】
一実施例で、前記（ａ）段階以前に前記学習装置が、（ｉ）前記ＲＯＩ候補のＲＯＩクラス情報及びＲＯＩリグレッション情報と、（ｉｉ）これに対応するＲＯＩのＧＴそれぞれを参照して算出されたそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを通じて前記ＲＰＮを学習するプロセスを完了した状態であることを特徴とする。
【００１８】
一実施例で、前記それぞれのプーリングサイズは、前記特定アンカーボックスの前記縦横比に対応することを特徴とする。
【００１９】
一実施例で、前記それぞれのプーリングサイズは、前記特定アンカーボックスの前記スケールに対応することを特徴とする。
【００２０】
一実施例で、前記それぞれのプーリングサイズは、検出しようとする前記物体の形状に対応することを特徴とする。
【００２１】
一実施例で、前記それぞれのプーリングサイズは、前記特定アンカーボックスそれぞれのサイズに対応することを特徴とする。
【００２２】
本発明の他の態様によると、Ｒ−ＣＮＮ基盤の物体検出器をテストする方法において、（ａ）学習装置が（Ｉ）少なくとも一つのコンボリューションレイヤをもって少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの学習用特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記学習用特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数の学習用アンカーボックスを使用して前記トレーニングイメージ内で少なくとも一つの学習用物体が位置するものと推定される候補領域に対応する学習用ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記学習用物体が位置するものと判断される確率の高い特定の学習ＲＯＩ候補を学習ＲＯＩプロポーザルとして出力するようにするプロセス；（ＩＩ）（ｉ）前記学習用ＲＯＩプロポーザル生成に使用されたそれぞれの特定学習用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記学習用ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってそれに対応するプーリングサイズに応じて前記学習用特徴マップ上で前記学習用ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応する学習用特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもって前記それぞれの学習用特徴ベクトルを利用して前記それぞれの学習用ＲＯＩプロポーザルに対応するそれぞれの学習用物体クラス情報及び、それぞれの学習用物体リグレッション情報を出力させるプロセス；（ＩＩＩ）前記それぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもって前記それぞれの学習用物体クラス情報、前記それぞれの学習用物体リグレッション情報及びそれに対応するそれぞれの物体ＧＴを参照して、それぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出するようにすることにより、前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションを通じて前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤを学習するプロセス；を遂行した状態で、テスト装置が、前記コンボリューションレイヤをもって少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つのテスト用特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記テスト用特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別されるテスト用アンカーボックスを使用して前記テストイメージ内で少なくとも１つのテスト用物体が位置するものと推定される候補領域に対応するテスト用ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）の候補を生成するようにし、（ｉｉ）前記テスト用物体が位置するものと判断される確率の高い特定テスト用ＲＯＩ候補をテスト用ＲＯＩプロポーザルとして出力す���ようにする段階；（ｂ）前記テスト装置が、（ｉ）前記テスト用ＲＯＩプロポーザル生成に使用されたそれぞれの特定テスト用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記テスト用ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもって、それに対応するプーリングサイズに応じて前記テスト用特徴マップ上で前記テスト用ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応するテスト用特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応する前記それぞれのＦＣレイヤをもって前記それぞれのテスト用特徴ベクトルを利用して前記それぞれのテスト用ＲＯＩプロポーザルに対応するそれぞれのテスト用物体クラス情報及びそれぞれのテスト用物体リグレッション情報を出力させる段階；を含むことを特徴とする。
【００２３】
一実施例で、前記（Ｉ）のプロセス以前に、前記学習装置が、（ｉ）前記学習用ＲＯＩ候補の学習用ＲＯＩクラス情報及び学習用ＲＯＩリグレッション情報と（ｉｉ）これに対応するＲＯＩのＧＴそれぞれを参照して算出されたそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを通じて前記ＲＰＮを学習するプロセスを完了した状態であることを特徴とする。
【００２４】
一実施例で、前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスの前記縦横比に対応することを特徴とする。
【００２５】
一実施例で、前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスの前記スケールに対応することを特徴とする。
【００２６】
一実施例で、前記それぞれのプーリングサイズは、検出しようとする前記テスト用物体の形状に対応することを特徴とする。
【００２７】
一実施例で、前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスのそれぞれのサイズに対応することを特徴とする。
【００２８】
本発明のまた他の態様によると、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の物体検出器（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）を学習する学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）少なくとも一つのコンボリューションレイヤをもって少なくとも一つのトレーニングイメージに対してコンボリューション映像を少なくとも一回適用するようにして少なくとも一つの特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数のアンカーボックスを使用して、前記トレーニングイメージ内で少なくとも一つの物体が位置するものと推定される候補領域に対応するＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記物体が位置するものと判断される確率の高い特定ＲＯＩ候補をＲＯＩプロポーザルとして出力するようにするプロセス、（ＩＩ）（ｉ）前記ＲＯＩプロポーザル生成に使用されたそれぞれの特定アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってそれに対応するプーリングサイズに応じて前記特徴マップ上で前記ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応する特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもって前記それぞれの特徴ベクトルを利用して前記それぞれのＲＯＩプロポーザルに対応するそれぞれの物体クラス情報及びそれぞれの物体リグレッション情報を出力させるプロセス、及び（ＩＩＩ）前記それぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもって前記それぞれの物体クラス情報と前記それぞれのリグレッション情報、これに対応するそれぞれの物体ＧＴを参照してそれぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出するようにすることにより、前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションを通じて前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする。
【００２９】
一実施例において、前記プロセッサは、ＲＰＮロスレイヤをもって（ｉ）前記ＲＯＩ候補のＲＯＩクラス情報及びＲＯＩリグレッション情報と（ｉｉ）これに該当するそれぞれのＲＯＩのＧＴを参照して、それぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを算出するようにし、前記プロセッサは、前記それぞれのＲＯＩクラスロスと前記それぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを遂行して前記ＲＰＮを学習することを特徴とする。
【００３０】
一実施例において、前記プロセスは、（ｉ）前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションと、（ｉｉ）前記それぞれのＲＯＩクラスロスと前記それぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを別個に行うことを特徴とする。
【００３１】
一実施例において、前記（Ｉ）プロセス以前に、前記プロセッサは、（ｉ）前記ＲＯＩ候補のＲＯＩクラス情報及びＲＯＩリグレッション情報と（ｉｉ）これに対応するＲＯＩのＧＴそれぞれを参照して算出されたそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを通じて前記ＲＰＮを学習するプロセスを完了した状態であることを特徴とする。
【００３２】
一実施例において、前記それぞれのプーリングサイズは、前記特定アンカーボックスの前記縦横比に対応することを特徴とする。
【００３３】
一実施例において、前記それぞれのプーリングサイズは、前記特定アンカーボックスの前記スケールに対応することを特徴とする。
【００３４】
一実施例において、前記それぞれのプーリングサイズは、検出しようとする前記物体の形状に対応することを特徴とする。
【００３５】
一実施例において、前記それぞれのプーリングサイズは、前記特定アンカーボックスそれぞれのサイズに対応することを特徴とする。
【００３６】
本発明のまた他の態様によると、Ｒ−ＣＮＮ基盤の物体検出器をテストするテスト装置において、インストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納する少なくとも一つのメモリ；及び（Ｉ）少なくとも一つのコンボリューションレイヤをもって少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの学習用特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記学習用特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数の学習用アンカーボックスを使用して前記トレーニングイメージ内で少なくとも一つの学習用物体が位置するものと推定される候補領域に対応する学習用ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記学習用物体が位置するものと判断される確率の高い特定学習用ＲＯＩ候補を学習用ＲＯＩプロポーザルとして出力するようにするプロセス；（ＩＩ）（ｉ）前記学習用ＲＯＩプロポーザル生成に使用されたそれぞれの特定学習用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記学習用ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってそれに対応するプーリングサイズに応じて前記学習用特徴マップ上で前記学習用ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応する学習用特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもって前記それぞれの学習用特徴ベクトルを利用して前記それぞれの学習用ＲＯＩプロポーザルに対応するそれぞれの学習用物体クラス情報及びそれぞれの学習用物体リグレッション情報を出力させるプロセス；（ＩＩＩ）前記それぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもって前記それぞれの学習用物体クラス情報、前記それぞれの学習用物体リグレッション情報及びそれに対応するそれぞれの物体ＧＴを参照してそれぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出するようにすることにより、前記それぞれの物体クラスロスと前記それぞれの物体リグレッションロスを利用したバックプロパゲーションを通じて前記それぞれのＦＣレイヤ及び前記コンボリューションレイヤを学習するプロセス；を遂行した状態で、（１）前記コンボリューションレイヤをもって少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用するようにして少なくとも一つのテスト用特徴マップを出力するようにし、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって（ｉ）前記テスト用特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別されるテスト用アンカーボックスを使用して前記テストイメージ内で少なくとも一つのテスト用物体が位置するものと推定される候補領域に対応するテスト用ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）候補を生成するようにし、（ｉｉ）前記テスト用物体が位置するものと判断される確率の高い���定テスト用ＲＯＩ候補をテスト用ＲＯＩプロポーザルとして出力するようにするプロセス及び（２）（ｉ）前記テスト用ＲＯＩプロポーザル生成に使用されたそれぞれの特定テスト用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤに前記テスト用ＲＯＩプロポーザルを入力し、（ｉｉ）前記それぞれのプーリングレイヤをもってそれに対応するプーリングサイズに応じて前記テスト用特徴マップ上で前記テスト用ＲＯＩプロポーザルに対応する領域をプーリングするようにして、これに対応するテスト用特徴ベクトルを出力するようにし、（ｉｉｉ）前記それぞれのプーリングレイヤに対応する前記それぞれのＦＣレイヤをもって前記それぞれのテスト用特徴ベクトルを利用して前記それぞれのテスト用ＲＯＩプロポーザルに対応するそれぞれのテスト用物体クラス情報及びそれぞれのテスト用物体リグレッション情報を出力させるプロセスを遂行するインストラクションを遂行するように設定された少なくとも一つのプロセッサ；を含むことを特徴とする。
【００３７】
一実施例で、前記（Ｉ）プロセス以前に、前記学習装置が、（ｉ）前記学習用ＲＯＩ候補の学習用ＲＯＩクラス情報及び学習用ＲＯＩリグレッション情報と（ｉｉ）これに対応するＲＯＩのＧＴそれぞれを参照して算出されたそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを通じて前記ＲＰＮを学習するプロセスを完了した状態であることを特徴とする。
【００３８】
一実施例で、前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスの前記縦横比に対応することを特徴とする。
【００３９】
一実施例で、前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスの前記スケールに対応することを特徴とする。
【００４０】
一実施例で、前記それぞれのプーリングサイズは、検出しようとする前記テスト用物体の形状に対応することを特徴とする。
【００４１】
一実施例で、前記それぞれのプーリングサイズは、前記特定テスト用アンカーボックスそれぞれのサイズに対応することを特徴とする。
【００４２】
この他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００４３】
本発明は従来の技術に比べて、Ｒ−ＣＮＮ基盤の物体検出器でＲＯＩプロポーザルに使用されたアンカーボックスの情報に応じて特徴マップ上の領域をプーリングすることにより、物体をより正確に検出することができる効果がある。
【００４４】
また、本発明は従来の技術に比べて、Ｒ−ＣＮＮ基盤の物体検出器でＲＯＩプロポーザルに使用されたアンカーボックスの情報に応じて特徴マップ上の領域をプーリングすることにより、物体の形態と大きさに関係なく物体をより正確に検出することができる効果がある。
【００４５】
また、本発明はＲ−ＣＮＮ基盤の物体検出器で従来と同一の個数のＲＯＩプロポーザルを使用するので、従来の技術と比較して演算量が増加したり演算速度が減少せずに、より正確に物体を検出することができるまた他の効果がある。
【００４６】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図面の簡単な説明】
【００４７】
【図１】図１は、従来の技術によるＲ−ＣＮＮ基盤の物体検出器のテスト装置を簡略に示したものである。
【図２】図２は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器を学習する学習装置を簡略に示したものである。
【図３】図３は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器を学習する方法を簡略に示したものである。
【図４】図４は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器でＲＰＮにおけるアンカーボックスを簡略に示したものである。
【図５】図５は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器をテストするテスト装置を簡略に示したものである。
【図６】図６は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器をテストする方法を簡略に示したものである。
【発明を実施するための形態】
【００４８】
後述する本発明に関する詳細な説明は、本発明の目的、技術的解法及び長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。
【００４９】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００５０】
本発明で言及している各種イメージは、舗装又は非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００５１】
以下、本発明の属する技術分野において、通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の望ましい実施例について、添付された図面を参照して詳細に説明することとする。
【００５２】
図２は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器を学習する学習装置（１００）を簡略に示したものであって、図２を参照すると、学習装置（１００）は通信部（１１０）とプロセッサ（１２０）を含むことができる。
【００５３】
また、学習装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ（１１５）をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）に統合され得る。 
先ず、通信部（１１０）は、少なくとも一つのトレーニングイメージを受信することができる。
【００５４】
この際、トレーニングイメージはデータベース（１３０）に格納されており、データベース（１３０）にはトレーニングイメージに含まれるそれぞれの物体に関するクラス情報及び位置情報に関するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）が格納されていることもある。
【００５５】
プロセッサ（１２０）は、少なくとも一つのコンボリューションレイヤをもってトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの特徴マップを出力するようにし、ＲＰＮをもって（ｉ）特徴マップ上でスケールと縦横比（Ａｓｐｅｃｔ  Ｒａｔｉｏ）のうち少なくとも一部によって区別される複数のアンカーボックスを使用してトレーニングイメージ内で少なくとも一つの物体が位置するものと推定される候補領域に対応するＲＯＩ候補を生成するようにし、（ｉｉ）物体が位置するものと判断される確率の高い特定ＲＯＩ候補をＲＯＩプロポーザルとして出力するようにする。この際、先に言及した「確率の高い」という表現は、それぞれの確率が設定済みの閾値以上という意味であり得る。そして、プロセッサ（１２０）は、（ｉ）ＲＯＩプロポーザル生成に使用されたそれぞれの特定アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤにＲＯＩプロポーザルを入力し、（ｉｉ）それぞれのプーリングレイヤをもって特徴マップ上でＲＯＩプロポーザルに対応する領域を特徴マップに対応するプーリングサイズでプーリングするようにしてこれに対応する特徴ベクトルを出力するようにし、（ｉｉｉ）それぞれのプーリングレイヤに対応するそれぞれのＦＣレイヤをもってそれぞれの特徴ベクトルを利用して、それぞれのＲＯＩプロポーザルに対応するそれぞれの物体クラス情報及びそれぞれの物体リグレッション情報を出力させる。以後、プロセッサ（１２０）はそれぞれのＦＣレイヤに対応するそれぞれの物体ロスレイヤをもってそれぞれの物体クラス情報、それぞれの物体リグレッション情報及びそれに対応するそれぞれの物体ＧＴを参照してそれぞれの物体クラスロスとそれぞれの物体リグレッションロスを利用したバックプロパゲーションを通じてそれぞれのＦＣレイヤ及びコンボリューションレイヤを学習することができる。
【００５６】
また、学習装置（１００）は、ＲＰＮロスレイヤをもって（ｉ）ＲＯＩ候補のＲＯＩクラス情報及びＲＯＩリグレッション情報と（ｉｉ）これに対応するそれぞれのＲＯＩのＧＴを参照してそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを算出するようにする。以後、学習装置は、それぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを遂行してＲＰＮを学習することができる。
【００５７】
ここで、学習装置（１００）は、（ｉ）それぞれの物体クラスロスとそれぞれの物体リグレッションロスを利用したバックプロパゲーションと（ｉｉ）それぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを個別に遂行することができる。
【００５８】
本発明の一実施例による学習装置（１００）はコンピュータ装置であって、プロセッサを搭載して演算能力を備えた装置であるならばいくらでも本発明による学習装置（１００）として採択され得る。また、図２では一つの学習装置（１００）のみを示したが、これに限定されず、学習装置は複数個に分けて役割を遂行することもできる。
【００５９】
このように構成された本発明の一実施例による学習装置（１００）を利用して、Ｒ−ＣＮＮ基盤の物体検出器を学習する方法を図３を参照して説明すると次の通りである。
【００６０】
まず、トレーニングイメージが入力されると、学習装置（１００）が、少なくとも一つのコンボリューションレイヤ（１２１）をもってトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの特徴マップを出力するようにする。この際、コンボリューションレイヤ（１２１）は、トレーニングイメージに対して順次にコンボリューション演算を適用するために複数個のコンボリューションユニット（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｕｎｉｔ）を含むことができる。
【００６１】
そして、学習装置（１００）は、ＲＰＮ（１２２）をもって（ｉ）特徴マップ上でスケールと縦横比のうち少なくとも一部によって区別される複数のアンカーボックスを使用してトレーニングイメージ内で物体が位置するものと推定される候補領域に対応するＲＯＩ候補を生成するようにし、（ｉｉ）位置するものと判断される確率の高い特定ＲＯＩ候補をＲＯＩプロポーザルとして出力するようにする。
【００６２】
一例として図４を参照すると、アンカーボックスはスケール（Ｓ１、Ｓ２、Ｓ３）と縦横比（ＡＲ１、ＡＲ２、ＡＲ３）によって９個が定義され得るが、これに限定されず、スケールと縦横比の組合せにより多様な個数が定義され得る。そして、学習装置（１００）は設定済みサイズのスライディングウィンドウを特徴マップ上で移動させ、移動するスライディングウィンドウの位置それぞれに対応する特徴マップ上の領域それぞれに対してコンボリューション演算を少なくとも一回適用して設定済みの大きさの特徴マップを生成するようにする。そして、生成された特徴マップをＲＯＩ分類レイヤとＲＯＩリグレッションレイヤに入力する。この際、図４に示された特徴マップは、それぞれの特徴を含む。また、学習装置（１００）は、ＲＯＩ分類をもって移動するスライディングウィンドウの中心それぞれを参照して決定されたアンカーボックスそれぞれに対するＲＯＩクラス情報を出力するようにし、ＲＯＩリグレッションレイヤをもって移動するスライディングウィンドウの中心それぞれを参照して決定されたアンカーボックスそれぞれに対するＲＯＩリグレッション情報を出力させる。以後、学習装置（１００）はＲＯＩクラス情報とＲＯＩリグレッション情報を参照してＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  Ｏｖｅｒ  Ｕｎｉｏｎ）が設定済みの第１の値以上であり、それぞれの移動するスライディングウィンドウ領域で最も高いＩＯＵを有する特定アンカーボックスそれぞれをＲＯＩ候補として選択する。この際、ＩＯＵはポジティブＧＴ（ＰｏｓｉｔｉｖｅＧＴ）を利用して算出され得る。一方、学習装置（１００）は、ＩＯＵが設定済みの第２の値以下である他のアンカーボックスに対してはノンポジティブ（Ｎｏｎ−Ｐｏｓｉｔｉｖｅ）のアンカーとみなすことができる。
【００６３】
次に、学習装置（１００）は、ＲＯＩプロポーザル生成に使用されたそれぞれの特定アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤ（１２３−１、１２３−２、…、１２３−ｎ）を確認する。
【００６４】
この際、それぞれのプーリングサイズは、特定アンカーボックスの縦横比や、特定アンカーボックスのスケールに対応させることができる。また、それぞれのプーリングサイズは、検出しようとする物体の形状に対応させることができる。これに加えて、それぞれのプーリングサイズは、特定アンカーボックスそれぞれのサイズに対応させることができる。この際、特定アンカーボックスそれぞれのサイズは、縦横比とスケールの組み合わせに決定され得る。
【００６５】
一例として、図４を参照すると、それぞれのプーリングサイズを特定アンカーボックスの縦横比に対応させる場合には、プーリングサイズは（ｉ）（縦横比：ＡＲ１、スケール：Ｓ１）アンカーボックスのサイズ、（縦横比：ＡＲ２、スケール：Ｓ１）アンカーボックスのサイズ、及び（縦横比：ＡＲ３、スケール：Ｓ１）アンカーボックスのサイズにするか、又は（ｉｉ）（縦横比：ＡＲ１、スケール：Ｓ２）アンカーボックスのサイズ、（縦横比：ＡＲ２、スケール：Ｓ２）アンカーボックスのサイズ、及び（縦横比：ＡＲ３、スケール：Ｓ２）アンカーボックスのサイズにするか、又は（ｉｉｉ）（縦横比：ＡＲ１、スケール：Ｓ３）アンカーボックスのサイズ、（縦横比：ＡＲ２、スケール：Ｓ３）アンカーボックスのサイズ、及び（縦横比：ＡＲ３、スケール：Ｓ３）アンカーボックスのサイズに設定することができる。もし、（ｉ）（縦横比：ＡＲ１、スケール：Ｓ１）アンカーボックスのサイズ、（縦横比：ＡＲ２、スケール：Ｓ１）アンカーボックスのサイズ、及び（縦横比：ＡＲ３、スケール：Ｓ１）アンカーボックスのサイズをそれぞれのプーリングサイズにした場合、他のスケール（Ｓ２、Ｓ３）のそれぞれのアンカーボックスはスケールに関係なしに該当する縦横比に対応するプーリングサイズそれぞれに対応するように設定することができる。すなわち、（ＡＲ１、Ｓ２）アンカーボックスと（ＡＲ１、Ｓ３）アンカーボックスのそれぞれのプーリングサイズは（ＡＲ１、Ｓ１）アンカーボックスのプーリングサイズに設定することができ、（ＡＲ２、Ｓ２）アンカーボックスと（ＡＲ２、Ｓ３）アンカーボックスのそれぞれのプーリングサイズは（ＡＲ２、Ｓ１）アンカーボックスのプーリングサイズに設定することができ、（ＡＲ３、Ｓ２）アンカーボックスと（ＡＲ３、Ｓ３）アンカーボックスのそれぞれのプーリングサイズは（ＡＲ３、Ｓ１）アンカーボックスのプーリングサイズに設定することができる。
【００６６】
そして、それぞれのプーリングサイズを特定アンカーボックスのスケールに対応するように設定する場合には、プーリングサイズは（ｉ）（ＡＲ１、Ｓ１）アンカーボックスのサイズ、（ＡＲ１、Ｓ２）アンカーボックスのサイズ、及び（ＡＲ１、Ｓ３）アンカーボックスのサイズにするか、又は（ｉｉ）（ＡＲ２、Ｓ１）アンカーボックスのサイズ、（ＡＲ２、Ｓ２）アンカーボックスのサイズ、及び（ＡＲ２、Ｓ３）アンカーボックスのサイズにするか、又は（ｉｉｉ）（ＡＲ３、Ｓ１）アンカーボックスのサイズ、（ＡＲ３、Ｓ２）アンカーボックスのサイズ、及び（ＡＲ３、Ｓ３）アンカーボックスのサイズに設定することができる。
【００６７】
また、それぞれのプーリングサイズを特定アンカーボックスの縦横比とスケールに共に対応させる場合には、プーリングサイズは（ＡＲ１、Ｓ１）アンカーボックスのサイズ、（ＡＲ２、Ｓ２）アンカーボックスのサイズ、及び（ＡＲ３、Ｓ３）アンカーボックスのサイズに設定することもできる。
【００６８】
それに加えて、それぞれのプーリングサイズをアンカーボックスそれぞれのサイズに対応させることができる。つまり、縦横比がそれぞれ１、１／２、２であり、スケールがそれぞれ１、２、３である場合を例に挙げると、それぞれのアンカーボックスのサイズは１ｘ１、２ｘ１、１ｘ２、２ｘ２、４ｘ２、２ｘ４、３ｘ３、６ｘ３、３ｘ６となり得、それぞれのプーリングサイズを、それぞれのアンカーボックスのサイズと同一に設定することができる。
【００６９】
しかしながら、アンカーボックスに対応する前記プーリングサイズの設定は単に例示的に説明したものであるに過ぎず、本発明はこれに限定されず、多様な要素の様々な組合せによりプーリングサイズを設定することができる。
【００７０】
そして、学習装置（１００）はＲＯＩプロポーザルをそれぞれのプーリングサイズに対応するプーリングレイヤ（１２３−１、１２３−２、…、１２３−ｎ）にそれぞれ入力して、それぞれのプーリングレイヤ（１２３−１、１２３−２、…、１２３−ｎ）をもって特徴マップ上でＲＯＩプロポーザルに対応する領域を特徴マップに対応するプーリングサイズでプーリングして、これに対応する特徴ベクトルを出力する。
【００７１】
次に、学習装置（１００）は、それぞれのプーリングレイヤ（１２３−１、１２３−２、…、１２３−ｎ）に対応するそれぞれのＦＣレイヤ（１２４−１、１２４−２、…、１２４−ｎ）をもってそれぞれの特徴ベクトルを利用して、それぞれのＲＯＩプロポーザルに対応するそれぞれの物体クラス情報（１２５−１、１２５−２、…、１２５−ｎ）及びそれぞれの物体リグレッション情報（１２６−１、１２６−２、…、１２６−ｎ）を出力するようにする。
【００７２】
次に、学習装置（１００）はそれぞれのＦＣレイヤ（１２４−１、１２４−２、…、１２４−ｎ）に対応するそれぞれの物体ロスレイヤ（１２７−１、１２７−２、…、１２７−ｎ）をもってそれぞれの物体クラス情報（１２５−１、１２５−２、…、１２５−ｎ）、それぞれの物体リグレッション情報（１２６−１、１２６−２、…、１２６−ｎ）及びこれに対応するそれぞれの物体ＧＴを参照してそれぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出するようにすることにより、それぞれの物体クラスロスとそれぞれの物体リグレッションロスを利用したバックプロパゲーションを通じてそれぞれのＦＣレイヤ（１２４−１、１２４−２、…、１２４−ｎ）及びコンボリューションレイヤ（１２１）を学習することができる。
【００７３】
一例として学習装置（１００）は、第１物体ロスレイヤ（１２７−１）に対応する第１物体クラスロスと第１物体リグレッションロスを利用したバックプロパゲーションを通じて第１ＦＣレイヤ（１２４−１）とコンボリューションレイヤ（１２１）を学習し、第２物体ロスレイヤ（１２７−２）に対応する第２物体クラスロスと第２物体リグレッションロスを利用したバックプロパゲーションを通じて、第２ＦＣレイヤ（１２４−２）とコンボリューションレイヤ（１２１）を学習する。  同様の方法によって、学習装置（１００）は、第ｎロスレイヤ（１２７−ｎ）に対応する第ｎ物体クラスロスと第ｎ物体リグレッションロスを利用したバックプロパゲーションを通じて第ｎＦＣレイヤ（１２４−ｎ）とコンボリューションレイヤ（１２１）を学習する。
【００７４】
また、学習装置（１００）は、ＲＰＮ（１２２）に対応するＲＰＮロスレイヤ（１２８）をもって（ｉ）それぞれのＲＯＩ候補のＲＯＩリグレッション情報及びＲＯＩクラス情報と（ｉｉ）これに対応するそれぞれのＲＯＩのＧＴを参照してそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを算出するようにし、学習装置（１００）は、それぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを遂行してＲＰＮ（１２２）を学習させることができる。ここで、学習装置（１００）は、（ｉ）それぞれの物体クラスロスとそれぞれの物体リグレッションロスを利用したバックプロパゲーションと（ｉｉ）それぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを個別に遂行する。また、学習装置（１００）はそれぞれのＲＯＩクラスロスとそれぞれのＲＯＩリグレッションロスを利用したバックプロパゲーションを通じてＲＰＮ（１２２）をあらかじめ学習した状態であり得る。
【００７５】
図５は、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器をテストするテスト装置（２００）を簡略に示したものであって、図５を参照すると、テスト装置（２００）は通信部（２１０）とプロセッサ（２２０）を含むことができる。
【００７６】
また、テスト装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ（１１５）をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は、統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）に統合され得る。 
先ず、通信部（２１０）は、少なくとも一つのテストイメージを取得することができる。
【００７７】
この際、本発明の一実施例によるＲ−ＣＮＮ基盤の物体検出器は、図２ないし図４を参照して説明した学習方法によってあらかじめ学習された状態であり得る。
【００７８】
参考までに、図５でテスト装置の参照番号２２１、２２２、２２３、２２４、２２５及び２２６は、図３で学習装置の参照番号１２１、１２２、１２３、１２４、１２５及び１２６が指し示す部分と同一の部分を示す。また、以下の説明において混同を避けるために、「学習用」という文言は先に説明した学習プロセスに関する用語に対して追加され、「テスト用」という文言はテストプロセスに関する用語に対して追加される。
【００７９】
すなわち、（Ｉ）学習装置（１００）が少なくともひとつのコンボリューションレイヤ（２２１）をもってトレーニングイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つの学習用特徴マップを出力するようにし、ＲＰＮ（２２２）をもって（ｉ）学習用特徴マップ上でスケールと縦横比のうち少なくとも一部によって区別される複数の学習用アンカーボックスを使用してトレーニングイメージ内で少なくとも一つの学習用物体が位置するものと推定される候補領域に対応する学習用ＲＯＩ候補領域を生成するようにし、（ｉｉ）学習用物体が位置するものと判断される確率の高い特定学習用ＲＯＩ候補学習用ＲＯＩプロポーザルとして出力するようにし、（ＩＩ）学習装置（１００）が（ｉ）学習用ＲＯＩプロポーザル生成に使用されたそれぞれの特定学習用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）に学習用ＲＯＩプロポーザルをそれぞれ入力して、（ｉｉ）それぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）をもって学習用特徴マップ上で学習用ＲＯＩプロポーザルに対応する領域を学習用特徴マップに対応するプーリングサイズでプーリングしてこれに対応する学習用特徴ベクトルを出力するようにし、（ｉｉｉ）それぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）に対応するそれぞれのＦＣレイヤ（２２４−１、２２４−２、…、２２４−ｎ）をもってそれぞれの学習用特徴ベクトルを利用して、それぞれの学習用ＲＯＩプロポーザルに対応するそれぞれの学習用物体クラス情報（２２５−１、２２５−２、…、２２５−ｎ）及びそれぞれの学習用物体リグレッション情報（２２６−１、２２６−２、…、２２６−ｎ）を出力するようにし、（ＩＩＩ）学習装置（１００）がそれぞれのＦＣレイヤ（２２４−１、２２４−２、…、２２４−ｎ）に対応するそれぞれの物体ロスレイヤ（１２７−１、１２７−２、…、１２７−ｎ）をもってそれぞれの学習用物体クラス情報（２２５−１、２２５−２、…、２２５−ｎ）、学習用物体リグレッション情報（２２６−１、２２６−２、…、２２６−ｎ）及びこれに対応するそれぞれの物体ＧＴを参照してそれぞれの物体クラスロスとそれぞれの物体リグレッションロスを算出するようにすることにより、それぞれの物体クラスロスとそれぞれの物体リグレッションロスを利用したバックプロパゲーションを通じてそれぞれのＦＣレイヤ（２２４−１、２２４−２、…、２２４−ｎ）及びコンボリューションレイヤ（２２１）を学習した状態であり得る。
【００８０】
プロセッサ（２２０）は（Ｉ）コンボリューションレイヤ（２２１）をもって少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つのテスト用特徴マップを出力するようにし、ＲＰＮ（２２２）をもって（ｉ）テスト用特徴マップ上でスケールと縦横比のうち少なくとも一部によって区別される複数のテスト用アンカーボックスを使用してテストイメージ内で少なくとも一つのテスト用物体が位置するものと推定される候補領域に対応するテスト用ＲＯＩ候補を生成するようにし、（ｉｉ）テスト用物体が位置するものと判断される確率の高い特定テスト用ＲＯＩ候補をテスト用ＲＯＩプロポーザルとして出力するようにする第１プロセスと、（ＩＩ）（ｉ）テスト用ＲＯＩプロポーザル生成に使用されたそれぞれの特定テスト用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）にテスト用ＲＯＩプロポーザルを入力して（ｉｉ）それぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）をもってテスト用特徴マップ上でテスト用ＲＯＩプロポーザルに対応する領域をテスト用特徴マップに対応するプーリングサイズでプーリングしてそれぞれのテスト用特徴ベクトルを出力するようにし、（ｉｉｉ）それぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）に対応するそれぞれのＦＣレイヤ（２２４−１、２２４−２、…、２２４−ｎ）をもってそれぞれのテスト用特徴ベクトルを利用して、それぞれのテスト用ＲＯＩプロポーザルに対応するそれぞれのテスト用物体クラス情報（２２５−１、２２５−２、…、２２５−ｎ）及びそれぞれのテスト用物体リグレッション情報（２２６−１、２２６−２、…、２２６−ｎ）を出力するようにする第２プロセスを遂行することができる。
【００８１】
この際、本発明の一実施例によるテスト装置（２００）は、コンピュータ装置であって、プロセッサを搭載して演算能力を備えた装置であるならばいくらでも本発明によるテスト装置（２００）として採択され得る。また、図５では一つのテスト装置（２００）のみを示したが、これに限定されず、テスト装置は複数個に分けて役割を遂行することもできる。
【００８２】
本発明の一実施例によるテスト装置（２００）を利用してＲ−ＣＮＮ基盤の物体検出器をテストする方法を図６を参照して説明すると次の通りである。以下の説明において、学習方法から容易に理解可能な部分については詳細な説明を省略することとする。
【００８３】
まず、図２ないし図４を参照して説明した学習方法によってコンボリューションレイヤ（２２１）、ＲＰＮ（２２２）及びそれぞれのＦＣレイヤ（２２４−１、２２４−２、…、２２４−ｎ）が学習された状態で、少なくとも一つのテストイメージが入力されると、テスト装置（２００）が、コンボリューションレイヤ（２２１）をもってテストイメージに対してコンボリューション演算を少なくとも一回適用するようにして、少なくとも一つのテスト用特徴マップを出力するようにする。この際、コンボリューションレイヤ（２２１）はテストイメージに対して順次にコンボリューション演算を適用するために複数個のコンボリューションユニットで構成され得る。
【００８４】
そして、テスト装置（２００）は、ＲＰＮ（２２２）をもって（ｉ）テスト用特徴マップ上でスケールと縦横比のうち少なくとも一部によって区別される複数のテスト用アンカーボックスを使用してテストイメージ内で少なくとも一つのテスト用物体が位置するものと推定される候補領域に対応するテスト用ＲＯＩ候補を生成するようにし、（ｉｉ）テスト用物体が位置するものと判断される確率の高い特定テスト用ＲＯＩをテスト用ＲＯＩプロポーザルとして出力するようにする。
【００８５】
次に、テスト装置（２００）は、テスト用ＲＯＩプロポーザル生成に使用されたそれぞれの特定テスト用アンカーボックスに対応して設定されたそれぞれのプーリングサイズに対応するそれぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）を確認する。
【００８６】
この際、それぞれのプーリングサイズは特定アンカーボックスの縦横比や特定アンカーボックスのスケールに対応させることができる。また、それぞれのプーリングサイズは検出しようとする物体の形状に対応するか、又は特定アンカーボックスのそれぞれの大きさに対応するようにすることができる。
【００８７】
そして、テスト装置（２００）は、それぞれのプーリングサイズに対応するそれぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）にテスト用ＲＯＩプロポーザルを入力して、それぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）をもってテスト用特徴マップ上でテスト用ＲＯＩプロポーザルに対応する領域をテスト用特徴マップに対応するプーリングサイズでプーリングしてそれぞれのテスト用特徴ベクトルを出力するようにする。
【００８８】
次に、テスト装置（２００）は、それぞれのプーリングレイヤ（２２３−１、２２３−２、…、２２３−ｎ）に対応するそれぞれのＦＣレイヤ（２２４−１、２２４−２、…、２２４−ｎ）をもってそれぞれのテスト用特徴ベクトルを利用して、それぞれのテスト用ＲＯＩプロポーザルに対応するそれぞれのテスト用物体クラス情報（２２５−１、２２５−２、…、２２５−ｎ）及びそれぞれのテスト用物体リグレッション情報（２２６−１、２２６−２、…、２２６−ｎ）を出力することによって、テストイメージ内に位置するテスト用物体を検出することができるようにする。
【００８９】
Ｒ−ＣＮＮは、物体の縦横比やスケールに応じてモードを切り換えることができる。信号を含む物体の縦横比とスケールは、物体検出器からの距離、物体の形態などのような特性によって決定され得る。本発明によるプーリングプロセスは、レーダー、ライダー（Ｌｉｄａｒ）又は他のセンサーを通じて取得された距離情報及び物体情報を利用して、物体の実際の割合と実際の大きさに応じて遂行され得る。また、学習方法及びテスト方法は、特定の位置で同一の観点からほぼ同じ大きさを有するため、監視に使用され得る。
【００９０】
本発明の技術分野における通常の技術者に理解され得るところとして、前記で説明されたイメージ、例えば、トレーニングイメージ、テストイメージのようなイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
【００９１】
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００９２】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
【００９３】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【符号の説明】
【００９４】
１００：学習装置
２００：テスト装置
１１０、２１０：通信部
１２０、２２０：プロセッサ
１３０：データベース
【図１】
2020119522.tif 000003
【図２】
2020119522.tif 000004
【図３】
2020119522.tif 000005
【図４】
2020119522.tif 000006
【図５】
2020119522.tif 000007
【図６】
2020119522.tif 000008