(57)【要約】      （修正有）【課題】イメージ認識のためのＣＮＮにおいて、演算量を低減する学習方法、学習装置、テスト方法およびテスト装置を提供する。【解決手段】学習方法は、第１トランスポーズレイヤ１２３又はプーリングレイヤ１２２によりプーリング済みＲＯＩ特徴マップ上の対応する同一の各位置それぞれのピクセルをＲＯＩごとにコンカチネートして統合特徴マップを生成させる段階と、第１の１ｘ１コンボリューションレイヤ１２４および第２の１ｘ１コンボリューションレイヤ１２５によりボリュームが調整された第２調整特徴マップを生成する段階と、第２トランスポーズレイヤ１２６により第２調整特徴マップをピクセルごとに分離させ、分類レイヤ１２７によりＲＯＩごとの物体情報を生成させ、ロスレイヤ１２８により物体情報と原本正解とを参照して算出した物体ロスをバックプロパゲーションさせる段階、を含む。【選択図】図２
2020119542.tif 000002
【特許請求の範囲】
【請求項１】
イメージ認識のためのＣＮＮのパラメータを学習する方法において、
（ａ）少なくとも一つのトレーニングイメージが入力されると、学習装置が、（ｉ）少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージ上でＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの物体に対応する少なくとも一つの前記ＲＯＩごとのＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記ＲＯＩごとのプーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を適用させて前記ＲＯＩごとの前記プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記ＲＯＩごとにコンカチネートさせて前記統合特徴マップを生成させる段階；
（ｂ）前記学習装置が、第１の１ｘ１コンボリューションレイヤをもって、前記統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、前記第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された第２調整特徴マップを生成させる段階；及び
（ｃ）前記学習装置が、（ｃ１）（ｉ）第２トランスポーズレイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとのピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとの前記ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する前記物体情報を生成させた後、（ｃ２）ロスレイヤをもって、前記物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることで、前記物体ロスを利用したバックプロパゲーションを通じて前記第２の１ｘ１コンボリューションレイヤ、前記第１の１ｘ１コンボリューションレイヤ、及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習させる段階；
を含むことを特徴とする学習方法。
【請求項２】
前記ＲＯＩの個数をＮとし、前記ＲＯＩごとの前記プーリング済み特徴マップの幅をＭ１、高さをＭ２とし、前記ＲＯＩごとの前記プーリング済み特徴マップのチャンネル個数をＪとする場合、
前記（ａ）段階で、
前記学習装置は、（ｉ）前記第１トランスポーズレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記統合特徴マップに変換させるようにするか、（ｉｉ）前記プーリングレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記統合特徴マップに変換させるようにすることを特徴とする請求項１に記載の学習方法。
【請求項３】
前記第１の１ｘ１コンボリューションレイヤのフィルタの個数をＫとし、前記第２の１ｘ１コンボリューションレイヤのフィルタの個数をＬとする場合、
前記（ｂ）段階で、
前記学習装置は、前記第１の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＫであるＮｘ１ｘＫのボリュームを有する前記第１調整特徴マップを生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＬであるＮｘ１ｘＬのボリュームを有する前記第２調整特徴マップを生成させることを特徴とする請求項２に記載の学習方法。
【請求項４】
前記（ｃ）段階で、
前記学習装置は、（ｉ）前記第２トランスポーズレイヤをもって、前記第２調整特徴マップを、Ｎ個のＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記ＲＯＩごとの前記ピクセル別特徴マップに変換させるか、（ｉｉ）前記分類レイヤをもって、前記第２調整特徴マップを、前記Ｎ個のＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記ＲＯＩごとの前記ピクセル別特徴マップに変換させることを特徴とする請求項３に記載の学習方法。
【請求項５】
前記分類レイヤは、少なくとも一つのソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することを特徴とする請求項１に記載の学習方法。
【請求項６】
イメージ認識のためのＣＮＮをテストする方法において、
（ａ）学習装置が、（１）（ｉ）少なくとも一つのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ上で学習用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれの学習用ＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの学習用物体に対応する少なくとも一つの前記学習用ＲＯＩごとの学習用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、前記学習用ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記学習用ＲＯＩごとの学習用プーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記学習用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記学習用ＲＯＩ特徴マップに対してプーリング演算を適用させて前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記学習用ＲＯＩごとにコンカチネートさせて前記学習用統合特徴マップを生成させ、（２）第１の１ｘ１コンボリューションレイヤをもって、前記学習用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、前記学習用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された学習用第２調整特徴マップを生成させ、（３）（３−１）（ｉ）第２トランスポーズレイヤをもって、前記学習用第２調整特徴マップを前記ピクセルごとに分離させて前記学習用ＲＯＩごとの学習用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを利用して前記学習用ＲＯＩそれぞれに対する学習用物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記学習用第２調整特徴マップを前記ピクセルごとに分離させて前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを利用して前記学習用ＲＯＩそれぞれに対する前記学習用物体情報を生成させた後、（３−２）ロスレイヤをもって、前記学習用物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることで、前記物体ロスを利用したバックプロパゲーションを通じて前記第２の１ｘ１コンボリューションレイヤ、前記第１の１ｘ１コンボリューションレイヤ、及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習した状態で、少なくとも一つのテストイメージが入力されると、テスト装置が、（ｉ）前記コンボリューションレイヤをもって、前記テストイメージ上でテスト用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのテスト用ＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのテスト用物体に対応する少なくとも一つの前記テスト用ＲＯＩごとのテスト用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）前記プーリングレイヤをもって、前記テスト用ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記テスト用ＲＯＩごとのテスト用プーリング済み特徴マップを生成させ、前記第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記テスト用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてテスト用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記テスト用ＲＯＩ特徴マップに対してプーリング演算を適用させて前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記テスト用ＲＯＩごとにコンカチネートさせて前記テスト用統合特徴マップを生成させる段階；
（ｂ）前記テスト装置が、前記第１の１ｘ１コンボリューションレイヤをもって、前記テスト用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整されたテスト用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、前記テスト用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整されたテスト用第２調整特徴マップを生成させる段階；及び
（ｃ）前記テスト装置が、（ｉ）前記第２トランスポーズレイヤをもって、前記テスト用第２調整特徴マップを前記ピクセルごとに分離させて前記テスト用ＲＯＩごとのテスト用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、前記分類レイヤをもって、前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを利用して前記テスト用ＲＯＩに関するテスト用物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記テスト用第２調整特徴マップを前記ピクセルごとに分離させて前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記テスト用ＲＯＩごとの前記テスト用ピクセル別の特徴マップを利用して前記テスト用ＲＯＩそれぞれに対する前記テスト用物体情報を生成させる段階；
を含むことを特徴とするテスト方法。
【請求項７】
前記テスト用ＲＯＩの個数をＮとし、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップの幅をＭ１、高さをＭ２とし、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップのチャンネル個数をＪとする場合、
前記（ａ）段階で、
前記テスト装置は、（ｉ）前記第１トランスポーズレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記テスト用統合特徴マップに変換させるようにするか、（ｉｉ）前記プーリングレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記テスト用統合特徴マップに変換させるようにすることを特徴とする請求項６に記載のテスト方法。
【請求項８】
前記第１の１ｘ１コンボリューションレイヤのフィルタの個数をＫとし、前記第２の１ｘ１コンボリューションレイヤのフィルタの個数をＬとする場合、
前記（ｂ）段階で、
前記テスト装置は、前記第１の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＫであるＮｘ１ｘＫのボリュームを有する前記テスト用第１調整特徴マップを生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＬであるＮｘ１ｘＬのボリュームを有する前記テスト用第２調整特徴マップを生成させることを特徴とする請求項７に記載のテスト方法。
【請求項９】
前記（ｃ）段階で、
前記テスト装置は、（ｉ）前記第２トランスポーズレイヤをもって、前記テスト用第２調整特徴マップを、Ｎ個のテスト用ＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップに変換させるか、（ｉｉ）前記分類レイヤをもって、前記テスト用第２調整特徴マップを、前記Ｎ個のテスト用ＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップに変換させることを特徴とする請求項８に記載のテスト方法。
【請求項１０】
前記分類レイヤは、少なくとも一つのソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することを特徴とする請求項６に記載のテスト方法。
【請求項１１】
イメージ認識のためのＣＮＮのパラメータを学習する学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）（ｉ）少なくとも一つのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ上でＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの物体に対応する少なくとも一つの前記ＲＯＩごとのＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記ＲＯＩごとのプーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を適用させて前記ＲＯＩごとの前記プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記ＲＯＩごとにコンカチネートさせて前記統合特徴マップを生成させるプロセス、（ＩＩ）第１の１ｘ１コンボリューションレイヤをもって、前記統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、前記第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された第２調整特徴マップを生成させるプロセス、及び（ＩＩＩ）（ＩＩＩ−１）（ｉ）第２トランスポーズレイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとのピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとの前記ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する前記物体情報を生成させた後、（ＩＩＩ−２）ロスレイヤをもって、前記物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることで、前記物体ロスをバックプロパゲーションして前記第２の１ｘ１コンボリューションレイヤ、前記第１の１ｘ１コンボリューションレイヤ、及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする学習装置。
【請求項１２】
前記ＲＯＩの個数をＮとし、前記ＲＯＩごとの前記プーリング済み特徴マップの幅をＭ１、高さをＭ２とし、前記ＲＯＩごとの前記プーリング済み特徴マップのチャンネル個数をＪとする場合、
前記（Ｉ）プロセスにおいて、
前記プロセッサは、（ｉ）前記第１トランスポーズレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記統合特徴マップに変換させるようにするか、（ｉｉ）前記プーリングレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記統合特徴マップに変換させるようにすることを特徴とする請求項１１に記載の学習装置。
【請求項１３】
前記第１の１ｘ１コンボリューションレイヤのフィルタの個数をＫとし、前記第２の１ｘ１コンボリューションレイヤのフィルタの個数をＬとする場合、
前記（ＩＩ）プロセスにおいて、
前記プロセッサは、前記第１の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＫであるＮｘ１ｘＫのボリュームを有する前記第１調整特徴マップを生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＬであるＮｘ１ｘＬのボリュームを有する前記第２調整特徴マップを生成させることを特徴とする請求項１２に記載の学習装置。
【請求項１４】
前記（ＩＩＩ）プロセスにおいて、
前記プロセッサは、（ｉ）前記第２トランスポーズレイヤをもって、前記第２調整特徴マップを、Ｎ個のＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記ＲＯＩごとの前記ピクセル別特徴マップに変換させるか、（ｉｉ）前記分類レイヤをもって、前記第２調整特徴マップを、前記Ｎ個のＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記ＲＯＩごとの前記ピクセル別特徴マップに変換させることを特徴とする請求項１３に記載の学習装置。
【請求項１５】
前記分類レイヤは、少なくとも一つのソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することを特徴とする請求項１１に記載の学習装置。
【請求項１６】
イメージ認識のためのＣＮＮをテストするテスト装置において、
インストラクションを格納する少なくとも一つのメモリと、
学習装置が、（１）（ｉ）少なくとも一つのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ上で学習用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれの学習用ＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの学習用物体に対応する少なくとも一つの前記学習用ＲＯＩごとの学習用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、前記学習用ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記学習用ＲＯＩごとの学習用プーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記学習用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記学習用ＲＯＩ特徴マップに対してプーリング演算を適用させて前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップ上の対応する同一の各位置の前記ピクセルそれぞれを前記学習用ＲＯＩごとにコンカチネートさせて前記学習用統合特徴マップを生成させ、（２）第１の１ｘ１コンボリューションレイヤをもって、前記学習用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、前記学習用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された学習用第２調整特徴マップを生成させ、（３）（３−１）（ｉ）第２トランスポーズレイヤをもって、前記学習用第２調整特徴マップを前記ピクセルごとに分離させて前記学習用ＲＯＩごとの学習用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを利用して前記学習用ＲＯＩそれぞれに対する学習用物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記学習用第２調整特徴マップを前記ピクセルごとに分離させて前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを利用して前記学習用ＲＯＩそれぞれに対する前記学習用物体情報を生成させた後、（３−２）ロスレイヤをもって、前記学習用物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることで、前記物体ロスをバックプロパゲーションして前記第２の１ｘ１コンボリューションレイヤ、前記第１の１ｘ１コンボリューションレイヤ、及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習した状態で、（Ｉ）（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのテストイメージ上でテスト用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのテスト用ＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのテスト用物体に対応する少なくとも一つの前記テスト用ＲＯＩごとのテスト用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）前記プーリングレイヤをもって、前記テスト用ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記テスト用ＲＯＩごとのテスト用プーリング済み特徴マップを生成させ、前記第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記テスト用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてテスト用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記テスト用ＲＯＩ特徴マップに対してプーリング演算を適用させて前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記テスト用ＲＯＩごとにコンカチネートさせて前記テスト用統合特徴マップを生成させるプロセス、（ＩＩ）前記第１の１ｘ１コンボリューションレイヤをもって、前記テスト用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整されたテスト用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、前記テスト用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整されたテスト用第２調整特徴マップを生成させるプロセス、及び（ＩＩＩ）（ｉ）前記第２トランスポーズレイヤをもって、前記テスト用第２調整特徴マップを前記ピクセルごとに分離させて前記テスト用ＲＯＩごとのテスト用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、前記分類レイヤをもって、前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを利用して前記テスト用ＲＯＩそれぞれに関するテスト用物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記テスト用第２調整特徴マップを前記ピクセルごとに分離させて前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを利用して前記テスト用ＲＯＩそれぞれに関する前記テスト用物体情報を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするテスト装置。
【請求項１７】
前記テスト用ＲＯＩの個数をＮとし、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップの幅をＭ１、高さをＭ２とし、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップのチャンネル個数をＪとする場合、
前記（Ｉ）プロセスにおいて、
前記プロセッサは、（ｉ）前記第１トランスポーズレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記テスト用統合特徴マップに変換させるようにするか、（ｉｉ）前記プーリングレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記テスト用統合特徴マップに変換させるようにすることを特徴とする請求項１６に記載のテスト装置。
【請求項１８】
前記第１の１ｘ１コンボリューションレイヤのフィルタの個数をＫとし、前記第２の１ｘ１コンボリューションレイヤのフィルタの個数をＬとする場合、
前記（ＩＩ）プロセスにおいて、
前記プロセッサは、前記第１の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＫであるＮｘ１ｘＫのボリュームを有する前記テスト用第１調整特徴マップを生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＬであるＮｘ１ｘＬのボリュームを有する前記テスト用第２調整特徴マップを生成させることを特徴とする請求項１７に記載のテスト装置。
【請求項１９】
前記（ＩＩＩ）プロセスにおいて、
前記プロセッサは、（ｉ）前記第２トランスポーズレイヤをもって、前記テスト用第２調整特徴マップを、Ｎ個のテスト用ＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップに変換させるか、（ｉｉ）前記分類レイヤをもって、前記テスト用第２調整特徴マップを、前記Ｎ個のテスト用ＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップに変換させることを特徴とする請求項１８に記載のテスト装置。
【請求項２０】
前記分類レイヤは、少なくとも一つのソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することを特徴とする請求項１６に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はハードウェア最適化に使用されるイメージ認識のためのＣＮＮのパラメータを学習する方法に関し、より詳細には、イメージ認識のための前記ＣＮＮの前記パラメータを学習する方法において、（ａ）少なくとも一つのトレーニングイメージが入力されると、学習装置が、（ｉ）少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージ上でＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの物体に対応する少なくとも一つの前記ＲＯＩごとのＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記ＲＯＩごとのプーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を適用させて前記ＲＯＩごとの前記プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記ＲＯＩごとにコンカチネートさせて前記統合特徴マップを生成させる段階：（ｂ）前記学習装置が、第１の１ｘ１コンボリューションレイヤをもって、前記統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、前記第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された第２調整特徴マップを生成させる段階；及び（ｃ）前記学習装置が、（ｃ１）（ｉ）第２トランスポーズレイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとのピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとの前記ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する前記物体情報を生成させた後、（ｃ２）ロスレイヤをもって、前記物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることで、前記物体ロスを利用したバックプロパゲーションを通じて前記第２の１ｘ１コンボリューションレイヤ、前記第１の１ｘ１コンボリューションレイヤ、及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習させる段階；を含むことを特徴とする学習方法及び学習装置、それを利用してテストする方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ  ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にすでに使用されていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなディープＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
このようなＣＮＮは、イメージから特徴を抽出する特徴抽出器と、特徴抽出器から抽出された各特徴を参照してイメージを認識したりイメージ内の物体を検出する特徴分類器とからなる。
【０００３】
そして、ＣＮＮは、イメージで特徴を抽出する特徴抽出器（Ｆｅａｔｕｒｅ  Ｅｘｔｒａｃｔｏｒ）及びイメージ内の物体を検出したり特徴抽出器が抽出した特徴を参照してイメージを認識する特徴分類器（Ｆｅａｔｕｒｅ  Ｃｌａｓｓｉｆｉｅｒ）で構成される。
【０００４】
そして、ＣＮＮの特徴抽出器はコンボリューションレイヤで構成され、特徴分類器は、特徴抽出器が抽出した特徴に対してＦＣ演算（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｏｐｅｒａｔｉｏｎ）を適用することができるＦＣレイヤで構成される。
【０００５】
しかしながら、このようなＦＣレイヤは入力された全ての特徴に対して重み付け値を生成しなければならない不便さがあり、入力されたすべての特徴に対してＦＣ演算を遂行しなければならないため、コンピューティング演算量が多くなる短所がある。
【０００６】
また、ＦＣレイヤではＦＣレイヤに入力されるイメージのサイズがＦＣレイヤモデルの所定サイズと一致しなければならない。そのため、このようなＦＣレイヤを含むＣＮＮに予め設定されたサイズと異なるトレーニングイメージまたはテストイメージが入力される場合、コンボリューションレイヤがトレーニングイメージやテストイメージに対して当該演算を適用することができるが、ＦＣレイヤでは前記所定サイズと異なるサイズの入力イメージが入力されるため、トレーニングイメージやテストイメージに該当演算を適用することができない。
【０００７】
したがって、本発明の発明者は、前記のようなＦＣレイヤの問題点を克服し得るようにするイメージ認識のためのＣＮＮを提案することにする。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、前述した問題点を全て解決することをその目的とする。
【０００９】
本発明は、入力イメージのサイズに関係なしに、少なくとも一つの入力イメージ内に位置する物体を認識し得るようにするイメージ認識のためのＣＮＮを提供することを他の目的とする。
【００１０】
本発明は、特徴分類のための重み付け値の個数を最小化し得るようにするイメージ認識のためのＣＮＮを提供することをまた他の目的とする。
【００１１】
本発明は、特徴分類のためのコンピューティング演算量を削減し得るようにするイメージ認識のためのＣＮＮを提供することをまた他の目的とする。
【課題を解決するための手段】
【００１２】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下の通りである。
【００１３】
本発明の一態様によると、イメージ認識のためのＣＮＮのパラメータを学習する方法において、（ａ）少なくとも一つのトレーニングイメージが入力されると、学習装置が、（ｉ）少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージ上でＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの物体に対応する少なくとも一つの前記ＲＯＩごとのＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記ＲＯＩごとのプーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を適用させて前記ＲＯＩごとの前記プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記ＲＯＩごとにコンカチネートさせて前記統合特徴マップを生成させる段階；（ｂ）前記学習装置が、第１の１ｘ１コンボリューションレイヤをもって、前記統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、前記第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された第２調整特徴マップを生成させる段階；及び（ｃ）前記学習装置が、（ｃ１）（ｉ）第２トランスポーズレイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとのピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとの前記ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する前記物体情報を生成させた後、（ｃ２）ロスレイヤをもって、前記物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることで、前記物体ロスを利用したバックプロパゲーションを通じて前記第２の１ｘ１コンボリューションレイヤ、前記第１の１ｘ１コンボリューションレイヤ、及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習させる段階；を含むことを特徴とする。
【００１４】
一実施例において、前記ＲＯＩの個数をＮとし、前記ＲＯＩごとの前記プーリング済み特徴マップの幅をＭ１、高さをＭ２とし、前記ＲＯＩごとの前記プーリング済み特徴マップのチャンネル個数をＪとする場合、前記（ａ）段階で、前記学習装置は、（ｉ）前記第１トランスポーズレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記統合特徴マップに変換させるようにするか、（ｉｉ）前記プーリングレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記統合特徴マップに変換させるようにすることを特徴とする。
【００１５】
一実施例において、前記第１の１ｘ１コンボリューションレイヤのフィルタの個数をＫとし、前記第２の１ｘ１コンボリューションレイヤのフィルタの個数をＬとする場合、前記（ｂ）段階で、前記学習装置は、前記第１の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＫであるＮｘ１ｘＫのボリュームを有する前記第１調整特徴マップを生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＬであるＮｘ１ｘＬのボリュームを有する前記第２調整特徴マップを生成させることを特徴とする。
【００１６】
一実施例において、前記（ｃ）段階で、前記学習装置は、（ｉ）前記第２トランスポーズレイヤをもって、前記第２調整特徴マップを、Ｎ個のＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記ＲＯＩごとの前記ピクセル別特徴マップに変換させるか、（ｉｉ）前記分類レイヤをもって、前記第２調整特徴マップを、前記Ｎ個のＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記ＲＯＩごとの前記ピクセル別特徴マップに変換させることを特徴とする。
【００１７】
一実施例において、前記分類レイヤは、少なくとも一つのソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することを特徴とする。
【００１８】
本発明の他の態様によると、イメージ認識のためのＣＮＮをテストする方法において、（ａ）学習装置が、（１）（ｉ）少なくとも一つのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ上で学習用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれの学習用ＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの学習用物体に対応する少なくとも一つの前記学習用ＲＯＩごとの学習用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、前記学習用ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記学習用ＲＯＩごとの学習用プーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記学習用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記学習用ＲＯＩ特徴マップに対してプーリング演算を適用させて前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記学習用ＲＯＩごとにコンカチネートさせて前記学習用統合特徴マップを生成させ、（２）第１の１ｘ１コンボリューションレイヤをもって、前記学習用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、前記学習用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された学習用第２調整特徴マップを生成させ、（３）（３−１）（ｉ）第２トランスポーズレイヤをもって、前記学習用第２調整特徴マップを前記ピクセルごとに分離させて前記学習用ＲＯＩごとの学習用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを利用して前記学習用ＲＯＩそれぞれに対する学習用物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記学習用第２調整特徴マップを前記ピクセルごとに分離させて前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを利用して前記学習用ＲＯＩそれぞれに対する前記学習用物体情報を生成させた後、（３−２）ロスレイヤをもって、前記学習用物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることで、前記物体ロスを利用したバックプロパゲーションを通じて前記第２の１ｘ１コンボリューションレイヤ、前記第１の１ｘ１コンボリューションレイヤ、及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習した状態で、少なくとも一つのテストイメージが入力されると、テスト装置が、（ｉ）前記コンボリューションレイヤをもって、前記テストイメージ上でテスト用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのテスト用ＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのテスト用物体に対応する少なくとも一つの前記テスト用ＲＯＩごとのテスト用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）前記プーリングレイヤをもって、前記テスト用ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記テスト用ＲＯＩごとのテスト用プーリング済み特徴マップを生成させ、前記第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記テスト用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてテスト用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記テスト用ＲＯＩ特徴マップに対してプーリング演算を適用させて前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記テスト用ＲＯＩごとにコンカチネートさせて前記テスト用統合特徴マップを生成させる段階；（ｂ）前記テスト装置が、前記第１の１ｘ１コンボリューションレイヤをもって、前記テスト用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整されたテスト用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、前記テスト用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整されたテスト用第２調整特徴マップを生成させる段階；及び（ｃ）前記テスト装置が、（ｉ）前記第２トランスポーズレイヤをもって、前記テスト用第２調整特徴マップを前記ピクセルごとに分離させて前記テスト用ＲＯＩごとのテスト用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、前記分類レイヤをもって、前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを利用して前記テスト用ＲＯＩそれぞれに関するテスト用物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記テスト用第２調整特徴マップを前記ピクセルごとに分離させて前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記テスト用ＲＯＩごとの前記テスト用ピクセル別の特徴マップを利用して前記テスト用ＲＯＩそれぞれに対する前記テスト用物体情報を生成させる段階；を含むことを特徴とする。
【００１９】
一実施例において、前記テスト用ＲＯＩの個数をＮとし、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップの幅をＭ１、高さをＭ２とし、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップのチャンネル個数をＪとする場合、前記（ａ）段階で、前記テスト装置は、（ｉ）前記第１トランスポーズレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記テスト用統合特徴マップに変換させるようにするか、（ｉｉ）前記プーリングレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記テスト用統合特徴マップに変換させるようにすることを特徴とする。
【００２０】
一実施例において、前記第１の１ｘ１コンボリューションレイヤのフィルタの個数をＫとし、前記第２の１ｘ１コンボリューションレイヤのフィルタの個数をＬとする場合、前記（ｂ）段階で、前記テスト装置は、前記第１の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＫであるＮｘ１ｘＫのボリュームを有する前記テスト用第１調整特徴マップを生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＬであるＮｘ１ｘＬのボリュームを有する前記テスト用第２調整特徴マップを生成させることを特徴とする。
【００２１】
一実施例において、前記（ｃ）段階で、前記テスト装置は、（ｉ）前記第２トランスポーズレイヤをもって、前記テスト用第２調整特徴マップを、Ｎ個のテスト用ＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップに変換させるか、（ｉｉ）前記分類レイヤをもって、前記テスト用第２調整特徴マップを、前記Ｎ個のテスト用ＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップに変換させることを特徴とする。
【００２２】
一実施例において、前記分類レイヤは、少なくとも一つのソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することを特徴とする。
【００２３】
本発明のまた他の態様によると、イメージ認識のためのＣＮＮのパラメータを学習する学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）（ｉ）少なくとも一つのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ上でＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの物体に対応する少なくとも一つの前記ＲＯＩごとのＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記ＲＯＩごとのプーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記ＲＯＩ特徴マップに対してプーリング演算を適用させて前記ＲＯＩごとの前記プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記ＲＯＩごとにコンカチネートさせて前記統合特徴マップを生成させるプロセス、（ＩＩ）第１の１ｘ１コンボリューションレイヤをもって、前記統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、前記第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された第２調整特徴マップを生成させるプロセス、及び（ＩＩＩ）（ＩＩＩ−１）（ｉ）第２トランスポーズレイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとのピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記第２調整特徴マップを前記ピクセルごとに分離させて前記ＲＯＩごとの前記ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記ＲＯＩごとの前記ピクセル別特徴マップを利用して前記ＲＯＩそれぞれに関する前記物体情報を生成させた後、（ＩＩＩ−２）ロスレイヤをもって、前記物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることで、前記物体ロスをバックプロパゲーションして前記第２の１ｘ１コンボリューションレイヤ、前記第１の１ｘ１コンボリューションレイヤ、及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００２４】
一実施例において、前記ＲＯＩの個数をＮとし、前記ＲＯＩごとの前記プーリング済み特徴マップの幅をＭ１、高さをＭ２とし、前記ＲＯＩごとの前記プーリング済み特徴マップのチャンネル個数をＪとする場合、前記（Ｉ）プロセスにおいて、前記プロセッサは、（ｉ）前記第１トランスポーズレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記統合特徴マップに変換させるようにするか、（ｉｉ）前記プーリングレイヤをもって、前記ＲＯＩごとの前記プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記統合特徴マップに変換させるようにすることを特徴とする。
【００２５】
一実施例において、前記第１の１ｘ１コンボリューションレイヤのフィルタの個数をＫとし、前記第２の１ｘ１コンボリューションレイヤのフィルタの個数をＬとする場合、前記（ＩＩ）プロセスにおいて、前記プロセッサは、前記第１の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＫであるＮｘ１ｘＫのボリュームを有する前記第１調整特徴マップを生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＬであるＮｘ１ｘＬのボリュームを有する前記第２調整特徴マップを生成させることを特徴とする。
【００２６】
一実施例において、前記（ＩＩＩ）プロセスにおいて、前記プロセッサは、（ｉ）前記第２トランスポーズレイヤをもって、前記第２調整特徴マップを、Ｎ個のＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記ＲＯＩごとの前記ピクセル別特徴マップに変換させるか、（ｉｉ）前記分類レイヤをもって、前記第２調整特徴マップを、前記Ｎ個のＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記ＲＯＩごとの前記ピクセル別特徴マップに変換させることを特徴とする。
【００２７】
一実施例において、前記分類レイヤは、少なくとも一つのソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することを特徴とする。
【００２８】
本発明のまた他の態様によると、イメージ認識のためのＣＮＮをテストするテスト装置において、インストラクションを格納する少なくとも一つのメモリと、学習装置が、（１）（ｉ）少なくとも一つのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ上で学習用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれの学習用ＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの学習用物体に対応する少なくとも一つの前記学習用ＲＯＩごとの学習用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、前記学習用ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記学習用ＲＯＩごとの学習用プーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記学習用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記学習用ＲＯＩ特徴マップに対してプーリング演算を適用させて前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記学習用ＲＯＩごとの前記学習用プーリング済み特徴マップ上の対応する同一の各位置の前記ピクセルそれぞれを前記学習用ＲＯＩごとにコンカチネートさせて前記学習用統合特徴マップを生成させ、（２）第１の１ｘ１コンボリューションレイヤをもって、前記学習用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、前記学習用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された学習用第２調整特徴マップを生成させ、（３）（３−１）（ｉ）第２トランスポーズレイヤをもって、前記学習用第２調整特徴マップを前記ピクセルごとに分離させて前記学習用ＲＯＩごとの学習用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを利用して前記学習用ＲＯＩそれぞれに対する学習用物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記学習用第２調整特徴マップを前記ピクセルごとに分離させて前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記学習用ＲＯＩごとの前記学習用ピクセル別特徴マップを利用して前記学習用ＲＯＩそれぞれに対する前記学習用物体情報を生成させた後、（３−２）ロスレイヤをもって、前記学習用物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることで、前記物体ロスをバックプロパゲーションして前記第２の１ｘ１コンボリューションレイヤ、前記第１の１ｘ１コンボリューションレイヤ、及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習した状態で、（Ｉ）（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのテストイメージ上でテスト用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのテスト用ＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのテスト用物体に対応する少なくとも一つの前記テスト用ＲＯＩごとのテスト用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）前記プーリングレイヤをもって、前記テスト用ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させて前記テスト用ＲＯＩごとのテスト用プーリング済み特徴マップを生成させ、前記第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを前記テスト用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてテスト用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）前記プーリングレイヤをもって、前記テスト用ＲＯＩ特徴マップに対してプーリング演算を適用させて前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを生成させ、前記プーリングレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれの前記ピクセルを前記テスト用ＲＯＩごとにコンカチネートさせて前記テスト用統合特徴マップを生成させるプロセス、（ＩＩ）前記第１の１ｘ１コンボリューションレイヤをもって、前記テスト用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整されたテスト用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、前記テスト用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整されたテスト用第２調整特徴マップを生成させるプロセス、及び（ＩＩＩ）（ｉ）前記第２トランスポーズレイヤをもって、前記テスト用第２調整特徴マップを前記ピクセルごとに分離させて前記テスト用ＲＯＩごとのテスト用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、前記分類レイヤをもって、前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを利用して前記テスト用ＲＯＩそれぞれに関するテスト用物体情報を生成させるか、（ｉｉ）前記分類レイヤをもって、前記テスト用第２調整特徴マップを前記ピクセルごとに分離させて前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを生成させ、前記分類レイヤをもって、前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップを利用して前記テスト用ＲＯＩそれぞれに関する前記テスト用物体情報を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロ���ッサと、を含むことを特徴とする。
【００２９】
一実施例において、前記テスト用ＲＯＩの個数をＮとし、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップの幅をＭ１、高さをＭ２とし、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップのチャンネル個数をＪとする場合、前記（Ｉ）プロセスにおいて、前記プロセッサは、（ｉ）前記第１トランスポーズレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記テスト用統合特徴マップに変換させるようにするか、（ｉｉ）前記プーリングレイヤをもって、前記テスト用ＲＯＩごとの前記テスト用プーリング済み特徴マップを幅１、高さＮ、チャンネルＭ１ｘＭ２ｘＪである前記テスト用統合特徴マップに変換させるようにすることを特徴とする。
【００３０】
一実施例において、前記第１の１ｘ１コンボリューションレイヤのフィルタの個数をＫとし、前記第２の１ｘ１コンボリューションレイヤのフィルタの個数をＬとする場合、前記（ＩＩ）プロセスにおいて、前記プロセッサは、前記第１の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＫであるＮｘ１ｘＫのボリュームを有する前記テスト用第１調整特徴マップを生成させ、前記第２の１ｘ１コンボリューションレイヤをもって、幅Ｎ、高さ１、チャンネルＬであるＮｘ１ｘＬのボリュームを有する前記テスト用第２調整特徴マップを生成させることを特徴とする。
【００３１】
一実施例において、前記（ＩＩＩ）プロセスにおいて、前記プロセッサは、（ｉ）前記第２トランスポーズレイヤをもって、前記テスト用第２調整特徴マップを、Ｎ個のテスト用ＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップに変換させるか、（ｉｉ）前記分類レイヤをもって、前記テスト用第２調整特徴マップを、前記Ｎ個のテスト用ＲＯＩそれぞれに対応する幅１、高さ１、チャンネルＬである１ｘ１ｘＬのボリュームを有する前記テスト用ＲＯＩごとの前記テスト用ピクセル別特徴マップに変換させることを特徴とする。
【００３２】
一実施例において、前記分類レイヤは、少なくとも一つのソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することを特徴とする。
【００３３】
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００３４】
本発明は、コンボリューションレイヤでのみイメージ認識のためのＣＮＮを具現することで、入力イメージのサイズに関係なく入力イメージ内に位置する物体を認識することができる効果がある。
【００３５】
また、本発明は、コンボリューションレイヤでのみイメージ認識のためのＣＮＮを具現することにより、従来のＦＣレイヤを利用する場合に比べて特徴分類のための重み付け値の個数を最小化することができる他の効果がある。
【００３６】
また、本発明は、コンボリューションレイヤでのみイメージ認識のためのＣＮＮを具現することにより、従来のＦＣレイヤを利用する場合に比べて特徴分類のためのコンピューティング演算量を減少させ得るまた他の効果がある。
【図面の簡単な説明】
【００３７】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野でおいて通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われることなくこの各図面に基づいて他の図面が得られ得る。
【００３８】
【図１】本発明の一実施例によるイメージ認識のためのＣＮＮを学習する学習装置を簡略に示したものである。
【図２】本発明の一実施例によるイメージ認識のためのＣＮＮを学習する方法を簡略に示したものである。
【図３】本発明の一実施例によるイメージ認識のためのＣＮＮを学習するのに使用され、プーリングレイヤをもって、プーリング演算を少なくとも一回遂行して生成されたＲＯＩごとのプーリング済み特徴マップを簡略に示したものである。
【図４】本発明の一実施例によるイメージ認識のためのＣＮＮを学習するのに使用され、ＲＯＩごとのプーリング済み特徴マップを使用して生成された統合特徴マップを簡略に示したものである。
【図５ａ】本発明の一実施例による、第１の１ｘ１コンボリューションレイヤをもって、統合特徴マップに対してコンボリューション演算を少なくとも一回適用させて生成された第１調整特徴マップを簡略に示したものである。
【図５ｂ】本発明の一実施例による、第２の１ｘ１コンボリューションレイヤをもって、第１調整特徴マップに対してコンボリューション演算を適用させて生成された第２調整特徴マップを簡略に示したものである。
【図６】本発明の一実施例によるイメージ認識のためのＣＮＮを学習するのに使用され、第２調整特徴マップを利用して生成されたＲＯＩごとのピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を簡略に示したものである。
【図７】本発明の一実施例によるイメージ認識のためのＣＮＮをテストするテスト装置を簡略に示したものである。
【図８】本発明の一実施例によるイメージ認識のためのＣＮＮをテストする方法を簡略に示したものである。
【発明を実施するための形態】
【００３９】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び各長所を明確にするために、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。
【００４０】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４１】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００４２】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４３】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施するようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。
【００４４】
図１は、本発明の一実施例によるイメージ認識のためのＣＮＮを学習する学習装置１００を簡略に示したものであって、図１を参照すると、学習装置１００は通信部１１０とプロセッサ１２０を含むことができる。
【００４５】
先ず、通信部１１０は、少なくとも一つのトレーニングイメージを受信することができる。
【００４６】
この際、トレーニングイメージはデータベース１３０に格納されていてもよく、データベース１３０にはトレーニングイメージに対応して少なくとも一つの物体それぞれに関するクラス情報の少なくとも一つの原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）、及びそれぞれの物体に関する位置情報の少なくとも一つの原本正解が格納されていてもよい。
【００４７】
また、学習装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ１１５をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）として統合され得る。
【００４８】
次に、プロセッサ１２０は、（ｉ）少なくとも一つのコンボリューションレイヤをもって、トレーニングイメージ上でＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して、物体に対応する少なくとも一つのＲＯＩごとのＲＯＩ特徴マップを生成させるプロセス、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、ＲＯＩ特徴マップに対してプーリング演算を少なくとも一回適用させてＲＯＩごとのプーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、ＲＯＩごとのプーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルをＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）プーリングレイヤをもって、ＲＯＩ特徴マップに対してプーリング演算を適用させてＲＯＩごとのプーリング済み特徴マップを生成させ、プーリングレイヤをもって、ＲＯＩごとのプーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルをＲＯＩごとにコンカチネートさせて統合特徴マップを生成させるプロセスを遂行することができる。そして、プロセッサ１２０は、第１の１ｘ１コンボリューションレイヤをもって、統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された第２調整特徴マップを生成させるプロセスを遂行することができる。
【００４９】
以後、プロセッサ１２０は、（ｉ）第２トランスポーズレイヤをもって、第２調整特徴マップをピクセルごとに分離させてＲＯＩごとのピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、ＲＯＩごとのピクセル別特徴マップを利用してＲＯＩそれぞれに対する物体情報を生成させるか、（ｉｉ）分類レイヤをもって、第２調整特徴マップをピクセルごとに分離させてＲＯＩごとのピクセル別特徴マップを生成させ、分類レイヤをもって、ＲＯＩごとのピクセル別特徴マップを利用してＲＯＩそれぞれに対する物体情報を生成させるプロセスを遂行することができる。そして、プロセッサ１２０は、ロスレイヤをもって、物体情報とこれに対応する原本正解とを参照して少なくとも一つの物体ロスを算出させることにより、物体ロスを利用したバックプロパゲーションを通じて第２の１ｘ１コンボリューションレイヤ、第１の１ｘ１コンボリューションレイヤ、及びコンボリューションレイヤのうち少なくとも一部のパラメータを学習させるプロセスを遂行することができる。
【００５０】
この際、本発明の一実施例による学習装置１００は、コンピューティング装置であって、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明に係る学習装置１００として採択され得る。また、図１では一つの学習装置１００のみを示したが、これに限定されず、学習装置は複数個に分けて役割を遂行することもできる。
【００５１】
このように構成された本発明の一実施例による学習装置１００を利用して、イメージ認識のためのＣＮＮを学習する方法を図２を参照して説明すると以下のとおりである。
【００５２】
まず、トレーニングイメージが入力されると、学習装置１００が、コンボリューションレイヤ１２１をもって、トレーニングイメージ上でＲＯＩの領域をクロップし、リサイズして生成されたＲＯＩごとのＲＯＩ特徴マップを生成させることができる。この際、コンボリューションレイヤ１２１は、ＲＯＩイメージに対して順次にコンボリューション演算を適用するために単一のコンボリューションレイヤ又は複数個のコンボリューションレイヤであり得る。
【００５３】
次に、学習装置１００は、プーリングレイヤ１２２をもって、ＲＯＩごとのＲＯＩ特徴マップに対してプーリング演算を適用させてＲＯＩごとのプーリング済み特徴マップ生成させることができる。
【００５４】
一例として、図３を参照すると、ＲＯＩの個数をＮとし、ＲＯＩごとのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮの幅をＭ１、高さをＭ２とし、ＲＯＩごとのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮのチャンネル個数をＪとする場合、ＲＯＩごとのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮはそれぞれＭ１ｘＭ２ｘＪのボリュームを有することができる。
【００５５】
次に、学習装置１００は、第１トランスポーズレイヤ１２３をもって、プーリングレイヤ１２２から出力されたＲＯＩごとのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮ上の対応する同一の各位置それぞれのピクセルをＲＯＩごとにコンカチネートして統合特徴マップを生成させることができる。
【００５６】
一例として、図３と図４を参照すると、図３におけるＲＯＩごとのそれぞれのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮ上における最も左側上端のピクセルをそれぞれＲ１Ｆ１１、Ｒ２Ｆ１１、…、ＲＮＦ１１とする場合、Ｒ１Ｆ１１、Ｒ２Ｆ１１、…、ＰＮＦ１１をコンカチネートして、図４ですべてのチャンネルのうち最初のチャンネルに対応する最も前面にあるラインのように幅Ｎ、高さ１である統合特徴マップ４００の第１部分が生成されるようにし、この過程をＲＯＩごとのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮそれぞれにあるピクセルの残りの部分にも繰り返し実行する。そして、ＲＯＩごとのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮそれぞれにおけるピクセル個数と同一にチャンネル個数がＭ１ｘＭ２ｘＪである統合特徴マップ４００を生成することができる。
【００５７】
先に説明したように、学習装置１００が、第１トランスポーズレイヤ１２３をもって、プーリングレイヤ１２２から出力されたＲＯＩごとのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮを利用して統合特徴マップ４００を生成させることができる。他の例として、学習装置１００が第１トランスポーズレイヤ１２３を使用せずに、プーリングレイヤ１２２をもって統合特徴マップを生成させることができる。つまり、他の例として、学習装置１００は、プーリングレイヤ１２２をもって、初期特徴マップ上でＲＯＩそれぞれに対応する領域それぞれに対してプーリング演算を適用させてＲＯＩごとのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮを生成させ、ＲＯＩごとのプーリング済み特徴マップＰ１、Ｐ２、…、ＰＮ上の対応する同一の各位置それぞれのピクセルをＲＯＩごとにコンカチネートさせて統合特徴マップ４００を生成させることができる。
【００５８】
次に、学習装置１００は、第１の１ｘ１コンボリューションレイヤ１２４をもって、統合特徴マップ４００に対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された第１調整特徴マップを生成させ、第２の１ｘ１コンボリューションレイヤ１２５をもって、第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された第２調整特徴マップを生成させるプロセスを遂行することができる。
【００５９】
一例として、図５ａと図５ｂを参照すると、第１の１ｘ１コンボリューションレイヤ１２４のフィルタの個数をＫとし、第２の１ｘ１コンボリューションレイヤ１２５のフィルタの個数をＬとする場合、学習装置１００は第１の１ｘ１コンボリューションレイヤ１２４をもって、図４の統合特徴マップに対して１ｘ１コンボリューション演算を適用させて図５ａのように幅Ｎ、高さ１、チャンネル個数ＫであるＮｘ１ｘＫのボリュームを有する第１調整特徴マップ５００Ａを生成させ、第２の１ｘ１コンボリューションレイヤ１２５をもって、第１調整特徴マップ５００Ａに対して１ｘ１コンボリューション演算を適用させて図５ｂのように幅Ｎ、高さ１、チャンネル個数ＬであるＮｘ１ｘＬのボリュームを有する第２調整特徴マップ５００Ｂを生成させることができる。
【００６０】
次に、学習装置１００は、第２トランスポーズレイヤ１２６をもって、第２調整特徴マップ５００Ｂをピクセルごとに分離してＲＯＩごとのピクセル別特徴マップを生成させることができる。
【００６１】
一例として、図６を参照すると、学習装置１００は第２トランスポーズレイヤ１２６をもって、図５ｂのように幅Ｎ、高さ１、チャンネル個数Ｌであるボリュームを有する第２調整特徴マップ５００Ｂをピクセルごとに分離してＲＯＩごとに幅１、高さ１、チャンネル個数Ｌであるピクセル別特徴マップＰＷ１、ＰＷ２、…及びＰＷＮを生成させる。
【００６２】
次に、学習装置１００は、分類レイヤ１２７をもって、ＲＯＩごとのピクセル別特徴マップＰＷ１、ＰＷ２、…、及びＰＷＮを利用してＲＯＩそれぞれに関する物体情報を生成させることができる。この際、分類レイヤ１２７は、少なくとも一つのソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することができ、それぞれのＲＯＩ内に含まれたそれぞれの物体がどの種類の物体であるかを示す認知結果を生成することができ、認知結果が正答である可能性についての確率情報を生成させることができる。これに加えて、物体情報は、物体それぞれがトレーニングイメージ内に位置する位置情報を含むこともできる。
【００６３】
先に説明したように、第２トランスポーズレイヤ１２６は、第２調整特徴マップ５００Ｂを利用してＲＯＩごとにピクセル別特徴マップＰＷ１、ＰＷ２、…、及びＰＷＮを生成することができる。他の例として、分類レイヤ１２７は、第２トランスポーズレイヤ１２６を使用せずに、第２調整特徴マップ５００Ｂを利用してＲＯＩごとのピクセル別特徴マップＰＷ１、ＰＷ２、…、及びＰＷＮを生成することができる。つまり、他の例として学習装置１００は、分類レイヤ１２７をもって、第２調整特徴マップ５００Ｂをピクセルごとに分離してＲＯＩごとのピクセル別特徴マップＰＷ１、ＰＷ２、…、及びＰＷＮを生成させ、分類レイヤ１２７をもって、ＲＯＩごとのピクセル別特徴マップＰＷ１、ＰＷ２、…及びＰＷＮを利用してＲＯＩそれぞれに関する物体クラス情報を生成させることができる。
【００６４】
次に、学習装置１００は、ロスレイヤ１２８をもって、物体情報とこれに対応する原本正解とを参照して少なくとも一つの物体ロスを算出させることにより、物体ロスを利用したバックプロパゲーションを通じて第２の１ｘ１コンボリューションレイヤ１２５、第１の１ｘ１コンボリューションレイヤ１２４、及びコンボリューションレイヤ１２１のうち少なくとも一部のパラメータを調整することができる。
【００６５】
前記のように、本発明の一実施例によるイメージ認識のためのＣＮＮは、各コンボリューションレイヤのみで構成することにより、入力イメージのサイズに関係なく入力イメージ内の物体を認識することができる。また、本発明の一実施例によるイメージ認識のためのＣＮＮは、１ｘ１コンボリューションレイヤのＬＣ演算（Ｌｏｃａｌ  Ｃｏｎｎｅｃｔｅｄ  Ｏｐｅｒａｔｉｏｎ）を適用することにより、従来のＦＣレイヤのＦＣ演算（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｏｐｅｒａｔｉｏｎ）に比べてコンピューティング演算量を減少させ得るようになる。
【００６６】
図７は、本発明の一実施例によるイメージ認識のためのＣＮＮをテストするテスト装置２００を簡略に示したものであって、図７を参照すると、テスト装置２００は通信部２１０とプロセッサ２２０とを含むことができる。
【００６７】
また、テスト装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ２１５をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は、統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）として統合され得る。
【００６８】
参考までに、以下の説明で混同を避けるために「学習用」という文句は前述の学習プロセスに関する用語について追加され、「テスト用」という文句はテストプロセスに関する用語について追加される。
【００６９】
先ず、通信部２１０は、少なくとも一つのテストイメージを取得することができる。
【００７０】
この際、本発明の一実施例によるイメージ認識のためのＣＮＮは、図１ないし図６を参照して説明した学習方法によって学習された状態であり得る。
【００７１】
つまり、少なくとも一つのトレーニングイメージが取得されると、学習装置は、（ａ）（ｉ）少なくとも一つのコンボリューションレイヤをもって、トレーニングイメージ上で学習用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれの学習用ＲＯＩイメージに対してコンボリューション演算を適用して、少なくとも一つの学習用物体に対応する少なくとも一つの学習用ＲＯＩごとの学習用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、学習用ＲＯＩ特徴マップに対してプーリング演算を適用させて学習用ＲＯＩごとの学習用プーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、学習用ＲＯＩごとの学習用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを学習用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させて学習用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）プーリングレイヤをもって、学習用ＲＯＩ特徴マップに対してプーリング演算を適用させて学習用ＲＯＩごとの学習用プーリング済み特徴マップを生成させ、プーリングレイヤをもって、学習用ＲＯＩごとの学習用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルを学習用ＲＯＩごとにコンカチネートさせて学習用統合特徴マップを生成させるプロセス；（ｂ）第１の１ｘ１コンボリューションレイヤをもって、学習用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整された学習用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、学習用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整された学習用第２調整特徴マップを生成させるプロセス；及び（ｃ）（ｃ１）（ｉ）第２トランスポーズレイヤをもって、学習用第２調整特徴マップをピクセルごとに分離させて学習用ＲＯＩごとの学習用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、学習用ＲＯＩごとの学習用ピクセル別特徴マップを利用して学習用ＲＯＩそれぞれに対する学習用物体情報を生成させるか、（ｉｉ）分類レイヤをもって、学習用第２調整特徴マップをピクセルごとに分離させて学習用ＲＯＩごとの学習用ピクセル別特徴マップを生成させ、分類レイヤをもって、学習用ＲＯＩごとの学習用ピクセル別特徴マップを利用して学習用ＲＯＩそれぞれに対する学習用物体情報を生成させた後、（ｃ２）ロスレイヤをもって、学習用物体情報とこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つの物体ロスを算出させることにより、物体ロスを利用したバックプロパゲーションを通じて第２の１ｘ１コンボリューションレイヤ、第１の１ｘ１コンボリューションレイヤ、及びコンボリューションレイヤのうち少なくとも一部のパラメータを学習するプロセスを遂行した状態であり得る。
【００７２】
次に、プロセッサ２２０は、（ｉ）コンボリューションレイヤをもって、テストイメージ上でテスト用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのテスト用ＲＯＩイメージに対してコンボリューション演算を適用して、少なくとも一つのテスト用物体に対応する少なくとも一つのテスト用ＲＯＩごとのテスト用ＲＯＩ特徴マップを生成させ、（ｉｉ）（ｉｉ−１）プーリングレイヤをもって、テスト用ＲＯＩ特徴マップに対してプーリング演算を適用させてテスト用ＲＯＩごとのテスト用プーリング済み特徴マップを生成させ、第１トランスポーズレイヤ（Ｔｒａｎｓｐｏｓｉｎｇ  Ｌａｙｅｒ）をもって、テスト用ＲＯＩごとのテスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルをテスト用ＲＯＩごとにコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させてテスト用統合特徴マップ（Ｉｎｔｅｇｒａｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるか、（ｉｉ−２）プーリングレイヤをもって、テスト用ＲＯＩ特徴マップに対してプーリング演算を適用させてテスト用ＲＯＩごとのテスト用プーリング済み特徴マップを生成させ、プーリングレイヤをもって、テスト用ＲＯＩごとのテスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルをテスト用ＲＯＩごとにコンカチネートさせてテスト用統合特徴マップを生成させるプロセスを遂行することができる。そして、プロセッサ２２０は、第１の１ｘ１コンボリューションレイヤをもって、テスト用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整されたテスト用第１調整特徴マップ（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、第２の１ｘ１コンボリューションレイヤをもって、テスト用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整されたテスト用第２調整特徴マップを生成させるプロセスを遂行することができる。以後、プロセッサ２２０は（ｉ）第２トランスポーズレイヤをもって、テスト用第２調整特徴マップをピクセルごとに分離させてテスト用ＲＯＩごとのテスト用ピクセル別特徴マップ（Ｐｉｘｅｌ−Ｗｉｓｅ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、分類レイヤ（Ｃｌａｓｓｉｆｙｉｎｇ  Ｌａｙｅｒ）をもって、テスト用ＲＯＩごとのテスト用ピクセル別特徴マップを利用してテスト用ＲＯＩそれぞれに対するテスト用物体情報を生成させるか、（ｉｉ）分類レイヤをもって、テスト用第２調整特徴マップをピクセルごとに分離させてテスト用ＲＯＩごとのテスト用ピクセル別特徴マップを生成させ、分類レイヤをもって、テスト用ＲＯＩごとのテスト用ピクセル別特徴マップを利用してテスト用ＲＯＩ  それぞれに対するテスト用物体情報を生成させるプロセスを遂行することができる。
【００７３】
この際、本発明の一実施例によるテスト装置２００は、コンピュータ装置であって、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明によるテスト装置２００として採択され得る。また、図７では、一つのテスト装置２００のみを示したが、これに限定されず、テスト装置は複数個に分けて役割を遂行することもできる。
【００７４】
このように構成された本発明の一実施例によるテスト装置２００を利用して、イメージ認識のためのＣＮＮをテストする方法を図８を参照して説明すると以下のとおりである。以下の説明で、図１ないし図６を参照して説明した学習方法から容易に理解可能な部分については詳細な説明を省略することにする。
【００７５】
まず、図１ないし図６を参照して説明した学習方法によってコンボリューションレイヤ２２１、第１の１ｘ１コンボリューションレイヤ２２４、及び第２の１ｘ１コンボリューションレイヤ２２５の少なくとも一部のパラメータが学習された状態で、テストイメージが入力されると、テスト装置２００がコンボリューションレイヤ２２１をもって、テストイメージ上でテスト用ＲＯＩの領域をクロップ（Ｃｒｏｐ）し、リサイズ（Ｒｅｓｉｚｅ）して生成されたそれぞれのテスト用ＲＯＩイメージに対してコンボリューション演算を少なくとも一回適用して、テスト用物体に対応するテスト用ＲＯＩごとのテスト用ＲＯＩ特徴マップを生成させる。この際、コンボリューションレイヤ２２１は、テスト用ＲＯＩイメージに対して順次にコンボリューション演算を適用するために単一のコンボリューションレイヤ又は複数のコンボリューションレイヤであり得る。
【００７６】
次に、テスト装置２００は、プーリングレイヤ２２２をもって、第１テスト用ＲＯＩごとのテスト用ＲＯＩ特徴マップに対してプーリング演算を適用させてテスト用ＲＯＩごとのテスト用プーリング済み特徴マップを生成させることができる。
【００７７】
次に、テスト装置２００は、第１トランスポーズレイヤ２２３をもって、プーリングレイヤ２２２から出力されたテスト用ＲＯＩごとのテスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルをテスト用ＲＯＩごとにコンカチネートさせてテスト用統合特徴マップを生成させることができる。
【００７８】
前記で説明したように、テスト装置２００が第１トランスポーズレイヤ２２３をもって、プーリングレイヤ２２２から出力されたテスト用ＲＯＩごとのテスト用プーリング済み特徴マップを利用してテスト用統合特徴マップを生成させた。他の例として、テスト装置２００は、第１トランスポーズレイヤ２２３を使用せずに、プーリングレイヤ２２２をもってテスト用統合特徴マップを生成させることができる。つまり、テスト装置２００は、プーリングレイヤ２２２をもって、テスト用ＲＯＩごとのテスト用ＲＯＩ特徴マップに対してプーリング演算を適用させてテスト用ＲＯＩごとのテスト用プーリング済み特徴マップを生成し、テスト用ＲＯＩごとのテスト用プーリング済み特徴マップ上の対応する同一の各位置それぞれのピクセルをテスト用ＲＯＩごとにコンカチネートしてテスト用統合特徴マップを生成させることができる。
【００７９】
次に、テスト装置２００は、第１の１ｘ１コンボリューションレイヤ２２４をもって、テスト用統合特徴マップに対して１ｘ１コンボリューション演算を適用させてボリューム（Ｖｏｌｕｍｅ）が調整されたテスト用第１調整特徴マップを生成させ、第２の１ｘ１コンボリューションレイヤ２２５をもって、テスト用第１調整特徴マップに対して１ｘ１コンボリューション演算を適用させてボリュームが調整されたテスト用第２調整特徴マップを生成させるプロセスを遂行することができる。
【００８０】
次に、テスト装置２００は、第２トランスポーズレイヤ２２６をもって、テスト用第２調整特徴マップをピクセルごとに分離させてテスト用ＲＯＩごとのテスト用ピクセル別特徴マップを生成させることができる。
【００８１】
次に、テスト装置２００は、分類レイヤ２２７をもって、テスト用ＲＯＩごとのテスト用ピクセル別特徴マップを利用して各テスト用ＲＯＩそれぞれに対するテスト用物体情報を生成させることができる。この際、分類レイヤ２２７は、ソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを使用することができ、それぞれのテスト用ＲＯＩ内に含まれたテスト用それぞれの物体がどの種類の物体であるかを示す認知結果を生成することができ、認知結果が正答である可能性に関する確率情報を生成させることができる。これに加えて、テスト用物体情報は、テスト用物体それぞれがテストイメージ内に位置する位置情報を含むこともできる。
【００８２】
前記で説明したように第２トランスポーズレイヤ２２６は、テスト用第２調整特徴マップを利用してテスト用ＲＯＩごとのテスト用ピクセル別特徴マップを生成させることができる。他の例として、分類レイヤ２２７は、第２トランスポーズレイヤ２２６を使用せずに、テスト用第２調整特徴マップを利用してテスト用ＲＯＩごとのテスト用ピクセル別特徴マップを生成させることができる。つまり、テスト装置２００は、分類レイヤ２２７をもって、テスト用第２調整特徴マップをピクセルごとに分離してテスト用ＲＯＩごとのテスト用ピクセル別特徴マップを生成させ、分類レイヤ２２７をもって、テスト用ＲＯＩごとのテスト用ピクセル別特徴マップを利用してテスト用ＲＯＩそれぞれに対するテスト用物体情報を生成させることができる。
【００８３】
本方法において、同一のプロセッサがコンボリューション演算及びＦＣ  演算を遂行するため、チップ（Ｃｈｉｐ）のサイズを小さくし、ハードウェアを最適化してＫＰＩ（Ｋｅｙ  Ｐｅｒｆｏｒｍａｎｃｅ  Ｉｎｄｅｘ、重要業績評価指標）を満たすことができる。したがって、半導体製作の過程において追加のラインを設置する必要がなく、電力節減、半導体ダイ（Ｄｉｅ）内でＦＣモジュールの代わりに他のモジュールを設置する空間が広がるなどの長所がある。
【００８４】
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００８５】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００８６】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【符号の説明】
【００８７】
１００：学習装置、
２００：テスト装置、
１１０、２１０：通信部、
１２０、２２０：プロセッサ、
１３０：データベース
【図１】
2020119542.tif 000003
【図２】
2020119542.tif 000004
【図３】
2020119542.tif 000005
【図４】
2020119542.tif 000006
【図５ａ】
2020119542.tif 000007
【図５ｂ】
2020119542.tif 000008
【図６】
2020119542.tif 000009
【図７】
2020119542.tif 000010
【図８】
2020119542.tif 000011