(57)【要約】      （修正有）【課題】少なくとも一つのテーブル作成用イメージ内の少なくとも一つの客体のスケール範囲別にプーリングタイプに対する情報を含むテーブルを作成するための方法を提供する。【解決手段】方法は、マックスプーリングを適用して第１プーリング済み特徴マップと平均プーリングを適用して第２プーリング済み特徴マップを生成する段階、第１プーリング済み特徴マップを利用して第１候補バウンディングボックスを獲得し、第２プーリング済み特徴マップを利用して第２候補バウンディングボックスを獲得する段階、及び第１候補バウンディングボックスと原本正解バウンディングボックス間の第１類似度と第２候補バウンディングボックスと原本正解バウンディングボックス間の第２類似度を比較して、客体のスケールの各範囲別に各々の最適プーリングタイプに対する情報を含むようにテーブルを形成する段階を含む。【選択図】図３
2019075122.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つのテーブル作成用イメージ内の少なくとも一つの客体のスケール範囲別にプーリングタイプに対する情報を含むテーブルを作成するための方法において、
（ａ）（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置は、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置は、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置は、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、テーブル作成装置が、前記調節されたパラメータを備えたＣＮＮの入力として、客体を含むテーブル作成用イメージを獲得するか、他の装置をもって獲得するようにする段階；
（ｂ）前記テーブル作成装置が、前記複数個のコンボリューションレイヤをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにする段階；
（ｃ）前記テーブル作成装置は、（ｃ−１）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ｃ−２）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ｃ−３）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、（ｃ−４）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにする段階；及び
（ｄ）前記テーブル作成装置は、前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成する段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｃ）段階の（ｃ−１）及び（ｃ−２）プロセスで、
前記テーブル作成装置が、前記一つ以上の特徴マップのうち一つの特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、ある特定領域にマックスプーリング演算のうち一つを適用して前記テーブル作成用第１プーリング済み特徴マップを生成し、前記一つ以上の特徴マップのうち前記一つの特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、前記ある特定領域に平均プーリング演算のうち一つを適用して前記テーブル作成用第２プーリング済み特徴マップを生成することを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｃ）段階の（ｃ−１）及び（ｃ−２）プロセスで、
前記テーブル作成装置が、前記一つ以上の特徴マップのうち多数の特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、多数の特定領域にマックスプーリング演算を適用して前記テーブル作成用第１プーリング済み特徴マップを生成し、前記一つ以上の特徴マップのうち前記多数の特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、前記多数の特定領域に平均プーリング演算を適用して前記テーブル作成用第２プーリング済み特徴マップを生成することを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｄ）段階で、
前記最適のプーリングタイプ各々は、（ｉ）前記多数の特定特徴マップに対応する多数の特定サブ−プーリングタイプまたは（ｉｉ）前記多数の特定サブ−プーリングタイプを参照して定義された一つの統合プーリングタイプを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記（ｄ）段階で、
前記テーブル装置は、（ｉ）前記テーブル作成用第１候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第１類似度と（ｉｉ）前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、（ｉ）前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体のスケールの各範囲、及び（ｉｉ）前記客体の各カテゴリ別に、各々の最適のプーリングタイプに対する情報を含むように前記テーブルを作成することを特徴とする請求項１に記載の方法。
【請求項６】
前記（ｄ）段階で、
前記テーブル作成装置は、前記客体の前記スケールの各範囲別に平均プーリングタイプのカテゴリの数に対するマックスプーリングタイプのカテゴリ数として決定された比率を参照して、前記客体の前記スケールの各範囲別に各々の最適のプーリングタイプに対する情報を含めるように前記テーブルを作成することを特徴とする請求項１に記載の方法。
【請求項７】
前記テーブル作成装置は、前記客体のカテゴリ別に前記客体のスケールの臨界範囲を指定して管理し、前記臨界範囲は前記第１類似度が前記第２類似度よりも大きいか同じになり始める時の前記客体のスケールの特定範囲を前記臨界範囲に指定してこれを管理することを特徴とする請求項１に記載の方法。
【請求項８】
前記類似度はテーブル作成用候補バウンディングボックスの領域と第２原本正解イメージのバウンディングボックスの領域の和集合（ｕｎｉｏｎ）に対する、前記テーブル作成用候補バウンディングボックスの領域と前記第２原本正解イメージのバウンディングボックスの領域の交差集合（ｉｎｔｅｒｓｅｃｔｉｏｎ）の比率として決定されて、前記類似度は前記第１類似度及び前記第２類似度を含み、前記テーブル作成用候補バウンディングボックスは、前記テーブル作成用第１候補バウンディングボックスと前記テーブル作成用第２候補バウンディングボックスを含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記客体のスケールは、前記テーブル作成用イメージ内の客体に対応する前記第１及び第２候補バウンディングボックス内に含まれたピクセルデータの個数及び前記第２原本正解イメージのバウンディングボックスに含まれたピクセルデータの個数のうち少なくとも一つを参照して決定されることを特徴とする請求項１に記載の学習方法。
【請求項１０】
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を含むテスティング装置を用いて一つ以上のテストイメージ上の一つ以上のテスト用客体に対するプーリングタイプの情報を含むテーブルを利用する方法において、
（ａ）（Ｉ）（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置が、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置が、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置が、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、テーブル作成装置が、前記調節されたパラメータを備えたＣＮＮの入力として客体を含むテーブル作成用イメージを獲得する段階；（ＩＩ）前記テーブル作成装置が、前記複数個のコンボリューションレイヤをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにする段階；（ＩＩＩ）前記テーブル作成装置が、（ｉ）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ｉｉ）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ｉｉｉ）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、（ｉｖ）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにする段階；及び（ＩＶ）前記テーブル作成装置が、（ｉ）前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び（ｉｉ）前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成する段階；を遂行した状態で、前記テスティング装置が前記テストイメージを獲得するか、他の装置をもって獲得するようにする段階；
（ｂ）前記テスティング装置が、前記複数個のコンボリューションレイヤをもって前記テストイメージにコンボリューション演算を適用するようにして少なくとも一つのテスト用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テスト用特徴マップに所定の演算を適用してテスト用ＲＯＩ領域が獲得されるようにする段階；
（ｃ）前記テスティング装置が、前記マックスプーリングタイプ及び前記平均プーリングタイプのうち、前記テスト用ＲＯＩに対応する情報を含む前記テーブルを参照して決定して選択された、特定最適プーリングタイプを利用してテスト用プーリング済み特徴マップを生成する段階；及び
（ｄ）前記テスティング装置が、前記ＦＣレイヤを通じて前記テスト用プーリング済み特徴マップにリグレッション演算を適用してテスト用バウンディングボックスを獲得する段階；
を含む方法。
【請求項１１】
前記テスティング装置は、前記テストイメージにコンボリューション演算を適用した結果互いに異なる大きさを有するテスト用特徴マップが獲得される場合、前記テスト用特徴マップに対応するサブ−プーリングタイプを利用して前記テスト用プーリング済み特徴マップを生成し、ここで前記サブ−プーリングタイプはテスト用客体のスケールに対応する情報を含む前記テーブルを参照に決定されることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記（ｂ）段階で、
前記テスティング装置は、前記マックスプーリングタイプまたは前記平均プーリングタイプの中から選択された前記特定最適プーリングタイプを利用して前記テスト用プーリング済み特徴マップを生成し、ここで前記特定最適プーリングタイプは前記テスト用ＲＯＩのスケール及び前記テスト用客体のカテゴリに対応する情報を含む前記テーブルを参照に決定されることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記（ｂ）段階で、
前記テスト用ＲＯＩの前記スケールは前記テスト用ＲＯＩの内部に含まれたピクセルデータ個数を参照にして決定されることを特徴とする請求項１０に記載の方法。
【請求項１４】
少なくとも一つのテーブル作成用イメージ内の少なくとも一つの客体のスケール範囲別にプーリングタイプに対する情報を含むテーブルを作成するためのテーブル作成装置において、
（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置が、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置は、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置は、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、前記調節されたパラメータを備えたＣＮＮの入力として、客体を含むテーブル作成用イメージを獲得するか、他の装置をもって獲得するようにする通信部；
（Ｉ）前記複数個のコンボリューションレイヤをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにするプロセス；（ＩＩ）（ＩＩ−１）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ＩＩ−２）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ＩＩ−３）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、（ＩＩ−４）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにするプロセス；及び（ＩＩＩ）前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成するプロセス；を含むプロセッサ；
を含むことを特徴とする装置。
【請求項１５】
前記（ＩＩ−１）及び（ＩＩ−２）プロセスで、
前記プロセッサが、前記一つ以上の特徴マップのうち一つの特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、ある特定領域にマックスプーリング演算のうち一つを適用して前記テーブル作成用第１プーリング済み特徴マップを生成し、前記一つ以上の特徴マップのうち前記一つの特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、前記ある特定領域に平均プーリング演算のうち一つを適用して前記テーブル作成用第２プーリング済み特徴マップを生成することを特徴とする請求項１４に記載の装置。
【請求項１６】
前記（ＩＩ−１）及び（ＩＩ−２）プロセスで、
前記プロセッサが、前記一つ以上の特徴マップのうち多数の特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、多数の特定領域にマックスプーリング演算を適用して前記テーブル作成用第１プーリング済み特徴マップを生成し、前記一つ以上の特徴マップのうち前記多数の特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、前記多数の特定領域に平均プーリング演算を適用して前記テーブル作成用第２プーリング済み特徴マップを生成することを特徴とする請求項１４に記載の装置。
【請求項１７】
前記（ＩＩＩ）プロセスで、
前記最適のプーリングタイプ各々は、（ｉ）前記多数の特定特徴マップに対応する多数の特定サブ−プーリングタイプまたは（ｉｉ）前記多数の特定サブ−プーリングタイプを参照して定義された一つの統合プーリングタイプを含むことを特徴とする請求項１６に記載の装置。
【請求項１８】
前記（ＩＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記テーブル作成用第１候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第１類似度と（ｉｉ）前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、（ｉ）前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体のスケールの各範囲、及び（ｉｉ）前記客体の各カテゴリ別に、各々の最適のプーリングタイプに対する情報を含むように前記テーブルを作成することを特徴とする請求項１４に記載の装置。
【請求項１９】
前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記客体の前記スケールの各範囲別に平均プーリングタイプのカテゴリの数に対するマックスプーリングタイプのカテゴリ数として決定された比率を参照して前記客体の前記スケールの各範囲別に各々の最適のプーリングタイプに対する情報を含めるように前記テーブルを作成することを特徴とする請求項１４に記載の装置。
【請求項２０】
前記プロセッサは、前記客体のカテゴリ別に前記客体のスケールの臨界範囲を指定して管理し、前記臨界範囲は前記第１類似度が前記第２類似度よりも大きいか同じになり始める時の前記客体のスケールの特定範囲を前記臨界範囲に指定してこれを管理することを特徴とする請求項１４に記載の装置。
【請求項２１】
前記類似度はテーブル作成用候補バウンディングボックスの領域と第２原本正解イメージのバウンディングボックスの領域の和集合（ｕｎｉｏｎ）に対する前記テーブル作成用候補バウンディングボックスの領域と前記第２原本正解イメージのバウンディングボックスの領域の交差集合（ｉｎｔｅｒｓｅｃｔｉｏｎ）の比率として決定されて、前記類似度は前記第１類似度及び前記第２類似度を含み、前記テーブル作成用候補バウンディングボックスは、前記テーブル作成用第１候補バウンディングボックスと前記テーブル作成用第２候補バウンディングボックスを含むことを特徴とする請求項１４に記載の装置。
【請求項２２】
前記客体のスケールは、前記テーブル作成用イメージ内の客体に対応する前記第１及び第２候補バウンディングボックス内に含まれたピクセルデータの個数及び前記第２原本正解イメージのバウンディングボックスに含まれたピクセルデータの個数のうち少なくとも一つを参照して決定されることを特徴とする請求項１４に記載の学習装置。
【請求項２３】
一つ以上のテストイメージ上の一つ以上のテスト用客体に対するプーリングタイプの情報を含むテーブルを利用するテスティング装置において、
（Ｉ）（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置が、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置が、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置が、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、テーブル作成装置が、前記調節されたパラメータを備えたＣＮＮの入力として客体を含むテーブル作成用イメージを獲得する段階；（ＩＩ）前記テーブル作成装置が、前記複数個のコンボリューションレイヤをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにする段階；（ＩＩＩ）前記テーブル作成装置が、（ｉ）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ｉｉ）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ｉｉｉ）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、（ｉｖ）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにする段階；及び（ＩＶ）前記テーブル作成装置が、（ｉ）前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び（ｉｉ）前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成する段階；を遂行した状態で、前記テストイメージを獲得するか、他の装置をもって獲得するようにする通信部；及び
（ＡＡ）前記複数個のコンボリューションレイヤをもって前記テストイメージにコンボリューション演算を適用するようにして少なくとも一つのテスト用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テスト用特徴マップに所定の演算を適用してテスト用ＲＯＩ領域が獲得されるようにするプロセス；（ＢＢ）前記マックスプーリングタイプ及び前記平均プーリングタイプのうち、前記テスト用ＲＯＩに対応する情報を含む前記テーブルを参照して決定して選択された、特定最適プーリングタイプを利用してテスト用プーリング済み特徴マップを生成するプロセス；及び（ＣＣ）前記ＦＣレイヤを通じて前記テスト用プーリング済み特徴マップにリグレッション演算を適用してテスト用バウンディングボックスを獲得するプロセス；を遂行するプロセッサ；
を含む装置。
【請求項２４】
前記プロセッサは、前記テストイメージにコンボリューション演算を適用した結果互いに異なる大きさを有するテスト用特徴マップが獲得される場合、前記テスト用特徴マップに対応するサブ−プーリングタイプを利用して前記テスト用プーリング済み特徴マップを生成し、ここで前記サブ−プーリングタイプはテスト用客体のスケールに対応する情報を含む前記テーブルを参照に決定されることを特徴とする請求項２３に記載の装置。
【請求項２５】
前記（ＡＡ）プロセスで、
前記プロセッサは、前記マックスプーリングタイプまたは前記平均プーリングタイプの中から選択された前記特定最適プーリングタイプを利用して前記テスト用プーリング済み特徴マップを生成し、ここで前記特定最適プーリングタイプは前記テスト用ＲＯＩのスケール及び前記テスト用客体のカテゴリに対応する情報を含む前記テーブルを参照に決定されることを特徴とする請求項２３に記載の装置。
【請求項２６】
前記（ＡＡ）プロセスで、
前記テスト用ＲＯＩの前記スケールは前記テスト用ＲＯＩの内部に含まれたピクセルデータ個数を参照にして決定されることを特徴とする請求項２３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はプーリングタイプに対する情報を含むテーブルを作成するための方法及び装置、そしてこれを利用したテスト方法及びテスティング装置に関する。具体的に本発明は少なくとも一つのテーブル作成用イメージ内の少なくとも一つの客体のスケール範囲別にプーリングタイプに対する情報を含むテーブルを作成するための方法において、（ａ）（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置は、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置は、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置は、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、テーブル作成装置が、前記調節されたパラメータを備えたＣＮＮの入力として客体を含むテーブル作成用イメージを獲得するか、他の装置をもって獲得するようにする段階；（ｂ）前記テーブル作成装置が、前記複数個のコンボリューションレイヤをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにする段階；（ｃ）前記テーブル作成装置は、（ｃ−１）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ｃ−２）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ｃ−３）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、（ｃ−４）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにする段階；及び（ｄ）前記テーブル作成装置は、前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成する段階；を含む少なくとも一つのテーブル作成用イメージ内の少なくとも一つの客体のスケール範囲別にプーリングタイプに対する情報を含むテーブルを作成するための方法及び装置、そしてこれを利用したテスト方法及びテスティング装置に関する。
【背景技術】
【０００２】
機械学習で、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ｏｒ  ＣｏｎｖＮｅｔ）は視覚心像（ｖｉｓｕａｌ  ｉｍａｇｅｒｙ）を分析するのに成功的に適用されてきたディープ、フィードフォワード人工ニューラルネットワーク（ｄｅｅｐ，ｆｅｅｄ−ｆｏｒｗａｒｄ  ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）分野である。
【０００３】
図１は既存のＣＮＮを用いた学習過程を示したものであって、学習装置によって予測されたバウンディングボックスを原本正解のバウンディングボックスと比較する過程を示した図面である。図１を参照すれば、既存の学習装置がバウンディングボックスを獲得してこれを原本正解のバウンディングボックスと比較してロス値を獲得する過程が示されている。ここで、ロスはバウンディングボックスと原本正解のバウンディングボックスの差値を意味して図１ではｄｘc、ｄｙc、ｄｗ、ｄｈで示されている。
【０００４】
まず、図１に示されたような学習装置は学習イメージ、例えば、ＲＧＢイメージを入力されてコンボリューションブロックに含まれた多数のコンボリューションレイヤ、即ちコンボリューションフィルタに伝達されて、特徴マップを生成し得る。ＲＧＢイメージがコンボリューションレイヤを経るほど特徴マップの幅、高さが減少するが、チャネル数は増加する。
【０００５】
次に、学習装置はコンボリューションブロックから出力された最終特徴マップをＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に通過させてプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘｅｓ）を生成するようにし、プーリングレイヤ、例えばＲＯＩプーリングレイヤをもって、プロポーザルボックスに対応する特徴マップのピクセルデータにマックスプーリング演算（または平均プーリング演算）を適用して、プロポーザルボックスに対応する特徴マップの領域を特定サイズ、例えば２×２の大きさにリサイズする。その結果、プーリング済み特徴マップが獲得される。参考までに、プーリング済み特徴マップは、特徴ベクタ（ｆｅａｔｕｒｅ  ｖｅｃｔｏｒ）と称することもある。ここで、マックスプーリング演算は図１に示されたように、特徴マップの対象領域で分割されたサブ−区域で最大の値を前記対象領域の代表値に各々選定する方法である。
【０００６】
その次に、プーリング済み特徴マップはＦＣレイヤ（Ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）に入力され得る。
【０００７】
すると、学習装置はＦＣレイヤをもってＲＧＢイメージ内の客体の種類（カテゴリ）を識別し得るようにする。また、ＦＣレイヤ（ｌａｙｅｒ）を通じてＲＧＢイメージ内の予測されたバウンディングボックスを獲得し得て、前記獲得されたバウンディングボックスを原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）のバウンディングボックスと比較して差値であるロス値が求められ得る。ここで、原本正解のバウンディングボックスはイメージ上の客体を正確に含むバウンディングボックスであって、一般的には人が直接生成し得る。
【０００８】
以後、図１の学習装置はバックプロパゲーションを遂行しながら前記ロス（ｌｏｓｓ）値を減少させるためにＦＣレイヤのパラメータ、ＲＰＮのパラメータ、多数のコンボリューションレイヤのパラメータのうち少なくともいずれか一つを調節し得る。
【０００９】
前記パラメータを調節することで調節されたパラメータを有するＣＮＮを備えたテスティング装置（未図示）は後でテストイメージで客体を囲むバウンディングボックスを獲得し得る。ところが、テスティング装置が調節されたパラメータを有するＣＮＮを含むとしても、客体のカテゴリや客体のスケールが異なるにもかかわらず、所定のプーリング演算、例えばマックスプーリング演算または平均プーリング演算によって千編一律的な演算を遂行し得るに過ぎないので、テストイメージ内の客体を囲んだバウンディングボックスを正確に獲得することは相当困難である。
【００１０】
これに伴い、本発明の出願人は上述した短所を克服するために最適のプーリングタイプに対する情報を含むテーブルを作成するための方法及び装置、そしてこれを利用したテスト方法及びテスティング装置を提案しようとする。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は上述した問題点をすべて解決することを目的とする。
【００１２】
また、本発明は客体の種類及び客体のスケールの範囲別にマックスプーリング及び平均プーリングの性能情報を対応させて記録したテーブルを参照するようにすることで、客体の種類及び客体のスケールの範囲別にマックスプーリングまたは平均プーリングのうち最適プーリングタイプが自動で選択されるようにすることを他の目的とする。
【００１３】
また、本発明は最適プーリングタイプの情報を含むテーブルを参照してテストイメージにプーリング演算を適用することを他の目的とする。
【課題を解決するための手段】
【００１４】
本発明の一態様によれば、少なくとも一つのテーブル作成用イメージ内の少なくとも一つの客体のスケール範囲別にプーリングタイプに対する情報を含むテーブルを作成するための方法は、（ａ）（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置は、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置は、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置は、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、テーブル作成装置が、前記調節されたパラメータを備えたＣＮＮの入力として客体を含むテーブル作成用イメージを獲得するか、他の装置をもって獲得するようにする段階；（ｂ）前記テーブル作成装置が、前記複数個のコンボリューションレイヤをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにする段階；（ｃ）前記テーブル作成装置は、（ｃ−１）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ｃ−２）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ｃ−３）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、（ｃ−４）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにする段階；及び（ｄ）前記テーブル作成装置は、前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成する段階；を含むことを特徴とする方法が提供される。
【００１５】
一例として、前記（ｃ）段階の（ｃ−１）及び（ｃ−２）プロセスで、前記テーブル作成装置が、前記一つ以上の特徴マップのうち一つの特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、ある特定領域にマックスプーリング演算のうち一つを適用して前記テーブル作成用第１プーリング済み特徴マップを生成し、前記一つ以上の特徴マップのうち前記一つの特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、前記ある特定領域に平均プーリング演算のうち一つを適用して前記テーブル作成用第２プーリング済み特徴マップを生成することを特徴とする方法が提供される。
【００１６】
一例として、前記（ｃ）段階の（ｃ−１）及び（ｃ−２）プロセスで、前記テーブル作成装置が、前記一つ以上の特徴マップのうち多数の特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、多数の特定領域にマックスプーリング演算を適用して前記テーブル作成用第１プーリング済み特徴マップを生成し、前記一つ以上の特徴マップのうち前記多数の特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、前記多数の特定領域に平均プーリング演算を適用して前記テーブル作成用第２プーリング済み特徴マップを生成することを特徴とする方法が提供される。
【００１７】
一例として、前記（ｄ）段階で、前記最適のプーリングタイプ各々は、（ｉ）前記多数の特定特徴マップに対応する多数の特定サブ−プーリングタイプまたは（ｉｉ）前記多数の特定サブ−プーリングタイプを参照して定義された一つの統合プーリングタイプを含むことを特徴とする方法が提供される。
【００１８】
一例として、前記（ｄ）段階で、前記テーブル装置は、（ｉ）前記テーブル作成用第１候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第１類似度と（ｉｉ）前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、（ｉ）前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体のスケールの各範囲、及び（ｉｉ）前記客体の各カテゴリ別に、各々の最適のプーリングタイプに対する情報を含むように前記テーブルを作成することを特徴とする方法が提供される。
【００１９】
一例として、前記（ｄ）段階で、前記テーブル作成装置は、前記客体の前記スケールの各範囲別に平均プーリングタイプのカテゴリの数に対するマックスプーリングタイプのカテゴリ数として決定された比率を参照して、前記客体の前記スケールの各範囲別に各々の最適のプーリングタイプに対する情報を含めるように前記テーブルを作成することを特徴とする方法が提供される。
【００２０】
一例として、前記テーブル作成装置は、前記客体のカテゴリ別に前記客体のスケールの臨界範囲を指定して管理し、前記臨界範囲は前記第１類似度が前記第２類似度よりも大きいか同じになり始める時の前記客体のスケールの特定範囲を前記臨界範囲に指定してこれを管理することを特徴とする方法が提供される。
【００２１】
一例として、前記類似度はテーブル作成用候補バウンディングボックスの領域と第２原本正解イメージのバウンディングボックスの領域の和集合（ｕｎｉｏｎ）に対する、前記テーブル作成用候補バウンディングボックスの領域と前記第２原本正解イメージのバウンディングボックスの領域の交差集合（ｉｎｔｅｒｓｅｃｔｉｏｎ）の比率として決定されて、前記類似度は前記第１類似度及び前記第２類似度を含み、前記テーブル作成用候補バウンディングボックスは、前記テーブル作成用第１候補バウンディングボックスと前記テーブル作成用第２候補バウンディングボックスを含むことを特徴とする方法が提供される。
【００２２】
一例として、前記客体のスケールは、前記テーブル作成用イメージ内の客体に対応する前記第１及び第２候補バウンディングボックス内に含まれたピクセルデータの個数及び前記第２原本正解イメージのバウンディングボックスに含まれたピクセルデータの個数のうち少なくとも一つを参照して決定されることを特徴とする学習方法が提供される。
【００２３】
本発明の他の態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を含むテスティング装置を用いて一つ以上のテストイメージ上の一つ以上のテスト用客体に対するプーリングタイプの情報を含むテーブルを利用する方法は、（ａ）（Ｉ）（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置が、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置が、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置が、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、テーブル作成装置が、前記調節されたパラメータを備えたＣＮＮの入力として客体を含むテーブル作成用イメージを獲得する段階；（ＩＩ）前記テーブル作成装置が、前記複数個のコンボ��ューションをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにする段階；（ＩＩＩ）前記テーブル作成装置が、（ｉ）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ｉｉ）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ｉｉｉ）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし（ｉｖ）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにする段階；及び（ＩＶ）前記テーブル作成装置が、（ｉ）前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び（ｉｉ）前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成する段階；を遂行した状態で、前記テスティング装置が前記テストイメージを獲得するか、他の装置をもって獲得するようにする段階；（ｂ）前記テスティング装置が、前記複数個のコンボリューションレイヤをもって前記テストイメージにコンボリューション演算を適用するようにして少なくとも一つのテスト用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テスト用特徴マップに所定の演算を適用してテスト用ＲＯＩ領域が獲得されるようにする段階；（ｃ）前記テスティング装置が、前記マックスプーリングタイプ及び前記平均プーリングタイプのうち、前記テスト用ＲＯＩに対応する情報を含む前記テーブルを参照して決定して選択された、特定最適プーリングタイプを利用してテスト用プーリング済み特徴マップを生成する段階；及び（ｄ）前記テスティング装置が、前記ＦＣレイヤを通じて前記テスト用プーリング済み特徴マップにリグレッション演算を適用してテスト用バウンディングボックスを獲得する段階；を含む方法が提供される。
【００２４】
一例として、前記テスティング装置は、前記テストイメージにコンボリューション演算を適用した結果互いに異なる大きさを有するテスト用特徴マップが獲得される場合、前記テスト用特徴マップに対応するサブ−プーリングタイプを利用して前記テスト用プーリング済み特徴マップを生成し、ここで前記サブ−プーリングタイプはテスト用客体のスケールに対応する情報を含む前記テーブルを参照に決定されることを特徴とする方法が提供される。
【００２５】
一例として、前記（ｂ）段階で、前記テスティング装置は、前記マックスプーリングタイプまたは前記平均プーリングタイプの中から選択された前記特定最適プーリングタイプを利用して前記テスト用プーリング済み特徴マップを生成し、ここで前記特定最適プーリングタイプは前記テスト用ＲＯＩのスケール及び前記テスト用客体のカテゴリに対応する情報を含む前記テーブルを参照に決定されることを特徴とする方法が提供される。
【００２６】
一例として、前記（ｂ）段階で、前記テスト用ＲＯＩの前記スケールは前記テスト用ＲＯＩの内部に含まれたピクセルデータ個数を参照にして決定されることを特徴とする方法が提供される。
【００２７】
本発明のまた他の態様によれば、少なくとも一つのテーブル作成用イメージ内の少なくとも一つの客体のスケール範囲別にプーリングタイプに対する情報を含むテーブルを作成するためのテーブル作成装置は、（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置は、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置は、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置は、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、前記調節されたパラメータを備えたＣＮＮの入力として客体を含むテーブル作成用イメージを獲得するか、他の装置をもって獲得するようにする通信部；（Ｉ）前記複数個のコンボリューションレイヤをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにするプロセス；（ＩＩ）（ＩＩ−１）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ＩＩ−２）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ＩＩ−３）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、（ＩＩ−４）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにするプロセス；及び（ＩＩＩ）前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成するプロセス；を含むプロセッサ；を含むことを特徴とする装置が提供される。
【００２８】
一例として、前記（ＩＩ−１）及び（ＩＩ−２）プロセスで、前記プロセッサが、前記一つ以上の特徴マップのうち一つの特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、ある特定領域にマックスプーリング演算のうち一つを適用して前記テーブル作成用第１プーリング済み特徴マップを生成し、前記一つ以上の特徴マップのうち前記一つの特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、前記ある特定領域に平均プーリング演算のうち一つを適用して前記テーブル作成用第２プーリング済み特徴マップを生成することを特徴とする装置が提供される。
【００２９】
一例として、前記（ＩＩ−１）及び（ＩＩ−２）プロセスで、前記プロセッサが、前記一つ以上の特徴マップのうち多数の特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、多数の特定領域にマックスプーリング演算を適用して前記テーブル作成用第１プーリング済み特徴マップを生成し、前記一つ以上の特徴マップのうち前記多数の特定特徴マップ内の、前記テーブル作成用ＲＯＩに対応する、前記多数の特定領域に平均プーリング演算を適用して前記テーブル作成用第２プーリング済み特徴マップを生成することを特徴とする装置が提供される。
【００３０】
一例として、前記（ＩＩＩ）プロセスで、前記最適のプーリングタイプ各々は、（ｉ）前記多数の特定特徴マップに対応する多数の特定サブ−プーリングタイプまたは（ｉｉ）前記多数の特定サブ−プーリングタイプを参照して定義された一つの統合プーリングタイプを含むことを特徴とする装置が提供される。
【００３１】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）前記テーブル作成用第１候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第１類似度と（ｉｉ）前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、（ｉ）前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体のスケールの各範囲、及び（ｉｉ）前記客体の各カテゴリ別に、各々の最適のプーリングタイプに対する情報を含むように前記テーブルを作成することを特徴とする装置が提供される。
【００３２】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記客体の前記スケールの各範囲別に平均プーリングタイプのカテゴリの数に対するマックスプーリングタイプのカテゴリ数として決定された比率を参照して前記客体の前記スケールの各範囲別に各々の最適のプーリングタイプに対する情報を含めるように前記テーブルを作成することを特徴とする装置が提供される。
【００３３】
一例として、前記プロセッサは、前記客体のカテゴリ別に前記客体のスケールの臨界範囲を指定して管理し、前記臨界範囲は前記第１類似度が前記第２類似度よりも大きいか同じになり始める時の前記客体のスケールの特定範囲を前記臨界範囲に指定してこれを管理することを特徴とする装置が提供される。
【００３４】
一例として、前記類似度はテーブル作成用候補バウンディングボックスの領域と第２原本正解イメージのバウンディングボックスの領域の和集合（ｕｎｉｏｎ）に対する前記テーブル作成用候補バウンディングボックスの領域と前記第２原本正解イメージのバウンディングボックスの領域の交差集合（ｉｎｔｅｒｓｅｃｔｉｏｎ）の比率として決定されて、前記類似度は前記第１類似度及び前記第２類似度を含み、前記テーブル作成用候補バウンディングボックスは、前記テーブル作成用第１候補バウンディングボックスと前記テーブル作成用第２候補バウンディングボックスを含むことを特徴とする装置が提供される。
【００３５】
一例として、前記客体のスケールは、前記テーブル作成用イメージ内の客体に対応する前記第１及び第２候補バウンディングボックス内に含まれたピクセルデータの個数及び前記第２原本正解イメージのバウンディングボックスに含まれたピクセルデータの個数のうち少なくとも一つを参照して決定されることを特徴とする学習装置が提供される。
【００３６】
本発明のまた他の態様によれば、一つ以上のテストイメージ上の一つ以上のテスト用客体に対するプーリングタイプの情報を含むテーブルを利用するテスティング装置は、（Ｉ）（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置が、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置が、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置が、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、テーブル作成装置が、前記調節されたパラメータを備えたＣＮＮの入力として客体を含むテーブル作成用イメージを獲得する段階；（ＩＩ）前記テーブル作成装置が、前記複数個のコンボリューションレイヤをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにする段階；（ＩＩＩ）前記テーブル作成装置が、（ｉ）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ｉｉ）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ｉｉｉ）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、（ｉｖ）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにする段階；及び（ＩＶ）前記テーブル作成装置が、（ｉ）前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び（ｉｉ）前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成する段階；を遂行した状態で、前記テストイメージを獲得するか、他の装置をもって獲得するようにする通信部；及び（ＡＡ）前記複数個のコンボリューションレイヤをもって前記テストイメージにコンボリューション演算を適用するようにして少なくとも一つのテスト用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テスト用特徴マップに所定の演算を適用してテスト用ＲＯＩ領域が獲得されるようにするプロセス；（ＢＢ）前記マックスプーリングタイプ及び前記平均プーリングタイプのうち、前記テスト用ＲＯＩに対応する情報を含む前記テーブルを参照して決定して選択された、特定最適プーリングタイプを利用してテスト用プーリング済み特徴マップを生成するプロセス；及び（ＣＣ）前記ＦＣレイヤを通じて前記テスト用プーリング済み特徴マップにリグレッション演算を適用してテスト用バウンディングボックスを獲得するプロセス；を遂行するプロセッサ；を含む装置が提供される。
【００３７】
一例として、前記プロセッサは、前記テストイメージにコンボリューション演算を適用した結果互いに異なる大きさを有するテスト用特徴マップが獲得される場合、前記テスト用特徴マップに対応するサブ−プーリングタイプを利用して前記テスト用プーリング済み特徴マップを生成し、ここで前記サブ−プーリングタイプはテスト用客体のスケールに対応する情報を含む前記テーブルを参照に決定されることを特徴とする装置が提供される。
【００３８】
一例として、前記（ＡＡ）プロセスで、前記プロセッサは、前記マックスプーリングタイプまたは前記平均プーリングタイプの中から選択された前記特定最適プーリングタイプを利用して前記テスト用プーリング済み特徴マップを生成し、ここで前記特定最適プーリングタイプは前記テスト用ＲＯＩのスケール及び前記テスト用客体のカテゴリに対応する情報を含む前記テーブルを参照に決定されることを特徴とする装置が提供される。
【００３９】
一例として、前記（ＡＡ）プロセスで、前記テスト用ＲＯＩの前記スケールは前記テスト用ＲＯＩの内部に含まれたピクセルデータ個数を参照にして決定されることを特徴とする装置が提供される。
【発明の効果】
【００４０】
本発明によれば、客体の種類及び客体のスケールの範囲別にマックスプーリング及び平均プーリングの性能情報を対応させて記録したテーブルを参照するようにすることで、客体の種類及び客体のスケールの範囲別にマックスプーリングまたは平均プーリングのうち最適プーリングタイプが自動で選択されるようにすることができる。
【図面の簡単な説明】
【００４１】
【図１】図１は、既存の学習過程を示したものであって、学習装置がバウンディングボックスを獲得してこれを原本正解のバウンディングボックスと比較する過程を示した図面である。
【図２】図２は、本発明の一実施例にかかるテーブル作成装置２００のブロック図である。
【図３】図３は、入力イメージ内のＲＯＩ（Ｒｅｇｉｏｎ  ｏｎ  ｉｎｔｅｒｅｓｔ）に対応する特徴マップの領域にマックスプーリング及び平均プーリングで各々のバウンディングボックスを獲得する過程を示す図面である。
【図４】図４は、本発明の一実施例によりマックスプーリング及び平均プーリングのプロセスを例示的に示した図面である。
【図５】図５は、本発明の一実施例であって、入力イメージの客体のスケールの各範囲別に作成されたテーブルを示す。
【図６】図６は、本発明の一実施例にかかるテスティング装置のブロック図である。
【発明を実施するための形態】
【００４２】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。
【００４３】
また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４４】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
【００４５】
図２は本発明の一実施例にかかるテーブル作成装置２００のブロック図である。
【００４６】
図２に示されたように、テーブル作成装置２００は通信部２１０とプロセッサ２２０を含み、図２とは異なり後述するデータベース２３０も含まれ得る。場合によって、テーブル作成装置２００は図２のようにデータベース２３０が含まれないことがある。
【００４７】
ここで、本発明の学習装置（未図示）は（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置は、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置は、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置は、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された後、テーブル作成装置２００の通信部２１０は、少なくとも一つのテーブル作成用入力イメージまたはテーブル作成用入力イメージ内の少なくとも一つのテーブル作成用ＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）の情報を獲得する。即ち、テーブル作成装置２００の通信部２１０はＲＧＢフォーマットからなるテーブル作成用入力イメージまたは他の装置のＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から���ーブル作成用ＲＯＩの情報を獲得し得る。
【００４８】
以下、図２ないし図５の説明の便宜上、“テーブル作成用”という表現は省略する。
【００４９】
一方、テーブル作成装置２００のプロセッサ２２０は入力イメージ内の客体の各スケール範囲別に及び／またはその各カテゴリ別にマックスプーリング及び平均プーリングのうちどちらが最適のプーリングタイプかに対する情報を利用してテーブルを作成するように構成される。最適プーリングタイプを決定することについては後でより詳細に説明することとする。
【００５０】
一方、データベース２３０はテーブルを作成するのに利用される情報を保存するように構成され得て、テーブルに保存された情報、即ち、客体の各スケール及び／または各カテゴリ別に最適のプーリングタイプに対する情報はテーブル作成装置２００の通信部２１０を通じてアクセスが可能である。
【００５１】
参考までに、本発明に開示された演算またはコンピューティングを遂行するための少なくとも一つのプロセッサを備えた任意のデジタルコンピューティング装置がテーブル作成装置２００に採択され得る。
【００５２】
図３はテーブル作成装置２００が入力イメージ内のＲＯＩ（Ｒｅｇｉｏｎ  ｏｎ  ｉｎｔｅｒｅｓｔ）に対応する特徴マップの領域にマックスプーリング演算及び平均プーリング演算で各々のバウンディングボックスを獲得する過程を示す図面である。参考までに、図３に示されたＣＮＮの構成はテーブル作成装置２００だけに含まれるものではなく、学習装置にも含まれ得る。テーブル作成装置２００と学習装置間のＣＮＮ構成の差異は、学習装置はバックプロパゲーションプロセスに利用される少なくとも一つのロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をさらに含むということである。
【００５３】
一方、図４はマックスプーリング及び平均プーリングのプロセスを例示的に示した図面である。
【００５４】
図３に示された構成を有するＣＮＮを含む学習装置（未図示）及びテーブル作成装置２００はコンボリューションブロック、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）、ＲＯＩプーリングレイヤ、一つ以上のＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤなどが含まれ得る。
【００５５】
特に、テーブル作成装置２００の通信部２１０はＳ３０５段階で入力イメージ、即ちＲＧＢイメージを受信するか、他の装置をもって受信するようにし、プロセッサ２２０はＳ３１０段階で多数のコンボリューションレイヤが前記イメージにコンボリューション演算を適用するようにし、Ｓ３２０段階でＲＰＮが少なくとも一つの特徴マップに特定演算を遂行するようにし、Ｓ３２５段階でＲＯＩを獲得するようにする。
【００５６】
その次に、テーブル作成装置２００のプロセッサ２２０はＳ３３０段階で（ｉ）前記少なくとも一つの特徴マップ内の、ＲＯＩに対応する、一つ以上の領域に一つ以上のマックスプーリング演算を適用して第１プーリング済み特徴マップを生成して（ｉｉ）前記少なくとも一つの特徴マップ内の、ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリング演算を適用して第２プーリング済み特徴マップを生成するように構成され得る。
【００５７】
図４に例示的に示されたように、ＲＯＩは領域４１０で４×４、即ち１６ピクセルとして提示され得る。
【００５８】
図４で、ＲＰＮから獲得されたテーブル作成用ＲＯＩに対応する領域４１０が示される。例えば、領域４１０内のピクセルデータは数値で提示されるが、これに限定されない。領域４１０は４個のサブ−区域（ｓｕｂ−ｒｅｇｉｏｎ）に区分され、各サブ区域は２×２ピクセルサイズを有する。多数の区分されたサブ−区域の数と共に多数のサブ−区域に含まれたピクセルの個数は例示に過ぎず、これに限定されないことは当業者に自明である。
【００５９】
図４を参照すれば、領域４１０にマックスプーリング演算を適用して第１プーリング済み特徴マップ４２０を獲得し、同一の領域４１０に平均プーリング演算を適用して第２プーリング特徴マップ４３０を獲得する。マックスプーリング演算によれば、多数のサブ−区域毎にその中にあるピクセルのうち各最大ピクセル値を有するピクセルが第１プーリング済み特徴マップに選択され、平均プーリング演算によれば、多数のサブ−区域毎にその中に含まれているピクセル値の平均値を獲得してその各平均値が第２プーリング済み特徴マップに決定される。
【００６０】
図３を再び参照すれば、テーブル作成装置のプロセッサは、第１ＦＣレイヤをもって、Ｓ３３５段階で第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してＳ３４０段階で第１候補バウンディングボックスのピクセルに対する情報を獲得するようにし、第２ＦＣレイヤをもって、Ｓ３４５段階で第２プーリング済み特徴マップにリグレッション演算を適用してＳ３５０段階で第２候補バウンディングボックスのピクセルに対する情報を獲得するようにする。参考までに、ピクセルの情報はピクセル座標値の場合もあるが、これに限定されない。ここで、第１ＦＣレイヤ及び第２ＦＣレイヤは場合によって分離したレイヤでない場合がある。しかし、学習装置またはテーブル作成装置が多数のコンピューティング装置を含む場合、前記第１ＦＣレイヤ及び第２ＦＣレイヤは互いに異なるコンピューティング装置内に含まれるように分離されることもある。
【００６１】
その次に、テーブル作成装置２００のプロセッサ２２０は（ｉ）第１候補バウンディングボックスと原本正解バウンディングボックス間の第１類似度及び（ｉｉ）第２候補バウンディングボックスと原本正解バウンディングボックス間の第２類似度を比較して、原本正解イメージ内の客体のスケールの各範囲別または入力イメージ内の客体のスケール各範囲別に各々最適のプーリングタイプに対する情報を含むようにテーブルを作成するように構成され得る。他の例として、前記テーブルは原本正解イメージまたは入力イメージ内での各客体のスケールの各範囲別だけでなく、各客体の各カテゴリ別に各々の最適プーリングタイプに対する情報を含むように構成され得る。
【００６２】
図５は本発明の一実施例であって、入力イメージの客体のスケールの各範囲別に作成されたテーブルを示す。
【００６３】
図５を参照すれば、前記テーブルは原本正解イメージ内の客体のスケールの各範囲別及び／または各カテゴリ別に各々の最適プーリングタイプに対する情報を保存するように構成されるが、これに限定されない。
【００６４】
特に、テーブル作成装置２００のプロセッサ２２０は第１候補バウンディングボックスを原本正解バウンディングボックスと比較することでその間の第１類似度を獲得するように構成される。同様にテーブル作成装置２００のプロセッサ２２０は第２候補バウンディングボックスを原本正解バウンディングボックスと比較することでその間の第２類似度を獲得するように構成され得る。
【００６５】
ここで、第１類似度（または第２類似度）は（ｉ）第１候補バウンディングボックス内の領域（または第２候補バウンディングボックス内の領域）と原本正解バウンディングボックスの領域の和集合（ｕｎｉｏｎ）に対応する領域に対する（ｉｉ）第１候補バウンディングボックス内の領域（または第２候補バウンディングボックス内の領域）と原本正解バウンディングボックスの領域の交差集合（ｉｎｔｅｒｓｅｃｔｉｏｎ）に対応する領域の比率で計算される。
【００６６】
例えば、第１類似度が３／４で、第２類似度が１／３の場合、マックスプーリング演算を適用した結果は平均プーリング演算を適用した結果よりも原本正解バウンディングボックスにさらに類似すると判断され得る。
【００６７】
参考までに、第１候補バウンディングボックスと原本正解バウンディングボックス間を区別する任意の情報または第２候補バウンディングボックスと原本正解バウンディングボックス間を区別する任意の情報は各々の類似度を計算するのに利用され得る。かかる情報は、候補バウンディングボックス及び原本正解バウンディングボックスの中心座標（または他の所定の座標）、これらの幅及び高さ情報のうち少なくとも一つが含まれ得る。
【００６８】
また、テーブル作成装置２００のプロセッサ２２０はスケールの各範囲別及び／または各カテゴリ別に、図５に示されたテーブルで、各最適プーリングタイプに対する情報をさらに含むように構成され得る。
【００６９】
ここで、各客体のスケールは原本正解バウンディングボックス内の領域（または第１候補バウンディングボックス内の領域または第２候補バウンディングボックス内の領域）のピクセル個数に平方根を適用して判断し得る。しかし、本発明はこれに限定されない。例えば、前記スケールを得るのに他の演算が前記領域に適用されることもある。前記平方根演算の結果は実数であり得る。その結果が１４である場合、その結果は図５に示されたテーブルで０から１５の間の範囲を含む“スケール１”の範囲内に属するようになる。
【００７０】
具体的に、原本正解バウンディングボックス内の領域に平方根演算を遂行することはスケールの範囲のうち一つに属するある値を得るようにし得る。スケールの範囲は特定基準に基づいて定められ得て、本発明はこれに制限されないことは当業者に明確である。
【００７１】
他の例として、テーブル作成装置２００のプロセッサ２２０は第１類似度と第２類似度を多数回比較して各客体に対する最適プーリングタイプを決定することでテーブルを作成するように構成され得る。
【００７２】
具体的に、各々の比較結果が獲得されるたびに、マックスプーリング演算に対する正確度回数（ａｃｃｕｒａｃｙ  ｃｏｕｎｔ）または平均プーリング演算に対する正確度回数が１ずつ増加する。そして、客体のスケールの各範囲別及び／またはこれらの各カテゴリ別にマックスプーリング演算に対する正確度回数を平均プーリング演算に対する正確度回数と比較することで、テーブル作成装置２００のプロセッサ２２０は客体のスケールの各範囲別及び／またはこれの各カテゴリ別の最適プーリングタイプを決定し得る。
【００７３】
例えば、１０００個の入力イメージが特定スケール範囲、例えば、スケール２の範囲を有する客体を含む場合、マックスプーリング演算に対する正確度回数が５００で、平均プーリング演算に対する正確度個数が８００の場合、（即ち、マックスプーリングを適用した場合、有効と判断されるテーブル作成用イメージが５００個、平均プーリングを適用した場合、有効と判断されるテーブル作成用イメージが８００個の場合）、テーブル作成装置２００のプロセッサ２２０はスケール２に対する最適プーリングタイプは平均プーリングと判断し得る。
【００７４】
他の例として、最適プーリングタイプは、すべての種類の客体のスケールの特定範囲に対して、前記スケールの特定範囲内の各客体のカテゴリとは関係なく、同一の一つのプーリングタイプ、例えば、平均プーリングと決定され得る。
【００７５】
例えば、万一１０個のクラス、例えば、歩行者、車両、道、及びビルディングなどがある場合、大部分のクラス、即ち、歩行者を除く大部分のカテゴリでこれらに対応する最適プーリングタイプとしてマックスプーリングタイプと判断されると、歩行者に対する最適プーリングタイプが平均プーリングであっても、歩行者を含むすべての種類の客体に対する最適プーリングタイプはマックスプーリングと設定されることもある。
【００７６】
他の実施例で、テーブル作成装置２００のプロセッサ２２０は客体の各カテゴリ別にスケールの臨界範囲を保存及び管理することもできる。
【００７７】
ここで、客体の各カテゴリ別スケールの臨界範囲は一つの類似度が他の類似度よりも大きいか同じになるスケールの範囲である。
【００７８】
一般的にマックスプーリング演算はより大きいスケールを有する客体に適用される反面、平均プーリング演算はより小さいスケールを有する客体に適用される。
【００７９】
従って、スケールが増加すると、客体の各カテゴリ別に、マックスプーリング演算にかかる類似度が平均プーリング演算にかかる類似度よりも大きくなるか同じになる対応する特定臨界範囲があるようになる。
【００８０】
従って、テーブル作成装置２００は各客体の種類によってスケールの臨界範囲を保存して管理し得る。
【００８１】
一方、本発明の他の実施例によれば、コンボリューションレイヤによって各入力イメージから多数の特徴マップが生成されると、テーブル作成装置２００は前記特定の複数の特徴マップ内の、前記ＲＯＩに対応する、特定の複数の領域にマックスプーリング演算を適用することで第１プーリング済み特徴マップを生成し、前記特定の複数の特徴マップ内の、前記ＲＯＩに対応する、特定の複数の領域に平均プーリング演算を適用することで第２プーリング済み特徴マップを生成する。
【００８２】
ここで、最適プーリングタイプ各々は（ｉ）前記特定複数の特徴マップに対応する特定の複数のサブ−プーリングタイプまたは（ｉｉ）前記複数のサブ−プーリングタイプを参照して決定された一つの統合プーリングタイプのうち一つが含まれ得る。
【００８３】
例えば、互いに異なる大きさを有する３個の特徴マップが各入力イメージから生成された場合、最適プーリングタイプ各々が（ｉ）特定の複数（＝３個）の特徴マップに対応する特定の複数（＝３個）のサブ−プーリングタイプを含む場合、テーブルの一つのセルに保存されるべき３個の各特徴マップに対する各々最適−サブプーリングタイプはａ１、ａ２、ａ３として示され得る。ここで、最適のサブ−プーリングタイプは３個の特徴マップに対してマックスプーリング演算及び平均プーリング演算の互いに異なる組み合わせを比較することで、この組み合わせのうちどれが原本正解バウンディングボックスと最も高い正確度でオーバーラップされる候補バウンディングボックスを生成するかを把握することで決定され得る。場合によって、一連のマックスプーリング演算または一連の平均プーリング演算のうち一つが前記３個の特徴マップに適用され得る。
【００８４】
これに反して、最適プーリングタイプ各々が（ｉｉ）特定の複数のサブ−プーリングタイプを参照して決定された一つの統合プーリングタイプを含む場合、テーブル作成装置２００のプロセッサ２２０は複数の特徴マップに対する一つの単一最適プーリングタイプを獲得するために対応する特徴マップに対する最適のサブ−プーリングタイプを参照し得る。例えば、３個の特徴マップの最適サブ−プーリングタイプがａ１max、ａ２avg、ａ３maxまたはａ１max、ａ２max、ａ３avgの場合、ａmaxがＣＮＮに対する一つの単一最適プーリングタイプに決定され得る。
【００８５】
参考までに、テーブル作成装置２００に対する入力イメージは学習のための入力イメージとは異なることもあり、場合によって、テーブル作成装置２００に対する入力イメージが学習用入力イメージと同一なこともある。従って、テーブル作成用原本正解イメージは学習用原本正解イメージと異なる場合もあり、同じ場合もある。
【００８６】
図６は本発明の一実施例にかかるテスティング装置６００のブロック図である。
【００８７】
図６に示されたように、本発明のテスティング装置６００は通信部６１０とプロセッサ６２０を含む。場合によって、図６とは異なりテスティング装置６００はデータベース６３０が含まれることもある。また、場合によって、テスティング装置６００がデータベース６３０を含まないこともある。
【００８８】
参考までに、テスティング装置６００、テーブル作成装置２００及び学習装置（未図示）は同一のコンピューティング装置であり得るが、これらの装置が分離したコンピューティング装置であり得ることは当業者に自明である。
【００８９】
テスティング装置６００は少なくとも一つのテストイメージ内の少なくとも一つのテスト用客体に対する最適プーリングタイプに対する情報を含むテーブルを利用し得る。
【００９０】
（Ｉ）（ｉ）学習イメージがコンボリューションレイヤに入力されて所定の演算結果少なくとも一つ以上の学習用特徴マップが獲得され、前記学習イメージ上で学習用ＲＯＩ（ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）領域がＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）から獲得されると、前記学習装置が、前記学習用ＲＯＩ領域に対応される前記学習用特徴マップ上の領域を複数のサブ−区域に区分するか区分するように支援するプロセス、（ｉｉ）前記学習装置が、（ｉｉ−１）前記複数のサブ−区域各々に含まれたすべてのピクセルのうち前記サブ−区域毎に最大値のピクセルを選択するマックスプーリング演算を適用する場合に、前記一つ以上の特徴マップ内の学習用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の前記マックスプーリング演算を適用して、学習用第１プーリング済み特徴マップを生成するか生成するように支援し、（ｉｉ−２）前記複数のサブ−区域各々に含まれた前記すべてのピクセルのうち前記サブ−区域毎に平均値を獲得する平均プーリング演算を適用する場合に、前記一つ以上の特徴マップ内の前記学習用ＲＯＩに対応する、一つ以上の領域に一つ以上の平均プーリングを適用して、学習用第２プーリング済み特徴マップを生成するか生成するように支援するプロセス、（ｉｉｉ）前記学習装置が、（ｉｉｉ−１）第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記学習用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、第１ロスレイヤをもって、前記学習用第１候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータに対する情報を比較して第１比較データを獲得するようにして、前記第１比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス及び（ｉｉｉ−２）第２ＦＣレイヤをもって、前記学習用第２プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用して学習用第２候補バウンディングボックスのピクセルデータ情報を獲得するようにし、第２ロスレイヤをもって、前記学習用第２候補バウンディングボックスのピクセルデータに対する情報と第１原本正解イメージのバウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するようにして、前記第２比較データを利用してバックプロパゲーションを遂行して前記ＣＮＮの少なくとも一つのパラメータに対して調節をするプロセス；を遂行して、前記学習装置の調節されたパラメータが獲得された状態で、テーブル作成装置が、前記調節されたパラメータを備えたＣＮＮの入力として客体を含むテーブル作成用イメージを獲得する段階；（ＩＩ）前記テーブル作成装置が、前記複数個のコンボリューションレイヤをもって前記テーブル作成用イメージにコンボリューション演算を適用するようにして少なくとも一つのテーブル作成用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テーブル作成用特徴マップに所定の演算を適用してテーブル作成用ＲＯＩ領域が獲得されるようにする段階；（ＩＩＩ）前記テーブル作成装置が、（ｃ−１）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上のマックスプーリングを適用してテーブル作成用第１プーリング済み特徴マップを生成し、（ｃ−２）前記一つ以上の特徴マップで、前記テーブル作成用ＲＯＩに対応する、一つ以上の領域に対して一つ以上の平均プーリングを適用してテーブル作成用第２プーリング済み特徴マップを生成し、（ｃ−３）前記第１ＦＣレイヤをもって、前記テーブル作成用第１プーリング済み特徴マップにリグレッション（ｒｅｇｒｅｓｓｉｏｎ）演算を適用してテーブル作成用第１候補バウンディングボックスのピクセルデータに対する情報を獲得するようにし、（ｃ−４）第２ＦＣレイヤをもって、前記テーブル作成用第２プーリング済み特徴マップにリグレッション演算を適用してテーブル作成用第２候補バウンディングボックスのピクセルデータに対する情報を獲得するようにする段階；及び（ＩＶ）前記テーブル作成装置が、（ｉ）前記テーブル作成用第１候補バウンディングボックスと第２原本正解イメージ内のバウンディングボックス間の第１類似度及び（ｉｉ）前記テーブル作成用第２候補バウンディングボックスと前記第２原本正解イメージ内のバウンディングボックス間の第２類似度を比較して、前記第２原本正解イメージ内の客体または前記テーブル作成用イメージ内の客体の前記スケールの各範囲別に各々の最適のプーリングタイプ（ｔｙｐｅ）に対する情報を含むようにテーブルを作成する段階；を遂行した状態で、テスティング装置６００の通信部６１０はテストイメージを獲得するか、他の装置をもって獲得ようにし得る。
【００９１】
その次に、テスティング装置６００は前記複数個のコンボリューションレイヤをもって前記テストイメージにコンボリューション演算を適用するようにして少なくとも一つのテスト用特徴マップが獲得されるようにし、前記ＲＰＮをもって前記テスト用特徴マップに所定の演算を適用してテスト用ＲＯＩ領域が獲得されるようにする。
【００９２】
その次に、テスティング装置６００は前記マックスプーリングタイプ及び前記平均プーリングタイプのうち、前記テスト用客体のスケールの範囲及び／またはカテゴリに対応する情報を含む前記テーブルを参照して決定して選択された、特定最適プーリングタイプを利用してテスト用プーリング済み特徴マップを生成する。
【００９３】
また、テスティング装置はＦＣレイヤを通じて前記テスト用プーリング済み特徴マップにリグレッション演算を適用してテスト用バウンディングボックスを獲得するようにする。
【００９４】
本発明は入力イメージで各客体のスケール及び／またはカテゴリにより互いに異なるプーリング技法を適用することができる効果がある。
【００９５】
また、本発明はマックスプーリング演算を平均プーリング演算と組み合わせてフィーチャー（ｆｅａｔｕｒｅ）損失を減少させるためにプーリング演算の最適な組み合わせを獲得することができる他の効果を有する。
【００９６】
また、本発明は客体のスケール及び／またはカテゴリに基づいて互いに異なるプーリング方式を適用することで客体検出及び特徴表現の正確性を向上させるまた他の効果を有する。
【００９７】
以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるものような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。
【００９８】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。
【００９９】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。
【符号の説明】
【０１００】
２００…テーブル作成装置、２１０…通信部、２２０…プロセッサ、２３０…データベース、４１０…ＲＯＩ領域に対応される特徴マップ上の領域、４２０…マックスプーリング済み第１プーリング済み特徴マップ、４３０…平均プーリング済み第２プーリング済み特徴マップ、６００…テスティング装置、６１０…通信部、６２０…プロセッサ、６３０…データベース。
【図１】
2019075122.tif 000003
【図２】
2019075122.tif 000004
【図３】
2019075122.tif 000005
【図４】
2019075122.tif 000006
【図５】
2019075122.tif 000007
【図６】
2019075122.tif 000008
【外国語明細書】
2019075122000001.pdf