(57)【要約】      （修正有）【課題】ロスオーグメンテーションを使用してＣＮＮのパラメータを調整する方法を提供する。【解決手段】学習装置が、トレーニングイメージから特徴マップを獲得するステップと、ＲＰＮを利用して客体に対応するプロポーザルＲＯＩ、および、対応される特徴マップの領域をプーリングすることにより第１プーリング済み特徴マップと、トレーニングイメージで客体に対応するＧＴ ＲＯＩ、および、対応される特徴マップの領域をプーリングすることにより第２プーリング済み特徴マップとを獲得するステップと、第１および第２プーリング済み特徴マップをＦＣレイヤに入力させた場合に第１パウンディングボックスのピクセルデータ情報と、第１パウンディングボックスのピクセルデータ情報とＧＴパウンディングボックスとの間の比較データ、および、パラメータを調整するための比較データのバックプロパゲーション情報と、を獲得するステップとを含む。【選択図】図３Ａ
2019075117.tif 000002
【特許請求の範囲】
【請求項１】
ロスオーグメンテーションを利用したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の少なくとも一つのパラメータを調整するための学習方法において、
（ａ）学習装置が、トレーニングイメージから少なくとも一つの特徴マップを獲得するか獲得するように支援する段階；
（ｂ）前記学習装置は、（ｉ）ＲＰＮ（Ｒｅｇｉｏｎ  ＰｒｏｐｏｓａｌＮｅｔｗｏｒｋ）を利用して前記トレーニングイメージ上で少なくとも一つの客体に対応する少なくとも一つのプロポーザルＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）領域を獲得し、前記プロポーザルＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成するプロセス及び、（ｉｉ）前記トレーニングイメージ上で前記客体に対応する原本正解（Ｇｒｏｕｎｄ  ｔｒｕｔｈ）のＲＯＩ領域を獲得し、前記原本正解のＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングして少なくとも一つの第２プーリング済み特徴マップを生成するプロセスを遂行するか遂行するように支援する段階；及び
（ｃ）前記学習装置は、（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力させてリグレッション演算を通じて第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記第１パウンディングボックスのピクセルデータ情報と原本正解のパウンディングボックスのピクセルデータ情報を比較して第１比較データを獲得するプロセス及び、（ｉｉｉ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する第１調整を実施するプロセスを遂行するか遂行するように支援する段階；
を含むことを特徴とする学習方法。
【請求項２】
前記（ｃ）段階で、
前記学習装置は、（ｉ）前記第１プーリング済み特徴マップを第２ＦＣレイヤに入力させてリグレッション演算を通じて第２パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記第２パウンディングボックスのピクセルデータ情報を前記原本正解のパウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するプロセス、及び（ｉｉｉ）前記第２比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する第２調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする請求項１に記載の学習方法。
【請求項３】
前記パラメータに対する前記第１調整はコンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含み、前記パラメータに対する前記第２調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含むことを特徴とする請求項２に記載の学習方法。
【請求項４】
前記（ｃ）段階で、
前記学習装置は、（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップをコンカチネートして少なくとも一つの特徴ベクタを獲得するプロセス、（ｉｉ）前記特徴ベクタを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉｉ）前記第１パウンディングボックスのピクセルデータ情報を前記原本正解のパウンディングボックスのピクセルデータ情報と比較して前記第１比較データを獲得するプロセス、及び（ｉｖ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する前記第１調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする請求項１に記載の学習方法。
【請求項５】
前記（ｃ）段階で、
前記学習装置は、前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを前記第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力させてリグレッション演算を通じて前記第１パウンディングボックスのピクセルデータ情報を獲得するか獲得するように支援し、
前記第１パウンディングボックスのピクセル座標値と前記原本正解のパウンディングボックスのピクセル座標値を比較するか比較するように支援することを特徴とする請求項１に記載の学習方法。
【請求項６】
前記ＲＰＮが前記トレーニングイメージ上で少なくとも一つのアンカーボックスを前記プロポーザルＲＯＩ領域として獲得することにおいて、
前記アンカーボックス各々のピクセルデータ情報と前記原本正解のパウンディングボックスのピクセルデータ情報に対して各々比較を遂行して獲得されたスコアが第１既設定値以上である前記アンカーボックスを前記プロポーザルＲＯＩ領域として獲得するか獲得するように支援することを特徴とする請求項１に記載の学習方法。
【請求項７】
前記各々のアンカーボックスのうち一つの領域と前記原本正解のパウンディングボックスの領域の和集合に該当する領域の面積に対する、前記各々のアンカーボックスの領域と前記原本正解の前記パウンディングボックスの領域の交差集合に該当する領域の面積の比率を利用して前記各々の比較を遂行することを特徴とする請求項６に記載の学習方法。
【請求項８】
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を含むテスティング装置を用いてテストイメージ上の少なくとも一つのテスト用客体に対するテスト用パウンディングボックスを獲得する方法において、
（ａ）前記テスティング装置は、（１）学習装置がトレーニングイメージから少なくとも一つの学習用特徴マップを獲得するプロセス、（２）（２−１）（ｉ）ＲＰＮを利用して前記トレーニングイメージ上で少なくとも一つの学習用客体に対応する少なくとも一つの学習用プロポーザルＲＯＩ領域を獲得し、（ｉｉ）前記学習用プロポーザルＲＯＩ領域と対応される前記学習用特徴マップ上の領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成するプロセス、及び（２−２）（ｉ）前記トレーニングイメージ上で前記学習用客体に対応する原本正解のＲＯＩ領域を獲得し、（ｉｉ）前記原本正解のＲＯＩ領域と対応される前記学習用特徴マップ上の領域をプーリングして少なくとも一つの第２プーリング済み特徴マップを生成するプロセス、及び（３）（３−１）（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを第１ＦＣレイヤに入力させてリグレッション演算を通じて学習用第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記学習用第１パウンディングボックスのピクセルデータ情報を学習用原本正解のパウンディングボックスのピクセルデータ情報と比較して第１比較データを獲得するプロセス、（ｉｉｉ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する第１調整を遂行するプロセス、及び（３−２）（ｉ）前記第１プーリング済み特徴マップを第２ＦＣレイヤに入力させてリグレッション演算を通じて学習用第２パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記学習用第２パウンディングボックスのピクセルデータ情報と前記学習用原本正解パウンディングボックスのピクセルデータ情報を比較して第２比較データを獲得するプロセス、（ｉｉｉ）前記第２比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮのパラメータの少なくとも一部に対する第２調整を実施するプロセスを遂行するか遂行するように支援する状態で、前記第１調整及び前記第２調整を遂行する前記学習装置によって調整されていた前記パラメータを有する前記ＣＮＮを利用して、前記テストイメージを獲得して前記テストイメージからテスト用特徴マップを獲得するか獲得するように支援する段階；
（ｂ）前記テスティング装置は、前記ＲＰＮを利用して前記テストイメージ上で前記テスト用客体に対応する少なくとも一つのテスト用プロポーザルＲＯＩ領域を獲得するか獲得するように支援する段階；
（ｃ）前記テスティング装置が、前記テスト用プロポーザルＲＯＩ領域と対応される前記テスト用特徴マップ上の領域をプーリングして少なくとも一つのテスト用プーリング済み特徴マップを生成するか生成するように支援する段階；及び
（ｄ）前記テスティング装置は、前記テスト用プーリング済み特徴マップを前記第２ＦＣレイヤに入力させてリグレッション演算を通じて前記テスト用パウンディングボックスを獲得するか獲得するように支援する段階；
を含むことを特徴とする方法。
【請求項９】
前記パラメータに対する前記第１調整はコンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含み、前記パラメータに対する前記第２調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記学習装置は、（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップをコンカチネートして少なくとも一つの特徴ベクタを獲得するプロセス、（ｉｉ）前記特徴ベクタを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記学習用第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉｉ）前記学習用第１パウンディングボックスのピクセルデータ情報を前記学習用原本正解のパウンディングボックスのピクセルデータ情報と比較して前記第１比較データを獲得するプロセス、及び（ｉｖ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する前記第１調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする請求項８に記載の方法。
【請求項１１】
前記学習装置は、前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記学習用第１パウンディングボックスのピクセル座標値が獲得されると、前記学習用第１パウンディングボックスのピクセル座標値と前記学習用原本正解のパウンディングボックスのピクセル座標値を比較するか比較するように支援することを特徴とする請求項８に記載の方法。
【請求項１２】
前記学習装置は、前記ＲＰＮをもって前記トレーニングイメージ上で少なくとも一つのアンカーボックスを前記学習用プロポーザルＲＯＩ領域として獲得することにおいて、
前記アンカーボックス各々のピクセルデータ情報と前記学習用原本正解のパウンディングボックスのピクセルデータ情報に対して各々比較を遂行して獲得されたスコアが第２既設定値以上である前記アンカーボックスを前記学習用プロポーザルＲＯＩ領域として獲得するか獲得するように支援することを特徴とする請求項８に記載の方法。
【請求項１３】
ロスオーグメンテーションを利用してＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の少なくとも一つのパラメータの調整のための学習装置において、
トレーニングイメージまたはそれに対応する少なくとも一つの特徴マップを獲得するか獲得するように支援する通信部；及び
（１）（ｉ）ＲＰＮを利用して前記トレーニングイメージ上で少なくとも一つの客体に対応する少なくとも一つのプロポーザルＲＯＩ領域を獲得し、前記通信部から獲得された前記特徴マップ上の前記プロポーザルＲＯＩ領域と対応される領域または前記通信部から獲得された前記トレーニングイメージに少なくとも一回のコンボリューション演算を加えて算出された前記特徴マップ上の前記プロポーザルＲＯＩ領域と対応される領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成するプロセス、（ｉｉ）前記トレーニングイメージ上で前記客体に対応する原本正解（Ｇｒｏｕｎｄ  ｔｒｕｔｈ）のＲＯＩ領域を獲得し、前記原本正解のＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングして少なくとも一つの第２プーリング済み特徴マップを生成するプロセス、（ｉｉｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力させてリグレッション演算を通じて第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｖ）前記第１パウンディングボックスのピクセルデータ情報と原本正解のパウンディングボックスのピクセルデータ情報を比較して第１比較データを獲得するプロセス、及び（ｖ）前記第１比較データを利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する第１調整を実施するプロセスを遂行するか遂行するように支援するプロセッサ；
を含むことを特徴とする学習装置。
【請求項１４】
前記（ｉｉ）プロセス以後、
前記プロセッサは、（ａ）前記第１プーリング済み特徴マップを第２ＦＣレイヤに入力させてリグレッション演算を通じて第２パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｂ）前記第２パウンディングボックスのピクセルデータ情報を前記原本正解のパウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するプロセス、及び（ｃ）前記第２比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する第２調整を実施するプロセスをさらに遂行するか遂行するように支援することを特徴とする請求項１３に記載の学習装置。
【請求項１５】
前記パラメータに対する前記第１調整はコンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含み、前記パラメータに対する前記第２調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含むことを特徴とする請求項１４に記載の学習装置。
【請求項１６】
前記（ｉｉｉ）ないし（ｖ）プロセスで、
前記プロセッサは、（ａ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップをコンカチネートして少なくとも一つの特徴ベクタを獲得するプロセス、（ｂ）前記特徴ベクタを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｃ）前記第１パウンディングボックスのピクセルデータ情報を前記原本正解のパウンディングボックスのピクセルデータ情報と比較して前記第１比較データを獲得するプロセス、及び（ｄ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する前記第１調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする請求項１３に記載の学習装置。
【請求項１７】
前記（ｉｖ）プロセスで、
前記プロセッサは、前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを前記第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力させてリグレッション演算を通じて前記第１パウンディングボックスのピクセルデータ情報を獲得するか獲得するように支援し、
前記第１パウンディングボックスのピクセル座標値と前記原本正解のパウンディングボックスのピクセル座標値を比較するか比較するように支援することを特徴とする請求項１３に記載の学習装置。
【請求項１８】
前記プロセッサは、前記ＲＰＮをもって前記トレーニングイメージ上で少なくとも一つのアンカーボックスをプロポーザルＲＯＩ領域として獲得することにおいて、
前記アンカーボックス各々のピクセルデータ情報と前記原本正解のパウンディングボックスのピクセルデータ情報に対して各々比較を遂行して獲得されたスコアが第１既設定値以上である前記アンカーボックスを前記プロポーザルＲＯＩ領域として獲得するか獲得するように支援することを特徴とする請求項１３に記載の学習装置。
【請求項１９】
前記各々のアンカーボックスのうち一つの領域と前記原本正解の前記パウンディングボックスの領域の和集合に該当する領域の面積に対する、前記各々のアンカーボックスの領域と前記原本正解の前記パウンディングボックスの領域の交差集合に該当する領域の面積の比率を利用して前記各々の比較を遂行することを特徴とする請求項１８に記載の学習装置。
【請求項２０】
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を含んでテストイメージ上の少なくとも一つのテスト用客体に対するテスト用パウンディングボックスの獲得に用いられるテスティング装置において、
前記ＣＮＮを含む学習装置が、（１）トレーニングイメージから少なくとも一つの学習用特徴マップを獲得するか獲得するように支援するプロセス、（２）（２−１）（ｉ）ＲＰＮを利用して前記トレーニングイメージ上で少なくとも一つの学習用客体に対応する少なくとも一つの学習用プロポーザルＲＯＩ領域を獲得し、（ｉｉ）前記学習用プロポーザルＲＯＩ領域と対応される前記学習用特徴マップ上の領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成するプロセス、及び（２−２）（ｉ）前記トレーニングイメージ上で前記学習用客体に対応する原本正解のＲＯＩ領域を獲得し、（ｉｉ）前記原本正解のＲＯＩ領域と対応される前記学習用特徴マップ上の領域をプーリングして少なくとも一つの第２プーリング済み特徴マップを生成するプロセス、及び（３）（３−１）（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを第１ＦＣレイヤに入力させてリグレッション演算を通じて学習用第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記学習用第１パウンディングボックスのピクセルデータ情報を学習用原本正解のパウンディングボックスのピクセルデータ情報と比較して第１比較データを獲得するプロセス、（ｉｉｉ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する第１調整を遂行するプロセス、及び（３−２）（ｉ）前記第１プーリング済み特徴マップを第２ＦＣレイヤに入力させてリグレッション演算を通じて学習用第２パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記学習用第２パウンディングボックスのピクセルデータ情報と前記学習用原本正解パウンディングボックスのピクセルデータ情報を比較して第２比較データを獲得するプロセス、（ｉｉｉ）前記第２比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する第２調整を実施するプロセスを遂行するか遂行するように支援する状態で、前記テストイメージまたは前記テストイメージに対応する少なくとも一つのテスト用特徴マップを獲得するか獲得するように支援する状態の通信部；及び
（ｉ）前記ＲＰＮを利用して前記テストイメージ上で前記テスト用客体に対応する少なくとも一つのテスト用プロポーザルＲＯＩ領域を獲得するか獲得するように支援するプロセス、（ｉｉ）前記通信部から獲得された前記テスト用特徴マップ上の領域または前記通信部から獲得された前記テストイメージに前記第１調整と前記第２調整を遂行する前記学習装置によって調整されていた前記パラメータを有する前記ＣＮＮを利用して算出された前記テスト用特徴マップ上の前記テスト用プロポーザルＲＯＩ領域と対応する領域をプーリングして少なくとも一つのテスト用プーリング済み特徴マップを生成するか生成するように支援するプロセス、及び（ｉｉｉ）前記テスト用プーリング済み特徴マップを前記第２ＦＣレイヤに入力させてリグレッション演算を通じて前記テスト用パウンディングボックスを獲得するか獲得するように支援するプロセスを遂行するプロセッサ；
を含むテスティング装置。
【請求項２１】
前記パラメータに対する前記第１調整はコンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含み、前記パラメータに対する前記第２調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含むことを特徴とする請求項２０に記載のテスティング装置。
【請求項２２】
前記学習装置が、（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップをコンカチネートして少なくとも一つの特徴ベクタを獲得するプロセス、（ｉｉ）前記特徴ベクタを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記学習用第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉｉ）前記学習用第１パウンディングボックスの前記ピクセルデータ情報を前記学習用原本正解のパウンディングボックスのピクセルデータ情報と比較して前記第１比較データを獲得するプロセス、及び（ｉｖ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する前記第１調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする請求項２０に記載のテスティング装置。
【請求項２３】
前記学習装置が、前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記学習用第１パウンディングボックスのピクセル座標値が獲得されると、前記学習用第１パウンディングボックスのピクセル座標値と前記学習用原本正解のパウンディングボックスのピクセル座標値を比較するか比較するように支援することを特徴とする請求項２０に記載のテスティング装置。
【請求項２４】
前記学習装置が、前記ＲＰＮをもって前記トレーニングイメージ上で少なくとも一つのアンカーボックスを前記学習用プロポーザルＲＯＩ領域として獲得することにおいて、
前記アンカーボックス各々のピクセルデータ情報と前記学習用原本正解のパウンディングボックスのピクセルデータ情報に対して各々比較を遂行して獲得されたスコアが第２既設定値以上である前記アンカーボックスを前記学習用プロポーザルＲＯＩ領域として獲得することを特徴とする請求項２０に記載のテスティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はロスオーグメンテーションを利用したＣＮＮのパラメータを調整するための学習方法、学習装置及びこれを利用したテスティング方法、テスティング装置に関し、より詳細には、（ａ）トレーニングイメージから少なくとも一つの特徴マップを獲得し、（ｂ）ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）を利用して前記トレーニングイメージ上で少なくとも一つの客体（オブジェクト）に対応する少なくとも一つのプロポーザルＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）領域を獲得し、前記プロポーザルＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成し、（ｃ）前記トレーニングイメージ上で前記客体に対応する原本正解（Ｇｒｏｕｎｄ  ｔｒｕｔｈ）のＲＯＩ領域を獲得し、前記原本正解のＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングして少なくとも一つの第２プーリング済み特徴マップを生成して（ｄ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力させてリグレッション演算を通じて第１パウンディングボックスのピクセルデータ情報を獲得し、（ｅ）前記第１パウンディングボックスのピクセルデータ情報と原本正解のパウンディングボックスのピクセルデータ情報を比較して第１比較データを獲得して（ｆ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する第１調整を実施する方法、学習装置及びこれを利用したテスティング方法、テスティング装置に関する。
【背景技術】
【０００２】
マシンラーニングで、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）は視覚映像分析分野で成功的な適用がなされているディープ、フィードフォワード人工ニューラルネットワークの１つである。
【０００３】
図１は従来のＣＮＮを用いた学習過程を示したものであって、予測されたパウンディングボックスを原本正解パウンディングボックスと比較してロス値を獲得する過程を示した図面である。例えば、前記ロス値は図１のようにｄｘC、ｄｙC、ｄｗ、そしてｄｈが含まれ得る。
【０００４】
まず、図１に示されたような従来の学習装置のコンボリューションレイヤは少なくとも一つ以上のコンボリューションフィルタを含み、客体のトレーニングイメージ、例えば、ＲＧＢイメージを入力されてトレーニングイメージを利用して少なくとも一つの特徴マップを生成し得る。特徴マップの幅と高さはコンボリューションレイヤを経るほどに減少し得るが、チャネル数は増加し得る。
【０００５】
次に、特徴マップがＲＰＮ（ＲＥＧＩＯＮ  ＰＲＯＰＯＳＡＬ  ＮＥＴＷＯＲＫ）に入力されると、従来の学習装置はＲＰＮをもって少なくとも一つのＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）領域を獲得するようにし得る。具体的には、特徴マップがＲＰＮに入力されると、ＲＰＮは少なくとも一つのアンカーボックスを生成し得て、各々のアンカーボックスを原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）のパウンディングボックスと比較することでアンカーボックスの中で既設定された値と同じかそれよりも大きい値で原本正解パウンディングボックスと一致する特定アンカーボックスをＲＯＩに決定し得る。
【０００６】
次に、前記従来の学習装置はプーリングレイヤをもってＲＯＩ領域と対応される特徴マップ上の領域に含まれたピクセルデータに対してマックスプーリングまたは平均プーリングのうちいずれか一つを適用するようにし得る。ここで、マックスプーリングして特徴マップをオーバーラッピングされていないサブ領域のセットに分けて各々のサブ領域に対応して前記各々のサブ領域のピクセル値別に各々の最大値を出力し得て、平均プーリングして特徴マップをオーバーラッピングされていないサブ領域のセットに分けて各々のサブ領域別に各々の平均値を出力し得る。
【０００７】
次に、図１の従来の学習装置は（ｉ）マックスプーリングまたは平均プーリングの結果で得られたプーリング済み特徴マップをＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）レイヤに入力し、（ｉｉ）ＦＣレイヤをもってプーリング済み特徴マップにクラシフィケーション演算を加えることで客体の種類、即ちクラスを確認するようにし得る。参考までに、前記プーリング済み特徴マップは特徴ベクタと指称し得る。
【０００８】
また、図１の従来の学習装置はＦＣレイヤをもってトレーニングイメージ上でパウンディングボックスを獲得するようにし得て、ロスレイヤをもってパウンディングボックスと原本正解パウンディングボックスの差を参照してロス値を獲得するようにし得る。ここで、原本正解パウンディングボックスはトレーニングイメージ上の客体を正確に含むパウンディングボックスであり得て、一般的には人が直接生成し得る。
【０００９】
最後に、図１の従来の学習装置はバックプロパゲーションを遂行しながら前記ロス値を減少させるためにＦＣレイヤの少なくとも一つのパラメータ、ＲＰＮの少なくとも一つのパラメータ、コンボリューションレイヤの少なくとも一つのパラメータのうち少なくとも一部を調整し得る。前記パラメータを調整することで追ってテストイメージ上でパウンディングボックスをより正確度をもって獲得するようにし得る。
【００１０】
従来の方法によれば、プーリングレイヤはＲＰＮによって決定されたＲＯＩ領域と対応される特徴マップ上の領域にプーリング演算が加えられ得る。しかし、前記ＲＯＩ領域は客体を正確に含まない場合もあるため、この領域でのプーリングされた特徴は検出しようとする前記物体の特徴でない場合もある。このような理由で前記のようにプーリングされた特徴は前記ＣＮＮの学習に悪影響を及ぼし得る。
【００１１】
従って、本発明の発明者は学習することにおいて、従来のＲＯＩ領域以外に原本正解ＲＯＩを追加で活用する技術を提案しようとする。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は上述した問題点をすべて解決することを目的とする。
【００１３】
本発明は（ｉ）（ｉ−１）前記ＲＰＮを利用して獲得した前記ＲＯＩ領域と対応される前記特徴マップ上の領域にプーリング演算を加えて獲得したプーリング済み特徴マップと（ｉ−２）前記原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）ＲＯＩ領域と対応される前記特徴マップ上の領域にプーリング演算を加えて獲得したプーリング済み特徴マップをコンカチネートし、（ｉｉ）リグレッション演算を通じてパウンディングボックスを獲得するためにコンカチネートされたプーリング済み特徴マップをＦＣレイヤに入力させて、（ｉｉｉ）前記獲得したパウンディングボックスを原本正解のパウンディングボックスと比較して獲得したロス情報をバックプロパゲーションを遂行しながらパラメータを調整し、（ｉｖ）前記調整されたパラメータを利用してテストイメージ上でより正確な客体を含むパウンディングボックスが獲得され得るように支援することを他の目的とする。
【課題を解決するための手段】
【００１４】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記のとおりである。
【００１５】
本発明の一態様によれば、ロスオーグメンテーションを利用したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の少なくとも一つのパラメータを調整するための学習方法において、（ａ）学習装置が、トレーニングイメージから少なくとも一つの特徴マップを獲得するか獲得するように支援する段階；（ｂ）前記学習装置は、（ｉ）ＲＰＮ（Ｒｅｇｉｏｎ  ＰｒｏｐｏｓａｌＮｅｔｗｏｒｋ）を利用して前記トレーニングイメージ上で少なくとも一つの客体に対応する少なくとも一つのプロポーザルＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）領域を獲得し、前記プロポーザルＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成するプロセス及び、（ｉｉ）前記トレーニングイメージ上で前記客体に対応する原本正解（Ｇｒｏｕｎｄ  ｔｒｕｔｈ）のＲＯＩ領域を獲得し、前記原本正解のＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングして少なくとも一つの第２プーリング済み特徴マップを生成するプロセスを遂行するか遂行するように支援する段階；及び（ｃ）前記学習装置は、（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力させてリグレッション演算を通じて第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記第１パウンディングボックスのピクセルデータ情報と原本正解のパウンディングボックスのピクセルデータ情報を比較して第１比較データを獲得するプロセス及び、（ｉｉｉ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する第１調整を実施するプロセスを遂行するか遂行するように支援する段階；を含む学習方法を提供する。
【００１６】
一例として、前記（ｃ）段階で、前記学習装置は、（ｉ）前記第１プーリング済み特徴マップを第２ＦＣレイヤに入力させてリグレッション演算を通じて第２パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記第２パウンディングボックスのピクセルデータ情報を前記原本正解のパウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するプロセス、及び（ｉｉｉ）前記第２比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する第２調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする。
【００１７】
一例として、前記パラメータに対する前記第１調整はコンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含み、前記パラメータに対する前記第２調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含むことを特徴とする。
【００１８】
一例として、前記（ｃ）段階で、前記学習装置は、（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップをコンカチネートして少なくとも一つの特徴ベクタを獲得するプロセス、（ｉｉ）前記特徴ベクタを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉｉ）前記第１パウンディングボックスのピクセルデータ情報を前記原本正解のパウンディングボックスのピクセルデータ情報と比較して前記第１比較データを獲得するプロセス、及び（ｉｖ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する前記第１調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする。
【００１９】
一例として、前記（ｃ）段階で、前記学習装置は、前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを前記第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力させてリグレッション演算を通じて前記第１パウンディングボックスのピクセルデータ情報を獲得するか獲得するように支援し、前記第１パウンディングボックスのピクセル座標値と前記原本正解のパウンディングボックスのピクセル座標値を比較するか比較するように支援することを特徴とする。
【００２０】
一例として、前記ＲＰＮが前記トレーニングイメージ上で少なくとも一つのアンカーボックスを前記プロポーザルＲＯＩ領域として獲得することにおいて、前記アンカーボックス各々のピクセルデータ情報と前記原本正解のパウンディングボックスのピクセルデータ情報に対して各々比較を遂行して獲得されたスコアが第１既設定値以上である前記アンカーボックスを前記プロポーザルＲＯＩ領域として獲得するか獲得するように支援することを特徴とする。
【００２１】
一例として、前記各々のアンカーボックスのうち一つの領域と前記原本正解のパウンディングボックスの領域の和集合に該当する領域の面積に対する、前記各々のアンカーボックスの領域と前記原本正解の前記パウンディングボックスの領域の交差集合に該当する領域の面積の比率を利用して前記各々の比較を遂行することを特徴とする。
【００２２】
本発明の他の態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を含むテスティング装置を用いてテストイメージ上の少なくとも一つのテスト用客体に対するテスト用パウンディングボックスを獲得する方法において、（ａ）前記テスティング装置は、（１）学習装置がトレーニングイメージから少なくとも一つの学習用特徴マップを獲得するプロセス、（２）（２−１）（ｉ）ＲＰＮを利用して前記トレーニングイメージ上で少なくとも一つの学習用客体に対応する少なくとも一つの学習用プロポーザルＲＯＩ領域を獲得し、（ｉｉ）前記学習用プロポーザルＲＯＩ領域と対応される前記学習用特徴マップ上の領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成するプロセス、及び（２−２）（ｉ）前記トレーニングイメージ上で前記学習用客体に対応する原本正解のＲＯＩ領域を獲得し、（ｉｉ）前記原本正解のＲＯＩ領域と対応される前記学習用特徴マップ上の領域をプーリングして少なくとも一つの第２プーリング済み特徴マップを生成するプロセス、及び（３）（３−１）（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを第１ＦＣレイヤに入力させてリグレッション演算を通じて学習用第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記学習用第１パウンディングボックスのピクセルデータ情報を学習用原本正解のパウンディングボックスのピクセルデータ情報と比較して第１比較データを獲得するプロセス、（ｉｉｉ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する第１調整を遂行するプロセス、及び（３−２）（ｉ）前記第１プーリング済み特徴マップを第２ＦＣレイヤに入力させてリグレッション演算を通じて学習用第２パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記学習用第２パウンディングボックスのピクセルデータ情報と前記学習用原本正解パウンディングボックスのピクセルデータ情報を比較して第２比較データを獲得するプロセス、（ｉｉｉ）前記第２比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮのパラメータの少なくとも一部に対する第２調整を実施するプロセスを遂行するか遂行するように支援する状態で、前記第１調整及び前記第２調整を遂行する前記学習装置によって調整されていた前記パラメータを有する前記ＣＮＮを利用して、前記テストイメージを獲得して前記テストイメージからテスト用特徴マップを獲得するか獲得するように支援する段階；（ｂ）前記ＲＰＮを利用して前記テストイメージ上で前記テスト用客体に対応する少なくとも一つのテスト用プロポーザルＲＯＩ領域を獲得するか獲得するように支援する段階；（ｃ）前記テスト用プロポーザルＲＯＩ領域と対応される前記テスト用特徴マップ上の領域をプーリングして少なくとも一つのテスト用プーリング済み特徴マップを生成するか生成するように支援する段階；及び（ｄ）前記テスト用プーリング済み特徴マップを前記第２ＦＣレイヤに入力させてリグレッション演算を通じて前記テスト用パウンディングボックスを獲得するか��得するように支援する段階；を含むことを特徴とする方法を提供する。
【００２３】
一例として、前記パラメータに対する前記第１調整はコンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含み、前記パラメータに対する前記第２調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含むことを特徴とする。
【００２４】
一例として、前記学習装置は、（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップをコンカチネートして少なくとも一つの特徴ベクタを獲得するプロセス、（ｉｉ）前記特徴ベクタを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記学習用第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉｉ）前記学習用第１パウンディングボックスのピクセルデータ情報を前記学習用原本正解のパウンディングボックスのピクセルデータ情報と比較して前記第１比較データを獲得するプロセス、及び（ｉｖ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する前記第１調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする。
【００２５】
一例として、前記学習装置は、前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記学習用第１パウンディングボックスのピクセル座標値が獲得されると、前記学習用第１パウンディングボックスのピクセル座標値と前記学習用原本正解のパウンディングボックスのピクセル座標値を比較するか比較するように支援することを特徴とする。
【００２６】
一例として、前記学習装置は、前記ＲＰＮをもって前記トレーニングイメージ上で少なくとも一つのアンカーボックスを前記学習用プロポーザルＲＯＩ領域として獲得することにおいて、前記アンカーボックス各々のピクセルデータ情報と前記学習用原本正解のパウンディングボックスのピクセルデータ情報に対して各々比較を遂行して獲得されたスコアが第２既設定値以上である前記アンカーボックスを前記学習用プロポーザルＲＯＩ領域として獲得するか獲得するように支援することを特徴とする。
【００２７】
本発明のまた他の態様によれば、ロスオーグメンテーションを利用してＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の少なくとも一つのパラメータの調整のための学習装置において、トレーニングイメージまたはそれに対応する少なくとも一つの特徴マップを獲得するか獲得するように支援する通信部；及び（１）（ｉ）ＲＰＮを利用して前記トレーニングイメージ上で少なくとも一つの客体に対応する少なくとも一つのプロポーザルＲＯＩ領域を獲得し、前記通信部から獲得された前記特徴マップ上の前記プロポーザルＲＯＩ領域と対応される領域または前記通信部から獲得された前記トレーニングイメージに少なくとも一回のコンボリューション演算を加えて算出された前記特徴マップ上の前記プロポーザルＲＯＩ領域と対応される領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成するプロセス、（ｉｉ）前記トレーニングイメージ上で前記客体に対応する原本正解（Ｇｒｏｕｎｄ  ｔｒｕｔｈ）のＲＯＩ領域を獲得し、前記原本正解のＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングして少なくとも一つの第２プーリング済み特徴マップを生成するプロセス、（ｉｉｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力させてリグレッション演算を通じて第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｖ）前記第１パウンディングボックスのピクセルデータ情報と原本正解のパウンディングボックスのピクセルデータ情報を比較して第１比較データを獲得するプロセス、及び（ｖ）前記第１比較データを利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する第１調整を実施するプロセスを遂行するか遂行するように支援するプロセッサ；を含むことを特徴とする学習装置を提供する。
【００２８】
一例として、前記（ｉｉ）プロセス以後、前記プロセッサは、（ａ）前記第１プーリング済み特徴マップを第２ＦＣレイヤに入力させてリグレッション演算を通じて第２パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｂ）前記第２パウンディングボックスのピクセルデータ情報を前記原本正解のパウンディングボックスのピクセルデータ情報と比較して第２比較データを獲得するプロセス、及び（ｃ）前記第２比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する第２調整を実施するプロセスをさらに遂行するか遂行するように支援することを特徴とする。
【００２９】
一例として、前記パラメータに対する前記第１調整はコンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含み、前記パラメータに対する前記第２調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含むことを特徴とする。
【００３０】
一例として、前記（ｉｉｉ）ないし（ｖ）プロセスで、前記プロセッサは、（ａ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップをコンカチネートして少なくとも一つの特徴ベクタを獲得するプロセス、（ｂ）前記特徴ベクタを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｃ）前記第１パウンディングボックスのピクセルデータ情報を前記原本正解のパウンディングボックスのピクセルデータ情報と比較して前記第１比較データを獲得するプロセス、及び（ｄ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記パラメータの少なくとも一部に対する前記第１調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする。
【００３１】
一例として、前記（ｉｖ）プロセスで、前記プロセッサは、前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを前記第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力させてリグレッション演算を通じて前記第１パウンディングボックスのピクセルデータ情報を獲得するか獲得するように支援し、前記第１パウンディングボックスのピクセル座標値と前記原本正解のパウンディングボックスのピクセル座標値を比較するか比較するように支援することを特徴とする。
【００３２】
一例として、前記プロセッサは、前記ＲＰＮをもって前記トレーニングイメージ上で少なくとも一つのアンカーボックスをプロポーザルＲＯＩ領域として獲得することにおいて、前記アンカーボックス各々のピクセルデータ情報と前記原本正解のパウンディングボックスのピクセルデータ情報に対して各々比較を遂行して獲得されたスコアが第１既設定値以上である前記アンカーボックスを前記プロポーザルＲＯＩ領域として獲得するか獲得するように支援することを特徴とする。
【００３３】
一例として、前記各々のアンカーボックスのうち一つの領域と前記原本正解の前記パウンディングボックスの領域の和集合に該当する領域の面積に対する、前記各々のアンカーボックスの領域と前記原本正解の前記パウンディングボックスの領域の交差集合に該当する領域の面積の比率を利用して前記各々の比較を遂行することを特徴とする。
【００３４】
本発明のまた他の態様によれば、、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を含んでテストイメージ上の少なくとも一つのテスト用客体に対するテスト用パウンディングボックスの獲得に用いられるテスティング装置において、前記ＣＮＮを含む学習装置が、（１）トレーニングイメージから少なくとも一つの学習用特徴マップを獲得するか獲得するように支援するプロセス、（２）（２−１）（ｉ）ＲＰＮを利用して前記トレーニングイメージ上で少なくとも一つの学習用客体に対応する少なくとも一つの学習用プロポーザルＲＯＩ領域を獲得し、（ｉｉ）前記学習用プロポーザルＲＯＩ領域と対応される前記学習用特徴マップ上の領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成するプロセス、及び（２−２）（ｉ）前記トレーニングイメージ上で前記学習用客体に対応する原本正解のＲＯＩ領域を獲得し、（ｉｉ）前記原本正解のＲＯＩ領域と対応される前記学習用特徴マップ上の領域をプーリングして少なくとも一つの第２プーリング済み特徴マップを生成するプロセス、及び（３）（３−１）（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを第１ＦＣレイヤに入力させてリグレッション演算を通じて学習用第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記学習用第１パウンディングボックスのピクセルデータ情報を学習用原本正解のパウンディングボックスのピクセルデータ情報と比較して第１比較データを獲得するプロセス、（ｉｉｉ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する第１調整を遂行するプロセス、及び（３−２）（ｉ）前記第１プーリング済み特徴マップを第２ＦＣレイヤに入力させてリグレッション演算を通じて学習用第２パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉ）前記学習用第２パウンディングボックスのピクセルデータ情報と前記学習用原本正解パウンディングボックスのピクセルデータ情報を比較して第２比較データを獲得するプロセス、（ｉｉｉ）前記第２比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する第２調整を実施するプロセスを遂行するか遂行するように支援する状態で、前記テストイメージまたは前記テストイメージに対応する少なくとも一つのテスト用特徴マップを獲得するか獲得するように支援する状態の通信部；及び（ｉ）前記ＲＰＮを利用して前記テストイメージ上で前記テスト用客体に対応する少なくとも一つのテスト用プロポーザルＲＯＩ領域を獲得するか獲得するように支援するプロセス、（ｉｉ）前記通信部から獲得された前記テスト用特徴マップ上の領域または前記通信部から獲得された前記テストイメージに前記第１調整と前記第２調整を遂行する前記学習装置によって調整されていた前記パラメータを有する前記ＣＮＮを利用して算出された前記テスト用特徴マップ上の前記テスト用プロポーザルＲＯＩ領域と対応する領域をプーリングして少なくとも一つのテスト用プーリング済み特徴マップを生成するか生成するように��援するプロセス、及び（ｉｉｉ）前記テスト用プーリング済み特徴マップを前記第２ＦＣレイヤに入力させてリグレッション演算を通じて前記テスト用パウンディングボックスを獲得するか獲得するように支援するプロセスを遂行するプロセッサ；を含むテスティング装置を提供する。
【００３５】
一例として、前記テスティング装置は、前記パラメータに対する前記第１調整はコンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含み、前記パラメータに対する前記第２調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整を含むことを特徴とする。
【００３６】
一例として、前記テスティング装置は、前記学習装置が（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップをコンカチネートして少なくとも一つの特徴ベクタを獲得するプロセス、（ｉｉ）前記特徴ベクタを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記学習用第１パウンディングボックスのピクセルデータ情報を獲得するプロセス、（ｉｉｉ）前記学習用第１パウンディングボックスの前記ピクセルデータ情報を前記学習用原本正解のパウンディングボックスのピクセルデータ情報と比較して前記第１比較データを獲得するプロセス、及び（ｉｖ）前記第１比較データ情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する前記第１調整を実施するプロセスを遂行するか遂行するように支援することを特徴とする。
【００３７】
一例として、前記テスティング装置は、前記学習装置が前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップを前記第１ＦＣレイヤに入力させてリグレッション演算を通じて前記学習用第１パウンディングボックスのピクセル座標値が獲得されると、前記学習用第１パウンディングボックスのピクセル座標値と前記学習用原本正解のパウンディングボックスのピクセル座標値を比較するか比較するように支援することを特徴とする。
【００３８】
一例として、前記テスティング装置は、前記学習装置が前記ＲＰＮをもって前記トレーニングイメージ上で少なくとも一つのアンカーボックスを前記学習用プロポーザルＲＯＩ領域として獲得することにおいて、前記アンカーボックス各々のピクセルデータ情報と前記学習用原本正解のパウンディングボックスのピクセルデータ情報に対して各々比較を遂行して獲得されたスコアが第２既設定値以上である前記アンカーボックスを前記学習用プロポーザルＲＯＩ領域として獲得することを特徴とする。
【発明の効果】
【００３９】
本発明によれば、次のような効果がある。
【００４０】
本発明は（ｉ）（ｉ−１）ＲＰＮを利用して獲得したＲＯＩ領域と対応される特徴マップ上の領域をプーリングして獲得されたプーリング済み特徴マップと（ｉ−２）原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）ＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングして獲得されたプーリング済み特徴マップをコンカチネートし、（ｉｉ）リグレッション演算を通じてパウンディングボックスを獲得するためにコンカチネートされたプーリング済み特徴マップをＦＣレイヤに入力させ、（ｉｉｉ）前記獲得したパウンディングボックスを原本正解のパウンディングボックスと比較して獲得したロス値に対する情報を利用してバックプロパゲーションを遂行することでパラメータを調整し、（ｉｖ）前記調整されたパラメータを利用してテストイメージ上でテスト用客体をより正確に含むパウンディングボックスを獲得するか獲得するように支援する効果がある。
【図面の簡単な説明】
【００４１】
本発明の実施例の説明に利用されるために添付された下記図面は本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野の通常の技術者においては発明的作業がなされることなく本図面に基づいて他の図面が得られることがある。
【図１】図１は、既存の学習装置がパウンディングボックスを獲得してこれを原本正解のパウンディングボックスと比較する過程を示した図面である。
【図２】図２は、本発明の一実施例にかかる学習装置のブロック図である。
【図３Ａ】図３Ａは、本発明の一実施例によって第１ＦＣレイヤ及び第１ロスレイヤを含む学習装置が原本正解ＲＯＩを利用してパラメータを調整する過程を概略的に示す図面である。
【図３Ｂ】図３Ｂは、本発明の他の実施例によって第１ＦＣレイヤ及び第２ＦＣレイヤを含む学習装置が原本正解ＲＯＩを利用してパラメータを調整する過程を概略的に示す図面である。
【図４】図４は、本発明の一実施例によって原本正解ＲＯＩ及びＲＰＮから獲得されたプロポーザルＲＯＩを各々プーリングしてコンカチネートするプロセスを例示的に示した図面である。
【図５】図５は、本発明の一実施例にかかるテスティング装置のブロック図である。
【図６Ａ】図６Ａは、本発明の一実施例によって第１ＦＣレイヤを含むテスティング装置が調整されたパラメータを利用してパウンディングボックスを獲得する過程を概略的に示す図面である。
【図６Ｂ】図６Ｂは、本発明の他の実施例によって第２ＦＣレイヤを含むテスティング装置が調整されたパラメータを利用してパウンディングボックスを獲得する過程を概略的に示す図面である。
【発明を実施するための形態】
【００４２】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４３】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
【００４４】
図２は本発明の一実施例にかかる学習装置１００を概略的に示したブロック図である。
【００４５】
図２に示されたように、本発明の前記学習装置１００は通信部１１０とプロセッサ１２０を含み、場合によって図２とは異なりデータベース１３０も含まれ得る。
【００４６】
ここで、本発明の前記学習装置１００はプロセッサを搭載して本発明にかかる演算能力を備えたデジタル装置であり得る。
【００４７】
前記通信部１１０はトレーニングイメージまたは前記トレーニングイメージから得られた少なくとも一つの特徴マップを獲得する構成であり得る。
【００４８】
前記学習装置１００の前記プロセッサ１２０は（ｉ）前記トレーニングイメージ上でパウンディングボックスを予測し、（ｉｉ）前記予測されたパウンディングボックスを原本正解のパウンディングボックスと比較して比較データを獲得し、（ｉｉｉ）前記獲得された比較データに対する情報を利用してバックプロパゲーションを遂行することでパラメータを調整するプロセスを遂行し得る。これについては後で詳細な説明を通じて詳細に考察することとする。
【００４９】
一方、前記データベース１３０は前記学習装置１００の前記通信部１１０によってアクセスが可能であり、前記比較データ情報、客体が自動車なのか、歩行者なのかなどを示すクラス情報、ＲＯＩ領域に対する情報、前記パラメータに対する情報などが記録され得る。
【００５０】
図３Ａは本発明の一実施例によって、前記学習装置１００が（ｉ）（ｉ−１）第１ＲＯＩプーリングレイヤ３２０をもってＲＰＮ３１５から出力された少なくとも一つのプロポーザルＲＯＩ領域と対応される前記特徴マップ上の領域をプーリングするようにしてして獲得された少なくとも一つの第１プーリング済み特徴マップと（ｉ−２）第２ＲＯＩプーリングレイヤ３２５をもって原本正解のＲＯＩ領域と対応される前記特徴マップ上の領域をプールリングするようにして獲得された少なくとも一つの第２プーリング済み特徴マップをコンカチネートし、（ｉｉ）前記コンカチネートされた特徴マップが第１ＦＣレイヤ３３０に入力されるとリグレッション演算を通じて前記パウンディングボックスを獲得し、（ｉｉｉ）第１ロスレイヤ３３５をもって前記パウンディングボックスを前記原本正解のパウンディングボックスと比較するようにして獲得された少なくとも一つのロス値に対する情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータを調整する過程を示す図面である。
【００５１】
参考までに、本明細書の図面上では前記学習装置１００が一つの学習装置から構成されたものとして示したが、前記学習装置は複数個に分けて役割を遂行する場合もある。但し、説明の便宜上、本発明の明細書では学習装置が一つから具現されると想定して説明することとする。
【００５２】
図３Ａを参照すれば、本発明の前記学習装置１００は少なくとも一つのコンボリューションフィルタを含むコンボリューションレイヤ３１０、前記ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）３１５、前記第１ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤ３３０、及び前記第１ロスレイヤ３３５のうち少なくとも一部が含まれ得る。
【００５３】
前記通信部１１０を通じて前記トレーニングイメージが獲得されると、前記プロセッサ１２０は前記コンボリューションレイヤ３１０をもって前記トレーニングイメージにコンボリューション演算を加えることで前記特徴マップを生成し得る。場合によって、前記通信部１１０は前記通信部１１０を通じて他の学習装置に含まれた他のコンボリューションレイヤによって生成されている特徴マップを直ちに獲得し得る。
【００５４】
参考までに、前記コンボリューションレイヤ３１０は少なくとも一つのコンボリューションフィルタを含むものから構成され得て、前記トレーニングイメージが各コンボリューションフィルタを通過するたびに前記トレーニングイメージのサイズまたは前記トレーニングイメージに対応する特徴マップのサイズは半分に減少し得る反面、前記特徴マップのチャネル数は２倍に増加し得る。
【００５５】
例えば、前記トレーニングイメージのサイズが６４０×４８０でチャネル数が３なら、第１特徴マップのサイズは３２０×２４０でチャネル数は６であり、第２特徴マップのサイズが１６０×１２０でチャネル数は１２のように続く。
【００５６】
参考までに、増加量と減少量は前記従来のレイヤに含まれた前記各々のコンボリューションフィルタの前記パラメータによって各々異なり得る。
【００５７】
前記プロセッサ１２０は前記ＲＰＮ３１５から前記トレーニングイメージ上で前記客体に対応する前記プロポーザルＲＯＩ領域を獲得し得る。
【００５８】
前記プロポーザルＲＯＩ領域を獲得すれば、前記プロセッサ１２０は前記第１ＲＯＩプーリングレイヤ３２０をもって前記プロポーザルＲＯＩ領域と対応される特徴マップ上の領域をプーリングして少なくとも一つの第１プーリング済み特徴マップを生成するようにし得る。ここで、前記プーリング演算は限定されず、マックスプーリング演算、平均プーリング演算などすべて含まれ得る。
【００５９】
一方、前記プロセッサ１２０は前記客体に対応する前記トレーニングイメージ上の前記原本正解のＲＯＩ領域を獲得し得て、前記第２ＲＯＩプーリングレイヤ３２５をもって前記原本正解のＲＯＩ領域に対応する前記特徴マップ上の領域をプーリングするようにすることで少なくとも一つの第２プーリング済み特徴マップを生成し得る。ここで、前記原本正解のＲＯＩ領域はトレーニングイメージ上で人が直接前記客体を正確に含むように選択した前記原本正解のパウンディングボックス領域と同一の領域を意味し得る。
【００６０】
参考までに、本明細書では説明の便宜上、前記ＲＯＩ領域をトレーニングイメージ上に存在するものと想定したが、場合によって特徴マップ上に存在する領域を意味し得る。
【００６１】
また、前記プロセッサ１２０は、（ｉ）前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップが第１ＦＣレイヤに入力されるとリグレッション演算を通じて第１パウンディングボックスのピクセルデータ情報を獲得し、（ｉｉ）第１ロスレイヤ３３５をもって前記第１パウンディングボックスのピクセルデータ情報を前記原本正解パウンディングボックスのピクセルデータ情報と比較して第１比較データを獲得した後、前記第１比較データに対する情報を利用してバックプロパゲーションを遂行するようにし得る。
【００６２】
前記第１ＦＣレイヤに入力される前記データは前記第１プーリング済み特徴マップと前記第２プーリング済み特徴マップのコンカチネーションにより生成された少なくとも一つの特徴ベクタが含まれ得る。これと関連しては図４と共に説明する。
【００６３】
図４は本発明の一実施例によって前記原本正解ＲＯＩ領域、前記ＲＰＮから獲得した前記プロポーザルＲＯＩ領域各々に対応される前記特徴マップ上の各領域をプーリングして前記各々のプーリング済み特徴マップをコンカチネートするプロセスを例示的に示した図面である。
【００６４】
参考までに、図４の前記トレーニングイメージを獲得する段階から前記プーリング済み特徴マップを前記第１ＦＣレイヤ４４０に入力させる段階までのプロセスは、図３Ａの前記トレーニングイメージを獲得する段階から前記プーリング済み特徴マップを第１ＦＣレイヤ３３０に入力させる段階までのプロセスと同一なので、詳細な説明を省略する。
【００６５】
一方、前記トレーニングイメージが前記コンボリューションレイヤを通過した結果、Ｍ個のチャネルを有する特徴マップ（ｗ／３２×ｈ／３２）が獲得されたとすると、前記Ｍ個のチャネルを有する特徴マップ（ｗ／３２×ｈ／３２）をプーリングして獲得された前記第１プーリング済み特徴マップ及び前記第２プーリング済み特徴マップも各々Ｍ個のチャネルを有し得る。ここで、前記プーリング済み特徴マップは正方形形態（Ｎ×Ｎ）の行列であり得て、特徴ベクトルと指称され得る。
【００６６】
前記プロセッサ１２０は、（ｉ）Ｍ個のチャネルの前記第１プーリング済み特徴マップとＭ個のチャネルの前記第２プーリング済み特徴マップを前記チャネルの軸に沿ってコンカチネートすることでＮ×Ｎ×（２×Ｍ）の特徴ベクタを少なくとも一つ獲得（Ｓ４３５）するプロセス、（ｉｉ）前記獲得された特徴ベクタを前記第１ＦＣレイヤ４４０に入力させて前記第１パウンディングボックスのピクセルデータ情報を獲得するプロセスを遂行し得る。ここで、前記第１パウンディングボックスのピクセルデータ情報はピクセル座標値が含まれ得る。
【００６７】
また、前記プロセッサ１２０は図３Ａの前記第１ロスレイヤ３３５をもって前記第１パウンディングボックスのピクセル座標値と前記原本正解パウンディングボックスのピクセル座標値を比較した結果である前記第１比較データを生成するようにし得る。ここで、前記ピクセル座標値は前記各パウンディングボックスの中心、頂点座標などの所定地点の座標を意味し得る。
【００６８】
また、前記プロセッサ１２０は前記第１比較データに対する情報を利用してバックプロパゲーションを遂行することで前記ＣＮＮの少なくとも一つのパラメータに対する第１調整を実施し得る。前記バックプロパゲーションは前記ロス値を含む前記第１比較データの値を減らすために遂行され得る。前記パラメータは前記第１ＦＣレイヤ、前記ＲＰＮ、前記コンボリューションレイヤのうち少なくともいずれか一つのパラメータであり得る。
【００６９】
前記プロセッサ１２０は複数個のトレーニングイメージを利用して前述したように前記パラメータに対する前記第１調整を遂行するか遂行するように支援し得る。
【００７０】
図３Ｂは本発明の他の実施例によって、前記第１ＦＣレイヤ３３０と前記第２ＦＣレイヤ３４０を含む学習装置１００が（ｉ）前記第１パウンディングボックスのピクセルデータ情報と前記原本正解のパウンディングボックスのピクセルデータ情報を比較して前記第１ロスレイヤ３３５から前記第１比較データを獲得し、（ｉｉ）第２パウンディングボックスのピクセルデータ情報と前記原本正解パウンディングボックスのピクセルデータを比較して第２ロスレイヤ３４５から前記第２比較データを獲得し、（ｉｉｉ）前記第１比較データに対する情報と前記第２比較データに対する情報を利用してバックプロパゲーションを遂行することで前記パラメータを調整を遂行するプロセスを示す図面である。
【００７１】
上述したように、図３Ｂに示された過程は図３Ａに示されたプロセスをそのまま含み、第２ＦＣレイヤ３４０をもって遂行される追加的なプロセス及び前記第２ロスレイヤ３４５を利用する段階をさらに含む。
【００７２】
前記学習装置１００は（ｉ）前記第１プーリング済み特徴マップが前記第２ＦＣレイヤ３４０に入力されてリグレッション演算を通じて前記第２パウンディングボックスのピクセルデータ情報を獲得し、（ｉｉ）前記第２ロスレイヤ３４５をもって前記第２パウンディングボックスのピクセルデータ情報を前記原本正解のパウンディングボックスのピクセルデータ情報と比較して前記第２比較データを獲得して、（ｉｉｉ）前記第２比較データを利用してバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータの少なくとも一部に対する第２調整を遂行するように支援するプロセスを遂行し得る。
【００７３】
前記プロセッサ１２０は複数個のトレーニングイメージを利用して前述したように前記パラメータに対する前記第２調整を遂行するか遂行するように支援し得る。
【００７４】
言い換えれば、前記第２ロスレイヤ３４５をもって前記原本正解のパウンディングボックスのピクセルデータ情報と前記第１プーリング済み特徴マップだけが入力された前記第２ＦＣレイヤ３４０から出力された結果を比較して前記第２比較データを生成するようにし、これを利用して前記パラメータの前記第２調整を遂行し得る。ここで、前記パラメータは前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータであり得る。
【００７５】
結局、前記第１調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整が含まれ得て、前記第２調整は前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つのパラメータに対する調整が含まれ得る。
【００７６】
併せて、前記プロセッサ１２０は前記第１パウンディングボックスのピクセル座標値と前記原本正解のパウンディングボックスのピクセル座標値を比較し得る。
【００７７】
ここで、前記ピクセル座標値は前述したように前記各パウンディングボックスの所定地点の座標を意味し得る。例えば、前記第１パウンディングボックスの中心地点の座標がｘ、ｙで、幅、高さがｗ、ｈであり、前記原本正解パウンディングボックスの中心地点の座標がｘ’、ｙ’で、幅、高さがｗ’、ｈ’と想定すると、前記第１比較データはｘ’−ｘ、ｙ’−ｙ、ｗ’−ｗ、ｈ’−ｈとなり得る。これは前記第２比較データの場合も同様である。
【００７８】
一方、前記ＲＰＮは少なくとも一つのアンカーボックスを獲得して既設定された値以上であるスコアを参照して前記アンカーボックスの中から選択されたいくつかのアンカーボックスを前記プロポーザルＲＯＩ領域として設定し得るが、前記スコアは前記アンカーボックス各々のピクセルデータ情報と前記原本正解のパウンディングボックスのピクセルデータ情報に対して各々比較を遂行して獲得される。
【００７９】
一般的に、ピクセル一個がいくつかのアンカーボックスのアンカーとして機能し得るので、多数のピクセルが含まれたトレーニングイメージは複数個のアンカーボックスを示し得る。ここで、前記複数個のアンカーボックスと対応される前記特徴マップ上の領域はプーリングされ得る候補領域に該当する。
【００８０】
参考までに、前記プロポーザルＲＯＩ領域に一致する前記特徴マップ上の領域は前記トレーニングイメージ上の前記アンカーボックスのうち一部の幅、高さをリサイズすることで獲得された領域に対応し得る。これは前述したように、前記特徴マップは前記コンボリューションレイヤの演算を通じて前記トレーニングイメージの幅、高さが縮小されて獲得されたためである。同様に、前記原本正解のＲＯＩ領域、即ち前記原本正解のパウンディングボックスと対応される前記特徴マップ上の領域も前記原本正解パウンディングボックスの幅、高さをリサイズすることで獲得された領域に対応され得る。
【００８１】
一方、前記各々の比較は前記アンカーボックスの各々に対して計算された、前記アンカーボックスのうち一つの領域と前記原本正解のパウンディングボックスの領域の交差集合に該当する領域を前記アンカーボックスのうち前記一つの領域と前記原本正解のパウンディングボックスの和集合に該当する領域に分けて獲得した比率を利用して遂行され得る。ここで、計算されたすべての比率はスコアの役割をする。
【００８２】
例えば、第１アンカーボックスと前記原本正解のパウンディングボックスの前記比率が３／４で、第２アンカーボックスと前記原本正解のパウンディングボックスの比率が１／３なら、前記第１アンカーボックスのスコアは前記第２アンカーボックスのスコアよりも大きいと判断し得る。
【００８３】
また、前記スコア値は多様なデータ、例えば前記アンカーボックスの中心座標と前記原本正解パウンディングボックスの中心座標間の距離、前記アンカーボックスの高さと前記原本正解パウンディングボックスの高さの差または比率、前記アンカーボックスの幅と前記原本正解パウンディングボックスの幅の差または比率、及び前記アンカーボックスの任意の地点と前記原本正解パウンディングボックスの任意の地点間の距離を利用して計算され得る。
【００８４】
例えば、前記ＲＰＮはスコア値が０．７以上である前記アンカーボックスをプロポーザルＲＯＩ領域となり得る候補と判断し得る。
【００８５】
図５は本発明の一実施例にかかるテスティング装置５００のブロック図である。ここで、”学習用”という形容句は前記学習装置１００の説明に用いられた概念を表現し、下に出てくる前記テスティング装置５００の説明に用いられた”テスト用”とは対照的に用いられる。前記形容句”学習用”は上の説明で便宜上省略された。
【００８６】
図５に示されたように、本発明の前記テスティング装置５００は通信部５１０とプロセッサ５２０が含まれ、場合によって図５とは異なりデータベース５３０が含まれ得る。図面では前記テスティング装置５００と前記学習装置１００を別の装置として示したが、前記テスティング装置５００と前記学習装置１００は同一の装置の場合もある。
【００８７】
参考までに、（ｉ）前記コンボリューションレイヤ、前記ＲＰＮ、前記第１ＦＣレイヤのうち少なくともいずれか一つの前記パラメータを調整する前記第１調整及び／または（ｉｉ）前記コンボリューションレイヤ、前記ＲＰＮ、前記第２ＦＣレイヤのうち少なくともいずれか一つの前記パラメータを調整する前記第２調整が終了した状態で、前記テスティング装置５００の前記プロセッサ５２０はテストイメージを獲得して少なくとも一つのテスト用客体を含む少なくとも一つのテスト用パウンディングボックスを見つけるプロセスを遂行し得る。
【００８８】
図６Ａは本発明の一実施例によって、前記第１ＦＣレイヤ６３０を含む前記テスティング装置５００が前記調整されたパラメータを利用して前記テスト用パウンディングボックスを獲得する過程を示す図面である。
【００８９】
参考までに、図６Ａは前記学習装置１００を通じて前記第１調整して獲得されたパラメータを有する前記ＣＮＮを含む前記テスティング装置５００のプロセスを示した図面であって、前記プロセス全体は二点鎖線の四角形で表示されたプロセス、即ち前記原本正解のＲＯＩ領域に対応される領域をプーリングするプロセスと前記獲得された第１比較データ情報を利用してバックプロパゲーションするプロセスを除いて図３Ａのプロセスと類似する。
【００９０】
前記第１調整されたパラメータを有する前記ＣＮＮを含む前記テスティング装置５００は前記通信部５１０を通じて獲得された前記テストイメージまたはテスト用特徴マップを得られ得る。また、場合によって、前記ＲＰＮで演算された少なくとも一つのテスト用プロポーザルＲＯＩ領域に対する情報を得られ得る。
【００９１】
前記通信部５１０を通じて前記テストイメージが獲得されると、前記プロセッサ５２０は前記テストイメージを前記コンボリューションレイヤ６１０に入力して前記テスト用特徴マップを獲得し得る。
【００９２】
また、前記プロセッサ５２０は（ｉ）前記ＲＰＮ６１５を利用して前記テストイメージ上で前記テスト用客体に対応する前記テスト用プロポーザルＲＯＩ領域を獲得し、（ｉｉ）ＲＯＩプーリングレイヤ６２０をもって前記テスト用プロポーザルＲＯＩ領域に対応する前記テスト用特徴マップ上の領域をプーリングして少なくとも一つのテスト用プーリング済み特徴マップを生成するプロセスを遂行し得る。
【００９３】
次に、前記プロセッサ５２０は前記テスト用プーリング済み特徴マップを前記第１ＦＣレイヤ６３０に入力させてリグレッション演算を通じて前記テスト用パウンディングボックスを獲得し得る。
【００９４】
前記第１調整前パラメータを利用して獲得した前記学習用パウンディングボックスと比較すると、前記テスト用パウンディングボックスは前記テスト用客体がより正確に含まれ得る。
【００９５】
図６Ｂは本発明の他の実施例によって、前記第２ＦＣレイヤ６４０を含む前記テスティング装置５００によって前記テスト用パウンディングボックスを獲得する過程を概略的に示す図面である。
【００９６】
参考までに、図６Ｂは前記学習装置１００を通じて前記第１、２調整で獲得した前記パラメータを有する前記ＣＮＮを含む前記テスティング装置５００のプロセスを概略的に示した図面であって、前記プロセスは二点鎖線の四角形で表示されたプロセス、即ち（ｉ）前記原本正解のＲＯＩ領域に対応される領域をプーリングするプロセス、（ｉｉ）前記第１及び第２比較データに対する情報を利用してバックプロパゲーションを遂行するプロセス、及び（ｉｉｉ）前記第１ＦＣレイヤ６３０を利用して前記テスト用パウンディングボックスを獲得するプロセスを除いて図３Ｂのプロセスとすべて同一である。
【００９７】
参考までに、図６Ｂで前記第１ＦＣレイヤ６３０から前記テスト用パウンディングボックスを獲得する過程を二点鎖線で表示した理由は、前記第１ＦＣレイヤ６３０は学習過程で前記パラメータを調整するのにだけ利用され、テスティング過程では前記第２ＦＣレイヤだけが利用されるためである。
【００９８】
前記第１調整及び第２調整して獲得した前記パラメータを有する前記ＣＮＮを含む前記テスティング装置５００は前記通信部５１０を通じて前記テストイメージまたは前記テストイメージから獲得された前記テスト用特徴マップを得られ得る。
【００９９】
前記通信部５１０を通じて前記テストイメージが獲得されると、前記プロセッサ５２０は前記コンボリューションレイヤ６１０をもって前記テストイメージにコンボリューション演算を加えて前記テスト用特徴マップを生成するようにし得る。
【０１００】
また、前記プロセッサ５２０は（ｉ）前記ＲＰＮ６１５を利用して前記テストイメージ上で前記テスト用客体に対応する前記テスト用プロポーザルＲＯＩ領域を獲得し、（ｉｉ）前記ＲＯＩプーリングレイヤ６２０をもって前記テスト用プロポーザルＲＯＩ領域と対応される前記テスト用特徴マップ上の領域をプーリングして前記テスト用プーリング済み特徴マップを生成するプロセスを遂行し得る。
【０１０１】
次に、前記プロセッサ５２０は前記テスト用プーリング済み特徴マップを前記第２ＦＣレイヤ６４０に入力させてリグレッション演算を通じて前記テスト用パウンディングボックスを獲得し得る。
【０１０２】
前記第１及び第２調整前の前記パラメータを利用して獲得した前記学習用パウンディングボックスと比較すると、前記テスト用パウンディングボックスは前記テスト用客体がより正確に含まれ得る。
【０１０３】
以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。
【０１０４】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。
【０１０５】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。
【符号の説明】
【０１０６】
１００…学習装置、１１０…通信部、１２０…プロセッサ、１３０…データベース、５００…テスティング装置、５１０…通信部、５２０…プロセッサ、５３０…データベース。
【図１】
2019075117.tif 000003
【図２】
2019075117.tif 000004
【図３Ａ】
2019075117.tif 000005
【図３Ｂ】
2019075117.tif 000006
【図４】
2019075117.tif 000007
【図５】
2019075117.tif 000008
【図６Ａ】
2019075117.tif 000009
【図６Ｂ】
2019075117.tif 000010
【外国語明細書】
2019075117000001.pdf