(57)【要約】      （修正有）【課題】学習装置の性能向上に必要な適切な学習データを自動的に選択する。【解決手段】学習装置４００は、第１ＣＮＮモジュールをもって第１特徴マップを生成し、第２ＣＮＮモジュールをもって第２特徴マップを生成する。さらに、第１特徴マップを利用して物体の識別情報や位置情報を示す第１出力を生成し、第１出力とこれに該当する原本正解イメージとを参照して第１ロスを算出する段階と、第２ＣＮＮモジュールをもって第１特徴マップの大きさを変更した後、第１特徴マップと第２特徴マップとを統合して第３特徴マップを生成し、第４特徴マップを生成して第２ロスを算出する段階と、及び第１ロスと第２ロスとを参照して自動選別機のロスを算出する段階と、を含む。【選択図】図４
2020068028.tif 000002
【特許請求の範囲】
【請求項１】
有用な学習データを取捨選別するためのＣＮＮ基盤の学習方法において、
（ａ）学習装置が、少なくとも一つの入力イメージが獲得されれば、（ｉ）前記入力イメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュールをもって、前記入力イメージに対して少なくとも一度コンボリューション演算を適用するようにして第１特徴マップを生成するプロセス、及び（ｉｉ）前記第１ＣＮＮモジュールの学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）し得る第２ＣＮＮモジュールをもって前記入力イメージに対して少なくとも一度コンボリューション演算を適用するようにして第２特徴マップを生成するプロセスを遂行する段階；
（ｂ）前記学習装置が、前記第１ＣＮＮモジュールをもって、前記第１特徴マップを利用して前記特定の物体の前記識別情報や前記位置情報を示す第１出力を生成するようにし、前記第１出力とこれに該当する原本正解イメージとを参照して第１ロスを算出するようにする段階；
（ｃ）前記学習装置が、前記第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記第１特徴マップと前記第２特徴マップの大きさを同一に変更した後、前記第１特徴マップと前記第２特徴マップとを統合して、第３特徴マップを生成する段階；
（ｄ）前記学習装置が、前記第２ＣＮＮモジュールをもって、前記第３特徴マップに少なくとも一度コンボリューション演算を適用して第４特徴マップを生成し、前記第４特徴マップを利用して前記第１ロスの予測値に該当する第２ロスを算出するようにする段階；
（ｅ）前記学習装置が、前記第１ロスと前記第２ロスとを参照して自動選別機のロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出する段階；及び
（ｆ）前記学習装置が、前記自動選別機のロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行し、前記第２ＣＮＮモジュールの少なくとも一つのパラメータを最適化する段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｆ）段階で、
前記学習装置が、前記第１ロスを利用してバックプロパゲーションを遂行して前記第１ＣＮＮモジュールの少なくとも一つのパラメータを最適化することを特徴とする第１項に記載の方法。
【請求項３】
前記第１ＣＮＮモジュールは、前記特定の物体の大きさや位置を検出するための物体検出システム（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ｓｙｓｔｅｍ）、前記特定の物体の種類を識別するための分類システム（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）及び前記特定の物体の領域を他の領域と区分するためのセグメンテーションシステム（Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｓｙｓｔｅｍ）のいずれかに含まれ、
前記第２ＣＮＮモジュールは少なくとも一つの特定の入力イメージを自動的に選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）に含まれるものの、前記特定の入力イメージは、前記第１ＣＮＮモジュールに入力される複数の入力イメージの中に含まれ、前記特定の入力のイメージに対応して正確に検出される確率の低い特定の物体各々を含み、
前記第１出力は、前記物体検出システムの出力、前記分類システムの出力及び前記セグメンテーションシステムの出力の一つを示し、
確率が所定の閾値未満であるか否かに対する情報を参照して前記正確に検出される確率が低いかどうかが決定されることを特徴とする第１項記載の方法。
【請求項４】
前記第２特徴マップの大きさは、前記第１特徴マップよりも大きく、
前記（ｃ）段階で、
前記学習装置は前記第２ＣＮＮモジュールをもって、前記第１特徴マップの大きさを前記第２特徴マップの大きさに合うように大きくすることを特徴とする第１項に記載の方法。
【請求項５】
前記（ｃ）段階で、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記第１特徴マップの大きさを前記第２特徴マップの大きさと同じように変更させることを特徴とする第４項に記載の方法。
【請求項６】
前記（ｃ）段階で、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記第１特徴マップと前記第２特徴マップとをコンカチネートして、前記第３特徴マップを生成するようにすることを特徴とする第１項に記載の方法。
【請求項７】
前記（ｄ）段階で、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記第４特徴マップがプーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）及びＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）のうち少なくとも一つを通過させて前記第２ロスを算出することを特徴とする第１項に記載の方法。
【請求項８】
前記プーリングレイヤは前記第４特徴マップの高さ及び幅を１にすることを特徴とする第７項に記載の方法。
【請求項９】
前記（ｆ）段階で、
前記学習装置は、前記自動選別機のロスを最小化する方向でバックプロパゲーションを遂行することを特徴とする第１項に記載の方法。
【請求項１０】
ＣＮＮを基盤に有用な学習データを取捨選別するための方法において、
（ａ）（Ｉ）学習装置が、（ｉ）トレーニングイメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュールをもって、前記トレーニングイメージに対して少なくとも一度コンボリューション演算を適用するようにして学習用第１特徴マップを生成し、（ｉｉ）前記第１ＣＮＮモジュールの学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）するための第２ＣＮＮモジュールをもって、前記トレーニングイメージに対して少なくとも一度コンボリューション演算を適用するようにして学習用第２特徴マップを生成するプロセス、（ＩＩ）前記学習装置が、前記第１ＣＮＮモジュールをもって前記学習用第１特徴マップを利用して前記特定の物体の前記識別情報や前記位置情報を示す学習用第１出力を生成するようにし、前記学習用第１出力とこれに対応する原本正解イメージとを参照して第１ロスを算出するようにするプロセス、（ＩＩＩ）前記学習装置が、前記学習用第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップと前記学習用第２特徴マップの大きさを同一に変更した後、前記学習用第１特徴マップと前記学習用第２特徴マップとを統合して、学習用第３特徴マップを生成するプロセス、（ＩＶ）前記学習装置が、前記第２ＣＮＮモジュールをもって、前記学習用第３特徴マップに少なくとも一度コンボリューション演算を適用して学習用第４特徴マップを生成し、前記学習用第４特徴マップを利用して前記第１ロスの予測値に該当する第２ロスを算出するようにするプロセス、（Ｖ）前記学習装置が、前記第１ロスと前記第２ロスとを参照して自動選別機のロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出するプロセス、及び（ＶＩ）前記学習装置が、前記自動選別機のロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行し、前記第２ＣＮＮモジュールの少なくとも一つのパラメータを最適化するプロセスを遂行した状態で、テスト装置が、各々のイメージ候補を各々のテストイメージとして獲得する段階；
（ｂ）前記テスト装置が、（ｉ）前記第１ＣＮＮモジュールをもって、前記テストイメージに対してコンボリューション演算を少なくとも一度適用するようにして、テスト用第１特徴マップを生成するプロセス、及び（ｉｉ）前記第２ＣＮＮモジュールをもって、前記テストイメージに対して少なくとも一度コンボリューション演算を適用するようにしてテスト用第２特徴マップを生成するプロセスを遂行する段階；
（ｃ）前記テスト装置が、前記テスト用第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップと前記テスト用第２特徴マップの大きさを同一に変更した後、前記テスト用第１特徴マップと前記テスト用第２特徴マップとを統合して、テスト用第３特徴マップを生成する段階；
（ｄ）前記テスト装置が、前記第２ＣＮＮモジュールをもって、前記テスト用第３特徴マップに少なくとも一度コンボリューション演算を適用してテスト用第４特徴マップを生成し、前記テスト用第４特徴マップを利用してロス予測値を算出するようにする段階；及び
（ｅ）前記テスト装置が、前記入力イメージ候補の中から前記ロス予測値が所定の閾値以上の値を有する少なくとも一つのイメージを前記第１ＣＮＮモジュールの学習プロセスに利用されるトレーニングイメージとして選別する段階；
を含むことを特徴とする方法。
【請求項１１】
前記第１ＣＮＮモジュールは、前記特定の物体の大きさや位置を検出するための物体検出システム、前記特定の物体の種類を識別するための分類システム及び前記特定の物体の領域を他の領域と区分するためのセグメンテーションシステムのいずれかに含まれ、
前記第２ＣＮＮモジュールは、トレーニングイメージを自動的に選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）に含まれるものの、前記トレーニングイメージは、前記第１ＣＮＮモジュールに入力される複数のトレーニングイメージの中に含まれ、前記特定の物体に対応して正確に検出される確率の低い特定の物体各々を含み、
前記学習用第１出力は、前記物体検出システムの出力、前記分類システムの出力及び前記セグメンテーションシステムの出力の一つを示し、
確率が所定の閾値未満であるか否かに対する情報を参照して前記正確に検出される確率が低いかどうかが決定されることを特徴とする第１０項に記載の方法。
【請求項１２】
前記学習用第２特徴マップの大きさは、前記学習用第１特徴マップよりも大きく、
前記（ＩＩＩ）プロセスで、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップの大きさを前記学習用第２特徴マップの大きさに合うように大きくし、
前記テスト用第２特徴マップの大きさは、前記テスト用第１特徴マップよりも大きく、
前記（ｃ）段階で、
前記テスト装置は、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップの大きさを前記テスト用第２特徴マップの大きさに合うように大きくすることを特徴とする第１０項に記載の方法。
【請求項１３】
前記（ＩＩＩ）プロセスで、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記学習用第１特徴マップの大きさを前記学習用第２特徴マップの大きさと同じように変更させ、
前記（ｃ）段階で、
前記テスト装置は、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記テスト用第１特徴マップの大きさを前記テスト用第２特徴マップの大きさと同じように変更させることを特徴とする第１２項に記載の方法。
【請求項１４】
前記（ＩＩＩ）プロセスで、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップと前記学習用第２特徴マップとをコンカチネートして、前記学習用第３特徴マップを生成するようにし、
前記（ｃ）段階で、
前記テスト習装置は、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップと前記テスト用第２特徴マップとをコンカチネートして、前記テスト第３特徴マップを生成するようにすることを特徴とする第１０項に記載の方法。
【請求項１５】
前記（ＩＶ）プロセスで、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第４特徴マップがプーリングレイヤ及びＦＣレイヤのうち少なくとも一つを通過させて前記第２ロスを算出し、
前記（ｄ）段階で、
前記テスト装置は、前記第２ＣＮＮモジュールをもって、前記テスト用第４特徴マップがプーリングレイヤ及びＦＣレイヤのうち少なくとも一つを通過させて前記ロス予測値を算出することを特徴とする第１０項に記載の方法。
【請求項１６】
有用な学習データを取捨選別するためのＣＮＮ基盤の学習装置において、
少なくとも一つの入力イメージを獲得するための通信部；及び
（Ｉ）（Ｉ−１）前記入力イメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュールをもって、前記入力イメージに対して少なくとも一度コンボリューション演算を適用するようにして第１特徴マップを生成し、（Ｉ−２）前記第１ＣＮＮモジュールの学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）するための第２ＣＮＮモジュールをもって前記入力イメージに対して少なくとも一度コンボリューション演算を遂行するようにして第２特徴マップを生成するプロセス、（ＩＩ）前記第１ＣＮＮモジュールをもって、前記第１特徴マップを利用して前記特定の物体の前記識別情報や前記位置情報を示す第１出力を生成するようにし、前記第１出力とこれに該当する原本正解イメージとを参照して第１ロスを算出するようにするプロセス、（ＩＩＩ）前記第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記第１特徴マップと前記第２特徴マップの大きさを同一に変更した後、前記第１特徴マップと前記第２特徴マップとを統合して、第３特徴マップを生成するプロセス、（ＩＶ）前記第２ＣＮＮモジュールをもって、前記第３特徴マップに少なくとも一度コンボリューション演算を適用して第４特徴マップを生成し、前記第４特徴マップを利用して前記第１ロスの予測値に該当する第２ロスを算出するようにするプロセス、（Ｖ）前記第１ロスと前記第２ロスとを参照して自動選別機のロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出するプロセス、及び（ＶＩ）前記自動選別機のロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行し、前記第２ＣＮＮモジュールの少なくとも一つのパラメータを最適化するプロセスを遂行するプロセッサ；
を含むことを特徴とする装置。
【請求項１７】
前記（ＶＩ）プロセスで、
前記プロセッサが、前記第１ロスを利用してバックプロパゲーションを遂行して前記第１ＣＮＮモジュールの少なくとも一つのパラメータを最適化するプロセスを遂行することを特徴とする第１６項に記載の装置。
【請求項１８】
前記第１ＣＮＮモジュールは、前記特定の物体の大きさや位置を検出するための物体検出システム（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ｓｙｓｔｅｍ）、前記特定の物体の種類を識別するための分類システム（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）及び前記特定の物体の領域を他の領域と区分するためのセグメンテーションシステム（Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｓｙｓｔｅｍ）のいずれかに含まれ、
前記第２ＣＮＮモジュールは少なくとも一つの特定の入力イメージを自動的に選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）に含まれるものの、前記特定の入力イメージは、前記第１ＣＮＮモジュールに入力される複数の入力イメージの中に含まれ、前記特定の入力のイメージに対応して正確に検出される確率が低い特定の物体各々を含み、
前記第１出力は、前記物体検出システムの出力、前記分類システムの出力及び前記セグメンテーションシステムの出力の一つを示し、
確率が所定の閾値未満であるか否かに対する情報を参照して前記正確に検出される確率が低いかどうかが決定されることを特徴とする第１６項に記載の装置。
【請求項１９】
前記第２特徴マップの大きさは、前記第１特徴マップよりも大きく、
前記（ＩＩＩ）プロセスで、
前記プロセッサは前記第２ＣＮＮモジュールをもって、前記第１特徴マップの大きさを前記第２特徴マップの大きさに合うように大きくすることを特徴とする第１６項に記載の装置。
【請求項２０】
前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記第１特徴マップの大きさを前記第２特徴マップの大きさと同じように変更させることを特徴とする第１９項に記載の装置。
【請求項２１】
前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記第１特徴マップと前記第２特徴マップとをコンカチネートして、前記第３特徴マップを生成するようにすることを特徴とする第１６項に記載の装置。
【請求項２２】
前記（ＩＶ）プロセスで、
前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記第４特徴マップがプーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）及びＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）のうち少なくとも一つを通過させて前記第２ロスを算出することを特徴とする第１６項に記載の装置。
【請求項２３】
前記プーリングレイヤは前記第４特徴マップの高さ及び幅を１にすることを特徴とする第２２項に記載の装置。
【請求項２４】
前記（ＩＶ）プロセスで、
前記プロセッサは、前記自動選別機のロスを最小化する方向でバックプロパゲーションを遂行することを特徴とする第１６項に記載の装置。
【請求項２５】
ＣＮＮを基盤に有用な学習データを取捨選別するためのテスト装置において、
（ｉ）学習装置が、（ｉ−１）トレーニングイメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュールをもって、前記トレーニングイメージに対して少なくとも一度コンボリューション演算を適用するようにして学習用第１特徴マップを生成し、（ｉ−２）前記第１ＣＮＮモジュールの学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）するための第２ＣＮＮモジュールをもって、前記トレーニングイメージに対して少なくとも一度コンボリューション演算を適用するようにして学習用第２特徴マップを生成するプロセス、及び（ｉｉ）前記学習装置が、前記第１ＣＮＮモジュールをもって前記学習用第１特徴マップを利用して前記特定の物体の前記識別情報や前記位置情報を示す学習用第１出力を生成するようにし、前記学習用第１出力とこれに対応する原本正解イメージとを参照して第１ロスを算出するようにするプロセス、（ｉｉｉ）前記学習装置が、前記学習用第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップと前記学習用第２特徴マップの大きさを同一に変更した後、前記学習用第１特徴マップと前記学習用第２特徴マップとを統合して、学習用第３特徴マップを生成するプロセス、（ｉｖ）前記学習装置が、前記第２ＣＮＮモジュールをもって、前記学習用第３特徴マップに少なくとも一度コンボリューション演算を適用して学習用第４特徴マップを生成し、前記学習用第４特徴マップを利用して前記第１ロスの予測値に該当する第２ロスを算出するようにするプロセス、（ｖ）前記学習装置が、前記第１ロスと前記第２ロスとを参照して自動選別機のロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出するプロセス、及び（ｖｉ）前記学習装置が、前記自動選別機のロスを利用してバックプロパゲーションを随行し、前記第２ＣＮＮモジュールの少なくとも一つのパラメータを最適化するプロセスを遂行した状態で、各々のイメージ候補を各々のテストイメージとして獲得するための通信部；及び
（Ｉ）（Ｉ−１）第１ＣＮＮモジュールをもって、前記テストイメージに対して少なくとも一度コンボリューション演算を適用するようにして、テスト用第１特徴マップを生成し、（Ｉ−２）前記第２ＣＮＮモジュールをもって、前記テストイメージに対して少なくとも一度コンボリューション演算を適用するようにしてテスト用第２特徴マップを生成するプロセス；（ＩＩ）前記テスト用第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップと前記テスト用第２特徴マップの大きさを同一に変更した後、前記テスト用第１特徴マップと前記テスト用第２特徴マップとを統合して、テスト用第３特徴マップを生成するプロセス；（ＩＩＩ）前記第２ＣＮＮモジュールをもって、前記テスト用第３特徴マップに少なくとも一度コンボリューション演算を適用してテスト用第４特徴マップを生成し、前記テスト用第４特徴マップを利用してロス予測値を算出するようにするプロセス；及び（ＩＶ）前記入力イメージ候補の中から前記ロス予測値が所定の閾値以上の値を有する少なくとも一つのイメージを前記第１ＣＮＮモジュールの学習プロセスに利用されるトレーニングイメージとして選別するプロセスを遂行するプロセッサ；
を含むことを特徴とする方法。
【請求項２６】
前記第１ＣＮＮモジュールは、前記特定の物体の大きさや位置を検出するための物体検出システム、前記特定の物体の種類を識別するための分類システム及び前記特定の物体の領域を他の領域と区分するためのセグメンテーションシステムのいずれかに含まれ、
前記第２ＣＮＮモジュールは、トレーニングイメージを自動的に選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）に含まれるものの、前記トレーニングイメージは、前記第１ＣＮＮモジュールに入力される複数のトレーニングイメージの中に含まれ、前記特定の物体に対応して正確に検出される確率の低い特定の物体各々を含み、
前記学習用第１出力は、前記物体検出システムの出力、前記分類システムの出力及び前記セグメンテーションシステムの出力の一つを示し、
確率が所定の閾値未満であるか否かに対する情報を参照して前記正確に検出される確率が低いかどうかが決定されることを特徴とする第２５項に記載の装置。
【請求項２７】
前記学習用第２特徴マップの大きさは、前記学習用第１特徴マップよりも大きく、
前記（ｉｉｉ）プロセスで、
前記学習装置は前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップの大きさを前記学習用第２特徴マップの大きさに合うように大きくし、
前記テスト用第２特徴マップの大きさは、前記テスト用第１特徴マップよりも大きく、
前記（ＩＩ）プロセスで、
前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップの大きさを前記テスト用第２特徴マップの大きさに合うように大きくすることを特徴とする第２５項に記載の装置。
【請求項２８】
前記（ｉｉｉ）プロセスで、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記学習用第１特徴マップの大きさを前記学習用第２特徴マップの大きさと同じように変更させ、
前記（ＩＩ）段階で、
前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記テスト用第１特徴マップの大きさを前記テスト用第２特徴マップの大きさと同じように変更させることを特徴とする第２７項に記載の装置。
【請求項２９】
前記（ｉｉｉ）プロセスで、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップと前記学習用第２特徴マップとをコンカチネートして、前記学習用第３特徴マップを生成するようにし、
前記（ＩＩ）プロセスで、
前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップと前記テスト用第２特徴マップとをコンカチネートして、前記テスト第３特徴マップを生成するようにすることを特徴とする第２５項に記載の装置。
【請求項３０】
前記（ｉｖ）プロセスで、
前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第４特徴マップがプーリングレイヤ及びＦＣレイヤのうち少なくとも一つを通過させて前記第２ロスを算出し、
前記（ｃ）プロセスで、
前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記テスト用第４特徴マップがプーリングレイヤ及びＦＣレイヤのうち少なくとも一つを通過させて前記ロス予測値を算出することを特徴とする第２５項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、有用な学習データを取捨選別するためのＣＮＮ基盤の学習方法に関し；より詳しくは、前記有用な学習データを取捨選別するための前記ＣＮＮ基盤の学習方法において、（ａ）学習装置が、少なくとも一つの入力イメージが獲得されれば、（ｉ）前記入力イメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュールをもって、前記入力イメージに対して少なくとも一度コンボリューション演算を適用するようにして第１特徴マップを生成するプロセス、及び（ｉｉ）前記第１ＣＮＮモジュールの学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）し得る第２ＣＮＮモジュールをもって前記入力イメージに対して少なくとも一度コンボリューション演算を適用するようにして第２特徴マップを生成するプロセスを遂行する段階；（ｂ）前記学習装置が、前記第１ＣＮＮモジュールをもって前記第１特徴マップを利用して前記特定の物体の前記識別情報や前記位置情報を示す第１出力を生成するようにし、前記第１出力とこれに該当する原本正解イメージとを参照して第１ロスを算出するようにする段階；（ｃ）前記学習装置が、前記第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記第１特徴マップと前記第２特徴マップの大きさを同一に変更した後、前記第１特徴マップと前記第２特徴マップとを統合して、第３特徴マップを生成する段階；（ｄ）前記学習装置が、前記第２ＣＮＮモジュールをもって、前記第３特徴マップに少なくとも一度コンボリューション演算を適用して第４特徴マップを生成し、前記第４特徴マップを利用して前記第１ロスの予測値に該当する第２ロスを算出するようにする段階；（ｅ）前記学習装置が、前記第１ロスと前記第２ロスとを参照して自動選別機のロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出する段階；及び（ｆ）前記学習装置が、前記自動選別機のロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行し、前記第２ＣＮＮモジュールの少なくとも一つのパラメータを最適化する段階；を含むことを特徴とする方法、学習装置とこれを利用した方法とテスト装置に関する。
【背景技術】
【０００２】
ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）は、モノやデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別できる。このため「機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）」という方法が考案された。多くのデータをコンピュータに入力し、類似したものを分類するようにする技術である。保存されている犬の写真と似たような写真が入力されると、これを犬の写真だとコンピュータが分類するようにしたのである。
【０００３】
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的である。このうち、ディープラーニングは人工神経網の後裔である。
【０００４】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
【０００５】
図１は従来技術でディープＣＮＮを利用し、写真から獲得しようとする多様な出力の例を示す。
【０００６】
分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）は、写真から識別しようとするクラス（Ｃｌａｓｓ）の種類、例えば、図１に示されているように、獲得された物体が人か、羊か、犬かを識別する検出方法であり、検出（Ｄｅｔｅｃｔｉｏｎ）はすべての物体を探し、探した物体をバウンディングボックス（Ｂｏｕｎｄｉｎｇ  Ｂｏｘ）に囲まれた形態で表示する方法であり、セグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）は、写真で特定の物体の領域を他の物体と区分する方法である。最近、ディープラーニング（Ｄｅｅｐ  ｌｅａｒｎｉｎｇ）技術が脚光を浴び、分類、検出、セグメンテーションもディープラーニングを多く利用する傾向にある。
【０００７】
図２はＣＮＮを利用した検出方法を簡略的に示した図面である。
【０００８】
図２を参照すれば、学習装置は、入力イメージの入力を受けて、複数のコンボリューションフィルタ（またはコンボリューションレイヤ）によって入力イメージにコンボリューション演算を数回適用し、少なくとも一つの特徴マップを生成する。次に、学習装置は、特徴マップを検出レイヤ（ｄｅｔｅｃｔｉｏｎ  ｌａｙｅｒ）に通過させ、少なくとも一つのバウンディングボックスを生成させた後、バウンディングボックスをフィルタリングレイヤ（ｆｉｌｔｅｒｉｎｇ  ｌａｙｅｒ）に通過させて最終検出結果を生成する。その後、検出結果とそれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）値とを参照し、獲得されたロス値を利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行するものの、これに対応する原本正解値は、事前に人がアノテーションを付けた値で、検出器（学習装置）をもって検出結果値が原本正解値にますます近付くように学習される。
【０００９】
この際、学習された検出器の性能は、学習用データベースの大きさにある程度比例し得る。
【００１０】
一方で、従来の技術によって、学習用イメージデータベースを作成する際には、図３に示したように、イメージデータベース内のトレーニングイメージ各々に人が一つ一つ原本正解ボックスを描いたり、クラスに対するアノテーションを付けて原本正解イメージを生成する。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、学習用イメージデータベースに含まれるトレーニングイメージの個数が学習装置（例えば、前記検出器）の性能と正比例しない問題点が存在する。なぜなら、検出器が正確に検出する確率の低い物体を少なくとも一つ含むトレーニングイメージが多い場合にのみ学習プロセスが効果的に行われるからである。一般的に、学習プロセス中に検出器の性能が良くなればなるほど、追加的にトレーニングイメージを用いて検出器の性能を改善することが難しくなる。
【００１２】
例えば、検出器の性能が学習プロセスによって９５％になったとしたら、学習用イメージデータベースに１万枚のイメージがある場合、検出器の性能改善に寄与する有用なイメージはたったの５％で、１万枚のイメージのうち５００枚だけである。これに学習用データベース内のトレーニングイメージの数を１０倍に増やす場合、９万枚のイメージに対して人が一つ一つ原本正解イメージを手作業で生成しなければならないため、かなりのデータベース構築費用がかかるが、検出器の性能を向上させるのに有用なデータはたったの４，５００枚増加するだけである。また、有用なイメージ４，５００枚を利用する学習プロセスによって検出器の性能が９８％まで上がると、検出器の性能を向上させるために必要なデータベース構築費用はさらに大きくなる。この場合、有用なイメージ４，５００枚を追加で確保するためには、原本正解イメージは２００万枚以上準備しなければならない。
【００１３】
本発明は、前述した問題点を全て解決することを目的とする。
【００１４】
また、本発明は、ＣＮＮ基盤学習装置の弱点を分析し、前記学習装置の性能向上に必要な適切な学習データを自動的に選択できる方法を提供することを他の目的とする。
【００１５】
また、本発明は、前記学習装置の性能向上に利用される学習用データベースの構築費用を削減することをまた他の目的とする。
【課題を解決するための手段】
【００１６】
本発明の一態様によれば、有用な学習データを取捨選別するためのＣＮＮ基盤の学習方法において、（ａ）学習装置が、少なくとも一つの入力イメージが獲得されれば、（ｉ）前記入力イメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュールをもって、前記入力イメージに対して少なくとも一度コンボリューション演算を適用するようにして第１特徴マップを生成するプロセス、及び（ｉｉ）前記第１ＣＮＮモジュールの学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）し得る第２ＣＮＮモジュールをもって前記入力イメージに対して少なくとも一度コンボリューション演算を適用するようにして第２特徴マップを生成するプロセスを遂行する段階；（ｂ）前記学習装置が、前記第１ＣＮＮモジュールをもって、前記第１特徴マップを利用して前記特定の物体の前記識別情報や前記位置情報を示す第１出力を生成するようにし、前記第１出力とこれに該当する原本正解イメージとを参照して第１ロスを算出するようにする段階；（ｃ）前記学習装置が、前記第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記第１特徴マップと前記第２特徴マップの大きさを同一に変更した後、前記第１特徴マップと前記第２特徴マップとを統合して、第３特徴マップを生成する段階；（ｄ）前記学習装置が、前記第２ＣＮＮモジュールをもって、前記第３特徴マップに少なくとも一度コンボリューション演算を適用して第４特徴マップを生成し、前記第４特徴マップを利用して前記第１ロスの予測値に該当する第２ロスを算出するようにする段階；（ｅ）前記学習装置が、前記第１ロスと前記第２ロスとを参照して自動選別機のロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出する段階；及び（ｆ）前記学習装置が、前記自動選別機のロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行し、前記第２ＣＮＮモジュールの少なくとも一つのパラメータを最適化する段階；を含むことを特徴とする。
【００１７】
一例として、前記（ｆ）段階で、前記学習装置が、前記第１ロスを利用してバックプロパゲーションを遂行して前記第１ＣＮＮモジュールの少なくとも一つのパラメータを最適化することを特徴とする。
【００１８】
一例として、前記第１ＣＮＮモジュールは、前記特定の物体の大きさや位置を検出するための物体検出システム（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ｓｙｓｔｅｍ）、前記特定の物体の種類を識別するための分類システム（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）及び前記特定の物体の領域を他の領域と区分するためのセグメンテーションシステム（Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｓｙｓｔｅｍ）のいずれかに含まれ、前記第２ＣＮＮモジュールは少なくとも一つの特定の入力イメージを自動的に選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）に含まれるものの、前記特定の入力イメージは、前記第１ＣＮＮモジュールに入力される複数の入力イメージの中に含まれ、前記特定の入力のイメージに対応して正確に検出される確率の低い特定の物体各々を含み、前記第１出力は、前記物体検出システムの出力、前記分類システムの出力及び前記セグメンテーションシステムの出力の一つを示し、確率が所定の閾値未満であるか否かに対する情報を参照して前記正確に検出される確率が低いかどうかが決定されることを特徴とする。
【００１９】
一例として、前記第２特徴マップの大きさは、前記第１特徴マップよりも大きく、前記（ｃ）段階で、前記学習装置は前記第２ＣＮＮモジュールをもって、前記第１特徴マップの大きさを前記第２特徴マップの大きさに合うように大きくすることを特徴とする。
【００２０】
一例として、前記（ｃ）段階で、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記第１特徴マップの大きさを前記第２特徴マップの大きさと同じように変更させることを特徴とする。
【００２１】
一例として、前記（ｃ）段階で、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記第１特徴マップと前記第２特徴マップとをコンカチネートして、前記第３特徴マップを生成するようにすることを特徴とする。
【００２２】
一例として、前記（ｄ）段階で、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記第４特徴マップがプーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）及びＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）のうち少なくとも一つを通過させて前記第２ロスを算出することを特徴とする。
【００２３】
一例として、前記プーリングレイヤは前記第４特徴マップの高さ及び幅を１にすることを特徴とする。
【００２４】
一例として、前記（ｆ）段階で、前記学習装置は、前記自動選別機のロスを最小化する方向でバックプロパゲーションを遂行することを特徴とする。
【００２５】
本発明の他の態様によれば、ＣＮＮ基盤で有用な学習データを取捨選別するための方法において、（ａ）（Ｉ）学習装置が、（ｉ）トレーニングイメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュールをもって、前記トレーニングイメージに対して少なくとも一度コンボリューション演算を適用するようにして学習用第１特徴マップを生成し、（ｉｉ）前記第１ＣＮＮモジュールの学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）するための第２ＣＮＮモジュールをもって、前記トレーニングイメージに対して少なくとも一度コンボリューション演算を適用するようにして学習用第２特徴マップを生成するプロセス、（ＩＩ）前記学習装置が、前記第１ＣＮＮモジュールをもって前記学習用第１特徴マップを利用して前記特定の物体の前記識別情報や前記位置情報を示す学習用第１出力を生成するようにし、前記学習用第１出力とこれに対応する原本正解イメージとを参照して第１ロスを算出するようにするプロセス、（ＩＩＩ）前記学習装置が、前記学習用第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップと前記学習用第２特徴マップの大きさを同一に変更した後、前記学習用第１特徴マップと前記学習用第２特徴マップとを統合して、学習用第３特徴マップを生成するプロセス、（ＩＶ）前記学習装置が、前記第２ＣＮＮモジュールをもって、前記学習用第３特徴マップに少なくとも一度コンボリューション演算を適用して学習用第４特徴マップを生成し、前記学習用第４特徴マップを利用して前記第１ロスの予測値に該当する第２ロスを算出するようにするプロセス、（Ｖ）前記学習装置が、前記第１ロスと前記第２ロスとを参照して自動選別機のロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出するプロセス、及び（ＶＩ）前記学習装置が、前記自動選別機のロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行し、前記第２ＣＮＮモジュールの少なくとも一つのパラメータを最適化するプロセスを遂行した状態で、テスト装置が、各々のイメージ候補を各々のテストイメージとして獲得する段階；（ｂ）前記テスト装置が、（ｉ）前記第１ＣＮＮモジュールをもって、前記テストイメージに対してコンボリューション演算を少なくとも一度適用するようにして、テスト用第１特徴マップを生成するプロセス、及び（ｉｉ）前記第２ＣＮＮモジュールをもって、前記テストイメージに対して少なくとも一度コンボリューション演算を適用するようにしてテスト用第２特徴マップを生成するプロセスを遂行する段階；（ｃ）前記テスト装置が、前記テスト用第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップと前記テスト用第２特徴マップの大きさを同一に変更した後、前記テスト用第１特徴マップと前記テスト用第２特徴マップとを統合して、テスト用第３特徴マップを生成する段階；（ｄ）前記テスト装置が、前記第２ＣＮＮモジュールをもって、前記テスト用第３特徴マップに少なくとも一度コンボリューション演算を適用してテスト用第４特徴マップを生成���、前記テスト用第４特徴マップを利用して前記ロス予測値を算出するようにする段階；及び（ｅ）前記テスト装置が、前記入力イメージ候補の中から前記ロス予測値が所定の閾値以上の値を有する少なくとも一つのイメージを前記第１ＣＮＮモジュールの学習プロセスに利用されるトレーニングイメージとして選別する段階；を含むことを特徴とする。
【００２６】
一例として、前記第１ＣＮＮモジュールは、前記特定の物体の大きさや位置を検出するための物体検出システム、前記特定の物体の種類を識別するための分類システム及び前記特定の物体の領域を他の領域と区分するためのセグメンテーションシステムのいずれかに含まれ、前記第２ＣＮＮモジュールは、トレーニングイメージを自動的に選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）に含まれるものの、前記トレーニングイメージは、前記第１ＣＮＮモジュールに入力される複数のトレーニングイメージの中に含まれ、前記特定の物体に対応して正確に検出される確率の低い特定の物体各々を含み、前記学習用第１出力は、前記物体検出システムの出力、前記分類システムの出力及び前記セグメンテーションシステムの出力の一つを示し、確率が所定の閾値未満であるか否かに対する情報を参照して前記正確に検出される確率が低いかどうかが決定されることを特徴とする。
【００２７】
一例として、前記学習用第２特徴マップの大きさは、前記学習用第１特徴マップよりも大きく、前記（ＩＩＩ）プロセスで、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップの大きさを前記学習用第２特徴マップの大きさに合うように大きくし、前記テスト用第２特徴マップの大きさは、前記テスト用第１特徴マップよりも大きく、前記（ｃ）段階で、前記テスト装置は、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップの大きさを前記テスト用第２特徴マップの大きさに合うように大きくすることを特徴とする。
【００２８】
一例として、前記（ＩＩＩ）プロセスで、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記学習用第１特徴マップの大きさを前記学習用第２特徴マップの大きさと同じように変更させ、前記（ｃ）段階で、前記テスト装置は、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記テスト用第１特徴マップの大きさを前記テスト用第２特徴マップの大きさと同じように変更させることを特徴とする。
【００２９】
一例として、前記（ＩＩＩ）プロセスで、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップと前記学習用第２特徴マップとをコンカチネートして、前記学習用第３特徴マップを生成するようにし、前記（ｃ）段階で、前記テスト習装置は、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップと前記テスト用第２特徴マップとをコンカチネートして、前記テスト第３特徴マップを生成するようにすることを特徴とする。
【００３０】
一例として、前記（ＩＶ）プロセスで、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第４特徴マップがプーリングレイヤ及びＦＣレイヤのうち少なくとも一つを通過させて前記第２ロスを算出し、前記（ｄ）段階で、前記テスト装置は、前記第２ＣＮＮモジュールをもって、前記テスト用第４特徴マップがプーリングレイヤ及びＦＣレイヤのうち少なくとも一つを通過させて前記ロス予測値を算出することを特徴とする。
【００３１】
本発明のまた他の態様によれば、有用な学習データを取捨選別するためのＣＮＮ基盤の学習装置において、少なくとも一つの入力イメージを獲得するための通信部；及び（Ｉ）（Ｉ−１）前記入力イメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュールをもって、前記入力イメージに対して少なくとも一度コンボリューション演算を適用するようにして第１特徴マップを生成し、（Ｉ−２）前記第１ＣＮＮモジュールの学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）するための第２ＣＮＮモジュールをもって前記入力イメージに対して少なくとも一度コンボリューション演算を遂行するようにして第２特徴マップを生成するプロセス、（ＩＩ）前記第１ＣＮＮモジュールをもって、前記第１特徴マップを利用して前記特定の物体の前記識別情報や前記位置情報を示す第１出力を生成するようにし、前記第１出力とこれに該当する原本正解イメージとを参照して第１ロスを算出するようにするプロセス、（ＩＩＩ）前記第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記第１特徴マップと前記第２特徴マップの大きさを同一に変更した後、前記第１特徴マップと前記第２特徴マップとを統合して、第３特徴マップを生成するプロセス、（ＩＶ）前記第２ＣＮＮモジュールをもって、前記第３特徴マップに少なくとも一度コンボリューション演算を適用して第４特徴マップを生成し、前記第４特徴マップを利用して前記第１ロスの予測値に該当する第２ロスを算出するようにするプロセス、（Ｖ）前記第１ロスと前記第２ロスとを参照して自動選別機のロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出するプロセス、及び（ＶＩ）前記自動選別機のロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を随行し、前記第２ＣＮＮモジュールの少なくとも一つのパラメータを最適化するプロセスを遂行するプロセッサ；を含むことを特徴とする。
【００３２】
一例として、前記（ＶＩ）プロセスで、前記プロセッサが、前記第１ロスを利用してバックプロパゲーションを遂行して前記第１ＣＮＮモジュールの少なくとも一つのパラメータを最適化するプロセスを遂行することを特徴とする。
【００３３】
一例として、前記第１ＣＮＮモジュールは、前記特定の物体の大きさや位置を検出するための物体検出システム（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ｓｙｓｔｅｍ）、前記特定の物体の種類を識別するための分類システム（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）及び前記特定の物体の領域を他の領域と区分するためのセグメンテーションシステム（Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｓｙｓｔｅｍ）のいずれかに含まれ、前記第２ＣＮＮモジュールは少なくとも一つの特定の入力イメージを自動的に選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）に含まれるものの、前記特定の入力イメージは、前記第１ＣＮＮモジュールに入力される複数の入力イメージの中に含まれ、前記特定の入力のイメージに対応して正確に検出される確率が低い特定の物体各々を含み、前記第１出力は、前記物体検出システムの出力、前記分類システムの出力及び前記セグメンテーションシステムの出力の一つを示し、確率が所定の閾値未満であるか否かに対する情報を参照して前記正確に検出される確率が低いかどうかが決定されることを特徴とする。
【００３４】
一例として、前記第２特徴マップの大きさは、前記第１特徴マップよりも大きく、前記（ＩＩＩ）プロセスで、前記学習装置は前記第２ＣＮＮモジュールをもって、前記第１特徴マップの大きさを前記第２特徴マップの大きさに合うように大きくすることを特徴とする。
【００３５】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記第１特徴マップの大きさを前記第２特徴マップの大きさと同じように変更させることを特徴とする。
【００３６】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記第１特徴マップと前記第２特徴マップとをコンカチネートして、前記第３特徴マップを生成するようにすることを特徴とする。
【００３７】
一例として、前記（ＩＶ）プロセスで、前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記第４特徴マップがプーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）及びＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）のうち少なくとも一つを通過させて前記第２ロスを算出することを特徴とする。
【００３８】
一例として、前記プーリングレイヤは前記第４特徴マップの高さ及び幅を１にすることを特徴とする。
【００３９】
一例として、前記（ＩＶ）プロセスで、前記プロセッサは、前記自動選別機のロスを最小化する方向でバックプロパゲーションを遂行することを特徴とする。
【００４０】
本発明のさらに他の態様によれば、ＣＮＮ基盤で有用な学習データを取捨選別するためのテスト装置において、（ｉ）学習装置が、（ｉ−１）トレーニングイメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュールをもって、前記トレーニングイメージに対して少なくとも一度コンボリューション演算を適用するようにして学習用第１特徴マップを生成し、（ｉ−２）前記第１ＣＮＮモジュールの学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）するための第２ＣＮＮモジュールをもって、前記トレーニングイメージに対して少なくとも一度コンボリューション演算を適用するようにして学習用第２特徴マップを生成するプロセス、及び（ｉｉ）前記学習装置が、前記第１ＣＮＮモジュールをもって前記学習用第１特徴マップを利用して前記特定の物体の前記識別情報や前記位置情報を示す学習用第１出力を生成するようにし、前記学習用第１出力とこれに対応する原本正解イメージとを参照して第１ロスを算出するようにするプロセス、（ｉｉｉ）前記学習装置が、前記学習用第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップと前記学習用第２特徴マップの大きさを同一に変更した後、前記学習用第１特徴マップと前記学習用第２特徴マップとを統合して、学習用第３特徴マップを生成するプロセス、（ｉｖ）前記学習装置が、前記第２ＣＮＮモジュールをもって、前記学習用第３特徴マップに少なくとも一度コンボリューション演算を適用して学習用第４特徴マップを生成し、前記学習用第４特徴マップを利用して前記第１ロスの予測値に該当する第２ロスを算出するようにするプロセス、（ｖ）前記学習装置が、前記第１ロスと前記第２ロスとを参照して自動選別機のロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出するプロセス、及び（ｖｉ）前記学習装置が、前記自動選別機のロスを利用してバックプロパゲーションを随行し、前記第２ＣＮＮモジュールの少なくとも一つのパラメータを最適化するプロセスを遂行した状態で、各々のイメージ候補を各々のテストイメージとして獲得するための通信部；及び（Ｉ）（Ｉ−１）第１ＣＮＮモジュールをもって、前記テストイメージに対して少なくとも一度コンボリューション演算を適用するようにして、テスト用第１特徴マップを生成し、（Ｉ−２）前記第２ＣＮＮモジュールをもって、前記テストイメージに対して少なくとも一度コンボリューション演算を適用するようにしてテスト用第２特徴マップを生成するプロセス；（ＩＩ）前記テスト用第１特徴マップを前記第２ＣＮＮモジュールに入力して、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップと前記テスト用第２特徴マップの大きさを同一に変更した後、前記テスト用第１特徴マップと前記テスト用第２特徴マップとを統合して、テスト用第３特徴マップを生成するプロセス；（ＩＩＩ）前記第２ＣＮＮモジュールをもって、前記テスト用第３特徴マップに少なくとも一度コンボリューション演算を適用してテスト用第４特徴マップを生成し、前記テスト用第４特徴マップを利用してロス予測値を算出するようにするプロセス；及び（ＩＶ���前記入力イメージ候補の中から前記ロス予測値が所定の閾値以上の値を有する少なくとも一つのイメージを前記第１ＣＮＮモジュールの学習プロセスに利用されるトレーニングイメージとして選別するプロセスを遂行するプロセッサ；を含むことを特徴とする。
【００４１】
一例として、前記第１ＣＮＮモジュールは、前記特定の物体の大きさや位置を検出するための物体検出システム、前記特定の物体の種類を識別するための分類システム及び前記特定の物体の領域を他の領域と区分するためのセグメンテーションシステムのいずれかに含まれ、前記第２ＣＮＮモジュールは、トレーニングイメージを自動的に選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）に含まれるものの、前記トレーニングイメージは、前記第１ＣＮＮモジュールに入力される複数のトレーニングイメージの中に含まれ、前記特定の物体に対応して正確に検出される確率の低い特定の物体各々を含み、前記学習用第１出力は、前記物体検出システムの出力、前記分類システムの出力及び前記セグメンテーションシステムの出力の一つを示し、確率が所定の閾値未満であるか否かに対する情報を参照して前記正確に検出される確率が低いかどうかが決定されることを特徴とする。
【００４２】
一例として、前記学習用第２特徴マップの大きさは、前記学習用第１特徴マップよりも大きく、前記（ｉｉｉ）プロセスで、前記学習装置は前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップの大きさを前記学習用第２特徴マップの大きさに合うように大きくし、前記テスト用第２特徴マップの大きさは、前記テスト用第１特徴マップよりも大きく、前記（ＩＩ）プロセスで、前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップの大きさを前記テスト用第２特徴マップの大きさに合うように大きくすることを特徴とする。
【００４３】
一例として、前記（ｉｉｉ）プロセスで、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記学習用第１特徴マップの大きさを前記学習用第２特徴マップの大きさと同じように変更させ、前記（ＩＩ）段階で、前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップに所定回数のコンボリューション演算を適用するようにして、前記テスト用第１特徴マップの大きさを前記テスト用第２特徴マップの大きさと同じように変更させることを特徴とする。
【００４４】
一例として、前記（ｉｉｉ）プロセスで、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第１特徴マップと前記学習用第２特徴マップとをコンカチネートして、前記学習用第３特徴マップを生成するようにし、前記（ＩＩ）プロセスで、前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記テスト用第１特徴マップと前記テスト用第２特徴マップとをコンカチネートして、前記テスト第３特徴マップを生成するようにすることを特徴とする。
【００４５】
一例として、前記（ｉｖ）プロセスで、前記学習装置は、前記第２ＣＮＮモジュールをもって、前記学習用第４特徴マップがプーリングレイヤ及びＦＣレイヤのうち少なくとも一つを通過させて前記第２ロスを算出し、前記（ｃ）プロセスで、前記プロセッサは、前記第２ＣＮＮモジュールをもって、前記テスト用第４特徴マップがプーリングレイヤ及びＦＣレイヤのうち少なくとも一つを通過させて前記ロス予測値を算出することを特徴とする。
【発明の効果】
【００４６】
本発明は、学習装置の弱点を予め予測し、前記弱点を補える有用なトレーニングイメージを選別し得る効果がある。
【００４７】
また、本発明は、少ない費用で効果的で有用な学習用イメージデータベースを構築し得る他の効果がある。
【００４８】
また、本発明は、実際に有用な学習用イメージデータを選別して前記学習装置の性能を容易に向上し得る他の効果がある。
【００４９】
また、本発明は、すでにアノテーションされたデータベースが利用される際、自動選別システム（ａｕｔｏ−ｓｃｒｅｅｎｉｎｇ  ｓｙｓｔｅｍ）が検出器の性能向上に役立たない９５％のデータを排除できるので、学習時間と学習費用（電気料金など）を大幅に削減し得る他の効果がある。
【図面の簡単な説明】
【００５０】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例の中の一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業がなされることなくこれらの図面に基づいて他の図面が得られ得る。
【図１】図１は、従来の技術による、ＣＮＮによってイメージから獲得された多様な出力の例を示す図面である。
【図２】図２は、従来の技術によってＣＮＮを利用した検出方法を簡略的に示す図面である。
【図３】図３は、従来の技術によって学習用イメージデータベースを構築する方法を簡略的に示す図面である。
【図４】図４は、本発明に係る学習データに利用される有用なイメージを選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）を学習する方法を示す図面である。
【図５】図５は、本発明に係る前記自動選別システムによって実行される具体的な演算過程を示す図面である。
【図６】図６は、本発明に係る前記自動選別システムによって学習用イメージデータベースを構築する方法を示す図面である。
【発明を実施するための形態】
【００５１】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の各技術的特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者に本発明の他の各目的、長所及び各特性が、一部は本明細書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
【００５２】
本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００５３】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得り、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得り、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００５４】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００５５】
図４は、本発明に係る有用な学習用イメージを選別するための自動選別システム（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ  Ｓｙｓｔｅｍ）を学習する方法を示した図面であり、図５は、本発明に係る前記自動選別システムによって遂行される特定の演算過程を示した図面である。
【００５６】
図４及び図５を参照して、本発明に係る有用な学習データを取捨選別するためのＣＮＮ基盤学習方法を説明すると次のとおりである。
【００５７】
前記学習装置４００は、入力イメージ内の特定の物体の識別情報や位置情報を獲得するための第１ＣＮＮモジュール４１０及び前記第１ＣＮＮモジュール４１０の学習プロセスに利用される有用な学習データを自動選別（Ａｕｔｏ−Ｓｃｒｅｅｎｉｎｇ）するための第２ＣＮＮモジュール４２０を含む。ここで、前記第１ＣＮＮモジュール４１０は、実際のイメージから物体を検出する能力を向上させるための実際の学習対象となるモジュールであり、前記第２ＣＮＮモジュール４２０は、前記第１ＣＮＮモジュール４１０を学習するのに利用される有用なトレーニングイメージを自動的に選別する。前記第２ＣＮＮモジュール４２０は、自動選別システム（ａｕｔｏ−ｓｃｒｅｅｎｉｎｇ  ｓｙｓｔｅｍ）と呼ばれ得る。
【００５８】
本発明の一例で、前記第１ＣＮＮモジュール４１０は、特定の物体の大きさや位置を検出するための物体検出システム（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ｓｙｓｔｅｍ）、前記特定の物体の種類を識別するための分類システム（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）及び前記特定の物体の領域を他の領域と区分するためのセグメンテーションシステム（Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｓｙｓｔｅｍ）のいずれかに含まれる。図４及び図５では、前記物体検出システムを例として挙げた。前記第２ＣＮＮモジュール４２０は、正確に検出される確率が低い少なくとも一つの物体を含む入力イメージを自動で選別するための前記自動検出システムである。確率が所定の閾値未満であるか否かに対する情報を参照にし、入力イメージが正確に検出される確率が低いかどうかが決定される。
【００５９】
つまり、本発明では、前記第１ＣＮＮモジュール４１０の前記学習プロセスを遂行する前に、まず前記第２ＣＮＮモジュール４２０の前記学習プロセスによってすべてのトレーニングイメージ候補の中から前記第１ＣＮＮモジュール４１０の前記学習プロセスに利用される有用なイメージを選別できるように前記第２ＣＮＮモジュール４２０の少なくとも一つのパラメータを最適化する。その後、前記第２ＣＮＮモジュール４２０の前記パラメータが最適化されれば、図６のテスト装置６００は、前記最適化された第２ＣＮＮモジュール４２０と前記第１ＣＮＮモジュール４１０とを利用して前記第１ＣＮＮモジュール４１０の前記学習プロセスに利用される有用なデータを選択する。この際、前記トレーニングイメージ候補にはこれに該当する原本正解イメージがない。前記トレーニングイメージ候補の中から前記有用なイメージを選択後、前記第１ＣＮＮモジュール４１０の前記学習プロセスに利用される前記有用なイメージに対してのみ原本正解イメージが生成される。つまり、前記有用なイメージに対してのみ少なくとも１人の人が直接前記原本正解イメージを生成し、学習用イメージデータベースを構築する。すると、前記学習用イメージデータベース内に保存された前記有用なイメージを利用して前記第１ＣＮＮモジュール４１０、つまりＣＮＮ検出器の前記学習プロセスが遂行される。
【００６０】
前記学習装置４００の前記学習プロセスが遂行されている間、前記第２ＣＮＮモジュール４２０だけの前記学習プロセスを遂行することもでき、前記第２ＣＮＮモジュール４２０と前記第１ＣＮＮモジュール４１０の前記学習プロセスを同時進行することもできる。前記第２ＣＮＮモジュール４２０の前記学習プロセスが完了した後に、（ｉ）前記第１ＣＮＮモジュールの前記学習プロセスに利用される有用なイメージが選別され、（ｉｉ）前記選別された有用なイメージで前記イメージデータベースが構築され、（ｉｉｉ）前記構築されたイメージデータベースを利用して前記第１ＣＮＮモジュールの前記学習プロセスが遂行される。
【００６１】
前記第２ＣＮＮモジュール４２０は、現在前記学習プロセスを遂行する前記第１ＣＮＮモジュールの弱点を予測する機能を果たす。つまり、前記第２ＣＮＮモジュール４２０は、前記原本正解イメージ生成作業をしていない前記トレーニングイメージ候補の中から前記第１ＣＮＮモジュール４１０の前記弱点を補うのに適した写真を予測する機能を果たす。例えば、前記検出器（前記第１ＣＮＮモジュール４１０）の性能が９５％で、前記原本正解イメージ生成作業がされていない写真が９万枚あれば、前記第２ＣＮＮモジュール４２０の性能（前記第２ＣＮＮモジュール４２０が、前記トレーニングイメージ候補各々が有用なイメージであるかを正しく判断する確率）が５０％程度だとしても、９，０００枚に対してアノテーション作業（原本正解イメージ生成作業）をして、前記学習用イメージデータベースが構築されれば、前記９，０００枚の写真の中から４，５００枚は前記第１ＣＮＮモジュール４１０の前記学習プロセスに利用される前記有用なイメージになる。つまり、この場合、従来の方法で前記有用な写真４，５００枚を含む前記イメージデータベースを構築するためには、少なくとも１人の人が９万枚の写真に前記アノテーションする必要があったが、本発明に係る前記第２ＣＮＮモジュール４２０を利用すれば、前記９，０００枚だけ前記アノテーションしても前記４，５００個の有用な写真を含む前記イメージデータベースを構築し得るようになる。つまり、原本正解イメージ生成費用（前記イメージデータベース構築費用）が１／１０に減少する。また、既にアノテーションされたデータベースが提供される場合も、前記自動選別システムを利用できる。この場合、前記自動選別システムが前記検出器の性能向上に役立たない全体９５％のデータ（前記すべてのトレーニングイメージ候補の９５％）を学習から排除できるため、前記学習時間と前記学習費用（電気料金など）を大幅に削減し得る。
【００６２】
次に、図４を参照して前記学習プロセスについて説明すると、まず、前記自動選別システム（ａｕｔｏ−ｓｃｒｅｅｎｉｎｇ  ｓｙｓｔｅｍ；前記第２ＣＮＮモジュール４２０）を学習するために、少なくとも一つの有用なイメージに対して原本正解イメージが存在する前記イメージデータベースから前記イメージを任意に選択して前記学習装置４００に入れる。詳細には、入力イメージ（前記有用なトレーニングイメージ中の一つ）は、前記第１ＣＮＮモジュール４１０及び前記第２ＣＮＮモジュール４２０へ各々入力される。前記第１ＣＮＮモジュール４１０が、図４に示された例のような前記検出器なら、前記第１ＣＮＮモジュール４１０は、前記入力イメージに少なくとも一度所定のコンボリューション演算を適用して第１特徴マップを生成する。前記特徴マップは、イメージ検出のために前記第１ＣＮＮモジュール４１０で少なくとも一度のコンボリューション演算または少なくとも一度のＲｅＬＵなどの非線形演算などの過程によって生成される。例えば、図５の例で、前記学習装置４００に入力された前記入力イメージが３×ｈ×ｗ（ここで３は、前記イメージのチャネル数、ｈは、前記イメージの高さ、ｗは、前記イメージの幅を意味する）の大きさを有する場合、前記第１特徴マップは、ｃ×（ｈ／１６）×（ｗ／１６）の前記大きさになり、高さ及び前記幅が１／１６に減少し、チャネル数はｃチャネルに増加し得る。
【００６３】
また、前記第１ＣＮＮモジュール４１０は、前記第１特徴マップを基にデコンボリューション演算またはＦＣ演算によって、特定の物体の識別情報や位置情報を示す第１出力値を算出する。この際、前記第１出力値は、物体検出値、分類値及びセグメンテーション値のうちのいずれかの値になり得るが、本発明では、前記物体検出値であるとして例を挙げた。
【００６４】
そして、前記第１ＣＮＮモジュール４１０は、前記第１出力値と、これに対応する原本正解値とを参照して、第１ロス（実際ロス（ｅｔｒｕｅ））を算出する。例えば、前記第１ロスは、前記第１ＣＮＮモジュール４１０が検出した特定の物体の前記結果（前記第１出力値）と前記原本正解値とを参照にして算出される。
【００６５】
一方、前記第２ＣＮＮモジュール４２０は、前記第１ＣＮＮモジュール４１０に入力される前記入力イメージに対して少なくとも一度所定のコンボリューション演算を適用して第２特徴マップを生成する。前記第２ＣＮＮモジュール４２０に入力される前記入力イメージは、前記第１ＣＮＮモジュール４１０に入力される前記入力イメージと同一のイメージである。前記第２ＣＮＮモジュール４２０が随行する前記コンボリューション演算過程は、前記第１ＣＮＮモジュール４１０が随行する前記コンボリューション演算過程と類似し得るが、コンボリューションレイヤ各々やその他の演算レイヤのパラメータは相異し得る。図５の例で、前記学習装置４００に入力された前記入力イメージが３×ｈ×ｗの大きさを有する場合、前記第２特徴マップはｃ１×（ｈ／８）×（ｗ／８）の大きさになり、前記高さ及び前記幅は１／８に減少し、チャネルはｃ１チャネルに増加し得る。
【００６６】
その後、前記第２ＣＮＮモジュール４２０は、前記第１ＣＮＮモジュール４１０で生成された前記第１特徴マップと前記第２ＣＮＮモジュール４２０で生成された前記第２特徴マップとを統合する。図５の例で、前記第１特徴マップの大きさがｃ×（ｈ／１６）×（ｗ／１６）であり、前記第２特徴マップの大きさがｃ１×（ｈ／８）×（ｗ／８）なので、前記第１特徴マップの大きさを前記第２特徴マップの大きさと同一に変換した後、前記大きさの変更された第１特徴マップは、前記第２特徴マップと同じ大きさに変換された後、前記大きさの変更された第１特徴マップは前記第２特徴マップと統合され、第３特徴マップを生成する。この場合、前記第２特徴マップの大きさが前記第１特徴マップの大きさよりも大きいため、前記学習装置４００は、前記第２ＣＮＮモジュール４２０をもって前記第１特徴マップの大きさ（（ｈ／１６）×（ｗ／１６））を、前記第２特徴マップの大きさ（ｈ／８）×（ｗ／８））に拡大する。この際、前記学習装置４００は、前記第２ＣＮＮモジュール４２０をもって前記第１特徴マップに所定回数のコンボリューション演算（またはデコンボリューション演算）を適用するようにして、前記第１特徴マップの大きさを変更する。図５の例で、前記第２ＣＮＮモジュール４２０に入力されたｃ×（ｈ／１６）×（ｗ／１６）の大きさを有する前記第１特徴マップが所定のコンボリューション演算によってｃ２×（ｈ／８）×（ｗ／８）に変更された様子を示した。そして、前記第２ＣＮＮモジュール４２０は、前記大きさの変更された第１特徴マップと前記第２特徴マップとをコンカチネートして前記第３特徴マップを生成する。前記第３特徴マップのチャネル数は（ｃ１＋ｃ２）になり、前記高さはｈ／８、前記幅はｗ／８になる。
【００６７】
その後、前記第２ＣＮＮモジュール４２０は、前記第３特徴マップに少なくとも一度所定のコンボリューション演算を適用して第４特徴マップを生成し、前記第４特徴マップに少なくとも一度演算を適用して前記第１ロスの予測値に対応される第２ロス（検出器ロス予測値（ｅｐｒｅｄ））を生成する。例えば、図５に示されているように、（ｃ１＋ｃ２）×（ｈ／８）×（ｗ／８）の大きさを有する前記第３特徴マップに対して前記コンボリューション演算を適用してｃ３×（ｈ／８）×（ｗ／８）の大きさを有する前記第４特徴マップが生成され、ここに平均プーリング演算（Ａｖｅｒａｇｅ  Ｐｏｏｌｉｎｇ  Ｏｐｅｒａｔｉｏｎ）を経て、ｃ３×１×１の大きさを有する特定の特徴マップが生成された後、前記特定の特徴マップを前記ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）ネットワークに２度通過させて前記第２ロス（検出器の前記ロス予測値（ｅｐｒｅｄ））が生成される。
【００６８】
それから図４を参照すれば、前記学習装置４００は、前記第１ロス前記実際ロス（ｅｔｒｕｅ）と前記第２ロス（検出器の前記ロス予測値（ｅｐｒｅｄ））とを比較して、自動選別機ロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を算出する。前記自動選別機ロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）は（ｅｔｒｕｅ−  ｅｐｒｅｄ）２から求められる。
【００６９】
前記学習装置４００は、前記計算された自動選別機ロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）を利用してバックプロパゲーションを遂行して前記第２ＣＮＮモジュール４２０の前記パラメータを最適化する。この際、前記学習装置４００は、前記第１ＣＮＮモジュール４１０で算出した前記第１ロスを利用してバックプロパゲーションを遂行して前記第１ＣＮＮモジュール４１０の前記パラメータを最適化し得る。
【００７０】
前述のとおり、前記自動選別機ロス（Ａｕｔｏ−Ｓｃｒｅｅｎｅｒ’ｓ  Ｌｏｓｓ）は、（ｉ）前記入力イメージと前記原本正解値内の前記特定の物体を検出した結果とを参照して算出された前記第１ロスと（ｉｉ）前記第１ロスに対応される前記第２ロスの間の前記差異とを参照して算出されるため、前記学習装置４００が、前記自動選別機ロスを最小化する方向へ前記バックプロパゲーションを遂行すれば、前記第２ロスが前記第１ロスと類似した値を出力するように第２ＣＮＮモジュール４２０が学習される。そうすると、前記第２ＣＮＮモジュール４２０で出力された前記第２ロスは前記第１ロスを正確に予測していると言える。つまり、特定イメージが前記第２ＣＮＮモジュールに入力された際、これに対応する第２ロスが大きければ、前記特定イメージが前記第１ＣＮＮモジュール４１０に入力された際に前記第１ＣＮＮモジュール４１０が正しく前記特定イメージ内の物体を検出できず、よって前記第１ロスが大きく出てくるであろう。一方、他の特定イメージが前記第２ＣＮＮモジュール４２０に入力された際、これに対応する第２ロスが小さければ、前記他の特定イメージが前記第１ＣＮＮモジュール４１０に入力された際、前記第１ＣＮＮモジュール４１０が前記他の特定イメージ内の物体を正確に検出した可能性が高く、よって前記第１ロスが小さく出てくるであろう。ここで、前記第２ＣＮＮモジュール４２０が前記トレーニングイメージ候補の中から第２ロスが大きい特定イメージを選別すれば、前記特定イメージ内の物体は、前記特定イメージが前記第１ＣＮＮモジュール４１０に入力される際に正確に検出される可能性が低く、前記特定イメージは、前記第１ＣＮＮモジュール４１０の前記学習プロセスに提供される有用なイメージとして選別されるようになる。
【００７１】
つまり、前記検出器（前記第１ＣＮＮモジュール４１０）は、前記検出器そのものが出力した前記検出結果とこれに対応して人が作成した原本正解イメージとを比較して学習プロセスを遂行し、前記自動選別システム（Ａｕｔｏ−ＳｃｒｅｅｎｉｎｇＳｙｓｔｅｍ）は、前記自動選別システムそのものが予測した前記データが前記検出器の前記学習プロセスに実際にどれだけ役立ったかについての情報を用いて学習する。これによって、前記検出器の前記検出結果がこれに対応する原本正解イメージと大きく異なるほど前記自動選別システムはより良く予測したのである。すなわち、本発明は、前記検出器と前記自動選別システムが相互競争して前記学習プロセスを遂行する敵対的学習（Ａｄｖｅｒｓａｒｉａｌ  Ｔｒａｉｎｉｎｇ）を利用する。
【００７２】
図６は、本発明に係る前記自動選別システムによって学習用イメージデータベースを構築する方法を示す図面である。
【００７３】
図６を参照すれば、図４及び図５の前記学習プロセスを通じて前記第２ＣＮＮモジュールの前記学習プロセスが完了した状態で、前記第１ＣＮＮモジュール４１０と前記第２ＣＮＮモジュール４２０のパラメータを利用するテスト装置６００がラベリングされていないイメージ（テスト用イメージ）を前記第１ＣＮＮモジュール４１０及び前記第２ＣＮＮモジュール４２０に入力すると、前記学習装置４００が前記第１ＣＮＮモジュール４１０をもって前記テストイメージに対して少なくとも一度所定のコンボリューション演算を適用するようにしてテスト用第１特徴マップを獲得するようにし、前記第２ＣＮＮモジュール４２０をもって前記テストイメージに対して少なくとも一度所定のコンボリューション演算を適用するようにしてテスト用第２特徴マップを獲得するようにする。そして、前記テスト装置６００は、前記テスト用第１特徴マップを前記第２ＣＮＮモジュールにまた他の入力として伝達し、前記第２ＣＮＮモジュールをもって前記テスト用第１特徴マップと前記テスト用第２特徴マップの大きさを同一に変更するようにした後、前記テスト用第１特徴マップと前記テスト用第２特徴マップとを統合して、テスト用第３特徴マップを生成する。そして、前記テスト装置６００は、前記第２ＣＮＮモジュールをもって、前記テスト用第３特徴マップに少なくとも一度所定のコンボリューション演算を適用するようにしてテスト用第４特徴マップを生成し、前記テスト用第４特徴マップに少なくとも一度所定の演算を適用してロス予測値を算出する。
【００７４】
こうして多くのテスト用イメージの入力を受けこれに対応するロス予測値（Ｐｒｅｄｉｃｔｅｄ  ｌｏｓｓ）が算出されれば、前記テスト装置６００は、前記テスト用イメージの中から前記ロス予測値が所定の閾値以上の値を有する一部のイメージを前記有用なイメージ（前記第１ＣＮＮモジュールの学習プロセスのためのトレーニングイメージ）として選別する。つまり、ロス予測値が前記所定の閾値以上なら、物体に対応するテスト用入力イメージ内の前記物体は、前記テスト用入力イメージが前記第１ＣＮＮジュール４１０に入力された際に正確に検出される可能性が低く、これは前記第１ＣＮＮモジュール４１０の前記学習プロセスに利用される有用なデータとしての前記テスト用入力イメージを決定する。
【００７５】
このように選別された有用なイメージに対しては、少なくとも一人がアノテーション作業などを遂行して（前記イメージにすでにアノテーション処理されているなら単に選別によって）、前記第１ＣＮＮモジュール４１０の前記学習プロセスに利用されるラベリング済みイメージになる。
【００７６】
併せて、前記検出器の前記学習プロセスによって前記検出器の前記パラメータが最適化されれば、前記検出器の前記最適化されたパラメータを利用した前記テスト装置内の前記第１ＣＮＮモジュールを利用して実際入力されるテストイメージから物体を検出することになる。例えば、道路走行のイメージから少なくとも一つの物体に対する分類と検出が行われ得る。
【００７７】
本発明の技術分野の通常の技術者に理解されるものとして、前記で説明されたイメージ、例えば前記トレーニングイメージ、前記テストイメージ及び前記入力イメージなどといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得り、特徴マップと演算を遂行するためのデータが前記学習装置及び前記テスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得り、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【００７８】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。  前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、  ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得り、その逆も同様である。
【００７９】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００８０】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020068028.tif 000003
【図２】
2020068028.tif 000004
【図３】
2020068028.tif 000005
【図４】
2020068028.tif 000006
【図５】
2020068028.tif 000007
【図６】
2020068028.tif 000008