(57)【要約】【課題】ディープラーニングネットワークの学習用のトレーニングイメージに対するラベリング信頼度を評価する方法を提供する。【解決手段】信頼度評価装置が、類似イメージ選択ネットワークをもって、アンラベリングされたイメージである原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、オートラベリングネットワークをもって、固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングする段階；（ｉ）イージー検証イメージのトゥルーラベルとオートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、（ｉｉ）ディフィカルト検証イメージのトゥルーラベルと手動ラベルとを参照して手動ラベリング装置の信頼性を評価する段階を含む。【選択図】図２
2020126613.tif 000002
【特許請求の範囲】
【請求項１】
ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する方法において、
（ａ）一つ以上の原本イメージが取得されると、信頼度評価装置が、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージである段階；
（ｂ）前記信頼度評価装置は、（ｉ）固有のトゥルーラベル及びオートラベルを有するイージー（ｅａｓｙ）検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、（ｉｉ）固有のトゥルーラベル及びオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼度を評価し、
前記固有のトゥルーラベル及びオートラベルとを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第１の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第２の予め設定された値以上である検証イメージである段階；
を含むことを特徴とする方法。
【請求項２】
（ｃ）前記信頼度評価装置が、（ｉ）前記オートラベリングネットワークの前記信頼度が第１の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、（ｉｉ）前記手動ラベリング装置の前記信頼度が第２の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、
前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージである段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記信頼度評価装置は、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする請求項２に記載の方法。
【請求項４】
前記（ａ）段階で、
前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、（ｉ）（ｉ−１）前記原本イメージ上におけるスライドウィンドウ（ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ）の各領域をクロップ（ｃｒｏｐ）しリサイズして生成された加工イメージを取得し、（ｉ−２）イメージ分類ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）を通じて前記加工イメージを分類して各上位ｋ個のクラス情報を出力し、（ｉ−３）前記上位ｋ個のクラス情報を参照して少なくとも一つのＢｏＷ（Ｂａｇ  ｏｆ  Ｗｏｒｄｓ）を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのＢｏＷヒストグラムを生成させ、（ｉｉ）前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする請求項１に記載の方法。
【請求項５】
前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする請求項４に記載の方法。
【請求項６】
前記（ａ）段階で、
前記信頼度評価装置は、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、（ｉ）（ｉ−１）第１イメージと第２イメージとを生成し、このうち少なくとも一つは、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのうち一つから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第１イメージと前記第２イメージとのうち残りの一つは、前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、（ｉ−２）一つ以上のコンボリューションレイヤをもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉ−３）一つ以上のプーリングレイヤをもって、それぞれの前記第１特徴マップとそれぞれの前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第１プーリング済み特徴マップと一つ以上の第２プーリング済み特徴マップとを生成させ、それぞれの前記第１プーリング済み特徴マップと、これに対応するそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、（ｉｉ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、（ｉｉｉ）（ｉｉｉ−１）それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉｉ−２）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、（ｉｉｉ−３）前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、
前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであることを特徴とする請求項１に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記信頼度評価装置は、
2020126613.tif 000084
／
2020126613.tif 000085
、
2020126613.tif 000086
／
2020126613.tif 000087
とし、前記イージー検証イメージの前記トゥルーラベルを
2020126613.tif 000088
、前記オートラベルを
2020126613.tif 000089
とする場合、
前記オートラベリングネットワークの信頼度
2020126613.tif 000090
を下記数学式
2020126613.tif 000091
を利用して評価することを特徴とする請求項１に記載の方法。
【請求項８】
前記（ｂ）段階で、
前記信頼度評価装置は、
2020126613.tif 000092
／
2020126613.tif 000093
、
2020126613.tif 000094
／
2020126613.tif 000095
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
2020126613.tif 000096
、前記手動ラベルを
2020126613.tif 000097
とする場合、
前記手動ラベリング装置の信頼度
2020126613.tif 000098
を下記数学式
2020126613.tif 000099
を利用して評価することを特徴とする請求項１に記載の方法。
【請求項９】
ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する信頼度評価装置において、
各インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）一つ以上の原本イメージが取得されると、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージであるプロセス、及び（ＩＩ）（ｉ）固有のトゥルーラベル及びオートラベルを有するイージー（ｅａｓｙ）検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、（ｉｉ）固有のトゥルーラベル及びオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼性を評価し、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち不正確にオートラベリングされる確率が第１の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第２の予め設定された値以上である検証イメージであるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする信頼度評価装置。
【請求項１０】
前記プロセッサは、
（ＩＩＩ）（ｉ）前記オートラベリングネットワークの前記信頼度が第１の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、（ｉｉ）前記手動ラベリング装置の前記信頼度が第２の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、
前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであるプロセス；
をさらに遂行することを特徴とする請求項９に記載の信頼度評価装置。
【請求項１１】
前記プロセッサは、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする請求項１０に記載の信頼度評価装置。
【請求項１２】
前記（Ｉ）プロセスで、
前記プロセッサは、前記類似イメージ選択ネットワークをもって、（ｉ）（ｉ−１）前記原本イメージ上におけるスライドウィンドウ（ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ）の各領域をクロップ（ｃｒｏｐ）しリサイズして生成された加工イメージを取得し、（ｉ−２）イメージ分類ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）を通じて前記加工イメージを分類して各上位ｋ個のクラス情報を出力し、（ｉ−３）前記上位ｋ個のクラス情報を参照して少なくとも一つのＢｏＷ（Ｂａｇ  ｏｆ  Ｗｏｒｄｓ）を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのＢｏＷヒストグラムを生成させ、（ｉｉ）前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする請求項９に記載の信頼度評価装置。
【請求項１３】
前記プロセッサは、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする請求項１２に記載の信頼度評価装置。
【請求項１４】
前記（Ｉ）プロセスで、
前記プロセッサは、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、（ｉ）（ｉ−１）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群のうち一つから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第１イメージと前記第２イメージのうち残りの一つは前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、（ｉ−２）一つ以上のコンボリューションレイヤをもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉ−３）一つ以上のプーリングレイヤをもって、それぞれの前記第１特徴マップとそれぞれの前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第１プーリング済み特徴マップと一つ以上の第２プーリング済み特徴マップとを生成させ、それぞれの前記第１プーリング済み特徴マップと、これに対応するそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、（ｉｉ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、（ｉｉｉ）（ｉｉｉ−１）それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉｉ−２）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、（ｉｉｉ−３）前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、
前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであることを特徴とする請求項９に記載の信頼度評価装置。
【請求項１５】
前記（ＩＩ）プロセスで、
前記プロセッサは、
2020126613.tif 000100
／
2020126613.tif 000101
、
2020126613.tif 000102
／
2020126613.tif 000103
とし、前記イージー検証イメージの前記トゥルーラベルを
2020126613.tif 000104
、前記オートラベルを
2020126613.tif 000105
とする場合、
前記オートラベリングネットワークの信頼度
2020126613.tif 000106
を下記数学式
2020126613.tif 000107
を利用して評価することを特徴とする請求項９に記載の信頼度評価装置。
【請求項１６】
前記（ＩＩ）プロセスで、
前記プロセッサは、
2020126613.tif 000108
／
2020126613.tif 000109
、
2020126613.tif 000110
／
2020126613.tif 000111
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
2020126613.tif 000112
、前記手動ラベルを
2020126613.tif 000113
とする場合、
前記手動ラベリング装置の信頼度
2020126613.tif 000114
を下記数学式
2020126613.tif 000115
を利用して評価することを特徴とする請求項９に記載の信頼度評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディープラーニングネットワークの学習に利用するためのトレーニングイメージに対するラベルリング信頼度を評価する方法及び装置に関する。
【背景技術】
【０００２】
近年、機械学習（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）を利用して物体を識別する方法等に関する研究が行われている。このような機械学習の一環として、入力レイヤと出力レイヤとの間に複数個のヒドゥンレイヤ（ｈｉｄｄｅｎ  ｌａｙｅｒ）を有するニューラルネットワークを利用したディープラーニングは、高い識別性能を有する。
【０００３】
そして、前記ディープラーニングを利用する前記ニューラルネットワークは、一般的にロスを利用したバックプロパゲーションを通じて学習する。
【０００４】
このようなディープラーニングネットワークの学習を進めるためには、ラベラー（ｌａｂｅｌｅｒ）によって個別データポイントにタグ、すなわち、ラベルを追加したトレーニングデータが必要である。このようなトレーニングデータを準備すること（すなわち、データを正確に分類すること）は、特に大量のトレーニングデータを利用する場合とデータの前処理の品質が持続的に高くない場合、労働集約的であり、費用が多くかかって煩雑であり得る。従来の相互的なラベリングは、費用が高く好ましい結果を導き出すことができない。
【０００５】
したがって、最近ではディープラーニング基盤のオートラベリングネットワークを利用してトレーニングイメージにタグを追加するオートラベリングを遂行し、検収者がオートラベリングされたトレーニングイメージを検収して前記タグや前記ラベルを校正する。
【０００６】
また、固有のトゥルーラベルを有する検証イメージを追加して、前記オートラベリングネットワークとラベラーによるラベリング作業に対するラベリング信頼度を評価している。
【０００７】
しかしながら、前記検証イメージをアンラベリングされたイメージに追加する従来の方法においては、地域、天気、昼と夜などのような、前記アンラベリングされたイメージの撮影環境と前記検証イメージの撮影環境が異なる場合、前記検収者は前記アンラベリングされたイメージと前記検証イメージとを容易に区分することができ、これによって前記検証イメージを中心として検収を遂行することが容易であるため、ラベルリングに対する正確な評価が行われ得ない問題点がある。
【０００８】
また、従来の方法のように、前記トゥルーラベルに対してのみ検収を行う場合、検収を怠る検収者が一生懸命に検収する検収者より高い評価を受けかねない問題点がある。
【０００９】
併せて、検証のために前記トゥルーラベルに誤検出及び未検出のラベルを追加する場合には、前記オートラベリングネットワークによって生成されたオートラベリングと差異が生じ得、この場合、前記検収者は前記ラベルが検証のためのラベルであるのかを容易に把握することができるため、正確な評価が行われないという問題点が生じ得る。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、前述した問題点を全て解決することをその目的とする。
【００１１】
本発明は、原本イメージ、すなわち、アンラベリングされたイメージに追加される検証イメージの撮影環境が前記原本イメージの撮影環境とほぼ同じであるようにすることを他の目的とする。
【００１２】
本発明は、オートラベリングされたイメージのうち正確にラベルリングすることが難しいイメージを検収して、ラベリングの信頼度を正確に評価するのを可能にすることをまた他の目的とする。
【課題を解決するための手段】
【００１３】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下の通りである。
【００１４】
本発明の一態様によると、ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する方法において、（ａ）一つ以上の原本イメージが取得されると、信頼度評価装置が、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージである段階；（ｂ）前記信頼度評価装置は、（ｉ）固有のトゥルーラベル及びオートラベルを有するイージー（ｅａｓｙ）検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、（ｉｉ）固有のトゥルーラベル及びオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼度を評価し、前記固有のトゥルーラベル及びオートラベルとを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第１の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第２の予め設定された値以上である検証イメージである段階；を含むことを特徴とする方法が開示される。
【００１５】
一実施例において、（ｃ）前記信頼度評価装置が、（ｉ）前記オートラベリングネットワークの前記信頼度が第１の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、（ｉｉ）前記手動ラベリング装置の前記信頼度が第２の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージである段階；をさらに含むことを特徴とする。
【００１６】
一実施例において、前記信頼度評価装置は、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする。
【００１７】
一実施例において、前記（ａ）段階で、前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、（ｉ）（ｉ−１）前記原本イメージ上におけるスライドウィンドウ（ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ）の各領域をクロップ（ｃｒｏｐ）しリサイズして生成された加工イメージを取得し、（ｉ−２）イメージ分類ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）を通じて前記加工イメージを分類して各上位ｋ個のクラス情報を出力し、（ｉ−３）前記上位ｋ個のクラス情報を参照して少なくとも一つのＢｏＷ（Ｂａｇ  ｏｆ  Ｗｏｒｄｓ）を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのＢｏＷヒストグラムを生成させ、（ｉｉ）前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする。
【００１８】
一実施例において、前記信頼度評価装置は、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする。
【００１９】
一実施例において、前記（ａ）段階で、前記信頼度評価装置は、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、（ｉ）（ｉ−１）第１イメージと第２イメージとを生成し、このうち少なくとも一つは、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのうち一つから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第１イメージと前記第２イメージのうち残りの一つは、前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、（ｉ−２）一つ以上のコンボリューションレイヤをもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉ−３）一つ以上のプーリングレイヤをもって、それぞれの前記第１特徴マップとそれぞれの前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第１プーリング済み特徴マップと一つ以上の第２プーリング済み特徴マップとを生成させ、それぞれの前記第１プーリング済み特徴マップと、これに対応するそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、（ｉｉ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、（ｉｉｉ）（ｉｉｉ−１）それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉｉ−２）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、（ｉｉｉ−３）前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであることを特徴とする。
【００２０】
一実施例において、前記（ｂ）段階で、前記信頼度評価装置は、精密度
2020126613.tif 000003
／
2020126613.tif 000004
、
2020126613.tif 000005
／
2020126613.tif 000006
とし、前記イージー検証イメージの前記トゥルーラベルを
2020126613.tif 000007
、前記オートラベルを
2020126613.tif 000008
とする場合、前記オートラベリングネットワークの信頼度
2020126613.tif 000009
を下記数学式
2020126613.tif 000010
を利用して評価することを特徴とする。
【００２１】
一実施例において、前記（ｂ）段階で、前記信頼度評価装置は、
2020126613.tif 000011
／
2020126613.tif 000012
、
2020126613.tif 000013
／
2020126613.tif 000014
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
2020126613.tif 000015
、前記手動ラベルを
2020126613.tif 000016
とする場合、前記手動ラベリング装置の信頼度
2020126613.tif 000017
を下記数学式
2020126613.tif 000018
を利用して評価することを特徴とする。
【００２２】
本発明の他の態様によると、ディープラーニングネットワークの学習に利用するための一つ以上のトレーニングイメージに対するラベルリング信頼度を評価する信頼度評価装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）一つ以上の原本イメージが取得されると、類似イメージ選択ネットワークをもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングネットワークに入力することにより、前記オートラベリングネットワークをもって前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせ、前記原本イメージはアンラベリングされたイメージであるプロセス、及び（ＩＩ）（ｉ）固有のトゥルーラベル及びオートラベルを有するイージー（ｅａｓｙ）検証イメージが前記オートラベリングネットワークから取得されると、前記イージー検証イメージの前記トゥルーラベルと前記オートラベルとを参照して前記オートラベリングネットワークの信頼度を評価し、（ｉｉ）固有のトゥルーラベル及びオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージに手動ラベリング演算を適用して生成された固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージが手動ラベリング装置から取得されると、前記ディフィカルト検証イメージの前記トゥルーラベルと前記手動ラベルとを参照して、前記手動ラベリング装置の信頼性を評価し、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち不正確にオートラベリングされる確率が第１の予め設定された値未満である検証イメージであり、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記オートラベリングされた固有のトゥルーラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が第２の予め設定された値以上である検証イメージであるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする信頼度評価装置が開示される。
【００２３】
一実施例において、前記プロセッサは、（ＩＩＩ）（ｉ）前記オートラベリングネットワークの前記信頼度が第１の予め設定された閾値以上である場合、前記オートラベリングネットワークから取得された、固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定し、（ｉｉ）前記手動ラベリング装置の前記信頼度が第２の予め設定された閾値以上である場合、前記手動ラベリング装置から取得された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定し、前記固有のオートラベルを有するイージー原本イメージは、前記原本イメージをオートラベリングして取得された、固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記原本イメージをオートラベリングして取得された、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであるプロセス；をさらに遂行することを特徴とする。
【００２４】
一実施例において、前記プロセッサは、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない、固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定することを特徴とする。
【００２５】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記類似イメージ選択ネットワークをもって、（ｉ）（ｉ−１）前記原本イメージ上におけるスライドウィンドウ（ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ）の各領域をクロップ（ｃｒｏｐ）しリサイズして生成された加工イメージを取得し、（ｉ−２）イメージ分類ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）を通じて前記加工イメージを分類して各上位ｋ個のクラス情報を出力し、（ｉ−３）前記上位ｋ個のクラス情報を参照して少なくとも一つのＢｏＷ（Ｂａｇ  ｏｆ  Ｗｏｒｄｓ）を生成する少なくとも一つの演算を前記すべての原本イメージに適用して、前記原本イメージの少なくとも一つのＢｏＷヒストグラムを生成させ、（ｉｉ）前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択することを特徴とする。
【００２６】
一実施例において、前記プロセッサは、前記類似イメージ選択ネットワークをもって、前記予め設定された個数の前記検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージと固有のオートラベルを有するディフィカルト原本イメージとを管理させて、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記固有のオートラベルを有するディフィカルト原本イメージの個数に対する特定の割合を有するようにすることを特徴とする。
【００２７】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記オートラベリングネットワークをもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力させた後、（ｉ）（ｉ−１）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのうち一つから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記固有のオートラベルを有する原本イメージと前記検証イメージ候補群とのうち一つから変形して生成されたイメージであれば、前記第１イメージと前記第２イメージのうち残りの一つは前記原本イメージと前記検証イメージ候補群とのうち一つをそのまま使用し、（ｉ−２）一つ以上のコンボリューションレイヤをもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉ−３）一つ以上のプーリングレイヤをもって、それぞれの前記第１特徴マップとそれぞれの前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用して一つ以上の第１プーリング済み特徴マップと一つ以上の第２プーリング済み特徴マップとを生成させ、それぞれの前記第１プーリング済み特徴マップと、これに対応するそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリングされたボックスに対応する一つ以上のコンカチネートされた特徴マップを生成させ、（ｉｉ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記オートラベリングされたボックスに対応するそれぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させ、（ｉｉｉ）（ｉｉｉ−１）それぞれの前記オートラベリングされたボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉｉ−２）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記固有のオートラベルを有する原本イメージを固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分し、（ｉｉｉ−３）前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分し、前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が第４の予め設定された値以上であるイメージであることを特徴とする。
【００２８】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、
2020126613.tif 000019
／
2020126613.tif 000020
、
2020126613.tif 000021
／
2020126613.tif 000022
とし、前記イージー検証イメージの前記トゥルーラベルを
2020126613.tif 000023
、前記オートラベルを
2020126613.tif 000024
とする場合、前記オートラベリングネットワークの信頼度
2020126613.tif 000025
を下記数学式
2020126613.tif 000026
を利用して評価することを特徴とする。
【００２９】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、
2020126613.tif 000027
／
2020126613.tif 000028
、
2020126613.tif 000029
／
2020126613.tif 000030
とし、前記ディフィカルト検証イメージの前記トゥルーラベルを
2020126613.tif 000031
、前記手動ラベルを
2020126613.tif 000032
とする場合、前記手動ラベリング装置の信頼度
2020126613.tif 000033
を下記数学式
2020126613.tif 000034
を利用して評価することを特徴とする。
【００３０】
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００３１】
本発明はオートラベリングネットワークによってオートラベリングされたイメージのうちラベリングが難しいイメージを選択して検収させることにより、ラベリングの信頼度を正確に評価する効果がある。
【００３２】
また、本発明は、オートラベリングのために原本イメージと撮影環境が類似する検証イメージを選択して追加することにより、検収者が前記原本イメージと前記検証イメージとを容易に区分できないようにして、前記ラベリングの信頼度を正確に評価する効果がある。
【００３３】
また、本発明は、類似イメージのうち有効なイメージを選択するための、最適化されたサンプリングプロセスを提供することができる効果がある。
【００３４】
また、本発明は、ラベルリングが難しいイメージを検収することで検収者の数を減らすことが可能となり、それに伴って注釈（ａｎｎｏｔａｔｉｏｎ）費用を削減する効果がある。
【００３５】
また、本発明は、ＢｏＷ（ｂａｇ−ｏｆ−ｗｏｒｄｓ）モデルを適用して周辺状況を認識することができる効果がある。
【００３６】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明の一実施例にしたがって、ディープラーニングネットワークの学習に利用するためのトレーニングイメージに対するラベリング信頼度を評価する信頼度評価装置を簡略に示した図面である。
【図２】図２は、本発明の一実施例にしたがって、前記ディープラーニングネットワークの学習に利用するための前記トレーニングイメージに対する前記ラベリング信頼度を評価する方法を簡略に示した図面である。
【図３】図３は、本発明の一実施例にしたがって、前記ディープラーニングネットワークの学習に利用するための前記トレーニングイメージに対する前記ラベリング信頼度を評価する方法において、検証イメージ候補群のうちで原本イメージと撮影環境とが類似する検証イメージ候補群を選択する方法を簡略に示した図面である。
【図４】図４は、本発明の一実施例にしたがって、前記ディープラーニングネットワークの学習に利用するための前記トレーニングイメージに対する前記ラベリング信頼度を評価する方法において、オートラベリングネットワークでラベリング検収のためのサンプルイメージを選択する方法を簡略に示した図面である。
【図５】図５は、本発明の一実施例にしたがって、前記ディープラーニングネットワークの学習に利用するための前記トレーニングイメージに対する前記ラベリング信頼度を評価する方法において、前記オートラベリングネットワークでラベリング検収のための前記サンプルイメージを選択するディープラーニング分類器を学習する方法を簡略に示した図面である。
【発明を実施するための形態】
【００３８】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３９】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項をもってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００４０】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００４１】
図１は、本発明の一実施例にしたがって、ディープラーニングネットワークの学習に利用するためのトレーニングイメージに対するラベリング信頼度を評価する信頼度評価装置を簡略に示したものであって、図１を参照すると、前記信頼度評価装置１００は、前記トレーニングイメージに対する前記ラベリング信頼度を評価するための各インストラクションを格納するメモリ１１０と、前記メモリ１１０に格納された前記各インストラクションに対応して前記信頼度を評価するプロセスを遂行するプロセッサ１２０とを含むことができる。
【００４２】
具体的に、前記信頼度評価装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。
【００４３】
また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェアの構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。
【００４４】
しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
【００４５】
本発明の一実施例による前記ディープラーニングネットワークの学習に利用するための前記トレーニングイメージに対する前記ラベリング信頼度を評価する方法について、図２を参照して説明すると以下のとおりである。この場合、前記ディープラーニングネットワークは、前記信頼度評価装置１００を利用してイメージ分析を遂行することができる。
【００４６】
まず、一つ以上の原本イメージが取得されると、前記信頼度評価装置１００が、類似イメージ選択ネットワーク２００をもって、前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択させた後、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとを前記オートラベリングネットワーク３００に入力することにより、前記オートラベリングネットワーク３００をもって、前記固有のトゥルーラベルを有する検証イメージ候補群と前記原本イメージとをオートラベリングさせることができる。この際、前記原本イメージはアンラベリングされたイメージである。
【００４７】
そうすると、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージの候補群とは、それぞれ前記オートラベリングネットワーク３００によってオートラベリングされて、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とになり得る。
【００４８】
一方、図３を参照して、前記類似イメージ選択ネットワーク２００が前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ候補群を選択する方法を説明すると以下のとおりである。
【００４９】
前記信頼度評価装置１００が、前記取得された原本イメージを前記類似イメージ選択ネットワーク２００に入力すると、前記類似イメージ選択ネットワーク２００は、前記原本イメージ上でそれぞれのスライドウィンドウの各領域をクロップしリサイズして加工イメージを出力する。この際、その他の例として、前記類似イメージ選択ネットワーク２００でなく、前記信頼度評価装置１００は、前記原本イメージ上でそれぞれの前記スライドウィンドウの各領域をクロップしリサイズした前記加工イメージを取得し、前記原本イメージに対応するそれぞれの前記加工イメージを前記類似イメージ選択ネットワーク２００に入力することもできる。
【００５０】
そうすると、前記類似イメージ選択ネットワーク２００は、イメージ分類ＣＮＮ２１０、すなわち、イメージ分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）のためのＣＮＮをもって、前記加工イメージを分類して、それぞれの上位ｋ個のクラス情報を出力させる。一例として、前記イメージ分類ＣＮＮ２１０は、それぞれの前記加工イメージのそれぞれの特徴マップを生成し、それぞれの前記特徴マップを利用して物体や背景を昼、鳥、春、雲、山、木、家、自転車、人、道路、犬などのようなクラス群に分類し、前記上位ｋ個のクラス情報を出力することができる。この場合、図面では上位４つのクラス情報を出力するものと示したが、本発明の範囲は、これに限定されない。また、図面では、それぞれの前記加工イメージに対応する前記イメージ分類ＣＮＮ２１０が複数個で示されているが、これとは異なり、一つのイメージ分類ＣＮＮを利用して、それぞれの前記加工イメージに対応する前記上位ｋ個のクラス情報を出力させるか、前記加工イメージに対応するものの、前記加工イメージの個数とは異なる個数の前記イメージ分類ＣＮＮを利用して前記上位ｋ個のクラス情報を出力させることもできる。
【００５１】
そして、前記類似イメージ選択ネットワーク２００は、前記イメージ分類ＣＮＮ２１０から出力されるそれぞれの前記加工イメージに対応する前記上位ｋ個のクラス情報を参照して、少なくとも一つのＢｏＷ（Ｂａｇ  ｏｆ  Ｗｏｒｄｓ）を生成する少なくとも一つの演算をすべての前記原本イメージに適用して前記原本イメージに対する少なくとも一つのＢｏＷヒストグラムを生成させる。
【００５２】
以後、前記類似イメージ選択ネットワーク２００は、前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記ＢｏＷヒストグラムに近い順序に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群を選択して、前記原本イメージと前記予め設定された個数の検証イメージ候補群とをオートラベリングするために前記オートラベリングネットワーク３００に伝送することができる。この際、前記類似イメージ選択ネットワーク２００は、前記予め設定された個数の前記検証イメージ候補群のうち、固有のトゥルーラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）検証イメージとディフィカルト原本イメージとを管理して、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記ディフィカルト原本イメージの個数に対する特定の比率を有するようにすることができる。一例として、前記予め設定された個数の検証イメージ候補群のうち前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数は、前記原本イメージのうち前記ディフィカルト原本イメージの個数の１０％であり得る。「イージー」（ｅａｓｙ）と「ディフィカルト」が前についたイメージの定義については、後に説明することにする。
【００５３】
また、図４を参照して、前記オートラベリングネットワーク３００が、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージ候補群とをオートラベリングして前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とを出力することによって、イージーイメージとディフィカルトイメージとを選択する方法を説明すると以下のとおりである。前記イメージと前記ディフィカルトイメージについては、追って定義することにする。
【００５４】
前記オートラベリングネットワーク３００は、イメージ変形レイヤ３１０をもって、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とをそのまま使用するか、これらを変形して、第１イメージと第２イメージとを生成させる。この際、前記第１イメージ及び前記第２イメージのうち少なくとも一つは、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とのうち一つから変形して生成されたイメージであり得る。
【００５５】
一方、前記イメージ変形レイヤ３１０を利用して、前記第１イメージと前記第２イメージとを生成させるのにおいて、多数の変形ペアを利用して、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群とにそれぞれ対応する、前記第１イメージと前記第２イメージのうち少なくとも一つのイメージペアを生成させることができる。
【００５６】
一例として、前記変形ペアは、以下のように表すことができる。
【００５７】
【表１】
2020126613.tif 000035
【００５８】
すなわち、任意の順序に連続して入力された、前記固有のオートラベルを有する原本イメージと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのうち一つによって設定された前記変形ペアに対応する、前記第１イメージと前記第２イメージとのうち一つ以上のイメージペアが生成され得る。
【００５９】
次に、前記オートラベリングネットワーク３００は、一つ以上のコンボリューションレイヤ３２０をもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを出力させる。この際、それぞれの前記コンボリューションレイヤ３２０は、前記イメージをオートラベリングする前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであり得る。すなわち、前記オートラベリングネットワークが多数の変形の組合せを使用する場合、前記変形ペアは、前記オートラベリングネットワークが使用する前記変形としてのみ定義され得、それによって前記オートラベリングネットワークの前記オートラベリングコンボリューションレイヤから出力された特徴マップがさらなる過程なしにそのまま使用され得るので、前記特徴マップの演算に所要される時間を削減することができるようになる。
【００６０】
以後、前記オートラベリングネットワーク３００は、一つ以上のプーリングレイヤ３３０をもって、前記第１特徴マップ上で、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群のオートラベリングされたボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを出力させ、前記第２特徴マップ上で、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群の前記オートラベリングされたボックスそれぞれに対応する各領域に前記プーリング演算を適用して、それぞれの第２プーリング済み特徴マップを出力させ、前記それぞれのオートラベリングされたボックスにそれぞれ対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネートして前記オートラベリングされたボックスそれぞれに対応するそれぞれのコンカチネートされた特徴マップを生成する。この際、図４では二つのコンボリューションレイヤ３２０と二つのプーリングレイヤ３３０とが示されているが、これとは異なって一つのコンボリューションレイヤと一つのプーリングレイヤとが、前記第１イメージと第２イメージとに前記コンボリューション演算を適用し、前記第１特徴マップと前記第２特徴マップとに前記プーリング演算を適用するためにそれぞれ使用されてもよい。
【００６１】
そして、前記オートラベリングネットワーク３００は、少なくとも一つのディープラーニング分類器３４０をもって、前記それぞれのコンカチネートされた特徴マップを入力として取得して、前記それぞれのオートラベリングされたボックスを非正常クラス群または正常クラス群に分類するクラス情報を出力させることができる。この場合、前記非正常クラス群は、誤検出クラス群と未検出クラス群とを含むことができ、前記正常クラス群は、物体として分類されたボックスに対するクラス群と前記背景として分類されたボックスに対するクラス群とを含むことができ、前記ボックスは、前記非正常クラス群に含まれていない前記オートラベリングされたボックスのうち少なくとも一部である。前記オートラベリングされたボックスに関する分類については、図５を参照して前記ディープラーニング分類器３４０の学習方法で説明することにする。
【００６２】
以後、前記オートラベリングネットワーク装置３００は、ディフィカルトイメージ判別レイヤ３５０をもって、（ｉ）前記それぞれのオートラベリングされたボックスの各クラス情報を参照して、前記非正常クラス群のそれぞれの非正常クラス要素に対する確率値それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素に対する前記確率値それぞれを利用して、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群が、追って説明されるディフィカルトイメージであるかを判断させる。
【００６３】
この際、前記ディープラーニング分類器３４０の出力にシグモイド関数が適用された後、それぞれの前記非正常クラス要素の各確率値が計算され得る。それぞれの前記非正常クラス要素の各確率値は、前記誤検出クラス群の誤検出クラス要素に対するそれぞれの確率値と前記未検出クラス群の未検出クラス要素に対するそれぞれの確率値とを含むことができる。
【００６４】
一例として、前記誤検出クラス要素ＦＰに対する確率値は、
2020126613.tif 000036
で表すことができ、前記未検出クラス要素ＦＮに対する確率値は、
2020126613.tif 000037
で表すことができる。
【００６５】
この際、
2020126613.tif 000038
は、前記オートラベリングされたボックスのうち一つのオートラベリングされたボックスであり、
2020126613.tif 000039
と
2020126613.tif 000040
はそれぞれ前記第１イメージと前記第２イメージとを表す。
【００６６】
また、前記オートラベリングネットワーク３００は、各前記オートラベリングされたボックスごとに、前記変形ペアそれぞれに対応するそれぞれの前記非正常クラス要素に対するそれぞれの確率値を計算し、前記算出された確率値の少なくとも一つの重み付け平均を計算することができる。
【００６７】
すなわち、前記誤検出クラス要素に対する確率値
2020126613.tif 000041
と前記未検出クラスに対する確率値
2020126613.tif 000042
は以下のように表し得る。
2020126613.tif 000043
2020126613.tif 000044
【００６８】
この場合、前記誤検出クラス要素に対する確率値
2020126613.tif 000045
と前記未検出クラス要素に対する確率値
2020126613.tif 000046
とは重み付け値に対する線形関数であるため、
2020126613.tif 000047
の制約条件のある制約最適化（Ｃｏｎｓｔｒａｉｎｅｄ  ｏｐｔｉｍｉｚａｔｉｏｎ）により前記重み付け値の最適化が可能になる。
【００６９】
そして、それぞれの前記非正常クラス要素の確率値に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ  ｍｅａｎ）が予め設定された値以上である場合、前記オートラベリングネットワーク３００は、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を前記ディフィカルトイメージとして判断することができる。
【００７０】
一例として、前記オートラベリングネットワーク３００は、各オートラベリングされたボックスごとの、前記誤検出クラス要素に対する各確率値
2020126613.tif 000048
と前記未検出クラス要素に対する各確率値
2020126613.tif 000049
とを参照して、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群が前記ディフィカルトイメージである確率値
2020126613.tif 000050
を次のような一般化された平均として計算することができる。
2020126613.tif 000051
【００７１】
そして、各オートラベリングされたボックスごとの、前記誤検出クラス要素に対する各確率値
2020126613.tif 000052
と前記未検出クラス要素に対する各確率値
2020126613.tif 000053
とを参照して計算したそれぞれの前記確率値
2020126613.tif 000054
が前記予め設定された値以上である場合、前記オートラベリングネットワーク３００は、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を前記ディフィカルトイメージとして判断することができる。ここで、前記ディフィカルトイメージは、不正確にオートラベリングされる確率が前記予め設定された値以上であるイメージを表し得、前記予め設定された値は、第１の予め設定された値、第２の予め設定された値、第３の予め設定された値、及び第４の予め設定された値を含み、これは追って説明される。
【００７２】
この場合、前記予め設定された値は、前記オートラベリングネットワークのオートラベリングプロセス以後に手動で検収された前記検証イメージ候補群に対する正解的中率のうち少なくとも一つの最も高い的中率であり得る。
【００７３】
次に、前記オートラベリングネットワーク３００は、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群が前記ディフィカルトイメージである場合、前記固有のオートラベルを有する原本イメージまたは前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群を、ラベル検収用サンプルイメージとして選定することができる。すなわち、前記固有のオートラベルを有する原本イメージは、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに区分することができ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群は、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに区分され得る。この際、（ｉ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージは、前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が前記第１の予め設定された値未満である検証イメージであり、（ｉｉ）前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージは、前記固有のトゥルーラベル及びオートラベルを有する検証イメージ候補群のうち、不正確にオートラベリングされる確率が前記第２の予め設定された値以上である検証イメージであり、（ｉｉｉ）前記固有のオートラベルを有するイージー原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第３の予め設定された値未満であるイメージであり、（ｉｖ）前記固有のオートラベルを有するディフィカルト原本イメージは、前記固有のオートラベルを有する原本イメージのうち不正確にオートラベリングされる確率が前記第４の予め設定された値以上であるイメージであり得る。前記第１の予め設定された値、前記第２の予め設定された値、前記第３の予め設定された値、及び前記第４の予め設定された値のうち少なくとも一部は互いに同一であってもよく異なっていてもよい。この際、前記オートラベリングネットワーク３００は、前記ディフィカルトイメージとして選定された、前記固有のオートラベルを有するディフィカルト原本イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージ上の、前記非正常クラス群に分類された前記オートラベリングされたボックスに対応する領域を識別して、検収者が容易に検収し得るようにすることができる。
【００７４】
一方、前記ディープラーニング分類器は、多重のＦＣレイヤ又はＦＣネットワーク（ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）を含むことができ、前記ディープラーニング分類器を学習する過程を、図５を参照して説明すると以下のとおりである。
【００７５】
前記オートラベリングネットワークによってラベリングされたオートボックスを有する少なくとも一つのトレーニングイメージが取得されると、学習装置５００が一つ以上の学習用コンボリューションレイヤ５１０をもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して少なくとも一つの学習用特徴マップを出力させる。
【００７６】
この際、前記トレーニングイメージの前記オートボックスは、前記オートラベリングネットワークを通じてラベリングされた前記オートボックスとは異なり、学習のために任意に生成されたものであってもよい。
【００７７】
また、前記学習装置５００は、前記ディープラーニングクラス分類器の学習のための各インストラクションを格納するメモリ（図示せず）と、前記メモリに格納された前記各インストラクションに対応して前記ディープラーニングクラス分類器に関する学習を遂行するプロセッサ（図示せず）とを含むことができる。
【００７８】
具体的に、前記学習装置５００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。しかし、このような前記コンピューティング装置についての説明が本発明を実施するためのプロセッサ、メモリ、媒体又はその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
【００７９】
次に、前記学習装置５００は、学習用プーリングレイヤ５２０をもって、前記学習用プーリングレイヤの一つ以上のプーリング演算を、前記学習用特徴マップ上において前記オートボックスそれぞれに対応するそれぞれの領域にそれぞれ適用して一つ以上の学習用プーリング済み特徴マップを出力させる。
【００８０】
以後、前記学習装置５００は、前記ディープラーニング分類器５３０をもって前記オートボックスそれぞれに対応するそれぞれの前記学習用プーリング済み特徴マップを入力として取得して、前記オートボックスを前記非正常クラス群または前記正常クラス群に分類する前記クラス情報を出力させる。
【００８１】
この場合、前記クラス情報は、前記誤検出クラス群と前記未検出クラス群とを有する前記非正常クラス群を含むことができる。そして、前記クラス情報は２次元出力を含むことができる。
【００８２】
一例として、前記誤検出クラス群ＦＰ、
2020126613.tif 000055
は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のトゥルーボックスと前記第１の予め設定された閾値以上に重なっていない場合に該当し得る。
【００８３】
この際、前記誤検出クラス群ＦＰ、
2020126613.tif 000056
は、
2020126613.tif 000057
のように示され得る。
【００８４】
そして、前記未検出クラス群ＦＮ、
2020126613.tif 000058
は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが、他のオートボックスと前記第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し得る。
【００８５】
この場合、前記未検出クラス群ＦＮ、
2020126613.tif 000059
は、
2020126613.tif 000060
と示され得る。
【００８６】
一例として、前記において
2020126613.tif 000061
と設定され得るが、これに限定されるわけではない。
【００８７】
そして、前記正常クラス群
2020126613.tif 000062
は、前記誤検出クラス群及び前記未検出クラス群以外の他のクラス群を含むことができ、前記物体と前記背景に対応し得る。
【００８８】
一方、前記クラスの不均衡を予防するために、前記学習装置５００は、前記誤検出クラス群と、前記未検出クラス群と、前記正常クラス群とを管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群個数の予め設定された第１倍以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにする。
【００８９】
この場合、前記学習装置５００は、前記誤検出クラス群ＦＰの要素の個数、前記未検出クラス群ＦＮの要素の個数、及び前記正常クラス群の要素の個数を、ランダムサンプリングを利用して調整することができる。
【００９０】
次に、前記学習装置５００は、少なくとも一つのロスレイヤ５４０をもって、それぞれの前記オートラベリングされたボックスに関する前記各クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上のロスを計算させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器５３０のパラメータのうち少なくとも一部を学習することができる。
【００９１】
この場合、前記学習装置５００は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することができる。
【００９２】
一方、前記学習は、前記ディープラーニング分類器５３０を構成するニューラルネットワーク内に連結された二つのレイヤのシナプス強度である重み付け値を、ロスが小さくなるように調整するものであり得る。
【００９３】
一例として、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ、ＳＧＤ）を利用して前記バックプロパゲーションを遂行する場合には、次のようにそれぞれの重み付け値を調整することができる。
2020126613.tif 000063
【００９４】
前記において、
2020126613.tif 000064
は学習率を示し、
2020126613.tif 000065
は費用関数（Ｃｏｓｔ  ｆｕｎｃｔｉｏｎ）を示す。
【００９５】
この際、前記費用関数は、指導学習、非指導学習、自律学習、及び強化学習などのような学習の形態と活性化関数のような各要因によって決定され得る。
【００９６】
例えば、多重クラス（ｍｕｌｔｉ−ｃｌａｓｓ）分類の問題を解決するための学習を遂行する場合に、一般的に前記活性化関数と前記費用関数はそれぞれソフトマックス関数とクロスエントロピー関数として決定される。
【００９７】
前記ソフトマックス関数は、
2020126613.tif 000066
のように表すことができ、前記費用関数は
2020126613.tif 000067
のように表すことができる。
【００９８】
この際、ｐｊはクラス確率（ｃｌａｓｓ  ｐｒｏｂａｂｉｌｉｔｙ）を示し、ｘｊとｘｋはそれぞれユニットｊとしての全体入力とユニットｋとしての全体入力を表し得る。そして、ｄｊは、出力ユニットｊに対する目標確率（ｔａｒｇｅｔ  ｐｒｏｂａｂｉｌｉｔｙ）を表し、ｐｊは当該活性化関数を適用した後の前記出力ユニットｊに対する確率出力（ｐｒｏｂａｂｉｌｉｔｙ  ｏｕｔｐｕｔ）を表し得る。
【００９９】
前記では、前記ロスを利用したバックプロパゲーションの一例として、前記確率的勾配降下法について説明したが、本発明の範囲はこれに限定されず、モメンタム（Ｍｏｍｅｎｔｕｍ）方式、ネステロフ加速勾配（Ｎｅｓｔｅｒｏｖ  Ａｃｃｃｃｅｌｌｅｒａｔｅｄ  Ｇｒａｄｉｅｎｔ、ＮＡＧ）方式、ＲＭＳＰｒｏｐ（Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｐｒｏｐａｇａｔｉｏｎ）方式、ＡｄａＤｅｌｔａ（Ａｄａｐｔｉｖｅ  Ｄｅｌｔａ）方式、Ａｄａｍ（Ａｄａｐｔｉｖｅ  Ｍｏｍｅｎｔ  Ｅｓｔｉｍａｔｉｏｎ）方式などを使用して前記ニューラルネットワークの学習のための前記バックプロパゲーションを遂行することができる。
【０１００】
再び、図２を参照すると、前記信頼度評価装置１００は、前記オートラベリングネットワーク３００から前記固有のオートラベルを有するイージー原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージとを取得することができ、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベルとオートラベルとを参照して前記オートラベリングネットワーク３００の信頼度を評価することができる。
【０１０１】
この際、
2020126613.tif 000068
／
2020126613.tif 000069
、
2020126613.tif 000070
／
2020126613.tif 000071
とし、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージの前記トゥルーラベルを
2020126613.tif 000072
、前記オートラベルを
2020126613.tif 000073
とする場合、前記オートラベリングネットワーク３００の信頼度
2020126613.tif 000074
は次のように評価され得る。
2020126613.tif 000075
【０１０２】
また、前記オートラベリングネットワーク３００から出力された、前記固有のオートラベルを有するディフィカルト原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとを手動でラベリングして生成された、固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージと、固有のトゥルーラベル、オートラベル及び手動ラベルを有するディフィカルト検証イメージとが手動ラベリング装置４００から取得されると、前記信頼度評価装置１００は、前記固有のトゥルーラベル、オートラベル及び手動ラベルを有するディフィカルト検証イメージのトゥルーラベルとオートラベルとを参照して、前記手動ラベリング装置４００の信頼度を評価することができる。
【０１０３】
この場合、
2020126613.tif 000076
／
2020126613.tif 000077
、
2020126613.tif 000078
／
2020126613.tif 000079
とし、前記固有のトゥルーラベル、オートラベル及び手動ラベルを有するディフィカルト検証イメージの前記トゥルーラベルを
2020126613.tif 000080
、前記手動ラベルを
2020126613.tif 000081
とする場合、前記手動ラベリング装置４００の信頼度
2020126613.tif 000082
は次のように評価され得る。
2020126613.tif 000083
【０１０４】
次に、前記オートラベリングネットワーク３００の信頼度が前記第１の予め設定された閾値以上である場合、前記信頼度評価装置１００は、前記オートラベリングネットワーク３００から取得された前記固有のオートラベルを有するイージー原本イメージのうち少なくとも一部を固有のトゥルーラベルを有するトレーニングイメージとして選定することができる。
【０１０５】
また、前記手動ラベリング装置４００の信頼度が前記第２の予め設定された閾値以上である場合、前記信頼度評価装置１００は、前記手動ラベリング装置４００から取得された前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち少なくとも一部を前記固有のトゥルーラベルを有するトレーニングイメージとして選定することができる。
【０１０６】
これに加えて、前記信頼度評価装置１００は、前記手動ラベリング装置４００から出力された前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち、前記固有のトゥルーラベルを有するトレーニングイメージとして選定されていない固有のオートラベル及び手動ラベルを有する特定のディフィカルト原本イメージを前記固有のトゥルーラベルを有する検証イメージ候補群として選定して、次回のオートラベリング信頼度を評価するのにおいて前記固有のトゥルーラベルを有する検証イメージ候補群を利用することができる。
【０１０７】
オートラベリングの正確度が高くなると、オートラベリングがトゥルーラベルと一致する場合が多くなって、トゥルーラベルを検収する際に校正作業の必要性が減る。しかし、本発明の実施例によれば、ディフィカルトイメージのみが与えられる場合、前記正確度が高くなっても前記校正作業を遂行することが可能となり、検証イメージだけでなく原本イメージにおいてもディフィカルトイメージが選択されることによって、検収者が検収の可否を区分する可能性が低くなるため、前記検収者に対する正確な評価が行われ得る。
【０１０８】
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【０１０９】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【０１１０】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126613.tif 000116
【図２】
2020126613.tif 000117
【図３】
2020126613.tif 000118
【図４】
2020126613.tif 000119
【図５】
2020126613.tif 000120