(57)【要約】      （修正有）【課題】オートラベリング装置によってオートラベリングされたイメージのうちラベリングするのが難しいイメージを選択して検収することで、検収時間を減らす。【解決手段】ディープラーニングネットワーク学習用のオートラベリングされたイメージでラベル検収のためのサンプルイメージを取得する方法であって、サンプルイメージ取得装置１００は、第１と第２イメージとを生成し、コンボリューションレイヤが第１と第２特徴マップとを生成させ、プーリングレイヤが第１と第２の特徴マップとを生成しコンカチネートされた特徴マップを生成する段階と、ディープラーニング分類器がコンカチネートされた特徴マップを取得してクラス情報を生成する段階及び非正常クラス群の非正常クラス要素の確率を計算し、オートラベリングされたイメージがディフィカルトイメージであるかを判断してラベル検収のためのサンプルイメージとして選定する段階と、を含む。【選択図】図２
2020123330.tif 000002
【特許請求の範囲】
【請求項１】
ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得する方法において、
（ａ）オートラベリングネットワークによってラベリング済みの前記オートラベリングされたイメージが取得されると、サンプルイメージ取得装置が（ｉ）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記オートラベリングされたイメージから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記オートラベリングされたイメージから変形して生成されたイメージであれば、残りの一つは前記オートラベリングされたイメージがそのまま使用され、（ｉｉ）一つ以上のコンボリューションレイヤをもって、一つ以上のコンボリューション演算を前記第１イメージと前記第２イメージとにそれぞれ適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉｉｉ）一つ以上のプーリングレイヤをもって、前記第１特徴マップ上で、前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを生成させ、前記第２特徴マップ上で、前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算をそれぞれ適用して第２プーリング済み特徴マップそれぞれを生成させ、（ｉｖ）前記オートラベリング済みボックスそれぞれに対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリング済みボックスに対応するそれぞれのコンカチネートされた特徴マップを生成する段階；
（ｂ）前記サンプルイメージ取得装置が、ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させる段階；及び、
（ｃ）前記サンプルイメージ取得装置が、（ｉ）それぞれの前記オートラベリング済みボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記オートラベリングされたイメージがディフィカルト（ｄｉｆｆｉｃｕｌｔ）イメージであるかを判断し、（ｉｉｉ）前記オートラベリングされたイメージが前記ディフィカルトイメージとして判断される場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定し、前記ディフィカルトイメージは不正確にオートラベリングされる確率が予め設定された値以上であるイメージである段階；
を含むことを特徴とする方法。
【請求項２】
前記（ａ）段階で、
前記サンプルイメージ取得装置は、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数とこれに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する、前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成し、
前記（ｃ）段階で、
前記サンプルイメージ取得装置は、それぞれの前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応する前記非正常クラス要素それぞれの各確率を計算し、前記それぞれの確率に対する少なくとも一つの重み付け平均を計算することを特徴とする請求項１に記載の方法。
【請求項３】
前記非正常クラス群は、誤検出（ｍｉｓｄｅｔｅｃｔｉｏｎ）クラス群と未検出（ｎｏｎ−ｄｅｔｅｃｔｉｏｎ）クラス群とを含み、
前記非正常クラス要素それぞれの各確率は、前記誤検出クラス群の誤検出クラス要素それぞれの確率と前記未検出クラス群の未検出クラス要素それぞれの確率とを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｃ）段階で、
前記不正確にオートラベリングされる確率は、前記非正常クラス要素それぞれの確率に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ  ｍｅａｎ）であることを特徴とする請求項１に記載の方法。
【請求項５】
前記予め設定された値は、前記オートラベリングネットワークを通じてオートラベリングされた後、手動で検収された検証イメージに対する正答的中率のうち最も高い的中率であることを特徴とする請求項１に記載の方法。
【請求項６】
（ｄ）前記サンプルイメージ取得装置は、前記ディフィカルトイメージとして判断された前記オートラベリングされたイメージ上で、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別する段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
それぞれの前記コンボリューションレイヤは、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであることを特徴とする請求項１に記載の方法。
【請求項８】
前記ディープラーニング分類器は、多重のＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）レイヤまたは一つのＦＣＮ（ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）を含むことを特徴とする請求項１に記載の方法。
【請求項９】
学習装置によって、前記ディープラーニング分類器は、（ｉ）前記オートラベリング済みボックスに対応するトゥルーボックスとオートボックスとを含む少なくとも一つのトレーニングイメージが取得されると、（ｉ−１）学習用コンボリューションレイヤをもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴マップを生成させ、（ｉ−２）学習用プーリングレイヤをもって、前記学習用特徴マップ上で前記オートボックスに対応する領域それぞれに前記学習用プーリングレイヤのプーリング演算を適用して、学習用プーリング済み特徴マップを生成させ、（ｉｉ）前記オートボックスそれぞれに対応する前記学習用プーリング済み特徴マップそれぞれを入力として取得して、前記オートボックスを前記正常クラス群または前記非正常クラス群に分類する前記クラス情報を生成し、（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上のロスを算出させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器のパラメータのうち少なくとも一部を学習することを特徴とする請求項１に記載の方法。
【請求項１０】
前記クラス情報は、誤検出クラス群と未検出クラス群とを有する前記非正常クラス群を含み、
（ｉ）前記誤検出クラス群は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のどのトゥルーボックスとも第１の予め設定された閾値以上に重なっていない場合に該当し、（ｉｉ）前記未検出クラス群は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが他のどのオートボックスとも第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し、前記正常クラス群は、前記誤検出クラス群と前記未検出クラス群とを除いたすべてのクラス群を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記学習装置は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群の個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにすることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記学習装置は、ランダムサンプリングを利用して、前記誤検出クラス群の要素の個数、前記未検出クラス群の要素の個数、及び前記正常クラス群の要素の個数を調整することを特徴とする請求項１０に記載の方法。
【請求項１３】
前記学習装置は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することを特徴とする請求項９に記載の方法。
【請求項１４】
ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得するサンプルイメージ取得装置において、
各インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）オートラベリングネットワークによってラベリング済みの前記オートラベリングされたイメージが取得されると、（ｉ）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記オートラベリングされたイメージから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記オートラベリングされたイメージから変形して生成されたイメージであれば、残りの一つは前記オートラベリングされたイメージがそのまま使用され、（ｉｉ）一つ以上のコンボリューションレイヤをもって、一つ以上のコンボリューション演算を前記第１イメージと前記第２イメージとにそれぞれ適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉｉｉ）一つ以上のプーリングレイヤをもって、前記第１特徴マップ上で、前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを生成させ、前記第２特徴マップ上で、前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算をそれぞれ適用して第２プーリング済み特徴マップそれぞれを生成させ、（ｉｖ）前記オートラベリング済みボックスそれぞれに対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリング済みボックスに対応するそれぞれのコンカチネートされた特徴マップを生成するプロセス、（ＩＩ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させるプロセス、及び（ＩＩＩ）（ｉ）それぞれの前記オートラベリング済みボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記オートラベリングされたイメージがディフィカルトイメージであるかを判断し、（ｉｉｉ）前記オートラベリングされたイメージが前記ディフィカルトイメージとして判断される場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定し、前記ディフィカルトイメージは不正確にオートラベリングされる確率が予め設定された値以上であるイメージであるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするサンプルイメージ取得装置。
【請求項１５】
前記（Ｉ）プロセスで、
前記プロセッサは、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数と、それに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する、前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成し、
前記（ＩＩＩ）プロセスで、
前記プロセッサは、それぞれの前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応する前記非正常クラス要素それぞれの各確率を計算し、前記それぞれの確率に対する少なくとも一つの重み付け平均を計算することを特徴とする請求項１４に記載のサンプルイメージ取得装置。
【請求項１６】
前記非正常クラス群は、誤検出（ｍｉｓｄｅｔｅｃｔｉｏｎ）クラス群と未検出（ｎｏｎ−ｄｅｔｅｃｔｉｏｎ）クラス群とを含み、前記非正常クラス要素それぞれの各確率は、前記誤検出クラス群の誤検出クラス要素それぞれの確率と前記未検出クラス群の未検出クラス要素それぞれの確率とを含むことを特徴とする請求項１４に記載のサンプルイメージ取得装置。
【請求項１７】
前記（ＩＩＩ）プロセスで、
前記不正確にオートラベリングされる確率は、前記非正常クラス要素それぞれの確率に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ  ｍｅａｎ）であることを特徴とする請求項１４に記載のサンプルイメージ取得装置。
【請求項１８】
前記予め設定された値は、前記オートラベリングネットワークを通じてオートラベリングされた後、手動で検収された検証イメージに対する正答的中率のうち最も高い的中率であることを特徴とする請求項１４に記載のサンプルイメージ取得装置。
【請求項１９】
前記プロセッサは、（ＩＶ）前記ディフィカルトイメージとして判断された前記オートラベリングされたイメージ上で、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別するプロセス；を更に遂行することを特徴とする請求項１４に記載のサンプルイメージ取得装置。
【請求項２０】
それぞれの前記コンボリューションレイヤは、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであることを特徴とする請求項１４に記載のサンプルイメージ取得装置。
【請求項２１】
前記ディープラーニング分類器は、多重のＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）レイヤまたは一つのＦＣＮを含むことを特徴とする請求項１４に記載のサンプルイメージ取得装置。
【請求項２２】
学習装置によって、前記ディープラーニング分類器は、（ｉ）前記オートラベリング済みボックスに対応するトゥルーボックスとオートボックスとを含む少なくとも一つのトレーニングイメージが取得されると、（ｉ−１）学習用コンボリューションレイヤをもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴マップを生成させ、（ｉ−２）学習用プーリングレイヤをもって、前記学習用特徴マップ上で前記オートボックスに対応する領域それぞれに前記学習用プーリングレイヤのプーリング演算を適用して、学習用プーリング済み特徴マップを生成させ、（ｉｉ）前記オートボックスそれぞれに対応する前記学習用プーリング済み特徴マップそれぞれを入力として取得して、前記オートボックスを前記正常クラス群または前記非正常クラス群に分類する前記クラス情報を生成し、（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上のロスを算出させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器のパラメータのうち少なくとも一部を学習することを特徴とする請求項１４に記載のサンプルイメージ取得装置。
【請求項２３】
前記クラス情報は、誤検出クラス群と未検出クラス群とを有する前記非正常クラス群を含み、
（ｉ）前記誤検出クラス群は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のどのトゥルーボックスとも第１の予め設定された閾値以上に重なっていない場合に該当し、（ｉｉ）前記未検出クラス群は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが他のどのオートボックスとも第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し、前記正常クラス群は、前記誤検出クラス群と前記未検出クラス群とを除いたすべてのクラス群を含むことを特徴とする請求項２２に記載のサンプルイメージ取得装置。
【請求項２４】
前記学習装置は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群の個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにすることを特徴とする請求項２３に記載のサンプルイメージ取得装置。
【請求項２５】
前記学習装置は、ランダムサンプリングを利用して、前記誤検出クラス群の要素の個数、前記未検出クラス群の要素の個数、及び前記正常クラス群の要素の個数を調整することを特徴とする請求項２３に記載のサンプルイメージ取得装置。
【請求項２６】
前記学習装置は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することを特徴とする請求項２２に記載のサンプルイメージ取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得する方法及び装置に関する。
【背景技術】
【０００２】
近年、機械学習（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）を利用して物体を識別する方法等に関する研究が行われている。このような機械学習の一環として、入力レイヤと出力レイヤとの間に複数個のヒドゥンレイヤ（ｈｉｄｄｅｎ  ｌａｙｅｒ）を有するニューラルネットワークを利用したディープラーニングは高い識別性能を有する。
【０００３】
そして、前記ディープラーニングを利用する前記ニューラルネットワークは、一般的にロスを利用したバックプロパゲーションを通じて学習する。
【０００４】
このようなディープラーニングネットワークの学習を進めるためには、ラベラー（ｌａｂｅｌｅｒ）によって個別データポイントにタグ、すなわち、ラベルを追加したトレーニングデータが必要である。このようなトレーニングデータを準備すること（すなわち、データを正確に分類すること）は、特に大量のトレーニングデータを利用する場合とデータの前処理の品質が持続的に高くない場合、労働集約的であり、費用が多くかかって煩雑であり得る。従来の相互的なラベリングは、費用が高く好ましい結果を導き出すことができない。
【０００５】
したがって、最近ではディープラーニング基盤のオートラベリング装置を利用してトレーニングイメージにタグ、すなわちラベルを追加するオートラベリングを遂行し、検収者がオートラベリングされたトレーニングイメージを検収して前記タグや前記ラベルを校正する。
【０００６】
しかし、このような従来の方法においては、前記オートラベリング装置の処理率（ｔｈｒｏｕｇｈｐｕｔ）に比べて検収者の処理率が低いため、トレーニングイメージ全てにトゥルーラベルを生成するのには長時間が所要される。処理率を全般的に向上させるためには検収者の数を増やさなければならないが、この場合には費用が増加するという問題点がある。
【０００７】
また、前記オートラベリング装置の前記処理率に堪えるだけの多数の熟練した検収者を確保するのにも困難がある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、前述の問題点を全て解決することをその目的とする。
【０００９】
本発明はオートラベリングを行うことで全てのトレーニングイメージのラベリング処理率（ｔｈｒｏｕｇｈｐｕｔ）を向上させることを他の目的とする。
【００１０】
本発明は、検収者の数を減らし、かつ前記オートラベリングの処理率を最大値に維持することをまた他の目的とする。
【００１１】
本発明は、熟練していない検収者が前記オートラベリング装置の処理率に遅れをとらないようにしつつラベル検収を行うようにすることをまた他の目的とする。
【課題を解決するための手段】
【００１２】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下の通りである。
【００１３】
本発明の一態様によると、ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得する方法において、（ａ）オートラベリングネットワークによってラベリング済みの前記オートラベリングされたイメージが取得されると、サンプルイメージ取得装置が（ｉ）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記オートラベリングされたイメージから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記オートラベリングされたイメージから変形して生成されたイメージであれば、残りの一つは前記オートラベリングされたイメージがそのまま使用され、（ｉｉ）一つ以上のコンボリューションレイヤをもって、一つ以上のコンボリューション演算を前記第１イメージと前記第２イメージとにそれぞれ適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉｉｉ）一つ以上のプーリングレイヤをもって、前記第１特徴マップ上で、前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを生成させ、前記第２特徴マップ上で、前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算をそれぞれ適用して第２プーリング済み特徴マップそれぞれを生成させ、（ｉｖ）前記オートラベリング済みボックスそれぞれに対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、それぞれの前記オートラベリング済みボックスに対応するそれぞれのコンカチネートされた特徴マップを生成する段階；（ｂ）前記サンプルイメージ取得装置が、ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させる段階；及び、（ｃ）前記サンプルイメージ取得装置が、（ｉ）それぞれの前記オートラベリング済みボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記オートラベリングされたイメージがディフィカルト（ｄｉｆｆｉｃｕｌｔ）イメージであるかを判断し、（ｉｉｉ）前記オートラベリングされたイメージが前記ディフィカルトイメージとして判断される場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定し、前記ディフィカルトイメージは不正確にオートラベリングされる確率が予め設定された値以上であるイメージである段階；を含むことを特徴とする方法が開示される。
【００１４】
一実施例において、前記（ａ）段階で、前記サンプルイメージ取得装置は、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数とこれに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する、前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成し、前記（ｃ）段階で、前記サンプルイメージ取得装置は、それぞれの前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応する前記非正常クラス要素それぞれの各確率を計算し、前記それぞれの確率に対する少なくとも一つの重み付け平均を計算することを特徴とする。
【００１５】
一実施例において、前記非正常クラス群は、誤検出（ｍｉｓｄｅｔｅｃｔｉｏｎ）クラス群と未検出（ｎｏｎ−ｄｅｔｅｃｔｉｏｎ）クラス群とを含み、前記非正常クラス要素それぞれの各確率は、前記誤検出クラス群の誤検出クラス要素それぞれの確率と前記未検出クラス群の未検出クラス要素それぞれの確率とを含むことを特徴とする。
【００１６】
一実施例において、前記（ｃ）段階で、前記不正確にオートラベリングされる確率は、前記非正常クラス要素それぞれの確率に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ  ｍｅａｎ）であることを特徴とする。
【００１７】
一実施例において、前記予め設定された値は、前記オートラベリングネットワークを通じてオートラベリングされた後、手動で検収された検証イメージに対する正答的中率のうち最も高い的中率であることを特徴とする。
【００１８】
一実施例において、（ｄ）前記サンプルイメージ取得装置は、前記ディフィカルトイメージとして判断された前記オートラベリングされたイメージ上で、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別する段階；をさらに含むことを特徴とする。
【００１９】
一実施例において、それぞれの前記コンボリューションレイヤは、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであることを特徴とする。
【００２０】
一実施例において、前記ディープラーニング分類器は、多重のＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）レイヤまたは一つのＦＣＮ（ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）を含むことを特徴とする。
【００２１】
一実施例において、学習装置によって、前記ディープラーニング分類器は、（ｉ）前記オートラベリング済みボックスに対応するトゥルーボックスとオートボックスとを含む少なくとも一つのトレーニングイメージが取得されると、（ｉ−１）学習用コンボリューションレイヤをもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴マップを生成させ、（ｉ−２）学習用プーリングレイヤをもって、前記学習用特徴マップ上で前記オートボックスに対応する領域それぞれに前記学習用プーリングレイヤのプーリング演算を適用して、学習用プーリング済み特徴マップを生成させ、（ｉｉ）前記オートボックスそれぞれに対応する前記学習用プーリング済み特徴マップそれぞれを入力として取得して、前記オートボックスを前記正常クラス群または前記非正常クラス群に分類する前記クラス情報を生成し、（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上のロスを算出させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器のパラメータのうち少なくとも一部を学習することを特徴とする。
【００２２】
一実施例において、前記クラス情報は、誤検出クラス群と未検出クラス群とを有する前記非正常クラス群を含み、（ｉ）前記誤検出クラス群は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のどのトゥルーボックスとも第１の予め設定された閾値以上に重なっていない場合に該当し、（ｉｉ）前記未検出クラス群は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが他のどのオートボックスとも第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し、前記正常クラス群は、前記誤検出クラス群と前記未検出クラス群とを除いたすべてのクラス群を含むことを特徴とする。
【００２３】
一実施例において、前記学習装置は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群の個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにすることを特徴とする。
【００２４】
一実施例において、前記学習装置は、ランダムサンプリングを利用して、前記誤検出クラス群の要素の個数、前記未検出クラス群の要素の個数、及び前記正常クラス群の要素の個数を調整することを特徴とする。
【００２５】
一実施例において、前記学習装置は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することを特徴とする。
【００２６】
本発明の他の態様によると、ディープラーニングネットワーク学習のための少なくとも一つのオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得するサンプルイメージ取得装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）オートラベリングネットワークによってラベリング済みの前記オートラベリングされたイメージが取得されると、（ｉ）第１イメージと第２イメージとを生成し、このうち少なくとも一つは前記オートラベリングされたイメージから変形して生成され、前記第１イメージと前記第２イメージとのうち一つだけが前記オートラベリングされたイメージから変形して生成されたイメージであれば、残りの一つは前記オートラベリングされたイメージがそのまま使用され、（ｉｉ）一つ以上のコンボリューションレイヤをもって、一つ以上のコンボリューション演算を前記第１イメージと前記第２イメージとにそれぞれ適用して少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを生成させ、（ｉｉｉ）一つ以上のプーリングレイヤをもって、前記第１特徴マップ上で、前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを生成させ、前記第２特徴マップ上で、前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算をそれぞれ適用して第２プーリング済み特徴マップそれぞれを生成させ、（ｉｖ）前記オートラベリング済みボックスそれぞれに対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネートして、それぞれの前記オートラベリング済みボックスに対応するそれぞれのコンカチネートされた特徴マップを生成するプロセス、（ＩＩ）ディープラーニング分類器（ｃｌａｓｓｉｆｉｅｒ）をもって、それぞれの前記コンカチネートされた特徴マップを入力として取得して、それぞれの前記オートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を生成させるプロセス、及び（ＩＩＩ）（ｉ）それぞれの前記オートラベリング済みボックスに関するそれぞれの前記クラス情報を参照して前記非正常クラス群の各非正常クラス要素の確率それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素の前記確率それぞれを利用して前記オートラベリングされたイメージがディフィカルトイメージであるかを判断し、（ｉｉｉ）前記オートラベリングされたイメージが前記ディフィカルトイメージとして判断される場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定し、前記ディフィカルトイメージは不正確にオートラベリングされる確率が予め設定された値以上であるイメージであるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００２７】
一実施例において、前記プロセッサは、前記（Ｉ）プロセスで、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数と、それに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する、前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成し、前記（ＩＩＩ）プロセスで、前記プロセッサは、それぞれの前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応する前記非正常クラス要素それぞれの各確率を計算し、前記それぞれの確率に対する少なくとも一つの重み付け平均を計算することを特徴とする。
【００２８】
一実施例において、前記非正常クラス群は、誤検出（ｍｉｓｄｅｔｅｃｔｉｏｎ）クラス群と未検出（ｎｏｎ−ｄｅｔｅｃｔｉｏｎ）クラス群とを含み、前記非正常クラス要素それぞれの各確率は、前記誤検出クラス群の誤検出クラス要素それぞれの確率と前記未検出クラス群の未検出クラス要素それぞれの確率とを含むことを特徴とする。
【００２９】
一実施例において、前記（ＩＩＩ）プロセスで、前記不正確にオートラベリングされる確率は、前記非正常クラス要素それぞれの確率に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ  ｍｅａｎ）であることを特徴とする。
【００３０】
一実施例において、前記予め設定された値は、前記オートラベリングネットワークを通じてオートラベリングされた後、手動で検収された検証イメージに対する正答的中率のうち最も高い的中率であることを特徴とする。
【００３１】
一実施例において、前記プロセッサは、（ＩＶ）前記ディフィカルトイメージとして判断された前記オートラベリングされたイメージ上で、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別するプロセス；を更に遂行することを特徴とする。
【００３２】
一実施例において、それぞれの前記コンボリューションレイヤは、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであることを特徴とする。
【００３３】
一実施例において、前記ディープラーニング分類器は、多重のＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）レイヤまたは一つのＦＣＮを含むことを特徴とする。
【００３４】
一実施例において、学習装置によって、前記ディープラーニング分類器は、（ｉ）前記オートラベリング済みボックスに対応するトゥルーボックスとオートボックスとを含む少なくとも一つのトレーニングイメージが取得されると、（ｉ−１）学習用コンボリューションレイヤをもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴マップを生成させ、（ｉ−２）学習用プーリングレイヤをもって、前記学習用特徴マップ上で前記オートボックスに対応する領域それぞれに前記学習用プーリングレイヤのプーリング演算を適用して、学習用プーリング済み特徴マップを生成させ、（ｉｉ）前記オートボックスそれぞれに対応する前記学習用プーリング済み特徴マップそれぞれを入力として取得して、前記オートボックスを前記正常クラス群または前記非正常クラス群に分類する前記クラス情報を生成し、（ｉｉｉ）少なくとも一つのロスレイヤをもって、前記クラス情報とこれに対応する一つ以上の原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上のロスを算出させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器のパラメータのうち少なくとも一部を学習することを特徴とする。
【００３５】
一実施例において、前記クラス情報は、誤検出クラス群と未検出クラス群とを有する前記非正常クラス群を含み、（ｉ）前記誤検出クラス群は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のどのトゥルーボックスとも第１の予め設定された閾値以上に重なっていない場合に該当し、（ｉｉ）前記未検出クラス群は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが他のどのオートボックスとも第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し、前記正常クラス群は、前記誤検出クラス群と前記未検出クラス群とを除いたすべてのクラス群を含むことを特徴とする。
【００３６】
一実施例において、前記学習装置は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群の個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにすることを特徴とする。
【００３７】
一実施例において、前記学習装置は、ランダムサンプリングを利用して、前記誤検出クラス群の要素の個数、前記未検出クラス群の要素の個数、及び前記正常クラス群の要素の個数を調整することを特徴とする。
【００３８】
一実施例において、前記学習装置は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することを特徴とする。
【００３９】
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００４０】
本発明は、オートラベリング装置によってオートラベリングされたイメージのうちラベリングするのが難しいイメージを選択して検収することで、検収時間を減らすことができる効果がある。
【００４１】
また、本発明は、ラベリングするのが難しい前記イメージを検収することにより、熟練していない検収者であっても前記オートラベリングネットワークの処理率（ｔｈｒｏｕｇｈｐｕｔ）に遅れをとらないようにすることで、全体の前記トレーニングイメージをラベリングする処理率を向上させ得る効果がある。
【００４２】
また、本発明は、ラベリングするのが難しい前記イメージを検収することにより、検収者の数を減らすことが可能となるため、手動ラベリングのためのサンプリング過程を最適化し、注釈（ａｎｎｏｔａｔｉｏｎ）費用を節減することができる効果がある。
【図面の簡単な説明】
【００４３】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図１】図１は、本発明の一実施例にしたがって、ニューラルネットワークの学習に利用するための一つ以上のオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得するサンプルイメージ取得装置を簡略に示した図面である。
【図２】図２は、本発明の一実施例にしたがって、前記ニューラルネットワークの学習に利用するための前記オートラベリングされたイメージのうちでラベル検収のための前記サンプルイメージを取得する方法を簡略に示した図面である。
【図３】図３は、本発明の一実施例にしたがって前記ニューラルネットワークの学習に利用するための前記オートラベリングされたイメージ上のオートラベリング済みボックスのクラスを分類するディープラーニング分類器を学習する方法を簡略に示した図面である。
【発明を実施するための形態】
【００４４】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
【００４５】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４６】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００４７】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４８】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００４９】
図１は、本発明の一実施例にしたがってニューラルネットワークの学習に利用するための一つ以上のオートラベリングされたイメージのうちでラベル検収のための少なくとも一つのサンプルイメージを取得するサンプルイメージ取得装置を簡略に示した図面である。図１を参照すると、前記サンプルイメージ取得装置１００は、前記オートラベリングされたイメージのうちでラベル検収のための前記サンプルイメージを取得するためのインストラクションを格納するメモリ１１０と、前記メモリ１１０に格納された前記各インストラクションに対応して前記オートラベリングされたイメージのうちでラベル検収のための前記サンプルイメージを取得するためのプロセスを遂行するプロセッサ１２０を含むことができる。
【００５０】
具体的に、前記サンプルイメージ取得装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。
【００５１】
また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェアの構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。
【００５２】
しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
【００５３】
本発明の一実施例にしたがって前記ニューラルネットワークの学習に利用される前記オートラベリングされたイメージのうちでラベル検収のための前記サンプルイメージを取得する方法について、図２を参照して説明すると以下のとおりである。この場合、前記ニューラルネットワークは、前記サンプルイメージ取得装置１００を利用してイメージ分析を遂行することができる。
【００５４】
まず、オートラベリングネットワークを通じてラベリング済みの前記オートラベリングされたイメージが取得されると、前記サンプルイメージ取得装置１００が、イメージ変形レイヤ１５０をもって、前記オートラベリングされたイメージをそのまま使用するか、これを変形（ｔｒａｎｓｆｏｒｍ）して第１イメージと第２イメージとを生成させる。この際、前記第１イメージ及び前記第２イメージのうち少なくとも一つは前記オートラベリングされたイメージから変形して生成されたイメージであり得る。また、前記オートラベリングされたイメージは、トゥルーボックスを含む検証イメージを含むことができ、前記検証イメージは、前記オートラベリング及び手動ラベリングの結果を評価するために使用され得る。
【００５５】
一方、前記サンプルイメージ取得装置１００は、前記イメージ変形レイヤ１５０をもって、前記第１イメージと前記第２イメージとを生成するのにおいて、前記第１イメージを変形する一つ以上の第１関数と、それに対応して前記第２イメージを変形する第２関数とを含む一つ以上の変形ペアを利用して、前記オートラベリングされたイメージに対応する前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成させることができる。
【００５６】
一例として、前記変形ペアは以下のように表される。
【表１】
2020123330.tif 000003
【００５７】
すなわち、前記オートラベリングされたイメージによって設定された前記変形ペアに対応する、前記第１イメージと前記第２イメージとの一つ以上のイメージペアを生成することができる。前記においては前記変形ペアに対する例示として６つの例示を示したが、本発明の範囲はこれに限定されるわけではなく、前記変形ペアの個数は任意の個数に設定することができる。
【００５８】
次に、前記サンプルイメージ取得装置１００は、一つ以上のコンボリューションレイヤ１６０をもって、前記第１イメージと前記第２イメージとにそれぞれ一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを出力させる。
【００５９】
この際、それぞれの前記コンボリューションレイヤ１６０は、前記オートラベリングネットワークを構成する少なくとも一つのオートラベリングコンボリューションレイヤであり得る。すなわち、前記オートラベリングネットワークが多数の変形の組合せを使用する場合、前記変形ペアは、前記オートラベリングネットワークが使用する前記変形としてのみ定義され得、それに伴って前記オートラベリングネットワークの前記オートラベリングコンボリューションレイヤから出力された特徴マップがさらなる過程なしにそのまま使用され得るので、前記特徴マップの演算に所要される時間を節減することができるようになる。
【００６０】
以後、前記サンプルイメージ取得装置１００は、一つ以上のプーリングレイヤ１７０をもって、前記第１特徴マップ上で前記オートラベリングされたイメージのオートラベリング済みボックスそれぞれに対応する各領域に一つ以上のプーリング演算を適用してそれぞれの第１プーリング済み特徴マップを出力させ、前記第２特徴マップ上で前記オートラベリングされたイメージの前記オートラベリング済みボックスそれぞれに対応する各領域に前記プーリング演算を適用してそれぞれの第２プーリング済み特徴マップを出力させ、前記それぞれのオートラベリング済みボックスにそれぞれ対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの前記第２プーリング済み特徴マップとをコンカチネートして前記オートラベリング済みボックスそれぞれに対応するそれぞれのコンカチネートされた特徴マップを生成する。
【００６１】
この際、図２では二つのコンボリューションレイヤ１６０と、二つのプーリングレイヤ１７０が示されているが、これとは異なって一つのコンボリューションレイヤと一つのプーリングレイヤが、前記第１イメージと第２イメージとに前記コンボリューション演算を適用し、前記第１特徴マップと前記第２特徴マップとに前記プーリング演算を適用するためにそれぞれ使用されてもよい。
【００６２】
そして、前記サンプルイメージ取得装置１００は、少なくとも一つのディープラーニング分類器１８０をもって、前記それぞれのコンカチネートされた特徴マップを入力として取得して、前記それぞれのオートラベリング済みボックスを非正常クラス群または正常クラス群に分類するクラス情報を出力させることができる。
【００６３】
この際、前記非正常クラス群は、誤検出クラス群と未検出クラス群とを含むことができ、前記正常クラス群は物体に分類されたボックスに関するクラス群と背景に分類されたボックスに関するクラス群とを含むことができ、前記ボックスは前記非正常クラス群に含まれていない前記オートラベリング済みボックスのうち少なくとも一部である。前記オートラベリング済みボックスに関する分類については、下記のように前記ディープラーニング分類器１８０の学習方法で説明することにする。
【００６４】
以後、前記サンプルイメージ取得装置１００は、少なくとも一つのディフィカルト（ｄｉｆｆｉｃｕｌｔ）イメージ判別レイヤ１９０をもって、（ｉ）前記それぞれのオートラベリング済みボックスの各クラス情報を参照して、前記非正常クラス群のそれぞれの非正常クラス要素に対する確率値それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素に関する前記確率値それぞれを利用して、前記オートラベリングされたイメージが、追って説明されるディフィカルトイメージであるかを判断させる。
【００６５】
この際、前記ディープラーニング分類器１８０の出力にシグモイド関数が適用された後、それぞれの前記非正常クラス要素の各確率値が計算され得る。それぞれの前記非正常クラス要素の各確率値は、前記誤検出クラス群の誤検出クラス要素に対するそれぞれの確率値と前記未検出クラス群の未検出クラス要素に対するそれぞれの確率値とを含むことができる。
【００６６】
一例として、前記誤検出クラス要素ＦＰに対する確率値は、ｐ（ｂｉ：ＦＰ｜ＩＡ，ＩＢ）で表すことができ、前記未検出クラス要素ＦＮに対する確率値は、ｐ（ｂｉ：ＦＮ｜ＩＡ，ＩＢ）で表すことができる。
【００６７】
この際、ｂｉは、前記オートラベリング済みボックスのうち一つのオートラベリング済みボックスであり、ＩＡとＩＢそれぞれ前記第１イメージと前記第２イメージを表す。
【００６８】
また、前記サンプルイメージ取得装置１００は、各前記オートラベリング済みボックスごとに、前記変形ペアそれぞれに対応するそれぞれの前記非正常クラス要素に対するそれぞれの確率値を計算し、前記算出された確率値の少なくとも一つの重み付け平均を計算することができる。
【００６９】
すなわち、前記誤検出クラス要素に対する確率値ｐ（ｂｉ：ＦＰ）と前記未検出クラス要素に対する確率値ｐ（ｂｉ：ＦＮ）は以下のように示し得る。
【数１】
2020123330.tif 000004
【００７０】
この場合、前記誤検出クラス要素に対する確率値ｐ（ｂｉ：ＦＰ）と前記未検出クラス要素に対する確率値ｐ（ｂｉ：ＦＮ）とは重み付け値に対する線形関数であるため、Σｊｗｊ＝１の制約条件のある制約最適化（Ｃｏｎｓｔｒａｉｎｅｄ  ｏｐｔｉｍｉｚａｔｉｏｎ）により前記重み付け値の最適化が可能になる。
【００７１】
そして、それぞれの前記非正常クラス要素の確率値に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ  ｍｅａｎ）が予め設定された値以上である場合、前記サンプルイメージ取得装置１００は、前記オートラベリングされたイメージを前記ディフィカルトイメージとして判断することができる。
【００７２】
一例として、前記サンプルイメージ取得装置１００は、各オートラベリング済みボックスごとの、前記誤検出クラス要素に対する各確率値ｐ（ｂｉ：ＦＰ）と前記未検出クラス要素に対する各確率値ｐ（ｂｉ：ＦＮ）とを参照して、前記オートラベリングされたイメージが前記ディフィカルトイメージである確率値ｐ（Ｉ：Ｄｉｆｆｉｃｕｌｔ）を次のような一般化された平均として計算することができる。
【数２】
2020123330.tif 000005
【００７３】
そして、各オートラベリング済みボックスごとの、前記誤検出クラス要素に対する各確率値ｐ（ｂｉ：ＦＰ）と前記未検出クラス要素に対する各確率ｐ（ｂｉ：ＦＮ）とを参照して計算したそれぞれの前記確率値ｐ（Ｉ：Ｄｉｆｆｉｃｕｌｔ）が前記予め設定された値以上である場合、前記サンプルイメージ取得装置１００は、前記オートラベリングされたイメーを前記ディフィカルトイメージとして判断することができる。ここで、前記ディフィカルトイメージは、不正確にオートラベリングされる確率が前記予め設定された値以上であるイメージを示し得る。
【００７４】
この際、前記予め設定された値は、前記オートラベリングネットワークのオートラベリングプロセス以後に手動で検収された前記検証イメージに対する正答的中率のうち最も高い的中率であり得る。
【００７５】
次に、前記サンプルイメージ取得装置１００は、前記オートラベリングされたイメージが前記ディフィカルトイメージである場合、前記オートラベリングされたイメージをラベル検収のための前記サンプルイメージとして選定する。
【００７６】
以後、前記サンプルイメージ取得装置１００は、前記ディフィカルトイメージとして選定された前記オートラベリングされたイメージ上の、前記非正常クラス群に分類された前記オートラベリング済みボックスに対応する領域を識別して検収者が容易に検査し得るようにすることができる。
【００７７】
一方、前記ディープラーニング分類器は、多重のＦＣレイヤまたはＦＣＮ（ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）を含むことができ、前記ディープラーニング分類器を学習する過程を、図３を参照して説明すると以下のとおりである。
【００７８】
まず、前記オートラベリングネットワークによってラベリングされたオートボックスを有する少なくとも一つのトレーニングイメージが取得されると、学習装置２００が一つ以上の学習用コンボリューションレイヤ２６０をもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して少なくとも一つの学習用特徴マップを出力させる。
【００７９】
この際、前記トレーニングイメージの前記オートボックスは、前記オートラベリングネットワークを通じてラベリングされた前記オートボックスとは異なり、学習のために任意に生成されたものでもあり得る。
【００８０】
また、前記学習装置２００は、前記ディープラーニングクラス分類器の学習のための各インストラクションを格納するメモリ（図示せず）と、前記メモリに格納された前記各インストラクションに対応して前記ディープラーニングクラス分類器に対する学習を遂行するプロセッサ（図示せず）を含むことができる。
【００８１】
具体的に、前記学習装置２００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェアの構成を含むことができる。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサである場合を排除するものではない。
【００８２】
次に、前記学習装置２００は、学習用プーリングレイヤ２７０をもって、前記学習用プーリングレイヤの一つ以上のプーリング演算を、前記学習用特徴マップ上で前記オートボックスそれぞれに対応するそれぞれの領域にそれぞれ適用して一つ以上の学習用プーリング済み特徴マップを出力させる。
【００８３】
以後、前記学習装置２００は、前記ディープラーニング分類器２８０をもって、前記オートボックスそれぞれに対応するそれぞれの前記学習用プーリング済み特徴マップを入力として取得して、前記オートボックスを前記非正常クラス群または前記正常クラス群に分類する前記クラス情報を出力させる。
【００８４】
この場合、前記クラス情報は、前記誤検出クラス群と前記未検出クラス群とを有する前記非正常クラス群を含むことができる。そして、前記クラス情報は２次元出力を含むことができる。
【００８５】
一例として、前記誤検出クラス群ＦＰ、ｙｉ＝[１，０］は、第１特定のオートボックスと同一のクラス情報を有する第１特定のトゥルーボックスが他のトゥルーボックスと前記第１の予め設定された閾値以上に重なっていない場合に該当し得る。
【００８６】
2020123330.tif 000006
【００８７】
そして、前記未検出クラス群ＦＮ、ｙｉ＝[０，１］は、第２特定のトゥルーボックスと同一のクラス情報を有する第２特定のオートボックスが、他のオートボックスと前記第２の予め設定された閾値以上に重なっていない状態で、第３特定のオートボックスが前記第２特定のトゥルーボックスと第３の予め設定された閾値以上に重なっている場合に該当し得る。
【００８８】
2020123330.tif 000007
【００８９】
一例として、前記においてα＝０．９、β＝０．５と設定され得るが、これに限定されるわけではない。
【００９０】
そして、前記正常クラス群ｙｉ＝[０，０］は、前記誤検出クラス群及び前記未検出クラス群以外の他のクラス群を含むことができ、前記物体と前記背景に対応し得る。
【００９１】
一方、前記クラスの不均衡を予防するために、前記学習装置２００は、前記誤検出クラス群、前記未検出クラス群及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数が多いクラス群の個数が、要素個数が少ない残りのクラス群個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにする。
【００９２】
この際、前記学習装置２００は、前記誤検出クラス群ＦＰの要素の個数、前記未検出クラス群ＦＮの要素の個数、及び前記正常クラス群の要素の個数を、ランダムサンプリングを利用して調整することができる。
【００９３】
次に、前記学習装置２００は、少なくとも一つの、レイヤ２８１をもって、それぞれの前記オートラベリング済みボックスに対する前記各クラス情報と、これに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上のロスを計算させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器２８０のパラメータのうち少なくとも一部を学習することができる。
【００９４】
この際、前記学習装置２００は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することができる。
【００９５】
一方、前記学習は、前記ディープラーニング分類器２８０を構成するニューラルネットワーク内に連結された二つのレイヤのシナプス強度である重み付け値を、ロスが小さくなるように調整するものであり得る。
【００９６】
一例として、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ、ＳＧＤ）を利用して前記バックプロパゲーションを遂行する場合には、次のようにそれぞれの重み付け値を調整することができる。
【数３】
2020123330.tif 000008
【００９７】
前記において、ｌｒは学習率を示し、Ｃは費用関数（Ｃｏｓｔ  ｆｕｎｃｔｉｏｎ）を示す。
【００９８】
この際、前記費用関数は、指導学習、非指導学習、自律学習、及び強化学習などのような学習の形態と活性化関数のような各要因によって決定され得る。
【００９９】
例えば、多重クラス（ｍｕｌｔｉ−ｃｌａｓｓ）分類の問題を解決するための学習を遂行する場合に、一般的に前記活性化関数と前記費用関数とはそれぞれソフトマックス関数とクロスエントロピー関数として決定される。
【０１００】
2020123330.tif 000009
【０１０１】
この際、ｐｊはクラス確率（ｃｌａｓｓ  ｐｒｏｂａｂｉｌｉｔｙ）を示し、ｘｊとｘｋはそれぞれユニットｊとしての全体入力とユニットｋとしての全体入力を示し得る。そして、ｄｊは、出力ユニットｊに対する目標確率（ｔａｒｇｅｔ  ｐｒｏｂａｂｉｌｉｔｙ）を示し、ｐｊは当該活性化関数を適用した後の前記出力ユニットｊに対する確率出力（ｐｒｏｂａｂｉｌｉｔｙ  ｏｕｔｐｕｔ）を示し得る。
【０１０２】
前記では、前記ロスを利用したバックプロパゲーションの一例として、前記確率的勾配降下法について説明したが、本発明の範囲はこれに限定されず、モメンタム方式（Ｍｏｍｅｎｔｕｍ）、ネステロフ加速勾配（Ｎｅｓｔｅｒｏｖ  Ａｃｃｃｃｅｌｌｅｒａｔｅｄ  Ｇｒａｄｉｅｎｔ、ＮＡＧ）方式、ＲＭＳＰｒｏｐ（Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｐｒｏｐａｇａｔｉｏｎ）方式、ＡｄａＤｅｌｔａ（Ａｄａｐｔｉｖｅ  Ｄｅｌｔａ）方式、Ａｄａｍ（Ａｄａｐｔｉｖｅ  Ｍｏｍｅｎｔ  Ｅｓｔｉｍａｔｉｏｎ）方式などを使用して前記ニューラルネットワークの学習のための前記バックプロパゲーションを遂行することができる。
【０１０３】
併せて、前記方法は、多数の変形ペアを有するロバストアルゴリズム（ｒｏｂｕｓｔ  ａｌｇｏｒｉｔｈｍ）を利用して遂行することができる。
【０１０４】
本発明を通じて、危険な状況をより正確に検出することができる。
【０１０５】
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【０１０６】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【０１０７】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020123330.tif 000010
【図２】
2020123330.tif 000011
【図３】
2020123330.tif 000012