(57)【要約】【課題】演算時間の減少及び高精密度の取得のために、ニューラルネットワークを学習するのに利用されるトレーニングイメージをオートラベリングし、オート評価するオートラベリング装置のハイパーパラメータを最適化する方法が提供される。【解決手段】固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成して、固有のオートラベルを有する原本イメージをイージー原本イメージとディフィカルト原本イメージとに分類し、固有のトゥルーラベル及びオートラベルを有する検証イメージを固有のイージー検証イメージとディフィカルト検証イメージとに分類する段階；及びオートラベリング装置の現在の信頼度を計算し、サンプルハイパーパラメータセットを生成し、オートラベリング装置のサンプル信頼度を計算し、予め設定されたハイパーパラメータセットを最適化する段階を含む。【選択図】図２
2020126615.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）を最適化する方法において、
（ａ）ラベリングしようとする一つ以上の原本イメージ及び前記原本イメージと撮影環境が類似する、固有のトゥルーラベル（ｔｒｕｅ  ｌａｂｅｌ）を有する一つ以上の検証イメージが取得されると、最適化装置が、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置をもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをそれぞれオートラベリングすることにより、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させ、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー（ｅａｓｙ）原本イメージと固有のオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させる段階；及び、
（ｂ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージが取得されると、前記最適化装置が、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージを参照することによって、前記予め設定されたハイパーパラメータセットに対応する前記オートラベリング装置の現在の信頼度を計算し、前記予め設定されたハイパーパラメータセットに対応する少なくとも一つの所定の規則にしたがって調整された一つ以上のサンプルハイパーパラメータセットを生成し、前記サンプルハイパーパラメータセットそれぞれに対応する前記オートラベリング装置のサンプル信頼度それぞれを計算し、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が特定のサンプルハイパーパラメータセット（前記サンプルハイパーパラメータセットのうちで、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度より高いサンプル信頼度を有する一部サンプルハイパーパラメータセットを前記特定のサンプルハイパーパラメータセットとして選定する）に対応する前記サンプル信頼度が高くなる方向に調整されるように前記予め設定されたハイパーパラメータセットを最適化する段階；
を含むことを特徴とする方法。
【請求項２】
（ｃ）前記最適化装置が、前記予め設定されたハイパーパラメータセットに対応する、前記現在の信頼度が予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する原本イメージに対する前記固有のオートラベルを有するイージー原本イメージの割合が最大化するように、前記予め設定されたハイパーパラメータセットを最適化する段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記オートラベリング装置は、前記固有のオートラベルを有する原本イメージを、前記固有のオートラベルを有するイージー原本イメージと前記固有のオートラベルを有するディフィカルト原本イメージとに分類し、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類するディフィカルトイメージ識別ネットワークを含み、
前記（ｃ）段階で、
前記最適化装置は、（ｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ  ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための第１設定値と、（ｉｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための第２設定値を含む前記予め設定されたハイパーパラメータセットを最適化することを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｂ）段階で、
前記最適化装置は、信頼度評価ネットワークをもって、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベル及びオートラベルを参照して、前記オートラベリング装置の前記現在の信頼度を計算させることを特徴とする請求項１に記載の方法。
【請求項５】
前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルー
2020126615.tif 000050
によって評価されることを特徴とする請求項４に記載の方法。
【請求項６】
前記オートラベリング装置は、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをオートラベリングして、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベルを有する検証イメージとを生成する物体検出ネットワークを含み、
前記（ｂ）段階で、
前記最適化装置は、前記物体検出ネットワークの各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ）閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含む前記予め設定されたハイパーパラメータセットの一つ以上の予め設定されたハイパーパラメータのうち少なくとも一部を最適化することを特徴とする請求項１に記載の方法。
【請求項７】
ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）最適化する最適化装置において、
各インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）ラベリングしようとする一つ以上の原本イメージ及び前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する一つ以上の検証イメージが取得されると、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置をもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをそれぞれオートラベリングすることによって、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させ、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させるプロセス；及び、（ＩＩ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージが取得されると、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージを参照することによって、前記予め設定されたハイパーパラメータセットに対応する前記オートラベリング装置の現在の信頼度を計算し、前記予め設定されたハイパーパラメータセットに対応する少なくとも一つの所定の規則にしたがって調整された一つ以上のサンプルハイパーパラメータセットを生成し、前記サンプルハイパーパラメータセットそれぞれに対応する前記オートラベリング装置のサンプル信頼度それぞれを計算し、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が特定のサンプルハイパーパラメータセット（前記サンプルハイパーパラメータセットのうちで、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度より高いサンプル信頼度を有する一部サンプルハイパーパラメータセットを前記特定のサンプルハイパーパラメータセットとして選定する）に対応する前記サンプル信頼度が高くなる方向に調整されるように前記予め設定されたハイパーパラメータセットを最適化するプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする最適化装置。
【請求項８】
前記プロセッサは、（ＩＩＩ）前記予め設定されたハイパーパラメータセットに対応する、前記現在の信頼度が予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する原本イメージに対する前記固有のオートラベルを有するイージー原本イメージの割合が最大化するように、前記予め設定されたハイパーパラメータセットを最適化するプロセスをさらに遂行することを特徴とする請求項７に記載の最適化装置。
【請求項９】
前記オートラベリング装置は、前記固有のオートラベルを有する原本イメージを、前記固有のオートラベルを有するイージー原本イメージと前記固有のオートラベルを有するディフィカルト原本イメージとに分類し、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類するディフィカルトイメージ識別ネットワークを含み、
前記（ＩＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ  ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための第１設定値と、（ｉｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための第２設定値を含む前記予め設定されたハイパーパラメータセットを最適化することを特徴とする請求項８に記載の最適化装置。
【請求項１０】
前記（ＩＩ）プロセスで、
前記プロセッサは、信頼度評価ネットワークをもって、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベル及びオートラベルを参照して、前記オートラベリング装置の前記現在の信頼度を計算させることを特徴とする請求項７に記載の最適化装置。
【請求項１１】
前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルー
2020126615.tif 000051
によって評価されることを特徴とする請求項１０に記載の最適化装置。
【請求項１２】
前記オートラベリング装置は、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをオートラベリングして、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成する物体検出ネットワークを含み、
前記（ＩＩ）プロセスで、
前記プロセッサは、前記物体検出ネットワークの各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ）閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含む前記予め設定されたハイパーパラメータセットの一つ以上の予め設定されたハイパーパラメータのうち少なくとも一部を最適化することを特徴とする請求項７に記載の最適化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワークを学習するのに使用される一つ以上のトレーニングイメージをオートラベリングするオートラベリング装置のハイパーパラメータを最適化する方法及び装置に関する。
【背景技術】
【０００２】
近年、機械学習（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）を利用して物体を識別する方法等に関する研究が行われている。こうした機械学習の一環として、入力レイヤと出力レイヤとの間に複数個のヒドゥンレイヤ（ｈｉｄｄｅｎ  ｌａｙｅｒ）を有するニューラルネットワークを利用したディープラーニングは高い識別性能を有する。
【０００３】
このようなディープラーニングネットワークの学習を進めるためには、ラベラー（ｌａｂｅｌｅｒ）によって個別データポイントにタグ、すなわち、ラベルを追加したトレーニングデータが必要である。このようなトレーニングデータを準備すること（すなわち、データを正確に分類すること）は、特に大量のトレーニングデータを利用する場合とデータの前処理の品質が持続的に高くない場合、労働集約的であり、費用が多くかかって煩雑であり得る。従来の相互的なラベリングは、費用が高く好ましい結果を導き出すことができない。
【０００４】
したがって、最近ではディープラーニング基盤のオートラベリング装置を利用してトレーニングイメージにタグ、すなわちラベルを追加するオートラベリングを遂行し、検収者がオートラベリングされたトレーニングイメージを検収して前記タグや前記ラベルを校正する。
【０００５】
このような従来のオートラベリング装置は、再学習を通じて正確度を高めることができる。
【０００６】
しかしながら、前記オートラベリング装置の再学習によって正確度が向上し得る程度は制限的であり、より高い正確度を得るためには繰り返しの再学習が必要になる。
【０００７】
また、前記オートラベリング装置の正確度を向上させるための前記再学習にはかなり時間がかかり、それに伴って前記オートラベリング装置の適正な正確度を得るまでにはかなりの時間がかかる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した問題点を全て解決することをその目的とする。
【０００９】
本発明は、再学習なしにオートラベリング装置の精密度を向上させ得るようにすることを他の目的とする。
【００１０】
本発明は、再学習の過程においても前記オートラベリング装置の正確度を向上させ得るようにすることをまた他の目的とする。
【課題を解決するための手段】
【００１１】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【００１２】
本発明の一態様によると、ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）を最適化する方法において、（ａ）ラベリングしようとする一つ以上の原本イメージ及び前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する一つ以上の検証イメージが取得されると、最適化装置が、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置をもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをそれぞれオートラベリングすることにより、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させ、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー（ｅａｓｙ）原本イメージと固有のオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させる段階；及び、（ｂ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージが取得されると、前記最適化装置が、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージを参照することによって、前記予め設定されたハイパーパラメータセットに対応する前記オートラベリング装置の現在の信頼度を計算し、前記予め設定されたハイパーパラメータセットに対応する少なくとも一つの所定の規則にしたがって調整された一つ以上のサンプルハイパーパラメータセットを生成し、前記サンプルハイパーパラメータセットそれぞれに対応する前記オートラベリング装置のサンプル信頼度それぞれを計算し、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が特定のサンプルハイパーパラメータセット（前記サンプルハイパーパラメータセットのうちで、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度より高いサンプル信頼度を有する一部サンプルハイパーパラメータセットを前記特定のサンプルハイパーパラメータセットとして選定する）に対応する前記サンプル信頼度が高くなる方向に調整されるように前記予め設定されたハイパーパラメータセットを最適化する段階；を含むことを特徴とする方法が開示される。
【００１３】
一実施例において、（ｃ）前記最適化装置が、前記予め設定されたハイパーパラメータセットに対応する、前記現在の信頼度が予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する原本イメージに対する前記固有のオートラベルを有するイージー原本イメージの割合が最大化するように、前記予め設定されたハイパーパラメータセットを最適化する段階；をさらに含むことを特徴とする。
【００１４】
一実施例において、前記オートラベリング装置は、前記固有のオートラベルを有する原本イメージを、前記固有のオートラベルを有するイージー原本イメージと前記固有のオートラベルを有するディフィカルト原本イメージとに分類し、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルトイメージとに分類するディフィカルトイメージ識別ネットワークを含み、前記（ｃ）段階で、前記最適化装置は、（ｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ  ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための第１設定値と、（ｉｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための第２設定値を含む前記予め設定されたハイパーパラメータセットを最適化することを特徴とする。
【００１５】
一実施例において、前記（ｂ）段階で、前記最適化装置は、信頼度評価ネットワークをもって、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベル及びオートラベルを参照して、前記オートラベリング装置の前記現在の信頼度を計算させることを特徴とする。
【００１６】
一実施例において、前記固有のトゥルーラベル及びオートラベルを有するイージー検証
2020126615.tif 000003
によって評価されることを特徴とする。
【００１７】
一実施例において、前記オートラベリング装置は、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをオートラベリングして、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベルを有する検証イメージとを生成する物体検出ネットワークを含み、前記（ｂ）段階で、前記最適化装置は、前記物体検出ネットワークの各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ）閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含む前記予め設定されたハイパーパラメータセットの一つ以上の予め設定されたハイパーパラメータのうち少なくとも一部を最適化することを特徴とする。
【００１８】
本発明の他の態様によると、ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）最適化する最適化装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）ラベリングしようとする一つ以上の原本イメージ及び前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する一つ以上の検証イメージが取得されると、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置をもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをそれぞれオートラベリングすることによって、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させ、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させるプロセス；及び、（ＩＩ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージが取得されると、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージを参照することによって、前記予め設定されたハイパーパラメータセットに対応する前記オートラベリング装置の現在の信頼度を計算し、前記予め設定されたハイパーパラメータセットに対応する少なくとも一つの所定の規則にしたがって調整された一つ以上のサンプルハイパーパラメータセットを生成し、前記サンプルハイパーパラメータセットそれぞれに対応する前記オートラベリング装置のサンプル信頼度それぞれを計算し、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が特定のサンプルハイパーパラメータセット（前記サンプルハイパーパラメータセットのうちで、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度より高いサンプル信頼度を有する一部サンプルハイパーパラメータセットを前記特定のサンプルハイパーパラメータセットとして選定する）に対応する前記サンプル信頼度が高くなる方向に調整されるように前記予め設定されたハイパーパラメータセットを最適化するプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする最適化装置が開示される。
【００１９】
一実施例において、前記プロセッサは、（ＩＩＩ）前記予め設定されたハイパーパラメータセットに対応する、前記現在の信頼度が予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する原本イメージに対する前記固有のオートラベルを有するイージー原本イメージの割合が最大化するように、前記予め設定されたハイパーパラメータセットを最適化するプロセスをさらに遂行することを特徴とする。
【００２０】
一実施例において、前記オートラベリング装置は、前記固有のオートラベルを有する原本イメージを、前記固有のオートラベルを有するイージー原本イメージと前記固有のオートラベルを有するディフィカルト原本イメージとに分類し、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類するディフィカルトイメージ識別ネットワークを含み、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ  ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための第１設定値と、（ｉｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための第２設定値を含む前記予め設定されたハイパーパラメータセットを最適化することを特徴とする。
【００２１】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは信頼度評価ネットワークをもって、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベル及びオートラベルを参照して、前記オートラベリング装置の前記現在の信頼度を計算させることを特徴とする。
【００２２】
一実施例において、前記固有のトゥルーラベル及びオートラベルを有するイージー検証
2020126615.tif 000004
によって評価されることを特徴とする。
【００２３】
一実施例において、前記オートラベリング装置は、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをオートラベリングして、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成する物体検出ネットワークを含み、前記（ＩＩ）プロセスで、前記プロセッサは、前記物体検出ネットワークの各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ）閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含む前記予め設定されたハイパーパラメータセットの一つ以上の予め設定されたハイパーパラメータのうち少なくとも一部を最適化することを特徴とする。
【００２４】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００２５】
本発明はオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）装置の検収結果を再学習なしに反映して、前記オートラベリング装置のハイパーパラメータを最適化することによって前記オートラベリング装置の正確度を向上させ得る効果がある。
【００２６】
また、本発明は、再学習の過程においても前記オートラベリング装置の前記検収結果を反映して、前記オートラベリング装置の前記ハイパーパラメータを最適化することにより、前記オートラベリング装置の正確度を向上させ得る効果がある。
【００２７】
また、本発明は、より高い正確度によって信頼度の高いトレーニングデータを取得することにより、次の再学習セッションにおいて前記オートラベリング装置の正確度をより大きく向上させ得る効果がある。
【００２８】
また、本発明は、少ない演算時間及び高い精密度で前記トレーニングイメージのオート評価（ａｕｔｏ−ｅｖａｌｕａｔｉｎｇ）とオートラベリングを遂行する前記オートラベリング装置を提供し得る効果がある。
【００２９】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図面の簡単な説明】
【００３０】
【図１】図１は本発明の一実施例によるニューラルネットワーク学習に利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータを最適化する最適化装置を簡略に示す。
【図２】図２は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法を簡略に示す。
【図３】図３は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、一つ以上の原本イメージと類似する撮影環境の一つ以上の検証イメージを選定する方法を簡略に示す。
【図４】図４は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングするための前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、オートラベリングのための物体検出プロセスを簡略に示す。
【図５】図５は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、一つ以上のディフィカルトイメージを分類するプロセスを簡略に示す。
【図６】図６は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、前記ディフィカルトイメージを分類するニューラルネットワークを学習する方法を簡略に示す。
【図７】図７は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法を示す。
【図８】図８は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベルリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、前記オートラベリング装置の正確度が向上するプロセスを簡略に示す。
【発明を実施するための形態】
【００３１】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
【００３２】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３３】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００３４】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３５】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００３６】
図１は、本発明の一実施例によるイメージを分析する、ディープラーニングネットワークのようなニューラルネットワークの学習に利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータを最適化する最適化装置を簡略に示す。図１を参照すると、前記最適化装置１００は、前記オートラベリング装置の前記ハイパーパラメータを最適化するための各インストラクションを格納するメモリ１１０と、前記オートラベリング装置のハイパーパラメータを最適化するために前記メモリ１１０に格納された前記各インストラクションに対応するプロセスを遂行するプロセッサ１２０とを含むことができる。
【００３７】
具体的に、前記オートラベリング装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。
【００３８】
また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェアの構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。
【００３９】
しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
【００４０】
本発明の一実施例による前記オートラベリング装置１００を利用して前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）する前記オートラベリング装置の前記ハイパーパラメータを最適化する方法に関して、図２を参照して説明すると以下のとおりである。
【００４１】
まず、ラベリングしようとする一つ以上の原本イメージ１０と、前記原本イメージと撮影環境が類似する、固有のトゥルーラベル（ｔｒｕｅ  ｌａｂｅｌ）を有する一つ以上の検証イメージ候補群２０が取得されると（Ｓ１）、前記最適化装置１００が、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置２００をもって、前記原本イメージ１０と、前記固有のトゥルーラベルを有する一つ以上の検証イメージ候補群２０とをそれぞれオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させる。
【００４２】
つまり、前記ラベリングしようとする原本イメージ１０が取得されると、前記最適化装置１００が、類似イメージ選択ネットワーク３００をもって、前記原本イメージ１０それぞれに対応して、前記原本イメージ１０と撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ２１それぞれを選択させる。そして、前記最適化装置１００は、前記原本イメージ１０と前記固有のトゥルーラベルを有する検証イメージ２１とを前記オートラベリング装置２００に入力することにより、前記オートラベリング装置２００をもって、前記原本イメージ１０と前記固有のトゥルーラベルを有する検証イメージ２１とをオートラベリングさせる。
【００４３】
そうすると、前記原本イメージ１０と前記固有のトゥルーラベルを有する検証イメージ２１とは、前記オートラベリング装置２００によってそれぞれオートラベリングされて、固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとになり得る。
【００４４】
一方、図３を参照して、前記類似イメージ選択ネットワーク３００が前記原本イメージ１０と撮影環境が類似する、前記固有のトゥルーラベルを有する検証イメージ２１を選定する方法を説明すると以下のとおりである。
【００４５】
前記最適化装置１００が前記取得された原本イメージを前記類似イメージ選択ネットワーク３００に入力すると、前記類似イメージ選択ネットワーク３００は、前記原本イメージのうち任意のイメージ１１上でそれぞれのスライドウィンドウの各領域をクロップしリサイズして加工イメージ１２を取得する。この際、その他の例として、前記類似イメージ選択ネットワーク３００でない、前記最適化装置１００は、前記任意のイメージ１１でそれぞれの前記スライドウィンドウの各領域をクロップしリサイズした前記加工イメージ１２を取得し、それぞれの前記原本イメージに対応するそれぞれの前記加工イメージを前記類似イメージ選択ネットワーク３００に入力することもできる。
【００４６】
そうすると、前記類似イメージ選択ネットワーク３００は、イメージ分類器３１０をもって、前記加工イメージ１２を分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）して、それぞれの上位ｋ個のクラス情報を出力させる。一例として、前記イメージ分類器３１０はそれぞれの前記加工イメージ１２それぞれの特徴マップを生成し、それぞれの前記特徴マップを利用して物体を昼、鳥、春、雲、山、木、家、自転車、人、道路、犬などのようなクラス群に分類し、前記上位ｋ個のクラス情報を出力することができる。この際、図面では上位４つのクラス情報を出力するものと示したが、本発明の範囲はこれに限定されない。また、図面では、それぞれの前記加工イメージ１２に対応する前記イメージ分類器３１０が複数個で示されているが、これとは異なって一つのイメージ分類器を利用してそれぞれの前記加工イメージに対応する前記上位ｋ個のクラス情報を出力させるか、前記加工イメージに対応するものの前記加工イメージの個数とは異なる個数の前記イメージ分類器を利用して前記上位ｋ個のクラス情報を出力させることもできる。
【００４７】
そして、前記類似イメージ選択ネットワーク３００は、前記イメージ分類器３１０から出力されるそれぞれの前記加工イメージに対応する前記上位ｋ個のクラス情報を参照して、少なくとも一つのＢｏＷ（Ｂａｇ  ｏｆ  Ｗｏｒｄｓ）を生成する少なくとも一つの演算をすべての前記原本イメージに適用して、前記原本イメージに対する少なくとも一つのＢｏＷヒストグラムを生成させる。
【００４８】
以後、前記類似イメージ選択ネットワーク３００は、前記固有のトゥルーラベルを有する検証イメージ候補群２０のうち、前記ＢｏＷヒストグラムと近い順に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ２１を選択して、前記原本イメージと前記予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ２１とをオートラベリングするために前記オートラベリング装置２００に伝送することができる。この際、前記類似イメージ選択ネットワーク３００は、前記予め設定された個数の前記検証イメージ候補群のうち、固有のトゥルーラベルを有するディフィカルト検証イメージとディフィカルト原本イメージとを管理して、前記予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記ディフィカルト原本イメージの個数に対して特定の比率を有するようにすることができる。一例として、前記予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数は、前記原本イメージのうち前記ディフィカルト原本イメージの個数の１０％であり得る。
【００４９】
また、前記原本イメージ１０と、前記固有のトゥルーラベルを有する検証イメージ２１とが取得されると、前記オートラベリング装置２００は物体検出ネットワーク２１０をもって、前記原本イメージ１０上と前記固有のトゥルーラベルを有する検証イメージ２１上とに位置する物体に対するバウンディングボックスを生成させることで、前記原本イメージ１０と前記固有のトゥルーラベルを有する検証イメージ２１とをオートラベリングさせることができる。
【００５０】
図４を参照して、前記物体検出ネットワーク２１０が前記原本イメージ１０及び前記固有のトゥルーラベルを有する検証イメージ２１上で前記バウンディングボックスを生成する方法を説明すると以下のとおりである。
【００５１】
前記原本イメージ１０と、前記固有のトゥルーラベルを有する検証イメージ２１とのうちいずれか一つが入力イメージに入力されると、前記物体検出ネットワーク２１０は、一つ以上のコンボリューションレイヤ２１１をもって、前記入力イメージにコンボリューション演算を適用して少なくとも一つの物体検出用特徴マップを出力させる。この際、前記コンボリューションレイヤ２１１は、前記入力イメージに前記コンボリューション演算を順次に適用して、前記物体検出用特徴マップを生成することができる。
【００５２】
そして、前記物体検出ネットワーク２１０は、少なくとも一つのＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）２１２をもって、前記物体検出用特徴マップ上で前記物体を含むものと予測される候補領域に対応するプロポーザルボックスを出力させる。
【００５３】
以後、前記物体検出ネットワーク２１０は、少なくとも一つのプーリングレイヤ２１３をもって、前記物体検出用特徴マップ上で、前記プロポーザルボックスに対応する領域に一つ以上のプーリング演算を適用して一つ以上の特徴ベクトルを出力させる。
【００５４】
そして、前記物体検出ネットワーク２１０は、少なくとも一つのＦＣ（Ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）レイヤ２１４をもって、前記特徴ベクトルに少なくとも一つのＦＣ演算を適用させた後、少なくとも一つの分類レイヤ２１５をもって、それぞれの前記プロポーザルボックスに対応するそれぞれの物体クラス情報を出力させ、少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）レイヤ２１６をもって、それぞれの前記物体をバウンディングするそれぞれの前記プロポーザルボックスから前記バウンディングボックス情報を出力させる。
【００５５】
この場合、前記物体検出ネットワーク２１０は、前記分類レイヤ２１５をもって、前記予め設定されたハイパーパラメータセットの予め設定されたハイパーパラメータのうち一つである、各クラスごとのそれぞれのスコア閾値にしたがって前記プロポーザルボックスに対応する前記物体クラス情報を出力させることができる。つまり、前記分類レイヤ２１５は、特定のバウンディングボックスに対応する各クラスごとのそれぞれのスコアのうち最も高いスコアを有する特定クラスを前記特定のバウンディングボックスの特定クラス情報として決定し、前記特定クラスの特定のスコアが予め設定された特定クラスのスコア閾値以上である場合、前記特定クラスを前記特定のバウンディングボックスの前記物体クラス情報として出力させることができる。
【００５６】
また、前記物体検出ネットワーク２１０は、ＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ）を利用して、前記予め設定されたハイパーパラメータセットの前記予め設定されたハイパーパラメータのうち一つであるＮＭＳ閾値にしたがって、一つの物体に対応して重複するバウンディングボックスのうち一つのバウンディングボックスを選択して出力することができる。
【００５７】
また、前記物体検出ネットワーク２１０は、前記予め設定されたハイパーパラメータの一部であるバウンディングボックス選定閾値、及び最小物体サイズを利用して、多数のバウンディングボックスのうちそれぞれの前記物体に対応するそれぞれの正確なバウンディングボックスを選択して出力することができる。
【００５８】
一方、前記物体検出ネットワーク２１０は、事前に学習された状態であり得る。すなわち、一つ以上のロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ２１４及び前記コンボリューションレイヤ２１１の一つ以上のパラメータのうち少なくとも一部が調整された状態であり得る。また、前記ＲＰＮ２１２も事前に学習された状態であり得る。
【００５９】
再び図２を参照すると、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとを、イージー（ｅａｓｙ）イメージとディフィカルト（ｄｉｆｆｉｃｕｌｔ）イメージとにそれぞれ分類させることができる。つまり、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させることができる。
【００６０】
そして、前記オートラベリング装置２００は、ディフィカルトイメージ識別ネットワーク２２０をもって、前記入力イメージを前記イージーイメージと前記ディフィカルトイメージとに分類させることができ、前記ディフィカルトイメージは、不正確にオートラベリングされる確率が予め設定された値Ｙ以上であるイメージであり、前記イージーイメージは、不正確にオートラベリングされる確率が予め設定された値未満であるイメージである。
【００６１】
この場合、図５を参照して、前記オートラベリング装置２００の前記ディフィカルトイメージ識別ネットワーク２２０によってオートラベリングされた、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとを、それぞれ固有のオートラベルを有するイージー原本イメージと、固有のオートラベルを有するディフィカルト原本イメージと、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと、固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類する方法を説明すると以下のとおりである。
【００６２】
オートラベリングされた前記固有のオートラベルを有する原本イメージと、オートラベリングされた前記固有のトゥルーラベル及びオートラベルを有する検証イメージとのうちいずれか一つのイメージである固有のオートラベル
2020126615.tif 000005
を有する少なくとも一つの入力イメージＩが入力されると、前記ディフィカルトイメージ識別ネットワーク２２０は、第１イメージ
2020126615.tif 000006
と第２イメージ
2020126615.tif 000007
とを生成することができ、前記第１イメージと前記第２イメージとのうち一つだけが前記入力イメージから変形したものであれば、残りの一つは前記入力イメージがそのまま使用される。この際、前記第１イメージ
2020126615.tif 000008
及び前記第２イメージ
2020126615.tif 000009
のうち少なくとも一つは前記入力イメージＩから変形されたイメージであり得る。
【００６３】
一方、前記第１イメージ
2020126615.tif 000010
と前記第２イメージ
2020126615.tif 000011
とを生成するのにおいて、前記第１イメージを変形するための一つ以上の第１関数と、これに対応する前記第２イメージを変形するための第２関数とを含む一つ以上の変形ペアを利用して、前記入力イメージＩに対応する前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成することができる。
【００６４】
一例として、前記変形ペアは以下のように示すことができる。
【００６５】
【表１】
2020126615.tif 000012
【００６６】
つまり、前記入力イメージによって設定された前記変形ペアに対応する、前記第１イメージと前記第２イメージとの一つ以上のイメージペアを生成することができる。
【００６７】
次に、前記ディフィカルトイメージ識別ネットワーク２２０は、一つ以上のコンボリューションレイヤ２１１をもって、前記第１イメージ
2020126615.tif 000013
と前記第２イメージ
2020126615.tif 000014
にそれぞれ一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを出力させる。この際、前記コンボリューションレイヤ２１１は、図４に示された、オートラベリングを行う前記物体検出ネットワークに含まれたコンボリューションレイヤであり得る。一例として、前記物体検出ネットワークが多数の変形の組み合わせを使用する場合、前記変形ペアは前記物体検出ネットワークが使用する前記変形としてのみ定義され得、それに伴って前記物体検出ネットワークの前記コンボリューションレイヤから出力された特徴マップが、追加の過程なしにそのまま使用され得るので、前記特徴マップの演算に所要される時間を節減することができるようになる。
【００６８】
以後、前記ディフィカルトイメージ識別ネットワーク２２０は、一つ以上のプーリングレイヤ２２２をもって、前記第１特徴マップ上でそれぞれのオートラベル
2020126615.tif 000015
に対応する各領域に一つ以上のプーリング演算を適用して、それぞれの第１プーリング済み特徴マップを出力させ、前記第２特徴マップ上で前記それぞれのオートラベル
2020126615.tif 000016
に対応する各領域に前記プーリング演算を適用して、それぞれの第２プーリング済み特徴マップを出力させ、前記それぞれのオートラベル
2020126615.tif 000017
にそれぞれ対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの第２プーリング済み特徴マップとをコンカチネートしてそれぞれのコンカチネートされた特徴マップを生成する。この際、図５では二つの前記コンボリューションレイヤ２２１と二つのプーリングレイヤ２２２とが示されたが、これとは異なって一つのコンボリューションレイヤと一つのプーリングレイヤとが、前記第１イメージと第２イメージとに前記コンボリューション演算を適用し、前記第１特徴マップと前記第２特徴マップとに前記プーリング演算を適用するためにそれぞれ使用されてもよい。
【００６９】
そして、前記ディフィカルトイメージ識別ネットワーク２２０は、少なくとも一つのディープラーニング分類器２２３をもって、前記それぞれのオートラベル
2020126615.tif 000018
に対応する前記それぞれのコンカチネートされた特徴マップを入力として、前記それぞれのオートラベル
2020126615.tif 000019
を非正常クラス群または正常クラス群に分類する前記クラス情報を出力させることができる。この際、前記非正常クラス群は、誤検出クラス群と未検出クラス群とを含むことができ、前記正常クラス群は物体に分類されたオートラベルに対するクラス群と背景に分類されたオートラベルに対するクラス群とを含むことができる。前記オートラベル
2020126615.tif 000020
に対する分類については、図６を参照して前記ディープラーニング分類器２２３の学習過程で説明することにする。
【００７０】
以後、前記ディフィカルトイメージ識別ネットワーク２２０は（ｉ）前記それぞれのオートラベル
2020126615.tif 000021
の各クラス情報を参照して、前記非正常クラス群それぞれの非正常クラス要素に対する確率値それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素に対する前記確率値それぞれを利用して、前記入力イメージＩが前記ディフィカルトイメージであるのかを判断させる。
【００７１】
この際、前記ディープラーニング分類器２２３の出力にシグモイド関数が適用された後、それぞれの前記非正常クラス要素の各確率値が計算され得る。それぞれの前記非正常クラス要素の各確率値は、前記誤検出クラス群の誤検出クラス要素に対するそれぞれの確率値と前記未検出クラス群の未検出クラス要素に対するそれぞれの確率値とを含むことができる。
【００７２】
一例として、前記誤検出クラス要素ＦＰに対する確率値は
2020126615.tif 000022
で表すことができ、前記未検出クラス要素ＦＮに対する確率値は
2020126615.tif 000023
で表すことができる。
【００７３】
この際、
2020126615.tif 000024
は、前記オートラベルのうち一つのオートラベルであり、
2020126615.tif 000025
と
2020126615.tif 000026
はそれぞれ前記第１イメージと前記第２イメージとを表す。
【００７４】
また、前記ディフィカルトイメージ識別装置２２０は、各オートラベル
2020126615.tif 000027
ごとに、前記変形ペアそれぞれに対応するそれぞれの前記非正常クラス要素に対するそれぞれの確率値を計算し、前記計算された確率値の少なくとも一つの重み付け平均を計算することができる。
【００７５】
2020126615.tif 000028
【００７６】
2020126615.tif 000029
【００７７】
そして、それぞれの前記非正常クラス要素の確率値に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ  ｍｅａｎ）が第２設定値以上である場合、前記ディフィカルトイメージ識別ネットワーク２２０は、前記入力イメージを前記ディフィカルトイメージとして判断することができる。
【００７８】
2020126615.tif 000030
【００７９】
2020126615.tif 000031
【００８０】
この際、前記第２設定値
2020126615.tif 000032
は、前記オートラベリング装置のオートラベリングプロセス以後に手動で検収された前記検証イメージに対する正答的中率のうち最も高い的中率であり得る。
【００８１】
一方、前記ディープラーニング分類器２２３は、多重のＦＣレイヤ又はＦＣＮ（ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）を含むことができ、前記ディープラーニング分類器２２３を学習する過程を、図６を参照して説明すると以下のとおりである。
【００８２】
前記オートラベリング装置によってオートラベリングされた、固有のトゥルーラベル及びオートラベルを有する少なくとも一つのトレーニングイメージが取得されると、学習装置２３０が一つ以上の学習用コンボリューションレイヤ２３１をもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して少なくとも一つの学習用特徴マップを出力させる。
【００８３】
この場合、前記トレーニングイメージの前記オートラベルは、前記オートラベリング装置を通じてラベリングされた前記オートラベルとは異なり、学習のため任意に生成されたものであってもよい。
【００８４】
また、前記学習装置２３０は、前記ディープラーニングクラス分類器２２３の学習のための各インストラクションを格納するメモリ（図示せず）と、前記メモリに格納された前記各インストラクションに対応して前記ディープラーニングクラス分類器２２３に対する学習を遂行するプロセッサ（図示せず）とを含むことができる。
【００８５】
具体的に、前記学習装置２３０は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）の組合せを利用して所望のシステム性能を達成するものであり得る。また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェアの構成を含むことができる。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサである場合を排除するものではない。
【００８６】
次に、前記学習装置２３０は、少なくとも一つの学習用プーリングレイヤ２３２をもって、前記学習用プーリングレイヤの一つ以上のプーリング演算を、前記学習用特徴マップ上で前記オートラベルそれぞれに対応するそれぞれの領域にそれぞれ適用して一つ以上の学習用プーリング済み特徴マップを出力させる。
【００８７】
以後、前記学習装置２３０は、前記ディープラーニング分類器２２３をもって、前記オートラベルそれぞれに対応するそれぞれの前記学習用プーリング済み特徴マップを入力として取得して、前記オートラベルを前記非正常クラス群または前記正常クラス群に分類する前記クラス情報を出力させる。
【００８８】
この場合、前記クラス情報は、前記誤検出クラス群と前記未検出クラス群とを有する前記非正常クラス群を含むことができる。そして、前記クラス情報は２次元出力を含むことができる。
【００８９】
一例として、前記誤検出クラス群ＦＰ、
2020126615.tif 000033
は、第１特定のオートラベルと同一のクラス情報を有する第１特定のトゥルーラベルが他のトゥルーラベルと前記第１設定値以上に重なっていない場合を表すことができる。
【００９０】
この場合、前記誤検出クラス群ＦＰ、
2020126615.tif 000034
は、
2020126615.tif 000035
のように表され得る。
【００９１】
そして、前記誤検出クラス群ＦＮ、
2020126615.tif 000036
は、第２特定のトゥルーラベルと同一のクラス情報を有する第２特定のオートラベルが他のオートラベルと前記第２設定値以上に重なっていない状態で、第３特定のオートラベルが前記第２特定のトゥルーラベルと第３設定値以上に重なっている場合を表すことができる。
【００９２】
この場合、前記未検出クラス群ＦＮ、
2020126615.tif 000037
は
2020126615.tif 000038
と表され得る。
【００９３】
一例として、前記において
2020126615.tif 000039
と設定され得るが、これに限定されるわけではない。
【００９４】
そして、前記正常クラス群
2020126615.tif 000040
は、前記誤検出クラス群及び前記未検出クラス群以外の他のクラス群を含むことができ、前記物体と前記背景とに対応することができる。
【００９５】
一方、前記クラスの不均衡を予防するために、前記学習装置２３０は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数の多いクラス群の個数が、要素個数の少ない残りのクラス群個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにする。
【００９６】
この際、前記学習装置２３０は、前記誤検出クラス群ＦＰの要素の個数、前記未検出クラス群ＦＮの要素の個数、及び前記正常クラス群の要素の個数を、ランダムサンプリングを利用して調整することができる。
【００９７】
次に、前記学習装置２３０は、少なくとも一つのロスレイヤ２３３をもって、それぞれの前記オートラベルに対する前記各クラス情報と、これに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上のロスを計算させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器２２３のパラメータのうち少なくとも一部を学習することができる。
【００９８】
この際、前記学習装置２３０は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することができる。
【００９９】
一方、前記学習は、前記ディープラーニング分類器２２３を構成するニューラルネットワーク内に連結された二つのレイヤのシナプス強度である重み付け値を、ロスが小さくなるように調整するものであり得る。
【０１００】
一例として、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ，ＳＧＤ）を利用して前記バックプロパゲーションを遂行する場合には、次のようにそれぞれの重み付け値を調整することができる。
2020126615.tif 000041
【０１０１】
前記において、
2020126615.tif 000042
は学習率を示し、
2020126615.tif 000043
は費用関数（Ｃｏｓｔ  ｆｕｎｃｔｉｏｎ）を示す。
【０１０２】
この際、前記費用関数は、指導学習、非指導学習、自律学習、及び強化学習などのような学習の形態と活性化関数のような要因によって決定され得る。
【０１０３】
例えば、多重クラス（ｍｕｌｔｉ−ｃｌａｓｓ）分類の問題を解決するための学習を遂行する場合、一般的に前記活性化関数と前記費用関数とはそれぞれソフトマックス関数とクロスエントロピー関数として決定される。
【０１０４】
前記ソフトマックス関数は
2020126615.tif 000044
のように表すことができ、前記費用関数は
2020126615.tif 000045
ように表すことができる。
【０１０５】
この際、ｐｊはクラス確率（ｃｌａｓｓ  ｐｒｏｂａｂｉｌｉｔｙ）を示し、ｘｊとｘｋはそれぞれユニットｊに入力される全体入力とユニットｋに入力される全体入力を表し得る。そして、ｄｊは、出力ユニットｊに対する目標確率（ｔａｒｇｅｔ  ｐｒｏｂａｂｉｌｉｔｙ）を表し、ｐｊは当該活性化関数を適用した後の前記出力ユニットｊに対する確率出力（ｐｒｏｂａｂｉｌｉｔｙ  ｏｕｔｐｕｔ）を表し得る。
【０１０６】
前記では、前記ロスを利用したバックプロパゲーションの一例として、前記確率的勾配降下法について説明したが、本発明の範囲はこれに限定されず、モメンタム方式（Ｍｏｍｅｎｔｕｍ）、ネステロフ加速勾配（Ｎｅｓｔｅｒｏｖ  Ａｃｃｃｃｅｌｌｅｒａｔｅｄ  Ｇｒａｄｉｅｎｔ、ＮＡＧ）方式、ＲＭＳＰｒｏｐ（Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｐｒｏｐａｇａｔｉｏｎ）方式、ＡｄａＤｅｌｔａ（Ａｄａｐｔｉｖｅ  Ｄｅｌｔａ）方式、Ａｄａｍ（Ａｄａｐｔｉｖｅ  Ｍｏｍｅｎｔ  Ｅｓｔｉｍａｔｉｏｎ）方式などを使用して前記ニューラルネットワークの学習のための前記バックプロパゲーションを遂行することができる。
【０１０７】
再び、図２を参照すると、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有するイージー原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージとを信頼度評価ネットワーク５００に伝送させることができる（Ｓ２−１）。
【０１０８】
また、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有するディフィカルト原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとを手動ラベリング装置４００に伝送させることができる（Ｓ２−２）。そうすると、前記手動ラベリング装置４００は、受信される前記固有のオートラベルを有するディフィカルト原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとの不正確なラベルを訂正する手動ラベリングを遂行し、手動ラベリングされて固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージと、前記手動ラベリングされて固有のトゥルーラベル、オートラベル及び手動ラベルを有するディフィカルト検証イメージとを前記信頼度評価ネットワーク５００に伝送させることができる（Ｓ２−３）。
【０１０９】
以後、前記最適化装置１００は、前記信頼度評価ネットワーク５００をもって、受信される前記固有のオートラベルを有するイージー原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージと、前記固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージとを参照して、前記オートラベリング装置２００の信頼度と前記手動ラベリング装置４００の信頼度とを評価させることができる。
【０１１０】
この際、前記信頼度評価ネットワーク５００は、前記オートラベリング装置２００から取得される前記固有のトゥルーラベルとオートラベルとを有するイージー検証イメージのトゥルーラベルとオートラベルとを参照して、前記オートラベリング装置２００の信頼度を評価することができる。
【０１１１】
この場合、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージ
2020126615.tif 000046
【０１１２】
また、前記信頼度評価ネットワーク５００は、前記手動ラベリング装置４００から取得される、前記固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージのトゥルーラベルと手動ラベルとを参照して、前記手動ラベリング装置４００の信頼度を評価することができる。
【０１１３】
この場合、前記固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフ
2020126615.tif 000047
【０１１４】
前記では、前記最適化装置１００が前記信頼度評価ネットワーク５００をもって、前記オートラベリング装置２００の信頼度と前記手動ラベリング装置４００の信頼度とを計算させたが、前記最適化装置１００が前記のような方法によって前記オートラベリング装置２００の信頼度と前記手動ラベリング装置４００の信頼度とを計算することもできる。
【０１１５】
次に、前記オートラベリング装置２００の信頼度が前記予め設定された値以上である場合、前記最適化装置１００は、前記固有のオートラベルを有するイージー原本イメージと前記オートラベル及び手動ラベルを有するディフィカルト原本イメージとのうち一部を再学習用固有のトゥルーラベルを有するトレーニングイメージ３０として選定することができ、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち残りを前記固有のトゥルーラベルを有する検証イメージ候補群２０として選定することができる。
【０１１６】
そして、前記オートラベリング装置の計算された信頼度、つまり、前記オートラベリング装置の現在の信頼度が取得されると（Ｓ３）、前記最適化装置１００は、前記オートラベリング装置の現在の信頼度による前記予め設定されたハイパーパラメータセットＨＰに対応する少なくとも一つの所定の規則によって調整された一つ以上のサンプルハイパーパラメータセットＨＰ’を生成する。この際、前記サンプルハイパーパラメータセットＨＰ’は、前記予め設定されたハイパーパラメータセットＨＰの前記ハイパーパラメータのうち一部を選択的に調整し、前記調整されたハイパーパラメータを任意に組み合わせることにより生成され得る。これは、前記ハイパーパラメータそれぞれの変化が信頼度に及ぼす影響が互いに独立していないためである。
【０１１７】
以後、前記最適化装置１００は、前記サンプルハイパーパラメータセットＨＰ’それぞれに対応する、前記オートラベリング装置２００の信頼度であるサンプル信頼度を計算することができる。この際、前記サンプル信頼度は、前記オートラベリング装置２００の前記予め設定されたハイパーパラメータセットＨＰをそれぞれの前記サンプルハイパーパラメータセットＨＰ’に代替した状態において、前記のような動作を繰り返して計算することもできるが、本発明の範囲はこれに限定されず、前記予め設定されたハイパーパラメータセットＨＰを使用する前記のような動作によって取得されたそれぞれの出力値にそれぞれの前記サンプルハイパーパラメータＨＰ’を適用したシミュレーションを通じて計算することもできる。
【０１１８】
そして、図７を参照すると、前記現在の信頼度に対応する現在のハイパーパラメータセットＨＰの位置を基準としてそれぞれの前記サンプル信頼度に対応する前記サンプルハイパーパラメータセットＨＰ’は、ガウシアン（Ｇａｕｓｓｉａｎ）分布を有するようになり得る。
【０１１９】
この際、前記最適化装置１００は、前記サンプルハイパーパラメータセットＨＰ’のうち、前記現在の信頼度より高いサンプル信頼度を有する一部を特定のサンプルハイパーパラメータセットとして選定し、前記選定された特定のサンプルハイパーパラメータセットの特定のサンプル信頼度を参照して前記サンプル信頼度が高くなる方向を取得する。
【０１２０】
以後、前記最適化装置１００は、前記現在の信頼度が前記特定のサンプル信頼度が高くなる方向に対応して調整されるように、前記現在のハイパーパラメータセットＨＰである前記予め設定されたハイパーパラメータセットの個別のハイパーパラメータを調整して調整されたハイパーパラメータセットを生成し、前記調整されたハイパーパラメータセットを利用して前記オートラベリング装置２００の前記予め設定されたハイパーパラメータセットを最適化する（Ｓ４）。
【０１２１】
この際、調整される前記オートラベリング装置２００の前記個別ハイパーパラメータは、前記オートラベリング装置２００に含まれた前記物体検出ネットワーク２１０の、各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含むことができる。
【０１２２】
また、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させるのにおいて、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が前記予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する前記原本イメージのうちで前記固有のオートラベルを有する前記原本イメージに分類される割合を最大化するように、前記予め設定されたハイパーパラメータセットを最適化することができる。
【０１２３】
つまり、前記最適化装置１００は、（ｉ）前記オートラベリング装置２００の前記ディフィカルトイメージ識別ネットワーク２２０が前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ  ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための前記第１設定値
2020126615.tif 000048
と、（ｉｉ）前記オートラベリング装置２００の前記ディフィカルトイメージ識別ネットワーク２２０が、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及び  オートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための前記第２設定値
2020126615.tif 000049
を含む、前記予め設定されたハイパーパラメータセットを最適化することができる。
【０１２４】
これを通じて、前記最適化されたハイパーパラメータセットによって再学習をする進めない状態においても、前記オートラベリング装置２００の前記信頼度が向上し得る。
【０１２５】
一方、前記最適化装置１００は、前記固有のトゥルーラベルを有するトレーニングイメージを利用して前記オートラベリング装置２００を再学習させることにより（Ｓ５）、前記オートラベリング装置２００の前記信頼度を向上させることができ、前記オートラベリング装置２００の前記再学習の過程の間にも前記のような方法により前記予め設定されたハイパーパラメータを最適化することによって、前記オートラベリング装置２００の前記信頼度を追加してさらに向上させることができるようになる。
つまり、図８を参照すると、一週間ごとに前記再学習を進めると仮定する場合、前記信頼度は階段式に向上するが、本発明によって前記ハイパーパラメータを最適化する場合、さらに高い信頼度を確保することができ、それに伴って再学習のための信頼度がさらに高い前記トゥルーラベルを有するトレーニングイメージを取得することができる。そして、信頼度のさらに高い前記トゥルーラベルを有するトレーニングイメージを利用して前記再学習を遂行することにより、前記再学習による前記オートラベリング装置の前記信頼度は従来に比べてより格段に向上し得る。
【０１２６】
さらに、前記方法は、ポリシー勾配アルゴリズム（ｐｏｌｉｃｙ  ｇｒａｄｉｅｎｔ  ａｌｇｏｒｉｔｈｍ）を利用した強化学習により遂行され得る。
【０１２７】
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【０１２８】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【０１２９】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126615.tif 000052
【図２】
2020126615.tif 000053
【図３】
2020126615.tif 000054
【図４】
2020126615.tif 000055
【図５】
2020126615.tif 000056
【図６】
2020126615.tif 000057
【図７】
2020126615.tif 000058
【図８】
2020126615.tif 000059