(57)【要約】      （修正有）【課題】ノイズラベルに対する敵対的学習システムおよび方法を提供する。【解決手段】敵対的学習方法２００は、第１データセットラベリングに基づいて第１マシン学習モデルを学習させ、第２データセットを第１マシン学習モデルに提供して更新の第２データセットラベリングを含む更新の第２データセットを生成し、更新の第２データセットラベリングと第２データセットラベリングとの間の第１差を判断し、第１差が第１閾値より大きければ、更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、第１データセットを第２マシン学習モデルに提供して更新の第１データセットラベリングを含む更新の第１データセットを生成し、更新の第１データセットラベリングと第１データセットラベリングとの間の第２差を判断し、第２差が第２閾値より大きければ、更新の第１データセットラベリングに基づいて第１マシン学習モデルを学習させる。【選択図】図２
2020102204.tif 000002
【特許請求の範囲】
【請求項１】
メモリと、
前記メモリに格納された命令を実行するプロセッサとを含み、
前記プロセッサは、前記命令により、
第１データセットラベリングを含む第１データセットを受信し、
第２データセットラベリングを含む第２データセットを受信し、
前記第１データセットラベリングに基づいて第１マシン学習モデルを学習させ、
前記第２データセットを前記学習させた第１マシン学習モデルに提供して、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成された、更新の第２データセットラベリングを含む更新の第２データセットを生成し、
前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断し、
前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、
前記第１データセットを前記学習させた第２マシン学習モデルに提供して、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成された、更新の第１データセットラベリングを含む更新の第１データセットを生成し、
前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断し、
前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる敵対的学習システム。
【請求項２】
前記プロセッサは、前記命令により、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる、請求項１に記載の敵対的学習システム。
【請求項３】
前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なる、請求項２に記載の敵対的学習システム。
【請求項４】
前記プロセッサは、前記命令により、前記第１マシン学習モデルと前記第２マシン学習モデルを前記更新の第２データセットおよび前記更新の第１データセットに適用した時、同一のデータセットラベリング結果を生成するまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる、請求項１に記載の敵対的学習システム。
【請求項５】
前記更新の第１データセットは、前記学習させた第２マシン学習モデルを前記第１データセットに適用した後に、新しいクラスに移動した前記第１データセットからのデータに対するデータサンプルラベルを更新することによって生成される、請求項１に記載の敵対的学習システム。
【請求項６】
前記更新の第１データセットラベリングは、前記第１データセットラベリングとは異なる、請求項１に記載の敵対的学習システム。
【請求項７】
前記第１データセットは、生きている人間のインスペクターによって、前記更新の第２データセットラベリングにより再びラベリングされて前記更新の第１データセットを生成する、請求項６に記載の敵対的学習システム。
【請求項８】
前記第１マシン学習モデルおよび前記第２マシン学習モデルは、分類アルゴリズムである、請求項１に記載の敵対的学習システム。
【請求項９】
前記更新の第２データセットは、前記学習させた第１マシン学習モデルを前記第２データセットに適用した後に、新しいクラスに移動した前記第２データセットからのデータに対するデータサンプルラベルを更新することによって生成される、請求項１に記載の敵対的学習システム。
【請求項１０】
前記第１データセットは、生きている人間のインスペクターによって分類またはラベリングされる、請求項１に記載の敵対的学習システム。
【請求項１１】
メモリと、
前記メモリに格納された命令を実行するプロセッサと、を含み、
前記プロセッサは、前記命令により、
第１データセットの第１データセットラベリングに基づいて第１マシン学習モデルを学習させ、
第２データセットラベリングを含む第２データセットを前記学習させた第１マシン学習モデルに提供して更新の第２データセットラベリングを含む更新の第２データセットを生成し、
前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、
前記第１データセットを前記学習させた第２マシン学習モデルに提供して更新の第１データセットラベリングを含む更新の第１データセットを生成し、
前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる敵対的学習システム。
【請求項１２】
前記プロセッサは、前記命令により、
前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断して、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、
前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断して、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させ、
前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる、請求項１１に記載の敵対的学習システム。
【請求項１３】
前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なる、請求項１２に記載の敵対的学習システム。
【請求項１４】
前記更新の第１データセットは、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成し、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成する、請求項１１に記載の敵対的学習システム。
【請求項１５】
前記プロセッサは、前記命令により、前記第１マシン学習モデルと前記第２マシン学習モデルを前記更新の第２データセットおよび前記更新の第１データセットに適用した時、同一のデータセットラベリング結果を生成するまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる、請求項１１に記載の敵対的学習システム。
【請求項１６】
前記更新の第１データセットは、前記学習させた第２マシン学習モデルを前記第１データセットに適用した後に、新しいクラスに移動した前記第１データセットからのデータに対するデータサンプルラベルを更新することによって生成され、
前記更新の第１データセットラベリングは、前記第１データセットラベリングとは異なり、
前記第１データセットは、生きている人間のインスペクターによって、前記更新の第２データセットラベリングにより再びラベリングされて前記更新の第１データセットを生成する、請求項１１に記載の敵対的学習システム。
【請求項１７】
前記第１マシン学習モデルおよび前記第２マシン学習モデルは、分類アルゴリズムであり、
前記第１データセットは、生きている人間のインスペクターによって分類またはラベリングされ、
前記更新の第２データセットは、前記学習させた第１マシン学習モデルを前記第２データセットに適用した後に、新しいクラスに移動した前記第２データセットからのデータに対するデータサンプルラベルを更新することによって生成される、請求項１６に記載の敵対的学習システム。
【請求項１８】
プロセッサによって、第１データセットの第１データセットラベリングに基づいて第１マシン学習モデルを学習させる段階と、
前記プロセッサによって、第２データセットラベリングを含む第２データセットを前記学習させた第１マシン学習モデルに提供して更新の第２データセットラベリングを含む更新の第２データセットを生成する段階と、
前記プロセッサによって、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させる段階と、
前記プロセッサによって、前記第１データセットを前記学習させた第２マシン学習モデルに提供して更新の第１データセットラベリングを含む更新の第１データセットを生成する段階と、
前記プロセッサによって、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる段階とを含む敵対的学習方法。
【請求項１９】
前記プロセッサによって、前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断して、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させる段階と、
前記プロセッサによって、前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断して、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる段階と、
前記プロセッサによって、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる段階とをさらに含む、請求項１８に記載の敵対的学習方法。
【請求項２０】
前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なり、
前記更新の第１データセットは、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成し、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成する、請求項１９に記載の敵対的学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズラベルに対する敵対的学習システムおよび方法に関する。
【０００２】
本出願は、２０１８年１２月２０日付で米国特許庁に出願した米国特許出願番号第６２／７８３，１５０号を優先権主張し、これを引用することによりこの出願の全体内容を本願に含む。
【背景技術】
【０００３】
最近、表示装置産業は、市場に新しい表示装置技術が導入されることによって急激に発展している。モバイル装置、テレビ、仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ：ＶＲ）ヘッドセットおよび他の表示装置は、表示装置がより高い解像度を有し、より正確な色再現を実現するように発展している。新しい類型の表示パネルモジュールおよび生産方法が使用されるにつれ、従来の方法では表面欠陥を見つけられにくくなった。
【０００４】
前述した内容は本発明の実施形態の背景を理解するための説明であり、従来の技術をなす情報を含むことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許５１６０３５１号明細書
【特許文献２】米国特許９８４６９３２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、ノイズラベルに対する敵対的学習システムおよび方法を提供することである。
【課題を解決するための手段】
【０００７】
以下、本発明の実施形態に対する特徴と概念を選択的に記載したもので、詳しい内容については発明を実施するための具体的な内容で説明する。この項目は、請求する発明の核心または本質的な特徴を定義しようとするわけではなく、請求する発明の範囲を限定するのに使用しようとするわけでもない。記載した１つ以上の特徴を、他の１つ以上の特徴と結合して動作可能な装置を作ることができる。
【０００８】
本発明の実施形態は、ノイズラベルに対する敵対的学習方法に関する。
【０００９】
本発明の一実施形態によるシステムは、メモリと、前記メモリに格納された命令を実行するプロセッサとを含み、前記プロセッサは、前記命令により、第１データセットラベリングを含む第１データセットを受信し、第２データセットラベリングを含む第２データセットを受信し、前記第１データセットラベリングに基づいて第１マシン学習モデルを学習させ、前記第２データセットを前記学習させた第１マシン学習モデルに提供して、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成された、更新の第２データセットラベリングを含む更新の第２データセットを生成し、前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断し、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、前記第１データセットを前記学習させた第２マシン学習モデルに提供して、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成された、更新の第１データセットラベリングを含む更新の第１データセットを生成し、前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断し、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる。
【００１０】
本発明の一実施形態によれば、前記プロセッサは、前記命令により、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させることができる。本発明の一実施形態によれば、前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なる。本発明の一実施形態によれば、前記プロセッサは、前記命令により、前記第１マシン学習モデルと前記第２マシン学習モデルを前記更新の第２データセットおよび前記更新の第１データセットに適用した時、同一のデータセットラベリング結果を生成するまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させることができる。
【００１１】
本発明の一実施形態によれば、前記更新の第１データセットは、前記学習させた第２マシン学習モデルを前記第１データセットに適用した後に、新しいクラスに移動した前記第１データセットからのデータに対するデータサンプルラベルを更新することによって生成される。本発明の一実施形態によれば、前記更新の第１データセットラベリングは、前記第１データセットラベリングとは異なる。本発明の一実施形態によれば、前記第１データセットは、生きている人間のインスペクターによって、前記更新の第２データセットラベリングにより再びラベリングされて前記更新の第１データセットを生成することができる。本発明の一実施形態によれば、前記第１マシン学習モデルおよび前記第２マシン学習モデルは、分類アルゴリズムであってもよい。本発明の一実施形態によれば、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを前記第２データセットに適用した後に、新しいクラスに移動した前記第２データセットからのデータに対するデータサンプルラベルを更新することによって生成される。本発明の一実施形態によれば、前記第１データセットは、生きている人間のインスペクターによって分類またはラベリングされる。
【００１２】
本発明の一実施形態によるシステムは、メモリと、前記メモリに格納された命令を実行するプロセッサとを含み、前記プロセッサは、前記命令により、第１データセットの第１データセットラベリングに基づいて第１マシン学習モデルを学習させ、第２データセットラベリングを含む第２データセットを前記学習させた第１マシン学習モデルに提供して更新の第２データセットラベリングを含む更新の第２データセットを生成し、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、前記第１データセットを前記学習させた第２マシン学習モデルに提供して更新の第１データセットラベリングを含む更新の第１データセットを生成し、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる。
【００１３】
本発明の一実施形態によれば、前記プロセッサは、前記命令により、前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断して、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断して、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させ、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させることができる。本発明の一実施形態によれば、前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なる。
【００１４】
本発明の一実施形態によれば、前記更新の第１データセットは、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成し、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成することができる。本発明の一実施形態によれば、前記プロセッサは、前記命令により、前記第１マシン学習モデルと前記第２マシン学習モデルを前記更新の第２データセットおよび前記更新の第１データセットに適用した時、同一のデータセットラベリング結果を生成するまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させることができる。
【００１５】
本発明の一実施形態によれば、前記更新の第１データセットは、前記学習させた第２マシン学習モデルを前記第１データセットに適用した後に、新しいクラスに移動した前記第１データセットからのデータに対するデータサンプルラベルを更新することによって生成され、前記更新の第１データセットラベリングは、前記第１データセットラベリングとは異なり、前記第１データセットは、生きている人間のインスペクターによって、前記更新の第２データセットラベリングにより再びラベリングされて前記更新の第１データセットを生成することができる。本発明の一実施形態によれば、前記第１マシン学習モデルおよび前記第２マシン学習モデルは、分類アルゴリズムであり、前記第１データセットは、生きている人間のインスペクターによって分類またはラベリングされ、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを前記第２データセットに適用した後に、新しいクラスに移動した前記第２データセットからのデータに対するデータサンプルラベルを更新することによって生成される。
【００１６】
本発明の一実施形態による方法は、プロセッサによって、第１データセットの第１データセットラベリングに基づいて第１マシン学習モデルを学習させる段階と、前記プロセッサによって、第２データセットラベリングを含む第２データセットを前記学習させた第１マシン学習モデルに提供して更新の第２データセットラベリングを含む更新の第２データセットを生成する段階と、前記プロセッサによって、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させる段階と、前記プロセッサによって、前記第１データセットを前記学習させた第２マシン学習モデルに提供して更新の第１データセットラベリングを含む更新の第１データセットを生成する段階と、前記プロセッサによって、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる段階とを含む。
【００１７】
本発明の一実施形態による方法は、前記プロセッサによって、前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断して、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させる段階と、前記プロセッサによって、前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断して、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる段階と、前記プロセッサによって、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる段階とをさらに含んでもよい。
【００１８】
本発明の一実施形態によれば、前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なり、前記更新の第１データセットは、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成し、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成することができる。
【発明の効果】
【００１９】
ノイズラベルに対する効果的な敵対的学習システムおよび方法を実現することができる。
【図面の簡単な説明】
【００２０】
【図１Ａ】本発明の一実施形態によるシステム概略図である。
【図１Ｂ】本発明の一実施形態による分類器の学習システムの概略図である。
【図２】本発明の一実施形態による敵対的（ａｄｖｅｒｓａｒｉａｌ）学習方法のブロック図である。
【図３】図２に示した敵対的学習方法を説明するフローチャートである。
【図４】本発明の他の実施形態による敵対的学習方法のブロック図である。
【図５】本発明のさらに他の実施形態による敵対的学習方法のブロック図である。
【発明を実施するための形態】
【００２１】
添付した図面を参照しながら以下に説明する具体的な内容は、本発明に係るノイズラベルに対する敵対的学習方法の実施形態に関する説明であり、本発明が実現または使用される唯一の形態を示すものではない。ここでは、本発明の特徴を実施形態と関連づけて提示する。しかし、他の実施形態によっても同一の、または等価の機能と構造を実現することができ、これも本発明の範囲内に含まれる。ここで特別な言及がなく、同一または類似の部分または特性については同一または類似の図面符号を使用する。
【００２２】
最近、モバイル表示装置産業が急激に成長している。新たな類型の表示パネルと製造方法を用いるにつれ、表示装置の解像度と画素密度が大きくなり、従来の方法では表面欠陥［例：表示パネルにおける有機発光ダイオード（ｏｒｇａｎｉｃ  ｌｉｇｈｔ  ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ：ＯＬＥＤ）の欠陥］を見つけられにくくなった。手動欠陥検知は、現状の製造装備に適用するには時間が多くかかり、自動検査技術は非効率的な側面がある。例えば、表面自動検査をする時、局所異常点が規則的な周辺と明確な対比をなすと、均一な（テクスチャのない）表面の欠陥を容易に識別することができる。しかし、欠陥と周辺との境界が明確でなく、背景の明るさが均一でない場合には、低解像度イメージの欠陥を検知することが困難である。
【００２３】
表示欠陥の通常の類型は、「ムラ（Ｍｕｒａ）」である。ムラは、ＯＬＥＤの製造時に発見される欠陥の主要因の１つである。ムラは、人間の視覚に不快感を与える局所的な明るさの不均一である。ムラの類型は、大体、大きさおよび形状により、線（ｌｉｎｅ）ムラ、点（ｓｐｏｔ）ムラ、領域（ｒｅｇｉｏｎ）ムラに区分することができる。各類型のムラは、明確な境界がなく、イメージで明瞭に現れないことがある。そのため、ムラ欠陥を識別する新たな方法が必要である。また、ムラを識別する新たな方法またはアルゴリズムの処理時間がＯＬＥＤの生産効率に直接的な影響を及ぼすことから、これを考慮しなければならない。また、完全自動化表面検査プロセスを実現するために、表示パネル（例：ＯＬＥＤ表示パネル）の欠陥（例：ムラ）類型を分類する必要があり、これは、生産効率を改善し、人間の視覚検査を低減することができる。
【００２４】
図１Ａは、本発明の一実施形態によるシステムの概略図である。図１Ｂは、本発明の一実施形態による分類器の学習システムの概略図である。
【００２５】
図１Ａおよび図１Ｂを参照すれば、本発明の一実施形態によるムラ（Ｍｕｒａ）検知システム１０１は、前処理器１００で入力映像を受信する。入力映像は、例えば、検査映像を表示している表示装置の映像を含むことができる。検査映像を表示しているＯＬＥＤ表示装置の画面をカメラで撮影することによって、検査映像を生成することができる。本発明の一実施形態によれば、検査映像は、表示装置がムラ［例えば、白点ムラ（ｗｈｉｔｅ  ｓｐｏｔ  Ｍｕｒａ）］の例を示すようにする映像を含むことができる。例えば、検査映像は、低解像度の均一な映像であってもよい。入力映像の解像度が高くて、欠陥（例：白点ムラ）が検知される表示装置の各画素が見えることもある。本発明の実施形態では、前処理器１００が入力映像を受信し、映像内のノイズを低減する平滑化を行うことができる。入力映像のノイズを低減した後に、前処理器１００は、映像を複数の映像パッチに分割することができ、それぞれの映像パッチは、特性抽出器１１０に提供される。
【００２６】
本発明の一実施形態によれば、特性抽出器１１０は、提供された映像パッチに対して多様な統計的な特性を計算する。例えば、統計的な特性は、１つ以上の映像モーメント（例：画素密度の加重平均）および１つ以上のテクスチャ測定［例：グレーレベル共存マトリクス（ＧＬＣＭ：Ｇｒａｙ−Ｌｅｖｅｌ  Ｃｏ−Ｏｃｃｕｒｒｅｎｃｅ  Ｍａｔｒｉｘ）を用いたテクスチャ分析］を含むことができる。本発明の一実施形態では、例えば、多様な映像モーメントとＧＬＣＭテクスチャ特性を含む３７の統計的な特性が特性抽出器１１０によって抽出される。本発明の一実施形態によれば、特性抽出器１１０は、それぞれの映像パッチに対してミュー３０モーメント（ｍｕ  ３０  ｍｏｍｅｎｔ）［３次重心モーメント（３ｒｄ  ｏｒｄｅｒ  ｃｅｎｔｒｏｉｄ  ｍｏｍｅｎｔ）、対比（ｃｏｎｔｒａｓｔ）（ＧＬＣＭ）ヒュー５モーメント（ｈｕ  ５  ｍｏｍｅｎｔ）、ヒュー１モーメント（ｈｕ  １  ｍｏｍｅｎｔ）［１次ヒュー不変モーメント（１ｓｔ  Ｈｕ  ｉｎｖａｒｉａｎｔ  ｍｏｍｅｎｔ）および相関／不同（ｃｏｒｒｅｌａｔｉｏｎ／ｄｉｓｓｉｍｉｌａｒｉｔｙ）（ＧＬＣＭ）を計算することができる。
【００２７】
本発明の一実施形態によれば、抽出された映像パッチそれぞれの統計的特性は、分類器１２０に入力で供給される。本発明の一実施形態において、分類器１２０は、抽出された特性（例：特性ベクトル）およびラベルクラス情報を用いて欠陥（例：ムラ）の例を識別するマシン学習分類器であってもよい。本発明の一実施形態によれば、分類器１２０に用いられるマシン学習分類アルゴリズムは、欠陥の位置を特定し、欠陥の種類を分類する。本発明の一実施形態において、クラス情報は、分類器を学習させることによって提供される。
【００２８】
マシン学習において、分類は、データセット（ｄａｔａｓｅｔ）内の与えられたデータポイントクラスを予測する過程と定義する。マシン学習における分類の概念は、データを別個のクラスに分離するモデルを作ることを含むことができる。本発明の一実施形態によれば、クラスは、目標（ｔａｒｇｅｔｓ）、ラベル（ｌａｂｅｌｓ）またはカテゴリー（ｃａｔｅｇｏｒｉｅｓ）といえる。分類予測モデリング（ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｐｒｅｄｉｃｔｉｖｅ  ｍｏｄｅｌｉｎｇ）は、入力変数からデータセット内の別個の出力変数への写像関数（ｍａｐｐｉｎｇ  ｆｕｎｃｔｉｏｎ）の近似値を求めるものであってもよい。分類モデルは、アルゴリズムが習うためにクラスが予めラベルのついた（ｐｒｅ−ｌａｂｌｅｄ）学習データ集合を入力することによって作られる。そのモデルは、クラスが知られていない他のデータセット（例えば、検査データセット）を入力することによって、モデルが学習データセットから学習したものに基づいてクラスメンバーシップを予測するように用いられてもよい。分類アルゴリズム［例えば、決定木（ｄｅｃｉｓｉｏｎ  ｔｒｅｅｓ）、単純ベイズ（ｎａｉｖｅ  Ｂａｙｅｓ）、人工神経網（ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ：ＡＮＮ）、ｋ−最近接ネイバー（ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ：ＫＮＮ）］が明らかなクラスラベリング（ｅｘｐｌｉｃｉｔ  ｃｌａｓｓ  ｌａｂｅｌｉｎｇ）を要求するので、分類は監督学習の形態である。
【００２９】
様々な分類アルゴリズム（例えば、決定木、単純ベイズ、ＡＮＮ、ＫＮＮ）が可能であるが、ある分類アルゴリズムが他の分類アルゴリズムより良いかを決定するには容易でない。分類アルゴリズムは、使用可能なデータセットの特性と適用に基づいて選択される。例えば、クラスまたはラベルが線形分離可能であれば、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ  ｒｅｇｒｅｓｓｉｏｎ）、フィッシャー線形判別（Ｆｉｓｈｅｒ’ｓ  ｌｉｎｅａｒ  ｄｉｓｃｒｉｍｉｎａｎｔ）などの線形分類器が複雑なモデルより良いことがあり、そうでなければその逆である。
【００３０】
分類器１２０は、監督学習モデルを使用できるため、分類器１２０は機能化される前に学習される。発明の実施形態において、分類器１２０に用いられた監督学習モデルは、支援ベクトルマシンである。監督学習モデル（例：支援ベクトルマシン）は、学習期間で分類器１２０に人的入力（または人的検査）１３０を提供することによって学習される。例えば、それぞれのイメージパッチに対して人間がパッチを視覚的に検査し、白点ムラのあるケースと表示することができる。このイメージパッチを特性抽出器１１０にも提供可能である。イメージパッチに対して抽出された特性ベクトルと人間が検査し、表示した対応パッチ（例えば、学習データセット）すべてを分類器１２０に提供することができる。分類器１２０は、このようなパッチ（例えば、学習データセット）を用いて、後で分類に用いられるクラス情報（例：モデル形成）を生成することができる。
【００３１】
本発明の一実施形態によれば、監督学習モデル（例：支援ベクトルマシン）の性能は、学習データセット内にあるラベルつきの前記量に（臨界的に）依存し、ラベルは明らかで正確なものと仮定される。しかし、このような仮定は、実際のデータセットで維持されない場合が多いが、例えば、学習データセット内の流失ラベル（ｍｉｓｓｉｎｇ  ｌａｂｅｌｓ）、主観的なラベリングまたは不完全注釈つきの映像（ｉｎｅｘｈａｕｓｔｉｖｅｌｙ−ａｎｎｏｔａｔｅｄ  ｉｍａｇｅｓ）などがある学習または検査データセットの場合にそうである。例えば、監督学習モデルの学習データセットで、クラスラベルが無くなることがあり、その映像のオブジェクト（ｏｂｊｅｃｔｓ）がすべて局所化されてはいなかったり、生きている人間の専門家（ｌｉｖｅ  ｈｕｍａｎ  ｅｘｐｅｒｔｓ）（例：１３０）がクラスラベルに対して同意しないこともある。監督学習モデルに用いられる分類アルゴリズムの学習データセットが大きくなるほど、検査データセットで流失ラベルおよびノイズラベル問題がより激しくなる。ソースにもかかわらず、ノイズラベルに起因するノイズは、マシン学習モデルの学習性能を急激に低下させることがある。
【００３２】
本発明の一実施形態によれば、実際のデータを有するデータセットの分類にマシン学習モデルを用いるためには、データセットにあるノイズラベル問題を解決することが好ましい。例えば、主観的なラベリングまたは不完全注釈つきの検査データセットは、マシン学習モデルの性能を評価しにくくするが、これは、ノイズラベルが誤検知（ｍｉｓｄｅｔｅｃｔｉｏｎ）または誤分類（ｍｉｓｃｌａｓｓｉｆｉｃａｔｉｏｎ）として検知されうるからである。
【００３３】
本発明の一実施形態によれば、複数の生きている人間のインスペクター（ｌｉｖｅ  ｈｕｍａｎ  ｉｎｓｐｅｃｔｏｒ）からラベルのついたデータセットは、主観的なラベリング問題がありうるが、これは、そのようなラベリングが個別インスペクターの検査結果に依存するからである。本発明の一実施形態によれば、検査データセットは、実際の問題に対する主観的なラベリング問題を有しうるが、例えば、実際の問題（例：ムラ検知をはじめとする欠陥検知）に対する明確な判断を困難にしかねない。本発明の一実施形態によれば、実際のデータセットの場合、通常生じることであるが、学習データセットと検査データセットとの間に衝突がある場合、マシン学習モデル（例：分類アルゴリズム）の開発を困難にしかねない。
【００３４】
本発明の一実施形態によれば、データセットの全体内容は、すべての型類の欠陥に対して完璧にラベリングされるわけにはいかない。データセットの主要欠陥の一部に対してのみ人間のインスペクターをラベリングまたは分類するのに用いることができる。しかし、このように不完全ラベルつきのデータセットは、学習データセットに問題を起こしうるが、このように不完全ラベルつきの［例えば、過小適合した（ｕｎｄｅｒｆｉｔｔｅｄ）］学習データセットは、流失ラベルおよび一貫性のないラベリングを有しうるからである。本発明の一実施形態によれば、ノイズラベルが誤検知（ｍｉｓｄｅｔｅｃｔｉｏｎ）または誤分類（ｍｉｓｃｌａｓｓｉｆｉｃａｔｉｏｎ）として検知されうるので、不完全ラベルつきのデータセットは、検査データセットを用いてマシン学習モデルを評価しにくくしかねない。例えば、すべての欠陥位置にわたって同一の検知基準を維持するには、すべてのデータが完全に表示される必要がある。これは、主観的なラベリング問題を起こさない。しかし、完全注釈つきのデータセットと不完全注釈つきのデータセットとの混合データセットに対して、不完全注釈問題と主観的ラベリング問題とを区別しにくいことがある。
【００３５】
前述したように、分類アルゴリズムが明確なクラスラベリングを必要とするため、分類は監督学習の形態である。バイアス分散トレードオフ（ｂｉａｓ−ｖａｒｉａｎｃｅ  ｔｒａｄｅｏｆｆ）は、監督学習における中心問題である。バイアス分散トレードオフは、予測モデル集合の性質であり得、母数推定（ｐａｒａｍｅｔｅｒ  ｅｓｔｉｍａｔｉｏｎ）で低いバイアスを有するモデルは、サンプルに対する母数推定値の分散が高くなり、その逆もそうである。バイアスは、学習アルゴリズムの誤った仮定からくるエラーであり得る。本発明の一実施形態によれば、高いバイアスは、アルゴリズムが特性（ｆｅａｔｕｒｅｓ）と標的出力（ｔａｒｇｅｔ  ｏｕｔｐｕｔｓ）との相関関係を抜かすように（例：過小適合）することができる。分散は、学習セットの小さい変動に対する敏感度から来るエラーであり得る。本発明の一実施形態によれば、高い分散は、アルゴリズムが意図した出力（ｉｎｔｅｎｄｅｄ  ｏｕｔｐｕｔｓ）よりは、学習データの任意ノイズをモデリングするように［例：過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）］することができる。本発明の一実施形態によれば、バイアス分散分解（ｂｉａｓ−ｖａｒｉａｎｃｅ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ）は、特定の問題に対して、学習アルゴリズムの予測一般化エラーを、問題自体にある低減できないエラー（ｉｒｒｅｄｕｃｉｂｌｅ  ｅｒｒｏｒ）、分散およびバイアス、この３つの項目の和として分析する方法である。本発明の一実施形態によれば、バイアス分散問題は、監督学習アルゴリズムが学習セットを超えて一般化するのを防止する２つのエラー源（例：バイアスおよび分散）を同時に最小化するのと相反することがある。バイアス分散トレードオフは、すべての形態の監督学習、例えば、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、回帰（ｒｅｇｒｅｓｓｉｏｎ）、構造化された出力学習（ｓｔｒｕｃｔｕｒｅｄ  ｏｕｔｐｕｔ  ｌｅａｒｎｉｎｇ）などに適用できる。
【００３６】
本発明の一実施形態によれば、学習データの規則性（ｒｅｇｕｌａｒｉｔｙ）を正確に把握すると同時に、見えないデータにうまく一般化するモデルを選択することが理想的である。しかし、この２つを同時に行うことは容易でない。高分散学習方法（ｈｉｇｈ−ｖａｒｉａｎｃｅ  ｌｅａｒｎｉｎｇ  ｍｅｔｈｏｄ）は学習セットをよく表現することができるが、ノイズまたは代表性のない（ｕｎｒｅｐｒｅｓｅｎｔａｔｉｖｅ）学習データに過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）する恐れがある。これとは逆に、高バイアス性アルゴリズムは、過剰適合しない簡単なモデルを生成できるが、学習データを過小適合して重要な規則性を見過ごすことがある。様々な分類アルゴリズムがあるが、ＯＬＥＤ表示装置に表示される映像の不均一な性質のため、ＯＬＥＤの欠陥を示すデータセットを高い信頼度で分類することは容易でない。また、実際のデータセットの場合、通常生じることであるが、学習データセットと検査データセットとが相反する場合、マシン学習モデル（例：分類アルゴリズム）の開発が困難になりうる。
【００３７】
従来の監督学習アルゴリズムの大部分は、サンプルに対して実際（ｇｒｏｕｎｄ  ｔｒｕｔｈ）のラベルを定義してモデルを開発し、性能を点検すると期待するが、主観的なラベリング問題があるデータセットの場合にはそうではない。ムラ検知のような欠陥検知の場合、学習および検査データセットに対する主観的なラベリングおよび不完全ラベリングを見つけることは難しくない。しかし、再検査によりデータセット（例：検査データセット）に再び正しいラベルをつけることは容易ではない。そのため、正確度（ａｃｃｕｒａｃｙ）、精密度（ｐｒｅｃｉｓｉｏｎ）または再現性（ｒｅｃａｌｌ）などのような適切な性能尺度でデータセットのラベルを再付与することによって、有効なマシン学習モデルを作る方法（またはアルゴリズム）が好ましい。
【００３８】
本発明の他の実施形態は、マシン学習モデルが学習および／または検査データセットでのノイズラベルに関連する問題点（例：過剰適合または過小適合学習データ）を克服する学習方法を提示することができ、実際のデータセット（例：学習または検査データセットの欠陥検知）の高い正確度を達成する均衡モデル（ｂａｌａｎｃｅｄ  ｍｏｄｅｌ）を作り出すことができる。本発明の他の実施形態はまた、学習データセットと検査データセットとの間の分類と関連する不一致を次第に低減する学習方法を提示することができ、マシン学習モデルを意味あるように評価する計数可能な学習および検査用データセットを作り出すことができる。本発明のある実施形態は、互いに異なる、生きている人間のインスペクターからの主観的なラベリング問題を解決するレビューの量を低減することができ、不完全ラベルつきのデータセットから発生する主要欠陥を解決するレビューの量を低減することができ、データサンプル（例：学習および／または検査データセット）を再びラベリングすることを補助して、複数のインスペクターがそれぞれのデータサンプルに対して１つの明確な概念を有するようにするツール（ｔｏｏｌ）または構造（ａｒｃｈｉｔｅｃｔｕｒｅ）（例：マシン学習モデルまたは分類アルゴリズム）を提示することができる。
【００３９】
本発明の一実施形態は、ノイズラベル（例：主観的なラベリングおよび不完全ラベリング問題）を有するデータセットでマシン学習モデルを学習させる方法を提示することができる。本発明の一実施形態によれば、２つの互いに異なるデータセット［例：ゴールデン（ｇｏｌｄｅｎ）データセットまたは学習データセットおよび新しいデータセットまたは検査データセット］を用いて２つの互いに異なるマシン学習モデル（例：分類アルゴリズム）を学習させることができ、互いに異なるデータセットの結果を比較（例：現在周期の更新されたゴールデンデータセットのデータセットラベリングを前の周期のゴールデンデータセットのデータセットラベリングと比較、例えば、１データセットの更新データセットラベリングをそのデータセットの前のデータセットラベリングと比較）し、正確度（ａｃｃｕｒａｃｙ）、精密度（ｐｒｅｃｉｓｉｏｎ）または再現性（ｒｅｃａｌｌ）などの目標性能尺度を達成するまで結果を繰り返し収斂することができる。本発明の一実施形態は、それぞれ（学習または検査）だけからの不一致を表示し、２つの互いに異なるデータセット間の間隔を低減する方法を提示するだけでなく、２つのマシン学習モデルの分類または検知結果を比較することによって繰り返しを終える方法を提示することができる。本発明の一実施形態によれば、この方法はまた、データセットのうちの１つ（例：学習データセット）が十分な大きさのデータを有し得ず、他のデータセット（例：検査データセット）に対する正しい分類が行われない場合に解法を提示することもできる。
【００４０】
図２は、本発明の一実施形態による敵対的（ａｄｖｅｒｓａｒｉａｌ）学習方法２００のブロック図である。図３は、図２に示した敵対的学習方法２００を説明するフローチャート３００である。図２の敵対的学習方法は、互いに異なるデータ分布（例：データセットラベリング）を有する２つのデータセットを更新し、中間地点（ｍｉｄｄｌｅ  ｇｒｏｕｎｄ）で合意する方法を提示する。図２の敵対的学習方法は、２つのマシン学習モデル２１０、２１８（または２つの分類アルゴリズム）を繰り返すが、２つのマシン学習モデル２１０、２１８が更新のゴールデンデータセット２１６と更新の新しいデータセット２０６に対して同一の結果（例：同一のデータセットラベリング結果）を示すまで繰り返す。２つのデータセットの不一致を繰り返し低減することによって、敵対的学習方法２００は、２つのマシン学習モデル２１０、２１８が２つのデータセットに対して同一の結果を生成する地点に達するようになる。
【００４１】
図３の敵対的学習方法３００は、図２のブロック図に関連して以下の段落で説明する。図３の敵対的学習方法３００は、メモリを含むシステムのプロセッサによって行われ、プロセッサは、メモリに格納された命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行する。
【００４２】
敵対的学習方法３００は、段階３０２から始まる。
【００４３】
段階３０４で、新しいデータセット２０２およびゴールデンデータセット２１２を受信する。
【００４４】
本発明の一実施形態によれば、ゴールデンデータセット２１２は、生きている人間の専門家がラベリングしたデータセットを指す。したがって、ゴールデンデータセット２１２は、ＯＬＥＤ欠陥検知（例：ムラ検知）用マシン学習アルゴリズムの学習データセットとして使用される信頼可能なデータソースである。ゴールデンデータセット２１２は、新しいデータセット２０２とは異なるデータセットラベリングを有している。例えば、ゴールデンデータセット２１２は、第１データセットラベリングを含むことができ、新しいデータセット２０２は、第２データセットラベリングを含むことができる。
【００４５】
選択的に、段階３０６で、第１マシン学習モデル２１８は、ゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）に基づいて学習させる。
【００４６】
段階３０８で、新しいデータセット２０２は、学習させた第１マシン学習モデル２１８に提供され、再びラベリングされる。本発明の一実施形態によれば、第１分布調節モジュール２０４は、学習させた第１マシン学習モデル２１８を新しいデータセット２０２に適用することができる。
【００４７】
段階３１０で、学習させた第１マシン学習モデル２１８に基づいて更新の新しいデータセット２０６を生成する。例えば、更新の新しいデータセット２０６は、学習させた第１マシン学習モデル２１８を用いて新しいデータセット２０２を分類することによって生成される。更新の新しいデータセット２０６は、新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）とは異なる更新データセットラベリング（例：更新の第２データセットラベリング）または新しい基準（ｎｅｗ  ｓｔａｎｄａｒｄ）２０８を有することができる。例えば、更新の新しいデータセット２０６は、更新の第２データセットラベリングを含むことができる。本発明の一実施形態によれば、新しいデータセット２０２と更新の新しいデータセット２０６は、ラベリングが異なる同一のデータを含むことができるが、例えば、新しいデータセット２０２は、第２データセットラベリングを含み、更新の新しいデータセット２０６は、更新の第２データセットラベリングを含むことができる。更新の新しいデータセット２０６は、第１マシン学習モデル２１８が新しいデータセット２０２に適用された後に、新しいクラスに移動した［新しいデータセット２０２の］データに対するデータサンプルラベルを更新する。
【００４８】
段階３１２で、更新の新しいデータセット２０６のデータセットラベリング（例：更新の第２データセットラベリング）と新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）との間の第１差（Δ１）を判断する。
【００４９】
Δ１＝（更新の第２データセットラベリング−第２データセットラベリング）。
【００５０】
段階３１４で、第１差（Δ１）を第１閾値と比較する。段階３１４で、第１差（Δ１）が第１閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、段階３１５で、新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）に基づいて第２マシン学習モデル２１０を学習させる。段階３１５から、アルゴリズム３００は、段階３１８へ進む。
【００５１】
しかし、段階３１４で、第１差（Δ１）が第１閾値より大きいと判断されると、段階３１６で新しい基準２０８または更新の新しいデータセット２０６のデータセットラベリング（例：更新の第２データセットラベリング）に基づいて第２マシン学習モデル２１０を学習させる。
【００５２】
段階３１７で、新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）を更新の新しいデータセット２０６のデータセットラベリング（例：更新の第２データセットラベリング）に更新する。
【００５３】
段階３１８で、ゴールデンデータセット２１２を学習させた第２マシン学習モデル２１０に提供する。本発明の一実施形態によれば、第２分布調節モジュール２１４は、学習させた第２マシン学習モデル２１０をゴールデンデータセット２１２に適用することができる。
【００５４】
段階３２０で、学習させた第２マシン学習モデル２１０に基づいて更新のゴールデンデータセット２１６を生成する。例えば、更新のゴールデンデータセット２１６は、学習させた第２マシン学習モデル２１０を用いてゴールデンデータセット２１２を分類することによって生成される。更新のゴールデンデータセット２１６は、ゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）とは異なる更新データセットラベリング（例：更新の第１データセットラベリング）を有することができる。本発明の一実施形態によれば、ゴールデンデータセット２１２と更新のゴールデンデータセット２１６は、ラベリングが異なる同一のデータを含むことができるが、例えば、ゴールデンデータセット２１２は、第１データセットラベリングを含み、更新のゴールデンデータセット２１６は、更新の第１データセットラベリングを含むことができる。更新のゴールデンデータセット２１６は、第２マシン学習モデル２１０がゴールデンデータセット２１２に適用された後に、新しいクラスに移動した［ゴールデンデータセット２１２の］データに対するデータサンプルラベルを更新する。
【００５５】
段階３２２で、更新のゴールデンデータセット２１６のデータセットラベリング（例：更新の第１データセットラベリング）とゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）との間の第２差（Δ２）を判断する。
【００５６】
Δ２＝（更新の第１データセットラベリング−第１データセットラベリング）。
【００５７】
本発明の一実施形態によれば、段階３２２で、現在周期での更新のゴールデンデータセット２１６のデータセットラベリングを前の周期での同一のデータセットのデータセットラベリングと比較して、第２差（Δ２）を決定する。本発明の一実施形態によれば、第２分布調節モジュール２１４は、更新のゴールデンデータセット２１６のデータセットラベリング（例：更新の第１データセットラベリング）をゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）と比較して、第２差（Δ２）を決定する。
【００５８】
段階３２４で、第２差（Δ２）を第２閾値と比較する。段階３２４で、第２差（Δ２）が第２閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、段階３２５で、プロセッサは、第１差（Δ１）が第１閾値以下であるかを判断する。
【００５９】
段階３２５で、第２差（Δ２）が第２閾値以下の時、第１差（Δ１）が第１閾値以下であると判断されると、段階３２６で、敵対的学習方法３００を終了する。
【００６０】
しかし、段階３２５で、第２差（Δ２）が第２閾値以下の時、第１差（Δ１）が第１閾値以下でないと判断されると、段階３２７で、新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）に基づいて第１マシン学習モデル２１８を学習させる。段階３２７から、アルゴリズム３００は段階３０８に戻る。
【００６１】
段階３２４で、第２差（Δ２）が第２閾値より大きいと判断されると、段階３２８で、更新のゴールデンデータセット２１６のデータセットラベリング（例：更新の第１データセットラベリング）に基づいて第１マシン学習モデル２１８を学習させる。
【００６２】
段階３２９で、ゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）を更新のゴールデンデータセット２１６のデータセットラベリング（例：更新の第１データセットラベリング）に更新する。
【００６３】
段階３２９から、アルゴリズム３００は段階３０８に戻り、方法３００は引き続き進む。
【００６４】
マシン学習モデル２１０、２１８に対する学習過程を繰り返し実行することによって、繰り返すたびに小さくなる差または小さくなるΔ１およびΔ２を得ることができ、これにより、インスペクターが決定境界（ｄｅｃｉｓｉｏｎ  ｂｏｕｎｄａｒｙ）のデータだけをレビューすれば良いので、境界に対するビュー（ｖｉｅｗ）がより明確になり得る。２つのマシン学習モデル２１０、２１８の２つのデータセット［例：更新のゴールデンデータセット２１６と更新の新しいデータセット２０６］に対して同一の結果を算出すれば、敵対的学習方法３００を終える。
【００６５】
本発明の一実施形態によれば、更新の新しいデータセット２０６または更新のゴールデンデータセット２１６が生成されると、第１分布調節モジュール２０４および第２分布調節モジュール２１４は、データサンプルを選択して決定をフリップ（ｆｌｉｐ）する（例：決定に対する確信がなければ、当該サンプルを次のラウンドのためにそのまま置く）。
【００６６】
本発明の一実施形態によれば、ゴールデンデータセット２１２または新しいデータセット２０２のノイズラベルまたはエラーラベル（ｍｉｓｌａｂｅｌ）は、生きている人間のインスペクターによって識別可能であり、更新のゴールデンデータセット２１６および更新の新しいデータセット２０６が生成される。同一のインスペクターを用いてゴールデンデータセット２１２および新しいデータセット２０２をレビューすることによって、主観的なラベリング問題を低減することを推薦する。データセット内の不一致を低減することによって、インスペクターは、実際の決定境界（ｒｅａｌ  ｄｅｃｉｓｉｏｎ  ｂｏｕｎｄａｒｙ）をおおまかに推察することができる。更新のゴールデンデータセット２１６と更新の新しいデータセット２０６の両者からの結果（例：データセットラベリング）に対してすべてのインスペクターが同意するまで、新しい基準２０８と学習マシン学習モデル２１０、２１８の更新のために［敵対的学習方法３００の］引き続き繰り返すことができる。
【００６７】
本発明の一実施形態によれば、生きている人間のインスペクターは、全体ゴールデンデータセット２１２をレビューし、更新の新しいデータセット２０６のデータセットラベリング（例：更新の第２データセットラベリング）に対する新しい基準２０８により、ラベルを再びつけて更新のゴールデンデータセット２１６を生成することができる。しかし、新しい基準２０８（例：更新の第２データセットラベリング）により、生きている人間のインスペクターがゴールデンデータセット２１２を再びラベリングすることによって生成された更新のゴールデンデータセット２１６は、主観的なラベリング問題がありうる。そのため、マシンまたはマシン学習モデル（例：２１０）が新しい基準２０８（例：更新の第２データセットラベリング）により、ゴールデンデータセット２１２を再びラベリングすることが好ましい。
【００６８】
敵対的学習方法３００は、２つの検査データセット（例：２０２）を新しいゴールデンデータセットに混合することによって、新しい評価データセット（ｎｅｗ  ｅｖａｌｕａｔｉｏｎ  ｄａｔａｓｅｔ）に拡張できる。新しいデータセットとして用いられる新しい評価データセットを受信して敵対的学習方法３００を適用することができる。
【００６９】
本発明の一実施形態によれば、データセットラベリングの目的で他のサンプルと大きく相違しない特別なサンプルが２つのデータセット［例：新しいデータセット２０２およびゴールデンデータセット２１２］に含まれる。これは、細部事項をすべて学習するには小さすぎるデータセットの場合にそうである。この場合には、大きいデータセットの１つで類似するものを見つけたりサンプリングして他のデータセットに加えるカバリング（ｃｏｖｅｒｉｎｇ）のための合成データセットを生成することができる。
【００７０】
本発明の一実施形態によれば、マシン学習モデル２１０、２１８を学習することは、ローカライザ（ｌｏｃａｌｉｚｅｒ）、特性抽出器（ｆｅａｔｕｒｅ  ｅｘｔｒａｃｔｏｒ）（例：１１０）および／または分類器（ｃｌａｓｓｉｆｉｅｒ）（例：１２０）のうちの１つ以上を学習することを意味することができる。本発明の一実施形態によれば、分類器（例：１２０）は、分類過程をデータセットに適用して分布調節過程（例：３００）に用いられる差を見つけることができる。本発明の一実施形態によれば、分類器（例：１２０）および特性抽出器（例：１１０）は、特性セット（ｆｅａｔｕｒｅ  ｓｅｔ）を更新することもでき、これは、差を見つけるのと類似している。本発明の一実施形態によれば、ローカライザ、特性抽出器（例：１１０）および分類器（例：１２０）は、新しい検知位置を生成することができる。そのため、分類候補位置も更新される。
【００７１】
図４は、本発明の他の実施形態による敵対的学習方法４００のブロック図である。図４の敵対的学習方法４００は、メモリを含むシステム内のプロセッサによって行われ、プロセッサは、メモリに格納された命令を実行する。
【００７２】
敵対的学習方法４００で、学習データセット４０１および検査データセット４０２を受信する。学習データセット４０１は、第１データセットラベリングを含み、検査データセット４０２は、第２データセットラベリングを含むことができる。本発明の一実施形態によれば、マシン学習モデル４１０は、学習データセット４０１のデータセットラベリング（例：第１データセットラベリング）を用いて学習される。
【００７３】
検査データセット４０２は、学習させたマシン学習モデル４１０に提供され、再びラベリングされる。学習させたマシン学習モデル４１０に基づいて更新検査データセット４１５が生成される。例えば、更新検査データセット４１５は、学習させたマシン学習モデル４１０を用いて検査データセット４０２を分類することによって生成される。更新検査データセット４１５は、データセットラベリングに対する更新基準または検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）とは異なる更新の第２データセットラベリングを有することができる。更新検査データセット４１５は保持される（例：メモリに格納される）。
【００７４】
次に、更新検査データセット４１５のデータセットラベリング（例：更新の第２データセットラベリング）を検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）と比較して、更新の第２データセットラベリングと第２データセットラベリングとの間の第１差（Δ１）を決定する。
【００７５】
Δ１＝（更新の第２データセットラベリング−第２データセットラベリング）。
【００７６】
第１差（Δ１）が第１閾値以下であると判断されると（ほぼ０であれば）、検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）に基づいてマシン学習モデル４２０を学習させる。
【００７７】
しかし、第１差（Δ１）が第１閾値より大きいと判断されると、更新検査データセット４１５のデータセットラベリング（例：更新の第２データセットラベリング）に基づいてマシン学習モデル４２０を学習させる。検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）は、更新検査データセット４１５のデータセットラベリング（例：更新の第２データセットラベリング）に更新される。
【００７８】
次に、学習データセット４０１が学習させたマシン学習モデル４２０に提供され、再びラベリングされる。学習させたマシン学習モデル４２０に基づいて更新学習データセット４２５を生成する。例えば、更新学習データセット４２５は、学習させたマシン学習モデル４２０を用いて学習データセット４０１を分類することによって生成される。更新学習データセット４２５は、原本データセットラベリングまたは学習データセット４０１の第１データセットラベリングとは異なる第１データセットラベリングを有することができる。更新学習データセット４２５は保持される。
【００７９】
次に、更新学習データセット４２５のデータセットラベリング（例：更新の第１データセットラベリング）を学習データセット４０１のデータセットラベリング（例：第１データセットラベリング）と比較し、更新の第１データセットラベリングと第１データセットラベリングとの間の第２差（Δ２）を決定する。
【００８０】
Δ２＝（更新の第１データセットラベリング−第１データセットラベリング）。
【００８１】
本発明の一実施形態によれば、現在周期の更新学習データセット４２５のデータセットラベリング（例：更新の第１データセットラベリング）を同一のデータセットの前の周期データセットラベリング（例：第１データセットラベリング）と比較して、第２差（Δ２）を決定する。
【００８２】
第２差（Δ２）が第２閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、プロセッサは、第１差（Δ１）が第１閾値以下であるかを判断する。
【００８３】
第１差（Δ１）が第１閾値以下であり、第２差（Δ２）が第２閾値以下であると判断されると、敵対的学習方法４００を終了する。
【００８４】
しかし、第１差（Δ１）が第１閾値以下でなく、第２差（Δ２）は第２閾値以下であると判断されると、検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）に基づいてマシン学習モデル４１０を学習させる。
【００８５】
第２差（Δ２）が第２閾値より大きいと決定されれば、更新学習データセット４２５のデータセットラベリング（例：更新の第１データセットラベリング）に基づいてマシン学習モデル４１０を更新または学習（または調節）させる。
【００８６】
学習データセット４０１のデータセットラベリング（例：第１データセットラベリング）更新学習データセット４２５のデータセットラベリング（例：更新の第１データセットラベリング）に更新され、方法４００は引き続き進む。敵対的学習方法４００は、２つのマシン学習モデル４１０、４２０が２つのデータセット［例：更新学習データセット４２５と更新検査データセット４１５］に対して同一の結果を生成すれば完了できる。
【００８７】
マシン学習モデル４１０、４２０に対する学習過程を繰り返し実行することによって、繰り返すたびに小さくなる差または小さくなるΔ１およびΔ２を得ることができ、これにより、インスペクターが決定境界（ｄｅｃｉｓｉｏｎ  ｂｏｕｎｄａｒｙ）のデータだけをレビューすれば良いので、境界に対するビュー（ｖｉｅｗ）がより明確になり得る。
【００８８】
図５は、本発明のさらに他の実施形態による敵対的学習方法５００のブロック図である。図５の敵対的学習方法５００は、メモリを含むシステム内のプロセッサによって行われ、プロセッサは、メモリに格納された命令を実行する。
【００８９】
敵対的学習方法５００で、ゴールデンデータセット５０２を受信する。ゴールデンデータセット５０２は、第１データセットラベリングを含むことができる。結果データセット５１４も受信可能である。結果データセット５１４は、第２データセットラベリングを含むことができる。
【００９０】
選択的に、マシン学習モデル５１２は、ゴールデンデータセット５０２のデータセットラベリング（例：第１データセットラベリング）を用いて学習される。
【００９１】
結果データセット５１４は、学習させたマシン学習モデル５１２に提供され、再びラベリングされる。学習させたマシン学習モデル５１２に基づいて新しいデータセット５０４が生成される。例えば、新しいデータセット５０４は、学習させたマシン学習モデル５１２を用いて結果データセット５１４を分類することによって生成される。新しいデータセット５０４は、結果データセット５１４のデータセットラベリング（例：第２データセットラベリング）とは異なる更新データセットラベリング（例：更新の第２データセットラベリング）を有することができる。例えば、新しいデータセット５０４は、更新の第２データセットラベリングを含むことができる。本発明の一実施形態によれば、結果データセット５１４および新しいデータセット５０４は、ラベリングが異なる同一のデータを含むことができるが、例えば、結果データセット５１４は、第２データセットラベリングを含み、新しいデータセット５０４は、更新の第２データセットラベリングを含むことができる。新しいデータセット５０４は、マシン学習モデル５１２が結果データセット５１４に適用された後に、新しいクラスに移動した［結果データセット５１４の］データに対するデータサンプルラベルを更新する。
【００９２】
第１差（Δ１）は、更新の第２データセットラベリングと第２データセットラベリングとの間で決定される。
【００９３】
Δ１＝（更新の第２データセットラベリング−第２データセットラベリング）。
【００９４】
第１差（Δ１）を第１閾値と比較する。第１差（Δ１）が第１閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、ゴールデンデータセット５０２が分布調節モジュール５０６に提供され、新しい基準５０８または新しいデータセット５０４のデータセットラベリング（例：第２データセットラベリング）に基づいて更新のゴールデンデータセット５１０を生成する。更新のゴールデンデータセット５１０は、原本データセットラベリングまたはゴールデンデータセット５０２の第１データセットラベリングとは異なる更新データセットラベリングを有することができる。
次に、更新のゴールデンデータセット５１０のデータセットラベリング（例：更新の第１データセットラベリング）をゴールデンデータセット５０２のデータセットラベリング（例：第１データセットラベリング）と比較し、更新の第１データセットラベリングと第１データセットラベリングとの間の第２差（Δ２）を決定する。
【００９５】
Δ２＝（更新の第１データセットラベリング−第１データセットラベリング）。
【００９６】
本発明の一実施形態によれば、現在周期の更新のゴールデンデータセット５１０のデータセットラベリング（例：更新の第１データセットラベリング）を同一のデータセットの前の周期データセットラベリング（例：第１データセットラベリング）と比較して、第２差（Δ２）を決定する。
【００９７】
第２差（Δ２）が第２閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、敵対的学習方法５００を終了する。そうでなければ、更新のゴールデンデータセット５１０のデータセットラベリング（例：更新の第１データセットラベリング）に基づいてマシン学習モデル５１２を学習させ、方法５００を継続する。敵対的学習方法５００は、マシン学習モデル５１２が２つのデータセット［例：更新のゴールデンデータセット５１０と新しいデータセット５０４］に対して同一の結果を生成すれば完了できる。
【００９８】
マシン学習モデル５１２に対する学習過程を繰り返し実行することによって、繰り返すたびに小さくなる差または小さくなるΔ２を得ることができ、これにより、インスペクターが決定境界（ｄｅｃｉｓｉｏｎ  ｂｏｕｎｄａｒｙ）のデータだけをレビューすれば良いので、境界に対するビュー（ｖｉｅｗ）がより明確になり得る。
【００９９】
「第１」、「第２」、「第３」などの用語を様々なエレメント、成分、領域、層、部分などに使用するが、これらはこのような修飾語によって限定されない。このような用語は、あるエレメント、成分、領域、層、部分を、他のエレメント、成分、領域、層、部分と区別するために使用するものであり、本発明の趣旨と範囲を逸脱しない。
【０１００】
説明の便宜のために、図面に示したある部分または特性に対する他の部分または特性の関係を示すために、「下」、「下部」、「上」などの空間関係の用語を使用することができる。このような空間関係の用語は、図面に示した使用または動作する装置の互いに異なる位置および／または方向を示すためのものである。例えば、図面において、ある部分の「下」または「下部」にあると示した部分は、装置がひっくり返されると、逆に「上」にあるものになる。そのため、例えば、「下」および「下部」は、上と下をすべて示すことができる。装置が、例えば、９０度回転したり他の方向に向かうことができ、この場合、空間関係の用語はこれに合わせて解釈されなければならない。また、ある層が他の２つの層の「間」にあると表現した時、２つの層の間に当該層だけあってもよいが、１つ以上の他の層がさらにあってもよい。
【０１０１】
ここで使用された用語は、特定の実施形態を説明する目的で使用するだけであり、本発明を制限しようとするものではない。ここで、「実質的に」、「約」、「おおよそ」およびこれと類似する表現は、近似を示す表現に過ぎず、「程度」を示すものではなく、当業者が知っている測定値または計算値の固有の誤差を示すのに使用する。
【０１０２】
ここで、数を特に言及しなければ、単数または複数の場合をすべて含む。ある特徴、段階、動作、部分、成分などを「含む」という表現は、該当する部分以外に、他の特徴、段階、動作、部分、成分なども包含できることを意味する。「および／または」という表現は、挙げられたものの１つまたは２以上のすべての組み合わせを含む。挙げられたリストの前に記載した「少なくとも１つ」などの表現は、リスト全体を修飾するものであり、リスト内のそれぞれのものを修飾するものではない。また、本発明の実施形態を説明する時に使用する「できる」という表現は、「本発明の１つ以上の実施形態」に適用可能であることを意味する。「例示的な」という用語は、例または図面を示す。「使用」、「利用」などは、これと類似する他の表現と共に似た意味で使用できる。
【０１０３】
部分、層、領域、成分などが、他の部分、層、領域、成分の「上に」あったり、「連結されて」いると記載する場合、「直」上にあったり、または「直接」連結されている場合のみならず、中間に他の部分、層、領域、成分などがさらに介在している場合も含む。しかし、「真上に」あったり、「直接連結」されていると記載すれば、中間に他の部分がないことを意味する。
【０１０４】
ここに記載した数値範囲は、該当範囲内に含まれる同一の正確度のすべての部分範囲（ｓｕｂ−ｒａｎｇｅ）を含む。例えば、「１．０〜１０．０」の範囲は、最小値１．０と最大値１０．０およびその間にあるすべての部分範囲、つまり、１．０以上の最小値と１０．０以下の最大値を有する部分範囲、例えば、２．４〜７．６を含む。ここで言及した最大値はその中に含まれ、それより小さいすべての数値限界を含み、本明細書に記載した最小値はその中に含まれ、それより大きいすべての数値限界を含む。
【０１０５】
本発明の実施形態によれば、本発明の方法およびシステムの互いに異なる実施形態の１つ以上の出力は、本発明の方法およびシステムの互いに異なる実施形態の１つ以上の出力に関する１つ以上の出力または情報を表示する表示装置と連結されていたり、これを含む電子装置に伝送される。
【０１０６】
本発明の実施形態により説明した電子、電気装置および／または他の関連装置または部分は、適切なハードウェア、ファームウェア（例：応用注文型集積回路）、ソフトウェアまたはこれらの組み合わせを用いて実現することができる。例えば、これら装置の多様な構成要素を１つの集積回路チップに形成されてもよく、互いに異なる集積回路チップに実現することもできる。また、これら装置の多様な構成要素を可撓性印刷回路フィルム、テープキャリアパッケージ（ＴＣＰ：ｔａｐｅ  ｃａｒｒｉｅｒ  ｐａｃｋａｇｅ）、印刷回路基板などに実現したり、１つの基板上に形成することができる。また、これら装置の多様な構成要素をここで説明した多様な機能を行うためにコンピュータプログラム命令を実行し、他のシステム要素と相互作用する１つ以上のコンピュータ装置内にある１つ以上のプロセッサで実行できるプロセスまたはスレッド（ｔｈｒｅａｄ）であってもよい。コンピュータプログラム命令は、ラム（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）などの標準メモリ装置を用いるコンピュータ装置に実現されたメモリに格納される。それだけでなく、当業者は、本発明の実施形態の概念と範囲を逸脱することなく多様なコンピュータ装置の機能を１つのコンピュータ装置に結合または統合したり、特定のコンピュータ装置の機能を１つ以上の他のコンピュータ装置に分散することもできる。
【０１０７】
以上、ノイズラベルに対する敵対的学習方法の実施形態について説明および図示したが、当業者であればこのような実施形態を変更および修正することもできる。したがって、ここで提示した原理により構成された他のノイズラベルに対する敵対的学習方法も本発明に含まれる。本発明は、以下の特許請求の範囲およびその等価物によって定義される。
【符号の説明】
【０１０８】
１００：前処理器
１０１：ムラ検知システム
１１０：特性抽出器
１２０：分類器
１３０：人的検査
２００、４００、５００：敵対的学習方法
２０２、５０４：新しいデータセット
２０４、２１４、５０６：分布調節モジュール
２０６：更新の新しいデータセット
２０８、５０８：新しい基準
２１０、２１８、４２０、５１２：マシン学習モデル
２１２、５０２：ゴールデンデータセット
２１６、５１０：更新のゴールデンデータセット
４０１：学習データセット
４０２：検査データセット
４２５：更新学習データセット
５１４：結果データセット
【図１Ａ】
2020102204.tif 000003
【図１Ｂ】
2020102204.tif 000004
【図２】
2020102204.tif 000005
【図３】
2020102204.tif 000006
【図４】
2020102204.tif 000007
【図５】
2020102204.tif 000008