(57)【要約】      （修正有）【課題】準教師ありＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋ）を使用して合成データオブジェクトを生成することを容易にする。【解決手段】動作中、ジェネレータモジュール１６２は、ノイズベクトル及び属性ラベルから導出されるデータオブジェクトを合成する。教師なしディスクリミネータモジュール１６４は、データオブジェクトと、トレーニングデータセットから得られるトレーニングオブジェクトが本物である確率を示す値及びデータオブジェクトの潜在的特徴表現を計算する。教師ありディスクリミネータモジュール１６５は、潜在的な特徴表現及び属性ラベルを受けて、データオブジェクトを与えられた属性ラベルが本物である確率を示す値を計算して、偽物と識別できないデータオブジェクトを生成するまで、処理を繰り返す。【選択図】図１Ｄ
2019091440.tif 000002
【特許請求の範囲】
【請求項１】
準教師あり敵対的生成ネットワークを使用して合成データオブジェクトを生成するためのコンピュータ実装方法であって、
ノイズベクトルｚ及び属性ラベルｙから導出されるデータオブジェクトｘＧをジェネレータモジュールによって合成するステップと、
教師なしディスクリミネータモジュールに、前記データオブジェクトｘＧと、トレーニングデータセットから得られるトレーニングオブジェクトｘＴ及びｘＵのセットとを渡すステップと、
前記教師なしディスクリミネータモジュールによって、前記データオブジェクトｘＧが本物である確率を示す値を計算するステップと、
前記教師なしディスクリミネータモジュールによって、前記データオブジェクトｘＧの潜在的特徴表現ｈ（ｘＧ）を計算するステップと、
前記潜在的特徴表現ｈ（ｘＧ）を教師ありディスクリミネータモジュールに渡すステップと、
前記属性ラベルｙを前記教師ありディスクリミネータモジュールに渡すステップと、
前記教師ありディスクリミネータモジュールによって、前記データオブジェクトｘＧを与えられた前記属性ラベルｙが本物である確率を示す値を計算するステップと、
前記教師なし及び教師ありディスクリミネータモジュールがもはや偽物として識別できない所与の属性ラベルを有するデータオブジェクトを前記ジェネレータモジュールが生成するまで、上述のステップを繰り返し行うステップと、を含む、方法。
【請求項２】
前記データオブジェクトｘＧが本物である確率を決定することは、前記データオブジェクトｘＧが前記トレーニングデータセットから得られたと決定することをさらに含む、請求項１に記載の方法。
【請求項３】
前記トレーニングデータセットは、対応する属性ラベルを有しない第１の数のデータオブジェクトと、対応する属性ラベルを有する第２の数のデータオブジェクトとを含み、前記第１の数は前記第２の数よりも既定の比率だけ大きい、請求項１に記載の方法。
【請求項４】
前記ジェネレータモジュール、前記教師なしディスクリミネータモジュール、及び前記教師ありディスクリミネータモジュールは、ディープニューラルネットワークである、請求項１に記載の方法。
【請求項５】
前記ジェネレータモジュール、前記教師なしディスクリミネータモジュール、及び前記教師ありディスクリミネータモジュールは、
対応する属性ラベルを有するデータオブジェクトと、対応する属性ラベルを有しないデータオブジェクトとに基づいて、データオブジェクトが本物である第１の確率を学習し、
対応する属性ラベルのみを有するデータオブジェクトに基づいて、データオブジェクト及び対応する属性ラベルからなるペアが本物である第２の確率を学習し、
前記モデルは、続いて、部分的にラベル付けされた所与のデータセットを使用して、所与のデータオブジェクトと前記所与のデータセットの所与の属性ラベルとの間の依存性を決定し、
続いて、前記所与のデータオブジェクトと前記所与の属性ラベルとの間の依存性を満たす特定の属性ラベルを与えられた特定のデータオブジェクトを生成する、前記準教師あり敵対的生成ネットワークに基づくモデルを含む、請求項１に記載の方法。
【請求項６】
データオブジェクト及び対応する属性ラベルが、
画像及び前記画像の属性、
オーディオファイル及び前記オーディオファイルの属性、ならびに
第１のデータセット及び前記第１のデータセットのためのタグ、のうちの１つまたは複数である、請求項１に記載の方法。
【請求項７】
データオブジェクトが顔の画像であり、前記データオブジェクトの対応する属性ラベルが、サングラス、皺、及び顔面化粧品のうちの１つまたは複数の有無に関係する、請求項１に記載の方法。
【請求項８】
データオブジェクトが英数字の画像であり、前記データオブジェクトの対応する属性ラベルが前記英数字に一意的に関係する、請求項１に記載の方法。
【請求項９】
準教師あり敵対的生成ネットワークを使用して合成データオブジェクトを生成するためのコンピュータシステムであって、前記システムは、
プロセッサと、
前記プロセッサによって実行されると、前記プロセッサに、方法を行わせる命令を格納している記憶デバイスと、を備えており、前記方法は、
ノイズベクトルｚ及び属性ラベルｙから導出されるデータオブジェクトｘＧをジェネレータモジュールによって合成するステップと、
教師なしディスクリミネータモジュールに、前記データオブジェクトｘＧと、トレーニングデータセットから得られるトレーニングオブジェクトｘＴ及びｘＵのセットとを渡すステップと、
前記教師なしディスクリミネータモジュールによって、前記データオブジェクトｘＧが本物である確率を示す値を計算するステップと、
前記教師なしディスクリミネータモジュールによって、前記データオブジェクトｘＧの潜在的特徴表現ｈ（ｘＧ）を計算するステップと、
前記潜在的特徴表現ｈ（ｘＧ）を教師ありディスクリミネータモジュールに渡すステップと、
前記属性ラベルｙを前記教師ありディスクリミネータモジュールに渡すステップと、
前記教師ありディスクリミネータモジュールによって、前記データオブジェクトｘＧを与えられた属性ラベルｙが本物である確率を示す値を計算するステップと、
前記教師なし及び教師ありディスクリミネータモジュールがもはや偽物として識別できない所与の属性ラベルを有するデータオブジェクトを前記ジェネレータモジュールが生成するまで、上述のステップを繰り返し行うステップとを含む、方法。
【請求項１０】
前記データオブジェクトｘＧが本物である前記確率を決定することは、前記データオブジェクトｘＧが前記トレーニングデータセットから得られたと決定することをさらに含む、請求項９に記載のコンピュータシステム。
【請求項１１】
前記トレーニングデータセットは、対応する属性ラベルを有しない第１の数のデータオブジェクトと、対応する属性ラベルを有する第２の数のデータオブジェクトとを含み、前記第１の数は前記第２の数よりも既定の比率だけ大きい、請求項９に記載のコンピュータシステム。
【請求項１２】
前記ジェネレータモジュール、前記教師なしディスクリミネータモジュール、及び前記教師ありディスクリミネータモジュールは、ディープニューラルネットワークである、請求項９に記載のコンピュータシステム。
【請求項１３】
前記ジェネレータモジュール、前記教師なしディスクリミネータモジュール、及び前記教師ありディスクリミネータモジュールは、
対応する属性ラベルを有するデータオブジェクトと、対応する属性ラベルを有しないデータオブジェクトとに基づいて、データオブジェクトが本物である第１の確率を学習し、
対応する属性ラベルのみを有するデータオブジェクトに基づいて、データオブジェクト及び対応する属性ラベルからなるペアが本物である第２の確率を学習する、前記準教師あり敵対的生成ネットワークに基づくモデルを含み、
前記モデルは、続いて、部分的にラベル付けされた所与のデータセットを使用して、前記所与のデータセットの所与のデータオブジェクトと所与の属性ラベルとの間の依存性を決定し、
続いて、前記所与のデータオブジェクトと前記所与の属性ラベルとの間の依存性を満たす特定の属性ラベルを与えられた特定のデータオブジェクトを生成する、請求項９に記載のコンピュータシステム。
【請求項１４】
データオブジェクト及び対応する属性ラベルが、
画像及び該画像の属性、
オーディオファイル及びオーディオファイルの属性、ならびに
第１のデータセット及び第１のデータセットのためのタグ、のうちの１つまたは複数である、請求項９に記載のコンピュータシステム。
【請求項１５】
データオブジェクトは顔の画像であり、前記データオブジェクトの対応する属性ラベルは、サングラス、皺、及び顔面化粧品のうちの１つまたは複数の有無に関係する、請求項９に記載のコンピュータシステム。
【請求項１６】
データオブジェクトは英数字の画像であり、前記データオブジェクトの対応する属性ラベルは、前記英数字に一意的に関係する、請求項９に記載のコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、一般に、条件付き生成モデルを開発することに関する。より具体的には、本開示は、敵対的ネットワークを使用した準教師あり条件付き生成モデリングのためのシステム及び方法に関する。
【背景技術】
【０００２】
ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋ）は、高次元の非構造化データ（例えば、画像）の生成モデルを学習するための最近の技術である。ＧＡＮは、２つのネットワーク、すなわち、データ分布からサンプルを生成するジェネレータＧと、Ｇによって生成されたサンプルから本物のサンプルを区別することを目的とするディスクリミネータＤとを採用している。２つのネットワークは交互に、お互いに最善を尽くすように努力し、最終的には、ジェネレータＧが真のデータ分布に収束する結果となる。
【０００３】
現在のＧＡＮ技術の多くは、データがラベル付けされていない教師なし設定（すなわち、属性を有しない画像）に焦点を当てている。現在のＧＡＮ技術の一部は、すべてのデータにラベルが付けられている教師あり設定（例えば、属性を有する画像）にも焦点を当てている。例えば、教師あり設定における１つのアプローチは、条件付きＧＡＮ（Ｃ−ＧＡＮ）であり、特定の属性を与えられた画像を生成することができる条件付きモデルを構築する。教師あり設定における別のアプローチは、補助クラシファイアＧＡＮ（ＡＣ−ＧＡＮ）であり、サイド情報がディスクリミネータによって再構成され得る。
【０００４】
しかし、教師あり設定のように、すべてのデータがラベル付けされたデータセットを取得することは費用がかかることがある。このコストに対処する１つの解決策は、データの少量の部分しかラベル付けされていない準教師あり設定を採用することである。準教師あり設定においてＧＡＮを使用して試験が行われている。しかし、現行の試験は、準教師あり設定において条件付きモデルを構築することに効率的に対応するものではない。
【発明の概要】
【０００５】
一実施形態は、準教師あり敵対的生成ネットワークを使用して合成データオブジェクトを生成することを容易にする。動作中、システムは、ジェネレータモジュールによって、ノイズベクトルｚ及び属性ラベルｙから導出されるデータオブジェクトｘＧを合成する。システムは、教師なしディスクリミネータモジュールに、データオブジェクトｘＧと、トレーニングデータセットから得られるトレーニングオブジェクトｘＴ及びｘＵのセットとを渡す。システムは、教師なしディスクリミネータモジュールによって、データオブジェクトｘＧが本物である確率を示す値を計算する。システムは、教師なしディスクリミネータモジュールによって、データオブジェクトｘＧの潜在的特徴表現ｈ（ｘＧ）を計算する。システムは潜在的特徴表現ｈ（ｘＧ）を教師ありディスクリミネータモジュールに渡す。システムは属性ラベルｙを教師ありディスクリミネータモジュールに渡す。システムは、教師ありディスクリミネータモジュールによって、データオブジェクトｘＧを与えられた属性ラベルｙが本物である確率を示す値を計算する。システムは、教師なし及び教師ありディスクリミネータモジュールがもはや偽物として識別できない所与の属性ラベルを有するデータオブジェクトをジェネレータモジュールが生成するまで、上述のステップを繰り返し行う。
【０００６】
いくつかの実施形態では、データオブジェクトｘＧが本物である確率を決定することは、データオブジェクトｘＧがトレーニングデータセットから得られたことを決定することをさらに含む。
【０００７】
いくつかの実施形態では、トレーニングデータセットは、対応する属性ラベルを有しない第１の数のデータオブジェクトと、対応する属性ラベルを有する第２の数のデータオブジェクトとを含み、第１の数は第２の数より既定の比率だけ大きい。
【０００８】
いくつかの実施形態では、ジェネレータモジュール、教師なしディスクリミネータモジュール、及び教師ありディスクリミネータモジュールは、ディープニューラルネットワークである。
【０００９】
いくつかの実施形態では、ジェネレータモジュール、教師なしディスクリミネータモジュール、及び教師ありディスクリミネータモジュールは、対応する属性ラベルを有するデータオブジェクトと対応する属性ラベルを有しないデータオブジェクトとに基づいてデータオブジェクトが本物であるという第１の確率を学習し、対応する属性ラベルのみを有するデータオブジェクトに基づいて、データオブジェクト及び対応する属性ラベルからなるペアが本物であるという第２の確率を学習する、準教師あり敵対的生成ネットワークに基づくモデルを含む。モデルは、続いて、部分的にラベル付けされた所与のデータセットを使用して、所与のデータオブジェクトと所与のデータセットの所与の属性ラベルとの間の依存性を決定し、続いて、所与のデータオブジェクトと所与の属性ラベルとの間の依存性を満たす特定の属性ラベルを与えられた特定のデータオブジェクトを生成する。
【００１０】
いくつかの実施形態では、データオブジェクト及び対応する属性ラベルは、画像及び画像の属性、オーディオファイル及びオーディオファイルの属性、ならびに第１のデータセット及び第１のデータセットのタグのうちの１つまたは複数である。
【００１１】
いくつかの実施形態では、データオブジェクトは顔の画像であり、データオブジェクトの対応する属性ラベルは、サングラス、皺、及び顔面化粧品のうちの１つまたは複数の有無に関係する。
【００１２】
いくつかの実施形態では、データオブジェクトは英数字の画像であり、データオブジェクトの対応する属性ラベルは英数字に一意的に関係する。
【図面の簡単な説明】
【００１３】
【図１Ａ】従来技術に従う、教師なしＧＡＮの例示的なアーキテクチャを示す。
【図１Ｂ】従来技術に従う、教師あり設定のための条件付きＧＡＮ（Ｃ−ＧＡＮ）の例示的なアーキテクチャを示す。
【図１Ｃ】先行技術に従う、教師あり及び教師なし設定のための補助クラシファイアＧＡＮ（ＡＣ−ＧＡＮ）の例示的なアーキテクチャを示す。
【図１Ｄ】本発明の一実施形態に従う、準教師ありスタック型ＧＡＮ（ＳＳ−ＧＡＮ）の例示的なアーキテクチャを示す。
【図２Ａ】本発明の一実施形態に従う、教師なしディスクリミネータを関与させた動作を含む、準教師ありスタック型ＧＡＮ（ＳＳ−ＧＡＮ）の例示的なアーキテクチャを示す。
【図２Ｂ】本発明の一実施形態に従う、ジェネレータ、教師なしディスクリミネータ、及び教師ありディスクリミネータを関与させた動作を含む、ＳＳ−ＧＡＮの例示的なアーキテクチャを示す図である。
【図２Ｃ】本発明の一実施形態に従う、教師なしディスクリミネータ及び教師ありディスクリミネータを関与させた動作を含む、ＳＳ−ＧＡＮの例示的なアーキテクチャを示す。
【図２Ｄ】本発明の一実施形態に従う、図２Ｂ及び２Ｃに関連して上述した動作を含む、ＳＳ−ＧＡＮの例示的なアーキテクチャを示す。
【図３】本発明の一実施形態に従う、準教師ありＧＡＮを使用して合成データオブジェクトを生成することを容易にする例示的な環境を示す。
【図４】本発明の一実施形態に従う、準教師ありＧＡＮを使用して合成データオブジェクトを生成することを容易にする方法を示すフローチャートを表す。
【図５Ａ】ｎ＝２０のラベル付き手本を用いた場合の５つの異なるモデルからの第１の代表的サンプルセットを示す。
【図５Ｂ】ｎ＝２０のラベル付き手本を用いた場合の５つの異なるモデルからの第２の代表的サンプルセットを示す。
【図６Ａ】ｎ＝６０，０００、ｍ＝０である、完全教師あり設定においてＣ−ＧＡＮモデルによって生成された数字を示す。
【図６Ｂ】ｎ＝６０，０００、ｍ＝０である、完全教師あり設定においてＡＣ−ＧＡＮモデルによって生成された数字を示す。
【図６Ｃ】ｎ＝２０、ｍ＝０である、少量ラベル教師あり設定においてＳＣ−ＧＡＮモデルにより生成された数字を示す。
【図６Ｄ】ｎ＝２０、ｍ＝６０，０００である、準教師あり設定においてＳＡ−ＧＡＮモデルにより生成された数字を示す。
【図６Ｅ】ｎ＝２０、ｍ＝６０，０００である、準教師あり設定におけるＳＳ−ＧＡＮモデルにより生成された数字を示す。
【図７】本発明の一実施形態に従う、準教師ありＧＡＮを使用して合成データオブジェクトを生成することを容易にする例示的な分散コンピュータ及び通信システムを示す。
【００１４】
図において、類似の参照番号は、同じ図の要素を指す。
【発明を実施するための形態】
【００１５】
以下の説明は、当業者に、実施形態を作り、使用するのを可能にさせるために提示され、特定の用途及びその要件の観点から提供されている。開示された実施形態に対する様々な修正形態が当業者にはすぐに明らかになり、本明細書に定義されている一般原則が、本開示の趣旨及び範囲を逸脱しない限り、他の実施形態及び用途に適用されてもよい。したがって、本発明は、示されている実施形態に限定されるものでなく、本明細書に開示されている原則及び特徴と合致している最も広い範囲が与えられるべきである。
【００１６】
概要
本明細書に記載された実施形態は、「スタック型」ディスクリミネータを使用することによって条件付きＧＡＮを準教師あり設定に拡張するシステムを提供することによって、ＧＡＮにおける準教師あり設定おいて得られる効率を利用する問題を解決する。システムは、データとラベル（例えば、画像と属性）の結合サンプルが本物であるか偽物であるか評価するディスクリミネータのタスクを２つの別個のタスク、すなわち（ｉ）画像が本物であるか偽物であるかを評価すること及び（ｉｉ）画像を与えられた属性が本物であるか偽物であるかを評価すること、に分割する。システムは、ディスクリミネータを第１のタスクで支援するにはすべてのラベル付き及びラベルなしデータを使用し、第２のタスクではラベル付きデータのみを使用する。タスク（ｉ）（画像の「周辺分布」）は、タスク（ｉｉ）（画像を与えられた属性の「条件付き分布」）と比べ、モデル化するのがはるかに難しいことに留意されたい。
【００１７】
ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋ）は、高次元の非構造化データ（例えば、画像）の生成モデルを学習するための最近の技術である。ＧＡＮは、２つのネットワーク、すなわち、データ分布からサンプルを生成するジェネレータＧと、Ｇによって生成されたサンプルから本物のサンプルを区別することを目的とするディスクリミネータＤとを採用している。２つのネットワークは交互に、お互いに最善を尽くすように努力し、最終的には、ジェネレータＧが真のデータ分布に収束する結果となる。
【００１８】
現在のＧＡＮ技術の多くは、データがラベル付けされていない教師なし設定（すなわち、属性を有しない画像）に焦点を当てている。現在のＧＡＮ技術の一部は、すべてのデータがラベル付けされている教師あり設定（例：属性を有するイメージ）にも焦点を当てている。例えば、教師あり設定における１つのアプローチは、条件付きＧＡＮ（Ｃ−ＧＡＮ）であり、特定の属性を与えられた画像を生成することができる条件付きモデルを構築する。教師あり設定における別のアプローチは、補助クラシファイアＧＡＮ（ＡＣ−ＧＡＮ）であり、サイド情報がディスクリミネータによって再構成され得る。
【００１９】
しかし、教師あり設定のように、すべてのデータがラベル付けされたデータセットを取得することは費用がかかることがある。このコストに対処する１つの解決策は、データの少量の部分しかラベル付けされていない準教師あり設定を採用することである。準教師あり設定においてＧＡＮを使用して試験が行われている。しかし、現行の試験は、準教師あり設定において条件付きモデルを構築することに効率的に対応するものではない。
【００２０】
本明細書に記載された実施形態は、準教師あり設定における条件付きＧＡＮ（ＳＳ−ＧＡＮ）を開発することによって、効率的にコスト問題に対処し、コスト問題を改善するシステムを提供する。システムは、Ｃ−ＧＡＮアーキテクチャを準教師あり設定に拡張し、ラベルなしデータを利用することができ、大量のラベル付きデータをディスクリミネータに提供するコストを克服する。例えば、システムは、はるかに少ない量のラベル付きデータ（それは、前述したように、高価となり得る）とともに大量のラベルなしデータ（ラベル付きデータよりも入手ははるかに安価である）を含み得るデータセットを使用することによって、機械学習の技術を向上する。したがって、システムは、非常に少ないラベル付きデータオブジェクトによって補充された大量のラベルなしデータオブジェクトから属性ラベルを与えられたデータオブジェクトの完全条件付きモデルを学習することができる。本明細書に記載された実施形態を使用して完全条件付きモデルを学習することにより、システムは、機械学習（例えば、コンピュータに明示的にプログラムされることなく学習する能力を提供する）及びデータ解析（例えば、有用な情報を発見するためにデータを検査、クレンジング、変換、モデル化することを含むデータマイニング）の技術を向上させる。
【００２１】
ＳＳ−ＧＡＮは既存のＧＡＮをベースにしているため、教師なしＧＡＮ、教師ありＧＡＮ、及び準教師ありＧＡＮの概要をここに示す。試行の結果も本明細書に記載し、既存のＧＡＮアプローチに対するＳＳ−ＧＡＮの性能を示す。
【００２２】
「データセット」という用語は、複数の「データオブジェクト」を指す。「データオブジェクト」という用語は、画像、オーディオファイル、３次元画像、または情報やデータの任意のグループ化を指し得る。
【００２３】
「ラベル付きデータ」という用語は、対応するラベルまたは属性ラベルを有するデータオブジェクトを指し得る。「ラベルなしデータ」という用語は、対応するラベルまたは属性ラベルを有しないデータオブジェクトを指し得る。
【００２４】
既存ＧＡＮのフレームワーク
データセットＸがｎ＋ｍ個の画像から構成され、最初のｎ個の画像には属性Ｙが付随するものとする。例えば：
Ｘ＝｛｛Ｘ１、．．．、Ｘｎ、Ｘｎ＋１、．．．、Ｘｎ＋ｍ｝及びＹ＝｛Ｙ１、．．．，Ｙｎ｝
【００２５】
各Ｘｉは、次元ｐｘ×ｐｙ×ｐｃであると仮定され、ここでｐｃはチャンネルの数である。属性タグＹｉは、次元｛０，１，．．．，Ｋ−１｝ｄの離散変数であると仮定される。すなわち、各属性はｄ次元であると仮定され、属性タグの個々の次元はＫ個の異なるクラスの１つに属する。これは、クラス変数（ｄ＝１）とバイナリ属性（Ｋ＝２）に対応できる。さらに、画像と属性の結合分布はｐ（ｘ，ｙ）で、画像の周辺分布はｐ（ｘ）で、画像を与えられた属性の条件付き分布はｐ（ｙ｜ｘ）で表すことができる。ＳＳ−ＧＡＮの目標は、ラベル付き及びラベルなしの両セットからの情報を利用して、所与のｙについてｐ（ｘ｜ｙ）からサンプル抽出できる生成モデルＧ（ｚ，ｙ）を学習することである。
【００２６】
教師なしＧＡＮ
データがラベルなしデータ（すなわちｎ＝０）のみから構成される教師なし設定においては、目標は、ノイズｚのベクトルをｘ＝Ｇｕ（ｚ；θｕ）として変換することにより、周辺画像分布ｐ（ｘ）からサンプル抽出する生成モデルＧｕ（ｚ；θｕ）を学習することである。すなわち、目標は、所与のデータ（例えば、画像）ｘが本物であるか偽物であるかを学習することである。Ｇｕ（）がこの周辺分布を学習するためには、ディスクリミネータＤｕ（ｘ；φｕ）が一緒にトレーニングされる。ジェネレータ及びディスクリミネータのそれぞれの教師なし損失関数は、次の通りである。
【００２７】
【数１】
2019091440.tif 000003
【００２８】
及び
【００２９】
【数２】
2019091440.tif 000004
【００３０】
式（１）及び式（２）は交互に、それぞれφｕ及びθｕについて最適化される。教師なしＧＡＮモデルを図１Ａに関連して以下に説明する。
【００３１】
図１Ａは、従来技術に従う、教師なしＧＡＮ１００の例示的なアーキテクチャ１００を示す。教師なしＧＡＮ１００は、ジェネレータ１０２（前述のＧｕに対応する）、ディスクリミネータ１０４（前述のＤｕに対応する）、及びトレーニングデータ１０６（ラベルなしデータｘＵを含む）を含み得る。動作中、ジェネレータ１０２はノイズ１０８ｚを入力として受け取り、ｚに基づきデータｘＧを生成する、すなわちＧ（ｚ）＝ｘＧである。ディスクリミネータ１０４は、ジェネレータ１０２からのｘＧ（通信１１４）及びトレーニングデータ１０６からのｘＵ（通信１１６）の両方を入力として取り、Ｄ（ｘ）を計算して出力１１２を決定する（例えば、ｘが本物であるか偽物であるか）。ジェネレータ１０２及びディスクリミネータ１０４は、ディスクリミネータ１０４がもはやその相違を言うこと（例えば、画像を偽物として識別すること）ができないほど本物に見えるデータ（例えば画像）を生成する方法をジェネレータ１０２が学習するまで、トレーニングプロセスを反復し続ける。
【００３２】
教師ありＧＡＮ
データのすべてがラベル付けされている教師あり設定（すなわち、ｍ＝０）においては、目標は、ノイズｚのベクトルをｘ＝ＧＳ（ｚ，ｙ；θＳ）として変換することにより、条件付き画像分布ｐ（ｘ｜ｙ）からサンプル抽出する生成モデルＧＳ（ｚ，ｙ；θＳ）を学習することである。すなわち、目標は、所与のペア（ｘ，ｙ）（例えば、（データ、ラベル）または（画像、属性））が本物であるか偽物であるかを学習することである。手書き数字の場合、ジェネレータが本物の手書き数字のように見える手書き数字を生成するだけでは十分ではない。ジェネレータは、属性ｙが「０」である場合、生成された手書き数字ｘもまた「０」であることを保証しなければならない。したがって、ｘ及びｙの両方がともにペアとして正しいものでなければならない。教師あり設定においては、すべてのデータがラベル付けされているため、システムはＧＡＮを使用してモデルを学習し、ｘが正しいことと（ｘ，ｙ）のペアが正しいこととを保証できる。この問題を解決するための２つの例示的なアプローチは、条件付きＧＡＮ（Ｃ−ＧＡＮ）及び補助クラシファイアＧＡＮ（ＡＣ−ＧＡＮ）である。
【００３３】
−条件付きＧＡＮ（Ｃ−ＧＡＮ）
一つの例示的な条件ＧＡＮモデルでは、ＧＳ（）が条件付き分布を学習するために、ディスクリミネータＤＳ（ｘ，ｙ；φＳ）が一緒にトレーニングされる。ディスクリミネータの目標は、結合サンプル（ｘ，ｙ）がデータからのサンプルであるかジェネレータによって生成されたものであるかを区別することである。条件付きＧＡＮ（Ｃ−ＧＡＮ）の、ジェネレータ及びディスクリミネータそれぞれに対する教師付き損失関数は以下の通りである。
【００３４】
【数３】
2019091440.tif 000005
【００３５】
及び
【００３６】
【数４】
2019091440.tif 000006
【００３７】
式（３）及び（４）は交互に、それぞれφＳ及びθＳについて最適化される。条件付きＧＡＮモデルを図１Ｂに関して以下に説明する。
【００３８】
図１Ｂは、従来技術に従う、教師あり設定のための条件付きＧＡＮ（Ｃ−ＧＡＮ）１２０の例示的なアーキテクチャを示す。Ｃ−ＧＡＮ１２０は、ジェネレータ１２２（前述のＧＳに対応する）、ディスクリミネータ１２４（前述のＤＳに対応する）、及びトレーニングデータ１２６（ラベル付きデータ（ｘＴ，ｙＴ）を含む）を含み得る。動作中、ジェネレータ１２２はノイズ１０８ｚ及び属性１３０ｙを入力として受け取り、ｚ及びｙに基づきデータｘＧを生成する、すなわちＧ（ｚ，ｙ）＝ｘＧである。ディスクリミネータ１２４は、ジェネレータ１０２からのｘＧ（通信１３４）及び属性１３０ｙ（通信１３８）と、トレーニングデータ１２６からの（ｘＴ，ｙＴ）（通信１３６）との両方を入力として受け取り、Ｄ（ｘ，ｙ）を計算して出力１３２を決定する（例えば、ペア（ｘ，ｙ）が本物であるか偽物であるか）。
【００３９】
−補助クラシファイアＧＡＮ（ＡＣ−ＧＡＮ）
別の例示的な条件付きＧＡＮモデルでは、システムは画像ｘのみをディスクリミネータに供給し、ディスクリミネータは追加で真の属性情報ｙを回収する。特に、ディスクリミネータＤα（ｘ；φα）は、２つの出力、すなわち（ｉ）ｘが本物であるか偽物であるかの確率であるＤα（ｒｆ）（ｘ；φα）及び（ｉｉ）ｘを与えられたｙの推定条件付き確率であるＤα（α）（ｘ，ｙ；φα）、を生成する。教師なし損失関数に加えて、ジェネレータ及びディスクリミネータは、Ｘ内の任意の画像の真の属性を回収するように一緒にトレーニングされる。属性損失関数は次のように定義できる。
【００４０】
【数５】
2019091440.tif 000007
【００４１】
ジェネレータ及びディスクリミネータの損失関数はそれぞれ次の通りである。
【００４２】
【数６】
2019091440.tif 000008
【００４３】
そして
【００４４】
【数７】
2019091440.tif 000009
【００４５】
図１Ｃは、従来技術に従う、教師あり及び教師なし設定のための補助クラシファイアＧＡＮ（ＡＣ−ＧＡＮ）１４０の例示的なアーキテクチャを示す。ＡＣ−ＧＡＮ１４０は、ジェネレータ１４２（前述のＧαに相当する）、ディスクリミネータ１４４（前述のＤαに相当する）、及びトレーニングデータ１４６（ラベルなしデータｘＵ及びラベル付きデータ（ｘＴ，ｙＴ）の両方を含む）を含み得る。動作中、ジェネレータ１４２は、ノイズ１４８ｚ及び属性１５０ｙを入力として受け取り、ｚ及びｙに基づきデータｘＧを生成する、すなわちＧ（ｚ，ｙ）＝ｘＧである。ディスクリミネータ１４４は、ジェネレータ１４２からのｘＧ（通信１５６）と、トレーニングデータ１４６からのラベルなしデータｘＵ及びラベル付きデータ（ｘＴ，ｙＴ）（通信１５８）との両方を入力として受け取り、Ｄ（ｘ）を計算して、出力１５２（例えば、ｘが本物であるか偽物であるか）及び出力１５４（例えば、ｙを予測する）の両方を決定する。
【００４６】
−Ｃ−ＧＡＮとＡＣ−ＧＡＮの比較
Ｃ−ＧＡＮとＡＣ−ＧＡＮとの主な相違は、ＡＣ−ＧＡＮでは、ディスクリミネータが画像を与えられた属性の確率分布を推定するのに対し、Ｃ−ＧＡＮでは、ディスクリミネータＤＳが（ｘ，ｙ）の両方を供給され、（ｘ，ｙ）が真の結合分布ｐ（ｘ，ｙ）と一致する確率を推定する。Ｃ−ＧＡＮ及びＡＣ−ＧＡＮの性能を、データセット集における定性的及び定量的な実験を使用して比較すると、解析を通して（以下で説明する）、Ｃ−ＧＡＮは通常ＡＣ−ＧＡＮより性能が上回ることが分かる。
【００４７】
準教師ありＧＡＮ
準教師あり設定においては、データの一部がラベル付けされ（すなわち、ｍ＞０）、通常はラベル付きデータよりもはるかに多くのラベルなしデータが存在する（すなわち、ｎ＜＜ｍ）。Ｃ−ＧＡＮ及びＡＣ−ＧＡＮの両方を準教師あり設定に適用することができる。Ｃ−ＧＡＮは、属性情報をディスクリミネータに供給する必要があるので、Ｃ−ＧＡＮの準教師あり設定は、ラベル付きデータに対してのみ明らかにトレーニングし、ラベルなしデータを放棄することによって適用することができる。このモデルは「ＳＣ−ＧＡＮ」と呼ばれている。
【００４８】
一方、ＡＣ−ＧＡＮは、この準教師あり設定に、より有用な方法で適用することができる。特に、敵対的損失項
【００４９】
【数８】
2019091440.tif 000010
【００５０】
及び
【００５１】
【数９】
2019091440.tif 000011
【００５２】
がＸのすべての画像について評価され、属性推定損失項
【００５３】
【数１０】
2019091440.tif 000012
【００５４】
は属性を有するｎ個の本物の画像についてのみ評価される。このモデルは「ＳＡ−ＧＡＮ」と呼ばれている。ＳＡ−ＧＡＮは、図１Ｃに関連して上記されている。
【００５５】
準教師ありＧＡＮ（ＳＳ−ＧＡＮ）の例示的な実施形態
本明細書に記載された実施形態は、準教師あり設定において条件付きジェネレータモデルを学習するための新しいモデル（ＳＳ−ＧＡＮ）を含むシステムを提供する。システムは、Ｃ−ＧＡＮアーキテクチャを準教師あり設定に拡張し、ディスクリミネータにサイド情報を提供する必要があるという困難を克服することによって、ラベルなしデータを利用することができる。これは、大量のラベル付きデータをディスクリミネータに供給しなければならないことに関連するコストに対処する。
【００５６】
具体的には、システムは、ディスクリミネータＤｕ（「教師なしディスクリミネータ」）及びＤＳ（教師付きディスクリミネータ」）のペアを含むスタック型ディスクリミネータアーキテクチャを使用する。ここで、Ｄｕは本物及び偽物の画像ｘを区別するという責任を担い、ＤＳは本物及び偽物の（画像、属性）ペア（ｘ，ｙ）を区別するという責任を担う。Ｃ−ＧＡＮとは異なり、Ｄｕは、ラベル付き及びラベルなしの両データを使用してｘが本物である確率を個別に推定することができ、ＤＳは、ラベル付きデータのみを使用してｘを与えられたｙが本物である確率を別個に推定できる。周辺分布ｐ（ｘ）は条件付き分布ｐ（ｙ｜ｘ）と比べてモデル化するのがはるかに困難であり、周辺サンプルと条件付きサンプルとを別々に評価することにより、システムはより大きなラベルなしプールを利用して、周辺分布を正確に推定することができることに留意されたい。
【００５７】
−ＳＳ−ＧＡＮモデルの説明
ＤＳＳ（ｘ，ｙ；φＳＳ）を、２つのスタックされたディスクリミネータ、すなわち（ｉ）周辺画像ｘが本物または偽物である確率を出力するＤＳ（ｘ；φＳＳ）及び（ｉｉ）画像ｘを与えられた条件属性ｙが本物か偽物である確率を出力するＤｕ（ｘ，ｙ；φＳＳ）、で構成されているディスクリミネータを示すものとする。ジェネレータＧＳＳ（ｚ，ｙ；θＳＳ）はＣ−ＧＡＮ及びＡＣ−ＧＡＮにおけるジェネレータと同一である。ジェネレータ及びディスクリミネータペアの損失関数は以下の通りである。
【００５８】
【数１１】
2019091440.tif 000013
【００５９】
【数１２】
2019091440.tif 000014
【００６０】
そして
【００６１】
【数１３】
2019091440.tif 000015
【００６２】
項αは、教師なし項に対する条件項の効果を制御する。
【００６３】
ＤＳＳ（ｕ）（ｘ；φＳＳ）は引数ｘのみに依存し、中間出力（教師なしディスクリミネータの最後から一つ前の層）ｈ（ｘ）を生成し、続いてそれに引数ｙが付加され、教師ありディスクリミネータに供給されて、結合サンプル（ｘ，ｙ）が本物または偽物である確率ＤＳＳ（Ｓ）（ｘ；φＳＳ）を生成する。準教師ありＧＡＮモデルを図１Ｄに関連して以下に説明する。
【００６４】
引数ｘをＤＳＳ（Ｓ）に直接供給することに対して、ｘをＤＳＳ（ｕ）によって学習された特徴を介してＤＳＳ（Ｓ）に供給するＳＳ−ＧＡＮの一つの利点は、ＤＳＳ（Ｓ）が幾つかのラベル付き手本に過剰適合し得ず、その代わりに、ｘとｙとの間の依存性を明らかにするために、母集団全体に共通する特徴に依存するはずだということである。
【００６５】
一例として、関心のある属性の１つが眼鏡である条件付き顔生成の問題を考える。限定されたラベル付き画像セットにおいて、１つのスタイルの眼鏡（例えば、厚い縁のある眼鏡）に遭遇すると仮定する。この場合、条件付きディスクリミネータは、画像ｘ全体が教師ありディスクリミネータに利用可能である場合、眼鏡を検出するために縁に特有の特徴を学習することができる。一方、教師なしディスクリミネータによって学習された特徴ｈ（ｘ）は、縁あり眼鏡だけ特定的にではなく、あらゆる種類の眼鏡に一般化されねばならない。スタック型モデルにおいては、教師なしディスクリミネータによって学習された特徴ｈ（ｘ）を通して画像ｘにアクセスするように教師ありディスクリミネータを制限することによって、教師ありディスクリミネータは、眼鏡属性の条件付き適合を評価する際に、あらゆる異なる種類の眼鏡に一般化し得る。
【００６６】
図１Ｄは、本発明の一実施形態に従う、準教師ありスタック型ＧＡＮ（ＳＳ−ＧＡＮ）１６０の例示的なアーキテクチャを示す。ＳＳ−ＧＡＮ１６０は、ジェネレータ１６２（前述のＧＳＳに対応する）、ディスクリミネータ１６４、１６５のペア、及びトレーニングデータ１６６（ラベルなしデータｘＵ及びラベル付きデータ（ｘＴ，ｙＴ）を含む）を含み得る。教師なしディスクリミネータ１６４は前述のＤｕに対応し、教師ありディスクリミネータ１６５は前述のＤＳに対応する。
【００６７】
動作中、ジェネレータ１６２は、ノイズ１６８ｚ及び属性１７０ｙを入力として受け取り、ｚ及びｙに基づきデータｘＧを生成する、すなわちＧ（ｚ，ｙ）＝ｘＧである。教師なしディスクリミネータ１６４は、ジェネレータ１６２からのｘＧ（通信１７６）と、トレーニングデータ１６６からのラベルなしデータｘＵ及び（ラベル付きデータ（ｘＴ，ｙＴ）のラベル付きｘＴ（通信１７８）とを入力として受け取る。教師なしディスクリミネータ１６４はＤｕ（ｘ）を計算して出力１７２を決定する（例えば、ｘが本物であるか偽物であるか）。すなわち、教師なしディスクリミネータ１６４は、どのデータまたは画像がジェネレータ１６２によって生成されたか（すなわち、偽物画像ｘＧ）及びどのデータまたは画像がトレーニングデータからか（すなわち、本物画像ｘＵ及びｘＴ）を決定する。
【００６８】
ディスクリミネータ１６４が、どのデータまたは画像が本物または偽物であるか学習すると、ジェネレータ１６２はディスクリミネータ１６４を混乱させるデータまたは画像を生成し続け、そうするとジェネレータ１６２はより本物のように見えるデータまたは画像ｘＧを生成することにおいて向上する。同時に、ディスクリミネータ１６４はトレーニングプロセスを反復し続け、ディスクリミネータ１６４がもはやその相違を言うこと（例えば、画像を偽物として識別すること）ができないほど本物に見えるデータまたは画像ｘＧを生成することをジェネレータ１６２が学習するまで、本物画像と偽物画像とを区別する能力を向上させる。
【００６９】
この時点で、ジェネレータ１６２は、正しいデータｘＧを生成することを学習したが、ジェネレータ１６２は、データとラベルとの間のマッピング（例えば、ペア（ｘ，ｙ）が正しいか否か）をまだ学習していない。教師なしディスクリミネータ１６４は、データの特徴表現を示す中間出力ｈ（ｘ）（通信１８０）を生成する。例えば、ｘが画像である場合、ｈ（ｘ）は、画像に関する有用なまたは興味深い特徴を符号化する１００次元のベクトルを示すことができ、特徴は、画像の属性（例えば、手書き数字のタイプ）を決定するのに使用されてよい。一つの次元は、例えば、垂直線があるか否か、４０度の角度があるか否かなどを示し得る。
【００７０】
続いて、教師ありディスクリミネータ１６５は、値のペアを入力として受け取って出力１８６を決定する。すなわち、教師ありディスクリミネータは、ジェネレータ１６２からのペア（ｈ（ｘ），ｙ）（例えば、通信１８０からのｈ（ｘＧ）及び通信１８２からのｙ）を入力として受け取り、さらにトレーニングデータ１６６からのペア（ｈ（ｘ），ｙ）（例えば、通信１７８及び１８０を介したｈ（ｘＴ）及び通信１８４からのｙＴ）も入力として受け取る。教師ありディスクリミネータ１６５は次いで、ＤＳ（ｈ（ｘ），ｙ）を計算して出力１８６を決定する（例えば、ペア（ｘ，ｙ）が本物であるか偽物であるか）。すなわち、教師ありディスクリミネータ１６５は、どの（データ、ラベル）ペアがジェネレータ１６２によって生成されたか（すなわち、偽物ペア（ｘＧ，ｙ））及びどの（データ、ラベル）ペアがトレーニングデータの一部か（すなわち、本物ペア（ｘＴ，ｙＴ））を決定する。ＳＳ−ＧＡＮモデルにおける例示的な通信を図２Ａ〜２Ｄに関連して以下に説明する。
【００７１】
−ＳＳ−ＧＡＮモデルの詳細な説明
図２Ａは、本発明の一実施形態に従う、教師なしディスクリミネータを関与させた動作を含む、準教師ありスタック型ＧＡＮ（ＳＳ−ＧＡＮ）２００の例示的なアーキテクチャを示す。動作中、ジェネレータ１６２は、ノイズ１６８ｚ及び属性１７０ｙを入力として受け取り、ｚ及びｙに基づきデータｘＧを生成する、すなわちＧ（ｚ，ｙ）＝ｘＧである。教師なしディスクリミネータ１６４は、ジェネレータ１６２からのｘＧ（通信２０２）と、ラベルなしデータｘＵ及び（トレーニングデータ１６６からのラベル付きデータ（ｘＴ，ｙＴ）の）ラベル付きｘＴ（通信２０４）とを入力として取る。準教師あり設定には、ラベル付きデータ及びラベルなしデータの両方が含まれ、通常はラベル付きデータよりもはるかに多くのラベルなしデータが存在することを想起されたい。いくつかの実施形態では、トレーニングデータセットにおいてまたはＳＳ−ＧＡＮモデルがトレーニングされた後に分類される所与のデータセットにおいて、ラベルなしデータオブジェクトの数は、ラベル付きデータオブジェクトの数よりも既定の比率または閾値だけ多い。
【００７２】
教師なしディスクリミネータ１６４は次いで、Ｄｕ（ｘ）を計算して出力２０６を決定する（例えば、Ｄｕ（ｘＧ）、Ｄｕ（ｘＵ）、及びＤｕ（ｘＴ）を計算して、データまたは画像ｘが本物であるか偽物であるかを決定する）。すなわち、教師なしディスクリミネータ１６４は、どのデータまたは画像がジェネレータ１６２によって生成されたか（すなわち、偽物画像ｘＧ）、及びどのデータまたは画像がトレーニングデータ１６６の一部であるか（すなわち、本物画像ｘＵ及びｘＴ）を決定する。
【００７３】
図２Ｂは、本発明の一実施形態に従う、ジェネレータ、教師なしディスクリミネータ、及び教師ありディスクリミネータを関与させた動作を含む、ＳＳ−ＧＡＮ２２０の例示的なアーキテクチャを示す。教師ありディスクリミネータ１６５は、ジェネレータ１６２によって生成されたペア（ｈ（ｘ），ｙ）を入力として受け取る。すなわち、教師ありディスクリミネータ１６５は、ｈ（ｘＧ）（通信２２４）及びｙ（通信２２６）を受け取り、ＤＳ（ｈ（ｘＧ），ｙ）を計算して出力２２８を決定する（例えば、ペア（ｘ，ｙ）は本物であるか偽物であるか）。
【００７４】
図２Ｃは、本発明の一実施形態に従う、教師なしディスクリミネータ及び教師ありディスクリミネータを関与させた動作を含む、ＳＳ−ＧＡＮ２４０の例示的なアーキテクチャを示す。教師なしディスクリミネータ１６５は、ｘＴを（通信２４２を介して）入力として受け取り、Ｄｕ（ｘＴ）を計算し、中間値ｈ（ｘＴ）を出力する。教師ありディスクリミネータ１６５は次いで、トレーニングデータ１６６からペア（ｈ（ｘ），ｙ）を入力として受け取る。すなわち、教師ありディスクリミネータ１６５は、ｈ（ｘＴ）（通信２４４）及びｙＴ（通信２４６）を入力として受け取り、ＤＳ（ｈ（ｘＴ），ｙＴ）を計算して出力２４８を決定する（ペア（ｘ，ｙ）は本物であるか偽物であるか）。
【００７５】
したがって、図１Ｄに関連して上述したように、教師ありディスクリミネータ１６５は、どの（データ、ラベル）ペアがジェネレータ１６２によって生成されたか（すなわち、偽物ペア（ｘＧ，ｙ））、及びどの（データ、ラベル）ペアがトレーニングデータの一部であるか（すなわち、本物ペア（ｘＴ，ｙＴ））を決定する。
【００７６】
図２Ｄは、本発明の一実施形態に従う、図２Ｂ及び２Ｃに関連して上述した動作を含む、ＳＳ−ＧＡＮ２６０の例示的なアーキテクチャを示す。図２Ｄは通信２０４（すなわち、ｘＵ及びｘＴ）及び通信２４２（すなわちｘＴ）の両方を示しているが、ｘＴは通信２０４の一部としてのみトレーニングデータ１６６から教師なしディスクリミネータ１６４に供給または送信され得ることに留意されたい。すなわち、通信２４２は説明のために示されている。図２Ｄのアーキテクチャ２６０は図１Ｄのアーキテクチャ１６０と同様である。
【００７７】
−ＳＳ−ＧＡＮモデルの収束解析
ジェネレータによって提供されるサンプルの分布はｐ´（ｘ，ｙ）として表すことができる。ディスクリミネータは、十分なデータｘが存在する限り、十分なモデル化力を有し、ディスクリミネータは収束するようにトレーニングされると仮定すると、Ｄｕ（ｘ；φＳＳ）はｐ（ｘ）／（ｐ（ｘ）＋ｐ´（ｘ）））に収束し、その結果、ジェネレータは、ｐ´（ｘ）がｐ（ｘ）に収束するように出力を適合させる。
【００７８】
ｎは有限で且つ通常は小さいため、ＤＳ（ｘ，ｙ；φＳＳ）がｐ（ｘ，ｙ）／（ｐ（ｘ，ｙ）＋ｐ´（ｘ，ｙ）））に収束すること、及びその結果、ジェネレータは、ｐ´（ｘ，ｙ）がｐ（ｘ，ｙ）に収束するように出力を適合させることを、同様に保証することはできない。しかし、Ｄｕの使用を通してｐ´（ｘ）がｐ（ｘ）に収束するので、ＤＳ（ｘ，ｙ；φＳＳ）が同等にｐ（ｙ｜ｘ）／（ｐ（ｙ｜ｘ）＋ｐ´（ｙ｜ｘ））に収束するように見えるであろうことに留意されたい。これらの分布は離散的な低次元分布であるため、ｎが小さくても、ＤＳ（ｘ，ｙ；φＳＳ）がｐ（ｙ｜ｘ）／（ｐ（ｙ｜ｘ）＋ｐ´（ｙ｜ｘ））に近づく可能性がある。したがって、ＤｕとＤＳとの結合使用は、結合分布ｐ´（ｘ，ｙ）が真の分布ｐ（ｘ，ｙ）に収束することを保証し得る。
【００７９】
準教師付きスタック型敵対的生成ネットワークの開発を容易にするための例示的な環境
図３は、本発明の一実施形態に従う、準教師ありＧＡＮを使用して合成データオブジェクトを生成することを容易にする例示的な環境３００を示す。環境１００は、デバイス３０４及び関連ユーザ３１４と、デバイス３０６と、デバイス３０８とを含み得る。デバイス３０４、３０６、及び３０８は、ネットワーク３０２を介して互いに通信できる。いくつかの実施形態では、デバイス３０４、３０６、及び３０８は、別個のネットワークの一部であり、敵対的生成ネットワークの一部として互いに通信または相互作用する「ネットワーク」またはネットワーク構成要素として定義され得る。デバイス３０４は、トレーニングデータ３２０を含み得る。装置３０６は、ジェネレータ３３０のモジュールまたはユニットを含み得る。デバイス３０８は、教師なしディスクリミネータ３４０のモジュールまたはユニット及び教師ありディスクリミネータ３５０のモジュールまたはユニットを含み得る。トレーニングデータ３２０、ジェネレータ３３０、ならびにディスクリミネータ３４０及び３５０は、それぞれ、ネットワーク３０２を介して通信するデバイス３０４、３０６、及び３０８に関連して図３に示されていることに留意されたい。しかし、モジュールは、説明のためにこのように描かれており、特定のハードウェアまたはネットワーク実装に結びついていない。
【００８０】
動作中、ユーザ３１４（またはデバイス３０４）は、ネットワーク３０２を介してトレーニングデータ３２２をデバイス３０８に送信することができる。ジェネレータ３３０は、データ（例えば、Ｇ（ｚ，ｙ）＝ｘＧ）を生成することができ、デバイス３０６は、ネットワーク３０２を介して生成されたデータ３３２をデバイス３０８に送信することができる。教師なしディスクリミネータ３４０は、生成されたデータ３３２からのｘＧなどのデータオブジェクトと、トレーニングデータ３２２からデータオブジェクトｘＵ及びｘＴとを入力データとして受け取り、出力３４２を決定することができる。デバイス３０８は、出力３４２をユーザ３１４（またはデバイス３０４）に周辺分布３４２（例えば、所与のデータオブジェクトｘが本物または偽物である確率）として送信することができる。
【００８１】
教師なしディスクリミネータ３４０はさらに、所与の入力データオブジェクトｘＧ、ｘＵ、またはｘＴ（例えば、ｈ（ｘＧ）、ｈ（ｘＵ）、またはｈ（ｘＴ））に基づいて中間出力３４４を計算または生成することができる。教師ありディスクリミネータ３５０は、（データオブジェクト、属性）のペア（ｘ，ｙ）、例えば（１）ジェネレータ３０６からの生成データ３３２に基づいて計算された中間出力と、ジェネレータ３０６からの生成データ３３２の属性ｙ（例えば、（ｈ（ｘＧ），ｙ））及び（２）トレーニングデータ３２２に基づいて計算された中間出力と対応する属性ｙＴ（例えば、（ｈ（ｘＴ），ｙＴ））、を入力として受け取ることができる。これらの入力に基づいて、教師ありディスクリミネータ３５０は出力３５２を決定することができる。デバイス３０８は、出力３５２をユーザ３１４（またはデバイス３０４）に条件付き分布３５２（例えば、所与のペア（ｘ，ｙ）が本物または偽物である確率、すなわち所与のｙがｘを与えられた本物または偽物である確率）として送信することができる。
【００８２】
条件付き生成モデルの構築を容易にする方法
図４は、本発明の一実施形態に従う、準教師ありＧＡＮを使用して合成データオブジェクトを生成することを容易にする方法を示すフローチャート４００を示す。動作中、システムは、ジェネレータモジュールによって、ノイズベクトルｚ及び属性ラベルｙから導出されるデータオブジェクトｘＧを合成する（動作４０２）。システムは、教師なしディスクリミネータモジュールに、データオブジェクトｘＧと、トレーニングデータセットから取得されたトレーニングオブジェクトｘＴ及びｘＵのセットとを渡す（動作４０４）。システムは、教師なしディスクリミネータモジュールによって、データオブジェクトｘＧが本物である確率を示す値を計算する（動作４０６）。システムは、教師なしディスクリミネータモジュールによって、データオブジェクトｘＧの潜在的特徴表現ｈ（ｘＧ）を計算する（動作４０８）。システムは、潜在的特徴表現ｈ（ｘＧ）を教師ありディスクリミネータモジュールに渡す（動作４１０）。システムは、属性ラベルｙを教師ありディスクリミネータモジュールに渡す（動作４１２）。システムは、教師ありディスクリミネータモジュールによって、データオブジェクトｘＧを与えられた属性ラベルｙが本物である確率を示す値を計算する（動作４１４）。システムは、教師あり及び教師なしディスクリミネータモジュールがもはや偽物（すなわち、合成の、またはジェネレータモジュールによって合成された）として識別できない所与の属性ラベルを有するデータオブジェクトをジェネレータモジュールが生成したか否かを判断する（判断４１６）。もしそうでれば、動作は戻る。もしそうでなければ、システムは、教師なし及び教師ありディスクリミネータモジュールがもはや偽物として識別ができない所与の属性ラベルを有するデータオブジェクトをジェネレータモジュールが生成するまで、上述のステップ（例えば、動作４０２〜４１４）を反復する。
【００８３】
試行結果
−モデル及びデータセット
ＳＳ−ＧＡＮモデルで行われた試行の結果を４つの他のモデルと比較する：１）完全データセットに適用された標準ＧＡＮモデル（すなわち、図１Ｂに関連して上述したようなＣ−ＧＡＮ）；２）ラベル付きデータセットのみに適用された標準ＧＡＮモデル（すなわち、「準教師ありＧＡＮ」と題され図１Ｂに関連したセクションで上述したようなＳＣ−ＧＡＮ）；３）完全データセットに適用された教師付き補助クラシファイアＧＡＮモデル（すなわち、図１Ｃに関連して上述したようなＡＣ−ＧＡＮ）；４）準教師ありＡＣ−ＧＡＮモデル（すなわち、「準教師ありＧＡＮ」と題され図１Ｃに関連したセクションで上述したようなＳＡ−ＧＡＮ）。
【００８４】
例示的なデータセットには、Ｍｏｄｉｆｉｅｄ  Ｎａｔｉｏｎａｌ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｓｔａｎｄａｒｄｓ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ（ＭＮＩＳＴ）のデータセット、ＣｅｌｅｂＦａｃｅｓ  Ａｔｔｒｉｂｕｔｅのデータセット（ＣｅｌｅｂＡ）、及びＣａｎａｄｉａｎ  Ｉｎｓｔｉｔｕｔｅ  ｆｏｒ  Ａｄｖａｎｃｅｄ  Ｒｅｓｅａｒｃｈ（ＣＩＦＡＲ）−１０のデータセットが含まれる。ＭＮＩＳＴは、６万枚の手書き且つラベル付けされた数字の画像の大規模データベースである。ＣｅｌｅｂＡは、それぞれが４０個の属性注釈（例えば、禿頭、眼鏡、笑顔、茶色の髪など）を有する２００，０００枚以上の有名人の画像を有する大規模な顔属性データセットである。ＣＩＦＡＲ−１０のデータセットは、１クラスあたり６，０００画像、１０クラスで６０，０００枚の３２×３２カラー画像から構成されている。６０，０００枚の画像には５０，０００枚のトレーニング画像及び１０，０００枚のテスト画像が含まれる。
【００８５】
説明のために、本明細書における結果は、ＭＮＩＳＴデータセットに基づく試行結果に関する。試行において、Ｒａｄｆｏｒｄ，ｅｔ  ａｌ．，“Ｕｎｓｕｐｅｒｖｉｓｅｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｌｅａｒｎｉｎｇ  ｗｉｔｈ  ｄｅｅｐ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋｓ，”ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１５１１．０６４３４，２０１５に提案されているＤＣＧＡＮアーキテクチャを使用し、ジェネレータとディスクリミネータに若干の変更を施してＲａｄｆｏｒｄに記載の変数に対応する。これらの変更は主に、（ｉ）教師ありディスクリミネータ及びジェネレータそれぞれの入力（ｘ，ｙ）及び（ｚ，ｙ）を連結すること、（ｉｉ）ＡＣ−ＧＡＮの場合、追加の出力層をディスクリミネータに追加すること、及び（ｉｉｉ）ＳＳ−ＧＡＮにおいて最後から１つ前の層ＤｕをＤＳに接続することを含む。
【００８６】
−評価基準
いくつかの異なる評価基準を使用して、ＳＳ−ＧＡＮを前述の４つのモデル（すなわち、Ｃ−ＧＡＮ、ＡＣ−ＧＡＮ、ＳＣ−ＧＡＮ、及びＳＡ−ＧＡＮ）と比較する。
１）サンプルの目視検査：試行において、各モデルからの大量のサンプル集を視覚的に表示し、異なるモデルからのサンプルの相違を強調する。
２）再構成エラー：試行において、二乗再構成エラーについてデータセット内の元のサンプルを再構成するためのジェネレータへの入力を最適化する。再構成損失の欠点を考慮して、試行おいて、Ｗａｎｇ，ｅｔ  ａｌ．，“Ｉｍａｇｅ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ：  ｆｒｏｍ  ｅｒｒｏｒ  ｖｉｓｉｂｉｌｉｔｙ  ｔｏ  ｓｔｒｕｃｔｕｒａｌ  ｓｉｍｉｌａｒｉｔｙ，”ＩＥＥＥ  ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ，１３（４）：６００−６１２，２００４におけるように、再構成エラーに加えて構造的類似性計量（ＳＳＩＭ）も計算する。
３）事前トレーニングされたクラシファイアからの属性／クラス予測（ジェネレータ用）：試行において、トレーニングデータセット全体から属性／クラス予測子を事前トレーニングし、この予測子を異なるモデルから生成されたサンプルに適用し、その精度を報告する（属性予測用のＲＭＳＥ、クラス予測用の損失０−１）。
４）教師あり学習エラー（ディスクリミネータ用）：試行において、ディスクリミネータからの特徴を使用して、これらの特徴に関するクラシファイアを構築して属性を予測し、その精度を報告する。
５）サンプル多様性：生成されるサンプルが、ラベル付きサンプルだけでなく、母集団全体を確実に代表するために、試行において、まず、ラベル付きサンプル（クラスラベル０）とラベルなしサンプル（クラスラベル１）とを区別し得るクラシファイアをトレーニングする。試行において、このクラシファイアを各ジェネレータによって生成されたサンプルに適用し、クラス０に属するサンプルの平均確率を計算する。この数が０に近づくほど、ラベルなしサンプルがより良好に表される。
【００８７】
−ＭＮＩＳＴの視覚的サンプル検査
試行において、６０，０００枚のＭＮＩＳＴ画像の中から無作為に選んだ少量の部分を用いて準教師ありトレーニングを行い、１０、２０、４０のラベル付き手本を用いたセットアップを検討する。各セットアップは、各クラスからのバランスの取れた数の手本を有する。残りのトレーニング画像はラベルなしで提供される。
【００８８】
図５Ａ及び図５Ｂは、ｎ＝２０のラベル付き手本を用いた場合の５つの異なるモデルからの代表的サンプルを示す。各行は、５つのモデルのそれぞれからのサンプルに対応している。図５Ａは、ｎ＝２０のラベル付き手本を用いた場合の５つの異なるモデルからの第１の代表的サンプルセットを示す。行５０２はＣ−ＧＡＮに対応し、行５０４はＡＣ−ＧＡＮに対応し、行５０６はＳＣ−ＧＡＮに対応し、行５０８はＳＡ−ＧＡＮに対応し、行５１０はＳＳ−ＧＡＮに対応する。図５Ｂは、ｎ＝２０のラベル付き手本を用いた場合の５つの異なるモデルからの第２の代表的サンプルセットを示す。図５Ａの行と同様に、行５２２はＣ−ＧＡＮに対応し、行５２４はＡＣ−ＧＡＮに対応し、行５２６はＳＣ−ＧＡＮに対応し、行５２８はＳＡ−ＧＡＮに対応し、行５３０はＳＳ−ＧＡＮに対応する。図５Ａ及び図５Ｂの両図において、ＳＳ−ＧＡＮの性能は教師ありモデル（Ｃ−ＧＡＮ及びＡＣ−ＧＡＮ）に近いことに留意されたい。ＳＡ−ＧＡＮは特定の数字の関連付けを間違えているが、ＳＣ−ＧＡＮはラベル付きセットからの数字のコピーを生成する。
【００８９】
図６Ａ〜図６Ｄは、２０個のラベル付き手本（数字毎に２つの手本）を用いた場合の、より詳細な結果を示す。各行は特定の数字に対応する。図６Ａは、ｎ＝６０，０００及びｍ＝０である、完全教師あり設定においてＣ−ＧＡＮモデルによって生成された数字を示す。図６Ｂは、ｎ＝６０，０００及びｍ＝０である、完全教師あり設定においてＡＣ−ＧＡＮモデルによって生成された数字を示す。Ｃ−ＧＡＮ及びＡＣ−ＧＡＮの両方が、数字と、数字及びそのクラスラベル間の関連付けとの両方をモデル化する学習を成功させることに留意されたい。
【００９０】
図６Ｃは、ｎ＝２０及びｍ＝０である、少量ラベル教師あり設定においてＳＣ−ＧＡＮモデルによって生成された数字を示す。図６Ｄは、ｎ＝２０、ｍ＝６０，０００である、準教師あり設定においてＳＡ−ＧＡＮモデルによって生成された数字を示す。図６Ｅは、ｎ＝２０及びｍ＝６０，０００である、準教師あり設定においてＳＳ−ＧＡＮモデルによって生成された数字を示す。図６Ｃに基づけば、ＳＣ−ＧＡＮはラベル付きセットで利用可能にされた各数字の字体のみを予測するよう学習することは明らかである。図６Ｄに基づけば、ＳＡ−ＧＡＮはより多様なサンプルを生成するが、ＳＡ−ＧＡＮは各ラベルに対して正しい数字を生成することに苦しんでいる。
【００９１】
対照的に、図６Ｅに基づけば、ＳＳ−ＧＡＮは、様々な数字も生成するし、一方で正確でもある。特に、ＳＳ−ＧＡＮの性能は、完全教師ありＣ−ＧＡＮ及びＡＣ−ＧＡＮモデルの性能によく一致する。以下の表１〜３は、それぞれｎ＝１０、ｎ＝２０、及びｎ＝４０とした定量的結果を示す。
【００９２】
【表１】
2019091440.tif 000016
【００９３】
【表２】
2019091440.tif 000017
【００９４】
【表３】
2019091440.tif 000018
【００９５】
−定量的結果の考察
上記表１〜３は、各ソースの間違って分類されたポイントの割合、再構成エラー、サンプル多様性計量、及びディスクリミネータエラーを示す。ＳＳ−ＧＡＮは、分類精度についてはＳＡ−ＧＡＮより性能が楽に上回り、再構成エラーについては（ＳＣ−ＧＡＮのサンプル多様性が限られているため）ＳＣ−ＧＡＮを楽に打ち負かすことに留意されたい。ＳＳ−ＧＡＮのサンプル多様性計量は、ＳＡ−ＧＡＮと比較してわずかに劣るが、ＳＣ−ＧＡＮよりも大幅に優れている。これらの結果は、サンプルの視覚的解析と併せて、準教師あり設定において、ＳＳ−ＧＡＮはＳＡ−ＧＡＮ及びＳＣ−ＧＡＮよりも性能が優れていることを示す。
【００９６】
さらに、異なるラベル付けサンプルサイズ（ｎ＝１０、ｎ＝２０、及びｎ＝４０）に対する表１〜３の３つセットの定量的結果から、サンプルサイズの増大に伴ってすべてのモデルの性能はスムーズに上昇するが、ＳＳ−ＧＡＮは、ラベル付きサンプル数の各設定について、他の２つの準教師ありモデル（ＳＣ−ＧＡＮ及びＳＡ−ＧＡＮ）よりも引き続き性能が上回ることに留意されたい。
【００９７】
−準教師付き学習エラー
ＭＮＩＳＴに対してさらなる試行を実行する。試行において、様々なジェネレータからサンプルを引き出し、各サンプルセットを使用してクラシファイアをトレーニングし、このクラシファイアのテストエラー性能を記録する。ＭＮＩＳＴにおいて２０のラベル付き手本を与えたとし、表４は、ＭＮＩＳＴを使用して異なるモデルから生成されたサンプルを使用してトレーニングされたクラシファイアの精度を示す。
【００９８】
【表４】
2019091440.tif 000019
【００９９】
表４の結果は、ＳＳ−ＧＡＮが教師ありモデルに近い性能があることを示している。特に、これらの結果は、２０のラベル付き手本を与えられたＭＮＩＳＴに対する最先端技術である。しかし、ラベル付き手本の数が増加したときの性能はかなり固定されており、さらに、ＣＩＦＡＲ−１０やＣｅｌｅｂＡなどのより複雑なデータセットではあまり効果的ではなく、ＧＡＮからのサンプルを使用してクラシファイアをトレーニングするアプローチは、ＭＮＩＳＴのようなより単純なデータセットのための極めて低度のサンプル設定に制限されるべきであることが示されている。したがって、ＳＳ−ＧＡＮは準教師あり設定においてＳＡ−ＧＡＮ及びＳＣ−ＧＡＮよりも性能が優れている。
【０１００】
例示的なコンピュータ及び通信システム
図７は、本発明の一実施形態に従う、準教師ありスタック型敵対的生成ネットワークの開発を容易にする例示的な分散コンピュータ及び通信システムを示す。コンピュータシステム７０２は、プロセッサ７０４、メモリ７０６、及び記憶デバイス７０８を含む。メモリ７０６は、マネージドメモリとして働く揮発性メモリ（例えば、ＲＡＭ）を含むことができ、１つまたは複数のメモリプールを格納するのに使用され得る。さらに、コンピュータシステム７０２は、表示デバイス７１０、キーボード７１２、及びポインティングデバイス７１４に連結され得る。記憶デバイス７０８は、オペレーティングシステム７１６、コンテンツ処理システム７１８、及びデータ７３０を格納することができる。
【０１０１】
コンテンツ処理システム７１８は、コンピュータシステム７０２によって実行されると、コンピュータシステム７０２に本開示に説明されている方法及び／またはプロセスを行わせることができる命令を含むことができる。具体的には、コンテンツ処理システム７１８は、コンピュータネットワークにわたって、データパケットを他のネットワークノードに及び／またはから、送信及び／または受信／取得するための命令を含んでもよい（通信モジュール７２０）。データパケットは、画像及び／または画像の属性などのデータオブジェクト及び／またはラベルを含むことができる。データパケットは、出力または中間出力である値を含むこともできる。データパケットは、周辺分布または条件付き分布のような確率を含むこともできる。
【０１０２】
コンテンツ処理システム７１８は、ノイズベクトルｚ及び属性ラベルｙから導出されるデータオブジェクトｘＧをジェネレータモジュールによって合成するための命令（データオブジェクト生成モジュール７２２）を含むことができる。コンテンツ処理システム７１８は、データオブジェクトｘＧと、トレーニングデータセットから得られるトレーニングオブジェクトｘＴ及びｘＵのセットとを、教師なしディスクリミネータモジュールに渡すための命令（通信モジュール７２０）を含むことができる。コンテンツ処理システム７１８は、教師なしディスクリミネータモジュールによって、データオブジェクトｘＧが本物である確率を示す値を計算するための命令（周辺分布計算モジュール７２４）を含むことができる。コンテンツ処理システム７１８は、教師なしディスクリミネータモジュールによって、データオブジェクトｘＧの潜在的な特徴表現ｈ（ｘＧ）を計算するための命令（潜在出力計算モジュール７２８）を含むことができる。コンテンツ処理システム７１８は、潜在的特徴表現ｈ（ｘＧ）及び属性ラベルｙを教師ありディスクリミネータモジュールに渡すための命令（通信モジュール７２０）を含むことができる。コンテンツ処理システム７１８は、教師ありディスクリミネータモジュールによって、データオブジェクトｘＧを与えられた属性ラベルｙが本物である確率を示す値を計算するための命令（条件付き分布計算モジュール７２６）を含むことができる。コンテンツ処理システム７１８は、教師なし及び教師ありディスクリミネータモジュールがもはや偽物として識別できない所与の属性ラベルを有するデータオブジェクトをジェネレータモジュールが生成するまで、上述のステップを繰り返し行う命令（データオブジェクト生成モジュール７２２）を含むことができる。
【０１０３】
データ７３０は、入力として必要とされるか、または本開示に説明されている方法及び／またはプロセスによって出力として生成されるいかなるデータも含むことができる。具体的には、データ７３０は、少なくとも、データ、データセット、データ分布、データオブジェクト、画像、ラベル、属性、データと対応するラベルとを含むペア、画像と画像の属性とを含むペア、データオブジェクトに基づいて計算される値、確率、データ、データオブジェクト、またはペアが本物または偽物であるという指標、周辺分布、条件付き分布、データオブジェクトの特徴、中間出力、出力、確率である出力、多数のデータオブジェクト、多数のラベルなしまたはラベル付きデータオブジェクト、データオブジェクトとラベルとの間の依存性、及び既定の比率または閾値を格納することができる。
【０１０４】
この詳細な説明に説明されているデータ構造及びコードは、コンピュータシステムによる使用のためのコード及び／またはデータを格納することができるいずれのデバイスまたは媒体であってもよい、コンピュータ可読記憶媒体上に通常格納されている。コンピュータ可読記憶媒体は、揮発性メモリ、不揮発性メモリ、またディスクドライブ、磁気テープ、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタルバーサタイルディスクまたはデジタルビデオディスク）などの磁気及び光記憶デバイス、または現在知られているかまたは後に開発されるコンピュータ可読媒体を格納することができる他の媒体を含むが、それらに限定されるものではない。
【０１０５】
詳細な説明の項に説明されている方法及びプロセスは、上に説明されているようなコンピュータ可読記憶媒体に格納され得る、コード及び／またはデータとして具体化され得る。コンピュータシステムが、コンピュータ可読記憶媒体上に格納されているコード及び／またはデータを読み取り、実行すると、コンピュータシステムは、データ構造及びコードとして具体化され、かつコンピュータ可読記憶媒体内に格納されている方法及びプロセスを行う。
【０１０６】
さらに、上に説明されている方法及びプロセスは、ハードウェアモジュールまたは装置に含まれ得る。ハードウェアモジュールまたは装置は、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、特定の時点で特定のソフトウェアモジュールまたは１つのコードを実行する専用または共有のプロセッサ、及び現在知られているかまたは後に開発される他のプログラマブルロジックデバイスを含むことができるが、それらに限定されるものではない。ハードウェアモジュールまたは装置が起動されると、それらは、それら内に含まれている方法及びプロセスを行う。
【０１０７】
前述の本発明の実施形態の説明は、例示及び説明のためにのみ提示されたものである。それらは、網羅的であるか、または本発明を開示された形態に限定することを意図するものではない。したがって、当業者には多くの修正及び変更が明らかであろう。さらに、上記の開示は本発明を限定するものではない。本発明の範囲は、添付の特許請求の範囲によって規定される。
【図１Ａ】
2019091440.tif 000020
【図１Ｂ】
2019091440.tif 000021
【図１Ｃ】
2019091440.tif 000022
【図１Ｄ】
2019091440.tif 000023
【図２Ａ】
2019091440.tif 000024
【図２Ｂ】
2019091440.tif 000025
【図２Ｃ】
2019091440.tif 000026
【図２Ｄ】
2019091440.tif 000027
【図３】
2019091440.tif 000028
【図４】
2019091440.tif 000029
【図５Ａ】
2019091440.tif 000030
【図５Ｂ】
2019091440.tif 000031
【図６Ａ】
2019091440.tif 000032
【図６Ｂ】
2019091440.tif 000033
【図６Ｃ】
2019091440.tif 000034
【図６Ｄ】
2019091440.tif 000035
【図６Ｅ】
2019091440.tif 000036
【図７】
2019091440.tif 000037