(57)【要約】【課題】新規なデータ変換方法を提供することである。【解決手段】本開示の一態様は、プロセッサにより実行されるステップからなるデータ変換方法であって、学習済み敵対的生成ネットワーク（GANs）の識別器の特徴空間に基づき学習されたエンコーダに変換対象データを入力し、前記エンコーダから符号化データを取得するステップと、前記学習済みGANsの生成器に前記符号化データを入力し、前記生成器から変換データを取得するステップとを有するデータ変換方法に関する。【選択図】図2
2020061023.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサにより実行されるステップからなるデータ変換方法であって、
学習済み敵対的生成ネットワーク（GANs）の識別器の特徴空間に基づき学習されたエンコーダに変換対象データを入力し、前記エンコーダから符号化データを取得するステップと、
前記学習済みGANsの生成器に前記符号化データを入力し、前記生成器から変換データを取得するステップとを有するデータ変換方法。
【請求項２】
前記エンコーダは、第1の特徴量と第2の特徴量との差分に基づき学習され、
前記第1の特徴量は、訓練データを前記識別器の特徴関数に入力することによって取得され、
前記第2の特徴量は、
前記訓練データを前記エンコーダに入力することによって符号化データを取得し、
前記取得された符号化データを前記生成器に入力することによって変換データを取得し、
前記取得された変換データを前記識別器の特徴関数に入力する、
ことによって取得される、請求項1記載のデータ変換方法。
【請求項３】
前記識別器の特徴関数は、前記識別器におけるGAP (Global Averaging Pooling)レイヤ前の1つ以上のレイヤに基づき規定される、請求項1又は2記載のデータ変換方法。
【請求項４】
前記学習済みGANsは、学習済み条件付き敵対的生成ネットワーク（CGANs)であり、
前記エンコーダは、前記学習済みCGANsの識別器の特徴空間に基づき学習され、
前記変換データを取得するステップは、前記学習されたエンコーダから取得された符号化データとラベルデータとを前記学習済みのCGANsの生成器に入力し、前記生成器から変換データを取得することを含む、請求項1乃至3何れか一項記載のデータ変換方法。
【請求項５】
前記エンコーダは、第1の特徴量と第3の特徴量との差分に基づき学習され、
前記第1の特徴量は、訓練データを前記識別器の特徴関数に入力することによって取得され、
前記第3の特徴量は、
前記訓練データを前記エンコーダに入力することによって符号化データを取得し、
前記取得された符号化データと前記ラベルデータとを前記生成器に入力することによって変換データを取得し、
前記取得された変換データを前記識別器の特徴関数に入力する、
ことによって取得される、請求項4記載のデータ変換方法。
【請求項６】
前記エンコーダによって前記特徴空間における独立成分を変更するステップを更に有する、請求項1乃至5何れか一項記載のデータ変換方法。
【請求項７】
学習済み敵対的生成ネットワーク（GANs）の生成器と識別器とを格納するメモリと、
前記メモリに結合されるプロセッサと、
を有し、
前記プロセッサは、
前記識別器の特徴空間に基づき学習されたエンコーダに変換対象データを入力し、前記エンコーダから符号化データを取得し、
前記学習済みGANsの生成器に前記符号化データを入力し、前記生成器から変換データを取得するデータ変換装置。
【請求項８】
学習済み敵対的生成ネットワーク（GANs）の識別器の特徴空間に基づき学習されたエンコーダに変換対象データを入力し、前記エンコーダから符号化データを取得する処理と、
前記学習済みGANsの生成器に前記符号化データを入力し、前記生成器から変換データを取得する処理と、
をプロセッサに実行させるプログラム。
【請求項９】
プロセッサにより実行されるステップからなるエンコーダ学習方法であって、
学習済み敵対的生成ネットワーク（GANs）の識別器の特徴空間に基づき、変換対象データから前記学習済みGANsの生成器に入力される符号化データを生成するエンコーダを学習するステップを有するエンコーダ学習方法。
【請求項１０】
前記学習するステップは、
前記識別器の特徴関数に訓練データを入力し、第1の特徴量を取得するステップと、
前記訓練データをエンコーダに入力し、符号化データを取得するステップと、
前記取得された符号化データを前記生成器に入力し、変換データを取得するステップと、
前記取得された変換データを前記識別器の特徴関数に入力し、第2の特徴量を取得するステップと、
前記第1の特徴量と前記第2の特徴量との差分に基づき前記エンコーダを学習するステップと、
を含む、請求項9記載のエンコーダ学習方法。
【請求項１１】
前記識別器の特徴関数は、前記識別器におけるGAP (Global Averaging Pooling)レイヤ前の1つ以上のレイヤに基づき規定される、請求項9又は10記載のエンコーダ学習方法。
【請求項１２】
前記学習済みGANsは、学習済み条件付き敵対的生成ネットワーク（CGANs）であり、
前記エンコーダは、前記学習済みCGANsの識別器の特徴空間に基づき学習され、
前記学習するステップは、
前記識別器の特徴関数に訓練データを入力し、第1の特徴量を取得するステップと、
前記訓練データをエンコーダに入力し、符号化データを取得するステップと、
前記取得された符号化データとラベルデータとを前記生成器に入力し、変換データを取得するステップと、
前記取得された変換データを前記識別器の特徴関数に入力し、第3の特徴量を取得するステップと、
前記第1の特徴量と前記第3の特徴量との差分に基づき前記エンコーダを学習するステップと、
を含む、請求項9乃至11何れか一項記載のエンコーダ学習方法。
【請求項１３】
前記エンコーダによって前記特徴空間における独立成分を変更するステップを更に有する、請求項9乃至12何れか一項記載のエンコーダ学習方法。
【請求項１４】
学習済み敵対的生成ネットワーク（GANs）の生成器と識別器とを格納するメモリと、
前記メモリに結合されるプロセッサと、
を有し、
前記プロセッサは、前記識別器の特徴空間に基づき、変換対象データから前記生成器に入力される符号化データを生成するエンコーダを学習するエンコーダ学習装置。
【請求項１５】
学習済み敵対的生成ネットワーク（GANs）の識別器の特徴空間に基づき、変換対象データから前記学習済みGANsの生成器に入力される符号化データを生成するエンコーダを学習する処理をプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、機械学習に関する。
【背景技術】
【０００２】
敵対的生成ネットワーク（以下、GANsと称する）は、画像、動画、音声などの生成、変換などの各種処理において驚くべき結果を残している。典型的なGANsでは、まず乱数などの入力データzが生成器に入力され、生成器によって出力データが生成される。次に、生成器によって生成された出力データ又は訓練データが入力データxとして識別器に入力され、入力データxが生成器による出力データ又は訓練データの何れであるかを示す判別結果が識別器によって出力される。例えば、生成器による出力データである場合には0が出力され、訓練データである場合には1が出力される。当該判別結果に応じて、識別器が正しい判別結果を出力するように、例えば、誤差逆伝播法に従って識別器のニューラルネットワークのパラメータが更新される。一方、生成器の出力データが識別器によって訓練データと判別されるように、例えば、誤差逆伝播法に従って生成器のニューラルネットワークのパラメータが更新される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】"Generative Adversarial Nets", Ian J. Goodfellow, et. al., In NIPS 2014.
【非特許文献２】"Conditional Generative Adversarial Nets", Mehdi Mirza, et. al., arXiv: 1411.1784, Nov. 6, 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
GANsに従って生成器と識別器とが学習された後、学習済み生成器を利用して画像生成及び変換などの各種処理が実行される。一方、学習済み識別器にもターゲットデータに関する何らかの特徴量が含まれていると考えられ、学習フェーズだけでなく実行フェーズにも識別器を利用することができると考えられる。
【０００５】
上述した問題点を鑑み、本開示の課題は、新規なデータ変換方法を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本開示の一態様は、プロセッサにより実行されるステップからなるデータ変換方法であって、学習済み敵対的生成ネットワーク（GANs）の識別器の特徴空間に基づき学習されたエンコーダに変換対象データを入力し、前記エンコーダから符号化データを取得するステップと、前記学習済みGANsの生成器に前記符号化データを入力し、前記生成器から変換データを取得するステップとを有するデータ変換方法に関する。
【発明の効果】
【０００７】
本開示によると、新規なデータ変換方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本開示の一実施例によるGANs又は条件付き敵対的生成ネットワーク（CGANs）学習システムを示す概略図である。
【図２】本開示の一実施例によるデータ変換装置を示す概略図である。
【図３】本開示の一実施例によるエンコーダ学習処理を示すフローチャートである。
【図４】本開示の一実施例によるデータ変換処理を示すシーケンス図である。
【図５】本開示を実現する装置のハードウェア構成を示すブロック図である。
【図６】本開示の一実施例による画像変換のシミュレーション結果を示す図である。
【図７】本開示の一実施例による画像変換と従来のCGANsに基づく画像変換との間のシミュレーション結果の比較を示す図である。
【図８】本開示の一実施例による独立成分の変更処理のシミュレーション結果を示す図である。
【発明を実施するための形態】
【０００９】
以下の実施例では、敵対的生成ネットワーク（GANs）又は条件付き敵対的生成ネットワーク（CGANs）によるデータ変換装置及び方法が開示される。
【００１０】
本開示によるデータ変換装置及び方法を概略すると、データ変換装置は、学習済みGANsの識別器の特徴空間に基づき学習されたエンコーダを利用して、変換対象データから学習済みGANsの生成器に入力される符号化データを生成し、生成した符号化データを生成器に入力することによって変換データを取得する。このように、変換データに関する何らかの特徴量を有すると考えられる識別器を利用して生成器に入力される符号化データを生成するエンコーダを学習するという従来のデータ変換方法とは異なるアプローチをとる。
【００１１】
まず、図1を参照して、本開示の一実施例によるGANs又はCGANsを説明する。図1は、本開示の一実施例によるGANs又はCGANs学習システムを示す概略図である。
【００１２】
図1に示されるように、本開示の一実施例による学習システム10は、データベース（DB）30及びGANs学習装置50を有する。
【００１３】
DB 30は、GANs学習装置50により利用される訓練データを格納する。具体的には、DB 30は、GANs学習装置50における生成器20及び識別器40の訓練データを格納する。
【００１４】
GANs学習装置50は、GANsにおける生成器20及び識別器40と呼ばれる２つのニューラルネットワークを学習する。本開示による生成器20及び識別器40には、畳み込みニューラルネットワーク（CNNs）を含む任意のニューラルネットワークが適用されてもよい。生成器20及び識別器40のニューラルネットワークは、学習処理の開始時には何れか適切な初期状態に設定され、学習処理が進捗するに従って、生成器20及び識別器40の各ニューラルネットワークの各種パラメータが、例えば、以下のように順次更新される。
【００１５】
GANs学習装置50はまず、乱数などの入力データzを生成器20に入力し、生成器20によって生成された出力データを取得する。次に、GANs学習装置50は、生成器20によって生成された出力データ又はDB 30における訓練データを入力データxとして識別器40に入力し、入力データxが生成器20による出力データ又はDB 30からの訓練データの何れであるかを示す判別結果を識別器40から取得する。例えば、入力データxが生成器20による出力データである場合には0が出力され、入力データxがDB 30からの訓練データある場合には1が出力される。GANs学習装置50は、当該判別結果に応じて、識別器40が正しい判別結果を出力するように、例えば、誤差逆伝播法に従って識別器40のニューラルネットワークのパラメータを更新する。他方、GANs学習装置50は、生成器20の出力データが識別器40によって訓練データと判別されるように、例えば、誤差逆伝播法に従って生成器20のニューラルネットワークのパラメータを更新する。
【００１６】
典型的なGANsでは、形式的には、真のターゲット分布q(x)からx(k)をサンプリングすることによって取得された訓練データセットが
【００１７】
【数１】
2020061023.tif 000003
により与えられたとき、標準正規分布
【００１８】
【数２】
2020061023.tif 000004
から導出される乱数zを利用してqを模倣する生成関数
【００１９】
【数３】
2020061023.tif 000005
を学習すると共に、真のターゲット分布q(x)から抽出されたサンプルと生成器20により生成されたサンプルとを正しく判別するように、
【００２０】
【数４】
2020061023.tif 000006
の形式のニューラルネットワークから構成される識別器40を学習することが目的である。ここで、
【００２１】
【数５】
2020061023.tif 000007
であり、
【００２２】
【数６】
2020061023.tif 000008
はθによってパラメトライズされたニューラルネットワークである。また、aはユーザにによって選択された活性化関数であり、関数Dは入力としてxを取得し、当該入力xが真のターゲット分布q(x)からのサンプルであるか、あるいは、G(z)から生成されたサンプルであるか判別する。
【００２３】
GANsでは、識別器40と生成器20とは交互に学習され、識別器40の目的関数は、例えば、
【００２４】
【数７】
2020061023.tif 000009
である。ここで、qはデータ分布であり、pGはG(z)及びp(z)によって規定される生成器20のプッシュフォワード分布である。
【００２５】
また、Dにおいて用いられる活性化関数aはシグモイド関数
【００２６】
【数８】
2020061023.tif 000010
であってもよく、固定された生成器Gに対して、この形式の識別器40に対する最適な識別器40は、
【００２７】
【数９】
2020061023.tif 000011
によって与えられ、最適な識別器40は、
【００２８】
【数１０】
2020061023.tif 000012
となる。
【００２９】
一方、生成器20の目的関数は、
【００３０】
【数１１】
2020061023.tif 000013
であり、その最小化はKullback-Leibler divergence KL[p||q]に対応する。
【００３１】
なお、GANs学習装置50は、CGANsに従うものであってもよく、この場合、図示されるように、生成器20は更にラベルデータを取得し、乱数などの変換対象データとラベルデータとから出力データを生成する。
【００３２】
次に、図2を参照して、本開示の一実施例によるデータ変換装置を説明する。図2は、本開示の一実施例によるデータ変換装置を示す概略図である。
【００３３】
図2に示されるように、データ変換装置100は、生成器20及びエンコーダ60を有する。生成器20は、上述したGANs学習装置50によって学習済みであり、エンコーダ60は、後述されるエンコーダ学習装置200によって学習済みである。
【００３４】
具体的には、データ変換装置100は、識別器40の特徴空間に基づき学習されたエンコーダ60によって変換対象データから変換された符号化データを学習済みGANsの生成器20に入力し、生成器20によって符号化データから変換データを生成する。例えば、変換対象データは画像データであってもよく、変換データは画像変換後の画像データであってもよい。
【００３５】
あるいは、生成器20が学習済みCGANsのものである場合、データ変換装置100は、識別器40の特徴空間に基づき学習されたエンコーダ60によって変換対象データから変換された符号化データと共に、ラベルデータを学習済みCGANsの生成器20に入力することによって変換データを生成する。例えば、変換対象データはあるオブジェクトを含む画像データであり、ラベルデータは画像変換後の画像データに含まれる他のオブジェクトを示すデータであってもよく、変換データは画像変換後の他のオブジェクトを含む画像データであってもよい。
【００３６】
本実施例では、学習済みGANs又はCGANsの生成器20は、図1を参照して上述したような学習処理によって学習されたニューラルネットワークであってもよく、エンコーダ60は、以下で詳細に説明されるように、学習済みのGANs又はCGANsの識別器40の特徴空間に基づき、エンコーダ学習装置200によって学習されたニューラルネットワークであってもよい。
【００３７】
次に、図3を参照して、本開示の一実施例によるエンコーダ学習処理を説明する。図3は、本開示の一実施例によるエンコーダ学習処理を示すフローチャートである。当該エンコーダ学習処理は、エンコーダ学習装置200（より詳細には、エンコーダ学習装置200のプロセッサ）によって実行されてもよく、エンコーダ60は、GANs学習装置50による学習済みGANs/CGANsの生成器20及び識別器40を利用して学習される。すなわち、エンコーダ学習装置200は、学習済みGANsの識別器40の特徴空間に基づき、変換対象データから学習済みGANsの生成器20に入力される符号化データを生成するエンコーダを学習する。
【００３８】
図3に示されるように、ステップS101において、エンコーダ学習装置200は、変換対象データxを訓練データとしてエンコーダ60に入力する。
【００３９】
ステップS102において、エンコーダ学習装置200は、エンコーダ60によって変換対象データxから生成された符号化データEnc(x)を生成器20に入力する。なお、生成器20がCGANsによるものである場合、エンコーダ学習装置200は、符号化データEnc(x)と共にラベルデータyを生成器20に入力する。
【００４０】
ステップS103において、エンコーダ学習装置200は、生成器20の出力データG(Enc(x))（生成器20がCGANsによるものである場合、G(Enc(x, y))）を識別器40の特徴関数φ'に入力する。ここで、識別器40の特徴関数φ'は、識別器40におけるGAP (Global Averaging Pooling)レイヤ前の1つ以上のレイヤに基づき規定され、GAPレイヤによるプーリング処理前の畳み込みレイヤ、すなわち、GAPレイヤから入力レイヤ方向にあるレイヤなどの1つ以上のレイヤによって取得されるデータG(x)の特徴量φ'(G(Enc(x))) （生成器20がCGANsによるものである場合、φ'(G(Enc(x, y)))）を出力する。
【００４１】
ステップS104において、エンコーダ学習装置200は、変換対象データxを識別器40の特徴関数φ'に入力する。
【００４２】
ステップS105において、エンコーダ学習装置200は、ステップS103, S104においてそれぞれ取得した特徴量φ'(G(Enc(x))), φ'(x)の差分を算出し、当該差分に基づく損失関数を最小化するようエンコーダ60のパラメータを学習する。例えば、生成器20及び識別器40が学習済みGANsによるものである場合、損失関数Lは、限定することなく、
【００４３】
【数１２】
2020061023.tif 000014
であってもよい。ここで、diss(・,・)は、コサイン距離などの非類似度を示す何らかの適切なメトリックである。
【００４４】
また、生成器20及び識別器40が学習済みCGANsによるものである場合、損失関数Lは、限定することなく、
【００４５】
【数１３】
2020061023.tif 000015
であってもよい。
【００４６】
ステップS106において、エンコーダ学習装置200は、所定の終了条件を充足したか判断する。例えば、所定の終了条件は、所定の回数の繰り返しを終了したこと、エンコーダ60の損失関数Lの値が所定の閾値以下になったこと、エンコーダ60の損失関数Lの値が収束したことなどであってもよい。所定の終了条件が充足された場合（S106: YES）、エンコーダ学習装置200は、当該学習処理を終了し、上述したステップにより更新されたパラメータを有するエンコーダ60を学習済みエンコーダ60として取得し、データ変換装置100に提供してもよい。他方、所定の終了条件が充足されていない場合（S106: NO）、エンコーダ学習装置200は、ステップS101に戻り、上述したステップを繰り返す。
【００４７】
なお、上述したエンコーダ60の学習処理は、本開示によるエンコーダ60の学習処理の一例にすぎず、学習済みのGANs/CGANsの識別器40の特徴空間に基づく他の何れか適切な学習処理が、本開示によるエンコーダ60の学習処理に適用可能である。
【００４８】
次に、図4を参照して、本開示の一実施例によるデータ変換処理を説明する。図4は、本開示の一実施例によるデータ変換処理を示すシーケンス図である。当該データ変換処理は、データ変換装置100（より詳細には、データ変換装置100のプロセッサ）によって実行され、学習済みGANsの識別器40の特徴空間に基づき学習されたエンコーダ60に変換対象データを入力し、エンコーダ60から符号化データを取得し、学習済みGANsの生成器20に符号化データを入力し、生成器20から変換データを取得する。ここで、生成器20及びエンコーダ60はそれぞれ、GANs学習装置50及びエンコーダ学習装置200によって学習済みのものである。
【００４９】
図4に示されるように、ステップS201において、データ変換装置100は、変換対象データを取得し、取得した変換対象データをエンコーダ60に入力する。上述したように、エンコーダ60は、学習済みGANs/CGANsの識別器40の特徴空間に基づきエンコーダ学習装置200によって学習されたものである。
【００５０】
ステップS202において、データ変換装置100は、エンコーダ60によって変換対象データから生成された符号化データを取得する。
【００５１】
ステップS203において、データ変換装置100は、取得した符号化データを生成器20に提供する。
【００５２】
データ変換装置100の生成器20及びエンコーダ60が学習済みCGANsに基づくものである場合、任意的なステップS204として、データ変換装置100は、ラベルデータを取得し、生成器20に取得したラベルデータを入力する。
【００５３】
ステップS205において、データ変換装置100は、生成器20によって符号化データ（及びラベルデータ）から生成された変換データを取得する。
【００５４】
ここで、GANs学習装置50、データ変換装置100及びエンコーダ学習装置200は、典型的には、コンピュータにより実現可能であり、例えば、図5に示されるように、CPU (Central Processing unit)、GPU (Graphics Processing Unit)などのプロセッサ101、RAM (Random Access Memory)、フラッシュメモリなどのメモリ102、ハードディスク103及び入出力(I/O)インタフェース104によるハードウェア構成を有してもよい。
【００５５】
プロセッサ101は、GANs学習装置50、データ変換装置100及びエンコーダ学習装置200について説明した各種処理を実行する。
【００５６】
メモリ102は、GANs学習装置50、データ変換装置100及びエンコーダ学習装置200における各種データ及びプログラムを格納し、特に、生成器20、識別器40及び／又はエンコーダ60を実現するニューラルネットワークを記述するプログラム、作業用データ、実行中のプログラムなどのためのワーキングメモリとして機能する。具体的には、メモリ102は、ハードディスク103からロードされた生成器20、識別器40及びエンコーダ60に対する学習処理及び実行処理のためのプログラムを格納し、プロセッサ101によるプログラムの実行中にワーキングメモリとして機能する。
【００５７】
ハードディスク103は、GANs学習装置50、データ変換装置100及びエンコーダ学習装置200における各種データ及びプログラムを格納し、生成器20、識別器40及びエンコーダ60における処理を実行及び制御するための各種データ及び／又はプログラムを格納する。
【００５８】
I/Oインタフェース104は、DB 30などの外部装置との間でデータを入出力するためのインタフェースであり、例えば、USB (Universal Serial Bus)、通信回線、キーボード、マウス、ディスプレイなどのデータを入出力するためのデバイスである。
【００５９】
しかしながら、本開示によるGANs学習装置50、データ変換装置100及びエンコーダ学習装置200は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成を有してもよい。例えば、上述したGANs学習装置50、データ変換装置100及びエンコーダ学習装置200による処理は、これを実現するよう配線化された処理回路又は電子回路により実現されてもよい。
【００６０】
次に、図6及び7を参照して、本開示の一実施例によるデータ変換装置による画像変換のシミュレーション結果を説明する。図6は、本開示の一実施例によるデータ変換装置による画像変換のシミュレーション結果を示す図である。
【００６１】
図6に示されるように、データ変換装置100は、図示されるような各犬種のオブジェクトの変換対象データ（Original）と、所望される変換後の犬種又は動物の種別を示すラベルデータとを入力データとして取得すると、CGANsに基づく生成器20及びエンコーダ60を利用して、図示されるような変換データ（Translated image）を生成する。図示された画像から理解されるように、データ変換装置100は、変換対象データにおける犬の姿勢、背景等を維持しながら、ラベルデータに示される他の犬種又は動物にオブジェクトが変換された変換データを生成する。
【００６２】
なお、従来の学習済みCGANsのように、識別器40の特徴空間を利用することなく学習されたエンコーダによるデータ変換装置によっても同様の画像変換は可能である。例えば、学習済み識別器40を利用することなく学習されたエンコーダは、
【００６３】
【数１４】
2020061023.tif 000016
の損失関数Lにより学習されてもよい。
【００６４】
しかしながら、図7に示されるように、このような従来の学習済みCGANsの生成器及びエンコーダによると、生成される変換データは、各変換画像の上側に示されるようなぼやけた画像になったが、本開示のデータ変換装置100により生成される変換データは、下側に示されるようなクリアな画像になった。すなわち、学習済み生成器20だけでなく、学習済み識別器40の特徴空間に基づき学習されたエンコーダ60を利用することによって、より高品質な画像変換が可能になる。
【００６５】
一実施例では、データ変換装置100は、エンコーダ60によって、学習済みGANs/CGANsの識別器40の特徴空間における独立成分を変更してもよい。すなわち、特徴空間における各独立成分はセマンティックに分解された特徴を表し、この独立した特徴を調整することによって自然な画像変換を実現可能なエンコーダ60を構成することができる。
【００６６】
例えば、エンコーダ60は、変換対象データxを識別器40の特徴空間における符号化データに変換する
【００６７】
【数１５】
2020061023.tif 000017
の形式を備えてもよい。ここで、
【００６８】
【数１６】
2020061023.tif 000018
をそれぞれ、FastICAのpre-whitening PCA手順における基底変換行列（change of basis matrix）及びスペクトル対角行列とし、また、
【００６９】
【数１７】
2020061023.tif 000019
をFastICAによって推定されるミキシング行列とする。なお、Cは成分数である。
【００７０】
このとき、
【００７１】
【数１８】
2020061023.tif 000020
として記述する。ここで、
【００７２】
【数１９】
2020061023.tif 000021
は学習済みエンコーダ60のパラメータである。pre-whitening変換
【００７３】
【数２０】
2020061023.tif 000022
によって、抽出される独立成分はほぼ直交すると考えられる。従って、
【００７４】
【数２１】
2020061023.tif 000023
の座標を変更することによって画像変換を実現することができる。
【００７５】
図8は、本開示の一実施例による独立成分の変更処理のシミュレーション結果を示す図である。
【００７６】
例えば、図8(a)に示される画像では、画像の中心を軸としてオブジェクトの向きが変更されている。
【００７７】
図8(b)に示される画像では、オブジェクトの顔の位置が変更されている。
【００７８】
図8(c)に示される画像では、オブジェクトの顔の向きが変更されている。
【００７９】
図8(d)に示される画像では、1つのオブジェクトが2つに増やされている。
【００８０】
図8(e)に示される画像では、オブジェクトがズームアップされている。
【００８１】
図8(f)に示される画像では、図8(c)と反対方向にオブジェクトの顔の向きが変更されている。
【００８２】
なお、上述した実施例では、画像データに対して生成器20、識別器40及びエンコーダ60の学習及び実行処理が説明されたが、本開示は、これに限定されず、動画データ、音響データなどの他の任意のタイプのデータにも適用可能である。
【００８３】
以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００８４】
10  学習システム
20  生成器
30  データベース（DB）
40  識別器
50  GANs学習装置
60  エンコーダ
100  データ変換装置
200  エンコーダ学習装置
【図１】
2020061023.tif 000024
【図２】
2020061023.tif 000025
【図３】
2020061023.tif 000026
【図４】
2020061023.tif 000027
【図５】
2020061023.tif 000028
【図６】
2020061023.tif 000029
【図７】
2020061023.tif 000030
【図８】
2020061023.tif 000031