(57)【要約】  学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、を有する。
2019207770.tif 000002
【特許請求の範囲】
【請求項１】
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
を有する
学習済みモデル更新装置。
【請求項２】
請求項１に記載の学習済みモデル更新装置であって、
前記学習済みモデルを学習する際に用いた前記訓練データに基づいて前記生成モデルを生成する生成モデル構築部と、
前記生成モデル構築部が構築した前記生成モデルを記憶する記憶部と、を有し、
前記代替サンプル生成部は、前記記憶部が記憶する前記生成モデルに基づいて、前記代替サンプルと、前記代替サンプルに対応する前記正解ラベルと、を生成する
学習済みモデル更新装置。
【請求項３】
請求項２に記載の学習済みモデル更新装置であって、
前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Generative Adversarial Networksを利用する
学習済みモデル更新装置。
【請求項４】
請求項２に記載の学習済みモデル更新装置であって、
前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Variational Auto Encoderを利用する
学習済みモデル更新装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の学習済みモデル更新装置であって、
前記モデル更新部は、所定の条件を満たすまで、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
学習済みモデル更新装置。
【請求項６】
請求項５に記載の学習済みモデル更新装置であって、
前記モデル更新部は、前記更新モデルの更新ごとに前記敵対的サンプル生成部により新たに生成された前記敵対的サンプルと前記補正ラベルとを用いて、前記更新モデルの更新を行う
学習済みモデル更新装置。
【請求項７】
請求項５に記載の学習済みモデル更新装置であって、
前記モデル更新部は、同一の前記敵対的サンプルと前記補正ラベルとを用いて、所定の条件を満たすまで、前記更新モデルの更新を繰り返す
学習済みモデル更新装置。
【請求項８】
請求項５から請求項７までのいずれか１項に記載の学習済みモデル更新装置であって、
前記モデル更新部は、予め定められた所定回数、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
学習済みモデル更新装置。
【請求項９】
請求項５から請求項８までのいずれか１項に記載の学習済みモデル更新装置であって、
前記モデル更新部は、前記敵対的サンプルに対して前記補正ラベルを分類結果とする分類精度が所定の閾値を超えるまで、前記更新モデルの更新を繰り返すよう構成されている
学習済みモデル更新装置。
【請求項１０】
請求項１から請求項９までのいずれか１項に記載の学習済みモデル更新装置であって、
前記敵対的サンプル生成部は、複数の前記攻撃モデルそれぞれに対応する前記敵対的サンプルと前記補正ラベルを生成する
学習済みモデル更新装置。
【請求項１１】
請求項９に記載の学習済みモデル更新装置であって、
前記前記モデル更新部は、第１の攻撃モデルに対応する前記敵対的サンプルと前記補正ラベルに基づく追加の学習を行って前記更新モデルを生成した後、第２の攻撃モデルに対応する前記敵対的サンプルと前記補正ラベルに基づく追加の学習を行って、生成した前記更新モデルを更新する
学習済みモデル更新装置。
【請求項１２】
学習済みモデル更新装置が、
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成し、
攻撃モデルと、生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成し、
前記代替サンプルと前記正解ラベルと、前記敵対的サンプルと前記補正ラベルと、に基づく追加の学習を行って、更新モデルを生成する
学習済みモデル更新方法。
【請求項１３】
学習済みモデル更新装置に、
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習済みモデル更新装置、学習済みモデル更新方法、プログラムに関する。
【背景技術】
【０００２】
膨大な学習データを学習してモデルを構築する機械学習という技術が知られている。このような機械学習によって構築された学習済みモデルでは、脆弱性が問題となることがある。例えば、上記のような学習済みモデルでは、敵対的サンプル（Adversarial  Example：AX）を用いることで、訓練時に設計者が想定していない誤作動が誘引されることがある。【０００３】
敵対的サンプルによる問題の対策としては、正規サンプルと正解ラベルの組に加えて敵対的サンプルと補正ラベルの組を含めたデータを訓練データとして用いた分類器の教師あり学習を行う敵対的訓練（Adversarial  Training）がある。しかしながら、敵対的訓練を用いた方法には、分類器を構築する際に敵対的サンプルが未知である等の理由で利用できないおそれがあるという問題や、分類器を構築する際に得られた敵対的サンプルだけでは将来発生する攻撃に対して耐性を有さないおそれがあるという問題があった。また、例えば、クリーンな正規サンプルに対する性能を評価したい場合などにおいて、初めから敵対的サンプルを混入させる敵対的訓練を実行した場合、正規サンプルを用いた分類器の構築がどの程度の分類精度を有するのか把握することが出来なくなるおそれがあった。【０００４】
以上のように、敵対的訓練を用いた方法の場合、複数の問題が生じていた。そこで、敵対的訓練のように分類器を構築する際に敵対的サンプルに対する耐性を持たせる措置を講じるのではなく、対処すべき攻撃が登場した後に学習済みモデルのパラメータに対してインクリメンタル（追加的）にその攻撃への耐性を有するように追加の学習（更新処理）を行うことが必要であると考えられている。このような技術の一つとして、例えば、非特許文献がある。例えば、非特許文献1では、正規サンプルと敵対的サンプルの両方を学習時に用意して、まず、クリーンな正規サンプルだけを用いた分類タスクの学習を行い、その後、正規サンプルと敵対的サンプルの両方を用いた敵対的サンプルへの耐性を持った分類タスクの学習を行う、delaying adversarial trainingについて言及している。このdelaying adversarial trainingは、前述の追加学習と同様の概念である。【０００５】
また、関連する技術として、例えば、特許文献１がある。特許文献１には、機械学習のモデルとしてAAE（Adversarial  AutoEncoder：敵対的自己符号化器）を利用する場合について記載されている。特許文献１によると、AAEを利用する場合、エンコーダ及びデコーダの学習に加えて、識別器の学習を行う。また、識別器の学習は、正常データである訓練データを用いて行われる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１７/０９４２６７号
【非特許文献】
【０００７】
【非特許文献１】Alexey Kurakin, Ian J. Goodfellow, Samy Bengio. “Adversarial Machine Learning at Scale”, Proceedings of 5th International Conference on Learning Representations (ICLR2017), 2017.
【非特許文献２】Sang-Woo Lee, Jin-Hwa Kim , Jaehyun Jun, Jung-Woo Ha, and Byoung-Tak Zhang. “Overcoming Catastrophic Forgetting by Incremental Moment Matching”, Proceedings of 31st Conference on Neural Information Processing Systems (NIPS2017), 2017.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
敵対的サンプルを用いた追加学習を行う際に訓練データとして敵対的サンプルのみを用いると、元の訓練データで用いた正規サンプルによる学習効果が薄れる、棄損するといった忘却が生じる可能性がある。忘却を回避するためには、敵対的サンプルだけでなく、非特許文献１や特許文献１に記載されているように、敵対的訓練と同様に正規サンプル（正常データ）を訓練データに含めることが望ましい。【０００９】
しかしながら、正規サンプルのサイズは大きいものでは数TBを超える場合もあり、将来の更新を見据えて保管しておくと、保管に必要なディスク容量、サーバー稼働等のコストを要することになる。また、データサイズが大きいために、学習済みモデルを運用している場所に伝送することが困難であるという課題もある。このように、忘却を回避するためには敵対的サンプルだけでなく正規サンプルを用いることが望ましいが、正規サンプルはサイズが大きいため保管に要するコストが大きく、その結果、学習済みモデルの更新を行うことが困難になるおそれがある、という課題が生じていた。【００１０】
そこで、本発明の目的は、忘却を抑制した学習済みモデルの更新が難しくなるおそれがある、という課題を解決する学習済みモデル更新装置、学習済みモデル更新方法、プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
かかる目的を達成するため本発明の一形態である学習済みモデル更新装置は、
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
を有する
という構成をとる。【００１２】
また、本発明の他の形態である学習済みモデル更新方法は、
学習済みモデル更新装置が、
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成し、
攻撃モデルと、生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成し、
前記代替サンプルと前記正解ラベルと、前記敵対的サンプルと前記補正ラベルと、に基づく追加の学習を行って、更新モデルを生成する
という構成をとる。【００１３】
また、本発明の他の形態であるプログラムは、
学習済みモデル更新装置に、
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
を実現させるためのプログラムである。
【発明の効果】
【００１４】
本発明は、以上のように構成されることにより、忘却を抑制した学習済みモデルの更新が難しくなるおそれがある、という課題を解決する学習済みモデル更新装置、学習済みモデル更新方法、プログラムを提供することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態における更新装置の構成の一例を示すブロック図である。
【図２】敵対的サンプルの生成例を示す図である。
【図３】モデル更新部の処理の一例を示す図である。
【図４】更新装置の処理の一例を示すフローチャートである。
【図５】更新装置の他の構成の一例を示すブロック図である。
【図６】更新装置の他の構成の一例を示すブロック図である。
【図７】本発明の第２の実施形態における更新装置の構成の一例を示すブロック図である。
【図８】本発明の第１の実施形態、第２の実施形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【図９】本発明の第３の実施形態における学習済みモデル更新装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１６】
［第１の実施形態］
本発明の第１の実施形態を図１から図６までを参照して説明する。図１は、更新装置１００の構成の一例を示すブロック図である。図２は、敵対的サンプル生成部１０４における敵対的サンプルの生成例を示す図である。図３は、モデル更新部１０６の処理の一例を示す図である。図４は、更新装置１００の処理の一例を示すフローチャートである。図５は、更新装置１１０の構成の一例を示すブロック図である。図６は、更新装置１２０の構成の一例を示すブロック図である。
【００１７】
本発明の第１の実施形態では、学習済みモデルCの更新を行う更新装置１００（学習済みモデル更新装置）について説明する。後述するように、更新装置１００は、サンプル生成モデルGに基づいて、代替サンプルXGと正解ラベルYGを生成する。また、更新装置１００は、攻撃モデルAに基づいて、敵対的サンプルXAと補正ラベルYAを生成する。そして、更新装置１００は、代替サンプルと正解ラベルの組（XG、YG）と敵対的サンプル（Adversarial  Example：AX）と補正ラベルの組（XA、YA）とを訓練データとして、学習済みモデルCのニューラルネットワークπ、パラメータθに対して追加の訓練を行って新たなパラメータθ*を得る。これにより、更新装置１００は、（π、θ*）を持つ更新モデルC*を生成する。
【００１８】
更新装置１００は、学習済みモデルCに対する追加の学習を行って更新モデルC*を生成する。例えば、更新装置１００には、学習済みモデルCと、サンプル生成モデルGと、攻撃モデルAと、が入力される。
【００１９】
学習済みモデルCは、正規サンプルXLと正解ラベルYLの組を訓練データとして機械学習することで予め生成したモデルである。学習済みモデルCは、敵対的訓練（Adversarial  Training）されたものなど、敵対的サンプルと補正ラベルの組を訓練データに含めたものを機械学習することで生成したものであっても構わない。例えば、学習済みモデルCは、ニューラルネットワークの構造πとパラメータθからなる。学習済みモデルCは、ニューラルネットワークの構造を含めてパラメータθと表現してもよい。
【００２０】
サンプル生成モデルGは、例えば、Conditional Generative Adversarial Networks (CGAN)、Auxiliary Classifier GAN (ACGAN)などのCGANの後継や発展形、Conditional Variational Auto Encoder (CVAE)、などの訓練ラベルに該当する訓練データの生成モデルを少数のパラメータで表すように学習する方法を利用して、予め生成したモデルである。換言すると、サンプル生成モデルGは、正規サンプルXLと正解ラベルYLの組に基づいて予め生成された、学習済みモデルCを生成する際に用いた訓練データを代表するモデルである。例えば後述するように、サンプル生成モデルGは、乱数ｒを用いるサンプル生成モデルG上のデータ点を特定することで、代替サンプルｘGと正解ラベルｙGの組を生成することができる。
【００２１】
攻撃モデルAは、例えば、Fast Gradient Sign Method（FGSM）、Carlini-Wagner L2 Attack（CW Attack）やDeepfool、Iterative Gradient Sign Methodなどの敵対的サンプルを生成可能なモデルである。例えば後述するように、攻撃モデルAは、所定の計算を行うことで、代替サンプルXGから摂動（ずれ）を与えた敵対的サンプルXAを生成することができる。
【００２２】
例えば、更新装置１００には、上述したような、学習済みモデルCと、サンプル生成モデルGと、攻撃モデルAと、が入力される。なお、更新装置１００は、例えば図示しないハードディスクやメモリなどの記憶装置を有しており、当該記憶装置に上述した各種モデルのうちの一つ以上を予め記憶していても構わない。
【００２３】
図１は、更新装置１００の構成の一例を示している。図１を参照すると、更新装置１００は、代替サンプル生成部１０２と、敵対的サンプル生成部１０４と、モデル更新部１０６と、を含む。
【００２４】
例えば、更新装置１００は、図示しない記憶装置と演算装置とを有している。更新装置１００は、図示しない記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。
【００２５】
なお、本実施形態においては、正規サンプルxL∈正規サンプルXL、代替サンプルxG∈代替サンプルXG、敵対的サンプルxA∈敵対的サンプルXAとする。また、各サンプルの次元は同一であるものとする。
【００２６】
代替サンプル生成部１０２は、入力されたサンプル生成モデルGに基づいて、代替サンプルXGと、代替サンプルXGに対する正解ラベルYGとを生成する。
【００２７】
例えば、サンプル生成モデルGが上述したCGANによって構成されているとする。この場合、代替サンプル生成部１０２は、ある正解ラベルyGに対して代替サンプルxGを生成する。具体的には、例えば、代替サンプル生成部１０２は、乱数rを生成する。そして、代替サンプル生成部１０２は、乱数ｒを用いてサンプル生成モデルG上のデータ点を出力する。つまり、代替サンプル生成部１０２は、G(r, yG)= xGとする。そして、代替サンプル生成部１０２は、生成した代替サンプルと正解ラベルを(xG, yG)のように対応付ける。
【００２８】
なお、代替サンプル生成部１０２は、乱数として、一様乱数や正規分布に従う乱数である正規乱数などを利用することができる。
【００２９】
代替サンプル生成部１０２は、上述した代替サンプルxGの生成処理を所定の数（N回）繰り返す。つまり、代替サンプル生成部１０２は、上述した代替サンプルxGの生成処理を所定の数N件の代替サンプルxGと正解ラベルyGの組が得られるまで繰り返す。このとき、代替サンプル生成部１０２は、正解ラベルyGごとに所定の数（同数）の代替サンプルxGを生成してもよいし、正解ラベルyGごとに異なる数の代替サンプルxGを生成してもよい。例えば、代替サンプル生成部１０２は、正解ラベルの合計数をLとしたとき、各正解ラベルyに対してN/L件の代替サンプルxGを生成してもよい。このように代替サンプルxGと正解ラベルyGの組を生成することで、代替サンプル生成部１０２は、代替サンプルの集合XG=(xG1, …, xGN)と、正解ラベルの集合YG=(yG1, …, yGL)を得る。
【００３０】
ここで、i (1<=i<=N)回目に生成した代替サンプルxGと正解ラベルyGは、iをインデックスとしてXGとYGからXG[i]、YG[i]のようにそれぞれ取得できるものとする。なお、所定の数Nは、更新装置１００固有の定数としてもよい。また、所定の数Nを更新装置１００の入力として受け付けてもよい。
【００３１】
敵対的サンプル生成部１０４は、入力された攻撃モデルAに基づいて、学習済みモデルCに誤分類を誘発するような敵対的サンプルXAと、敵対的サンプルの補正ラベルYAとを生成する。
【００３２】
例えば、敵対的サンプル生成部１０４は、学習済みモデルCと、代替サンプル生成部１０２が生成した代替サンプルと正解ラベルの組(XG,YG)と、攻撃モデルAと、に基づいて、敵対的サンプルXAと、敵対的サンプルの補正ラベルYAとを生成する。具体的には、敵対的サンプル生成部１０４は、入力された攻撃モデルAに固有の方法によって、代替サンプルと正解ラベルの組(XG,YG)からM個のデータ点を持つXA,YAをそれぞれ生成する。ここで、j (1<=j<=M)個目の敵対的サンプルxAと補正ラベルyAは、jをインデックスとして敵対的サンプルXAと補正ラベルYAからXA[j]、YA[j]のようにそれぞれ取得できるものとする。
【００３３】
なお、敵対的サンプル生成部１０４は、代替サンプル生成部１０２が生成した代替サンプルと正解ラベルの組(XG,YG)を用いる代わりに、サンプル生成モデルGを入力として受け付けても構わない。この場合、敵対的サンプル生成部１０４は、代替サンプル生成部１０２と同様に、サンプル生成モデルGからK個の代替サンプルを生成するよう構成しても構わない。
【００３４】
ここで、一例として、敵対的サンプル生成部１０４に攻撃モデルAとしてFast Gradient Sign Method（FGSM）を入力した場合の動作例を示す。FGSMでは、以下の数１で示す計算によって摂動を与えた敵対的サンプルxAを代替サンプルxGから生成する。
【数１】
2019207770.tif 000003
ここで、J(θ,x_ ,y_ )はパラメータθを持つニューラルネットワークを用いてデータポイントxをラベルyへと分類する際の損失関数であり、∇x J(θ,x  ,y  )は損失関数のxに関する勾配である。また、関数sign()は符号関数であり、入力が正のとき+1、負のとき-1、0のとき0を返す。εは0以上の値を持つ変数であり、与える摂動の大きさを調整する変数である。例えばεには1.0等の値を利用することができる（例示した値以外であっても構わない）。よって、上述の数１で示す式は、代替サンプルxGに対して第二項で記述された摂動を与えたxAを出力する。
【００３５】
図２にFGSMによる代替サンプルxGと対応する敵対的サンプルxAの一例を示す。図２で示すように、敵対的サンプル生成部１０４は、入力された代替サンプルxGに摂動を与えて敵対的サンプルxAを出力する。例えば、図２で示す場合、代替サンプルxGである車両進入禁止の道路標識に摂動を与えることで、市松模様を有する敵対的サンプルxAを生成している。また、敵対的サンプル生成部１０４は、入力した代替サンプルxGに対応する正解ラベルyGを補正ラベルyAとする。
【００３６】
なお、補正ラベルyAは、正解ラベルyGと同じものを与える以外の方法で決定してもよい。例えば、敵対的サンプル生成部１０４は、敵対的サンプルxAのk-近傍(k-nearest neighbor)である代替サンプルを取得し、それらk件の代替サンプルに付与されている正解ラベルのうち最も頻度の高いものを補正ラベルyAとしてもよい。同様に、敵対的サンプルxAから距離δにある代替サンプルを取得し、それらの代替サンプルに付与されている正解ラベルのうち最も頻度の高いものを補正ラベルyAとしてもよい。
【００３７】
なお、上述した敵対的サンプル生成部１０４の処理はあくまで一例である。敵対的サンプル生成部１０４は、FGSMの代わりに、攻撃モデルAとしてCarlini-Wagner L2 Attack（CW Attack）やDeepfool、Iterative Gradient Sign MethodなどのAXを生成する手法を入力として受け付けても構わない。つまり、敵対的サンプル生成部１０４は、FGSM以外の攻撃モデルAを動作させて敵対的サンプルを生成して、敵対的サンプルに対して正規の分類結果へと補正する補正ラベルを付与する、といった動作をしてもよい。
【００３８】
また、敵対的サンプル生成部１０４は、上記例示したうちの複数の攻撃モデルAそれぞれに対して敵対的サンプルと補正ラベルの組を生成するよう構成しても構わない。この場合、後述するモデル更新部１０６は、複数の攻撃モデルAそれぞれに対応するすべての敵対的サンプルと補正ラベルとを入力として、追加学習を行うことになる。
【００３９】
モデル更新部１０６は、敵対的サンプルが入力された際に補正ラベルを応答するように、学習済みモデルCを修正する。
【００４０】
例えば、モデル更新部１０６は、代替サンプルと正解ラベルの組(XG,YG)と、敵対的サンプルと補正ラベルの組(XA,YA)とを訓練データX*={XG,XA}、Y*={YG,YA}として、学習済みモデルCのニューラルネットワークπ、パラメータθに対して追加の訓練をする。これにより、モデル更新部１０６は、学習済みモデルCよりも敵対的サンプルXAを入力された際に補正ラベルYAを出力する確率が高い新たなパラメータθ*を得る。この結果、モデル更新部１０６は、(π, θ*)を持つ更新モデルC*を生成することになる。
【００４１】
図３は、モデル更新部１０６の追加学習について示した図である。図３で示すように、モデル更新部１０６は、学習済みモデルCのニューラルネットワークπ、パラメータθに対して追加の訓練をすることで、新たなパラメータである更新パラメータθ*を得る。
【００４２】
なお、上述したように、敵対的サンプル生成部１０４が複数の攻撃モデルAそれぞれに対して敵対的サンプルXAと補正ラベルYAの組を生成している場合がある。このような場合、モデル更新部１０６は、一度にすべての敵対的サンプルXAと補正ラベルYAの組を含む追加の学習を行っても構わないし、攻撃モデルごとの学習を行って更新モデルC*の生成・更新を行っても構わない。例えば、敵対的サンプル生成部１０４が第１の攻撃モデルに対して敵対的サンプルXAと補正ラベルYAの組を生成するとともに、第２の攻撃モデルに対して敵対的サンプルXAと補正ラベルYAの組を生成したとする。この場合、モデル更新部１０６は、第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って更新モデルC*を生成した後、第２の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って、生成した更新モデルC*を更新することができる。モデル更新部１０６は、一度に、第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAと、第２の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAと、に基づく追加の学習を行って更新モデルC*を生成しても構わない。
【００４３】
なお、モデル更新部１０６で第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って更新モデルC*を生成した後、第２の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って、生成した更新モデルC*を更新する際に、既に実施ずみの第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習の効果が忘却によって失われてしまう場合がある。この忘却を抑止するために、非特許文献２に記載のIncremental Moment Matching法等の最適化による学習をモデル更新部１０６で第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って更新モデルC*を生成した後、第２の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って、生成した更新モデルC*を更新する際に用いてもよい。これを第１から第Ｋ−１の攻撃モデルに対応する追加の学習を行って更新モデルを生成した後、Incremental Moment Matching法等の忘却を抑止する最適化によって、第Ｋの攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って、モデルC*を更新してもよい。このように、モデル更新部１０６は、追加の学習を繰り返す場合などにおいて、忘却を抑止するための最適化を行うよう構成しても構わない。
【００４４】
以上が、更新装置１００の構成の一例である。続いて、図４を参照して、更新装置１００の動作の一例について説明する。
【００４５】
図４を参照すると、更新装置１００の代替サンプル生成部１０２は、サンプル生成モデルGに基づいて、代替サンプルXGと、代替サンプルXGに対する正解ラベルYGとを生成する（ステップS101）。
【００４６】
敵対的サンプル生成部１０４は、学習済みモデルCと、代替サンプル生成部１０２が生成した代替サンプルと正解ラベルの組(XG,YG)と、攻撃モデルAと、に基づいて、敵対的サンプルXAと、敵対的サンプルの補正ラベルYAとを生成する（ステップS102）。
【００４７】
モデル更新部１０６は、代替サンプル生成部１０２が生成した代替サンプルと正解ラベルの組(XG,YG)と敵対的サンプル生成部１０４が生成した敵対的サンプルと補正ラベルの組(XA,YA)とを訓練データX*={XG,XA}、Y*={YG,YA}として、学習済みモデルCのニューラルネットワークπ、パラメータθに対して追加の訓練をする。これにより、モデル更新部１０６は、学習済みモデルCよりも敵対的サンプルXAを入力された際に補正ラベルYAを出力する確率が高い新たなパラメータθ*を得る。この結果、モデル更新部１０６は、(π, θ*)を持つ更新モデルC*を生成することになる（ステップS103）。
【００４８】
このように、本実施形態における更新装置１００は、代替サンプル生成部１０２と、敵対的サンプル生成部１０４と、モデル更新部１０６と、を有している。このような構成により、代替サンプル生成部１０２は、サンプル生成モデルGに基づいて、代替サンプルXGと正解ラベルYGの組を生成することができる。また、敵対的サンプル生成部１０４は、攻撃モデルAに基づいて、敵対的サンプルXAと補正ラベルYAの組を生成することができる。そして、モデル更新部１０６は、代替サンプル生成部１０２と敵対的サンプル生成部１０４による生成結果とに基づいて、追加の学習を行って更新モデルC*を生成することができる。その結果、上記構成によると、学習済みモデルCを生成する際に用いた正規サンプルを用いることなく、忘却を抑制した学習済みモデルの更新を行うことが可能となる。
【００４９】
つまり、本発明によれば、学習済みモデルCの構築時に訓練データとして用いた正規サンプルを用いる代わりに、正規サンプルを代表するサンプル生成モデルGを用いて、学習済みモデルが既に獲得している分類タスクの忘却を防ぎながら、敵対的サンプルに対して補正ラベルで示したクラスを応答するように学習済みモデルのパラメータを更新することができる。これによって、更新処理に必要なデータサイズを小さくしたり、伝送時間を短くしたりすることができる。なお、サンプル生成モデルGのデータサイズはパラメータ数に依存する。そのため、パラメータ数が多く、生成サンプル数が非常に少ない場合には、サンプル生成モデルGの方が冗長になる場合があり、必ずしも正規サンプルのサイズより小さいわけではない。しかしながら、多くの場合において、多数の画像や音声、トランザクションからなる正規サンプルよりも、サンプル生成モデルGを用いたほうが、データサイズが小さくなる。
【００５０】
なお、更新装置１００の構成は、上述した場合に限定されない。例えば、更新装置１００は、所定の条件を満たすまで更新モデルの更新を繰り返すよう構成することができる。
【００５１】
例えば、図５は、上記のような構成を有する更新装置１１０の構成の一例について示している。図５を参照すると、更新装置１１０は、更新モデルC*を再び学習済みモデルとして入力する。そのため、敵対的サンプル生成部１０４は、新たに入力された更新モデルC*を用いて新たに敵対的サンプルXAと補正ラベルYAとを生成する。そして、モデル更新部１０６は、代替サンプルと正解ラベルの組(XG,YG)と、新たに生成した敵対的サンプルと補正ラベルの組(XA,YA)とを訓練データX*={XG,XA}、Y*={YG,YA}として、更新モデルC*に対する追加の訓練をする。このように、更新装置１１０は、更新モデルC*の更新ごとに敵対的サンプル生成部１０４により新たに生成された敵対的サンプルXAと補正ラベルYAとを用いて、更新モデルC*の更新を行うよう構成されている。換言すると、更新装置１１０は、予め定められた所定の条件を満たすまで再帰的に更新を繰り返すことができる。
【００５２】
なお、更新装置１１０が更新モデルC*の更新を止める条件は、さまざまなものを採用することができる。例えば、更新装置１１０は、予め定められた所定回数（回数は任意に設定して構わない）更新モデルC*の更新を繰り返すよう構成することができる。また、更新装置１１０は、敵対的サンプルを入力された際に補正ラベルを分類結果とする分類精度が所定の閾値（任意の値で構わない）を超えるまで、更新モデルC*の更新を繰り返すよう構成することができる。なお、更新装置１１０を上記のように構成する場合、分類精度を測定する測定部を更新装置１１０が有しても構わない。更新装置１１０が更新モデルC*の更新を止める条件は、上記例示したもの以外であっても構わない。
【００５３】
また、図６で示すように、モデル更新部１０６は、更新後の学習済みモデルC*を再びモデル更新部１０６の学習済みモデルとして入力し、所定の分類精度が達成される、所定の回数繰り返す、等の条件を満たすまで再帰的に更新を繰り返すよう構成しても構わない。つまり、更新装置１００や１１０の代わりに、上述したような処理を行うモデル更新部１０６を有する更新装置１２０により本発明を実現しても構わない。図６で示す更新装置１２０の場合、更新装置１１０の場合と異なり、更新ごとに敵対的サンプルXAと補正ラベルYAとの生成を行わない。つまり、更新装置１２０のモデル更新部１０６は、同一の敵対的サンプルXAと補正ラベルYAとを用いて、所定の条件を満たすまで更新モデルC*の更新を繰り返す。
【００５４】
［第２の実施形態］
次に、本発明の第２の実施形態について、図７を参照して説明する。図７は、更新装置２００の構成の一例を示すブロック図である。
【００５５】
本発明の第２の実施形態では、更新装置１００の変形例である更新装置２００について説明する。なお、後述する更新装置２００が有する構成は、更新装置１１０や更新装置１２０など第１の実施形態で説明した様々な変形例に適用しても構わない。
【００５６】
図７は、更新装置２００の構成の一例を示している。図７を参照すると、更新装置２００は、更新装置１００が有する構成に加えて、生成モデル構築部２０８と、記憶装置２１０と、を有している。
【００５７】
例えば、更新装置２００は、図示しない記憶装置と演算装置とを有している。更新装置２００は、図示しない記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。
【００５８】
生成モデル構築部２０８は、学習済みモデルCを生成する際に用いた訓練データに基づいて、サンプル生成モデルGを生成する。
【００５９】
生成モデル構築部２０８がサンプル生成モデルGを生成する際のアルゴリズムとしては、Conditional Generative Adversarial Networks (CGAN)、Auxiliary Classifier GAN (ACGAN)などのCGANの後継や発展形、Conditional Variational Auto Encoder (CVAE)、などの訓練ラベルに該当する訓練データの生成モデルを少数のパラメータで表すように学習する方法を利用することができる。さらに、訓練ラベルに該当する訓練データの分布に関する情報が既知の場合は、その分布を表す確率密度関数などを用いてもよい。また、特定の計算式によって訓練ラベルに該当する訓練データが生成されることが既知の場合は、その計算式に基づいた生成モデルを構築してもよい。
【００６０】
記憶装置２１０は、ハードディスクやメモリなどの記憶装置である。記憶装置２１０には、生成モデル構築部２０８が生成したサンプル生成モデルGが格納される。本実施形態の場合、代替サンプル生成部１０２は、記憶装置２１０に格納されたサンプル生成モデルGに基づいて、代替サンプルXGと、代替サンプルXGに対する正解ラベルYGとを生成する。
【００６１】
このように、更新装置２００は、生成モデル構築部２０８と、記憶装置２１０と、を有している。このような構成であっても、第１の実施形態で説明した更新装置１００などと同様に、正規サンプルを保持し続けることなく、学習済みモデルが既に獲得している分類タスクの忘却を防ぎながら、敵対的サンプルに対して補正ラベルで示したクラスを応答するように学習済みモデルのパラメータを更新することができる。
【００６２】
なお、本実施形態においては、更新装置２００が生成モデル構築部２０８や記憶装置２１０を有するとした。しかしながら、生成モデル構築部２０８や記憶装置２１０は、必ずしも更新装置２００が有さなくても構わない。例えば、生成モデル構築部２０８としての機能を有する圧縮装置と、更新装置１００（更新装置１１０や更新装置１２０でも構わない）と、のように２つ以上の複数の情報処理装置を用いて本発明を実現しても構わない。
【００６３】
＜ハードウェア構成について＞
上述した第１、第２の実施形態において、更新装置１００、更新装置１１０、更新装置１２０、更新装置２００が有する各構成要素は、機能単位のブロックを示している。更新装置１００、更新装置１１０、更新装置１２０、更新装置２００が有する各構成要素の一部又は全部は、例えば図８に示すような情報処理装置３００とプログラムとの任意の組み合わせにより実現することが出来る。図８は、更新装置１００、更新装置１１０、更新装置１２０、更新装置２００の各構成要素を実現する情報処理装置３００のハードウェア構成の一例を示すブロック図である。情報処理装置３００は、一例として、以下のような構成を含むことが出来る。
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０３
・ＲＡＭ３０３にロードされるプログラム群３０４
・プログラム群３０４を格納する記憶装置３０５
・情報処理装置３００外部の記録媒体３１０の読み書きを行うドライブ装置３０６
・情報処理装置３００外部の通信ネットワーク３１１と接続する通信インタフェース３０７
・データの入出力を行う入出力インタフェース３０８
・各構成要素を接続するバス３０９
【００６４】
上述した各実施形態における更新装置１００、更新装置１１０、更新装置１２０、更新装置２００が有する各構成要素は、これらの機能を実現するプログラム群３０４をＣＰＵ３０１が取得して実行することで実現することが出来る。更新装置１００、更新装置１１０、更新装置１２０、更新装置２００が有する各構成要素の機能を実現するプログラム群３０４は、例えば、予め記憶装置３０５やＲＯＭ３０２に格納されており、必要に応じてＣＰＵ３０１がＲＡＭ３０３にロードして実行する。なお、プログラム群３０４は、通信ネットワーク３１１を介してＣＰＵ３０１に供給されてもよいし、予め記録媒体３１０に格納されており、ドライブ装置３０６が該プログラムを読み出してＣＰＵ３０１に供給してもよい。
【００６５】
なお、図１２は、情報処理装置３００の構成の一例を示しており、情報処理装置３００の構成は上述した場合に例示されない。例えば、情報処理装置３００は、ドライブ装置３０６を有さないなど、上述した構成の一部から構成されても構わない。
【００６６】
［第３の実施形態］
次に、図９を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、学習済みモデル更新装置４００の構成の概要について説明する。
【００６７】
図９は、学習済みモデル更新装置４００の構成の一例を示している。図９を参照すると、学習済みモデル更新装置４００は、代替サンプル生成部４０１と、敵対的サンプル生成部４０２と、モデル更新部４０３と、を有している。
【００６８】
代替サンプル生成部４０１は、学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、代替サンプルに対応する正解ラベルと、を生成する。
【００６９】
敵対的サンプル生成部４０２は、攻撃モデルと、代替サンプル生成部４０１が生成した代替サンプルと正解ラベルと、に基づいて、学習済みモデルに誤分類を誘発させる敵対的サンプルと、敵対的サンプルに対応する補正ラベルと、を生成する。
【００７０】
モデル更新部４０３は、代替サンプル生成部４０１による生成の結果と、敵対的サンプル生成部４０２による生成の結果と、に基づく追加の学習を行って、更新モデルを生成する。
【００７１】
このように、本実施形態における学習済みモデル更新装置４００は、代替サンプル生成部４０１と、敵対的サンプル生成部４０２と、モデル更新部４０３と、を有している。このような構成により、代替サンプル生成部４０１は、生成モデルに基づいて、代替サンプルと正解ラベルの組を生成することができる。また、敵対的サンプル生成部４０２は、攻撃モデルに基づいて、敵対的サンプルと補正ラベルの組を生成することができる。そして、モデル更新部４０３は、代替サンプル生成部４０１と敵対的サンプル生成部４０２による生成結果とに基づいて、追加の学習を行って更新モデルを生成することができる。その結果、上記構成によると、学習済みモデルを生成する際に用いた正規サンプルを用いることなく、忘却を抑制した学習済みモデルの更新を行うことが可能となる。
【００７２】
また、上述した学習済みモデル更新装置４００は、当該学習済みモデル更新装置４００に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、学習済みモデル更新装置に、学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、攻撃モデルと、代替サンプル生成部が生成した代替サンプルと正解ラベルと、に基づいて、学習済みモデルに誤分類を誘発させる敵対的サンプルと、敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、代替サンプル生成部による生成の結果と、敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、を実現させるためのプログラムである。
【００７３】
また、上述した学習済みモデル更新装置４００により実行される学習済みモデル更新方法は、学習済みモデル更新装置が、学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、代替サンプルに対応する正解ラベルと、を生成し、攻撃モデルと、生成した代替サンプルと正解ラベルと、に基づいて、学習済みモデルに誤分類を誘発させる敵対的サンプルと、敵対的サンプルに対応する補正ラベルと、を生成し、代替サンプルと正解ラベルと、敵対的サンプルと補正ラベルと、に基づく追加の学習を行って、更新モデルを生成する、という方法である。
【００７４】
上述した構成を有する、プログラム、又は、学習済みモデル更新方法、の発明であっても、上記学習済みモデル更新装置４００と同様の作用を有するために、上述した本発明の目的を達成することが出来る。
【００７５】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における学習済みモデル更新装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【００７６】
（付記１）
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
を有する
学習済みモデル更新装置。
（付記２）
付記１に記載の学習済みモデル更新装置であって、
前記学習済みモデルを学習する際に用いた前記訓練データに基づいて前記生成モデルを生成する生成モデル構築部と、
前記生成モデル構築部が構築した前記生成モデルを記憶する記憶部と、を有し、
前記代替サンプル生成部は、前記記憶部が記憶する前記生成モデルに基づいて、前記代替サンプルと、前記代替サンプルに対応する前記正解ラベルと、を生成する
学習済みモデル更新装置。
（付記３）
付記２に記載の学習済みモデル更新装置であって、
前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Generative Adversarial Networksを利用する
学習済みモデル更新装置。
（付記４）
付記２に記載の学習済みモデル更新装置であって、
前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Variational Auto Encoderを利用する
学習済みモデル更新装置。
（付記５）
付記１から付記４までのいずれか１項に記載の学習済みモデル更新装置であって、
前記モデル更新部は、所定の条件を満たすまで、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
学習済みモデル更新装置。
（付記６）
付記５に記載の学習済みモデル更新装置であって、
前記モデル更新部は、前記更新モデルの更新ごとに前記敵対的サンプル生成部により新たに生成された前記敵対的サンプルと前記補正ラベルとを用いて、前記更新モデルの更新を行う
学習済みモデル更新装置。
（付記７）
付記５に記載の学習済みモデル更新装置であって、
前記モデル更新部は、同一の前記敵対的サンプルと前記補正ラベルとを用いて、所定の条件を満たすまで、前記更新モデルの更新を繰り返す
学習済みモデル更新装置。
（付記８）
付記５から付記７までのいずれか１項に記載の学習済みモデル更新装置であって、
前記モデル更新部は、予め定められた所定回数、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
学習済みモデル更新装置。
（付記９）
付記５から付記８までのいずれか１項に記載の学習済みモデル更新装置であって、
前記モデル更新部は、前記敵対的サンプルに対して前記補正ラベルを分類結果とする分類精度が所定の閾値を超えるまで、前記更新モデルの更新を繰り返すよう構成されている
学習済みモデル更新装置。
（付記１０）
付記１から付記９までのいずれか１項に記載の学習済みモデル更新装置であって、
前記敵対的サンプル生成部は、複数の前記攻撃モデルそれぞれに対応する前記敵対的サンプルと前記補正ラベルを生成する
学習済みモデル更新装置。
（付記１１）
付記９に記載の学習済みモデル更新装置であって、
前記前記モデル更新部は、第１の攻撃モデルに対応する前記敵対的サンプルと前記補正ラベルに基づく追加の学習を行って前記更新モデルを生成した後、第２の攻撃モデルに対応する前記敵対的サンプルと前記補正ラベルに基づく追加の学習を行って、生成した前記更新モデルを更新する
学習済みモデル更新装置。
（付記１２）
学習済みモデル更新装置が、
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成し、
攻撃モデルと、生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成し、
前記代替サンプルと前記正解ラベルと、前記敵対的サンプルと前記補正ラベルと、に基づく追加の学習を行って、更新モデルを生成する
学習済みモデル更新方法。
（付記１３）
学習済みモデル更新装置に、
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
を実現させるためのプログラム。
【００７７】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【００７８】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【符号の説明】
【００７９】
１００  更新装置
１０２  代替サンプル生成部
１０４  敵対的サンプル生成部
１０６  モデル更新部
１１０  更新装置
１２０  更新装置
２００  更新装置
２０８  生成モデル構築部
２１０  記憶装置
３００  情報処理装置
３０１  CPU
３０２  ROM
３０３  RAM
３０４  プログラム群
３０５  記憶装置
３０６  ドライブ装置
３０７  通信インタフェース
３０８  入出力インタフェース
３０９  バス
３１０  記録媒体
３１１  通信ネットワーク
【図１】
2019207770.tif 000004
【図２】
2019207770.tif 000005
【図３】
2019207770.tif 000006
【図４】
2019207770.tif 000007
【図５】
2019207770.tif 000008
【図６】
2019207770.tif 000009
【図７】
2019207770.tif 000010
【図８】
2019207770.tif 000011
【図９】
2019207770.tif 000012
【手続補正書】
【提出日】令和2年10月19日(2020.10.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
を有する
学習済みモデル更新装置。
【請求項２】
請求項１に記載の学習済みモデル更新装置であって、
前記学習済みモデルを学習する際に用いた前記訓練データに基づいて前記生成モデルを生成する生成モデル構築部と、
前記生成モデル構築部が構築した前記生成モデルを記憶する記憶部と、を有し、
前記代替サンプル生成部は、前記記憶部が記憶する前記生成モデルに基づいて、前記代替サンプルと、前記代替サンプルに対応する前記正解ラベルと、を生成する
学習済みモデル更新装置。
【請求項３】
請求項２に記載の学習済みモデル更新装置であって、
前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Generative Adversarial Networksを利用する
学習済みモデル更新装置。
【請求項４】
請求項２に記載の学習済みモデル更新装置であって、
前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Variational Auto Encoderを利用する
学習済みモデル更新装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の学習済みモデル更新装置であって、
前記モデル更新部は、所定の条件を満たすまで、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
学習済みモデル更新装置。
【請求項６】
請求項５に記載の学習済みモデル更新装置であって、
前記モデル更新部は、前記更新モデルの更新ごとに前記敵対的サンプル生成部により新たに生成された前記敵対的サンプルと前記補正ラベルとを用いて、前記更新モデルの更新を行う
学習済みモデル更新装置。
【請求項７】
請求項５に記載の学習済みモデル更新装置であって、
前記モデル更新部は、同一の前記敵対的サンプルと前記補正ラベルとを用いて、所定の条件を満たすまで、前記更新モデルの更新を繰り返す
学習済みモデル更新装置。
【請求項８】
請求項５から請求項７までのいずれか１項に記載の学習済みモデル更新装置であって、
前記モデル更新部は、予め定められた所定回数、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
学習済みモデル更新装置。
【請求項９】
学習済みモデル更新装置が、
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成し、
攻撃モデルと、生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成し、
前記代替サンプルと前記正解ラベルと、前記敵対的サンプルと前記補正ラベルと、に基づく追加の学習を行って、更新モデルを生成する
学習済みモデル更新方法。
【請求項１０】
学習済みモデル更新装置に、
学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
を実現させるためのプログラム。
【国際調査報告】
2019207770.tif 000013
2019207770.tif 000014
2019207770.tif 000015
2019207770.tif 000016