(57)【要約】  情報処理装置は、事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を有する。
2020121450.tif 000002
【特許請求の範囲】
【請求項１】
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を有する
情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記サンプル候補生成部は、前記ターゲットクラスに属するデータとの類似度を大きく、かつ、前記ターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解くことで、前記サンプル候補を生成する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記サンプル候補生成部は、前記最適化問題を目的関数の最小化問題へと変換して解を探索することで、前記サンプル候補を生成する
情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記サンプル候補を生成する元となるデータであるソースデータと前記サンプル候補との間の差異の大きさを示す差異度を算出する差異度算出部と、
前記最適化問題で最小化する関数である誤認証度を算出する誤認証度算出部と、
を有し、
前記サンプル候補生成部は、前記差異度算出部による算出結果と、前記誤認証度算出部による算出結果と、所定のパラメータと、を用いて表される前記目的関数を解くことで、前記サンプル候補を生成する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
複数の前記パラメータを有しており、
前記サンプル候補生成部は、それぞれのパラメータに対応する前記サンプル候補を生成する
情報処理装置。
【請求項６】
請求項４または請求項５に記載の情報処理装置であって、
前記サンプル候補生成部は、初期点を決定するとともに、初期点に変動を加えながら複数の前記サンプル候補を生成する
情報処理装置。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の情報処理装置であって、
前記サンプル候補生成部が生成した前記サンプル候補のうち前記ターゲットクラスへの誤認証が成功するサンプルの同定を行うサンプル同定部を有する
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記サンプル同定部は、同定した前記サンプルの中から、前記サンプルを生成する元となるデータであるソースデータとの間の差異である差異度が最小となる前記サンプルを選択する
情報処理装置。
【請求項９】
請求項８に記載の情報処理装置であって、
前記サンプル同定部は、選択した前記サンプルと、選択した前記サンプルと前記ソースデータとの間の前記差異度と、を出力する
情報処理装置。
【請求項１０】
情報処理装置が、
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成する
情報処理方法。
【請求項１１】
請求項１０に記載の情報処理方法であって、
前記ターゲットクラスに属するデータとの類似度を大きく、かつ、前記ターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解くことで、前記サンプル候補を生成する
情報処理方法。
【請求項１２】
請求項１１に記載の情報処理方法であって、
前記最適化問題を目的関数の最小化問題へと変換して解を探索することで、前記サンプル候補を生成する
情報処理方法。
【請求項１３】
情報処理装置に、
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、記録媒体に関する。
【背景技術】
【０００２】
深層学習によって学習されたモデルには、脆弱性が存在する。例えば、学習済みモデルを欺くように精巧に作られた人工的なサンプルである敵対的サンプル(Adversarial Example (以降、AX))を用いれば、訓練時に設計者が想定していない誤動作が誘引されるという問題が知られている。【０００３】
AXの生成方法を記載した文献としては、例えば、非特許文献１がある。非特許文献１には、ターゲットデータxtとの間の類似度に基づいて、ターゲットデータxtとAXとの間の類似度が最大となるようなAXを生成する方法が記載されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Sara Sabour, Yanshuai Cao, Fartash Faghri, David J. Fleet1, “ADVERSARIAL MANIPULATION OF DEEP REPRESENTATIONS”, International Conference on Learning Representations (ICLR) 2016
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１に記載の技術の場合、ターゲットデータxtとの間の類似度に基づいてAXを生成しており、ターゲットデータが属するクラス以外のクラスを考慮していない。そのため、非特許文献１に記載された方法では、生成されたAXより計算されるターゲットデータが属するクラス（ターゲットクラス）に対する類似度が、事前に登録されたデータであるテンプレート内の各クラスに対する類似度の中で最大値となっているとは限らなかった。その結果、非特許文献１に記載の方法で生成されたAXの場合、ターゲットクラス以外のクラスであると認証されるおそれがあった。【０００６】
このように、非特許文献１に記載の技術の場合、ターゲットデータが属するクラス以外のクラスに属するデータとの間の類似度を考慮していないため、適切なAXを生成することが出来ないおそれがある、という課題があった。そこで、本発明の目的は、適切なAXを生成することが出来ないおそれがある、という課題を解決する情報処理装置、情報処理方法、記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
かかる目的を達成するため本発明の一形態である情報処理装置は、
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を有する
という構成をとる。【０００８】
また、本発明の他の形態である情報処理方法は、
情報処理装置が、
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成する
という構成をとる。【０００９】
また、本発明の他の形態である記録媒体は、
情報処理装置に、
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
【発明の効果】
【００１０】
本発明は、以上のように構成されることにより、適切なAXを生成することが出来ないおそれがある、という課題を解決可能な情報処理装置、情報処理方法、記録媒体を提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】深層学習モデルにより計算された特徴量空間の一例である。
【図２】本発明の第１の実施形態におけるAX生成装置の構成の一例を示すブロック図である。
【図３】本発明の第１の実施形態において説明するAX生成装置の動作の一例を示すブローチャートである。
【図４】本発明の第２の実施形態におけるリスク評価装置の構成の一例を示すブロック図である。
【図５】本発明の第２の実施形態において説明するリスク評価装置の動作の一例を示すフローチャートである。
【図６】本発明の第１の実施形態、第２の実施形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【図７】本発明の第３の実施形態における情報処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を、図面を参照して説明する。
なお、各図面は、本発明の実施形態を説明するものである。ただし、本発明は各図面の記載に限られるわけではない。また、各図面の同様の構成には同じ番号を付し、その繰り返しの説明を省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成の記載を省略し、図示しない場合もある。
【００１３】
［第１の実施形態］
本発明の第１の実施形態を図２、図３を参照して説明する。図２は、AX生成装置１００の構成の一例を示すブロック図である。図３は、AX生成装置１００の動作の一例を示すブローチャートである。
【００１４】
本発明の第１の実施形態においては、学習済みモデルを欺くように作られたサンプルである敵対的サンプル（Adversarial Example：AX）を生成するAX生成装置１００について説明する。後述するように、本実施形態において説明するAX生成装置１００は、テンプレート内のターゲットクラスに属するデータとの類似度と、ターゲットクラスに属さないデータとの類似度と、に基づいて、複数のAX候補を生成する。換言すると、AX生成装置１００は、ターゲットクラスに属するデータのみならずターゲットクラスに属さないデータも考慮して、AX候補を生成する。このような構成により、AX生成装置１００は、ターゲットクラスに属さないデータも考慮した適切なAXを生成することが可能となる。
【００１５】
例えば、非特許文献１では、下記数１のような最適化問題を解くことにより、ソースデータxsとAX xadvの差異がδより小さな値で、深層学習モデルfにより計算されるターゲットデータxtとAX xadvの特徴量間の類似度が最大であるAX xadvを生成している。
【数１】
2020121450.tif 000003
ここで、xsはソースデータ、xtはターゲットデータ、fは特徴量を出力する深層学習モデルである。また、δはソースデータxsとAX xadvの差異をどの程度許容するのかを決定するパラメータであり、δ＞0を満たす。また、sim()はターゲットデータxtとAX xadvの類似度を計算する関数、diff()はソースデータxsとAX xadvの差異の大きさを計算する関数である。
【００１６】
このような非特許文献１に記載の技術では、図１で示すような状況が生じるおそれがあった。図１は、非特許文献１に記載された技術により適切なAXを生成することが出来ない場合の一例を示している。図１の例では、類似度の指標としてL2距離に-1をかけたものを用いる。つまり、数２であり、２つの点のL2距離が近いほど、類似度が高くなる。
【数２】
2020121450.tif 000004
【００１７】
なお、図１では、深層学習モデルfにより計算された特徴量空間を表している。バツ印はAX生成元となるソースデータ、丸印はテンプレートデータの特徴量の位置をそれぞれ表している。また、図１のうち直線は認証の決定境界を表している。
【００１８】
また、図１の例では、ターゲットデータをテンプレートデータCとして指定しAXを生成することを考えている。換言すると、テンプレートデータAのクラスとして認証されるソースデータを元にして、テンプレートデータCに誤認証が成功するAXを生成することを考えている。このとき、図１の曲線は、非特許文献１の最適化問題におけるAXの探索範囲を表している。この曲線で表される探索範囲は、制約式diff(xs,xadv)＜δにより制限されている。つまり、非特許文献１の最適化問題は、図１の曲線内でテンプレートデータCと最も距離の近くなる点を見つける問題と等価である。
【００１９】
非特許文献１の最適化問題を解くことにより得られる解（最も距離の近くなる点）は、図１で示す三角印となる。しかしながら、三角印はd2＜d1の関係が成り立つためテンプレートデータBのクラスへと認証される。そのため、非特許文献１の最適化問題を解くことにより得られる解である三角印は、目的のターゲットクラスCへ誤認証を誘引するAXではない。一方、図１で示す四角印は、テンプレートデータCに対して誤認証が成功するAXであるが、d1＜d3であるため、非特許文献１に記載されている技術では見つけることが出来ない。このように、非特許文献１に記載されている技術の場合、テンプレートデータCに対して誤認証が成功するAXが存在するにも関わらず、d1<d3の関係が成り立つために、正しくAXを見つけることが出来ない。
【００２０】
例えば、以上のように、非特許文献１に記載の技術の場合、ターゲットクラスへ誤認証を成功できるAXが存在するにも関わらず、誤認証を成功できるAXを生成することが出来ないおそれがあった。本実施形態において説明するAX生成装置１００は、上述したように、ターゲットクラスに属さないデータも考慮してAXを生成する。そのため、非特許文献１が有する課題を解決したAXの生成方法を実現することが出来る。つまり、本実施形態で説明するAX生成装置１００によると、ターゲットクラスに属さないデータも考慮するため、例えば、図１の三角印ではなく四角印のAXを生成することが可能となる。以下、AX生成装置１００の具体的な構成の一例について説明する。
【００２１】
AX生成装置１００は、深層学習モデルf、テンプレートX、閾値τ、ソースデータxs、ターゲットクラスtなどを入力として受け付けて、所定の処理を行うことによりソースデータxsからAXを生成する情報処理装置である。例えば、AX生成装置１００は、外部の装置やネットワークから、深層学習モデルf、テンプレートX、閾値τ、ソースデータxs、ターゲットクラスtなどを入力として受け付ける。すると、AX生成装置１００は、受け付けた入力に応じた処理を行ってAXを生成する。
【００２２】
ここで、深層学習モデルfは、深層学習を用いて予め学習され、入力された画像に対して特徴量を出力するモデルである。また、特徴量とは、例えば、実数値を要素として持つd次元のベクトルである。なお、dは任意の値で構わない。テンプレートXは、深層学習モデルf運用の際に、認証のため登録されたn個のデータを要素として持つ集合X={x1,…,xn}である。ここでn個のデータx1,…,xnは、例えばそれぞれ異なるクラスを持ったものであり、xiはクラスiに属したデータを表す。例えば認証のタスクが顔認証の場合、テンプレートXはn人の顔画像それぞれ一枚ずつで構成される。なお、nは任意の値で構わない。例えば、以上のように、テンプレートXには、事前に登録された１つ以上のデータが含まれている。しきい値τは、認証の際に特徴量類似度との比較が行われる値である。しきい値τは、後述するように、生成したAX候補の中からターゲットクラスｔへの誤認証が成功しているAXの同定を行う際に用いる。つまり、しきい値τは、生成したAX候補の中からターゲットクラスｔへの誤認証が成功するAXを選別する際に用いる。ソースデータxsはAXを作成する元となるデータである。ソースデータxsは、テンプレートXに含まれるデータが属するクラスのうちのいずれかのクラスに属している。ターゲットクラスtはAXを生成するにあたっての誤認証先クラスである。ターゲットクラスtにはソースデータxsが所属するクラスと異なるクラスを選択する（つまり、ソースデータxsはターゲットクラスt以外のクラスに属しているといえる）。また、ターゲットクラスtはテンプレートX内のデータx1,…,xnのうちのいずれかが所属するクラスと同じものを指定する。以上のように、ターゲットクラスｔは、テンプレートに含まれるデータが属するクラスのうち、誤認証を起こさせる対象となるクラスである。
【００２３】
なお、AX生成装置１００は、上記例示した情報のいくつかを予め記憶しておいても構わない。つまり、AX生成装置１００は、深層学習モデルf、テンプレートX、閾値τ、ソースデータxs、ターゲットクラスt、のうちの少なくとも一部を入力として受け付けるよう構成することが出来る。
【００２４】
図２は、AX生成装置１００の構成の一例を示している。図２を参照すると、AX生成装置１００は、例えば、AX候補生成部１０２（サンプル候補生成部）と、目的関数値算出部１０４と、差異度算出部１０６と、誤認証度算出部１０８と、AX同定部１１０（サンプル同定部）と、を備えている。
【００２５】
例えば、AX生成装置１００は、CPU(Central Processing Unit)などの演算装置と、記憶装置とを有している。例えば、AX生成装置１００は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
【００２６】
AX候補生成部１０２は、入力された、深層学習モデルfと、テンプレートXと、ソースデータxsと、ターゲットクラスtと、を用いてターゲットクラスtとして誤認証が誘引されるAX候補（サンプル候補）を下記の数３が示す最適化問題を解く過程で生成していく。
【数３】
2020121450.tif 000005
ここで、xsはソースデータ、tはターゲットクラス、fは特徴量を出力する深層学習モデルである。また、δはソースデータxsとAXxadvの差異をどの程度許容するのかを決定するパラメータである。また、simは、認証時に抽出された２つの特徴量に対して類似度を計算するために用いる関数であり、Diffは差異の大きさを計算する関数である。
【００２７】
数３で示す最適化問題の解は、テンプレート内のターゲットクラスに属したデータとの類似度を大きく、かつターゲットクラスに属さないデータとの類似度が小さな点となる。そのため、換言すると、AX候補生成部１０２は、テンプレート内のターゲットクラスに属したデータとの類似度を大きく、かつターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解く過程でAX候補を生成していく、ということも出来る。また、数３の場合、ターゲットクラスtに誤認証が誘引されるAXが存在する場合は、必ずAXが数３で示す最適化問題の解となることが保証される。
【００２８】
数３で示すような制約付き最適化問題は、例えば、ラグランジュ未定乗数法を用いて、目的関数の最小化問題へと変換して解を探索する。例えば、AX候補生成部１０２では、数３で示す最適化問題を解くために目的関数値算出部１０４より計算される数４で示す目的関数を用いて解を探索する。
【数４】
2020121450.tif 000006
ここで、差異度Diff(xs,xadv )は、ソースデータxsとAX候補xadvの差異の大きさを表す値であり、小さな値であるほどAX候補xadvはソース画像との差異が小さいことを意味する。また、誤認証度Error(f,X,t,xadv )は、数３で示す最適化問題で最小化する関数の値である。
AX候補生成部１０２では差異度Diff(xs,xadv )と誤認証度Error(f,X,t,xadv )両方を小さくする、つまり目的関数値J(f,X,x_s,xadv,t)を小さくするように最適化手法を用いてAX候補を生成していく。なお、数４のうちcは数３で示す最適化問題におけるδに対応したパラメータである。数３で示す最適化問題は、δによってAXの探索範囲が決定される。ターゲットクラスへと誤認証を誘引させた上で、ソースデータと差異がより小さなAXを生成するためには、δの値を変動させ複数回、数３で示す最適化問題を解く必要がある。換言すると、AX候補生成部１０２は、cの値が異なる複数の目的関数を用いて解を探索する必要がある。
【００２９】
AX候補生成部１０２は、複数のcに対する目的関数を用いて解を探索する。具体的には、例えば、AX候補生成部１０２は、それぞれのcに対して、数５で示す初期点を決定する（本実施形態においては、初期点の決定方法については特に限定しない）。そして、AX候補生成部１０２は、目的関数の値が小さくなるように初期点に逐次的に変動を加えていきAX候補を生成していく。なお、パラメータcは、AX生成装置１００固有のものであっても構わないし、外部から入力として受け付けても良い。また、パラメータcは、バイナリーサーチなどの手法を用いて効率的に決定していくものであっても構わない。
【数５】
2020121450.tif 000007
【００３０】
以上説明したように、AX候補生成部１０２では、勾配ベースの最適化手法を用いることで、AX候補を探索していく。勾配ベースの最適化手法は、入力の初期点を決定し、目的関数の勾配情報を元にして目的関数の値を小さくするよう入力を徐々に変化させていき、目的関数の値を十分小さくする入力を探索していく手法である。AX候補生成部１０２では、複数のパラメータcによって決定される目的関数に対してそれぞれの初期点（数５）から最大m回変化させることで、逐次的に数６を算出していき、それぞれをAX候補としていく。ここでmはAX生成装置１００特有の変数としてもよいし、外部から入力として受け付けてもよい。なお、勾配ベースの最適化手法の例としてはAdagrad、Adamなどの手法が挙げられる。AX候補生成部１０２では、最適化手法は勾配ベースの手法であれば、いずれのものを用いても構わない。
【数６】
2020121450.tif 000008
【００３１】
なお、|c|をAX候補生成部１０２で用いられるパラメータcの個数であるとすると、AX候補生成部１０２は、最終的に|c|×m個のAX候補を生成する。後述するように、本実施形態の場合、AX同定部１１０により、最終的にAX候補生成部１０２が生成したAX候補の中から出力となるAX集合が決定される。
【００３２】
目的関数値算出部１０４では、数３で示す最適化問題を解くために、差異度算出部１０６により得られる数７でしめす差異度と、誤認証度算出部１０８より算出される数８で示す誤認証度を用いて、数９で示すようなAX候補における、数１０で示す目的関数値の計算を行う。
【数７】
2020121450.tif 000009
【数８】
2020121450.tif 000010
【数９】
2020121450.tif 000011
【数１０】
2020121450.tif 000012
【００３３】
差異度算出部１０６はソースデータxsと数９で示すAX候補の差異度（数７参照）の算出を行う。上述の通り、差異度とはソースデータxsと数９で示すAX候補の差異の大きさを表す値である。例えば、差異度は、値が小さいほど差異が小さいことを表している。差異度算出部１０６で用いる差異度の例としては、L2距離がある。差異としてL2距離を用いた場合、差異度算出部１０６は、例えば、以下の数１１で示す式を解くことで、数７で示す差異度を計算する。
【数１１】
2020121450.tif 000013
【００３４】
なお、差異度算出部１０６は、上記方法以外を用いて差異度を算出するよう構成しても構わない。例えば、差異度算出部１０６は、cos類似度に−１をかけたものなどを算出するよう構成しても構わない。
【００３５】
誤認証度算出部１０８は、数９で示すAX候補における数８で示す誤認証度の算出を行う。上述の通り数８で示す誤認証度とは、数３で示す最適化問題で最小化する関数である。例えば、誤認証度算出部１０８は、以下の数１２示す式を解くことで、数８で示す誤認証度を計算する。
【数１２】
2020121450.tif 000014
ここで,Simは、認証時に抽出された２つの特徴量に対して類似度を算出するために用いる関数を表す。Simには、cos類似度や、L2距離に-1をかけたものなどを用いることができる。
【００３６】
AX同定部１１０は、AX候補生成部１０２で作成されたAX候補の中から、ターゲットクラスtへの誤認証が成功しているAXの同定を行う。上述したように、AX候補生成部１０２は、パラメータcに応じた数のAX候補を生成している。AX候補生成部１０２は、生成したAX候補の中からターゲットクラスtへの誤認証が成功しているAXの選別を行う。つまり、AX同定部１１０は、生成したAX候補の中からターゲットクラスtに属すると認証されるAXを選別する。
【００３７】
例えば、AX同定部１１０は、しきい値τを用いて下記数１３で示す式の値がSim(f(xadv),f(xt))であるかどうか確認することで、AX候補xadvがターゲットtへの誤認証に成功しているか否か確認する。例えば、AX同定部１１０は、数１３で示す式の値がSim(f(xadv),f(xt))である場合に、AX候補xadvがターゲットtへの誤認証に成功していると判断する。そして、AX同定部１１０は、ターゲットtへの誤認証に成功していると判断したAX候補xadvを、誤認証が成功しているAXとして選別する。
【数１３】
2020121450.tif 000015
【００３８】
例えば、AX同定部１１０は、上記のような処理を行うことで、1つ以上のAXを含むAX集合を、AX候補の中から選別する。その後、AX同定部１１０は、選別したAX集合を外部に送信することが出来る。
【００３９】
以上が、AX生成装置１００の構成の一例である。このように、AX生成装置１００は、深層学習モデルf、テンプレートX、閾値τ、ソースデータxs、ターゲットクラスtなどを入力として受け付ける。そして、AX生成装置１００は、上記入力に応じて算出した、テンプレート内のターゲットクラスに属するデータとの類似度と、ターゲットクラスに属さないデータとの類似度と、に基づいて、複数のAX候補を生成する。続いて、図３を参照して、AX生成装置１００の動作の一例について説明する。
【００４０】
図３は、AX生成装置１００の動作の一例を示すブローチャートである。図３を参照すると、AX候補生成部１０２は、深層学習モデルfと、テンプレートXと、しきい値τと、ソースデータxsと、ターゲットクラスtと、を入力として受け付ける（ステップS101）。
【００４１】
AX候補生成部１０２は、目的関数を決定するためにパラメータcの値を決定する。そして、AX候補生成部１０２は、決定したパラメータcを目的関数値算出部１０４に入力し、AX候補の探索を行う。すなわち、AX候補生成部１０２は、探索のループに入る（ステップS102）。なお、パラメータcは予め定められたものであっても構わない。
【００４２】
AX候補生成部１０２はパラメータcに関して、数１４で示す初期点を決定する。そして、AX候補生成部１０２は、決定した初期点を目的関数値算出部１０４に入力して、最適化手法によりAXの探索を行う。すなわち、AX候補生成部１０２は、パラメータcにおける最適化のループに入る（ステップS103）。
【数１４】
2020121450.tif 000016
【００４３】
目的関数値算出部１０４は、iステップ目での入力（数１５参照）を用いて、差異度算出部１０６に差異度、誤認証度算出部１０８に誤認証度を算出する指示をする。指示を受けた差異度算出部１０６と誤認証度算出部１０８は、数１５で示す入力を用いて差異度と誤認証度を算出（ステップS104）する。そして、差異度算出部１０６と誤認証度算出部１０８は、算出した値を目的関数値算出部１０４にそれぞれ入力する。
【数１５】
2020121450.tif 000017
【００４４】
目的関数値算出部１０４は、差異度算出部１０６から差異度を受け取るとともに、誤認証度算出部１０８から誤認証度を受け取る。そして、目的関数値算出部１０４は、差異度と誤認証度とパラメータcを用いて目的関数値を算出する（ステップS105）。その後、目的関数値算出部１０４は、算出した値をAX候補生成部１０２に入力する。
【００４５】
AX候補生成部１０２は、受け取った目的関数の値を元に数１５の変化を決定して、数１６で示すAX候補を算出する。その後、AX候補生成部１０２は、数１６で示すAX候補をAX同定部１１０に入力する（ステップS106）。
【数１６】
2020121450.tif 000018
【００４６】
AX生成装置１００は、ステップS104からステップS106までのループ処理を予め定められたm回繰り返す。そして、AX生成装置１００は、初期点から総計m回の変動が加えられたら、パラメータcに対する最適化ループを抜ける（ステップS107）。
【００４７】
AX生成装置１００は、例えば、上述したようなパラメータcに対する最適化ループを、パラメータcの数分繰り返す。そして、与えられた全てのパラメータcに関する最適化ループが終了すると、AX生成装置１００は、AX候補の探索ループを終了する（ステップS108）。
【００４８】
AX同定部１１０は、AX候補生成部１０２で生成されたAX候補から、誤認証成功しているAXの同定を行う（ステップS109）。つまり、AX同定部１１０は、1つ以上のAXを含むAX集合を、AX候補の中から選別する。その後、AX同定部１１０は、選別したAX集合を表示装置に出力したり外部装置や外部ネットワークに出力したりすることが出来る。（ステップS110）。
【００４９】
以上が、AX生成装置１００の動作の一例である。
【００５０】
このように、AX生成装置１００は、AX候補生成部１０２を有している。このような構成により、AX候補生成部１０２は、テンプレートX内のターゲットクラスtの属したデータとの類似度と、ターゲットクラスtに属さないデータとの類似度と、に基づいて、複数のAX候補を生成することが出来る。その結果、AX候補生成部１０２は、ターゲットクラスtの属するデータのみならずターゲットクラスtに属さないデータも考慮して、AX候補を生成することが可能になる。つまり、誤認証を成功できるより適切なAX候補を生成することが可能となる。
【００５１】
なお、このようにして生成したAXは、例えば、敵対的訓練を行う際や攻撃への耐性を獲得するための追加の学習を行う際などに利用可能である。また、AXは、後述する第２の実施形態で説明するリスク評価を行う際に利用可能である。生成したAXは、上記例示した以外に利用しても構わない。
【００５２】
また、本実施形態で説明したAX生成装置１００は、例えば、深層学習によって学習されたモデルを用いて顔や指紋などの情報を元に個人の認証を行う生体認証を行う際などに活用可能である。なお、AX生成装置１００は、上記例示した以外の場面で活用しても構わない。
【００５３】
［第２の実施形態］
次に、本発明の第２の実施形態を図４、図５を参照して説明する。図４は、リスク評価装置２００の構成の一例を示すブロック図である。図５は、リスク評価装置２００の動作の一例を示すフローチャートである。
【００５４】
本発明の第２の実施形態では、学習済みモデルの評価を行うリスク評価装置２００について説明する。本実施形態においては、学習済みモデルのAXに対するリスクを評価する尺度として、AXの生成元となった入力（ソースデータ）とAXとの差異の大きさである差異度を用いる。これは、差異の小さなAXは、差異の大きなAXと比較して運用時に入力されることがより気づかれにくいため、より差異の小さなAXが存在するほど、その学習済みモデルを運用することのリスクが高くなるからである。
【００５５】
後述するように、本実施形態において説明するリスク評価装置２００は、第１の実施形態において説明したＡＸ生成装置１００が有する機能と概ね同等の機能を有している。また、リスク評価装置２００は、選別したAX集合のうち、差異度に基づいてAXを選択する。そして、リスク評価装置２００は、選択したAXとリスクを評価する尺度となる差異度とを出力する。
【００５６】
上述したように、リスク評価装置２００は、学習済みモデルのリスク評価を行う情報処理装置である。図４は、リスク評価装置２００の構成の一例を示している。図４を参照すると、リスク評価装置２００は、例えば、AX候補生成部１０２と、目的関数値算出部１０４と、差異度算出部１０６と、誤認証度算出部１０８と、差異最小AX同定部２１０（サンプル同定部）と、を備えている。このように、リスク評価装置２００は、第１の実施形態で説明したAX生成装置１００と同様に、AX候補生成部１０２と、目的関数値算出部１０４と、差異度算出部１０６と、誤認証度算出部１０８と、を有している。AX候補生成部１０２と、目的関数値算出部１０４と、差異度算出部１０６と、誤認証度算出部１０８と、の構成は、AX生成装置１００と同様のため、説明は省略する。
【００５７】
なお、例えば、リスク評価装置２００は、CPUなどの演算装置と、記憶装置とを有している。例えば、リスク評価装置２００は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
【００５８】
差異最小AX同定部２１０は、第１の実施形態で説明したAX生成装置１００が有するAX同定部１１０と同様に、AX候補生成部１０２で作成されたAX候補の中から、ターゲットクラスtへの誤認証が成功しているAXの同定を行う。つまり、差異最小AX同定部２１０は、1つ以上のAXを含むAX集合を、AX候補の中から選別する。
【００５９】
また、差異最小AX同定部２１０は、同定したAX集合内の各AXの差異度Diff(xs,xadv )を比較する。そして、差異最小AX同定部２１０は、同定したAX集合の中から差異度Diff(xs,xadv )が最小となるAXを選択する。そして、差異最小AX同定部２１０は、選別したAXと、最小となる差異度と、を表示装置に出力したり外部装置や外部ネットワークに出力したりすることが出来る。
【００６０】
以上のように、差異最小AX同定部２１０は、AX同定部１１０が行うAX集合の同定処理に加えて、差異度が最小となるAXの選択を行うよう構成されている。また、差異最小AX同定部２１０は、選択したAXと、当該AXの差異度とを出力するよう構成されている。なお、差異最小AX同定部２１０は、例えば、上記情報とともに、選択前のAX集合を出力するよう構成しても構わない。
【００６１】
続いて、図５を参照して、リスク評価装置２００の動作の一例について説明する。
【００６２】
図５は、リスク評価装置２００の動作の一例を示すブローチャートである。図５で示すように、リスク評価装置２００の動作のうち、ステップS109までは、第１の実施形態で説明したAX生成装置１００と同様である。そのため、説明は省略する。
【００６３】
AX候補生成部１０２で生成されたAX候補から誤認証成功しているAXの同定（ステップS109）を行った後、差異最小AX同定部２１０は、同定したAX集合の中から差異度Diff(xs,xadv )が最小となるAXを選択する（ステップS201）。そして、差異最小AX同定部２１０は、選別したAXと、最小となる差異度と、を外部に出力することが出来る（ステップS110）。
【００６４】
このように、本実施形態において説明したリスク評価装置２００は、AX候補生成部１０２と、差異最小AX同定部２１０と、を有している。このような構成により、AX候補生成部１０２は、誤認証を成功できるより適切なAX候補を生成することができる。また、差異最小AX同定部２１０は、AX候補生成部１０２が生成したAX候補を選定したAX集合の中から差異度Diff(xs,xadv )が最小となるAXを選別することで、リスク評価により適切なAXを選択することが可能となる。これにより、より適切なリスク評価を行うことが可能となる。換言すると、本実施形態において説明したリスク評価装置２００は、適切なAXを生成する機能を有している。そのため、より適切にモデルのリスク評価を行うことが可能となる。これにより、例えば、学習済みモデルに対しても、ソフトウェアにおけるファジングのような、脆弱性を発見しリスク評価を行うための仕組みをより適切に実現することが可能となる。
【００６５】
なお、本実施形態においては、リスク評価装置２００は、学習済みモデルのリスクを評価する尺度として、AXの生成元となった入力（ソースデータ）とAXとの差異の大きさである差異度を用いるとした。しかしながら、リスク評価装置２００は、例えば、差異度と、予め定められた複数の閾値との比較結果を、リスクを示す情報として算出し、算出した結果を出力するよう構成しても構わない。このように、リスク評価装置２００は、差異度に基づく値を出力するよう構成しても構わない。
【００６６】
＜ハードウェア構成について＞
上述した第１、第２の実施形態において説明した、AX生成装置１００やリスク評価装置２００が有する各構成要素は、機能単位のブロックを示している。AX生成装置１００やリスク評価装置２００が有する各構成要素の一部又は全部は、例えば図６に示すような情報処理装置３００とプログラムとの任意の組み合わせにより実現することが出来る。図６は、AX生成装置１００やリスク評価装置２００の各構成要素を実現する情報処理装置３００のハードウェア構成の一例を示すブロック図である。情報処理装置３００は、一例として、以下のような構成を含むことが出来る。
・CPU３０１
・ROM ( Read Only Memory )３０２
・RAM ( Random Access Memory )３０３
・RAM３０３にロードされるプログラム群３０４
・プログラム群３０４を格納する記憶装置３０５
・情報処理装置３００外部の記録媒体３１０の読み書きを行うドライブ装置３０６
・情報処理装置３００外部の通信ネットワーク３１１と接続する通信インタフェース３０７
・データの入出力を行う入出力インタフェース３０８
・各構成要素を接続するバス３０９
【００６７】
上述した各実施形態におけるAX生成装置１００、リスク評価装置２００が有する各構成要素は、これらの機能を実現するプログラム群３０４をCPU３０１が取得して実行することで実現することが出来る。AX生成装置１００、リスク評価装置２００が有する各構成要素の機能を実現するプログラム群３０４は、例えば、予め記憶装置３０５やROM３０２に格納されており、必要に応じてCPU３０１がRAM３０３にロードして実行する。なお、プログラム群３０４は、通信ネットワーク３１１を介してCPU３０１に供給されてもよいし、予め記録媒体３１０に格納されており、ドライブ装置３０６がプログラム群３０４を読み出してCPU３０１に供給してもよい。
【００６８】
なお、図６は、情報処理装置３００の構成の一例を示しており、情報処理装置３００の構成は上述した場合に例示されない。例えば、情報処理装置３００は、ドライブ装置３０６を有さないなど、上述した構成の一部から構成されても構わない。また、AX生成装置１００、リスク評価装置２００が有する各構成要素は、１台の情報処理装置から構成されても構わないし、複数台の情報処理装置から構成されても構わない。
【００６９】
［第３の実施形態］
次に、図７を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、情報処理装置４０の構成の概要について説明する。
【００７０】
図７は、情報処理装置４０の構成の一例を示している。図７を参照すると、情報処理装置４０は、例えば、サンプル候補生成部４１を有している。
【００７１】
例えば、情報処理装置４０は、CPUなどの演算装置と、記憶装置とを有している。例えば、情報処理装置４０は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
【００７２】
サンプル候補生成部４１は、事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、テンプレートのうちターゲットクラスに属さないデータとの間の類似度と、に基づいて、ターゲットクラスとしての誤認証を誘引するサンプル候補を生成する。
【００７３】
このように、情報処理装置４０は、サンプル候補生成部４１を有している。このような構成により、サンプル候補生成部４１は、このような構成により、サンプル候補生成部４１は、ターゲットクラスに属するデータとの間の類似度と、テンプレートのうちターゲットクラスに属さないデータとの間の類似度と、に基づいて、複数のサンプル候補を生成することが出来る。その結果、サンプル候補生成部４１は、ターゲットクラスの属するデータのみならずターゲットクラスに属さないデータも考慮して、サンプル候補を生成することが可能になる。つまり、誤認証を成功できるより適切なサンプル候補を生成することが可能となる。
【００７４】
また、上述した情報処理装置４０は、当該情報処理装置４０に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムを記録した記録媒体は、情報処理装置に、事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、テンプレートのうちターゲットクラスに属さないデータとの間の類似度と、に基づいて、ターゲットクラスとしての誤認証を誘引するサンプル候補を生成するサンプル候補生成部４１を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
【００７５】
また、上述した情報処理装置４０により実行される情報処理方法は、情報処理装置が、事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、テンプレートのうちターゲットクラスに属さないデータとの間の類似度と、に基づいて、ターゲットクラスとしての誤認証を誘引するサンプル候補を生成する、という方法である。
【００７６】
上述した構成を有する、記録媒体、又は、情報処理方法、の発明であっても、上記通情報処理装置４０と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
【００７７】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【００７８】
（付記１）
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を有する
情報処理装置。
（付記２）
付記１に記載の情報処理装置であって、
前記サンプル候補生成部は、前記ターゲットクラスに属するデータとの類似度を大きく、かつ、前記ターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解くことで、前記サンプル候補を生成する
情報処理装置。
（付記３）
付記２に記載の情報処理装置であって、
前記サンプル候補生成部は、前記最適化問題を目的関数の最小化問題へと変換して解を探索することで、前記サンプル候補を生成する
情報処理装置。
（付記４）
付記３に記載の情報処理装置であって、
前記サンプル候補を生成する元となるデータであるソースデータと前記サンプル候補との間の差異の大きさを示す差異度を算出する差異度算出部と、
前記最適化問題で最小化する関数である誤認証度を算出する誤認証度算出部と、
を有し、
前記サンプル候補生成部は、前記差異度算出部による算出結果と、前記誤認証度算出部による算出結果と、所定のパラメータと、を用いて表される前記目的関数を解くことで、前記サンプル候補を生成する
情報処理装置。
（付記５）
付記４に記載の情報処理装置であって、
複数の前記パラメータを有しており、
前記サンプル候補生成部は、それぞれのパラメータに対応する前記サンプル候補を生成する
情報処理装置。
（付記６）
付記４または付記５に記載の情報処理装置であって、
前記サンプル候補生成部は、初期点を決定するとともに、初期点に変動を加えながら複数の前記サンプル候補を生成する
情報処理装置。
（付記７）
付記１から付記６までのいずれか１項に記載の情報処理装置であって、
前記サンプル候補生成部が生成した前記サンプル候補のうち前記ターゲットクラスへの誤認証が成功するサンプルの同定を行うサンプル同定部を有する
情報処理装置。
（付記８）
付記７に記載の情報処理装置であって、
前記サンプル同定部は、同定した前記サンプルの中から、前記サンプルを生成する元となるデータであるソースデータとの間の差異である差異度が最小となる前記サンプルを選択する
情報処理装置。
（付記９）
付記８に記載の情報処理装置であって、
前記サンプル同定部は、選択した前記サンプルと、選択した前記サンプルと前記ソースデータとの間の前記差異度と、を出力する
情報処理装置。
（付記１０）
情報処理装置が、
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成する
情報処理方法。
（付記１１）
付記１０に記載の情報処理方法であって、
前記ターゲットクラスに属するデータとの類似度を大きく、かつ、前記ターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解くことで、前記サンプル候補を生成する
情報処理方法。
（付記１２）
付記１１に記載の情報処理方法であって、
前記最適化問題を目的関数の最小化問題へと変換して解を探索することで、前記サンプル候補を生成する
情報処理方法。
（付記１３）
情報処理装置に、
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
【００７９】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【００８０】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【符号の説明】
【００８１】
１００  AX生成装置
１０２  AX候補生成部
１０４  目的関数値算出部
１０６  差異度算出部
１０８  誤認証度算出部
１１０  AX同定部
２００  リスク評価装置
２１０  差異最小AX同定部
３００  情報処理装置
３０１  CPU
３０２  ROM
３０３  RAM
３０４  プログラム群
３０５  記憶装置
３０６  ドライブ装置
３０７  通信インタフェース
３０８  入出力インタフェース
３０９  バス
３１０  記録媒体
３１１  通信ネットワーク
４０  情報処理装置
４１  サンプル候補生成部
【図１】
2020121450.tif 000019
【図２】
2020121450.tif 000020
【図３】
2020121450.tif 000021
【図４】
2020121450.tif 000022
【図５】
2020121450.tif 000023
【図６】
2020121450.tif 000024
【図７】
2020121450.tif 000025
【手続補正書】
【提出日】令和3年5月18日(2021.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を有する
情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記サンプル候補生成部は、前記ターゲットクラスに属するデータとの類似度を大きく、かつ、前記ターゲットクラスに属さないデータとの類似度が小さくなる値を求める最適化問題を解くことで、前記サンプル候補を生成する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記サンプル候補生成部は、前記最適化問題を目的関数の最小化問題へと変換して解を探索することで、前記サンプル候補を生成する
情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記サンプル候補を生成する元となるデータであるソースデータと前記サンプル候補との間の差異の大きさを示す差異度を算出する差異度算出部と、
前記最適化問題で最小化する関数である誤認証度を算出する誤認証度算出部と、
を有し、
前記サンプル候補生成部は、前記差異度算出部による算出結果と、前記誤認証度算出部による算出結果と、所定のパラメータと、を用いて表される前記目的関数を解くことで、前記サンプル候補を生成する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
複数の前記パラメータを有しており、
前記サンプル候補生成部は、それぞれのパラメータに対応する前記サンプル候補を生成する
情報処理装置。
【請求項６】
請求項４または請求項５に記載の情報処理装置であって、
前記サンプル候補生成部は、初期点を決定するとともに、初期点に変動を加えながら複数の前記サンプル候補を生成する
情報処理装置。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の情報処理装置であって、
前記サンプル候補生成部が生成した前記サンプル候補のうち前記ターゲットクラスへの誤認証が成功するサンプルの同定を行うサンプル同定部を有する
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記サンプル同定部は、同定した前記サンプルの中から、前記サンプルを生成する元となるデータであるソースデータとの間の差異である差異度が最小となる前記サンプルを選択する
情報処理装置。
【請求項９】
情報処理装置が、
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成する
情報処理方法。
【請求項１０】
情報処理装置に、
事前に登録されたデータであるテンプレートのうち誤認証を起こさせるクラスであるターゲットクラスに属するデータとの間の類似度と、前記テンプレートのうち前記ターゲットクラスに属さないデータとの間の類似度と、に基づいて、前記ターゲットクラス以外のクラスに属するソースデータから前記ターゲットクラスに属すると認証されるサンプル候補を生成するサンプル候補生成部を実現するためのプログラム。
【国際調査報告】
2020121450.tif 000026
2020121450.tif 000027
2020121450.tif 000028