機械学習品質評価・向上技術に関する報告書
機械学習品質マネジメントガイドライン付属⽂書
第1版
2021 年 7 ⽉ 5 ⽇

国⽴研究開発法⼈産業技術総合研究所
デジタルアーキテクチャ研究センター
テクニカルレポート DigiARC-TR-2021-02
サイバーフィジカルセキュリティ研究センター
テクニカルレポート CPSEC-TR-2021002
⼈⼯知能研究センター
テクニカルレポート

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

まえがき
国⽴研究開発法⼈新エネルギー・産業技術総合開発機構（NEDO）受託業務（JPNP 20006）「機械学習システムの品質評価指標・測定テストベッドの研究開発」では、機械学習品質を説明可能にするために機械学習品質マネジメントガイドライン[1]を開発しており、このガ
イドライン開発と並⾏して、機械学習品質の評価・向上技術の調査・研究開発も⾏っている。
本調査・研究開発は現在も継続中であるが、機械学習品質マネジメントガイドラインに記載されている品質評価に関する技術的な知⾒も得られているため、本稿では、これまでの（2019〜2020 年度の）本調査・研究開発の内容と結果について報告する。

i機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

⽬次
1

2

3

4

5

6

はじめに ································································································································· 1

1.1

本調査・研究開発の概要 ······························································································ 1

1.2

著者リスト ··················································································································· 3

1.3

謝辞 ······························································································································ 3

データ拡張による品質向上 ···································································································· 4

2.1

学習データ数と識別率の関係（予備実験） ································································· 42.2

識別率の平均値と標準偏差の評価················································································ 5

2.3

データ拡張⼿法の組み合わせの効果 ············································································ 6

2.4

まとめ ·························································································································· 7

深層学習におけるデータ拡張の適⽤法の改良による品質改善 ············································· 8

3.1

研究⽬的······················································································································· 8

3.2

Feature Combination Mixup（FC-mixup） ····································································· 8

3.3

特徴マップへのデータ拡張の適⽤（Latent DA）························································ 10

深層 NN ソフトウェアのデバッグ・テスティング ······························································ 12

4.1

不具合の直接原因 ······································································································ 124.2

内部指標····················································································································· 13

4.3

実験の⽅法と結果 ······································································································ 13

4.4

関連研究····················································································································· 16

4.5

おわりに····················································································································· 17

ロバストネスの評価・向上技術··························································································· 18

5.1

ロバストネスの指標（最⼤安全半径）······································································· 18

5.2

ロバストネスの評価・向上技術調査結果 ··································································· 19

5.3

まとめ ························································································································ 25

汎化誤差上界の⾒積り技術 ·································································································· 26

6.1

汎化誤差上界の⾒積り⽅法の概要·············································································· 266.2構造による汎化誤差上界の⾒積り⽅法······································································· 27

6.3

出⼒マージンによる汎化誤差上界の⾒積り ······························································· 28

ii

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

6.4

ロバストネスによる汎化誤差上界の⾒積り ······························································· 29

6.5

汎化誤差上界の⾒積り精度 ························································································ 30

6.6

まとめ ························································································································ 31

7

敵対的データ検出技術 ········································································································· 32

7.1

研究概要····················································································································· 32

7.2

敵対的データ検出アプローチの概要 ·········································································· 32

7.3

NIC のシステム設計概要 ···························································································· 34

7.4

NIC のシステム実装···································································································· 35

7.5

計算機実験 ················································································································· 35

8運⽤時における AI 品質管理技術 ························································································· 38

9学習モデル情報の可視化······································································································ 39

9.1

機械学習⽀援のための可視化⼿法についての調査 ····················································· 39

9.2モデルの差分可視化ツールの試作·············································································· 40

9.3

今後の⽅針 ················································································································· 42

10

参考⽂献リスト ················································································································ 43

iii

機械学習品質評価・向上技術に関する報告書 第 1 版

1

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

はじめに
統計的機械学習を利⽤した各種産業製品の品質を明確に説明可能にするために、機械学

習品質マネジメントガイドラインが開発されている（第 1 版[1]）。このガイドライン第 2 版
では、機械学習システムに対する内部品質の 9 つの特性（学習モデルの安定性やプログラ
ムの健全性等）に着⽬しているが、これら内部品質特性の評価や向上の技術は必ずしもまだ確⽴していない。本稿は、ガイドラインの開発と並⾏して⾏われている内部品質特性の評
価・向上技術の調査・研究開発に関する報告書である。

1.1

本調査・研究開発の概要

図 1.1 に、2019~2020 年度に調査・研究開発した機械学習品質評価・向上技術（図 1.1
中の中央⻩⾊四⾓、左端数字は本稿で説明する章番号）と機械学習モデルのライフサイクルの各フェーズ、9 つの内部品質特性との関係を⽰す。以下、各技術については 2 章以降で詳しく説明するが、ここで簡単に説明しておく。
#
5yoh

qV"bdx^'}20192020DE~
YW?i8tp*"7%Jk



?i




ohSJk

A-1: 9|z;1U41H

,2
02



oh

oh#

YW?i8t !
!.w8t\H

2e#KF8t7%
3e#KFv][Pj



ohA(

4eoh



A-2: 9|ClmH
B-1: #lmH

?i
,2





5eQC_

#
Mr
p*




?i
Cs

TR

,2

u]S#



p*

Mr
`n

B-3: #>GH
C-1: YW?iZcHu]SJk02

C-2: YW?i@BH
7eQC_,2#X0
8efE)&X0"/?i

YW?iON

図 1.1

6e-,2CfEMB

p*A(



B-2: #:$H

p*SJk02<a_JkD-1: 

+{H

E-1: u]S8tgLH

9e?iI=6n3

機械学習品質評価・向上技術（2019〜2020 年度調査・研究開発）

・ 2 章 データ拡張による品質向上：
学習データを加⼯してデータを増強するデータ拡張⼿法が画像識別の品質評価に与える影響とその品質改善⽅法について検討を⾏った。様々なデータ拡張⼿法（とその組み合わせ）に対して実験を⾏い、識別精度の平均値だけでなく分散も計測すること
が、品質を評価するために重要であるとの結論を得た。
・ 3 章 深層学習におけるデータ拡張の適⽤法の改良による品質改善：
データ拡張によって得られる多様性をさらに向上させ、深層学習モデルの正確性や安1

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

定性を向上させるための訓練⼿法として、FC-mixup 法や Latent DA 法等を提案し、画像識別の問題においてネットワークモデルの品質向上に寄与することを確認した[7][8]。
・ 4 章 深層 NN ソフトウェアのデバッグ・テスティング：
深層学習型の機械学習モデルの不具合の原因を推論時の直接原因（予測・推論プログ
ラムによる）と訓練時の根本原因（訓練・学習プログラム、学習モデル、学習データ
セットによる）に分けて整理し、訓練・学習プログラムのバグの有無を、推論時の機械学習モデルの内部情報（ニューロンカバレッジ）によって推定するための検査指標と分析⼿法を提案し、実験によってその検査指標の有効性を確認した[2]-[6]。
・ 5 章 ロバストネスの評価・向上技術：
敵対的データを含む⼊⼒ノイズに対するロバストネスの指標の⼀つに最⼤安全半径（誤判断を⽣じないことを保証できるノイズの最⼤値）を計測する技術と、その半径を増加させる技術について調査した。最⼤安全半径の評価の計算コストは⾮常に⾼いが、近年、その近似値を効率よく⾒積もる⼿法が提案されてきている。
・ 6 章 汎化誤差上界の⾒積り技術：
機械学習モデルの汎化性能を評価するため、全⼊⼒に対する不正解率（汎化誤差）の上界の⾒積り⽅法を調査した。従来の汎化誤差上界の⾒積り⽅法の精度は低く、汎化性能の評価指標として適⽤することは現時点（2020 年）ではまだ難しいが、最近、⾒積り精度は改善されてきており、将来的には汎化性能評価技術として期待できる。
・ 7 章 敵対的データ検出技術：
⼊⼒画像が敵対的データであるかを判別する⽅法を実⽤的に確⽴するために、最先端の敵対的データ検出⼿法を調査し、4 つの主要なカテゴリに分類した。それらの敵対
的データ検出⼿法を評価するため、実際に代表的な⼿法に対して追実験を⾏い、4 つの中で NIC 法が最も⾼い検出率を⽰すことを確認した。
・ 8 章 運⽤時における AI 品質管理技術：
運⽤時に発⽣するデータの変化や未知のデータの到来に対応するために、データ分布
変化に対する検知・適応技術等を幅広く調査した。これまでに開発されている⼿法のほとんどが適応時に運⽤データの正解ラベルを⽤いる教師あり⼿法であるが、適⽤可能性の⾯や運⽤コストの⾯では教師なし/半教師あり⼿法が有望であり、その視点から整理し検討した調査結果をサーベイとしてまとめた。
・ 9 章 学習モデル情報の可視化：
複数の学習モデル間の差分・⽐較結果の可視化や各モデルに反映されている作業者（アノテータ、モデル設計者）の感性の可視化を主な⽬的として、機械学習⽀援のための可視化⼿法について調査し、学習モデルの差分可視化ツールを試作した。⼀⽅、作業者の感性可視化⼿法についても検討を進めている。

2

機械学習品質評価・向上技術に関する報告書 第 1 版

1.2

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

著者リスト

各章の著者は以下のとおり：
・ 1 章：磯部 祥尚 （産業技術総合研究所）
・ 2 章：⼤⻄ 正輝 （産業技術総合研究所）
・ 3 章：⾼瀬 朝海 （産業技術総合研究所）
・ 4 章：中島 震（国⽴情報学研究所）
・ 5 章：磯部 祥尚 （産業技術総合研究所）
・ 6 章：磯部 祥尚 （産業技術総合研究所）
・ 7 章：中島 裕⽣ （テクマトリックス株式会社）・ 8 章：⼤川 佳寛、⼩林 健⼀ （富⼠通株式会社）・ 9 章：宮城 優⾥ （産業技術総合研究所）

1.3

謝辞

本調査・研究開発は、国⽴研究開発法⼈新エネルギー・産業技術総合開発機構（NEDO）
受託業務（JPNP20006）「機械学習システムの品質評価指標・測定テストベッドの研究開発」
として⾏っています。

3

機械学習品質評価・向上技術に関する報告書 第 1 版

2

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

データ拡張による品質向上
深層学習を⽤いた画像認識の中でも物体の識別の品質評価に焦点をあてて研究を進める。

学習データを加⼯することでデータを増強する Data Augmentation（データ拡張）が画像識
別の品質評価にどのように影響を与えるのか、品質を改善するためにはどうすればいいのかについての検討を⾏った。
特に議論の中で「品質評価に関して論⽂では state-of-the-art を競うことが多いが、産業応⽤を考えた場合には精度が 98%という場合にはデータセットを変えた場合にでも 98%の精度が出ることが望ましい。それが保証されるなら 98%ではなく 80%でも構わない」という意⾒があった。これまでに研究会や国際会議で発表されている⼿法においてもデータセ
ットに過学習することで精度が上がっているように⾒えるという問題は散⾒している。

2.1

学習データ数と識別率の関係（予備実験）

最初に予備実験として以下の２点を検証した。
予備実験① 学習データを増加していくことで識別率はどのように変化していくのか
予備実験② 学習データを変えることで識別率はどのように変化するのか
両予備実験において深層学習のモデルとして WideResNet28-10 を⽤い、データセットは
CIFAR10 を⽤いる。CIFAR10 は 10 クラスの画像で構成され、各クラス毎に 6000 枚のデー
タ（合計 6 万枚）が⽤意されている。これらの画像を左右反転に加え、上下左右にずらすことでデータを 10 倍に増やし 60 万枚とし、この 60 万枚の世界がデータによって構成される全ての世界であると仮定する。予備実験①では 60 万枚の全ての世界の中から N 枚が観測されたとして学習を⾏い、全ての世界の 60 万枚で評価を⾏い識別率を求める。つまり N =600000 で学習する際には世界の全てが観測できたと仮定して識別機を作成し、識別率を求めることとなる。これは⼗分に識別性能が発揮されるネットワークモデルにおいては識別率が 100% になることが報告されているが、実際にそうなるかを確かめる実験でもある。
識別結果を図 2.1 に⽰す。横軸はデータ数の対数グラフ、縦軸は識別率である。

図 2.1

学習データ数と識別率の関係

4

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

これまでの研究で報告されているように 60 万画像という⼤量のデータであっても世界の全ての画像を学習データに利⽤することが可能であれば識別率は 100%を実現できることが分かる。また、各クラス 100 枚の学習データで 60 万枚の画像を識別すると 40%程度の識別精度であることが分かる。そこで予備実験②を⾏うための学習データ数は 10 クラス×
100 枚の N = 1000 枚とした。オリジナルの各クラス 6000 枚の画像を 100 枚×60 セットに分割し、60 セットの学習データを⽤いてニューラルネットワークを学習し、60 万枚の画像で評価を⾏った。
それぞれの学習データに対する識別精度のヒストグラムを図 2.2 に⽰す。

図 2.2

学習データの違いによる識別精度のヒストグラム

学習データがある組み合わせの場合には 42%の識別率が得られる⼀⽅で、学習データがある組み合わせの場合には識別率は 30%しか得られないことが分かり、これまでの識別精度だけの評価指標では品質の評価という観点では適していないことが明らかになった。なお、平均は 38.52%であり標準偏差は 2.21 である。この予備実験の結果から品質を評価する
際には従来のような識別率だけで評価するのではなく、品質の安定性を評価するためには分散や標準偏差を考慮した評価が必要であることが分かる。

2.2

識別率の平均値と標準偏差の評価

これまでに提案されている様々なデータ拡張について以下の実験③を⾏うことで各デー
タ拡張⼿法を品質の観点で評価した。
実験③ 様々なデータ拡張に対して予備実験②の⽅法で平均識別率と標準偏差を求める
基本的な実験設定は予備実験②と同じである。データ拡張としては変形や回転などの幾何学変換として Skew, Scale Augmentation, Shear, Rotate, Rotate Zoom の 5 種類、ノイズ付
加として PCA Color Augmentation, Gaussian Noise, Patch Gaussian, Salt Pepper Noise の 4 種
類、⾊情報の⾮線形変換として Gamma Transform, Contrast Transform の 2 種類、ぼかし処理として Gaussian Filter と Smoothing Filter の 2 種類、マスク処理として Cutout, Random
Erasing, Cut Mix の 3 種類、データ合成として Manifold-Mixup を実装し、各評価を⾏った。
評価の結果を図 2.3 に⽰す。

5

機械学習品質評価・向上技術に関する報告書 第 1 版

図 2.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

データ拡張による品質評価

それぞれのデータ拡張⼿法について縦軸に識別精度、横軸に標準偏差をプロットした散布図となっている。データ拡張を何もしていない None（⾚点）を基準点として、基準点の左上の第⼆象限は精度を向上させながら標準偏差が⼩さくなっているため識別精度を上げながらもばらつきを抑えるデータ拡張であると⾔うことができ、品質を⾼める⼿法であると結論付けることができる。⼀⽅で基準点の右上の第⼀象限は識別精度の向上は認められるものの標準偏差が⼤きくなっているため、データによっては効果があるが、そのばらつき
は⼤きいと考えられる。基準点の左下の第三象限は認識精度は下がるもののばらつきは⼩さくなっているため、識別精度は必ずしも上がらないが、品質を保証するという意味では貢献できるデータ拡張⼿法であるといえる。基準点の右下の第四象限は識別精度を下げつつばらつきを⼤きくするというデータ拡張に適していない処理がプロットされるエリアであるが、このようなデータ拡張⼿法は今回の適⽤例には⾒られなかった。
従来の state-of-the-art な評価という観点では上に⾏くほど良いデータ拡張⼿法であると⾔えるが、標準偏差を考慮した品質という点で考えると左上に⾏くほど良いデータ拡張⼿法であると⾔える。傾向としては幾何学変換のデータ拡張⼿法（図中のピンクのプロット）は上へと評価が上がる傾向にあり、ノイズ付加（⽔⾊のプロット）は左下へと下がる傾向にある。⼀⽅でマスク処理（紫のプロット）は左上へと上がる傾向にあり、データ拡張の中でも特に優れている⼿法であると評価することができる。

2.3

データ拡張⼿法の組み合わせの効果

次にデータ拡張としてばらつきを下げる効果のあった幾何学変換とノイズ付加、マスク処理の 3 つについてそれぞれのデータ拡張を全て⾏う場合とランダムに⾏う場合に対して⼀定の確率でデータ拡張する場合と徐々にデータ拡張をする割合を増やした場合を組み合
わせて、識別率がどのように変化するかを実験④で検証した。実験④の検証項⽬は以下の通りである。
実験④ 品質を向上させるデータ拡張⼿法の組み合わせを明らかにする
幾何学変換、ノイズ付加、マスク処理の 3 つのデータ拡張について、それぞれのデータ拡6機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

張を全て⾏う場合（All）、ランダムに⾏う場合（Random）、⼀定の割合で⾏う場合（const）、
⾏う割合を線形で増やす場合（Linear）で実験を⾏い散布図を作成した。図 2.4 にその結果
を⽰す。

図 2.4

データ拡張⼿法の組み合わせ実験による品質評価

実験の結果から幾何学変換とマスク処理のデータ拡張においてはランダムに⾏うよりも全てを⾏う⽅が品質がよくなり、⼀定の確率で⾏うよりも徐々に⾏う確率を増やしていっ
た⽅が識別精度を⾼く、かつ標準偏差を⼩さくできることが分かった。⼀⽅でノイズ付加に関しては識別精度を上げることはできなかったが、⼤きく下げることなく標準偏差を⼩さくする効果があることは分かった。

2.4

まとめ

これまでの多くの論⽂で⾏われている識別精度だけで機械学習システムの品質を評価す
るのではなく、分散や標準偏差も考慮することで品質を評価する必要があることが明らかになり、品質を向上させるためのデータ拡張としてはマスク処理と幾何学変換の組み合わせが有効であることが分かった。

7

機械学習品質評価・向上技術に関する報告書 第 1 版

3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

深層学習におけるデータ拡張の適⽤法の改良による品質改善
本研究では、基礎・応⽤を問わず、深層学習が⽤いられる場⾯において広く利⽤されているデータ拡張について、新しい拡張法の開発を⾏い、多クラス分類のベンチマークデータセ
ットを⽤いた実験を通して、深層学習の品質への影響を検証した。

3.1

研究⽬的

データ拡張は、データに変形を加えることでデータ数を増やす技術であり、訓練データ数が少ないときに性能が落ちてしまうという性質をもつ深層学習において、⾼い効果を発揮する。⼀⽅で、データ拡張の有効性は⽤いるデータに強く依存するため、データ拡張⼿法の選択や各⼿法がもつパラメータを適切に設定しなければならない。しかし、データ拡張の理論解析は難しく、汎⽤的な使⽤法が確⽴していないという現状があり、経験的（あるいは慣例的）な使⽤がなされるケースが多い。これは意図せず不適切な使⽤をすることにつながり、
学習の品質を損ねてしまう。
そこで、データ拡張の経験的な使⽤からの脱却を促進するために、本研究はデータの多様性に焦点を当てた。多様性を⾼めることはデータ拡張の本質的な⽬的であり、それによる影響を調査することは、データ拡張に対する理解を深め、その発展に貢献することが期待される。⼀般的なデータ拡張によるデータの多様性の増加が汎化性能の向上に⼤きく影響を及ぼすことは、[9]の研究において実証されている。本研究では、データの多様性を⾼める拡張⼿法を新たに提案し、その効果を検証する。近年、複数のデータ拡張操作からランダムに選ばれた操作を学習中に動的に適⽤する RandAugment[10]という⼿法が注⽬されているが、これは多様性を⼤きく向上させる半⾯、調整が必要なパラメータも多く、効果的に利⽤するのは難しい。そこで、本研究では、簡易なアルゴリズムをもつ 2 つの⼿法（3.2 節の FC-mixup
および 3.3 節の Latent DA）を考案した。[9]の研究ではデータの多様性を評価する指標も提案されているが、それを利⽤した検証は今後の課題とし、本研究の実験では汎化性能に与える影響のみを調査した。
また、データ拡張は、学習前に⼊⼒データに対して適⽤することで訓練データ数を増加させるという使い⽅をすることがあるが、深層学習においては、学習中、サンプルをモデルに⼊⼒するたびに、その都度データ拡張を適⽤することができるため、適⽤法について様々な⼯夫を施すことが可能である。3.2 節および 3.3 節の⼿法では、この性質をうまく利⽤し、
ニューラルネットワークの中間層で得られるデータに対して動的にデータ拡張を適⽤して
いる。

3.2

Feature Combination Mixup（FC-mixup）

画像データだけでなく表形式データにも適⽤できる汎⽤的なデータ拡張⼿法として
Mixup[11]がある。これは、2 つのサンプルの線形補間によって新たなサンプルを⽣成する⼿法であり、次式に⽰されるように、⼊⼒値およびラベルのそれぞれについて同じ⽐率で線形補間をとる。

8

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

𝑥# = 𝜆𝑥! + (1 − 𝜆)𝑥"!
𝑦# = 𝜆𝑦! + (1 − 𝜆)𝑦"ここで、(𝑥! , 𝑦! )および.𝑥" , 𝑦" /は𝑖番⽬および𝑗番⽬のサンプルの⼊⼒値を表し、𝜆はベータ分
布からサンプルした混合率を表す。これをニューラルネットワークの中間層でも⾏えるよ
うに改良したものは Manifold mixup[12]と呼ばれるが、いずれの⼿法も、2 点間の線分上というデータ分布上の局所的な範囲にしかサンプルが⽣成されず、またその線分上の点の性
質が⾮線形に変化する分布をもつデータセットに対しては不適切であるという⽋点をもつ。
本研究で提案する Feature Combination Mixup（FC-mixup）は、従来の Mixup とは異なる⽅法でサンプルを混ぜ合わせる⼿法であり、その概要を図 3.1 に⽰す。同じバッチ内に含まれる 2 つのサンプル A と B が、ランダムに選ばれた層において、𝑍# と𝑍$ という特徴量を出⼒するとする。𝑑をその層の特徴量の総数とすると、FC-mixup は、𝑍# から𝑑𝜆個、𝑍% から𝑑(1 −𝜆)個の特徴量をランダムに抽出し組み合わせて新たなサンプル𝑍& を⽣成する。その組み合わせの数は、⼀つの𝜆の値について多数考えられるため、乱数に応じて異なったデータが⽣成され、したがってデータ分布上の広い範囲にサンプルを⽣成することができる。FC-mixup
は次式のように表現されるので、この式が満たされるように𝑍# と𝑍% を混合する。
|𝑍# ∩ 𝑍& | = d𝜆
このように 2 つのデータがもつ各パーツの組み合わせにより新たなデータを⽣成する技
術は、Puzzle Mix[13]においてもみられるが、これは対象が⼊⼒画像に限定される。また、Adversarial mixup resysthesis[14]において類似した⼿法が利⽤されているが、オートエンコ−ダでの使⽤に限られており、FC-mixup はより汎⽤的な使⽤を想定して設計されている。
本研究では、⽣成データの多様性をさらに⾼めるために、FC-mixup と Manifold mixup[12]を融合した Hybrid1 および Hybrid2 を提案した。Hybrid1 はバッチごとに確率 0.5 でどちらかの mixup を利⽤する⼿法であり、Hybrid2 は両⼿法を同時に実現する⼿法である。

図 3.1

FC-mixup の概要

9機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

FC-mixup の性能を調べるために、複数の多クラス分類データセットを⽤い、従来⼿法（データ拡張なし、⼊⼒層での mixup[11], Manifold Mixup[12]）と提案⼿法（FC-mixup,Hybrid1,
Hybrid2）とで、テストデータの識別精度を⽐較した。モデルには、WideResNet28-10、ResNet50、多層パーセプトロン（MLP）、⼩さいサイズの畳み込みニューラルネットワーク（Small CNN）を⽤いた。フルサイズのデータに加えて、1,000 サンプルをランダムに抽出した Reduced データでも実験を⾏った。表 3.1 の結果から、多くの場合で提案⼿法は最も⾼い精度を⽰していることがわかる。データセットによっては Manifold mixup より低い精度を⽰すこともある（ImageNet、Reduced CIFAR-10）が、FC-mixup を試してみることで品質の改善につながる可能性があることが期待される結果となった。
表 3.1

D EFAULTI NPUT
M ANIFOLDFC
H YBRID 1
H YBRID 2

D EFAULTI NPUT
M ANIFOLDFC
H YBRID 1
H YBRID 2

3.3

多クラス分類データにおけるテスト精度（下線は提案⼿法）

CIFAR-10

CIFAR-100

C ORE SVHNC AR E VALUATIONE PILEPTIC S EIZURE

WRN-28-10

WRN-28-10

WRN-28-10

MLP

MLP

L ETTER R ECOGNITION
MLP

96.65
96.97
97.16
96.81
97.19
96.94

81.15
83.29
83.90
84.15
83.85
83.88

96.73
97.10
97.36
97.36
97.49
97.66

92.42
92.79
92.98
93.87
93.42
93.57

39.18
46.19
45.17
46.71
45.44
46.45

89.98
91.01
91.23
91.16
91.18
91.42

F ULL SVHN

T INY I MAGE N ET

I MAGE N ET

R EDUCED MNISTR EDUCED CIFAR-10

R EDUCED SVHN

WRN-28-10

R ES N ET 50

R ES N ET 50

SMALL CNN

SMALL CNN

SMALL CNN

98.39
98.59
98.60
98.36
98.61
98.59

62.16
65.94
67.21
66.76
65.97
67.55

76.54
77.14
77.26
76.81
76.46
77.06

97.37
97.47
97.91
97.92
97.93
97.99

43.88
44.45
46.93
45.64
46.05
45.59

77.87
73.51
75.55
78.60
77.25
77.57

特徴マップへのデータ拡張の適⽤（Latent DA）

データ拡張は⼊⼒データに適⽤するのが⼀般的であるが、ニューラルネットワークでは中間層で出⼒された特徴量を取り出し、データ拡張を適⽤することが可能である。Manifold
mixup[12]はまさにこれを⾏うが、mixup[11]に特化しており、他の操作は扱えない。本研究では、画像データに対して⽤いられるアフィン変換やマスク処理といった汎⽤的なデータ拡張の操作を、中間層で適⽤することを考えた。CNN では、出⼒層に近づくにつれ複雑な特徴になるよう階層的に特徴が抽出されるため、バッチごとにランダムに選ばれた様々な層でデータ拡張を⾏うことで、その効果も異なり、多様なサンプルが⽣成される。⼊⼒画像への適⽤と同じように、特徴マップに対してデータ拡張を適⽤することができるので、実装も容易である。
実際に⼊⼒画像および特徴マップに対して、マスク処理と平⾏移動を適⽤した例を図 3.2に⽰す。ここでは、学習中のモデルにサンプルを⼊⼒し、同じパラメータ（マスク位置、移動量）に設定したデータ拡張を異なる層で適⽤した直後の画像を、サイズを揃えて上段に表⽰している。そのサンプルの最終層における特徴マップを下段に⽰しているが、それらはデ10機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

ータ拡張を適⽤した層によって異なる画像となっている。この結果から、様々な層でデータ拡張を⾏うことは、⽣成データの多様性の向上につながり、⼊⼒データのみにデータ拡張を適⽤する場合とは異なった学習が⾏われることがわかる。

図 3.2

⼊⼒画像および中間層で得られる特徴マップにデータ拡張を適⽤した例

⼊⼒層におけるデータ拡張と特徴マップへのデータ拡張の性能を⽐較するために、様々なデータ拡張を⽤い、教師ありで学習したモデルのテスト精度を求めた。ここでは、CIFAR-10, Fashion-MNIST, SVHN（補助データを含まない）データセットを⽤いて、WideResNet28-10 を 200 エポックの間学習した。結果を図 3.3 に⽰している。各図において、横軸は従来⼿法（Input DA）、縦軸は提案⼿法（Latent DA）の精度[%]を表している。これらの結果からわかるように、従来⼿法よりも提案⼿法の⽅が⾼い精度を⽰す傾向があり、Crop を⽤いた結果のように、従来⼿法では精度が低くなる場合においても、提案⼿法は⾼い精度を与えた。この結果から、ランダムな層へのデータ拡張の適⽤により⽣成された多様なサンプルは、性能の向上に効果的であることがわかった。

図 3.3

Input DA と Latent DA によるテスト精度の⽐較

11機械学習品質評価・向上技術に関する報告書 第 1 版

4

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

深層 NN ソフトウェアのデバッグ・テスティング
深層 NN ソフトウェア開発の初期段階では３つの観点（実現機能の具体化，学習に⽤いる

データセットの整備，深層 NN 学習モデルの選択）から試⾏錯誤的な繰り返しを通して，要求機能ならびに予測性能が達成可能かを確認する。この試⾏錯誤過程は従来のプログラム
開発のデバッグ作業に対応するが，深層 NN ソフトウェア（DNN ソフトウェア）の場合，デバッグ・テスティングの⼊⼒データセット⽣成，訓練学習進⾏状況の監視と評価，要求実現を阻害する原因の特定と除去といった作業になる。以下，令和２年度に実施したデバッグ・
テスティングの⽅法を報告し，得られた実験結果の考察と今後の計画を整理する。

4.1

不具合の直接原因教師あり DNN 学習の標準的な⽅法では，訓練・学習と予測・推論の２種類のプログラムが関わる。学習データを与えられて学習タスクが決まった時，⽬的とする DNN ソフトウェアの実現に必要な学習モデルを選び，また，訓練学習過程で⽤いる⽅式を決める。利⽤可能
な OSS の学習フレームワーク提供機能を⽤いる場合，フレームワークのパラメータを決めれば良い。次に，学習データから訓練データセットを構築する。そして，学習モデル・訓練
データセットを⼊⼒として訓練・学習プログラム（学習フレームワーク提供）を作動させ，その結果，訓練済み学習モデルを導出する。より詳細には，訓練・学習プログラムが求めるのは，訓練済み学習モデルを定義する重みパラメータ値の集まりである。この訓練済み学習
モデルが予測・推論プログラムの振舞いを規定する。
利⽤者からみると，DNN ソフトウェアの実体は予測・推論プログラムである。たとえば
分類学習タスクの場合，⼊⼒データに対する分類の確からしさを求めるプログラムである。
そして，この出⼒結果を調べることで，構築した DNN ソフトウェアが意図通りに作動しているかを判断する。期待する結果が得られず不具合があるとみなす時，訓練・学習プログラ
ムの実⾏以前にもどって，⽋陥の在り処を調べて除去する。つまり，デバッグ作業を⾏う。
不具合が⽣じる時，訓練・学習プログラム実⾏過程で⽤いる情報の何処かに⽋陥があり，訓練データセット・学習モデル・学習機構のいずれか，あるいは，これらの複数が原因となる。⼀⽅，予測・推論結果に不具合をもたらす直接原因は，訓練済み学習モデルあるいは重みパラメータ値の集まりである。訓練データセット・学習モデル・学習機構の⽋陥が不具合の根本原因である⼀⽅で，直接原因は重みパラメータ値にある。つまり，根本原因となった
⽋陥は重みパラメータ値の不具合として顕在化し，その不具合が⽰す訓練済み学習モデルの歪みが利⽤者からみた不具合の直接原因となる⽋陥である[15]。この歪みを計測する⽅法が必要である。
本章では，重みパラメータ値を測定する内部指標を導⼊することで，DNN ソフトウェアの不具合を検知できるか否かを調べる。重みパラメータ値は訓練・学習プログラムの出⼒であるが，その出⼒値が妥当かを調べる直接の⽅法はない。その理由は，出⼒として期待する
重みパラメータ値を予め知ることができないことによる。このような期待する重みパラメータ値が既知であれば，訓練・学習は不要になる。その既知の値を使えばよい。

12

機械学習品質評価・向上技術に関する報告書 第 1 版

4.2

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

内部指標

ニューロン・カバレッジ（NC）の考え⽅を紹介する。学習モデルをニューロンのネットワ
ークとみなす。閾値を決めた時，出⼒値が閾値を超えるニューロンは活性状態にあるという。
学習モデルを構成するニューロン数を N とし，活性状態のニューロン数を A とする時，活性ニューロンの⽐（NC = A/N）をニューロン・カバレッジと定義する。⽂献[16]は，NC を検査網羅性の基準と仮定し，評価⽤⼊⼒データの選び⽅が NC 値，すなわち，訓練済み学習
モデルの検査網羅性に影響することを調べた。

Clas

図 4.1

sific

a

Al
tion

gori

thm

訓練済み学習モデル

本章では，NC を計算する対象ニューロンの選び⽅を⼯夫することで，不具合の有無を調べる内部指標[17]として⽤いる。図 4.1 に訓練済み学習モデルの模式的な図を⽰した。中間層の最終段階（網掛けした層）を対象とするニューロンに対して NC を定義し内部指標とする。
⼀般に，機械学習の技術では，此の Penultimate Layer を特別の観測対象とすることが多い。たとえば，画像分類タスクの場合，その前段までが画像認識などの具体的なアルゴリズ
ムの役割を果たす相関分析（ピクセル値のパターンの分析）の処理であり，その計算結果が，此の層に集約されることが理由である。そして，本章では，想定される⽋陥原因が，この内部状態として顕在化すると仮定する。さらに，この内部状態をもとに，さまざまな統計指標を導出することができる。調べたい不具合によって，何が適切な導出指標かを実験によって
調べる。

4.3

実験の⽅法と結果いくつかの実験結果を⽰し，先に定義した内部指標あるいは導出指標の有⽤性を考察する。最初に，訓練・学習プログラム（学習フレームワーク）に⽋陥がある時の⽐較実験結果を⽰す。以下，BI は PC に⽋陥挿⼊した訓練・学習プログラムである。
図 4.2 は学習モデルとして古典的な全結合ネットワークを⽤い，中間層のニューロン数を変化させて，試験データセットの正解率をプロットした。⼗分な数のニューロンを持つ時（横軸で 50），PC と BI で正解率に⼤きな差がないことがわかる。つまり，正解率を調べても，PC と BI を区別することが困難であり，その結果，⽋陥の有無がわからない。これは，
これまでに得られた知⾒を再確認するものである。以下，この知⾒（図 4.2）に加えて，さらに状況を系統的に調べる実験の結果（図 4.3）を⽰す。

13

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

1

Accuracy

0.98
0.96
PC
BI

0.94
0.92
0.9

0

10

20

30

40

50

60

Structural Capacity

図 4.2

中間層の異なる学習モデル

Activated Neurons

1
0.9
0.8
0.7
0.6
0.5

PC

0.4

BI

0.3
0.2
0.1
0

0

10

20

30

40

50

60

Structural Capacity

図 4.3

内部指標との関係

図 4.3 は，縦軸に内部指標（本章でのニューロン・カバレッジ）をプロットした。この指標の絶対値を参照すると，たとえば、BI の 10 と PC の 30 とは，共に 0.7 程度であって，BIと PC の区別がつかない。
そこで，内部指標からの導出指標に適切なものがあるかを調べる。
今，試験データセットに対するニューロン・カバレッジの集まりを得て，この平均値μと分散σ2 を求めて，さらに，σ/μを計算する。横軸にこの導出指標σ/μを⽤いる場合を図 4.4に⽰した。縦軸の値から図 4.3 を参照することで，どの学習モデルがどの値かを知ることができる。
1

Accuracy

0.98
0.96
PC
BI

0.94
0.92
0.9

0

0.1

0.2

0.3

/µ

図 4.4

0.4

p

導出指標

図 4.4 によると，PC と BI を区別できることがわかる。つまり，内部指標では，キャパシ

14機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

ティ（中間層のニューロン数）が異なる PC と BI を区別できない（図 4.3）が，導出指標を⼯夫してσ/μによって⽐較すると，ニューロン・カバレッジが有⽤な情報を与えることがわかる。
次に，⽋損データを評価⽤に⽤いて，PC と BI が個々のデータに対して出⼒する分類の確からしさを散布図（図 4.5）で表す。
1.2

Probability of PC

1

0.8

0.6

0.4

0.2

0

0

0.2

0.4

0.6

0.8

1

1.2

Probability of BI

図 4.5

分類の確からしさ

図 4.5 で△が⽋損データに対する出⼒値を表す。PC と BI で同等の値を出⼒すると仮定す
ると，原点を通る点線上に分布する筈である。実際，試験データセットから選んだ□は概ね此の線上にのることがわかる。⼀⽅，⽋損データ（△）は実線上に分布し，PC がより良い
分類の確からしさであること⽰す。つまり，⽋陥混⼊した BI は、正解率は変わらない（図4.2 を参照）が，頑健性に劣るといえる。
次の実験は，内部指標を⽤いることで頑健性の違いを検出できることを確認するもので
ある。

図 4.6

内部指標の違い

図 4.6 は，前記の⽋損データを⼊⼒し，先に定義した内部指標を横軸にプロットした。右側に分布する□は PC，左側に分布する◇は BI による結果を⽰す。これによると，(1) PC の
内部指標の値が⼤きいこと，(2) 内部指標と予測確率（分類の確からしさ）の相関が弱いこと，がわかる。次に，σ/μを計算すると，PC は 0.0876 であり，BI は 0.2183 となった。図15

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

4.6 は頑健性に影響する⽋損データを⽤いる実験であり，σ/μの値が頑健性と強く関係すると考えられる。
次に，訓練データセットに系統的な歪みを与えて，訓練済み学習モデルを導出する実験を⾏った。系統的な歪みが⽣成できることが，これまでの実験からわかっている。この実験は，訓練データセットの違いが，内部指標に影響を与えるかを調べることに相当する。同⼀の試験データセットに対する正解率をプロットした。

図 4.7

訓練データセットの違い

図 4.7 の上から下へ（正解率の良い⽅から悪い⽅へ），⼤きい歪みの訓練データセットを⽤いた場合に対応する。つまり，試験データセットのデータ・シフトが訓練時に⽤いたデー
タセットから相対的に⼤きくなるので正解率が低下することを確認できる。⼀⽅で，横軸の値（σ/μ）は，PC（□）と BI（◇）で明らかに異なる。この実験の状況は，訓練データセット・シフトの⼀例と考えて良い。図 4.7 は PC と BI で独⽴した２系列を⽰す。正解率が⽰す正確性とσ/μ値が⽰唆する頑健性とが独⽴な観点であることを確認できる。
以上から，訓練データセットの歪みは，内部指標では区別がつきにくいが，正解率に基づく⽅法で調べることができる。実務で⾏われているように，訓練データセットの良し悪しの検討に際しては，正解率を調べる⽅法が有⽤であると云えよう。⼀⽅，訓練・学習プログラ
ムの⽋陥など他の要因が関わる可能性がある（多重⽋陥が想定される）場合，内部指標や導出指標（σ/μ）の値を同時に調べることが望ましい。

4.4

関連研究

ニューロン・カバレッジは DeepXplore [16]で導⼊されたメトリックスである。従来のソフトウェア・テスティングで⽤いられてきたテスト網羅性基準を参考に提案された。従来法は，実⾏⽂をノードとする制御フロー・グラフ（Control Flow Graph, CFG）でプログラムを表現する時，あるテスト⼊⼒データによって実⾏される⽂を基本単位として，テスト網羅性を定義する。最も簡単には，CFG のノードが⼊⼒テストによって実⾏される経路に含まれるか否か，つまり⽂が実⾏されるか否かを基準とする。これは，⽂網羅基準あるいは C0 基準と呼ばれる。DNN 学習モデルはネットワークとして表現されることから，CFG 上で定義された C0 基準との対⽐により，ノードに位置するニューロンが活性化（出⼒値が閾値を超えること）されるか否かによって，ニューロン・カバレッジ（NC）を定義した。そして，NC値を増加させるように新しいテスト⼊⼒データを⽣成する⽅法を論じた。

16

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

ニューロン・カバレッジは従来のテスト網羅性基準から類推できる素直な考え⽅だろう。
その後，NC を向上させる⼊⼒データの作成が難しくないという経験から，複数ニューロンの相関や異なる層の間での相関を考慮したメトリックスが提案された[18]。また，NC が増加するように，NC 値をガイドとして，データ補完の⽅法で有⽤なテスト⼊⼒データを系統的に⽣成する⽅法[19]がある。さらに，NC をガイドに⽤いる⽅法と GAN をベースとするテ
スト⼊⼒⾃動⽣成[20]とを組み合わせる⽅法が論じられている[21]。データ⽣成をガイドする指標として，NC が有⽤なことが確認されたと⾔ってよい。
テスティングの例として，⽂献[19]および[20]は回帰問題 DNN モデルの予測結果をもとに計算したステアリング⾓度というアプリケーションの機能を検査の観点とした。⽂献[22]は NC 値を⼤きくするテスト⼊⼒が⽋陥発⾒に役⽴つかを調べた。何を⽋陥とするかで NCが有⽤か否かの判断が異なることを論じている。逆に，この研究[22]は，正確性を中⼼とす
る外部指標と NC の間の相関が弱いことを述べている。本章では，両者に相関が弱いという観察から，NC に基づく内部指標を検査に⽤いた。⽂献[22]と⽭盾しないどころか，同じ⽅向の議論を展開しているといえる。なお，網羅性は検査終了の判断基準であり，⼀⽅，⽋陥
発⾒はテスト⼊⼒データがコーナーケースを実⾏するかに依存する。両者は異なる側⾯を論じているともいえる。実際、従来のソフトウェア・テスティングにおいても，網羅性の向上が必ずしも⽋陥発⾒の効率向上に結びつかないことが報告されている。
本章の⽅法は，⽂献[15][17]で論じられているように，NC 値を簡易的な検査指標に⽤いるというものである。従来の研究が NC を検査の網羅性基準に⽤いるのに対して，DNN モ
デルの⽋陥が NC 値として現れる，という⾒⽅を採⽤した。実験では，この考え⽅に基づく
具体的な検査として，訓練・学習プログラムの信頼性および訓練済み学習モデルの頑健性を調べることができた。

4.5

おわりに

本章では，Penultimate Layer でのニューロン・カバレッジに基づく内部指標を⽤いた。これはスカラーであることから，計測ならびに導出指標の定義が容易であり，検査指標として利⽤しやすい。⼀⽅，NC はニューロン個々の値に関する情報を捨象しており，有⽤な情報が⽋落する。実際，⽂献[23]では，ニューロン値の分布を推定し，これをもとにテスト⼊⼒
データが妥当かを論じる⽅法を提案している。これを応⽤すると，ニューロン値の分布は訓練データセットの歪みを，より詳細に表すと考えられるだろう。今後，この分布を利⽤する
考え⽅を応⽤することで，訓練データセットをデバッグする⽅法を検討する。

17

機械学習品質評価・向上技術に関する報告書 第 1 版

5

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

ロバストネスの評価・向上技術
本章におけるロバストネスは、⼊⼒ノイズ（敵対的データも含む）に対する機械学習モデ

ルの耐性である。例えば、どの程度ノイズを付加しても推論結果を維持できるかを評価する。
そのロバストネスの指標の⼀つに最⼤安全半径がある。本章では、順伝播型ニューラルネッ
トワークを⽤いた分類器を対象として、敵対的データと最⼤安全半径について説明した後、最⼤安全半径を計測する技術と増加させる技術についての調査結果について報告する。

5.1

ロバストネスの指標（最⼤安全半径）

機械学習ソフトウェアにおいては、訓練済み学習モデル（正確には、学習モデルにもとづ
く推論プログラム）は、わずかにノイズを付加された⼊⼒データによっても誤推論する問題が知られている。そのような誤推論させる⼊⼒データは敵対的データ（adversarial example）[24]と呼ばれており、近年、敵対的データに対する研究が活発に⾏われている。⼊⼒データ
𝑥 ∈ ℝ'（ℝは実数の集合）の𝛿近傍（半径𝛿 ∈ ℝの球の内側）に含まれる全ての敵対的データの集合𝐴𝑑𝑣( (𝑥)は次のように定義できる。
𝐴𝑑𝑣( (𝑥) = {𝑥′ | ‖ 𝑥 − 𝑥′ ‖ ≤ 𝛿 ⋀ 𝑓(𝑥) ≠ 𝑓(𝑥′)}ここで、𝑓(𝑥)は⼊⼒𝑥に対する機械学習モデルの出⼒（分類結果）を表す関数、‖𝑥 − 𝑥′‖は 2つのデータ𝑥, 𝑥′の距離（差）を表す。距離の定義には𝑝ノルムが使われることが多い。
図 5.1 を⽤いて敵対的データについて説明する。図 5.1 の左側はニューラルネットワー
クへの⼊⼒空間、右側がニューラルネットワークからの出⼒空間を表す。⼊⼒空間の⾚い球の中⼼がパンダ画像（元データ）であり、その球（半径𝛿）の内側が⼤きさ𝛿未満の微⼩ノイズを付加した画像の集合（𝛿近傍）である。この𝛿近傍の⼊⼒画像の集合に対するニューラル
ネットワークの出⼒の集合が、右側の出⼒空間の⾚い領域である。ここで、出⼒側の⾚い領
域の右下の決定境界を超えて猿の領域に⼊っている部分が誤分類を表しており、この部分にマップされる⼊⼒が敵対的データである。




$&

$&
 





...

..
.

...

...

近傍

...

"

%'


 *
(!# )図 5.1

敵対的データ（ノイズ付加パンダ画像を猿に誤分類）

⼊⼒データ𝑥の𝛿近傍（𝑥を中⼼とする半径𝛿の球の内側）に敵対的データが存在しないと18

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

き、𝛿を𝑥の安全半径という。特に𝑥の安全半径の中で最⼤の半径（最⼤安全半径, Maximum
Safe Radius）𝑀𝑆𝑅(𝑥)は次のように定義される。
𝑀𝑆𝑅(𝑥) = max {𝛿 | 𝐴𝑑𝑣( (𝑥) = ∅}この最⼤安全半径が⼤きいほど、敵対的データによる攻撃は難しくなるため、機械学習モデルのロバストネス（敵対的データを含む⼊⼒ノイズに対する耐性）の指標のひとつとして最⼤安全半径を使うことができる。
図 5.1 の𝛿近傍の⼊⼒画像の⼀部は猿に誤分類されるため、この𝛿は安全半径ではない。
⼀⽅、図 5.2 の𝛿近傍の⼊⼒画像は誤分類されることはないため、この𝛿は安全半径であり、これ以上𝛿を⼤きくすると誤分類される可能性がある（敵対的データを含む）ため、図 5.2の𝛿は最⼤安全半径である。
 






 


近傍




...

...

..
.

...

...


!

  

図 5.2

5.2

最⼤安全半径 𝜹

ロバストネスの評価・向上技術調査結果

ロバストネスの評価と向上に関する研究論⽂について調査した結果を表 5.1 に⽰す。ロ
バストネスについては多くの研究論⽂が発表されているが、⽐較的良い結果が得られている最近の論⽂を代表として⽰している。表 5.1 の各論⽂の下には、その論⽂で提案されている⼿法を適⽤できるスケールの参考情報として、その⼿法の評価実験に使⽤されたニュー
ラルネットワークの情報を記⼊している。表 5.1 は次の観点から整理している。
・ 横⽅向（技術の⽤途）：Ø

ロバストネスの評価：最⼤安全半径の⾒積りØ

ロバストネスの向上：指定された最⼤安全半径をもつデータ数の増加

・ 縦⽅向（評価の信頼度・精度）：ØØ

保証あり：𝛿近傍に敵対的データが存在しないことを保証できる²

厳密：最⼤安全半径の厳密な⾒積り²

近似：最⼤安全半径よりも⼩さめ（安全半径のひとつ）の⾒積り-

決定的：𝛿近傍に敵対的データは存在しない（100％安全）-

確率的：𝛿近傍に敵対的データが存在しない確率は𝑝％保証なし：𝛿近傍に敵対的データが存在しないことを保証できない

19

機械学習品質評価・向上技術に関する報告書 第 1 版

表 5.1

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

ロバストネス（最⼤安全半径）の評価と向上に関する技術
ロバストネスの評価

ロバストネスの向上

最⼤安全半径の厳密な⾒積り
Katz et al. 2017 (Reluplex) [25]ACAS-XU-DNN, 300 ReLU nodes
6 hidden layers,
数百ノード程度が上限

厳
密

保
証
あ
り

Tjeng et al. 2019 [26]
CIFAR-10, ResNet, 9-CNN, 2-layer,
107,496 ReLU units,
Reluplex より 100〜1,000 倍程度⾼速

決
定
的

近
似

確
率
的

保
証
な
し

最⼤安全半径の⼩さめの⾒積り

近傍に敵対的データがないように訓練

Weng et al. 2018 (Fast-Lin) [27]CIFAR, 6-layer, 12,288 ReLU units
Reluplex より 10,000 倍程度⾼速

Wong and Kolter 2018 [32]
SVHN (32x32x3), 2-conv, 32-ch,100, 10 hidden units, ReLU,
ImageNet への適⽤は困難

Boopathy et al. 2019 (CNN-Cert)[28]
CIFAR-10 (32x32x3), 5-layer,
10 filters, 29,360 hidden nodes,
Fast-Lin より⾼速
確率的最⼤安全半径の⼩さめの⾒積り

訓練後に保証付ランダムスムージング

Weng et al. 2019 (PROVEN) [29]CIFAR, 5-layer, CNN, ReLU
CNN-Cert と同程度

Lecuyer at el. 2019 [33]ImageNet (299x299x3),
Inception-v3 + auto-encoder
Cohen at el. 2019 [34]ImageNet (299x299x3),
ResNet-50 (50-layer)
Lecuyer [33]より精度向上

最⼤安全半径の⼤きめの⾒積り

近傍の敵対的データを探索しながら訓練

Carlini and Wagner 2017 [30]ImageNet (299x299x3),
Inception-v3

Madry et al. 2018 [35]CIFAR (32x32x3),
28-10 wide ResNet

最⼤安全半径のおおよその⾒積り
Weng et al. 2018 (CLEVER) [31]ImageNet (299x299x3),
ResNet-50 (50-layer)

以降、⼩節 5.2.1〜5.2.7 で表 5.1 の各⼿法について簡単に説明する。

20

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

ロバストネス評価、保証あり（厳密）Katz 等は、与えられた性質を機械学習モデルが満たすことを判定する⽅法 Reluplex を提案した[25]。その⽅法を実装した実証⽤ツールも公開されている。性質は⼊出⼒関係についての制約であり、⼊⼒データのδ近傍に敵対的データが存在しないことを網羅的に厳密に（健全かつ完全に）判定できる。すなわち、⼆分探索などで半径δを変えながら敵対的デー
タの有無を判定することによって、最⼤安全半径を⾒積もることができる。Reluplex はSimplex 法（線形計画問題の解法のひとつ）に ReLU 関数⽤の規則を追加した解法であり、実数を扱える充⾜可能性判定ツール（SMT-Solver）によって実装されている。ロバストネス
以外の性質も判定できる強⼒なツールであるが、計算コストが⾼く、扱えるニューロン数がReLU 数百個程度という制約がある。
Tjeng 等は、最⼤安全半径を効率よく計算する⽅法を提案し、その⽅法を混合整数線形計
画法ソルバ（MILP）上に実装して、10 万個の ReLU 型ニューロンをもつネットワークの最⼤安全半径を厳密に求められることを⽰した[26]。まだ実⽤的な機械学習モデルに適⽤するには⼗分とは⾔えないが、このようにスケーラビリティ改善の研究は進んでいる。
ロバストネス評価、保証あり（近似、決定的）

Weng 等は、ReLU 型ニューラルネットの最⼤安全半径を近似的に⾒積る⽅法 Fast-Lin を提案した[27]。Fast-Lin では、図 5.3 に⽰すように、出⼒領域を多⾓形で線形近似し、最⼤
安全半径よりも少し⼩さめの近似値𝛿を⾒積もる。この近似値𝛿は最⼤安全半径を超えないため（健全）、𝛿近傍に敵対的データが存在しないことを保証できる。すなわち、𝛿は安全半径のひとつであり、最⼤安全半径の下界である（𝛿 ≤ 𝑀𝑆𝑅(𝑥)）。多⾓形で線型近似すること
によって、厳密な⽅法（Reluplex）よりも 1 万倍以上速い結果が得られたことが報告されて
いる。
 



'*

'*


近傍






..
.

...

...

...

...

&
% !$")

図 5.3

+(#)

最⼤安全半径の近似値（少し⼩さめ）の⾒積り

Boopathy 等は Fast-Lin を改良した⼿法 CNN-Cert を提案した[28]。CNN-Cert では、ReLU
以外の活性化関数（sigmoid, tanh, arctan）を含む Convolutional ネットワークにも対応し、Fast-Lin よりも近似精度と計算速度を向上した。

21

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

ロバストネス評価、保証あり（近似、確率的）

Weng 等は、確率的な最⼤安全半径を近似的に⾒積もる⽅法 PROVEN を提案した[29]。安
全確率𝜌の最⼤安全半径𝛿は、図 5.4 に⽰すように、𝛿近傍に敵対的データが存在しない確率が𝜌である、すなわち、(1 − 𝜌)の確率で敵対的データが存在することを許容する最⼤の半径である（決定的な最⼤安全半径は安全確率1の最⼤安全半径に相当する）。PROVEN は、CNNCert をベースに開発されおり、計算量は CNN-Cert から⼤きくは増えていない。
 



#&

#&







...

..
.

...

...

近傍

...


" ! 

図 5.4"   %'$

安全確率𝝆の最⼤安全半径の近似値の⾒積り

ロバストネス評価、保証なし

Carlini と Wagner は、既存の最適化ツール（Adam）を⽤いて、⼊⼒データ𝑥に最も近い敵
対的データを探索し、その距離𝛿を⾒積もる⽅法を提案した[30]。ただし、この⽅法で得られる距離𝛿が実際に敵対的データまでの最短距離である保証はなく、その距離よりも近いところに敵対的データが存在する可能性はある。すなわち、最⼤安全半径の上界である（𝑚𝑠𝑟(𝑥) ≤ 𝛿）。この⽅法で得られる距離𝛿が安全半径である保証はないが、最⼤安全半径の⽬安として、最近のロバストネスの論⽂ではしばしば評価に使われている。
Weng 等は、攻撃⽅法に依存しないロバストネスの評価値として、おおよその最⼤安全半径を求める⽅法 CLEVER を提案した[31]。⽐較的⼤きなネットワークにも適⽤可能な⽅法であり、画像認識モデル Inception-v3 を 10 秒程度で評価できたと報告している。⼊⼒のわず
かな変化が出⼒に与える影響の最⼤値を極値理論によって推定し、最⼤安全半径に近い値𝑑を⾒積もっている。図 5.5 に⽰すように、⾒積もった値𝛿は実際の最⼤安全半径より⼤きいこともあるため、𝛿近傍内に敵対的データが存在する可能性はある（安全半径である保証は
ない）
。

22

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

 

 






近傍








...

..
.

...

...

...



図 5.5

最⼤安全半径の近似値の⾒積り（保証なし）

ロバストネス向上、保証あり（近似、決定的）

Wong 等は、訓練データセットの各データの最⼤安全半径が𝛿（指定値）になるように訓練する⽅法（ロバスト訓練）を提案した[32]。この⽅法は訓練後に全ての訓練データに対して最⼤安全半径𝛿を保証するものではないが、各⼊⼒データの最⼤安全半径の近似値（安全半径）を⾒積もる⽅法を与えている。このロバスト訓練では、各訓練データの𝛿近傍で最も誤推論する可能性のあるデータに対して正しい推論をするように訓練する。
  

 







...

..
.

...

...

...



図 5.6



ロバスト訓練（⼊⼒の𝜹近傍も含めた訓練）

ロバスト訓練の様⼦を図 5.6 に⽰す。図 5.6 の出⼒空間の点線は通常の訓練によって学習した決定境界、⾚⾊線はロバスト訓練によって学習した決定境界を表す。⼊⼒空間の 6 個の訓練データについては両⽅の境界線によって正しく分類されているが、各訓練データの𝛿
近傍のデータについては点線の境界線（通常訓練）では誤分類が⽣じている。⼀⽅、ロバス
ト訓練では⾚⾊の境界線のように、𝛿近傍のデータについても正しい分類になるように訓練を⾏う。Wong 等のロバスト訓練は、ロバストな学習モデルを保証付で訓練する⽅法であるが、スケーラビリティが低く、訓練可能なネットーワークのサイズを⼤きくできない問題がある。この論⽂は、MNIST（28×28）と SVHN（32×32）のデータセットに対して有効性を⽰しているが、ImageNet（256×256）には適⽤できなかったと報告している。

23

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

ロバストネス向上、保証あり（近似、確率的）

Lecuyer 等はランダムスムージングによって確率的に保証可能な最⼤安全半径を⾒積もる⽅法を提案した[33]。ランダムスムージングとは、⼊⼒データに防御⽤のノイズを付加した推論を繰り返し、その複数の出⼒の平均値を最終出⼒とする⽅法である。
ランダムスムージングの様⼦を図 5.7 に⽰す。図 5.7 の出⼒空間の点線は防御⽤ノイズを付加しない場合の決定境界、⾚⾊線は防御⽤ノイズを付加した場合の決定境界を表す。ラ
ンダムスムージングは決定境界を滑らかにすることによってロバストネスを向上させる技術であり、ImageNet（299×299×3）のような⼤きな⼊⼒データに対する機械学習モデルのロバストネスの保証にも成功している。付加するノイズの分散を増加させると保証可能な
最⼤安全半径も増加するが、⼀⽅で正解率等の推論精度は低下する。この論⽂では、差分プ
ライバシの技術（類似した 2 つの⼊⼒に対する出⼒をノイズ等によって統計的に区別できなくする技術）を適⽤し、保証可能な最⼤安全半径、防御ノイズ付推論回数、許容される敵
対的データの存在確率等の関係を明確にした。









...

..
.

...

..
.

...






図 5.7

ランダムスムージングによるロバストネスの向上

Cohen 等は、ランダムスムージングによって確率的に保証可能な最⼤安全半径を、Lecuyer
等の⽅法[33]よりも精度良く（より⼤きく）⾒積もる⽅法を提案した[34]。
ランダムスムージングは 1 回の推論を⾏うために内部で複数回（実験的には数⼗〜数百回程度）推論する必要はあるが、Lecuyer や Cohen 等の研究によって、⼤規模なネットワー
クに対しても、ロバストネスを確率的に保証することが可能になる。
ロバストネス向上、保証なし

Madry 等は訓練データセットの各データの最⼤安全半径が𝛿（指定値）になるように訓練する⽅法（敵対的訓練）を提案した[35]。この⽅法では、訓練中に各訓練データの𝛿近傍で敵対的データになる可能性のあるデータを探索し、そのデータに対しても正しい推論を⾏えるように訓練する。Wong 等の保証付のロバスト訓練[32]と⽐較して、ロバストネスを保証することはできないが、ロバスト訓練よりも⼤きなネットワークに適⽤可能である。ランダムスムージングのように推論時に複数回の推論を⾏う必要がなく、ロバストネス向上のための候補技術になりうる。

24

機械学習品質評価・向上技術に関する報告書 第 1 版

5.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

まとめ

⼀般に、ロバストネスを向上させると正解率が低下する傾向にあり、現在は正解率などの評価指標の⽅が重視されることが多い。しかし、ロバストネスを考慮しない場合、わずかなノイズでも正解率が低下する可能性があるため、誤判断によるリスクが⾼い場合はロバス
トネスによる評価も重要である。今回調査したロバストネスに関する技術は最近（2019 年頃）の論⽂で提案されたものであり、まだこれらの技術を容易に利⽤できる評価環境は整備されていないが、技術的には実⽤的なニューラルネットワークにも適⽤可能になりつつある。今後、そのような評価環境が整備されれば、ロバストネスもニューラルネットワークの⼀般的な評価指標のひとつになりうると考える。

25

機械学習品質評価・向上技術に関する報告書 第 1 版

6

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

汎化誤差上界の⾒積り技術
本章では、未知の⼊⼒データに対する機械学習の振舞い保証を⽬的として、機械学習モデ

ル、特に分類器の汎化誤差上界の⾒積り技術の調査結果について報告する。汎化誤差とは全ての⼊⼒に対する分類器の出⼒の不正解率の期待値である。

6.1

汎化誤差上界の⾒積り⽅法の概要

本章では、図 6.1 に⽰すような順伝播型ニューラルネットワークを⽤いた分類器 𝑓) （重み⾏列 𝑤 の学習モデル）を対象とする。また、各分類対象データ 𝑥 に対して正解の分類クラス 𝑦 が存在し、(𝑥, 𝑦)は分布ℙにしたがうと仮定する。学習モデル 𝑓) の出⼒層では各クラ
スにひとつのニューロンが割り当てられており、⼊⼒ 𝑥 に対するクラス 𝑦 の出⼒ニューロンの値を 𝑓) (𝑥)[𝑦]と書く。⼊⼒𝑥の分類結果 𝑓) (𝑥) は、𝑓) (𝑥)[𝑦]が最⼤となるクラス 𝑦 である。
1-&!#"/ '1 0
*




 

%,
/$,0 1' !#"/  0%   (.,/+),0






/1



"0

図 6.1

汎化誤差と経験誤差

このとき、汎化誤差とは、分布ℙにしたがう全⼊⼒データに対する学習モデル 𝑓) の不正解率の期待値 𝐿(𝑓) ) であり、次式によって定義される。
(𝑓) ) = 𝔼(+,-)~ℙ X𝕀 Z𝑓) (𝑥)[𝑦] ≤ max𝑓) (𝑥)[𝑦 2 ][\!
- 1-

ここで、𝕀(𝑏) は、𝑏 = 𝑇𝑟𝑢𝑒 ならば 0 、𝑏 = 𝐹𝑎𝑙𝑠𝑒 ならば 1 を返す指⽰関数である。
⼀⽅、経験誤差とは、分布ℙにしたがう𝑚 個の⼊⼒データサンプルの集合 𝑆~ ℙ3 に対する学習モデル 𝑓) の不正解率 𝐿f(𝑓) , 𝑆) であり、次式によって定義される。
𝐿f(𝑓) , 𝑆) =1𝑓) (𝑥)[𝑦 2 ][\g X𝕀 Z𝑓) (𝑥)[𝑦] ≤ max- ! 1𝑚(+,-)∈5

⼀般に⼊⼒空間には無数の⼊⼒データが存在するため、汎化誤差を正確に計算することは困難である。そこで、汎化誤差の上界を確率的に⾒積もる⽅法が研究されている。例えば「この学習モデル 𝑓) の汎化誤差は〇%以下であることを 99% の確率で保証する」というよ
うなことが可能になる。例えば、そのような汎化誤差上界を⾒積もるための基本的な⽅法として次の３つの⽅法が知られている[36]。

26機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

・ 構造による汎化誤差上界の⾒積り⽅法：学習モデルの構造（層数、ニューロン数など）
によって汎化誤差上界を⾒積もる⽅法である。
・ 出⼒マージンによる汎化誤差上界の⾒積り⽅法：出⼒層の正解と不正解のニューロンの出⼒の差（出⼒マージン）によって汎化誤差上界を⾒積もる⽅法である。
・ ロバストネによる汎化誤差上界の⾒積り⽅法：学習モデルの重み⾏列にノイズを付加した場合の出⼒のロバストネスによって汎化誤差上界を⾒積もる⽅法である。
以降、6.2〜6.4 節でこれら 3 つの基本的な⾒積り⽅法について順番に説明し、6.5 節で汎化誤差上界の⾒積り精度の向上について述べる。

6.2

構造による汎化誤差上界の⾒積り⽅法

よく知られている汎化誤差上界の⾒積り⽅法のひとつに VC 次元に基づく⽅法がある。VC
次元はニューラルネットワークの構造に対して与えられる値であり、その構造で分類可能なデータ数の最⼤値を表す。学習モデル（順伝播型ニューラルネットワーク）𝑓の VC 次元
𝑉𝐶(𝑓)の上界は次式により与えられることが⽰されている[37]。
666𝑉𝐶(𝑓) ≤ 𝑑 + lg(𝑑 − 𝑖 + 1)𝜔! n log 9 r8𝑒 g 𝑖𝛼! log 9 r4𝑒 g 𝑗𝛼" vv
!78

!78

"78

ここで、𝑑 は層数、𝛼! は第𝑖層のユニットの個数、𝜔! は第𝑖層への重みの個数であり、𝑒はネ
イピア数（𝑒 = 2.7182 ⋯）である。
学習モデル 𝑓 の汎化誤差 𝐿(𝑓) の上界は、VC 次元を⽤いて次の不等式によって⾒積もることができる。この不等式は確率 (1 − 𝛿) で成り⽴つことが⽰されている[36]。
1
𝑉𝐶(𝑓) |ln 𝛿𝐿(𝑓) ≤ 𝐿f(𝑓) + 144𝐾|+𝑚𝑚
ここで、𝑚 は訓練データセットのサイズ、𝐾 は分類クラス数である。パラメータ𝛿 を 0 に近づけるとこの不等式の成り⽴つ確率は 100% に近づくが、そのとき右辺は無限に⼤きくなるため、𝛿 は適度な値に設定する必要がある。例えば、𝛿 = 0.01 にすれば、汎化誤差は
上式の右辺の値以下であることを 99% の確率で保証できる。
このような構造（VC 次元）による汎化誤差上界では、任意の訓練データセットと任意の訓練アルゴリズムで得られる任意の学習モデルの汎化誤差の上界を⾒積もることになる。
すなわち、汎化誤差上界の最悪値を⾒積もるため、その値は 100% を⼤きく超えることが多く、学習モデルの汎化性能の評価に利⽤することは難しい。また、上記の不等式は、ニュー
ラルネットワークの構造の各パラメータと汎化誤差上界の関係を定式化しているが、訓練
パラメータ数とともに汎化誤差上界が増加することを⽰しており（経験的には⼗分な訓練
パラメータがあるときは増加しない傾向にある）、必ずしも構造と汎化誤差の関係を表していないところもある。

27

機械学習品質評価・向上技術に関する報告書 第 1 版

6.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

出⼒マージンによる汎化誤差上界の⾒積り

出⼒マージンとは、出⼒層の正解クラスのニューロンの出⼒値とそれ以外のニューロンの出⼒値の最⼤値との差である。例えば、⼿書き数字の分類器に 7 の画像を⼊⼒したときの出⼒層の各ニューロンの出⼒値が図 6.2 のようになった場合（正解クラスのニューロンの出⼒値は0.8、それ以外のニューロンの出⼒値の最⼤値は0.6）、その出⼒マージンは0.2である。
  












1

2

3

4

5

6

7

8

9

0





図 6.2

⼿書き数字分類器の出⼒マージンの例

2 つの学習モデルが、あるデータセット に対して同じ経験誤差（不正解率）をもつ場合でも、出⼒マージンの⼤きい学習モデルの⽅がノイズなどに対して耐性があり、⼀般に安定した推論を⾏うことができる。そのような出⼒マージンを考慮した経験誤差は次式により定義される。
𝐿f: (𝑓) , 𝑆) =1𝑓) (𝑥)[𝑦 2 ][\g X𝕀 Z𝑓) (𝑥)[𝑦] ≤ 𝛾 + max- ! 1𝑚(+,-)∈5

この式は、正解クラスのニューロンの出⼒値が他のニューロンの出⼒値の最⼤値よりも⼤きくても、その差（出⼒マージン）が閾値 𝛾 以下ならば不正解としてカウントされることを意味している。
訓練済み学習モデル 𝑓) の汎化誤差 𝐿(𝑓) ) の上界は、出⼒マージンを⽤いて次の不等式によって⾒積もることができる。この不等式は確率 (1 − 𝛿) で成り⽴つことが⽰されている[36][38]。
9

𝐿(𝑓) ) ≤ 𝐿f: (𝑓) , 𝑆) +€•42 ∑6!78 •2ƒ𝜔! + ƒ2 ln(2𝑑)„„ ∏6!78‖𝑤! ‖99 × ∑6!78
𝛾9𝑚‖𝑤! ‖9;𝑚+ ln • „𝛿
‖𝑤! ‖99

ここで、𝑑 は層数、𝑤! は第𝑖層への重み⾏列、𝜔! は𝑤! の要素数、𝑚 は訓練データセットのサイズである。なお、‖𝑤‖9 は⾏列 𝑤 のスペクトルノルム、‖𝑤‖; は 𝑤 のフロベニウスノルム
である。
この不等式の右辺の第 2 項は出⼒マージンの閾値 𝛾 を⼤きくすると汎化ギャップ（汎化
誤差と経験誤差の差）が⼩さくなることを表している。⼀⽅で、右辺の第 1 項 𝐿f: (𝑓) , 𝑆) は
𝛾 とともに増加する。これらのことは、出⼒マージンの⼤きい学習モデルの汎化誤差は⼩さ

28機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

くなることを意味しており、経験的な傾向とも⼀致している。⼀般に、この不等式による上界の⾒積りも 100% を超えることは多く、汎化性能の絶対的な評価への適⽤は難しいが、閾
値 𝛾 は汎化性能を相対的に評価する指標（汎化尺度）として有効である[36]。

6.4

ロバストネスによる汎化誤差上界の⾒積り

ロバストネスによる汎化誤差上界の⾒積り⽅法は PAC-Bayesian と呼ばれる分析⽅法を基礎にしている。この分析⽅法によって、訓練データセットに依存しない重みの分布 𝑃（訓練前の分布）と依存する分布 𝑄（訓練後の分布）について、次の不等式が確率 (1 − 𝛿) で成り⽴つことが⽰されている[39]。
12𝑚𝔼)~< [𝐿(𝑓) )] ≤ 𝔼)~< ‰𝐿f(𝑓) , 𝑆)Š + 4| ZKL(𝑄||𝑃) + ln[𝑚𝛿
ここで、KL(𝑄||𝑃)は KL ダイバージェンスと呼ばれる情報量であり、2 つの分布𝑄, 𝑃の異なる度合い（⼀致するときは0）を表す。例えば、𝑃 が平均 0 , 標準偏差 𝜎 の正規分布、𝑄 が平均 𝑤 , 標準偏差 𝜎 の正規分布ならば、分布𝑄, 𝑃の KL ダイバージェンスは次式により与えら
れる。
‖𝑤‖99
2𝜎 9
正規分布に対する KL ダイバージェンスの式を PAC-Bayesian に基づく不等式に代⼊して、訓練済み学習モデル 𝑓) の重みに正規分布のノイズを付加したときの汎化誤差 𝐿(𝑓) ) の期待
KL(𝑄||𝑃) =値 𝔼=~>(?,@)" [𝐿(𝑓)A= )] の上界は、次の不等式によって⾒積もることができる。この不等式は確率 (1 − 𝛿) で成り⽴つことが⽰されている[36]。
1 ‖𝑤‖92𝑚
𝔼=~>(?,@)" [𝐿(𝑓)A= )] ≤ 𝔼=~>(?,@)" ‰𝐿f(𝑓)A= , 𝑆)Š + 4| Ž 99 + ln•
𝑚 2𝜎𝛿
ここで、𝑤 は重み⾏列、𝑚 は訓練データセットのサイズである。この不等式の右辺の第 1 項
𝔼=~>(?,@)" ‰𝐿f(𝑓)A= , 𝑆)Š は、図 6.3 に⽰すように、訓練済み学習モデル 𝑓) の重みに平均 0 , 標
準偏差 𝜎 の正規分布ノイズを付加した場合の経験誤差 𝐿f(𝑓)A= , 𝑆) を複数回測定した平均値によって近似できる。






























 

1

図 6.3

各重み（訓練パラメータ）へのノイズ付加

29機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

⼀般に、このロバストネスによる汎化上界の⾒積り⽅法は、6.2 節の構造や 6.3 節の出⼒
マージンによる⾒積り⽅法よりは⼩さな上界を⾒積もることができるが、それでも 100%を超えることも多い。なお、この不等式の右辺の第 2 項はノイズの標準偏差 𝜎 を⼤きくす
ることによって汎化ギャップを⼩さくできることを⽰している。⼀⽅で、右辺の第 1 項はノイズ 𝜎 とともに増加する。これらのことは、ロバストネスの⾼い（ノイズに対して耐性のある）学習モデルの汎化誤差は⼩さくなることを意味しており、経験的な傾向とも⼀致している。6.3 節の出⼒マージンの閾値 𝛾 と同様に、𝜎 は汎化性能を相対的に評価する指標（汎化尺度）として有効である[36]。

6.5

汎化誤差上界の⾒積り精度

6.2〜6.4 節で紹介した基本的な⾒積り⽅法では、汎化誤差上界の計算結果が 100% を超える無意味な値になることが多い。これは、汎化誤差の研究の多くが、「訓練パラメータ数が訓練データ数より⾮常に多くても深層学習では汎化性能が得られる理由」の理論的な解明等を⽬標にしており、汎化性能の評価を⽬標にはしていなかったためである。その⼀⽅で、2019 年頃から汎化誤差上界を 100% 未満に抑えることを⽬標にした論⽂も発表されるようになってきた。以下、 100% 未満の無意味でない（non-vacuous）汎化誤差上界の⾒積りに関する最近の論⽂を 3 件紹介する。
汎化誤差上界⾒積り結果の分析⽅法

Pitas 等は PAC-Bayesian に基づく（ロバストネスによる）汎化誤差上界の⾒積り⽅法によって無意味でない上界が得られるかを分析する⽅法を提案した[39]。この分析⽅法では、図6.4 に⽰すように、横軸に訓練誤差（経験誤差）、縦軸に汎化ギャップをとり、その平⾯上に訓練済みの学習モデルをプロットした散布図を作成する。図 6.4 には、4 種類（初期値：
Zero, Init、最適化：Isotropic, MF-VI）の学習モデルを MNIST と CIFAR-10 で訓練したときの汎化ギャップの計算結果がプロットされている。各図の左下の灰⾊の領域は汎化誤差（ノイズ付加訓練誤差と汎化ギャップの和）が90%未満の無意味でない領域を表している（クラス
数は 10 のため、ランダムの分類器でも汎化誤差 90% は得られる）
。

汎
化
ギ
$
%
プ

汎
化
ギ
$
%
プ

ノイズ付加訓練誤差

ノイズ付加訓練誤差(a) MNIST データセット(b) CIFAR-10 データセット
図 6.4 ノイズ付加による訓練誤差と汎化ギャップの計算例（論⽂[39]の図 2）30

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

6.4 節のロバストネスによる汎化誤差上界の⾒積り⽅法で説明したように、重みに付加するノイズは⼩さくても⼤きくても⾒積もられる汎化誤差上界は⼤きくなる。この分析⽅法
はその最適なノイズの⼤きさを評価するために有効である。図 6.4 の例では、MNIST で訓練した学習モデルの汎化誤差は 50% 程度となっているが、CIFAR-10 では 100% 未満の汎化
誤差上界は得られていない。
学習モデル圧縮による汎化誤差上界⾒積り

Zhou 等は、PAC-Bayesian に基づく汎化誤差上界の⾒積り⽅法と学習モデルの圧縮法を組
み合わせて、ImageNet を例に、実⽤的なデータセットで訓練した学習モデルでも無意味でない100%未満の汎化誤差上界が得られることを⽰した[40]。ImageNet は 120 万枚の画像と1000 の分類クラスをもつデータセットであり、Zhou 等の論⽂以前は100%未満の汎化誤差
上界は得られていなかった。Zhou 等の⾒積り⽅法は、枝刈りと量⼦化の⽅法で圧縮した学習モデルの汎化誤差上界の⾒積り⽅法を提案しており、これによってより⼩さな（タイトな）
汎化誤差上界の⾒積りを可能にしている。この実験では、ImageNet で訓練した学習モデルの圧縮後の汎化誤差は 96.5% 以下であることを 95% の確率で保証できたことが報告されている。96.5% は 100% に近い値ではあるが、100% 未満にできたことが重要である。
周辺尤度 PAC-Bayesian による汎化誤差上界⾒積りPé rez 等は、既存の汎化誤差上界の⾒積り⽅法をサーベイし、その適⽤範囲（課される仮定の強さ）によって分類した[41]（2020 年 12 ⽉公開）
。この論⽂の詳細な内容については
現在も調査中であるが、既存技術の中では、周辺尤度を⽤いた PAC-Bayesian による汎化誤差上界⾒積りの精度が⾼いことが⽰されている。

6.6

まとめ

本調査の結果として、既存⼿法による汎化誤差上界の計算結果は 100% を超える無意味な値になることが多く、汎化性能の評価指標として適⽤することは、現時点では難しいことがみえてきた。その⼀⽅で、2019 年頃から汎化誤差上界を 100% 未満に抑えることを⽬標にした論⽂も発表されるようになってきており、その汎化誤差上界の⾒積り精度は改善されつつある。数年後には、汎化誤差上界も機械学習モデルの汎化性能の評価指標のひとつになりうると考える。今後は、最新の汎化誤差上界の⾒積り⽅法の調査を継続するとともに、実際に汎化誤差上界を計算するための実験を⾏い、その有効性を確認する。

31

機械学習品質評価・向上技術に関する報告書 第 1 版

7

敵対的データ検出技術

7.1

研究概要

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002与えられた⼊⼒画像が敵対的データ（Adversarial Example）であるかを判別する⽅法を実⽤的に確⽴することを⽬標として、敵対的データを⽣成する攻撃と検出⼿法について、下記の点に着⽬して代表的な技術の調査を実施している。
・ 敵対的データ検出プログラムコードの裏付けと計算実験による確認
・ 敵対的データ検出⼿法の論⽂の実験結果の再現
敵対的データ検出（Adversarial Examples Detection）とは、与えられた⼊⼒の中から敵対的データを検出することであり、既存の最先端の敵対的データ検出⽅法は次の 4 つの主要なカテゴリに分類できる。
① メトリックベースアプローチ（例. [42]）② ディノイザーアプローチ（例. [43]）③ 予測不整合ベースアプローチ（例. [44]）④ ニューラルネットワーク不変式チェック（NIC）アプローチ（例. [45]）
本章では、これら①〜④の各アプローチに基づく敵対的データ検出⼿法を⽐較・評価するために追試実験を⾏った結果について報告する。論⽂[45]に報告されているように、④のアプローチ（NIC：Neural Network Invariant Checking）が①〜④の中で最も⾼い検出率を⽰す
ことを確認できた。この追試実験において、①〜③については公開されている実装コードを使⽤したが、④については実装コードが公開されていなかったため、論⽂[45]にしたがって
NIC を実装して計算機実験を⾏った。そのため、本章では主に④の NIC について説明する。
以降、4 つのアプローチの概要を説明したのち、NIC による敵対的データの検出⽅法を説
明して、その実装⽅法について述べる。最後に、各アプローチの追試実験と NIC による実験の結果について述べる。

7.2

敵対的データ検出アプローチの概要

以下、最先端の敵対的データ検出のための４つのアプローチの概要について説明する。
メトリックベースアプローチ

⼊⼒（および各ニューロンの出⼒）の統計的測定を実⾏して、敵対的データを検出する⽅法であり、Ma 等は、最近、Local Intrinsic Dimensionality（LID）と呼ばれる測定の使⽤を提案した[42]。この⽅法では、サンプルの距離分布と個々のレイヤーの近隣の数を計算することによって、サンプルを囲む領域の空間充填能⼒を評価する LID 値を推定し、敵対的データ

32機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

が⼤きな LID 値を持つ傾向がある性質を⽤いて、敵対的データを検出している。LID は、敵対的データの検出に対して、従来のカーネル密度推定（KD）やベイジアン不確実性（BU）
よりも優れており、現在この種の検出器の最先端の技術となっている。
ディノイザーアプローチ（Denoiser、ノイズ除去）

各⼊⼒に対して前処理ステップでノイズを除去することによって敵対的データを検出する⽅法である。この⽅法では、学習モデル内の主要なコンポーネントを強調できるように、学習モデルまたはノイズ除去器（エンコーダーおよびデコーダー）をトレーニングして画像をフィルター処理する。このフィルターを⽤いて、攻撃者が敵対的データを⽣成するために追加したノイズを除去し、誤分類を修正することができる。MagNet[43]は、検出器とリフォーマー（トレーニング済みの⾃動エンコーダーと⾃動デコーダー）を使⽤して、敵対的デー
タを検出する⽅法である。
予測不整合ベースのアプローチ（Prediction inconsistency based approach）

元のニューラルネットワークと⼈間の知覚可能な属性で強化されたニューラルネットワ
ークとの間の不⼀致を測定して、敵対的データを検出する⽅法である。この⽅法の最先端の検出技術であるフィーチャスクイージング（Feature Squeezing）[44]は、さまざまな攻撃に対して⾮常に⾼い検出率を実現することができる。フィーチャースクイージングは、ディー
プニューラルネットワーク DNN の不必要に⼤きな⼊⼒特徴空間によって攻撃者が敵対的データを⽣成できることに着⽬しており、勾配ベースの攻撃の検出に焦点を当てている。フィーチャースクイージングによる敵対的データの検出⼿順を以下に⽰す。
1.

元の⼊⼒画像にスクイージング技術（画像の⾊深度を減らし、画像を平滑化する技
術）を適⽤して複数のスクイーズ画像を⽣成する。

2.

元の⼊⼒画像と複数のスクイーズ画像をディープニューラルネットワークに⼊⼒し、⼊⼒画像の推論結果（予測ベクトル）と各スクイーズ画像の推論結果との距離を測定する。

3.

元の⼊⼒画像とスクイーズ画像の差（距離）の⼀つがしきい値を超える場合に、元の⼊⼒画像を敵対的データとして検出する。
ニューラルネットワーク不変性チェック（NIC）アプローチ

NIC[45]では、ニューラルネットワーク内部の値の不変量（VI: Value Invariants）と来歴不変量（PI: Provenance Invariants）に着⽬する。値の不変量 VI は各層の可能なニューロン値の分布であり、来歴不変量 PI は 2 つの連続した層の可能なニューロン値パターン（2 層にわたるフィーチャ間の相関の要約）である。ある⼊⼒がこれらの不変量に違反している場合に、その⼊⼒は敵対的データとして検出される。それらの不変量 VI と PI を良性の⼊⼒デー
タで訓練し、敵対的データを検出する 1 クラス分類（OCC）問題としてモデル化する。上で説明した①〜③に基づく⼿法よりも⾼い検出率が報告されている[45]。以降、NIC のシステム設計概要と実装について、各々7.3 節と 7.4 節で詳しく説明する。

33

機械学習品質評価・向上技術に関する報告書 第 1 版

7.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

NIC のシステム設計概要

NIC の検出器の構築と検出の⼿順（ステップ A〜C：訓練時、D〜E：実⾏時）を図 7.1 を⽤いて説明する[45]。この不変量 VI,PI の訓練では、敵対的ではない良性のデータのみを使
⽤する。

図 7.1

システム設計概要（論⽂[45]の図 8）・ ステップ A：各訓練データ⼊⼒の各層で各ニューロンの出⼒値を収集する。
・ ステップ B：各層 𝑘 （例えば、L1、L2）に対して、⼊⼒層から 𝑘 層までのサブモデルを抽出し、元のモデルと同じ出⼒ラベルをもつ新しい softmax 層を追加して、派⽣モ
デル（図 7.1 中の DerivedModel）を作成する
・ ステップ C：すべての派⽣モデルに対して各良性訓練データを⼊⼒し、これらのモデルの最終出⼒（すなわち、個々のクラスの出⼒確率値）を収集する。連続する層の組ごとに、この派⽣モデルの分類結果の分布を⽤いて訓練する。この訓練された分布が、これらの 2 つの層の PI となる。
・ ステップ D：各テストデータ t（例えば、図 7.1 中の“4”の画像）を、元のモデルの他に、すべての派⽣モデルにも⼊⼒して、元のモデルの各層の活性化値を観測値 OV（例
えば、図 7.1 中の OV(L1,t)）と、連続した層の派⽣モデルの分類結果（組）を収集す

34

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

る。この分類結果から観測された出処 OP（例えば、OP(L1,L2,t)など）を得る。
・ ステップ E：OV と OP が対応する VI と PI の分布に適合する確率 D を計算する。⼊⼒t が敵対的である可能性を、これらの D 値をすべて集約して同時予測する。

7.4

NIC のシステム実装

NIC に基づいて敵対的データを検出するために、PI と VI から直和空間（ベクトル）を構成し、このベクトルを分類するための OSVM（One Class Support Vector Machine）を構築する。訓練済みの DNN（Deep Neural Network）のモデル（以降、これを M と記述する）の層
𝑙 に対する⼊⼒を 𝑥B とするとき、層 𝑙 の出⼒ 𝑓B は次式により与えられる。
𝑓B = 𝜎(𝑥B ∙ 𝑤BC + 𝑏B )ここで、𝜎 は層 𝑙 の活性化関数、𝑤BC は重み⾏列、𝑏B はバイアスである。このとき、VI とPI、および OSVM で分類する直和空間は次のように求められる。
・ VI の計算：モデル M の各層 𝑙 の VI は以下の最適化問題を解いて決定する。
𝑉𝐼B = min • g 𝐽(𝑓B ∘ 𝑓BD8 ∘ ⋯ ∘ 𝑓8 (𝑥) ⋯ 𝑤 C − 1)˜+∈E#

ここで、 𝐽 はエラー評価関数、𝑋F は M を作成する際に使⽤したバッチである。また、∘ はモノイドであり、この場合では、𝑓G をベクトル化したものである。
・ PI の計算：𝑃𝐼B,BA8 (𝑥)は層 𝑙 および層𝑙 + 1 の派⽣モデルの分類出⼒に基づいて、𝑥 が良性である（敵対的でない）確率は、次の最適化問題を解いて推測する。
𝑃𝐼B,BA8 (𝑥) = min • g 𝐽(𝑐𝑜𝑛𝑐𝑎𝑡(𝐷B (𝑥), 𝐷BA8 (𝑥)) ⋯ 𝑤 C − 1)˜+∈E#

ここで、層 𝑙 の派⽣モデル𝐷B は、層 𝑙 の後に softmax 層を追加してのように定義される。
𝐷B = softmax ∘ 𝑓B ∘ 𝑓BD8 ∘ ⋯ ∘ 𝑓8
・ PI と VI の直和空間：上記の最適化により求めた VI と PI から、モデル M の学習デー
タのバッチごとに以下の直和空間（ベクトル）を作成する。
𝑉𝐼8 ⨁ 𝑃𝐼8,9 ⨁ 𝑉𝐼9 ⨁ 𝑃𝐼9,H ⋯ 𝑉𝐼$ ⨁ 𝑃𝐼$D8,$ ⨁ 𝑉𝐼$
このベクトルは 𝐿 × 3 次元（𝐿 は M の層数）であり、これは個数𝐵 のベクトル空間（直和空間）になる。NIC ではこの空間に対して OSVM を⾏う。

7.5

計算機実験

敵対的データ検出技術（NIC)の効果を確認するため、下記の実験環境で、論⽂[45]の実験の追試を⾏なった。

35

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

・ ハードウェア環境：産総研 ABCI[46]・ データセット：画像分類の実験には、MNIST[47]、CIFAR-10[48]の２つの⼀般的な画像
データセットを⽤いた。MNIST は⼿書き数字認識に使⽤されるグレースケール画像データセットであり、CIFAR-10 はオブジェクト認識に使⽤されるカラー画像データセットである。なお、NIC に対しては、LFW（顔画像）[49]についても実験を⾏った。
・ 攻撃：敵対的データの⽣成には、⾮標的型攻撃（FGSM 𝐿9 , 𝐿I ）、標的型攻撃 JSMA、
9
勾配ベースの攻撃（CW 𝐿 ）の⽅法を使⽤した。FGSM と JSMA の実装には、Cleverhans
ライブラリ[50]を使⽤した。
最初に、①〜③の各アプローチに基づく敵対的データ検出⼿法を評価するため、LID[42]、MagNet[43]、フィーチャスクイージング[44]の公開されている実装コードを⽤いて、各論⽂の追試実験を⾏った。その結果、各論⽂に報告されている検出率を確認でき、この 3 つの中
では、フィーチャスクイージングが最も⾼い検出率を⽰していた。
次に、④のアプローチに基づく敵対的データ検出⼿法を評価するため、7.4 節で実装した
NIC のコードを⽤いて実験を⾏った。表 7.1〜表 7.3 に、各々、MNIST、CIFAR-10、LFW の
データセットに対する敵対的データ検出計算実験の結果⽰す。ここで、正答率は、7.4 節で説明した分類器（OSVM）に敵対的データを⼊⼒し、敵対的データであると判定された割合である。なお、実験に使⽤した CNN モデルは LeNet5、OSVM の Kernel は RBF（MNIST：𝛾 = 0.1~0.27 , CIFAR-10：𝛾 = 0.11~0.2, LFW：𝛾 = 0.005~0.90）である。本実験結果では、論⽂[45]で報告されていたデータセットや攻撃⽅法だけでなく、報告されていないデータセ
ット LFW、攻撃⽅法（FGSM 𝐿I ）についても⾼い検出性能を確認することができた。
表 7.1

Data Set

MNIST データセットに対する敵対的データ検出計算実験結果

AttackInvariant

正答率

データ件

論⽂[45]正答率

数
MNIST

FGSM L2

FGSM L∞

JSMA

CW2

Trojan

VI

97%

PI

98%

84%

NIC

97%

VI

98%

100%
―

PI

98%

―

NIC

98%

―

VI

100%

PI

100%

100%

NIC

100%

100%

VI

100%

PI

100%

96%

NIC

100%

100%

VI

100%

PI

100%

100%

NIC

100%

100%

36

2800

2800

280

280

3200

100%

83%

95%

100%

機械学習品質評価・向上技術に関する報告書 第 1 版

表 7.2

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

CIFAR-10 データセットに対する敵対的データ検出計算実験結果

Data Set

AttackInvariant

正答率

データ件
数

CIFAR-

FGSM L2

VI

99%

6400

PI

99%

52%

NIC

99%

VI

100%

100%
―

PI

100%

―

NIC

100%

―

VI

97%

PI

95%

100%

NIC

96%

100%

VI

98%

PI

95%

89%

NIC

96%

100%

VI

100%

PI

100%

100%

NIC

100%

100%

10
FGSM L∞

JSMA

CW2

Trojan

表 7.3

6400

320

320

3200

論⽂[45]正答率
100%

62%

88%

100%

LFW データセットに対する敵対的データ検出計算実験結果

Data Set

AttackInvariant

正答率

データ件
数

LFW

FGSM L2

VI

98%

28222

PI

98%

―

NIC

98%

―

VI

100%

PI

100%

―

NIC

100%

―

VI

100%

PI

100%

―

NIC

100%

―

VI

100%

PI

100%

―

NIC

100%

―

VI

100%

PI

100%

―

NIC

100%

―

FGSM L∞

JSMA

CW2

Trojan

37

2822

280

840

3200

論⽂[45]正答率
―

―

―

―

―

機械学習品質評価・向上技術に関する報告書 第 1 版

8

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

運⽤時における AI 品質管理技術
本章では、運⽤時における AI 品質管理技術として、コンセプトドリフトと呼ばれる時間経過に伴うデータ分布の変化に対し、その分布変化の検知と、変化後の分布に機械学習モデ
ルを適応させる最新技術の調査結果について報告する。
コンセプトドリフトは、運⽤中の AI システム内で稼働する機械学習モデルの性能低下を引き起こす主な原因の 1 つである。そのため、システムの運⽤開始時点で充⾜されていた品質を、運⽤期間を通じて維持するためには、ドリフトが⽣じているか否かを継続的に監視することに加え、必要に応じてシステム内の機械学習モデルを最新のデータを⽤いて再学習することで、ドリフト後の分布にシステムを適応させることが必要である。特に近年の機械学習技術の利⽤拡⼤に伴い、今後の AI システムの運⽤場⾯では、これまで扱われなかった種類のデータを含め、正解ラベル付けされていない⼤量のデータを短期間で処理することが求められる。
そこで、2019〜2020 年度において、運⽤中の機械学習モデルの性能維持を⽬的として、
上記のコンセプトドリフトの検知および適応を⾏う最新技術に関する調査を⾏った。その結果、これまでに開発されている⼿法の多くが、検知および適応時に運⽤中に新たに取得した⼊⼒データの正解ラベルを⽤いる教師あり⼿法であった。しかしながら、正解ラベルは必ずしも⼊⼿できるとは限らず、⼊⼿できたとしてもコストがかかる場合が多い。そのため、適⽤可能性を広げるため、または運⽤コストを削減するためには、それらの正解ラベルを⽤いない「教師なし⼿法」や、少数の正解ラベルのみ限定的に⽤いる「半教師あり⼿法」が有望であることがわかった。そこで、その視点から整理し検討した調査結果をサーベイとしてまとめた。各サーベイに関する詳細については、検知⼿法に関しては機械学習品質マネジメ
ントガイドライン[1] 7.8 節を、適応⼿法に関しては⽂献[51]をそれぞれ参照されたい。

38

機械学習品質評価・向上技術に関する報告書 第 1 版

9

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

学習モデル情報の可視化
ブラックボックスである学習モデルの構造や挙動についての分析を⽀援する⼿法として、情報可視化技術の導⼊が進んでいる。このような学習モデル可視化に関し、以下の 2 点を⽬的として新たな⼿法の研究を開始した。
・ 複数のモデル間の差分・⽐較結果の可視化（⼈間が解釈・理解しやすい表現を⽤いた可視化の実装）
・ モデルに反映されている作業者（アノテータ、モデル設計者）の感性の可視化（品質評価に⽤いることができる新たな要素の提案）
本章では、まず近年の学習モデル可視化技術の調査結果について解説し、その後、2020年度に試作した、モデル⽐較のための可視化ツールの実⾏例、今後の実装⽅針について報告
する。

9.1

機械学習⽀援のための可視化⼿法についての調査

機械学習を対象とした可視化⼿法の基本的な⽬的はモデルの解釈可能性の向上であり、近年注⽬されている XAI（Explainable AI）と⼤きな関連がある。XAI の定義や評価⽅法について確定的なものは存在しないが、XAI の分類を試みる論⽂等は多数発表されているため、これらに沿って可視化の⽬的や⼿法を考案することができる。[52]では解釈可能性を上げるためのアプローチについて以下の 4 通りに分類している。この中では特に(2)(4)について可視化が貢献できる余地が⾼く、研究事例も多いとみられる。
(1) ⼤局的な説明（簡易なモデルによる複雑なモデル構造の近似）(2) 局所的な説明（モデルの出⼒結果に関する判断根拠の説明）(3) 説明可能なモデルの設計（設計段階での可読性の⾼いモデルの作成）(4) 深層学習モデルの説明（画像データ内でモデルが認識している部分のハイライトなど）
このような機械学習の可視化⼿法は継続的に研究されており、⽤途や対象事例が多様であるためサーベイ論⽂も増加している。例えば[53]では、深層学習可視化⼿法について
5W1H の要素に沿って解説、分類している。深層学習可視化分野の全体的な⽅向性や課題についても多数提⽰しており、特に品質評価のための可視化⼿法の開発を⽬指す本研究と関わりの深いものとして「モデル評価のためのインタラクションの改良」「モデルに対する⼈の積極的な関与による解釈可能性の向上」などが挙げられる。
機械学習可視化の研究が進み、実社会でも利⽤される機会が増加するにつれて、1 つの可視化画⾯で複合的な分析が⾏われる傾向が強まっている。従来は単体のモデルの詳細な分
析や、データ（[54]）かモデル構造（[55]）のいずれかに特化した可視化などが多かった。
しかし近年はデータとモデル構造の複合的な可視化⼿法や、複数のモデルを⽐較することを⽬的とした可視化⼿法についても研究が進んでいる。機械学習モデルを構成する要素は

39

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

膨⼤なものとなるため、例えばモデル単体の可視化結果をモデル個数分作成し、並べて⽐較するには⼤きな⼿間がかかる。また、⽐較しようとするモデル間の構造や精度の差が⼩さく、モデルの特徴などを⾒落とす可能性も考えられる。そのため、差分を強調する表現を⽤い、限られた画⾯内で効率的に差分を発⾒できるようにする可視化⼿法の必要性が⾼い。
（例えば[56]では、10 種類以上のモデルについてデータの⼊⼒から出⼒までのパイプライン、ハ
イパパラメータの値などを⼀画⾯で⽐較できる。
）
ここまでで、モデル⾃体の性質や精度に関する可視化⼿法についての傾向と事例を紹介した。これと並⾏して、モデル作成に関わる作業者（アノテータ、設計者）とモデルとの関
わり⽅についても調査を進めた。画像認識などの分野では⼈の認識能⼒を超える精度を持つモデルが開発される⼀⽅で、「モデルの精度を向上させるためには積極的な⼈の介⼊が望ましい」という提⾔は分野を問わず根強い。AI と⼈との関係性やモデル作成過程での効果的な介⼊⽅法に関し、以下のような項⽬について議論した論⽂が多く存在する。
・ 学習過程での、モデルの精度を向上させるための操作（調整や評価）の導⼊⽅法
・ 操作性が良く、作業者のモチベーションを維持しやすいインタフェースの設計⽅法
・ 認知科学、⼼理学のような関連分野との連携
⼀例として[57]では、モデルの評価・改善のためのフィードバックを課された作業者の⼼理状態について検証しており、「モデルに正しい処理⼿順を直接指⽰できることを好む」「⾃⾝の⾏動によってモデルの精度が改善されていることが可視化されると、モチベーションの向上やより積極的なフィードバックを⾒込める」などの傾向を紹介している。このような作業者⾃⾝の情報や、各作業者がモデルに与えた影響についての可視化事例は少ないという印象だが、以下のように品質保証の根拠として採⽤できると考えられる。
・ 分析対象の事例、あるいは機械学習の専⾨家がモデル作成に参加していた場合、彼らの知識が⼗分にモデルの挙動に反映されていることを⽰す
・ どの作業者の⾏動がモデルに強く反映されているのかを⽰し、調整するべき要素（データ、パラメータなど）を特定するための⼿がかりとする
以上のような調査結果から、本研究では学習モデル可視化⼿法のうち特に「複数モデルの⽐較可視化」「作業者の感性に関する可視化」を重要視し、これらの性質を併せ持つような可視化ツールの設計を進めた。

9.2

モデルの差分可視化ツールの試作

上述した調査結果をもとに複数モデルの⽐較に特化した可視化ツールの検討、試作を進めた。本ツールの主なユーザをモデルの設計者と想定し、可視化に不慣れなユーザが含まれる可能性を考慮して基本的な可視化⼿法（折れ線グラフ、棒グラフなど）を組み合わせ、それらの連携（関連部分のハイライトなど）を積極的に⾏うという⽅針で実装した。図 9.1 は試作した可視化ビューの⼀覧であり、2 つの簡易なモデルについて MNIST の学習・出⼒結果を可視化したものである。

40

機械学習品質評価・向上技術に関する報告書 第 1 版

図 9.1

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

実装した可視化ビューの⼀覧

JupyterLab 上で主に機械学習ライブラリ PyTorch、可視化ライブラリ Bokeh などを⽤いて以下のように作成し、2 つのモデルの特徴を⽐較できるようにした。
(1) 各モデル構造のネットワーク(2) クラスごとの出⼒結果の棒グラフa)b)

モデルごとの可視化
2 つのモデル間の差分の可視化(3) モデルごとの、選択した 2 クラス間の出⼒結果相関の散布図(4) 精度の折れ線グラフ(5) 特に⾼い（低い）確信度で分類されたデータのサムネイル⼀覧
図 9.2 は、2 つのモデルについて MNIST に対する出⼒を分類した結果の例である。横軸
は 0〜9 のクラス、縦軸はデータ数を表す。それぞれの棒の⾊分けは、2 つのモデルについての正解（T）
・不正解（F）の組み合わせを表したものである。TF（FT）は「モデル 1（2）のみ正しく分類できたデータ」を意味する。学習開始直後（図 9.2 左）は、モデル 1 がクラス 0、1、7、モデル 2 がクラス 2、6、8 での正解率が⾼く、それぞれのモデルが異なる強みを持っていたことがわかる。学習が進んだ段階（図 9.2 右）ではどちらのモデルも多くのクラスで正解率が⾼くなっている。特にモデル 1 はモデル 2 が不得意とするクラス 3、4、5、7 を含めて正答率が⾼く、この段階ではモデル 1 の学習の⽅がモデル 2 よりも進んでいる
ことがわかる。

41

機械学習品質評価・向上技術に関する報告書 第 1 版

図 9.2

9.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

２つのモデルの出⼒結果⽐較の例

今後の⽅針

図 9.1 のビューに加えて、作業者の感性可視化のためのビューを追加する。具体的には（1）学習過程での作業内容と精度変化の時系列可視化 （2）モデルに対するアノテータとモデル設計者の感性反映度の可視化、の実装を進める。これらの可視化で必要となる作業者の情報について、当⾯は学習や調整作業のログから得られる情報を元に可視化を試み、ユー
ザの負担が⼤きくなるインタラクティブな操作での⼊⼒が過剰にならないようにする。また、追加予定の 2 種を含めた各可視化ビューについて、連携機能の強化や重要な差分に注⽬させる表現の実装を進めたい。

42

機械学習品質評価・向上技術に関する報告書 第 1 版

10

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

参考⽂献リスト（1 章の参考⽂献）[1] ⼤岩 寛（産総研）他, 機械学習品質マネジメントガイドライン,
第 1 版：CPSEC-TR-2020001, 2020 年 6 ⽉, 第 2 版：CPSEC-TR-2021001, 2021 年 6 ⽉.
https://www.cpsec.aist.go.jp/achievements/aiqm/[2] 中島 震（情報研）, 敵対的なセマンティック・ノイズの実⾏時検知, 情報処理学会・ソフトウェア⼯学研究会, 2020 年 7 ⽉.
[3] 中島 震（情報研）, 統計的な部分オラクルによるテスティング⽅法, ⽇本ソフトウェア科学会⼤会, 2020 年 9 ⽉.
[4] 中島 震（情報研）, ニューラルネットワーク・ソフトウェアの頑健性検査, 情報処理学会・ソフトウェア⼯学研究会, 2020 年 11 ⽉.
[5] Shin Nakajima (NII), Software Testing with Statistical Partial Oracles, 10th SOFL+MSVL,
2021 年 3 ⽉.
[6] 中島 震（情報研）, 訓練済み機械学習モデル歪みの定量指標, 電⼦情報通信学会・ソフ
トウェアサイエンス研究会, 2021 年 3 ⽉.
[7] ⾼瀬朝海（産総研）, 星野貴⾏（慶⼤）, 畳み込みニューラルネットワークの特徴マップへの Data Augmentation 適⽤, 第 23 回画像の認識・理解シンポジウム,2020 年 8 ⽉.
[8] Tomoumi Takase（AIST）, Dynamic batch size tuning based on stopping criterion for neuralnetwork training, Neurocomputing, Volume 429, pp.1-11, 2021 年 3 ⽉.
（3 章の参考⽂献）[9] Gontijo-Lopes, R., Smullin, S. J., Cubuk, E. D., and Dyer, E., Affinity and Diversity:
Quantifying Mechanisms of Data Augmentation. arXiv preprint arXiv:2002.08973, 2020.
[10] Cubuk, E. D., Zoph, B., Shlens, J., and Le, Q., RandAugment: Practical Automated Data
Augmentation with a Reduced Search Space. In Neural Information Processing Systems, 33,
2020.
[11] Zhang, H., Cisse, M., Dauphin, Y. N., and Lopez-Paz, D., Mixup: Beyond Empirical Risk
Minimization. In International Conference on Learning Representations, 2018.
[12] Verma, V., Lamb, A., Beckham, C., Najafi, A., Mitliagkas, I., Lopez-Paz, D., and Bengio, Y.,
Manifold Mixup: Better Representations by Interpolating Hidden States. In International
Conference on Machine Learning, pp. 6438–6447, PMLR, 2019.
[13] Kim, J-H., Choo, W., and Song, H. O., Puzzle mix: Exploiting saliency and local statistics for
optimal mixup. In International Conference on Machine Learning, 2020.
[14] Beckham, C., Honari, S., Verma, V., Lamb, A., Ghadiri, F., Hjelm, R. D., Bengio, Y., and Pal, C. On
adversarial mixup resynthesis. In Neural Information Processing Systems, 2019.

43

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002（4 章の参考⽂献）[15] 中島 震, ソフトウェア⼯学から学ぶ機械学習の品質問題，丸善出版 2020.
[16] Pei, K., et al., DeepXplore: Automated Whitebox Testing of Deep Learning Systems, In Proc.
26th SOSP, 2017, pp.1-18.
[17] Nakajima, S., Distortion and Faults in Machine Learning Software, In Post-Proc. 9th
SOFL+MSVL, 2020, pp.29-41.
[18] Ma, L., et al., DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems, In
Proc. ASE, 2018, pp.120-131.
[19] Tian, Y., et al., DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous
Cars, In Proc. 40th ICSE, 2018, pp.303-314.
[20] Zhang, M., et al., DeepRoad: GAN-Based Metamorphic Testing and Input Validation
Framework for Autonomous Driving Systems, In Proc. ASE, 2018, pp.132-142.
[21] Zhang, P, et al., CAGFuzz: Coverage-Guided Adversarial Generative Fussing Testing of Deep
Learning Systems, arXiv:1911.07931, 2019.
[22] Harel-Canada, F., et al., Is Neuron Coverage a Meaningful Measure for Testing Deep Neural
Networks? In ESEC/FSE, 2020, pp.851-862.
[23] Kim, J. et al., Guiding Deep Learning System Testing Using Surprise Adequacy, In Proc. 41st
ICSE, 2019, pp.1039-1049.
（5 章の参考⽂献）[24] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian
Goodfellow, and Rob Fergus, Intriguing properties of neural networks, The International
Conference on Learning Representations (ICLR 2014), pp.1-10,
2014. https://arxiv.org/abs/1312.6199[25] Guy Katz, Clark Barrett, David Dill, Kyle Julian, and Mykel Kochenderfer, Reluplex: An
Efficient SMT Solver for Verifying Deep Neural Networks, International Conference on
Computer-Aided Verification (CAV), 2017. https://arxiv.org/abs/1702.01135[26] Vincent Tjeng, Kai Xiao, and Russ Tedrake, Evaluating robustness of neural networks with
mixed integer programming, International Conference on Learning Representations (ICLR),
2019. https://arxiv.org/abs/1711.07356[27] Tsui-Wei Weng, Huan Zhang, Hongge Chen, Zhao Song, Cho-Jui Hsieh, Duane Boning, Inderjit
S. Dhillon, and Luca Daniel, Towards Fast Computation of Certified Robustness for ReLU
Networks, International Conference on Machine Learning, PMLR 80, pp.5276-5285, 2018.
https://arxiv.org/abs/1804.09699[28] Akhilan Boopathy, Tsui-Wei Weng, Pin-Yu Chen, Sijia Liu, and Luca Daniel, CNN-Cert: An
Efficient Framework for Certifying Robustness of Convolutional Neural Networks, The
Thirty-Third AAAI Conference on Artificial Intelligence (AAAI 2019), pp.3240-3247, 2019.
https://arxiv.org/abs/1811.12395[29] Tsui-Wei Weng, Pin-Yu Chen, Lam Nguyen, Mark Squillante, Akhilan Boopathy, Ivan

44

機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

Oseledets, and Luca Daniel, PROVEN: Verifying Robustness of Neural Networks with a
Probabilistic Approach, International Conference on Machine Learning (ICML 2019), PMLR
vol. 97, pp.6727-6736, 2019. http://proceedings.mlr.press/v97/weng19a.html[30] Nicholas Carlini and David Wagner, Towards Evaluating the Robustness of Neural Networks,
IEEE Symposium on Security and Privacy (SP), pp.39-57, 2017.
https://arxiv.org/abs/1608.04644[31] Tsui-Wei Weng, Huan Zhang, Pin-Yu Chen, Jinfeng Yi, Dong Su, Yupeng Gao, Cho-Jui Hsieh,and Luca Daniel, Evaluating the Robustness of Neural Networks: An Extreme Value Theory
Approach, International Conference on Learning Representations (ICLR 2018), 2018.
https://arxiv.org/abs/1801.10578[32] Eric Wong and J. Zico Kolter, Provable defenses against adversarial examples via the convex
outer adversarial polytope, International Conference on Machine Learning (ICML 2018),
PMLR vol. 80, pp.5283-5292, 2018. https://arxiv.org/abs/1711.00851[33] Mathias Lecuyer, Vaggelis Atlidakis, Roxana Geambasu, Daniel Hsu, and Suman Jana,
Certified Robustness to Adversarial Examples with Differential Privacy, The IEEE
Symposium on Security and Privacy (SP), 2019. https://arxiv.org/abs/1802.03471[34] Jeremy M Cohen, Elan Rosenfeld, and J. Zico Kolter, Certified Adversarial Robustness via
Randomized Smoothing, The 36th International Conference on Machine Learning (ICML2019), 2019. https://arxiv.org/abs/1902.02918[35] Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian
Vladu, Towards Deep Learning Models Resistant to Adversarial Attacks, The Sixth
International Conference on Learning Representations (ICLR 2018), 2018.
https://arxiv.org/abs/1706.06083（6 章の参考⽂献）[36] Yiding Jiang, Behnam Neyshabur, Hossein Mobahi, Dilip Krishnan, and Samy Bengio,
Fantastic Generalization Measures and Where to Find Them, International Conference on
Learning Representations (ICLR 2020). https://arxiv.org/abs/1912.02178[37] Peter L. Bartlett, Nick Harvey, Christopher Liaw, and Abbas Mehrabian, Nearly-tight VCdimension and Pseudodimension Bounds for Piecewise Linear Neural Networks, Journal of
Machine Learning Research, Vol.20, No.63, pp.1−17, 2019.
https://jmlr.org/papers/v20/17-612.html[38] Konstantinos Pitas, Mike Davies, and Pierre Vandergheynst, PAC-Bayesian Margin Bounds
for Convolutional Neural Networks, arXiv:1801.00171, 2018.
https://arxiv.org/abs/1801.00171[39] Konstantinos Pitas, Dissecting Non-Vacuous Generalization Bounds based on the MeanField Approximation, ICML 2020. arXiv:1909.03009, 2020.
https://arxiv.org/abs/1909.03009[40] Wenda Zhou, Victor Veitch, Morgane Austern, Ryan P. Adams, and Peter Orbanz,
Non-vacuous Generalization Bounds at the ImageNet Scale: a PAC-Bayesian Compression

45機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002

Approach, ICLR 2019. https://arxiv.org/abs/1804.05862[41] Guillermo Valle-Pé rez and Ard A. Louis, Generalization bounds for deep learning,
arXiv:2012.04115v2, 2020. https://arxiv.org/abs/2012.04115（7 章の参考⽂献）[42] X. Ma, Characterizing adversarial subspaces using Local Intrinsic Dimensionality, 2018.
[43] D. Meng , Magnet: a two-pronged defense against adversarial examples, in Proceedings ofthe 2017 ACM SIGSAC Conference on Computer and Communications Security. ACM, 2017.
[44] W. Xu, Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks, inProceedings of the 2018 Network and Distributed Systems Security Symposium (NDSS),
2018.
[45] Shiqing Ma, NIC: Detecting Adversarial Samples with Neural Network Invariant Checking,
Network and Distributed Systems Security Symposium (NDSS), NDSS 2019.
[46] 産業技術総合研究所, AI Bridging Cloud Infrastructure, https://abci.ai/ja/[47] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, Gradient-based learning applied to document
recognition, Proceedings of the IEEE, vol. 86, no. 11, pp.2278–2324, 1998. [Online].
Available: http://yann.lecun.com/exdb/mnist/[48] A. Krizhevsky and G. Hinton, Learning multiple layers of features from tiny images, 2009.
[49] G. B. Huang, M. Ramesh, T. Berg, and E. Learned-Miller, Labeled faces in the wild: A databasefor studying face recognition in unconstrained environments, University of Massachusetts,
Amherst, Tech. Rep. 07-49, October 2007.
[50] Nicolas Papernot, Ian Goodfellow, Ryan Sheatsley, Reuben Feinman, and Patrick McDaniel.
cleverhans v1.0.0: an adversarial machine learning library. arXiv preprint arXiv:1610.00768,
2016.
（8 章の参考⽂献）[51] ⼤川 佳寛, ⼩林 健⼀, ラベルなし運⽤データに対するコンセプトドリフト適応技術に関するサーベイ, 第 35 回 ⼈⼯知能学会全国⼤会，2021 年 6 ⽉.
（9 章の参考⽂献）[52] 原 聡, 私のブックマーク「機械学習における解釈性」, ⼈⼯知能, vol. 33, no. 3, pp. 366369, 2018.
[53] Fred Hohman, Minsuk Kahng, Robert Pienta, Duen Horng Chau, Visual Analytics in Deep
Learning: An Interrogative Survey for the Next Frontiers, IEEE Transactions on
Visualization and Computer Graphics, vol. 25, no. 8, pp. 2674-2693, 2018.
[54] Bilal Alsallakh, Amin Jourabloo, Mao Ye, Xiaoming Liu, Liu Ren, Do Convolutional Neural
Networks Learn Class Hierarchy?, IEEE Transactions on Visualization and Computer
Graphics, vol. 24, no. 1, pp. 152-162, 2018.

46機械学習品質評価・向上技術に関する報告書 第 1 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2021-02 / CPSEC-TR-2021002[55] Mengchen Liu, Jiaxin Shi, Kelei Cao, Jun Zhu, Shixia Liu, Analyzing the Training Processes of
Deep Generative Models, IEEE Transactions on Visualization and Computer Graphics, vol.24,
no.1, pp.77-87, 2018.
[56] Jorge Piazentin Ono, Sonia Castelo, Roque Lopez, Enrico Bertini, Juliana Freire, Claudio Silva,
PipelineProfiler: A Visual Analytics Tool for the Exploration of AutoML Pipelines, IEEE
Transactions on Visualization and Computer Graphics, vol.27, no.2, pp.390-400, 2021.
[57] Saleema Amershi, Maya Cakmak, W. Bradley Knox, Todd Kulesza, Power to the People: The
Role of Humans in Interactive Machine Learning. AI Magazine, vol.35, no.4, pp.105-120,2014.

47