機械学習品質評価・向上技術に関する報告書
機械学習品質マネジメントガイドライン付属⽂書
第3版

2023 年 12 ⽉ 12 ⽇版

国⽴研究開発法⼈産業技術総合研究所
デジタルアーキテクチャ研究センター
テクニカルレポート DigiARC-TR-2023-04
サイバーフィジカルセキュリティ研究センター
テクニカルレポート CPSEC-TR-2023004
⼈⼯知能研究センター
テクニカルレポート

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

まえがき
国⽴研究開発法⼈新エネルギー・産業技術総合開発機構（NEDO）受託業務（JPNP 20006）「機械学習システムの品質評価指標・測定テストベッドの研究開発」では、機械学習品質を説明可能にするために機械学習品質マネジメントガイドライン[1]を開発しており、このガ
イドライン開発と並⾏して、機械学習品質の評価・向上技術の調査・研究開発も⾏っている。
本調査・研究開発は現在も継続中であるが、機械学習品質マネジメントガイドラインに記載されている品質評価に関する技術的な知⾒も得られているため、本稿では、これまで（2019〜2022 年度）の本調査・研究開発の内容と結果について報告する。

i機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

⽬次
1

2

3

4

5

6

はじめに································································································································· 1
1.1

本調査・研究開発の概要 ····························································································· 1

1.2

著者リスト ··················································································································· 3

1.3

謝辞 ····························································································································· 4

機械学習モデル情報の可視化 ································································································ 5
2.1

機械学習⽀援のための可視化⼿法についての調査 ······················································ 52.2

機械学習モデルと作業者情報の可視化⼿法の提案 ······················································ 6

2.3

今後の⽅針 ················································································································· 12

データ拡張による品質向上·································································································· 13
3.1

学習データ数と識別率の関係（予備実験） ······························································· 133.2

識別率の平均値と標準偏差の評価 ············································································· 14

3.3

データ拡張⼿法の組み合わせの効果 ·········································································· 15

3.4

まとめ ························································································································ 16

データ拡張の適⽤法の改良による品質改善 ········································································ 17
4.1

研究⽬的 ···················································································································· 17

4.2

データ拡張の適⽤層の改良 ························································································ 17

4.3

Mixup の改良による新しい混ぜ合わせ⽅法の提案 ····················································· 20

深層 NN ソフトウェアのデバッグ・テスティング ······························································ 25
5.1

不具合の直接原因 ······································································································ 25

5.2

内部指標 ···················································································································· 26

5.3

実験の⽅法と結果 ······································································································ 26

5.4

関連研究 ···················································································································· 29

5.5

おわりに ···················································································································· 30

訓練データのデバッグ・テスティング ··············································································· 31
6.1

３つの問題設定·········································································································· 31

6.2

訓練データのデバッグ問題 ························································································ 31

ii

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

6.3

外れ値とニューロン・カバレッジ ············································································· 34

6.4

実験と考察 ················································································································· 37

6.5

おわりに ···················································································································· 44

7

ロバストネスの評価・向上技術 ·························································································· 45
7.1

ロバストネスの指標（最⼤安全半径） ······································································ 45

7.2

ロバストネスの評価・向上技術調査結果··································································· 46

7.3

まとめ ························································································································ 51

8汎化誤差の評価技術 ············································································································ 52
8.1

汎化誤差と経験誤差··································································································· 52

8.2

汎化誤差上界に関する定理 ························································································ 53

8.3

汎化誤差上界の計算法 ······························································································· 56

8.4

ノイズ付加汎化誤差上界の計算実験 ·········································································· 58

8.5

考察 ··························································································································· 60

8.6「機械学習モデルの安定性」評価に向けて ······························································· 63

9敵対的データ検出技術 ········································································································· 64
9.1

研究概要 ···················································································································· 64

9.2

敵対的データ検出アプローチの概要 ·········································································· 64

9.3

NIC のシステム設計概要 ···························································································· 66

9.4

NIC のシステム実装 ··································································································· 67

9.5

計算機実験 ················································································································· 67

9.6

NIC フレームワークの実装························································································· 70

9.7

Kullback-Leibler 情報量による NIC の有効性評価 ······················································· 74

10運⽤時における AI 品質管理技術 ····················································································· 77

11

参考⽂献リスト ················································································································ 79

iii

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

はじめに

1

統計的機械学習を利⽤した各種産業製品の品質を明確に説明可能にするために、機械学
習品質マネジメントガイドラインが開発されている[1]。このガイドライン第 4 版では、機械学習システムに対する 14 個の内部品質特性（学習モデルの安定性やプログラムの信頼性等）に着⽬しているが、これら内部品質特性の評価や向上の技術は必ずしもまだ確⽴していない。本稿は、ガイドラインの開発と並⾏して⾏われている内部品質特性の評価・向上技術の調査・研究開発に関する報告書である。

1.1

本調査・研究開発の概要

図 1.1 に、2019~2022 年度に調査・研究開発した機械学習品質評価・向上の技術（図 1.1の中央の⻩⾊い四⾓が本稿で説明する技術を表す）と機械学習モデルのライフサイクルの各フェーズ、14 個の内部品質特性との関係を⽰す。以下、各技術については 2 章以降で詳しく説明するが、ここで簡単に説明しておく。

図 1.1 機械学習品質評価・向上技術（2019〜2022 年度調査・研究開発）

・ 2章

学習モデル情報の可視化：

機械学習モデルの品質評価作業を⽀援するために、複数の学習モデル間の差分・⽐較
結果の可視化や各モデルに反映されている作業者（アノテータ、モデル設計者）の感性の可視化を主な⽬的として、モデルの構造や精度に加え、モデル作成に関わる作業
者の作業⼿順やモデルへの影響を複合的に可視化するツールの実装を進めた[2][3]。
例えば、モデル調整の作業履歴の時系列可視化ビューはモデルノードと意図ノードから構成されており、モデルノードは調整過程における最適化アルゴリズム、モデル構
造、データの各差分を可視化し、意図ノードは作業者の調整の意図、モデルに対する印象・評価を可視化する。

1

機械学習品質評価・向上技術に関する報告書 第 3 版

・ 3章

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

データ拡張による品質向上：

学習データを加⼯してデータを増強するデータ拡張⼿法が画像識別の品質評価に与える影響とその品質改善⽅法について検討を⾏った。様々なデータ拡張⼿法（とその組み合わせ）に対して実験を⾏い、識別精度の平均値だけでなく分散も計測すること
が、品質を評価するために重要であるとの結論を得た。
・ 4章

深層学習におけるデータ拡張の適⽤法の改良による品質改善：

データ拡張によって得られる多様性をさらに向上させ、深層学習モデルの正確性や安定性を向上させるための訓練⼿法として、Latent DA 法や FC-mixup 法[24]等を提案し、画像識別問題においてネットワークモデルの品質向上に寄与することを確認した[4][5]。Latent DA 法については、データ拡張に最適な層を動的に発⾒する⼿法
AdaLASE を開発し、その効果を検証した。FC-mixup 法については、CNN のチャネル
単位で混合する FC-channel とピクセル単位で混合する FC-pixel、および既存⼿法のManifold mixup とのハイブリッドを⽐較し、提案⼿法は既存⼿法よりも⾼い精度を⽰すことを確認した。
・ 5章

深層 NN ソフトウェアのデバッグ・テスティング：

深層学習型の機械学習モデルの不具合の原因を推論時の直接原因（予測・推論プログ
ラムによる）と訓練時の根本原因（訓練・学習プログラム、学習モデル、学習データ
セットによる）に分けて整理し、訓練・学習プログラムのバグの有無を、推論時の機械学習モデルの内部情報（ニューロンカバレッジ）によって推定するための検査指標と分析⼿法を提案し、実験によってその検査指標の有効性を確認した[6]-[10]。
・ 6章

訓練データのデバッグ・テスティング：

深層学習型の機械学習モデルの不具合の根本原因が訓練データの偏りにある場合を対象とし、訓練データの偏りをモデル正確性とモデル・ロバスト性の２つの品質観点から判断する⽅法を検討し、実験を⾏った。実験では、訓練済み学習モデル内部の活性状態（ニューロン・カバレッジ NC）の低いデータと⾼いデータを訓練データから削除することによって、モデル正確性はほぼ保ったまま、モデル・ロバストネスが向上する結果が得られ、学習モデルの内部情報が訓練データのデバッグに役⽴つことが確認できた。
・ 7章

ロバストネスの評価・向上技術：

敵対的データを含む⼊⼒ノイズに対するロバストネスの指標の⼀つに最⼤安全半径（誤判断を⽣じないことを保証できるノイズの最⼤値）を計測する技術と、その半径を増加させる技術について調査した。最⼤安全半径の評価の計算コストは⾮常に⾼いが、近年、その近似値を効率よく⾒積もる⼿法が提案されてきている。
・ 8章

汎化誤差の評価技術：

機械学習品質マネジメントガイドラインの「機械学習モデルの安定性」を評価するた

2

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

めに、テスト誤差ベースのノイズ付加汎化誤差上界に着⽬し、その計算法を説明して、
その計算実験結果を基に、安定性の評価指標としての有効性について考察した。テス
ト誤差ベースのノイズ付加汎化誤差上界に着⽬する理由は、テスト誤差ベースは訓練
誤差ベースよりも汎化誤差と上界との差を⼩さくできること、ノイズ耐性は汎化性能との間に相関関係があることが知られていること、汎化誤差上界はデータセットに含まれない未知の⼊⼒に対する不正解率の期待値を確率的に保証できることにある。
・ 9章

敵対的データ検出技術：

運⽤時に⼊⼒画像が敵対的データであるかを判別する⽅法を実⽤的に確⽴するために、最先端の敵対的データ検出⼿法を調査し、4 つの主要なカテゴリに分類するとともに追実験を⾏い、NIC 法が最も⾼い検出率を⽰すことを確認した。そこで、NIC 法に基づく敵対的データ検出を⾏うために NIC フレームワークを構築し、その⾼い検出率の理由を説明するために Kullback-Leibler 情報量を⽤いて NIC 法を評価した。
・ 10 章

運⽤時における AI 品質管理技術：

運⽤時に発⽣するデータの変化や未知のデータの到来に対応するために、データ分布
変化に対する検知・適応技術および同技術の関連技術であるドメイン適応技術の最新技術を幅広く調査した。適⽤可能性や運⽤コストの⾯から有望な教師なしコンセプト
ドリフト適応技術、訓練データに依存しない適応技術やラベルシフトなどの⼊⼒デー
タの分布以外の変化にも対応可能な教師なしドメイン適応技術の研究開発が⾏われている。さらに、データのプライバシやその可搬性の観点から適応前に使⽤した訓練
データに依存しない適応技術などの必要性も⾼まってきている。これらの調査結果をサーベイ[11][12][13]としてまとめた。

1.2

著者リスト

各章の著者は以下のとおり：
・ 1 章：磯部 祥尚（産業技術総合研究所）

・ 2 章：宮城 優⾥（産業技術総合研究所）

・ 3 章：⼤⻄ 正輝（産業技術総合研究所）

・ 4 章：⾼瀬 朝海（産業技術総合研究所）

・ 5 章：中島 震（国⽴情報学研究所）

・ 6 章：中島 震（国⽴情報学研究所）

・ 7 章：磯部 祥尚（産業技術総合研究所）

・ 8 章：磯部 祥尚（産業技術総合研究所）

・ 9 章：中島 裕⽣、⻄⽥ 啓⼀（テクマトリックス株式会社）・ 10 章：⼤川 佳寛、⼩林 健⼀ （富⼠通株式会社）3機械学習品質評価・向上技術に関する報告書 第 3 版

1.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

謝辞

本調査・研究開発は、国⽴研究開発法⼈新エネルギー・産業技術総合開発機構（NEDO）
受託業務（JPNP20006）「機械学習システムの品質評価指標・測定テストベッドの研究開発」
として⾏っています。

4

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

機械学習モデル情報の可視化

2ブラックボックスである機械学習モデルの構造や挙動についての分析を⽀援する⼿法として、情報可視化技術の導⼊が進んでいる。このような機械学習モデル可視化に関し、以下の 2 点を⽬的として新たな⼿法の研究を進めた。
・

複数のモデル間の差分・⽐較結果の可視化（⼈間が解釈・理解しやすい表現を⽤いた可視化の実装）

・

モデルに反映されている作業者（アノテータ、モデル設計者）の感性の可視化（品質評価に⽤いることができる新たな要素の提案）

本章では、まず近年の機械学習モデル可視化技術の調査結果について解説する。続いて2020〜2022 年度に作成した、モデルと作業者情報を観察するための可視化ツールの実⾏例と今後の実装⽅針について報告する。

2.1

機械学習⽀援のための可視化⼿法についての調査

機械学習を対象とした可視化⼿法の基本的な⽬的はモデルの解釈可能性の向上であり、近年注⽬されている XAI（Explainable AI）と⼤きな関連がある。XAI の定義や評価⽅法について確定的なものは未だ存在しない。しかし、XAI の分類を試みる論⽂等は多数発表されているため、これらに沿って可視化の⽬的や⼿法を考案することができる。[14]では解釈可能性を上げるためのアプローチについて以下の 4 通りに分類している。可視化が特に有効である項⽬は(2)(4)であり、研究事例も多いとみられる。
(1) ⼤局的な説明（簡易なモデルによる複雑なモデル構造の近似）(2) 局所的な説明（モデルの出⼒結果に関する判断根拠の説明）(3) 説明可能なモデルの設計（設計段階での可読性の⾼いモデルの作成）(4) 深層学習モデルの説明（画像データ内でモデルが認識している部分のハイライトなど）
このような機械学習の可視化⼿法は継続的に研究されており、⽤途や対象事例が多様であるためサーベイ論⽂も増加している。例えば[15]では深層学習可視化⼿法について、
5W1H の要素に沿う形で解説・分類している。深層学習可視化分野の全体的な⽅向性や課題についても多数提⽰しており、特に品質評価のための可視化⼿法の開発を⽬指す本研究と関わりの深いものとして「モデル評価のためのインタラクションの改良」「モデルに対する⼈の積極的な関与による解釈可能性の向上」などが挙げられる。
機械学習可視化の研究が進み、実社会でも利⽤される機会が増加するにつれて、1 つの可視化画⾯で複合的な分析が⾏われる傾向が強まっている。従来は単体のモデルの詳細な分
析や、データ（[16]）かモデル構造（[17]）のいずれかに特化した可視化などが多かった。
しかし近年はデータとモデル構造の複合的な可視化⼿法や、複数のモデルを⽐較することを⽬的とした可視化⼿法についても研究が進んでいる。機械学習モデルを構成する要素は

5

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

膨⼤なものとなるため、例えばモデル単体の可視化結果をモデル個数分作成し、並べて⽐較するには⼤きな⼿間がかかる。また、⽐較しようとするモデル間の構造や精度の差が⼩さく、モデルの特徴などを⾒落とす可能性も考えられる。そのため、差分を強調する表現を⽤い、限られた画⾯内で効率的に差分を発⾒できるようにする可視化⼿法の必要性が⾼い。
（例えば[18]では、10 種類以上のモデルについてデータの⼊⼒から出⼒までのパイプライン、ハ
イパパラメータの値などを⼀画⾯で⽐較できる。）
ここまでで、モデル⾃体の性質や精度に関する可視化⼿法についての傾向と事例を紹介した。これと並⾏して、モデルの作成や評価に関わる作業者（アノテータ、設計者、エンドユーザ）とモデルとの関わり⽅についても調査を進めた。画像認識などの分野では⼈の認識能⼒を超える精度を持つモデルが開発される⼀⽅で、「モデルの精度を向上させるためには積極的な⼈の介⼊が望ましい」という提⾔は分野を問わず根強い。AI と⼈との関係性や、モデル作成過程での効果的な介⼊⽅法に関し、以下のような項⽬に注⽬して議論した論⽂が多く存在する。
・

学習過程での、モデルの精度を向上させるための操作（調整や評価）の導⼊⽅法

・

操作性が良く、作業者のモチベーションを維持しやすいインタフェースの設計⽅法

・

関連分野（認知科学、⼼理学など）との連携

⼀例として[19]では、モデルの評価・改善のためのフィードバックを課された作業者の⼼理状態について検証しており、共通する傾向として「モデルに正しい処理⼿順を直接指⽰できることを好む」「⾃⾝の⾏動によってモデルの精度が改善されていることが可視化されると、モチベーションの向上やより積極的なフィードバックを⾒込める」などを紹介している。
このような作業者⾃⾝の情報や、各作業者がモデルに与えた影響についての可視化事例は少ないという印象だが、以下のように品質保証の根拠として採⽤できると考えられる。
・

分析対象の事例、あるいは機械学習の専⾨家がモデル作成に参加していた場合、彼らの知識が⼗分にモデルの挙動に反映されていることを⽰す

・

どの作業者の⾏動がモデルに強く反映されているのかを⽰し、調整するべき要素（データ、パラメータなど）を特定するための⼿がかりとする

2.2

機械学習モデルと作業者情報の可視化⼿法の提案

以上のような調査結果から、本研究では機械学習モデル可視化⼿法のうち特に「複数モデルの⽐較可視化」「作業者の感性に関する可視化」を重要視し、これらの性質を併せ持つような可視化ツールの設計を進めた。図 2.1 は提案⼿法の概要図である。本研究では作業者を
アノテータ、モデル設計者、エンドユーザの 3 種類に分類しており、特にモデル設計者を中⼼とした分析を進めている。

6

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

図 2.1 機械学習モデルと作業者情報の可視化⼿法の概要
モデル同⼠の差分に関するログの収集
まず、可視化の対象とするモデルの構造や調整過程、テスト結果などのログを収集する。
現在の実装では事例として画像分類を想定し、機械学習の実験管理ツールである Cometl.ml
を⽤いてモデル設計者によるパラメータ調整過程やテスト結果などをテキストファイルとして取得している。アノテータについては直接的に作業ログを収集せず、モデル設計者がどのようにデータを選択し、前処理を適⽤したのかによって間接的に作業内容を評価する。
これらのログから 2 つのモデル同⼠の差分（直前に使⽤したモデルからの変化量）を算出する。モデルに関する差分は「学習データ」「モデル構造」「最適化アルゴリズム」の 3 種類に分類しそれぞれ算出する。学習データの差分は、使⽤したデータやクラスの数、前処理に⽤いたパラメータの差分などを⾜し合わせて求める。モデル構造の差分は、2 つのモデルを構成するレイヤー同⼠のペアを作成し、各ペアの⾮類似度（レイヤーの種類やパラメータの差分）を合計することで求める（図 2.2）。最適化アルゴリズムの差分については、アル
ゴリズムの種類が異なる場合には定数を付与し、同⼀である場合はパラメータの差分から計算する。3 種類の差分を求めたのち、これらの値を合計したモデルの総合的な変化量も求
める。

図 2.2

モデル構造差分計算の流れ

7

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

モデルの構造や作業者の情報の可視化収集したログを⽤いて、モデルの構造や作業者の情報の可視化を⾏なう。本ツールの主なユーザはモデルの設計者と想定する。可視化に不慣れなユーザが含まれる可能性を考慮して基本的な可視化⼿法（折れ線グラフ、棒グラフなど）を組み合わせ、これらの連携（関連部分のハイライトなど）を積極的に⾏うという⽅針で実装を進めた。2020 年度にはモデルの構造や出⼒結果などの基本的な情報に関するビューを実装し、2021〜22 年度には作業者によるモデルの調整やテストの経過を可視化するビューを作成した。
図 2.3 は 2020 年度に試作した可視化ビューの⼀覧であり、2 つの簡易なモデルについて
MNIST の学習・出⼒結果を可視化した例である。

図 2.3 モデルの構造と出⼒結果に関する可視化ビューの⼀覧
JupyterLab 上で機械学習ライブラリ PyTorch、可視化ライブラリ Bokeh などを⽤いて以下のようにビューを作成し、2 つのモデルの特徴を⽐較できるようにした。
(1) 各モデル構造のネットワーク(2) クラスごとの出⼒結果の棒グラフ
a)

モデルごとの可視化b)

2 つのモデル間の差分の可視化(3) モデルごとの、選択した 2 クラス間の出⼒結果相関の散布図(4) 精度の折れ線グラフ(5) 特に⾼い（低い）確信度で分類されたデータのサムネイル⼀覧
図 2.4 は、2 つのモデルについて MNIST に対する出⼒を分類した結果の例である。横軸
は 0〜9 のクラス、縦軸はデータ数を表す。それぞれの棒の⾊分けは、2 つのモデルについての正解（T）
・不正解（F）の組み合わせを表したものである。TF（FT）は「モデル 1（2）8

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

のみ正しく分類できたデータ」を意味する。学習開始直後（図 2.4 左）は、モデル 1 がクラス 0、1、7、モデル 2 がクラス 2、6、8 での正解率が⾼く、それぞれのモデルが異なる強みを持っていたことがわかる。学習が進んだ段階（図 2.4 右）ではどちらのモデルも多くのクラスで正解率が⾼くなっている。特にモデル 1 はモデル 2 が不得意とするクラス 3、4、5、7 を含めて正答率が⾼く、この段階ではモデル 1 の学習の⽅がモデル 2 よりも進んでいる
ことがわかる。

図 2.4

２つのモデルの出⼒結果⽐較の例

図 2.5 は 2021 年度〜2022 年度に実装したモデル調整作業履歴の時系列可視化ビューの構成である。ここまでの処理で得たモデルの構造やテスト結果についてのログを⼊⼒として、ネットワークグラフによる可視化を⾏う。

図 2.5 モデル調整作業履歴可視化画⾯の構成

9機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

縦軸を精度、横軸を時間軸としてグラフを配置する。グラフは 2 種類の異なる形状のノードを交互に配置する構成としており、それらを「モデルノード」と「意図ノード」と定義する。モデルノードは、ある 1 つのモデルについてのテスト結果を表したものである。モデ
ルノードの内部は 3 ⾊のリングに分割されている。リングの⾊は 1 つ前に使⽤したモデルからの差分を表し、外側から順にデータ差分（橙）、モデル構造差分（紫）、最適化アルゴリ
ズム差分（緑）を意味する。彩度が⾼いほど⼀つ前のモデルからの差分が⼤きいことを表しており、ビューの右端に配置したカラーバーで⾊と差分値の対応関係を確認できる。モデル
ノードは、並列で実験を⾏なった複数のモデルに該当するものをグループ化して配置することもできる。例えばある⼀つのパラメータについて複数の設定で⽐較実験を⾏ない、その中で最適な設定をその後の実験に引き継いだ場合などの派⽣関係を⼊⼒でき、後述するエッジの表現に反映できる。
意図ノードは 2 つのモデルノードの間に配置し、内側と外側の 2 種類の⾊を割り当てる。
内側は、そのノードに続くモデルを作成した際の作業者の意図や⽅針を表したものである。
意図や⽅針の情報は comet.ml のログの作成段階において、⽤意された選択肢の中かから該当するものを選択でき、その内容に応じてノードの⾊が変化する（図 2.5）。⼀⽅、意図ノードの外側部分は、モデル調整適⽤後の結果（意図ノードの次に接続されたモデルノード）についての、作業者の印象・評価を可視化するために使⽤する。現時点では、「調整の結果、精度が想定より下降（上昇）した」という場合に、ログに追記しておくことで紫⾊に着⾊するように設定している。想定外の結果となった部分をハイライトすることで、作業⽅針の分析や修正を⾏うべきポイントを明⽰するためである。これらのノードは、3 種類のエッジ（実線、太い点線、細い点線）で接続する。実線のエッジは、テストを実⾏した順序の詳細を表したものであり、モデルノードと意図ノードを繰り返し接続するものである。並列実験が終了したタイミングは太い点線で表⽰される。細い点線のエッジは、パラメータの設定を引き継いだ場合などのモデルの派⽣関係を表し、必ずしも連続でテストしたモデル同⼠を接続するものではない。
上述の機能を⽤いて⽣成した可視化結果を紹介する。図 2.6 は CIFAR-100 を学習した複数の ResNet モデルを順番にテストした際の、精度とモデル構造の変化量を可視化した図で
ある。

図 2.6

作業者のモデル調整履歴可視化の⼀例

10機械学習品質評価・向上技術に関する報告書 第 3 版

表 2.1

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

作業履歴の可視化に⽤いたモデルのパラメータ設定[20]で実施されたハイパパラメータ調整のシナリオを参照し、表 2.1 のようにパラメータを変更しながらモデルの学習とテストを 6 回実⾏しログを収集した。𝑙は学習率、𝑚はモー
メンタムの値である。𝑝、𝑎 は学習データに Random Erasing を適⽤した際の Erasing
probability と Max erasing area である。𝑑は使⽤した ResNet モデルの深さである。なお、この事例では意図ノードに関する情報の⼊⼒がなかったため意図ノードが全て灰⾊となっている。図 2.6 に記載した数字は表 2.1 の Index に対応する。2 と 5 では 3 つのリングのうち、学習データの変化を表す⼀番外側のリングが⾚でハイライトされている。モデル 1 から 2、および 4 から 5 に進む際に、学習データに関するパラメータである𝑝、𝑎を⼤きく変
更したことを反映している。同様に、3、4、5 ではノードが緑⾊にハイライトされており、最適化アルゴリズムに関する変化を⽰している。具体的には、𝑙と𝑚の変更を反映したものとなっている。また、6 のみノードが紫⾊で着⾊されており、モデル構造差分の変化が⽣じていることがわかる。
続いて、機械学習コンペティションの参加記録を対象として可視化を⾏なった例を紹介する。今回は Kaggle で⼊⾨者向けに開催されているコンペティションの⼀つである Digit
Recognizer に投稿された、パラメータ⽐較実験のコードとその解説の記事を 1 点選出し、パラメータ設定や精度の情報を可視化ツールに⼊⼒した。実験は図 2.7 のように 4 段階に分かれており、各段階で特定の要素（パラメータやモデル構造）に着⽬し、その部分についての最適な設定を探し、設定を引き継いで次の要素を検証するという作業を繰り返したものとなっている。図 2.8 はその可視化結果である。調整内容は主にモデル構造を変化させるものであるため、モデルノードの⾊の変化は紫⾊のみとなっている。意図ノードは、図 2.7に⽰したように各段階で複数のパラメータ設定を⽐較する作業の繰り返しであったことから、複数のパラメータの⽐較を意味する橙⾊に着⾊されている。モデルの派⽣関係を表す細い点線のエッジに注⽬すると、派⽣元となっているモデル（細い点線のエッジの左端のモデルノード）は、並列で実験したモデル（実線で接続されたモデルノード）の中で最適な精度を出したものではないことがわかる。元の記事には、計算資源のコストを考慮し、ある程度⾼い精度を出しながらもコストが⼤きくなりすぎないような設定を優先して選出したことが述べられており、その⽅針が反映されたものである。

11

機械学習品質評価・向上技術に関する報告書 第 3 版

2.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

図 2.7

Digit Recognizer に投稿されたモデルの調整過程

図 2.8

Digit Recognizer に投稿されたモデルの調整過程

今後の⽅針

今後は以下のような⽅針で可視化機能の拡張に取り組みたい。まず今回扱ったデータのような機械学習コンペティションの参加記録の可視化事例を増やし、モデルや作業内容のより⻑期的な評価結果と改善策の推薦結果を可視化することを⽬指す。その後、多数の作業者の作業パターンの⽐較を⾏い、モデルまたは作業者同⼠の類似度や分類結果を俯瞰的に可視化する。これらのような可視化結果を観察することで、作業者のスキルレベルの推定や作業の特徴（作業パターン）の分類を⾏えるようにしたい。
また、現時点では⼿動でのモデル設計を前提としているが、NAS（Neural architecture search）などと組み合わせることで、より幅広い事例に本⼿法を適⽤できるように拡張することも有⽤と考えられる。

12

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

データ拡張による品質向上

3

深層学習を⽤いた画像認識の中でも物体の識別の品質評価に焦点をあてて研究を進める。
学習データを加⼯することでデータを増強する Data Augmentation（データ拡張）が画像識
別の品質評価にどのように影響を与えるのか、品質を改善するためにはどうすればいいのかについての検討を⾏った。
特に議論の中で「品質評価に関して論⽂では state-of-the-art を競うことが多いが、産業応⽤を考えた場合には精度が 98%という場合にはデータセットを変えた場合にでも 98%の精度が出ることが望ましい。それが保証されるなら 98%ではなく 80%でも構わない」という意⾒があった。これまでに研究会や国際会議で発表されている⼿法においてもデータセ
ットに過学習することで精度が上がっているように⾒えるという問題は散⾒している。

3.1

学習データ数と識別率の関係（予備実験）

最初に予備実験として以下の２点を検証した。
予備実験① 学習データを増加していくことで識別率はどのように変化していくのか
予備実験② 学習データを変えることで識別率はどのように変化するのか
両予備実験において深層学習のモデルとして WideResNet28-10 を⽤い、データセットは
CIFAR10 を⽤いる。CIFAR10 は 10 クラスの画像で構成され、各クラス毎に 6000 枚のデー
タ（合計 6 万枚）が⽤意されている。これらの画像を左右反転に加え、上下左右にずらすことでデータを 10 倍に増やし 60 万枚とし、この 60 万枚の世界がデータによって構成される全ての世界であると仮定する。予備実験①では 60 万枚の全ての世界の中から N 枚が観測されたとして学習を⾏い、全ての世界の 60 万枚で評価を⾏い識別率を求める。つまり N =600000 で学習する際には世界の全てが観測できたと仮定して識別機を作成し、識別率を求めることとなる。これは⼗分に識別性能が発揮されるネットワークモデルにおいては識別率が 100% になることが報告されているが、実際にそうなるかを確かめる実験でもある。
識別結果を図 3.1 に⽰す。横軸はデータ数の対数グラフ、縦軸は識別率である。

図 3.1

学習データ数と識別率の関係

13機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

これまでの研究で報告されているように 60 万画像という⼤量のデータであっても世界の全ての画像を学習データに利⽤することが可能であれば識別率は 100%を実現できることが分かる。また、各クラス 100 枚の学習データで 60 万枚の画像を識別すると 40%程度の識別精度であることが分かる。そこで予備実験②を⾏うための学習データ数は 10 クラス×
100 枚の N = 1000 枚とした。オリジナルの各クラス 6000 枚の画像を 100 枚×60 セットに分割し、60 セットの学習データを⽤いてニューラルネットワークを学習し、60 万枚の画像で評価を⾏った。それぞれの学習データに対する識別精度のヒストグラムを図 3.2 に⽰す。

図 3.2

学習データの違いによる識別精度のヒストグラム

学習データがある組み合わせの場合には 42%の識別率が得られる⼀⽅で、学習データがある組み合わせの場合には識別率は 30%しか得られないことが分かり、これまでの識別精度だけの評価指標では品質の評価という観点では適していないことが明らかになった。なお、平均は 38.52%であり標準偏差は 2.21 である。この予備実験の結果から品質を評価する
際には従来のような識別率だけで評価するのではなく、品質の安定性を評価するためには分散や標準偏差を考慮した評価が必要であることが分かる。

3.2

識別率の平均値と標準偏差の評価

これまでに提案されている様々なデータ拡張について以下の実験③を⾏うことで各デー
タ拡張⼿法を品質の観点で評価した。
実験③ 様々なデータ拡張に対して予備実験②の⽅法で平均識別率と標準偏差を求める
基本的な実験設定は予備実験②と同じである。データ拡張としては変形や回転などの幾何学変換として Skew, Scale Augmentation, Shear, Rotate, Rotate Zoom の 5 種類、ノイズ付
加として PCA Color Augmentation, Gaussian Noise, Patch Gaussian, Salt Pepper Noise の 4 種
類、⾊情報の⾮線形変換として Gamma Transform, Contrast Transform の 2 種類、ぼかし処理として Gaussian Filter と Smoothing Filter の 2 種類、マスク処理として Cutout, Random
Erasing, Cut Mix の 3 種類、データ合成として Manifold-Mixup を実装し、各評価を⾏った。
評価の結果を図 3.3 に⽰す。

14

機械学習品質評価・向上技術に関する報告書 第 3 版

図 3.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

データ拡張による品質評価

それぞれのデータ拡張⼿法について縦軸に識別精度、横軸に標準偏差をプロットした散布図となっている。データ拡張を何もしていない None（⾚点）を基準点として、基準点の左上の第⼆象限は精度を向上させながら標準偏差が⼩さくなっているため識別精度を上げながらもばらつきを抑えるデータ拡張であると⾔うことができ、品質を⾼める⼿法であると結論付けることができる。⼀⽅で基準点の右上の第⼀象限は識別精度の向上は認められるものの標準偏差が⼤きくなっているため、データによっては効果があるが、そのばらつき
は⼤きいと考えられる。基準点の左下の第三象限は認識精度は下がるもののばらつきは⼩さくなっているため、識別精度は必ずしも上がらないが、品質を保証するという意味では貢献できるデータ拡張⼿法であるといえる。基準点の右下の第四象限は識別精度を下げつつばらつきを⼤きくするというデータ拡張に適していない処理がプロットされるエリアであるが、このようなデータ拡張⼿法は今回の適⽤例には⾒られなかった。
従来の state-of-the-art な評価という観点では上に⾏くほど良いデータ拡張⼿法であると⾔えるが、標準偏差を考慮した品質という点で考えると左上に⾏くほど良いデータ拡張⼿法であると⾔える。傾向としては幾何学変換のデータ拡張⼿法（図中のピンクのプロット）は上へと評価が上がる傾向にあり、ノイズ付加（⽔⾊のプロット）は左下へと下がる傾向にある。⼀⽅でマスク処理（紫のプロット）は左上へと上がる傾向にあり、データ拡張の中でも特に優れている⼿法であると評価することができる。

3.3

データ拡張⼿法の組み合わせの効果

次にデータ拡張としてばらつきを下げる効果のあった幾何学変換とノイズ付加、マスク処理の 3 つについてそれぞれのデータ拡張を全て⾏う場合とランダムに⾏う場合に対して⼀定の確率でデータ拡張する場合と徐々にデータ拡張をする割合を増やした場合を組み合
わせて、識別率がどのように変化するかを実験④で検証した。実験④の検証項⽬は以下の通りである。
実験④ 品質を向上させるデータ拡張⼿法の組み合わせを明らかにする
幾何学変換、ノイズ付加、マスク処理の 3 つのデータ拡張について、それぞれのデータ拡15機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

張を全て⾏う場合（All）、ランダムに⾏う場合（Random）、⼀定の割合で⾏う場合（const）、
⾏う割合を線形で増やす場合（Linear）で実験を⾏い散布図を作成した。図 3.4 にその結果
を⽰す。

図 3.4

データ拡張⼿法の組み合わせ実験による品質評価

実験の結果から幾何学変換とマスク処理のデータ拡張においてはランダムに⾏うよりも全てを⾏う⽅が品質がよくなり、⼀定の確率で⾏うよりも徐々に⾏う確率を増やしていっ
た⽅が識別精度を⾼く、かつ標準偏差を⼩さくできることが分かった。⼀⽅でノイズ付加に関しては識別精度を上げることはできなかったが、⼤きく下げることなく標準偏差を⼩さくする効果があることは分かった。

3.4

まとめ

これまでの多くの論⽂で⾏われている識別精度だけで機械学習システムの品質を評価す
るのではなく、分散や標準偏差も考慮することで品質を評価する必要があることが明らかになり、品質を向上させるためのデータ拡張としてはマスク処理と幾何学変換の組み合わせが有効であることが分かった。

16

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

データ拡張の適⽤法の改良による品質改善4

本章では、ニューラルネットワーク学習におけるデータ拡張の新しい適⽤法の開発を⾏い、実験を通して学習品質への影響を評価した結果について述べる。

4.1

研究⽬的

データ拡張は、データに変形を加えることでデータ数を増やす技術であり、訓練データ数が少ないときに性能が落ちてしまうという性質をもつ深層学習において、⾼い効果を発揮する。⼀⽅で、データ拡張の有効性は⽤いるデータに強く依存するため、データ拡張⼿法の選択や各⼿法がもつパラメータを適切に設定しなければならない。しかし、データ拡張の理論解析は難しく、汎⽤的な使⽤法が確⽴していないという現状があり、経験的、慣例的な使⽤がなされるケースが多い。これは意図せず不適切な使⽤をすることにつながり、学習の品
質を損ねてしまう。実際に、各データ拡張⼿法の変形量、例えばマスクサイズや回転⾓度などを不適切な値に設定してしまうことにより、学習の性能が落ちてしまうケースや、実際に⽤いる実データに対して、どのようなデータ拡張⼿法を選択すればよいのかと頭を悩ませるケースがよく⾒受けられる。
そこで、データ拡張の経験的な使⽤からの脱却を⽬指して、本研究はデータの多様性に焦点を当てた。多様性を⾼めることはデータ拡張の本質的な⽬的であり、多様性の増加が汎化
性能の向上に⼤きく影響を及ぼすことは、[21]の研究において実証されている。近年、複数のデータ拡張操作からランダムに選ばれた操作を学習中に動的に適⽤する RandAugment[22]という⼿法が注⽬されているが、これは多様性を⼤きく向上させる半⾯、調整が必要なパラメータも多く、効果的に利⽤するのは容易ではない。本研究では、データの多様性に関連したデータ拡張の適⽤法として、以下の 2 点を新たに提案し、それぞれのアルゴリズムの改良および性能の評価を⾏った。
・

ニューラルネットワークの中間層を含めた様々な層でデータ拡張を適⽤し、適⽤層の⾃動的な最適化を⾏う(4.2 節)。

・

有⼒なデータ拡張⼿法である Mixup 法[23]を改良し、サンプルの新しい混ぜ合わせ⽅を提案する(4.3 節)。

また、4.3 節に⽰す研究成果は、国際誌 Neural Computing and Applications[24]において発表
された。

4.2

データ拡張の適⽤層の改良
中間層におけるデータ拡張

⼀般に、データ拡張は⼊⼒データに適⽤するものであると考えられているが、ニューラル
ネットワークでは中間層で出⼒された特徴量を取り出し、データ拡張を適⽤することが可能である。これに関していくつか先⾏研究が存在するが、⼿法を mixup[23]に限定する
Manifold mixup[25]や、ほかにも特殊なネットワークやデータを必要とするなど、汎⽤性の17機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

低い⼿法が多い。本研究では、画像データに対して⽤いられるアフィン変換やマスク処理といった様々なデータ拡張⼿法を、中間層で適⽤することを考えた。CNN では、階層的に特徴が抽出されるため、ミニバッチごとにランダムに選ばれた様々な層でデータ拡張を⾏う
ことで、多様なサンプルが⽣成される。⼊⼒画像への適⽤と同じように、中間層で得られる
特徴マップに対してデータ拡張を適⽤することができるので、実装も容易である。
実際に⼊⼒画像および特徴マップに対して、マスク処理と平⾏移動を適⽤した例を図 4.1に⽰す。ここでは、学習中のモデルにサンプルを⼊⼒し、同じパラメータ（マスク位置、移動量）に設定したデータ拡張を異なる層で適⽤した直後の画像を、サイズを揃えて上段に表⽰している。そのサンプルの最終層における特徴マップを下段に⽰しているが、それらはデータ拡張を適⽤した層によって異なる画像となっている。この結果から、様々な層でデータ拡張を⾏うことは、⽣成データの多様性の向上につながり、⼊⼒データのみにデータ拡張を適⽤する場合とは異なった学習が⾏われることがわかる。

図 4.1

⼊⼒画像および中間層で得られる特徴マップにデータ拡張を適⽤した例

⼊⼒層におけるデータ拡張と特徴マップへのデータ拡張の性能を⽐較するために、様々なデータ拡張を⽤い、教師ありで学習したモデルのテスト精度を求めた。ここでは、CIFAR10, Fashion-MNIST, SVHN（補助データを含まない）データセットを⽤いて、WideResNet2810 を 200 エポックの間学習した。結果を図 4.2 に⽰している。各図において、横軸は従来⼿法（Input DA）、縦軸は提案⼿法（Latent DA）の精度[%]を表している。これらの結果からわかるように、従来⼿法よりも提案⼿法の⽅が⾼い精度を⽰す傾向があり、Crop を⽤いた
結果のように、従来⼿法では精度が低くなる場合においても、提案⼿法は⾼い精度を与えた。
この結果から、ランダムな層へのデータ拡張の適⽤により⽣成された多様なサンプルは、性能の向上に効果的であることがわかった。

図 4.2

Input DA と Latent DA によるテスト精度の⽐較

18機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

データ拡張に最適な層の選択中間層でデータ拡張を⾏うことは効果的であることがこれまでの研究によりわかったが、どの層でデータ拡張を⾏うのが最適であるのかという問題が出てくる。データ拡張を⾏う
層を変えながら訓練を繰り返し⾏い、バリデーション精度の値を⽐較することで最適な層を発⾒することは可能であるが、全体の訓練時間が増えてしまうため、⾮効率的な⽅法であり、実⽤的ではない。そこで本研究では、1 回の訓練でデータ拡張に最適な層を動的に発⾒する⽅法を開発することに取り組んだ。
アプローチとしては、採択率というパラメータを各層で⽤意し、学習中、採択率の更新を
⾏い、採択率に従って確率的に選ばれた層でデータ拡張を適⽤する。採択率の更新は、以下に⽰すような勾配降下法を⽤いて⾏う。
𝑞 ←𝑞
ここで、𝑞 は 𝑙 層の採択率、𝐿

𝜂

𝜕𝐿
𝜕𝑞

はバリデーションデータを⼊⼒したときの誤差の値、𝜂は更新のステップ幅を表す。実際には、バリデーションデータの値をアルゴリズムに含めるべきではないので、データ拡張を加えた訓練データで擬似的にバリデーションデータを作り出し、更新を⾏っている。学習の初期状態では、すべての採択率を和が 1 になるように均等な値にセットし、ミニバッチごとに採択率の更新を⾏う。これにより、データ拡張の適した層の採択率は増加し、適さない層の採択率は減少されるといった最適化が⾏われ、その結果、汎化性能が向上することが期待される。
この⼿法を Adaptive Layer Selection (AdaLASE)と名付け、従来⼿法とテスト精度を⽐較した。データは CIFAR-10 および MNIST、モデルは ResNet18 および中間層を 1 層もつ多層パ
ーセプトロン（MLP）を⽤い、⼊⼒にデータ拡張、ランダムな層でデータ拡張、および AdaLASEを⽤いた。拡張法として Cutout および Mixup を⽤いた。図 4.3 の結果において、初期値を変えた 5 回の精度の平均と標準偏差が、⼿法ごとに⽰されている。これらの結果から、AdaLASE は従来⼿法と同等以上の性能が出せることがわかった。今後の計画として、学習中の採択率の変化を⾒て、層がどのように選択されていくのか、AdaLASE が正しく機能しているかについて、詳しい解析を⾏う。

(a)

(c)

CIFAR-10, Cutout, ResNet18(b) CIFAR-10, Mixup, ResNet18

MNIST, Cutout, MLP
図 4.3(d) MNIST, Mixup, MLP
AdaLASE と従来法とのテスト精度の⽐較

19機械学習品質評価・向上技術に関する報告書 第 3 版

4.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

Mixup の改良による新しい混ぜ合わせ⽅法の提案
Feature Combination Mxiup

実際の訓練において、データ拡張は、例えば切り抜き、回転、および反転のように、複数の⼿法を同時に⽤いることが多い。そこで、このように複数の⼿法を⽤いるときの、⼿法間の相性に着⽬し、特にデータの多様性という観点から相性を議論することを考える。そのためのアプローチの第⼀歩として、既存の⼿法を変形した新しい⼿法を提案し、元の⼿法と同時に利⽤することによって、⽣成されるデータの多様性を⾼め、性能の向上を図ることを考えた。多様性を定式化する⽅法については、[21]の研究において述べられているが、本研究ではまず、精度だけを⽐較し、提案⼿法によって性能が向上するかどうかを検証する。
ここでは、データ拡張⼿法の⼀つである Mixup[23]の改良を⾏った。これは、2 つのサンプルの線形補間によって新たなサンプルを⽣成する⼿法であり、次式に⽰されるように、⼊⼒値およびラベルのそれぞれについて同じ⽐率で線形補間をとる。
𝑥
𝑦

𝜆𝑥
𝜆𝑦

1
1

𝜆 𝑥
𝜆 𝑦

ここで、 𝑥 , 𝑦 および 𝑥 , 𝑦 は𝑖番⽬および𝑗番⽬のサンプルの⼊⼒値を表し、𝜆はベータ分
布からサンプルした混合率を表す。本研究で、Mixup を対象に選んだ理由は、その汎⽤性の⾼さにあり、画像だけでなく時系列データなど多くの数値データに利⽤することができる
ため、Mixup 法を改良することによる影響が⼤きいと考えたからである。
Mixup をニューラルネットワークの中間層でも⾏えるように改良したものは Manifold
mixup[25]と呼ばれるが、いずれの Mixup も 2 点間の線分上というデータ分布上の局所的な範囲にしかサンプルが⽣成されず、またその線分上の点の性質が⾮線形に変化する分布をもつデータセットに対しては不適切である。
本研究[24]で提案する Feature Combination Mixup（FC-mixup）は、従来の Mixup とは異なる⽅法でサンプルを混ぜ合わせる⼿法であり、その概要を図 4.4 に⽰す。同じミニバッチ
内に含まれる 2 つのサンプル A と B が、ランダムに選ばれた層において、𝑍 と𝑍 という特徴量を出⼒するとする。𝑑をその層の特徴量の総数とすると、FC-mixup は、𝑍 から𝑑𝜆個、𝑍から𝑑 1

𝜆 個の特徴量をランダムに抽出し組み合わせて新たなサンプル𝑍 を⽣成する。その組み合わせの数は、⼀つの𝜆の値について多数考えられるため、乱数に応じて異なったデータが⽣成され、したがってデータ分布上の広い範囲にサンプルを⽣成することができる。
FC-mixup は次式のように表現されるので、この式が満たされるように𝑍 と𝑍 を混合する。
|𝑍 ∩ 𝑍 |d𝜆

このように 2 つのデータがもつ各パーツの組み合わせにより新たなデータを⽣成する技
術は、Puzzle Mix[26]においてもみられるが、これは対象が⼊⼒画像に限定される。また、Adversarial mixup resysthesis[27]において類似した⼿法が利⽤されているが、オートエンコ−ダでの使⽤に限られており、FC-mixup はより汎⽤的な使⽤を想定して設計されている。

20

機械学習品質評価・向上技術に関する報告書 第 3 版

図 4.4

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

FC-mixup の概要

実験では、複数の多クラス分類データセットを⽤い、従来⼿法（データ拡張なし、⼊⼒層での mixup[23], Manifold mixup[25]）と提案⼿法（FC-mixup, Hybrid 法）とで、テストデー
タの識別精度を⽐較した。データには、MNIST, CIFAR-10, CIFAR-100, および SVHN を⽤いた。モデルには、⼩さい畳み込みニューラルネットワーク(CNN)および ResNet18 を⽤いた。
フルサイズのデータに加えて、1,000 サンプルをランダムに抽出した少数データでも実験を⾏った。また、Cutout と Mixup を組み合わせた有⼒なデータ拡張法である CutMix とも⽐較を⾏った。初期値を変えた 5 回の試⾏における平均と標準偏差を求めた。
表 4.1 に結果を⽰しており、太字は最も⾼い精度を表している。この結果から、多くの場合で提案⼿法 FC-mixup(channel-wise)は最も⾼い精度を出していることがわかる。Manifold
mixup や CutMix[27]などの既存⼿法よりも優れており、FC-mixup の性能の⾼さが⽰される
結果となった。汎⽤的なデータ拡張であるので、Manifold mixup に加えて FC-mixup を利⽤することは、実⽤的にも有⽤であると考えられる。
表 4.1

多クラス分類データにおけるテスト精度の⽐較

21機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ピクセル単位で⾏う FC-mixup
4.3 節で提案した FC-mixup は、MLP であればユニット単位で、CNN であればチャネル単位でサンプルが混ぜ合わせられるというものであった。しかし、CNN に関しては、ピクセ
ル単位で混ぜ合わせることも可能である。チャネル単位で⾏う FC-mixup を FC-channel、ピ
クセル単位で⾏う FC-mixup を FC-pixel と呼ぶこととする。図 4.5 にそれらの違いを⽰している。FC-channel では、各サンプルのチャネルを組み合わせて新しいサンプルのチャネルを作るのに対し、FC-pixel では、各サンプルのピクセルを組み合わせて新しいサンプルのピクセルを作る。FC-pixel におけるピクセルの混ぜ合わせ⽅はすべてのチャネルで同じである。

図 4.5

CNN における 2 種類の FC-mixup

Manifold mixup および 2 種類の FC-mixup によって⽣成されたサンプルを可視化した結果を図 4.6 に⽰す。これは、2 つのサンプルをある中間層で混ぜ合わせ、⽣成された特徴マップを⽰しており、各サンプルは複数のチャネルを有しているが、そのうち 3 つのチャネルを取り上げて⽰している。この結果から、Manifold mixup および 2 種類の FC-mixup によって⽣成された特徴マップは⼤きく異なっていることが⾒て取れる。Manifold mixup を⽤いた場合、2 つのサンプルを重ね合わせた画像が⽣成されている。FC-channel を⽤いた場合、チャネルごとに、元の 2 つのサンプルのいずれかの特徴マップが採⽤されていることがわかる。この例では、ch 1 は Sample 2, ch 2 は Sample 2, ch 3 は Sample 1 の特徴マップが採⽤されて新しい画像が⽣成されている。FC-pixel を⽤いた場合、どちらかのサンプルのピクセ
ルを採⽤して新たな特徴マップを⽣成するので、各チャネルの画像が⼤きく変形しているようにみえる。

22

機械学習品質評価・向上技術に関する報告書 第 3 版

図 4.6

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

各 Mixup により⽣成された特徴マップの可視化

Mixup のハイブリッド利⽤
⽣成データの多様性を⾼めるために、FC-mixup と Manifold mixup[25]を併⽤する Hybrid法を考える。ここで、図 4.7 に⽰すように 2 種類の Hybrid 法が考えられる。Hybrid 1 は、同じ 2 つのサンプルに対して Manifold mixup と FC-mixup を別個に適⽤して得られた画像
を 0.5 倍して⾜し合わせる⼿法である。Hybrid 2 は、まず FC-mixup を適⽤し、画像を⽣成した後、その⽣成画像のうち 2 つを Manifold mixup によって混ぜ合わせる⼿法である。

図 4.7

2 種類の Hybrid 法の提案

23

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

FC-channel および FC-mixup を単体で⽤いた場合と、2 種類の Hybrid 法において⽤いた
場合を、既存⼿法の中で最も精度が⾼いものと⽐較した。表 4.2 の結果から、提案法は既存⼿法よりも⾼い精度を⽰した。Hybrid 法が常に最⾼の精度を⽰したわけではなく、どの FCmixup が最適であるかはデータセットやモデルなどの条件に依存することがわかった。
表 4.2

複数の FC-mixup 法と既存⼿法とのテスト精度の⽐較

24機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

深層 NN ソフトウェアのデバッグ・テスティング

5

深層 NN ソフトウェア開発の初期段階では３つの観点（実現機能の具体化，学習に⽤いる
データセットの整備，深層 NN 学習モデルの選択）から試⾏錯誤的な繰り返しを通して，要求機能ならびに予測性能が達成可能かを確認する。この試⾏錯誤過程は従来のプログラム
開発のデバッグ作業に対応するが，深層 NN ソフトウェア（DNN ソフトウェア）の場合，デバッグ・テスティングの⼊⼒データセット⽣成，訓練学習進⾏状況の監視と評価，要求実現を阻害する原因の特定と除去といった作業になる。以下，令和２年度に実施したデバッグ・
テスティングの⽅法を報告し，得られた実験結果の考察と今後の計画を整理する。

5.1

不具合の直接原因教師あり DNN 学習の標準的な⽅法では，訓練・学習と予測・推論の２種類のプログラムが関わる。学習データを与えられて学習タスクが決まった時，⽬的とする DNN ソフトウェアの実現に必要な学習モデルを選び，また，訓練学習過程で⽤いる⽅式を決める。利⽤可能
な OSS の学習フレームワーク提供機能を⽤いる場合，フレームワークのパラメータを決めれば良い。次に，学習データから訓練データセットを構築する。そして，学習モデル・訓練
データセットを⼊⼒として訓練・学習プログラム（学習フレームワーク提供）を作動させ，その結果，訓練済み学習モデルを導出する。より詳細には，訓練・学習プログラムが求めるのは，訓練済み学習モデルを定義する重みパラメータ値の集まりである。この訓練済み学習
モデルが予測・推論プログラムの振舞いを規定する。
利⽤者からみると，DNN ソフトウェアの実体は予測・推論プログラムである。たとえば
分類学習タスクの場合，⼊⼒データに対する分類の確からしさを求めるプログラムである。
そして，この出⼒結果を調べることで，構築した DNN ソフトウェアが意図通りに作動しているかを判断する。期待する結果が得られず不具合があるとみなす時，訓練・学習プログラ
ムの実⾏以前にもどって，⽋陥の在り処を調べて除去する。つまり，デバッグ作業を⾏う。
不具合が⽣じる時，訓練・学習プログラム実⾏過程で⽤いる情報の何処かに⽋陥があり，訓練データセット・学習モデル・学習機構のいずれか，あるいは，これらの複数が原因となる。⼀⽅，予測・推論結果に不具合をもたらす直接原因は，訓練済み学習モデルあるいは重みパラメータ値の集まりである。訓練データセット・学習モデル・学習機構の⽋陥が不具合の根本原因である⼀⽅で，直接原因は重みパラメータ値にある。つまり，根本原因となった
⽋陥は重みパラメータ値の不具合として顕在化し，その不具合が⽰す訓練済み学習モデルの歪みが利⽤者からみた不具合の直接原因となる⽋陥である[29]。この歪みを計測する⽅法が必要である。
本章では，重みパラメータ値を測定する内部指標を導⼊することで，DNN ソフトウェアの不具合を検知できるか否かを調べる。重みパラメータ値は訓練・学習プログラムの出⼒であるが，その出⼒値が妥当かを調べる直接の⽅法はない。その理由は，出⼒として期待する
重みパラメータ値を予め知ることができないことによる。このような期待する重みパラメータ値が既知であれば，訓練・学習は不要になる。その既知の値を使えばよい。

25

機械学習品質評価・向上技術に関する報告書 第 3 版

5.2

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

内部指標

ニューロン・カバレッジ（NC）の考え⽅を紹介する。学習モデルをニューロンのネットワ
ークとみなす。閾値を決めた時，出⼒値が閾値を超えるニューロンは活性状態にあるという。
学習モデルを構成するニューロン数を N とし，活性状態のニューロン数を A とする時，活性ニューロンの⽐（NC = A/N）をニューロン・カバレッジと定義する。⽂献[30]は，NC を検査網羅性の基準と仮定し，評価⽤⼊⼒データの選び⽅が NC 値，すなわち，訓練済み学習
モデルの検査網羅性に影響することを調べた。

sifi
Clas

図 5.1

go
n Al
ca t i orithm

訓練済み学習モデル

本章では，NC を計算する対象ニューロンの選び⽅を⼯夫することで，不具合の有無を調べる内部指標[31]として⽤いる。図 5.1 に訓練済み学習モデルの模式的な図を⽰した。中間層の最終段階（網掛けした層）を対象とするニューロンに対して NC を定義し内部指標とする。
⼀般に，機械学習の技術では，此の Penultimate Layer を特別の観測対象とすることが多い。たとえば，画像分類タスクの場合，その前段までが画像認識などの具体的なアルゴリズ
ムの役割を果たす相関分析（ピクセル値のパターンの分析）の処理であり，その計算結果が，此の層に集約されることが理由である。そして，本章では，想定される⽋陥原因が，この内部状態として顕在化すると仮定する。さらに，この内部状態をもとに，さまざまな統計指標を導出することができる。調べたい不具合によって，何が適切な導出指標かを実験によって
調べる。

5.3

実験の⽅法と結果いくつかの実験結果を⽰し，先に定義した内部指標あるいは導出指標の有⽤性を考察する。最初に，訓練・学習プログラム（学習フレームワーク）に⽋陥がある時の⽐較実験結果を⽰す。以下，BI は PC に⽋陥挿⼊した訓練・学習プログラムである。
図 5.2 は学習モデルとして古典的な全結合ネットワークを⽤い，中間層のニューロン数を変化させて，試験データセットの正解率をプロットした。⼗分な数のニューロンを持つ時（横軸で 50），PC と BI で正解率に⼤きな差がないことがわかる。つまり，正解率を調べても，PC と BI を区別することが困難であり，その結果，⽋陥の有無がわからない。これは，
これまでに得られた知⾒を再確認するものである。以下，この知⾒（図 5.2）に加えて，さらに状況を系統的に調べる実験の結果（図 5.3）を⽰す。

26

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

1

Accuracy

0.98
0.96
PC
BI

0.94
0.92
0.9
0

10

20

30

40

50

60

Structural Capacity

図 5.2

中間層の異なる学習モデル

Activated Neurons

1
0.9
0.8
0.7
0.6
0.5

PC

0.4

BI

0.3
0.2
0.1
0
0

10

20

30

40

50

60

Structural Capacity

図 5.3

内部指標との関係

図 5.3 は，縦軸に内部指標（本章でのニューロン・カバレッジ）をプロットした。この指標の絶対値を参照すると，たとえば、BI の 10 と PC の 30 とは，共に 0.7 程度であって，BIと PC の区別がつかない。
そこで，内部指標からの導出指標に適切なものがあるかを調べる。
今，試験データセットに対するニューロン・カバレッジの集まりを得て，この平均値μと分散σ2 を求めて，さらに，σ/μを計算する。横軸にこの導出指標σ/μを⽤いる場合を図 5.4に⽰した。縦軸の値から図 5.3 を参照することで，どの学習モデルがどの値かを知ることができる。
1

Accuracy

0.98
0.96
PC
BI

0.94
0.92
0.9
0

0.1

0.2

0.3

/µ

図 5.4

0.4

p

導出指標

図 5.4 によると，PC と BI を区別できることがわかる。つまり，内部指標では，キャパシ

27機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ティ（中間層のニューロン数）が異なる PC と BI を区別できない（図 5.3）が，導出指標を⼯夫してσ/μによって⽐較すると，ニューロン・カバレッジが有⽤な情報を与えることがわかる。
次に，⽋損データを評価⽤に⽤いて，PC と BI が個々のデータに対して出⼒する分類の確からしさを散布図（図 5.5）で表す。
1.2

Probability of PC

1

0.8

0.6

0.4

0.2

0
0

0.2

0.4

0.6

0.8

1

1.2

Probability of BI

図 5.5

分類の確からしさ

図 5.5 で△が⽋損データに対する出⼒値を表す。PC と BI で同等の値を出⼒すると仮定す
ると，原点を通る点線上に分布する筈である。実際，試験データセットから選んだ□は概ね此の線上にのることがわかる。⼀⽅，⽋損データ（△）は実線上に分布し，PC がより良い
分類の確からしさであること⽰す。つまり，⽋陥混⼊した BI は、正解率は変わらない（図5.2 を参照）が，頑健性に劣るといえる。
次の実験は，内部指標を⽤いることで頑健性の違いを検出できることを確認するもので
ある。

図 5.6

内部指標の違い

図 5.6 は，前記の⽋損データを⼊⼒し，先に定義した内部指標を横軸にプロットした。右側に分布する□は PC，左側に分布する◇は BI による結果を⽰す。これによると，(1) PC の
内部指標の値が⼤きいこと，(2) 内部指標と予測確率（分類の確からしさ）の相関が弱いこと，がわかる。次に，σ/μを計算すると，PC は 0.0876 であり，BI は 0.2183 となった。図28

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

5.6 は頑健性に影響する⽋損データを⽤いる実験であり，σ/μの値が頑健性と強く関係すると考えられる。
次に，訓練データセットに系統的な歪みを与えて，訓練済み学習モデルを導出する実験を⾏った。系統的な歪みが⽣成できることが，これまでの実験からわかっている。この実験は，訓練データセットの違いが，内部指標に影響を与えるかを調べることに相当する。同⼀の試験データセットに対する正解率をプロットした。

図 5.7

訓練データセットの違い

図 5.7 の上から下へ（正解率の良い⽅から悪い⽅へ），⼤きい歪みの訓練データセットを⽤いた場合に対応する。つまり，試験データセットのデータ・シフトが訓練時に⽤いたデー
タセットから相対的に⼤きくなるので正解率が低下することを確認できる。⼀⽅で，横軸の値（σ/μ）は，PC（□）と BI（◇）で明らかに異なる。この実験の状況は，訓練データセット・シフトの⼀例と考えて良い。図 5.7 は PC と BI で独⽴した２系列を⽰す。正解率が⽰す正確性とσ/μ値が⽰唆する頑健性とが独⽴な観点であることを確認できる。
以上から，訓練データセットの歪みは，内部指標では区別がつきにくいが，正解率に基づく⽅法で調べることができる。実務で⾏われているように，訓練データセットの良し悪しの検討に際しては，正解率を調べる⽅法が有⽤であると云えよう。⼀⽅，訓練・学習プログラ
ムの⽋陥など他の要因が関わる可能性がある（多重⽋陥が想定される）場合，内部指標や導出指標（σ/μ）の値を同時に調べることが望ましい。

5.4

関連研究

ニューロン・カバレッジは DeepXplore [30]で導⼊されたメトリックスである。従来のソフトウェア・テスティングで⽤いられてきたテスト網羅性基準を参考に提案された。従来法は，実⾏⽂をノードとする制御フロー・グラフ（Control Flow Graph, CFG）でプログラムを表現する時，あるテスト⼊⼒データによって実⾏される⽂を基本単位として，テスト網羅性を定義する。最も簡単には，CFG のノードが⼊⼒テストによって実⾏される経路に含まれるか否か，つまり⽂が実⾏されるか否かを基準とする。これは，⽂網羅基準あるいは C0 基準と呼ばれる。DNN 学習モデルはネットワークとして表現されることから，CFG 上で定義された C0 基準との対⽐により，ノードに位置するニューロンが活性化（出⼒値が閾値を超えること）されるか否かによって，ニューロン・カバレッジ（NC）を定義した。そして，NC値を増加させるように新しいテスト⼊⼒データを⽣成する⽅法を論じた。

29

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ニューロン・カバレッジは従来のテスト網羅性基準から類推できる素直な考え⽅だろう。
その後，NC を向上させる⼊⼒データの作成が難しくないという経験から，複数ニューロンの相関や異なる層の間での相関を考慮したメトリックスが提案された[32]。また，NC が増加するように，NC 値をガイドとして，データ補完の⽅法で有⽤なテスト⼊⼒データを系統的に⽣成する⽅法[33]がある。さらに，NC をガイドに⽤いる⽅法と GAN をベースとするテ
スト⼊⼒⾃動⽣成[34]とを組み合わせる⽅法が論じられている[35]。データ⽣成をガイドする指標として，NC が有⽤なことが確認されたと⾔ってよい。
テスティングの例として，⽂献[33]および[34]は回帰問題 DNN モデルの予測結果をもとに計算したステアリング⾓度というアプリケーションの機能を検査の観点とした。⽂献[36]は NC 値を⼤きくするテスト⼊⼒が⽋陥発⾒に役⽴つかを調べた。何を⽋陥とするかで NCが有⽤か否かの判断が異なることを論じている。逆に，この研究[36]は，正確性を中⼼とす
る外部指標と NC の間の相関が弱いことを述べている。本章では，両者に相関が弱いという観察から，NC に基づく内部指標を検査に⽤いた。⽂献[36]と⽭盾しないどころか，同じ⽅向の議論を展開しているといえる。なお，網羅性は検査終了の判断基準であり，⼀⽅，⽋陥
発⾒はテスト⼊⼒データがコーナーケースを実⾏するかに依存する。両者は異なる側⾯を論じているともいえる。実際、従来のソフトウェア・テスティングにおいても，網羅性の向上が必ずしも⽋陥発⾒の効率向上に結びつかないことが報告されている。
本章の⽅法は，⽂献[29][31]で論じられているように，NC 値を簡易的な検査指標に⽤いるというものである。従来の研究が NC を検査の網羅性基準に⽤いるのに対して，DNN モ
デルの⽋陥が NC 値として現れる，という⾒⽅を採⽤した。実験では，この考え⽅に基づく
具体的な検査として，訓練・学習プログラムの信頼性および訓練済み学習モデルの頑健性を調べることができた。

5.5

おわりに

本章では，Penultimate Layer でのニューロン・カバレッジに基づく内部指標を⽤いた。これはスカラーであることから，計測ならびに導出指標の定義が容易であり，検査指標として利⽤しやすい。⼀⽅，NC はニューロン個々の値に関する情報を捨象しており，有⽤な情報が⽋落する。実際，⽂献[37]では，ニューロン値の分布を推定し，これをもとにテスト⼊⼒
データが妥当かを論じる⽅法を提案している。これを応⽤すると，ニューロン値の分布は訓練データセットの歪みを，より詳細に表すと考えられるだろう。今後，この分布を利⽤する
考え⽅を応⽤することで，訓練データセットをデバッグする⽅法を検討する。

30

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

6

訓練データのデバッグ・テスティング

6.1

３つの問題設定

深層ニューラル・ネットワーク（Deep Neural Networks、DNN）の技術[38]を応⽤した DNN
ソフトウェア開発の初期段階では、中核となる DNN コンポーネントの機能振舞いが期待通りであるかの確認を⽬的としたデバッグ・テスティングを⾏う。これは DNN コンポーネン
トに適切なデータを⼊⼒し、予測出⼒が意図通りかを調べる作業である。出⼒に何らかの不具合がある時、検査対象の DNN コンポーネントが⽋陥を含む。デバッグの⽬的は、このよ
うな未知の⽋陥を特定し除去することである。
DNN コンポーネントの⽋陥は不具合の直接原因であるが、根本原因ではない。DNN コン
ポーネント構築の標準的な⽅法[39]では、(a) 学習基盤、(b) 学習モデル（DNN モデルの雛形）、(c) 訓練データ、といった３つの要素が複合的に関わる。その何処かに DNN コンポー
ネントが⽰す不具合を導いた根本原因がある。何処に根本原因を想定するかで検査の問題
設定が異なる[40]。
DNN コンポーネント構築の基本は、膨⼤な数の学習データからなる訓練データセットを対象とし、訓練データに内在する情報を統計的な⽅法を⽤いて帰納的に導出して DNN モデル（⾮線形関数）を求めることである。素朴には、DNN モデルを調べて根本原因を特定すれば良い。しかし、DNN モデルは⾮線形関数で表現した処理⼿順なので、DNN モデルに評価データを⼊⼒し機能振舞いあるいは出⼒結果が妥当かを調べる間接的なテストオラクル
によるソフトウェア・テスティング法を⽤いることになる[41]。
先の３つの要素の(a)では、学習基盤の実体は最適化問題を解く数値計算プログラムで、
メタモルフィック・テスティング検査法が有⽤なことが知られている[42]。(b)の場合、学習モデルに明らかな⽋陥があるわけではない。対象学習タスクに対する最良の学習モデルを⾒つけることであり、DNN 技術を応⽤する研究の主要な課題である[38]。本章では、(c)の場合について、つまり、訓練データのデバッグ・テスティングの問題を検討する。

訓練データのデバッグ問題

6.2

訓練データのデバッグ・テスティングは、学習データの偏りが DNN モデルに影響するという観察に基づき、意図通りの機能振舞いを⽰す DNN モデルが得られるように訓練データを改訂（追加・削除）することである。以下、教師あり分類学習タスクを対象として、訓練
データのデバッグ問題を具体的に考える。
モデル正確性とモデル・ロバスト性
⼊⼒データを𝐶種類に分類する教師あり学習タスクでは、多次元ベクトル 𝑥 と正解タグ 𝑦からなるデータ点 𝑧（ 𝑧 〈𝑥, 𝑦〉 ）を考える。そして、与えられた訓練データセット 𝑆（𝑆𝑧𝑘1, … , 𝑁 ）から導出された DNN モデルを検査対象とする。DNN モデルは⼊⼒の評価データ 𝑥 に対応する𝐶次元の分類確率ベクトル 𝑃 を返す。𝑃 の 𝑗成分を 𝑃 𝑗 として、値が最⼤の成分 𝑗 が 𝑦 と⼀致（ 𝑦argmax ∈ ,𝑃 𝑗 ）すれば正解とする。この時、多次元

31機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ベクトル 𝑃 、特に、正解の成分 𝑃 𝑗 が⽰す予測確率は、データ 𝑥 に対するモデル正確性を〈𝑥 ℓ , 𝑦 ℓ 〉 ℓ 1, … , 𝑀 ）に対表す 1 つの指標となる。また、評価データの集まり𝐸（𝐸
する正解の度数（正解率）を正確さ（Accuracy）とし、正確さもモデル正確性の指標のひとつである。さらに、𝐶種類の分類カテゴリの正確さが不均等か否か（たとえば Gini 係数）もモデル正確性を表す指標となる。
DNN モデル構築過程では、訓練データセット 𝑆 から求めた正確性と、 𝑆 と異なるデータ
セット 𝐸 に対するモデル正確性を求める。たとえば、𝑆 に対しては良い正解率を⽰す⼀⽅で、𝐸 に対しては正解率が悪化することがある。これは訓練データセットへの過適合として知られている。通常、𝑆 と 𝐸 はひとつの⼤きなデータ・プール 𝐷 から選んで構成することから、同じデータ分布に従う異なる標本と考える。𝑆 と 𝐸 に対する正解率を調べることで 𝑆 への過学習の程度を調べる。過学習が⾒られない時、DNN モデルは汎化性能に優れているとする。
訓練データのデバッグ問題では、評価データ 𝐸 を 𝐷 以外から選ぶこともある．期待する
振舞いを⽰すことの確認が⽬的の正常系テスティングでは、汎化性能の評価と同じように、𝐷 から 𝑆 と異なる 𝐸 を選べば良い。しかし、例外的な状況での振舞いを調べるには、𝐷 に含
まれないデータを評価⽤データセット 𝐹 としたい。𝐹 に対しては、正解率に代表されるモデ
ル正確性は良い指標にならない。𝐹 の特定データに対する予測確率（モデル正確性の指標）からの判断ではなく、𝐷 のデータからの外れ具合に応じた予測確率の低下が許容範囲であるかを表すモデル・ロバスト性が評価の基準となる。
なお、実際の開発時においては、所与の 𝐷 で期待する予測性能が得られない場合、新たなデータを収集し、訓練データそのものを改訂する。そして、新たな訓練データセットを⽤いて、DNN コンポーネントを導出する。検査時には、正常系ならびに例外系テスティングの双⽅から、モデル正確性とモデル・ロバスト性を評価する。学習データを当初の 𝐷 に限定して考えることは実務に合わないことがわかる。
訓練データ記憶
過適合（あるいは過学習）は DNN モデルの予測性能（モデル正確性とモデル・ロバスト
性）に⼤きく影響する。そこで、過学習の問題を緩和する⽅法を組み込んだ学習基盤の⽅式
が従来から研究されてきた。正則化やドロップアウトといった⼿法である[43]。このような⽅法を学習基盤が持つ場合であっても、訓練データセットに偏りがあると、期待する予測性能を得ることができない。訓練データのデバッグ問題は、訓練データセットを改訂すること
で、DNN モデルの予測性能を改善することである。簡単には、不適切な偏りをなくすことと⾔える。しかし、偏りの度合い、ならびに、偏りの適切さ（不適切さ）を評価することは難しい。
訓練データ（標本）の偏りを評価する⽅法として、標本の統計的な特徴を調べるアプロー〈𝑥 , 𝑦 〉 𝑘 1, … , 𝑁 とする時、正解タグによって𝐶個の集まチがある。たとえば、𝑆り𝑆〈𝑥, 𝑐〉 〈𝑥, 𝑐〉 ∈ 𝑆 かつ 𝑐

1, … , 𝐶 に分けたとしよう。𝑆 の⼤きさが均等であれば、正解タグからみた標本数に偏りはないとしてよい。しかし、各々の 𝑆 は何らかのデータ分
布 𝜌 に従うし、この 𝜌 から⾒て偏りがあるかは何もわからない。これを調べるには、𝜌を推定する必要がある。しかし、データ 𝑥 は多次元ベクトルであり、このような多次元デー
タ分布 𝜌 を推定することは実務上容易でない。

32

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

DNN モデルの予測性能は、評価データを⼊⼒してのテスティング結果によって調べる。
学習基盤の⽅式によって、同じ訓練データから導出した DNN モデルが異なる予測性能を⽰
すこともある。つまり、訓練データのデバッグを⽬的とする検査では、訓練データの統計的な特徴を調べるだけでは不⼗分であり、訓練データの偏りが、どのように DNN モデルに反映されているか、どのような⽅式で訓練学習されたか、が影響する。
訓練データの偏りと DNN モデルの関係は、DNN モデルが訓練データの正解ラベルを記憶するという観点から論じることができる。今、訓練データ 𝑆 がデータ点 〈𝑎, 𝑡〉 を含む時
（ 〈𝑎, 𝑡〉 ∈ 𝑆 ）、𝑆 から 〈𝑎, 𝑡〉 を除去した訓練データを 𝑆 とする（ 𝑆𝑆 ∖ 〈𝑎, 𝑡〉 ）。𝑆 あるいは 𝑆 を⽤いて訓練することで得られる DNN モデルを各々 𝑀, 𝑀 とする。そして、𝑀 による
⼊⼒ 𝑎 に対する予測確率ベクトル 𝑃 と 𝑀 による 𝑃 を求める。分類結果 𝑡 に対する 𝑃 𝑡 の
確からしさが⼤きい⼀⽅、 𝑃 𝑡 に対する確からしさが⼩さい時、𝑀 は訓練に⽤いたデータ〈𝑎, 𝑡〉 を記憶する（Memorize）という。この定義から、過適合の状況では、DNN モデルが訓練データを記憶することがわかる。データ記憶は、データの偏りの、ひとつの側⾯を表すと考えられる。
DNN モデルでは、帰属関係推定（Membership Inference）が可能なことが知られている。
データ点 〈𝑥, 𝑦〉（ 〈𝑥, 𝑦〉 ∈ 𝐷 ）が訓練データセット 𝑆 に含まれていたか（ 〈𝑥, 𝑦〉 ∈ 𝑆 ）を訓練
済み学習モデル𝑀に⼊⼒して得られる情報から調べる問題である。 𝑀 𝑥 の実⾏結果の分類
確率ベクトル 𝑃 から調べるブラックボックス法[44]や 𝑀 𝑥 の実⾏過程で計算する損失関数 ℓ 𝑌 𝑊; 𝑥 , 𝑦 の情報を利⽤するホワイトボックス法[45]がある。ここで、𝑊 を学習パラメータあるいは重みとし、𝑌 𝑊; 𝑥 を⼊⼒ 𝑥 に対する予測の内部表現とした。なお、これらを⽤いて、𝑀 は訓練データセット 𝑆 の分布 𝜌 の下で、損失関数の平均値を最⼩化する問題の解 𝑊 ∗ （𝑊 ∗argmin 𝔼〈 , 〉~ ℓ 𝑌 𝑊; 𝑥 , 𝑦 ）をもとに定義する𝑌 𝑊 ∗ ; 𝑥 から得られる。
直感的には、帰属関係推定の⽅法は、データ点 〈𝑥, 𝑦〉 が訓練データセット 𝑆 に含まれているか否かによって、𝑃 あるいは ℓ 𝑌 𝑊; 𝑥 , 𝑦 の分布が異なるという観察に基づく。このような指標の分布に違いが⽣じる原因は過適合を含む訓練データ記憶である[45]。そして、帰属関係推定の脅威を緩和するアプローチは、過適合が⽣じないような学習基盤の⽅式を利⽤することに加えて、記憶されやすいデータを訓練データセットから除去することである[46]。帰属関係推定は、訓練データの偏りの状況を反映する。
訓練データ記憶と関わる状況を調べる。分類問題を考えて図 6.1 で、𝑎 𝑏 であるが 𝑡𝑢 とする。図 6.1 (a) は訓練データ 〈𝑎, 𝑡〉 から離れると共にデータ 〈𝑏, 𝑢〉 （〈𝑏, 𝑢〉 ∉ 𝑆）の予測
確率が低下することを模式的に⽰す。図 6.1 (b)は 𝑆 の中で訓練データ 〈𝑎, 𝑡〉 が密集している
時、そのデータを除去してもデータ 〈𝑏, 𝑢〉 の予測確率が⼤きな影響を受けないことを表す。
つまり、除去した訓練データは予測結果に⼤きな影響を与えないという点で記憶されない。
図 6.1 (c)は訓練データが疎（外れ値）の時、図 6.1 (b)とは逆に、影響が⼤きくなり、強く記憶されていることを表す。このような外れ値データは DNN モデルの予測分類性能に⼤きく影響する。
最後に、帰属関係推定を訓練データ・デバッグの問題から考える。訓練データが記憶される状況では、データ点が訓練データセット 𝑆 に含まれるか否かで、𝑃 や ℓ 𝑌 𝑊; 𝑥 , 𝑦 の分
布が⼤きく異なる。帰属関係推定の⽅法は、訓練に⽤いた 𝑧 から遠いデータ点 𝑧 に対する予測性能が悪いことを利⽤している。つまり、帰属関係推定をモデル・ロバスト性の検査と考えることもできる。訓練データ記憶の現象はモデル・ロバスト性と関わる。

33

機械学習品質評価・向上技術に関する報告書 第 3 版(a) 近傍での予測確率
図 6.1

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004(b) 密集する領域(c) 疎な領域

訓練データの配置と予測の確からしさ

ここで、図 6.1 の模式的な状況を参照する。図 6.1 (b)に⽰す密集データを除去しても〈𝑏, 𝑢〉 のモデル正確性への影響は少ないだろう。⼀⽅、図 6.1 (c)のようなデータを除去するとモデル・ロバスト性は改善するが、予測分類をサポートするデータがなくなることから、その近傍のモデル正確性が低下する。あるいは、このデータを除去しないで、その近傍に新たなデータを追加すれば密になり、局所的なモデル正確性が向上する。したがって、訓練データ・デバッグでは、訓練データセット 𝑆 の外れ値を検知することが⼤切である。
図 6.1 の模式的な説明は、⼊⼒データの予測分類性能が訓練データとの位置関係に影響されることを⽰す。ところが、どのようにして位置関係を定義するのか、つまりデータのどのような特徴から位置関係を定義するのか、を述べていない。逆に、予測分類性能の違いを議論する際に、どのように位置関係を定義すべきなのかという問題ともいえる。位置関係の基準を決めることで、外れ値検知の問題設定があきらかになる。

6.3

外れ値とニューロン・カバレッジ

訓練データ・デバッグを⽬的とする外れ値検知の⽅法を考察する。
訓練データの外れ値
訓練データのデバッグ問題は、訓練データセットから外れ値（Outliers）を⾒つけ出し、開発対象 DNN モデルの⽬的に応じて、外れ値の取扱いを決めることである。外れ値を除去する、外れ値周辺に新たなデータを追加する、などの⽅策が考えられるが、その取り扱いは、
DNN モデルに対する要求仕様と関わる。訓練データ・デバッグの⼀般的な議論としては、
外れ値検知の技術を確⽴すればよい。
⼀般に、外れ値は多数を占めるデータと異なる特徴を持つデータであり、外れ値であるか否かは対象データの集まりが⽰すデータ分布（統計的なデータ・モデル）を前提として定義する[47]。たとえば、データ分布の確率密度関数が既知であれば、データ 𝑥 の尤度をもとに外れ値であるかを調べればよい。
素朴には、訓練データの経験分布をもとに、外れ値であるかを考える。ところが、訓練データは多次元ベクトルであり、経験分布を簡便な形式で知ることが困難である。たとえば、

34

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

カーネル密度推定（Kernel Density Estimation, KDE）などの⼿法の適⽤が難しく、その結果、
尤度に基づく外れ値の検出は実⽤的ではない。あるいは、ソフトウェア・テスティングの分野で知られている組み合わせテスト法（Combination Testing）に準じる分析⽅法を応⽤することが考えられる。経験分布に⼤きな影響を与えると思われる成分（因⼦）を選び、このような代表的な次元に着⽬して調べることで経験分布に対する検査を代⽤する。実務的に有⽤な⼀⽅、外れ値は元来の定義から稀なデータであり、この近似的な⽅法の有効性に疑問が残る。
少し視点を変えて、モデル・ロバスト性を分析する標準的な⽅法のロバスト半径[48]を考える。２つのデータ点 〈𝑥, 𝑦〉 と 〈𝑥 , 𝑦 〉 を選び、各々の出⼒の予測分類結果を 𝑃 𝑦 と 𝑃 𝑦とする。ロバスト半径 𝛿 は、出⼒の違いの許容⽔準 𝜀 が与えられた時、𝜀 を満たす⼊⼒デー
タの違いの最⼤値 𝛿（ | 𝑃 𝑦
𝑃 𝑦 | 𝜀 の時、| 𝑥 𝑥 |𝛿 ）である。ここで、⼊⼒データの違いを𝐿 ノルムで定義する。素朴には、与えられた 𝜀 に対して、ロバスト半径 𝛿 が⼤
きいとモデル・ロバスト性が良いと考える。しかし、ノルム𝐿 の選び⽅によってロバスト半
径 𝛿 が異なる。ロバスト半径によるモデル・ロバスト性の定義は厳密である⼀⽅、⼊⼒データの空間での分析は、⽤いたノルムが妥当かといった議論あるいは解釈を必要とし、問題の状況が複雑化する。なお、この議論は| 𝑥 𝑥 | が⼤きくなる（離れる）と| 𝑃 𝑦
𝑃 𝑦 |が⼤きくなること、つまり、孤⽴点の議論である。
ここで、異なる分類カテゴリーのデータ 〈𝑏2, 𝑢2〉 への訓練データ 〈𝑎, 𝑡〉 （ 𝑡𝑢2 ）の影響について考える（図 6.1 (a)）。2 つは分類カテゴリーが異なるので、⼊⼒データ空間では離れているとして良い。訓練データ記憶の議論と同様に、訓練データセット 𝑆 が 〈𝑎, 𝑡〉 を含み、𝑆 から 〈𝑎, 𝑡〉 を除去した訓練データ 𝑆 とする。各々から得られた DNN モデルを 𝑀, 𝑀 とし、
データ 〈𝑏2, 𝑢2〉 に対する予測分類結果を𝑃 , 𝑃 とする。𝑆 と 𝑆 の誤差関数への影響を分析
する影響関数（Influence Functions）の⽅法によって、𝑃 𝑢2 と 𝑃 𝑢2 の確からしさが異なる 〈𝑏2, 𝑢2〉 が存在することがわかる[49]。つまり、訓練データ 〈𝑎, 𝑡〉 の有無が 〈𝑏2, 𝑢2〉 予測
分類確率に影響することを表す。したがって、⼊⼒データ空間での違いによる分析（ 𝑎𝑏2 ）だけでは⽬的とする情報を得ることが難しい。
以上から、訓練データの集まりを対象として、つまり、⼊⼒のデータ空間での分析によって、⽬的とする外れ値を系統的に検知することが難しい。その理由は、モデル正確性やモデ
ル・ロバスト性が訓練データだけではなく、学習⽅式など訓練学習に関わる多様な要素に影響されるからである。ただし、⼊⼒データ空間での分析が全く効果ないことを主張するものではない。このような分析によって、訓練データの経験分布を⼤まかに把握することができるだろう。
本章では、⼊⼒データ空間の特徴がモデル正確性やモデル・ロバスト性と関わるとしても、系統的な訓練データ・デバッグの⽅法としては不⼗分と考える。訓練データの外れ値を検知する系統的な⽅法を検討する。
活性ニューロン
ニューロン・カバレッジは、対象ニューロン数に対する活性ニューロンの割合で定義される[50]。ここで、𝑀 𝑥 とした⼊⼒データ 𝑥 の信号が DNN モデル中を伝播し、各々のニューロンを活性化すると考える。与えられた閾値を超える出⼒を持つ時、活性ニューロンと呼35

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ぶ。
ニューロン・カバレッジは、当初、カバレッジ駆動テストデータ⽣成（Coverage-driven Test
Data Generation）の網羅性基準として提案された[50]。⼊⼒データ 𝑥 による活性ニューロン
は出⼒結果に影響を与えるという点で有⽤な働きを⽰す。⼀⽅で、⼊⼒データ 𝑥 に対して予測推論に関わらない時、不活性ニューロンが⽣じると解釈する。そして、不活性ニューロンを⽣じる⼊⼒データでは、全てのニューロンを調べていないと考え、⼗分なテストができていないとする。不活性ニューロンを活性化させるような新しい⼊⼒テストデータを求めれば良い。
⽂献[13]による提案の後、ニューロン・カバレッジのテスト網羅性基準としての有⽤性などに関する研究が進められた[51][52][53]。特に、ソフトウェア・テスティングの C0 基準がそうであるように、ニューロン・カバレッジを達成することは難しくなく、テスト網羅性基
準として弱いことがわかっている。
⼀⽅、そもそも訓練データに不備があり、予測推論に関わらない不活性ニューロンが⽣じたと解釈することもできる。この場合、新たな⼊⼒として得られたデータを訓練データに追加して再学習する[50]。つまり、ニューロン・カバレッジを 𝑀 のモデル品質を評価する基準とする考え⽅を⽰唆する。以下、このモデル品質評価基準としてのニューロン・カバレッ
ジという観点[54]から考察する。
分類学習の DNN モデル 𝑀 は⼊⼒に近い上流層が符号化 𝐸 （Encoding）を⾏い、その後に分類 𝐶 （Classifying）を担うという流れを⽰す（ 𝑀を表し、𝑀 𝑥

𝐶 ∘𝐸

𝑥

𝐶 𝐸 𝑥

𝐶 ∘ 𝐸 ）。ここで、_∘_は関数結合である。出⼒を分類確率ベクトルとする場合、𝐶の logits と呼ぶ出⼒の最終層に softmax 関数を配置する。𝑀

SOFTMAX ∘ 𝐶 ∘ 𝐸 のように表現できる。次に、𝐸 と 𝐶 をつなぐ層に全結合ネットワーク（Fully Connected Network）FCNを配置し、
𝑀

SOFTMAX ∘ 𝐶 ∘ FCN ∘ 𝐸 に変形する。FCN 層に符合化処理 𝐸 の結果が移され、さらに 𝐶 に伝播されると考える。
ニューロン・カバレッジを計算する場合、閾値の選び⽅ならびに対象ニューロンの決め⽅が問題となる。FCN は全結合なので同⼀層内でのニューロンの⼊れ替えに対して出⼒が保存されるスワップ不変性（Swap Invariant）が成り⽴つ。そこで、 FCN 層のニューロン活性状況を要約する情報としてニューロン・カバレッジが有⽤だろう。⼀⽅、SOFTMAX や CNNのように構成ニューロンが特定の機能的な役割を担う場合、すべてのニューロンを同等に考えるニューロン・カバレッジが有⽤な情報を提供するかは疑問がある。実際、CNN に対しては、２つの異なる定義が知られており、どちらを採⽤するかで、ニューロン・カバレッ
ジの値が異なる[55]。本章では FCN 層に対してニューロン・カバレッジを考える。
⽂献[55]は、データ補完の⽅法で学習データを系統的に変化させて、𝐸 や 𝐶 でのニューロ
ン・カバレッジへの影響を調べた。その結果、訓練データの違いが 𝐸′層のニューロン・カバ
レッジに⼤きく影響する⼀⽅で 𝐶層への影響は⼩さいこと、評価⽤の試験データの違いは 𝐶の最終層（Penultimate Layer）にほとんど影響しないことなどがわかった。先に導⼊したよ
うに𝐸

FCN ∘ 𝐸 とする時、この FCN 層に訓練データの違いが反映されると考えてよいだ

ろう。
また、これまでの実験[42][54][56]において、𝐶 の最終層に設けた FCN のニューロン・カ
バレッジを測定したところ、分類予測確率とニューロン・カバレッジの相関がほとんどない
ことがわかった。したがって、ニューロン・カバレッジはモデル正確性に寄与する情報と独36機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

⽴した側⾯を表すと考えられる。仮にモデル・ロバスト性との間に何らかの相関関係があるとしたら、ニューロン・カバレッジが外れ値を検知する⽅法として有⽤と期待できる。

6.4

実験と考察

ニューロン・カバレッジとモデル・ロバスト性の関係を実験的に調べ、ニューロン・カバ
レッジに関わる情報が訓練データのデバッグに有⽤か否かを考察する。
実験の概要
実験は、準備作業を含めて、５つのステップからなる。MNIST データセットを⽤い、学習モデルとして、𝑀

SOFTMAX ∘ 𝐶 ∘ FCN ∘ 𝐸 の形を想定した。以下、MNIST の訓練データセ

ットを LS（⼤きさ 60,000）、試験データセットを TS（⼤きさ 10,000）と表記する。
・ステップ１：LS が⽣起する活性ニューロンを測定する。𝑀 を LS で訓練して得た訓練済み学習モデルを𝑀とする。𝑀の FCN 層を対象として、多次元ベクトルデータ𝑥（〈𝑥, _〉 ∈ 𝐿𝑆）が⽣起（𝑀 𝑥 ）する活性ニューロンの集まりを𝐴𝑐𝑡 とする。FCN 層を構成するニューロン数を|𝐹𝐶𝑁|として、ニューロン・カバレッジは𝑁𝐶|𝐴𝑐𝑡 |/|〈𝑥,|𝐹𝐶𝑁|である。LS の要素全体に対して、𝑁𝑁𝐶_〉 ∈ 𝐿𝑆 とする。𝑁 のデータ
分布（𝑁𝐶 の度数分布）を求める。

・

ステップ２：𝑁 のデータ分布を基準として、𝐿𝑆から系統的に訓練データを選び出し、𝐿𝑆 を得る。具体的な選び⽅ならびに添字𝑃と𝑗の意味は 6.4.2.2 節で説明する。

・

ステップ３：𝑀 を𝐿𝑆 で訓練して得た訓練済み学習モデルを𝑀 とする。試験データ
TS を⼊⼒して、正解率を計算する。また、予測の確からしさ（正解タグの SOFTMAX値）を分類クラスごとに求め、分類クラス間のばらつきを表す Gini 係数を計算する。
すなわち、𝐿𝑆 のモデル正確性への影響を調べる。

・

ステップ４：モデル・ロバスト性を評価するデータを TS から合成する。合成関数を𝑇 とし、いくつかの⽅法で、評価データ𝐸𝑆 を得る（𝐸𝑆𝑇 𝑇𝑆 ）。具体的な合成⽅法は 6.4.3.1 節で説明する。なお、データ合成⽅法𝑇 によっては、必要に応じて訓練
済み学習モデル𝑀を利⽤する。
・

ステップ５：訓練済み学習モデル𝑀 をデータ𝐸𝑆 で評価し、モデル・ロバスト性の指標を求め、𝑀 の違い、すなわち、𝐿𝑆 のモデル・ロバスト性への影響を調べる。
ニューロン・カバレッジ分布

6.4.2.1

ニューロン・カバレッジの測定

検査対象の訓練データセット LS のニューロン・カバレッジの集まり𝑁 を求め、そのデータ分布（ニューロン・カバレッジ分布）を測定した結果を図 6.2 に⽰した。図 6.2 (a)は37

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

横軸に⼊⼒データに対するニューロン・カバレッジ、縦軸に対応するニューロン・カバレッ
ジ値を得た⼊⼒データ度数を表す（KDE の結果）
。図 6.2 (b)は横軸に⼊⼒データに対するニューロン・カバレッジ、縦軸に同じ⼊⼒データの予測確率をプロットした散布図である。⾚い点は予測が正しいデータ、⻘い点は不正解のデータを表す。なお、訓練データ正解率と試験データ正解率は共に 99%であった。

(a) ニューロン・カバレッジ vs データ度数
図 6.2(b) ニューロン・カバレッジ vs 予測確率

訓練データの分析結果

図 6.2 (a)は測定したニューロン・カバレッジが、0.38 から 0.84 の間に分布することを⽰す。また、中央値ならびに平均値は 0.60 である。図 6.2 (b)はニューロン・カバレッジと予測の確からしさ（予測確率値）の相関がほとんどないことを⽰す。図 6.2 中、たとえば、楕円で囲んだ領域は、平均よりも⼤きなニューロン・カバレッジとなる訓練データが対応する。
ニューロン・カバレッジの値が同じであっても、正解タグの予測確率値が広くバラつくだけ
ではなく、正解・不正解の両⽅を含む。ニューロン・カバレッジの値が⼩さい領域に着⽬しても、同様な傾向を⽰す。ニューロン・カバレッジは予測推論過程の内部状態を表すが、endto-end の出⼒値とは相関がない。
ニューロン・カバレッジが⼩さいことは、⼊⼒データが分類に寄与する有意な情報を持たないことを⽰唆する。極端な場合、⼊⼒画像のピクセル値が 0 であれば活性化されるニューロンはなく、その結果、ニューロン・カバレッジがゼロになる。測定結果では 0.38 程度
が⼩さい領域であり、「弱い」⼊⼒信号を活⽤することで予測分類結果を導いたと考えられる。⼀⽅、ニューロン・カバレッジが⼤きいとは、活性化されるニューロンが多いことを表すが、ニューロン・カバレッジ値が⼤きいことが正解の予測確率を向上させるわけではない。
⼊⼒データが有意な分類結果を導く情報を持たないこと、異なる分類かを区別できないことを⽰唆する。実際、測定対象層のニューロンが少なく構造的なキャパシティが⼩さい場合、正解率が劣る⼀⽅でニューロン・カバレッジが⼤きくなるという測定結果（図 5.2 と図 5.3）と整合している。構造的なキャパシティが⼗分であるという前提のもとで、ニューロン・カ
バレッジのデータ分布の中央付近のデータを訓練に⽤いると、適切に分類に寄与するデー
タを積極的に選ぶことができ、モデル正確性に影響することなく、モデル・ロバスト性に寄与すると期待できる。
本章では、以上の観察を２つの仮説に整理する。デバッグ対象の訓練データセットを LSとする時、LS の要素 𝑥 を⼊⼒した時のニューロン・カバレッジの集まり𝑁 のデータ分布を38

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

考える。
［仮説１］ニューロン・カバレッジはモデル・ロバスト性と相関がある［仮説２］𝑁 のデータ分布が外れ値の基準となる
以降、仮説が妥当かを実験で確認し、訓練データ・デバッグの指針を整理する。
6.4.2.2

訓練データの区分け

訓練データのニューロン・カバレッジ𝑁 のデータ分布（図 6.2 (a)）を基準にして、𝐿𝑆から系統的に訓練データを選び出し、𝐿𝑆 を得る。60,000 個の𝐿𝑆から、同数（40,000 個）の訓練データ𝐿𝑆 を系統的に抽出する。MNIST の訓練データ𝐿𝑆を、分類クラス C に分けて𝐿𝑆 〈 〉（𝐿𝑆∪ 𝐿𝑆 〈 〉 ）として、２つの抽出⽅法を考える。選択モード P が N の時、𝐿𝑆全体を対象として、ニューロン・カバレッジの⼤きさ区間が[5000𝑗, 5000𝑗

39999]（𝑗となる５つのデータセット𝐿𝑆 を得る。また、選択モード P が C の時、𝐿𝑆〈 〉0, 1,2,3,4）ごとに、同様な⽅法で 400 個ずつ選択したのち組み合わせ、𝐿𝑆 を得る。各々の度数分布を図 6.3 に⽰す。
図 6.3(a)の𝐿𝑆 と(b)の𝐿𝑆 を⽐較すると分布の外形が異なることがわかる。もともと分類
クラス C によって𝐿𝑆 〈 〉 の分布が異なる。実際の測定によると、たとえば、0 と 6 はニューロ
ン・カバレッジの⼩さい値の領域（0.5）に、3 と 8 は⼤きい領域（0.5）に偏る。𝐿𝑆 〈 〉毎に同数のデータを抽出し組み合わせた𝐿𝑆 は、「切り⽴った崖」のような形状を⽰す𝐿𝑆 よりもなだらかになる。

(a) 訓練データ全体を対象とした区分け（𝑳𝑺𝑵𝒋 ）(b) 分類クラスごとの区分けの組みわせ（𝑳𝑺𝑪𝒋 ）図 6.3

訓練データの区分け

39

機械学習品質評価・向上技術に関する報告書 第 3 版

6.4.2.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

モデル正確性の検査指標

⼤きさ 40,000 の訓練データ𝐿𝑆 （計 10 種類）を⽤いて得られる訓練済み学習モデル𝑀のモデル正確性を測定する。評価⽤データとして、MNIST 試験データセット𝑇𝑆を⽤いる。
𝑇𝑆は、𝐿𝑆と同等のデータ分布を持つが、𝐿𝑆 とは異なると考えられる。実際、ニューロン・
カバレッジで⽐較すると、𝑁 と𝑁 は同じ外形の分布を⽰す。したがって、𝐿𝑆 と𝑇𝑆は、ニューロン・カバレッジ分布も異なる。この違いは、モデル正確性の定量的な結果に影響すると予想される。ここでは、訓練データ𝐿𝑆 の違いがモデル正確性に、どのような影響を定性的に与えるかを調べる。なお、𝑁 と𝑁 が同じ外形の分布を⽰すということは、LS と TS に
標本選択の偏りがないことと整合している。
モデル正確性の指標として、正解率と Gini 係数を図 6.4 に⽰した。ここで、⻘は全体から抽出する場合（𝑀 ）、⾚はクラス毎に抽出する場合（𝑀 ）を表す。また、横軸は訓練済
み学習モデルの違いを表す（𝑀𝑀 、𝐾

1,2,3,4,5）。正解率は 96%程度で、𝑀 に対して、

⼤きな違いがない。𝑀 間の相対的な違いは、全体抽出の場合で 0.6%程度、クラス毎抽出の場合で 0.3%程度である。クラス間のバラつき具合を表す Gini 係数は、⼩さい値（0.002 以下）であり、クラス間で均等な正確性を⽰す。以上から、𝐿𝑆 の違いはモデル正確性と相関が⼩さいことが確認できた。
Gini 係数については、全体抽出（⻘）とクラス毎抽出（⾚）の場合で傾向が異なる。前者
は緩やかな単調減少、後者は緩やかな単調増加である。この違いについては分析が未だ進んでいない。しかし、図 6.4 からわかるように、全体抽出（⻘）とクラス毎抽出（⾚）の場合
で、分類クラスごとのデータ数に違いが⽣じる。正解率に⽐べて、Gini 係数は他分類クラスの訓練データからの影響が⼤きいことが単調性の違いの原因と関わると考えられる。なお、正解率と予測確率の平均値は強い相関がある。

図 6.4

モデル正確性

モデル・ロバスト性の測定
モデル・ロバスト性の経験的な評価では、訓練データあるいは試験データと異なる統計的な性質を有する評価⽤データを準備する必要がある。

40

機械学習品質評価・向上技術に関する報告書 第 3 版

6.4.3.1

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

評価用データの生成モデル・ロバスト性を論じる基本的な考え⽅を整理する。ロバスト半径𝛿は、与えられた
𝑃 𝑦 | 𝜀 を満たす、| 𝑥 𝑥 |𝛿 として定義される[48]。𝛿が⼤き𝜀に対して、| 𝑃 𝑦
いほど、ロバスト性が良い。
測定実験では、基準となるデータ点 〈𝑥, 𝑦〉 がある時、𝑥′を系統的に求める変換関数 T を導⼊する（𝑥′
離𝑑 𝑥|𝑥

𝑇 𝑥 、分類タスクでは 𝑦𝑦）。ここで、L2 ノルムを前提として、データの距|
𝑇 𝑥 を定義する。与えられた𝜀に対して、𝑑 𝑥 を変化させて予測確率の違い調べれば、ロバスト半径𝛿を経験的に求めることができる。しかし、後に説明するように、
𝑑 𝑥 を滑らかに変化させるような変換関数 T を適切に決めることが難しい。そこで、定性的な性質が異なるデータを⽣成する変換関数 T を考える。具体的には、ガウスノイズ挿⼊、⼩領域の⽋損、意味ノイズ挿⼊（フレーム、下線）、アフィン変換（回転、縮⼩・拡⼤）を⽤いた。MNIST 試験データ TS の要素を基準データとし、変換関数 𝑇 を適⽤して評価⽤デ〈𝑇 𝑥 , 𝑦〉 | 〈𝑥, 𝑦〉 ∈ 𝑇𝑆 ）を⽣成するものである。また、𝑑𝑖𝑓𝑓 𝑥ータ（ 𝐸𝑆𝑝 𝑦
𝑝𝑦 に対して、𝐷𝑖𝑓𝑓

𝑑𝑖𝑓𝑓 𝑥 | 𝑥 ∈ 𝑇𝑆 とする。さらに、𝑑 𝑥|𝑥

𝑇 𝑥 | とする。

そして、LS で訓練して得た訓練済み学習モデル𝑀を⽤いて、𝐸𝑆 の特徴を調べる。
図 6.5 に、⽣成した画像イメージ、横軸に TS データの予測確率𝑝 𝑦 ・縦軸に ES データの予測確率 𝑝𝑦 の散布図、𝑑 𝑥 の度数分布図を、8 種類の変換について⽰した。画像

イメージから、いずれも、基準として選んだデータ 𝑥 の⽬視上の特徴を保存していることがわかる。散布図は、評価⽤データ⽣成⽅式に外形の分布が違い、予測確率への影響が全く異なることを⽰している。

図 6.5

モデル・ロバスト性の評価⽤データ

41

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

図 6.5 左上の２つはガウスノイズを加えたもので、ノイズの⼤きさが異なる。ノイズが⼤きくなると、予測確率のバラつきが⼤きくなる。与えたガウスノイズの⼤きさの指定⽅法から 𝑑 𝑥 の度数分布は鋭いピークを⽰す。ノイズを⼤きくすれば 𝑑 𝑥 を変化させることは容易であるが、⼀⽅で、⽬視上の画像への影響が⼤きく、評価⽤データとしての適切さを⽋く。左下の２つは⽋損データである。⽋損領域の⼤きさを変えること 𝑑 𝑥 を変化させることができるが、各 𝑑 𝑥 の度数分布は鋭いピークを⽰す。⽋損領域を極めて⼤きくとると、
もとの画像を壊し、評価⽤データとしての有⽤性が低下する。
右上の２つは意味ノイズ挿⼊（フレーム、下線）である。ノイズ挿⼊の⽅法の性質[42]から、𝑝𝑦 の値が、ほぼ 1 になる。⽬視から明らかなように、フレームの⽅が 𝑑 𝑥 の値が⼤きい。しかし、度数分布は鋭いピークを⽰す。右下の２つのアフィン変換は度数分布がなだらかとなる。
全体をまとめると、変換⽅法によって、𝑑 𝑥 の度数分布が偏るが、各々は特徴的なピー
クを⽰すことがわかる。また、図 6.6 は、横軸に 𝑑 𝑥 の平均値・縦軸に 𝑑𝑖𝑓𝑓 𝑥 の平均値をプロットしたものである。評価⽤データ𝐸𝑆 の全体を合わせると、さまざまな 𝑑 𝑥 の値での評価ができる。定性的な性質の異なる多様なデータを⽤いてモデル・ロバスト性の評
価を⾏なっていることになる。どのような性質のデータを評価に⽤いるかが⼤切であり、これは、従来のソフトウェア・テスティングでも重要な「テストケース」の問題と同じである。

図 6.6
6.4.3.2

評価⽤データ距離

モデル・ロバストの検査指標

本実験では、評価⽤データを⽤いる経験的なモデル・ロバスト性評価の指標として、先に定義した 𝐷𝑖𝑓𝑓 の平均値を⽤いる。モデル正確性検査の場合と同様に、訓練データ 𝐿𝑆 を⽤いて得られる訓練済み学習モデル 𝑀 を対象に、𝐷𝑖𝑓𝑓 各々の平均値を測定する。その結果を図 6.7 に⽰した。図 6.7(a)は 𝑀 、図 6.7(b)は 𝑀 である。
評価⽤データによって、多少の違いがあるものの、⼤まかな傾向として、𝑀 間で単調性を⽰さない。モデル正確性の場合（図 6.4(a)）
、𝑀 間の相対的な差が 1%未満であるのに対して、図 6.7 では 10%程度の違いがある。𝑀 の違い、つまり、𝐿𝑆 の違いが、モデル・ロ

42

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

バスト性に有意な影響を与える。
訓練データ 𝐿𝑆 の構成⽅法から推測すると、ニューロン・カバレッジ分布の両側裾野を除去した中央付近（もともと度数の⼤きな領域）の訓練データが、モデル・ロバスト性に寄与していると考えられる。

(a) クラス抽出
図 6.7(b) 全体抽出
モデル・ロバスト性の指標

まとめ
訓練データのニューロン・カバレッジ 𝑁のデータ分布をもとに系統的に抽出した訓練

データ 𝐿𝑆 を⽤いて得られた訓練済み学習モデル 𝑀 を対象に、モデル正確性とモデル・ロ
バスト性の評価を⾏った。𝑀 のモデル正確性は同等な⼀⽅、モデル・ロバスト性に影響を与えることがわかった。
［仮説１］（ニューロン・カバレッジはモデル・ロバスト性と相関がある）と整合性がある。また、𝑁 のデータ分布の両側裾野を外れ値として除外することで、モデル・ロバスト性への影響から、𝑀 および 𝑀 が概ね妥当な値を⽰すことがわかった。
［仮説２］（𝑁 のデータ分布が外れ値の基準となる）と整合する。

図 6.8

訓練データのデバッグ戦略

ここで、図 6.8 を参照して、訓練データのデバッグ戦略を整理する。与えられた訓練デー
タセットのニューロン・カバレッジが左側のデータ分布を⽰すとき、妥当なデータ数を含む

43

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

範囲の中央領域を選び、つまり、両側裾野に相当する訓練データを捨象し、右側のデータ分
布を⽰す訓練データを得る。次に、新たな学習データの候補の中から、そのニューロン・カ
バレッジ値が中央領域に相当する訓練データを選び、右側のデータ分布の外形を保持しながら、⼗分なデータ数を得られるまで、訓練データセットに追加する。

6.5

おわりに

DNN コンポーネントに不具合がある時、その直接原因は訓練済み学習モデルの⽋陥であるが、このモデル構築に関わった情報に根本原因がある。本章では、訓練データ分布の偏りが不具合の根本原因になる場合を対象とし、訓練データのデバッグ・テスティング法を検討した。ここで、不具合は、DNN コンポーネントの基本的な性能を⽰すモデル正確性とモデ
ル・ロバスト性の２つの品質観点から判断する。これら２つの側⾯が⼀般にトレードオフ関係にあることを考慮して訓練データをデバッグする。
本章は、訓練データ・デバッグ⽅法の要点を整理した。モデル内部の活性状態からニューロン・カバレッジを計算し、その偏りから訓練データの外れ値を推定する⽅法に着⽬した。
実験によって、訓練データ・デバッグを補助する情報が得られることがわかった。なお、教師あり画像分類タスクを取り扱ったが、ニューロン・カバレッジに着⽬することから、訓練
データの特徴（画像か離散的な属性か）にかかわらず、提案⽅法を応⽤することができると考えられる。ニューロン・カバレッジ分布から得られる情報は、実務上、適切な訓練データセットを得る「デバッグ」の指針となる。

44

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ロバストネスの評価・向上技術

7

本章におけるロバストネスは、⼊⼒ノイズ（敵対的データも含む）に対する機械学習モデ
ルの耐性である。例えば、どの程度ノイズを付加しても推論結果を維持できるかを評価する。
そのロバストネスの指標の⼀つに最⼤安全半径がある。本章では、順伝播型ニューラルネッ
トワークを⽤いた分類器を対象として、敵対的データと最⼤安全半径について説明した後、最⼤安全半径を計測する技術と増加させる技術についての調査結果について報告する。

7.1

ロバストネスの指標（最⼤安全半径）

機械学習ソフトウェアにおいては、訓練済み学習モデル（正確には、学習モデルにもとづ
く推論プログラム）は、わずかにノイズを付加された⼊⼒データによっても誤推論する問題が知られている。そのような誤推論させる⼊⼒データは敵対的データ（adversarial example）[57]と呼ばれており、近年、敵対的データに対する研究が活発に⾏われている。⼊⼒データ
𝑥 ∈ ℝ （ℝは実数の集合）の𝛿近傍（半径𝛿 ∈ ℝの球の内側）に含まれる全ての敵対的データの集合𝐴𝑑𝑣 𝑥 は次のように定義できる。
𝐴𝑑𝑣 𝑥𝑥′ | ‖ 𝑥𝑥′ ‖𝛿 ⋀ 𝑓 𝑥

𝑓 𝑥′

ここで、𝑓 𝑥 は⼊⼒𝑥に対する機械学習モデルの出⼒（分類結果）を表す関数、‖𝑥𝑥′‖は 2つのデータ𝑥, 𝑥′の距離（差）を表す。距離の定義には𝑝ノルムが使われることが多い。
図 7.1 を⽤いて敵対的データについて説明する。図 7.1 の左側はニューラルネットワー
クへの⼊⼒空間、右側がニューラルネットワークからの出⼒空間を表す。⼊⼒空間の⾚い球の中⼼がパンダ画像（元データ）であり、その球（半径𝛿）の内側が⼤きさ𝛿未満の微⼩ノイズを付加した画像の集合（𝛿近傍）である。この𝛿近傍の⼊⼒画像の集合に対するニューラル
ネットワークの出⼒の集合が、右側の出⼒空間の⾚い領域である。ここで、出⼒側の⾚い領
域の右下の決定境界を超えて猿の領域に⼊っている部分が誤分類を表しており、この部分にマップされる⼊⼒が敵対的データである。

図 7.1

敵対的データ（ノイズ付加パンダ画像を猿に誤分類）

⼊⼒データ𝑥の𝛿近傍（𝑥を中⼼とする半径𝛿の球の内側）に敵対的データが存在しないと45

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

き、𝛿を𝑥の安全半径という。特に𝑥の安全半径の中で最⼤の半径（最⼤安全半径, Maximum
Safe Radius）𝑀𝑆𝑅 𝑥 は次のように定義される。
𝑀𝑆𝑅 𝑥

max 𝛿 | 𝐴𝑑𝑣 𝑥∅

この最⼤安全半径が⼤きいほど、敵対的データによる攻撃は難しくなるため、機械学習モデルのロバストネス（敵対的データを含む⼊⼒ノイズに対する耐性）の指標のひとつとして最⼤安全半径を使うことができる。
図 7.1 の𝛿近傍の⼊⼒画像の⼀部は猿に誤分類されるため、この𝛿は安全半径ではない。
⼀⽅、図 7.2 の𝛿近傍の⼊⼒画像は誤分類されることはないため、この𝛿は安全半径であり、これ以上𝛿を⼤きくすると誤分類される可能性がある（敵対的データを含む）ため、図 7.2の𝛿は最⼤安全半径である。

図 7.2

最⼤安全半径 𝜹

ロバストネスの評価・向上技術調査結果

7.2

ロバストネスの評価と向上に関する研究論⽂について調査した結果を表 7.1 に⽰す。ロ
バストネスについては多くの研究論⽂が発表されているが、⽐較的良い結果が得られている最近の論⽂を代表として⽰している。表 7.1 の各論⽂の下には、その論⽂で提案されている⼿法を適⽤できるスケールの参考情報として、その⼿法の評価実験に使⽤されたニュー
ラルネットワークの情報を記⼊している。表 7.1 は次の観点から整理している。
・・

横⽅向（技術の⽤途）：

ロバストネスの評価：最⼤安全半径の⾒積り

ロバストネスの向上：指定された最⼤安全半径をもつデータ数の増加

縦⽅向（評価の信頼度・精度）：

保証あり：𝛿近傍に敵対的データが存在しないことを保証できる


厳密：最⼤安全半径の厳密な⾒積り

近似：最⼤安全半径よりも⼩さめ（安全半径のひとつ）の⾒積り­

決定的：𝛿近傍に敵対的データは存在しない（100％安全）­

確率的：𝛿近傍に敵対的データが存在しない確率は𝑝％保証なし：𝛿近傍に敵対的データが存在しないことを保証できない

46

機械学習品質評価・向上技術に関する報告書 第 3 版

表 7.1

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ロバストネス（最⼤安全半径）の評価と向上に関する技術
ロバストネスの評価

ロバストネスの向上

最⼤安全半径の厳密な⾒積り
Katz et al. 2017 (Reluplex) [58]ACAS-XU-DNN, 300 ReLU nodes
6 hidden layers,
数百ノード程度が上限

厳密Tjeng et al. 2019 [59]CIFAR-10, ResNet, 9-CNN, 2-layer,
107,496 ReLU units,
Reluplex より 100〜1,000 倍程度⾼速
最⼤安全半径の⼩さめの⾒積り
Weng et al. 2018 (Fast-Lin) [60]

保
証
あ
り

決
定
的

近
似

CIFAR, 6-layer, 12,288 ReLU units
Reluplex より 10,000 倍程度⾼速
Boopathy et al. 2019 (CNN-Cert)[61]
CIFAR-10 (32x32x3), 5-layer,
10 filters, 29,360 hidden nodes,
Fast-Lin より⾼速
確率的最⼤安全半径の⼩さめの⾒積り
Weng et al. 2019 (PROVEN) [62]確率的CIFAR, 5-layer, CNN, ReLU
CNN-Cert と同程度

訓練後に保証付ランダムスムージング
Lecuyer at el. 2019 [66]ImageNet (299x299x3),
Inception-v3 + auto-encoder
Cohen at el. 2019 [67]ImageNet (299x299x3),
ResNet-50 (50-layer)
Lecuyer [66]より精度向上

最⼤安全半径の⼤きめの⾒積り
Carlini and Wagner 2017 [63]保証なし近傍に敵対的データがないように訓練
Wong and Kolter 2018 [65]
SVHN (32x32x3), 2-conv, 32-ch,100, 10 hidden units, ReLU,
ImageNet への適⽤は困難

近傍の敵対的データを探索しながら訓練
Madry et al. 2018 [68]
CIFAR (32x32x3),
28-10 wide ResNet

ImageNet (299x299x3),
Inception-v3
最⼤安全半径のおおよその⾒積り
Weng et al. 2018 (CLEVER) [64]ImageNet (299x299x3),
ResNet-50 (50-layer)

以降、⼩節 7.2.1〜7.2.7 で表 7.1 の各⼿法について簡単に説明する。
ロバストネス評価、保証あり（厳密）Katz 等は、与えられた性質を機械学習モデルが満たすことを判定する⽅法 Reluplex を提案した[58]。その⽅法を実装した実証⽤ツールも公開されている。性質は⼊出⼒関係につい47

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004ての制約であり、⼊⼒データのδ近傍に敵対的データが存在しないことを網羅的に厳密に（健全かつ完全に）判定できる。すなわち、⼆分探索などで半径δを変えながら敵対的デー
タの有無を判定することによって、最⼤安全半径を⾒積もることができる。Reluplex はSimplex 法（線形計画問題の解法のひとつ）に ReLU 関数⽤の規則を追加した解法であり、実数を扱える充⾜可能性判定ツール（SMT-Solver）によって実装されている。ロバストネス
以外の性質も判定できる強⼒なツールであるが、計算コストが⾼く、扱えるニューロン数がReLU 数百個程度という制約がある。
Tjeng 等は、最⼤安全半径を効率よく計算する⽅法を提案し、その⽅法を混合整数線形計
画法ソルバ（MILP）上に実装して、10 万個の ReLU 型ニューロンをもつネットワークの最⼤安全半径を厳密に求められることを⽰した[59]。まだ実⽤的な機械学習モデルに適⽤するには⼗分とは⾔えないが、このようにスケーラビリティ改善の研究は進んでいる。
ロバストネス評価、保証あり（近似、決定的）
Weng 等は、ReLU 型ニューラルネットの最⼤安全半径を近似的に⾒積る⽅法 Fast-Lin を提案した[60]。Fast-Lin では、図 7.3 に⽰すように、出⼒領域を多⾓形で線形近似し、最⼤
安全半径よりも少し⼩さめの近似値𝛿を⾒積もる。この近似値𝛿は最⼤安全半径を超えないため（健全）、𝛿近傍に敵対的データが存在しないことを保証できる。すなわち、𝛿は安全半径のひとつであり、最⼤安全半径の下界である（𝛿

𝑀𝑆𝑅 𝑥 ）。多⾓形で線型近似すること

によって、厳密な⽅法（Reluplex）よりも 1 万倍以上速い結果が得られたことが報告されて
いる。

図 7.3

最⼤安全半径の近似値（少し⼩さめ）の⾒積り

Boopathy 等は Fast-Lin を改良した⼿法 CNN-Cert を提案した[61]。CNN-Cert では、ReLU
以外の活性化関数（sigmoid, tanh, arctan）を含む Convolutional ネットワークにも対応し、Fast-Lin よりも近似精度と計算速度を向上した。
ロバストネス評価、保証あり（近似、確率的）
Weng 等は、確率的な最⼤安全半径を近似的に⾒積もる⽅法 PROVEN を提案した[62]。安
全確率𝜌の最⼤安全半径𝛿は、図 7.4 に⽰すように、𝛿近傍に敵対的データが存在しない確率48機械学習品質評価・向上技術に関する報告書 第 3 版が𝜌である、すなわち、 1

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

𝜌 の確率で敵対的データが存在することを許容する最⼤の半径である（決定的な最⼤安全半径は安全確率1の最⼤安全半径に相当する）。PROVEN は、CNNCert をベースに開発されおり、計算量は CNN-Cert から⼤きくは増えていない。

図 7.4

安全確率𝝆の最⼤安全半径の近似値の⾒積り

ロバストネス評価、保証なし
Carlini と Wagner は、既存の最適化ツール（Adam）を⽤いて、⼊⼒データ𝑥に最も近い敵
対的データを探索し、その距離𝛿を⾒積もる⽅法を提案した[63]。ただし、この⽅法で得られる距離𝛿が実際に敵対的データまでの最短距離である保証はなく、その距離よりも近いところに敵対的データが存在する可能性はある。すなわち、最⼤安全半径の上界である（𝑚𝑠𝑟 𝑥𝛿）。この⽅法で得られる距離𝛿が安全半径である保証はないが、最⼤安全半径の⽬安として、最近のロバストネスの論⽂ではしばしば評価に使われている。
Weng 等は、攻撃⽅法に依存しないロバストネスの評価値として、おおよその最⼤安全半径を求める⽅法 CLEVER を提案した[64]。⽐較的⼤きなネットワークにも適⽤可能な⽅法であり、画像認識モデル Inception-v3 を 10 秒程度で評価できたと報告している。⼊⼒のわず
かな変化が出⼒に与える影響の最⼤値を極値理論によって推定し、最⼤安全半径に近い値𝛿
を⾒積もっている。図 7.5 に⽰すように、⾒積もった値𝛿は実際の最⼤安全半径より⼤きいこともあるため、𝛿近傍内に敵対的データが存在する可能性はある（安全半径である保証は
ない）。

図 7.5

最⼤安全半径の近似値の⾒積り（保証なし）

49機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ロバストネス向上、保証あり（近似、決定的）
Wong 等は、訓練データセットの各データの最⼤安全半径が𝛿（指定値）になるように訓練する⽅法（ロバスト訓練）を提案した[65]。この⽅法は訓練後に全ての訓練データに対して最⼤安全半径𝛿を保証するものではないが、各⼊⼒データの最⼤安全半径の近似値（安全半径）を⾒積もる⽅法を与えている。このロバスト訓練では、各訓練データの𝛿近傍で最も誤推論する可能性のあるデータに対して正しい推論をするように訓練する。

図 7.6

ロバスト訓練（⼊⼒の𝜹近傍も含めた訓練）

ロバスト訓練の様⼦を図 7.6 に⽰す。図 7.6 の出⼒空間の点線は通常の訓練によって学習した決定境界、⾚⾊線はロバスト訓練によって学習した決定境界を表す。⼊⼒空間の 6 個の訓練データについては両⽅の境界線によって正しく分類されているが、各訓練データの𝛿
近傍のデータについては点線の境界線（通常訓練）では誤分類が⽣じている。⼀⽅、ロバス
ト訓練では⾚⾊の境界線のように、𝛿近傍のデータについても正しい分類になるように訓練を⾏う。Wong 等のロバスト訓練は、ロバストな学習モデルを保証付で訓練する⽅法であるが、スケーラビリティが低く、訓練可能なネットーワークのサイズを⼤きくできない問題がある。この論⽂は、MNIST（28×28）と SVHN（32×32）のデータセットに対して有効性を⽰しているが、ImageNet（256×256）には適⽤できなかったと報告している。
ロバストネス向上、保証あり（近似、確率的）
Lecuyer 等はランダムスムージングによって確率的に保証可能な最⼤安全半径を⾒積もる⽅法を提案した[66]。ランダムスムージングとは、⼊⼒データに防御⽤のノイズを付加した推論を繰り返し、その複数の出⼒の平均値を最終出⼒とする⽅法である。
ランダムスムージングの様⼦を図 7.7 に⽰す。図 7.7 の出⼒空間の点線は防御⽤ノイズを付加しない場合の決定境界、⾚⾊線は防御⽤ノイズを付加した場合の決定境界を表す。ラ
ンダムスムージングは決定境界を滑らかにすることによってロバストネスを向上させる技術であり、ImageNet（299×299×3）のような⼤きな⼊⼒データに対する機械学習モデルのロバストネスの保証にも成功している。付加するノイズの分散を増加させると保証可能な
最⼤安全半径も増加するが、⼀⽅で正解率等の推論精度は低下する。この論⽂では、差分プ
ライバシの技術（類似した 2 つの⼊⼒に対する出⼒をノイズ等によって統計的に区別でき

50

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

なくする技術）を適⽤し、保証可能な最⼤安全半径、防御ノイズ付推論回数、許容される敵
対的データの存在確率等の関係を明確にした。

図 7.7

ランダムスムージングによるロバストネスの向上

Cohen 等は、ランダムスムージングによって確率的に保証可能な最⼤安全半径を、Lecuyer
等の⽅法[66]よりも精度良く（より⼤きく）⾒積もる⽅法を提案した[67]。
ランダムスムージングは 1 回の推論を⾏うために内部で複数回（実験的には数⼗〜数百回程度）推論する必要はあるが、Lecuyer や Cohen 等の研究によって、⼤規模なネットワー
クに対しても、ロバストネスを確率的に保証することが可能になる。
ロバストネス向上、保証なし
Madry 等は訓練データセットの各データの最⼤安全半径が𝛿（指定値）になるように訓練する⽅法（敵対的訓練）を提案した[68]。この⽅法では、訓練中に各訓練データの𝛿近傍で敵対的データになる可能性のあるデータを探索し、そのデータに対しても正しい推論を⾏えるように訓練する。Wong 等の保証付のロバスト訓練[65]と⽐較して、ロバストネスを保証することはできないが、ロバスト訓練よりも⼤きなネットワークに適⽤可能である。ランダムスムージングのように推論時に複数回の推論を⾏う必要がなく、ロバストネス向上のための候補技術になりうる。

7.3

まとめ

⼀般に、ロバストネスを向上させると正解率が低下する傾向にあり、現在は正解率などの評価指標の⽅が重視されることが多い。しかし、ロバストネスを考慮しない場合、わずかなノイズでも正解率が低下する可能性があるため、誤判断によるリスクが⾼い場合はロバス
トネスによる評価も重要である。今回調査したロバストネスに関する技術は本報告書執筆
時（2019 年頃）の論⽂で提案されたものであり、まだこれらの技術を容易に利⽤できる評
価環境は整備されていないが、技術的には実⽤的なニューラルネットワークにも適⽤可能になりつつある。今後、そのような評価環境が整備されれば、ロバストネスもニューラルネ
ットワークの⼀般的な評価指標のひとつになりうると考える。

51

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

汎化誤差の評価技術

8

第 1 章で紹介した機械学習品質マネジメントガイドライン[1]では、機械学習要素の品質特性として、機械学習モデルの正確性「デー タセットの⼊⼒に対して⼗分に正確な推論が⾏われること」と機械学習モデルの安定性「データセット以外の⼊⼒に対しても安定した推論が⾏われること」が定義されている。データセットによる従来の評価指標（正解率や F 値など）は、正確性を評価するためには有効であるが、データセット以外の⼊⼒を対象とする安定性を評価するためには⼗分ではない。
本章では、安定性の評価指標の策定を⽬標として、データセットに含まれない未知のデー
タに対しても確率的に性能を保証するために、テスト誤差ベースのノイズ付加汎化誤差上界に着⽬する。まず、8.1 節で汎化誤差と経験誤差を定義し、8.2 節で汎化誤差上界に関する定理を紹介して、8.3 節でテスト誤差ベースのノイズ付加汎化誤差上界の計算⽅法について説明する。8.4 節で実際に汎化誤差上界の計算実験の結果を⽰し、8.5 節でその結果について考察して、8.6 節でテスト誤差ベースのノイズ付加汎化誤差上界の特⻑をまとめる。

8.1

汎化誤差と経験誤差

本節では、図 8.1 に⽰すような機械学習を⽤いたニューラルネットワークを、その⼊出⼒関係でモデル化する。特に、教師ありの深層学習によって分類器として訓練した順伝播型ニューラルネットワークの⼊出⼒関係を対象とし、⼊⼒𝑥とその出⼒（推論結果）𝑦との関係を
関数 𝑦𝑓 𝑥 によって表記する。この関数𝑓 を学習モデルと呼ぶ（統計的学習理論の分野では仮説と呼ばれることが多いが、ここでは他の章に合わせる）。ここで、 𝑤 はニューラ
ルネットワークのニューロン間の結合の重み（訓練パラメータ）である。重みの候補集合を𝒲 とするとき、教師ありの訓練とは、訓練データセットに適合する重み 𝑤 を候補集合 𝒲から選択することである。このとき、学習モデルの候補の集合は ℱ

𝑓 | 𝑤 ∈ 𝒲 である。

この学習モデルの集合ℱは訓練対象のニューラルネットワークが表現可能な関数の集合であり、この集合を学習モデル候補集合（または単に候補集合）と呼ぶ。なお、重みが重要でない場合は 𝑤 を省略して𝑦𝑓 𝑥 と書くこともある。

図 8.1

汎化誤差と経験誤差52機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

このとき、汎化誤差とは、分布𝒟にしたがう全⼊⼒データに対する分類器（学習モデル 𝑓 ）の不正解率の期待値 𝐿 𝑓

であり、次式によって定義される。
𝐿 𝑓

𝔼~𝒟 𝕀 𝑦

,

𝑓 𝑥

8. 1

ここで、𝕀 𝑏 は次のように定義される指⽰関数であり、上の式 8.1 の場合は不正解ならば 1（この値は損失値と呼ばれる）、正解ならば 0 を返す関数として使われている。
𝕀 𝑏

if 𝑏

true then 1 else 0

8. 2

例えば、図 8.1 左上の⼊⼒空間（簡単のため2次元で図⽰しているが、実際には784次元）
28

内の⾊の濃さは「数字に⾒える画像（28784画素、256 階調）の分布𝒟」を表しており、その数字に⾒える全ての画像を⼊⼒したときの不正解率の期待値が汎化誤差である（空間内の全画像（256個）の不正解率ではないことに注意）。

⼀⽅、経験誤差とは、分布𝒟にしたがう𝑚 個の⼊⼒データサンプルの集合 𝑆~ 𝒟 に対する学習モデル 𝑓 の不正解率 𝐿 𝑓
𝐿 𝑓

であり、次式によって定義される。
1
𝕀 𝑦 𝑓 𝑥
𝑚
,

∈

8. 3

特に、訓練⽤のデータセット𝑆に対する経験誤差 𝐿 𝑓 を訓練誤差、テスト⽤のデータセ
ット𝑇に対する経験誤差 𝐿 𝑓 をテスト誤差と呼ぶ。

8.2

汎化誤差上界に関する定理

⼀般に⼊⼒空間には無数の⼊⼒データが存在するため、汎化誤差を正確に計算することは困難であるが、これまでに汎化誤差の上界を確率的に保証する（学習モデル 𝑓 の汎化誤差が〇%以下であることを確率的に保証する）様々な定理が証明されている。本節では、まず、
8.2.1 ⼩節で汎化誤差上界を分類し、その概要を説明したのち、代表的な 4 つの汎化誤差上界の定理を 8.2.2〜8.2.5 節で説明する。
汎化誤差上界に関する定理の分類
本⼩節では、図 8.2 の汎化誤差上界の分類にしたがい、訓練済み学習モデルの汎化性能評
価への適⽤可能性について簡単に述べる。

図 8.2

汎化誤差上界に関する定理の分類とその代表例

53機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

汎化誤差上界に関する代表的な定理 VC bound と Rademacher bound は訓練アルゴリズムに⾮依存のため、最悪の訓練結果を想定した汎化誤差上界であり、100%を超える値になることも多く、訓練済み学習モデルの汎化性能評価への適⽤は難しいと考えられる。定理 PACBayes bound による汎化誤差上界の計算結果もほぼ 100% の値（または100% を超える値）になることは多いが、複数の学習モデルの汎化性能を相対的に評価するために適している
ことが報告されている[69][70]。定理 Chernoff bound は、訓練⽤のデータセットとは別に評価⽤のデータセットを⼗分に⽤意できるならば、汎化誤差に近い上界を求めることが可能である。
⼀般に、訓練誤差（訓練データセット）に基づく汎化誤差上界は、テスト誤差（テストデータセット）に基づく汎化誤差よりも⼤きくなる傾向にある。この傾向は、PAC-Bayes 以外の訓練誤差に基づく汎化誤差上界の定理（例えば、出⼒マージンに基づく上界[71]、訓練ア
ルゴリズムの安定性に基づく上界[72]など）についても同様である。
訓練誤差に基づく汎化誤差上界の利点は、汎化誤差を⼩さくする訓練アルゴリズムの研究に適⽤できることである。また、訓練⽤とは別にテスト⽤のデータサンプルを⽤意できない場合でも学習モデルを評価できることもあげられる。例えば、データサンプルが少ない場
合（数⼗個程度）は、データサンプルを訓練⽤とテスト⽤に分割して汎化誤差上界（Chernoff
bound）を求めるよりも、全てのデータサンプルを訓練⽤として汎化誤差上界（PAC-Bayes
bound）を求めた⽅が、低くなる例も報告されている[73]。
また、最近では、訓練誤差による汎化誤差上界を低く抑える⼿法も提案されている。例えば、PAC-Bayes bound において学習モデル（⼊出⼒関数）の確率分布を⽤いる⼿法[74]、訓練にランダムラベルのデータを含める⼿法[75]、モデル圧縮による⼿法[76]などがある。また、PAC-Bayes bound の不等式の右辺（上界）を⽬的関数として、汎化誤差上界を下げるよ
うに重みの分布（平均と標準偏差）を最適化する⽅法も提案されている[77][78]。近い将来、訓練誤差に基づく汎化誤差上界も訓練済み学習モデルの汎化性能評価の指標として有効になることが期待されるが、現時点（2023 年 8 ⽉）では、テスト誤差に基づく汎化誤差上界を利⽤する⽅が現実的であると考えられる。
定理：VC Bound
VC 次元（Vapnik-Chervonenkis dimension）𝑉𝐶 ℱ は学習モデル候補集合 ℱ の複雑度であり、ℱによって⼆分可能なデータ数の最⼤値のことである[79]。このとき、汎化誤差上界は、候補集合 ℱ の VC 次元を⽤いて次の不等式 8.4 の右辺（VC bound）として与えられる。この不等式は、任意の訓練データセット 𝑆~𝒟 （サイズ𝑚）、学習モデル 𝑓 ∈ ℱ、不信頼度 𝛿について、確率 10

𝛿 以上で成り⽴つという定理が証明されている[69]
𝐿 𝑓

𝐿 𝑓

𝑉𝐶 ℱ
144
𝑚

1
𝛿
𝑚

ln

8. 4

式 8.4 の右辺第 2 項は、候補集合 ℱ（例えば、ニューラルネトワークのアーキテクチャ）が与えられたとき、最悪の訓練データセットに対して最悪の学習モデルを選択する場合（訓練データセット⾮依存、訓練アルゴリズム⾮依存）を想定しており、実際にその値を計算す

54機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ると 100% ⼤きく超えることが多く、訓練済み学習モデルの汎化性能の評価に利⽤することは難しい。
定理：Rademacher Bound
ラデマッハ複雑度（Rademacher complexity）は、データセットに対する学習モデル候補
集合の複雑度である[79]。汎化誤差上界は、候補集合 ℱ と訓練データセット 𝑆 ~𝒟 に対す
るラデマッハ複雑度 𝑅 𝑆, ℱ を⽤いて、次の不等式 8.5 の右辺（Rademacher bound）として与えられる。この不等式は、任意の学習モデル 𝑓 ∈ ℱ 、不信頼度 𝛿

0 について、確率 1𝛿以上で成り⽴つという定理が証明されている[74]。
𝐿 𝑓

𝐿 𝑓

2𝑅 𝑆, ℱ

4𝑐

2 ln
𝑚

4
𝛿

8. 5

ここで、
𝑐は定数である。式 8.5 の右辺第 2 項では訓練データセットが考慮されているため、
VC bound よりは汎化誤差に近い上界を得られるが、最悪の学習モデルを選択する場合（訓練データセット依存、訓練アルゴリズム⾮依存）を想定しており、実際にその値を計算すると 100%を超えることは多く、学習モデルの汎化性能の評価に利⽤することは難しい。
定理：PAC-Bayes Bound
PAC（Probably Approximately Correct）とは、訓練データセットで訓練した学習モデル 𝑓が、正しい（correct）モデルの近似（approximation）であり、汎化誤差がある値以下であることを確率的（Probably）に保証することの略語である。PAC-Bayes では、学習モデル𝑓を⼀意に定めるのではなく、学習モデルの確率分布（例えば、重みの確率分布）を対象として、汎化誤差の期待値の上界を与える。ここで、重みの確率分布 𝑄 をもつ確率的な学習モデ
ルの汎化誤差の期待値とは、推論ごとに確率分布 𝑄 に従って重み 𝑤 を選択し、⼊⼒ 𝑥 に対する出⼒𝑓 𝑥 の不正解率の期待値 𝐿 𝑓の期待値 𝔼 ~ 𝐿 𝑓のことである。

PAC-Bayes に基づく汎化誤差上界の定理（PAC-Bayes bound）は複数提案されているが、ここでは代表的な⼆つを紹介する。⼀つは Catoni bound であり、訓練データセット 𝑆 ~𝒟 （サイズ 𝑚）が与えられたとき、𝑆 による訓練前の確率分布 𝑃（𝑆 に⾮依存）、 𝑆 による訓練後の確率分布 𝑄（𝑆 に依存）、任意の正の実数 𝛽率 10 、不信頼度 𝛿

0 について、次の不等式が確𝛿 以上で成り⽴つという定理が証明されている[80]：

𝔼 ~ 𝐿 𝑓

1

1
exp

𝛽

1

exp

𝛽𝔼 ~ 𝐿 𝑓

1
KL 𝑄 ∥ 𝑃
𝑚

ln

1
𝛿

もう⼀つは Maurer bound であり、サイズ 8 以上の訓練データセット𝑆 ~𝒟 （𝑚与えられたとき、訓練前の確率分布 𝑃と訓練後の確率分布 𝑄 、不信頼度 𝛿の不等式が確率 1
𝔼 ~ 𝐿 𝑓

8. 68）が0 について、次𝛿 以上で成り⽴つという定理が証明されている[81]：𝑘𝑙

𝔼 ~ 𝐿 𝑓,

1
𝐾𝐿 𝑄 ∥ 𝑃
𝑚

55

ln

2√𝑚
𝛿

8. 7

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ここで、𝐾𝐿 𝑄 ∥ 𝑃 は次のように定義される KL 情報量（Kullback-Leibler divergence）であり、⼆つの分布𝑄, 𝑃の異なる度合い（⼀致するときは 0）を表す。
𝐾𝐿 𝑄 ∥ 𝑃

𝑄 𝑤 ln𝒲

𝑄 𝑤
𝑃 𝑤

𝑞, 𝑏 は次のように定義される値（𝑘𝑙 𝑞 ∥ 𝑝

また、𝑘𝑙

𝑘𝑙

𝑞, 𝑏

𝑑𝑤

8. 8

𝑏 を満たす 𝑝 の上限）である。

sup 𝑝 ∈ 𝑥, 1 ∶ 𝑘𝑙 𝑞 ∥ 𝑝

𝑏

8. 9

ここで、𝑘𝑙 𝑞 ∥ 𝑝 は⼆項 KL 情報量（𝑞と𝑝のベルヌーイ分布の KL 情報量）である。
𝑘𝑙 𝑞 ∥ 𝑝

𝑞 1

𝑞

∈ ,

ln

𝑞 1
𝑝 1

𝑞
𝑝

𝑞 ln

𝑞
𝑝

1

𝑞 ln

1
1

𝑞
𝑝

8. 10

PAC-Bayes bound では、汎化誤差上界に訓練後の学習モデルの重み分布𝑄が含まれており（訓練アルゴリズム依存）、8.2.2 ⼩節と 8.2.3 ⼩節で紹介した訓練アルゴリズム⾮依存の汎化誤差上界と⽐較して、より汎化誤差に近い上界を得ることができる。しかし、まだその計算結果は 100%に⾮常に近く、意味のない値になることも多い。
定理：Chernoff Bound
訓練に⽤いたデータセットとは別にテスト⽤のデータセット 𝑇~𝐷 （サイズ𝑚）を⼗分に⽤意できるならば、タイトな（汎化誤差に近い）汎化誤差上界を求めることができる。例えば、訓練後の学習モデル 𝑓 の汎化誤差 𝐿 𝑓（Chernoff bound）が確率 1
𝐿 𝑓
ここで、𝑘𝑙とテスト誤差 𝐿 𝑓

に関して、次の不等式

𝛿 以上で成り⽴つ定理が証明されている[82]。
𝑘𝑙

1
1
ln
𝑚
𝛿

𝐿 𝑓 ,

8. 11

𝑞, 𝑏 は 8.2.4 ⼩節の式 8.9 で説明した⼆項 KL 情報量に関する関数である。⼗分なテストデータサンプルを⽤意できるとき、Chernoff bound の汎化誤差上界はテスト誤差に近い値になる。例えば、本章の 8.4.2 ⼩節の実験結果に⽰すように、10,000 程度のテスト
データを⽤意できれば、汎化誤差（全⼊⼒に対する不正解率の期待値）の上界として、⼗分にタイトな意味のある値を得ることができる。

8.3

汎化誤差上界の計算法

訓練済み学習モデルの汎化性能を評価するために、汎化誤差上界は有効な評価指標になりうると考えていたが、本研究を進めるなかで、後で 8.4.2 ⼩節の実験結果にも⽰すように、汎化誤差上界だけでは学習モデルの汎化性能を評価するには不⼗分であること、例えば、汎化誤差上界とテスト誤差の差が⼩さいためサンプルデータによる従来の評価と異なる観点からの評価は難しいこともわかってきた。そこで、本研究では、ノイズを付加した汎化誤差
上界に着⽬している。その理由は、図 8.3 に⽰すような学習モデル 𝑓 の各重み 𝑤 （バイアスも含む訓練パラメータ）に正規分布ノイズ 𝑢 ~𝒩 0, 𝜎を付加した場合に、学習モデルのノイズ耐性と汎化性能の間に相関関係があることが報告されているためである[69][70]。

56機械学習品質評価・向上技術に関する報告書 第 3 版

図 8.3

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

各重みに正規分布ノイズを付加した推論

ノイズを付加した学習モデルの汎化誤差上界の計算には 8.2.4 ⼩節で説明した PAC-Bayes
bound を適⽤できる。ただし、汎化誤差上界を低く抑えるため、訓練データセット 𝑆 で訓練した重み分布 𝑃 を、そのまま訓練後の重み分布 𝑄 として利⽤し（すなわち、𝑄𝑃）、分布𝑄 のモデルの汎化誤差上界を（𝑆 とは別に⽤意した）テストデータセット 𝑇 を⽤いて計算する。汎化誤差上界の計算に、訓練データセット𝑆ではなくテストデータセット𝑇を⽤いる理
由は、𝑃が依存するデータセットは上界を求めるために⽤いることができないためである。
分布を同じ（𝑄𝑃）にする利点は、KL 情報量 𝐾𝐿 𝑄 ∥ 𝑃 が 0 になることである。⼀般に、訓練データセットを⽤いた PAC-Bayes bound による汎化誤差上界が⼤きな値（ほぼ 100%）になる原因は、この KL 情報量の増⼤にある。
なお、このノイズを付加した場合の汎化誤差上界を計算するには、ノイズを付加した場合のテスト誤差の期待値が必要になるが、この期待値を正確に計算することは難しい。そこで、𝑘を学習モデル 𝑓 の重みの総数とすると、ランダムサンプリングした 𝑛 個の𝑘次元正規分布
ノイズ 𝑢~ 𝒰

𝒩 0, 𝑟の集合 𝑈（|𝑈|𝑓 を次のように定義する。

の平均値を⽤いて、𝐵 , , ,

1
𝑛

𝑘𝑙

𝑓

𝐵 , , ,𝑛）によって 𝑛 回測定したノイズ付加テスト誤差

𝐿 𝑓

1
2
ln
𝑛 𝛿

,

∈

ここで、𝛿 ∈ 0, 𝛿 は期待値の代わりに平均値を⽤いることによる不信頼度、𝑘𝑙

8. 12
𝑞, 𝑏 は

8.2.4 ⼩節の式 8.9 で説明した⼆項 KL 情報量に関する関数である。このとき、確率 1𝛿以上で、次の不等式が成り⽴つ（[78]の 6 節）。
𝔼 ~𝒰 𝐿 𝑓

𝐵 , , ,

𝑓

8. 13

以上のことから、本章では、サイズ𝑚のテストデータセット 𝑇 を⽤いて、次の 3 つの汎化
誤差上界を計算する：
Chernoff bound: 𝑘𝑙
Catoni bound:1

Maurer bound: 𝑘𝑙

1
1
ln
𝑚
𝛿

𝐿 𝑓 ,

1
exp

𝛽

𝐵 , , ,

1

exp

𝑓 ,

8. 14

𝛽𝐵 , , ,

1
2 √𝑚
ln
𝛿 𝛿
𝑚

57

𝑓

1
1
ln
𝑚
𝛿 𝛿

8. 15
8. 16

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

上記の式 8.15 と 8.16 式中の対数の分⺟が 𝛿 から 𝛿

𝛿 に置き換えられている理由は、

テスト誤差の期待値の代わりに𝑛個のテスト誤差の平均値を利⽤した分の信頼度の低下を考慮するためである。既存研究では、テスト誤差の不信頼度 𝛿 ∈ 0, 𝛿 の決定⽅法は与えられていなかったため、本章では、上記の Mauer bound の式 8.16 を最⼩にするように近似的に導出した次の⽅程式の解 𝛿 （例えば、ニュートン法による解）を⽤いる。
√𝑚 𝛿

2

𝛿

𝛿

0

8. 17

ここで、𝑚はテストデータセットのサイズ、𝑛はノイズ付加推論によって測定したテスト誤差の個数、𝛿 は汎化誤差上界の不信頼度である。式 8.15 の Catoni bound の 𝛽 については、
⽂献[80]より、式 8.15 を最⼩にする近似値として次の値を⽤いる。
𝛽2 ln𝑚𝐿 , ,

また、式 8.14 と 8.16 中の𝑘𝑙

𝑓

1
𝛿 𝛿
1 𝐿 , ,

8. 18

𝑓𝑞, 𝑏 はニュートン法等で求められる（参考：[77]の付録 C）。

なお、図 8.4 に⽰すように、学習モデル𝑓 の⼊⼒層の直後にノイズを付加する層を挿⼊することによって、⼊⼒にノイズを付加した場合の汎化誤差上界も本節で紹介した式 8.15 と8.16 で計算することができる。

図 8.4

8.4

⼊⼒に正規分布ノイズを付加した推論

ノイズ付加汎化誤差上界の計算実験

本節では、8.3 節で説明した汎化誤差上界の計算式 8.14 ~ 8.16 による実験結果について報告する。まず、8.4.1 ⼩節で実験に⽤いた学習モデルの訓練設定について説明し、8.4.2 ⼩節でノイズ付加汎化誤差上界の計算結果を⽰す。
学習モデルの訓練設定
本⼩節では、汎化誤差上界を計算実験のための学習モデルの訓練設定について説明する。
実験には、服や靴など画像のデータセット Fashion-MNIST（2828画素、輝度 0,1 、訓練⽤

サイズ 45,000）で訓練した畳み込み型ニューラルネットワーク CNN（Convolutional Neural
Network, 訓練パラメータ総数：121,930）を⽤いた。
・

1 層：畳み込み（フィルタサイズ 3,3 , フィルタ数 32, 活性化関数 ReLU）

・

2 層：最⼤値プーリング（プールサイズ 2,2 ）・

3 層：畳み込み（フィルタサイズ 3,3 , フィルタ数 64, 活性化関数 ReLU）

58

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

・

4 層：最⼤値プーリング（プールサイズ 2,2 ）・

5 層：全結合（ニューロン数 64, 活性化関数 ReLU）

・

6 層：全結合（ニューロン数 10, 活性化関数 Softmax）

本実験では、訓練結果（訓練済み学習モデル）の汎化性能の違いを出すため、表 8.1 に⽰す 8 個の設定で訓練した。ここで⽤いた正則化係数は0.001（無は0）、ドロップアウト率は0.2（無は 0）である。表 8.1 には訓練設定#1~8 と図 8.5 のグラフのマークとの対応も⽰している。以降、訓練設定#1~8 で訓練した 8 個の学習モデルを CNN#1~8 と表記する。
表 8.1

訓練設定と設定番号

ノイズ付加汎化誤差上界の計算結果
8.4.1 ⼩節で説明した 8 個の学習モデル CNN#1~8 の信頼度 90%（𝛿

0.1）のノイズ付加

汎化誤差上界の計算結果を図 8.5 に⽰す。図 8.5(a)は、各重み 𝑤 （層数 𝑘）に正規分布ノイ
ズ 𝒩 0, 𝜎を付加した場合のノイズ付加汎化誤差上界であり、各ノイズの標準偏差 𝜎 は重み 𝑤 の⼤きさの 𝑟 倍である（i.e., 𝜎
𝑟|𝑤 |）。図 8.5(a)の横軸はそのノイズ標準偏差対重み
⽐ 𝑟 である。図 8.5(b)は、⼊⼒画像の各画素に正規分布ノイズ 𝒩 0, 𝜎を付加した場合であり、横軸はそのノイズ画像のピーク信号対雑⾳⽐ PSNR [dB]の期待値 𝑝 である（i.e., 𝑝
20

log 𝜎）。PSNR は画質の評価指標としてよく使⽤されており、例として、図 8.5(a)の上部に Fashion-MNIST の Bag の画像にPSNR

50~10 dB のノイズを付加した場合の画像を⽰す。各画素の輝度範囲は 0,1 であり、各画像上の括弧内の数字が画像に付加したノイズの標準偏差である。
図 8.5 の汎化誤差上界は、サイズ 10,000 のテストデータセット（𝑚10000）を⽤いて、ノイズがない場合は Chernoff bound の式 8.14 、ノイズがある場合は Catoni bound の式
8.15 によって計算した結果である。Maurer bound の式 8.16 による計算結果は Catoni
bound よりも常に数%程度⾼い値となったため省略した。ノイズ付加テスト誤差平均は、ノ
イズを付加して 5,000 回測定したテスト誤差の平均値である（𝑛5000）。このとき、ノイズ付加テスト誤差の期待値上界の信頼度は、8.3 節で与えた𝛿 に関する⽅程式 8.17 より、次式を解いて 96.42%（𝛿

0.0358）となる。
50 𝛿

𝛿

0.1

0

図 8.5 では、汎化誤差に⼗分に近いタイトな上界が得られている。例えば、学習モデル
CNN#7 では、ノイズがない場合は、実測のテスト誤差 7.9% に対して Chernoff bound による汎化誤差上界は 8.5%、ノイズ標準偏差対重み⽐ 𝑟0.4 の場合は、実測のノイズ付加テス

ト誤差平均 26.7% に対して Catoni bound によるノイズ付加汎化誤差上界は 29.5% である。

59

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004(a) 重みにノイズを付加した場合
図 8.5(b) ⼊⼒にノイズを付加した場合学習モデル CNN#1~8 のノイズ付加汎化誤差上界（信頼度：90%）

図 8.5 に⽰すように、ノイズがない場合には 8 個の学習モデルの汎化誤差上界に⼤きな差はみられないが、ノイズを付加することによって、8 個の学習モデルのノイズ付加汎化誤
差上界には明確な違いがみられており、データサンプルによる⼀般的なテスト誤差とは異なる観点で汎化性能を評価するためにノイズ付加が有効である。図 8.5(a)のように重みにノイズを付加した場合の汎化誤差上界は、例えば、重み量⼦化による学習モデルの軽量化の影響を⽰す⽬安として利⽤できる。⼀⽅、図 8.5(b)のように、⼊⼒にノイズを付加した場合の汎化誤差上界は、例えば、分類可能なノイズ画像の⽬安として利⽤できる
図 8.5 の例では、正則化やドロップアウトによってノイズ耐性が増加する（○より□の⽅が低く、⻘より⾚の⽅が低い）傾向がみられる。⼀⽅、バッチ正規化については、CNN#7 のようにノイズがない場合に最も低い汎化誤差上界 8.5% が得られているが、全体的にノイズの耐性は低下する（ノイズに対する増加率が⼤きい）傾向がみられている。なお、本実験は、ノイズ付加汎化誤差上界によって 8 個の学習モデルの安定性の違いを評価できることを確認することが⽬的であり、各訓練技術（正則化、ドロップアウト、バッチ正規化）の評価は⽬的ではない。各訓練技術と安定性の関係についてはさらなる実験と検討が必要である。

8.5

考察

本節では、8.4.2 ⼩節の実験結果をもとにノイズ付加汎化誤差上界による学習モデルの評価について考察する。まず、8.5.1 ⼩節でテスト誤差と⽐較しながら汎化誤差の特徴を説明

60

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

し、8.5.2 ⼩節では訓練誤差ベースとテスト誤差ベースのノイズ付加汎化誤差上界の計算例
をもとにテスト誤差ベースの必要性を⽰す。
汎化誤差とテスト誤差
ノイズ付加汎化誤差上界とテスト誤差の関係を明確にするため、ノイズ付加汎化誤差上
界（ 𝐺𝐸 で表す）とノイズ付加テスト誤差期待値上界との差分をΔ 、その期待値上界とノイズ付加テスト誤差平均との差分をΔ 、その誤差平均と（ノイズなし）テスト誤差（𝑇𝐸で表す）との差分を∆ とすると、ノイズ付加汎化誤差上界𝐺𝐸 は次式により表すことができる。
𝐺𝐸

∆

∆

∆

𝑇𝐸

例として、図 8.5(a)のノイズ標準偏差対重み⽐ 0.4 の場合の学習モデル CNN#1~8 のノイズ付加汎化誤差上界 𝐺𝐸 の内訳（∆ , ∆ , ∆ , 𝑇𝐸）を図 8.6 に⽰す。図 8.6 より、各学習モデ
ル CNN#1∼8 は、ノイズ付加汎化誤差上界 𝐺𝐸 でなくても、実測可能なノイズ付加テスト誤差平均 ∆𝑇𝐸 によってもほぼ同様な評価ができるようにみえる。しかし、ノイズ付加テ

スト誤差平均では、テストデータセットサイズやノイズ付加テスト誤差測定回数を経験的に決める必要がある。例えば、図 8.6 の CNN#4 のテスト誤差平均については「テストデー
タ数 10000、テスト誤差測定回数 5000 のノイズ付加テスト誤差平均は 19.2%」であるが、データ数10000やテスト誤差測定回数 5000 が⼗分である保証はなく、現実的な範囲で経験的に決められることが多い。⼀⽅、汎化誤差上界については「90% 以上の確率で、ノイズ付
加汎化誤差は 21.7% 以下」である。統計的学習理論に基づいて、ノイズを付加した場合の全⼊⼒に対する不正解率の期待値の上界を信頼度 90% で保証することができ、学習モデルの品質のより明確な評価指標として利⽤することができる。

図 8.6

ノイズ付加汎化誤差上界の内訳

また、データ数 𝑚 とノイズ付加テスト誤差測定回数 𝑛 が減少とともに、各々差分 ∆ と ∆の値は増加する。図 8.6 の CNN#4 の例（信頼度 90%）では、𝑚

10000, 𝑛

5000 である

ため、∆ と ∆ の値は各々 1.6% と 0.9% になるが、もし仮に 𝑚

1000, 𝑛500 ならば、∆ と ∆ の値は各々 5.0% と 3.4% に増加し、ノイズ付加汎化誤差上界は 21.7% から 27.6%に増加する。この差分 ∆∆は、ノイズ付加テスト誤差平均が⼗分なテストデータ数と61

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ノイズ付加テスト誤差測定回数で計算されたかを判断するためにも有効である。
訓練誤差ベースとテスト誤差ベース
図 8.5 のノイズ付加汎化誤差の計算に使⽤した Catoni bound の式 8.15 は、8.2.4 ⼩節で紹介したように本来は訓練誤差ベースの汎化誤差上界を計算するための式 8.6 である。訓練誤差ベースとテスト誤差ベースの汎化誤差上界の定理で保証できる上界を⽐較するため、
図 8.5 の訓練モデル CNN#4 の重みに正規分布ノイズを付加したときの Catoni bound による汎化誤差上界（訓練誤差ベースとテスト誤差ベース、信頼度 90%）の計算結果の例を図8.7 に⽰す。このとき、各重み 𝑤 の訓練後の分布 𝑄 は 𝒩 𝑤 , 𝑟|𝑤 |である。⼀⽅、訓練前の分布 𝑃 は 𝒩 0, 𝜎である。なお、図 8.7 の訓練誤差ベースの汎化誤差上界は、𝜎|𝑟|𝑤 （上界を最⼩化する設定）として計算しているが、訓練前の分布 𝑃 は訓練結果 𝑤 に依存できないため、実際には訓練誤差ベースの汎化誤差上界は図 8.7 の値よりも⼤きくなる。
Catoni bound の式 8.6 の KL 情報量はノイズが⼤きくなると減少するが、ノイズ付加訓
練誤差平均は増加するため、⼀般に訓練誤差ベースのノイズ付加汎化誤差上界は下に凸のグラフとなる。図 8.7 では、標準偏差対重み⽐ 𝑟 が 1.0 の場合に訓練誤差ベースのノイズ付
加汎化誤差上界は最⼩となっており、そのときの上界は 99.4%（訓練誤差平均は 52.5%）である。⼀⽅、テスト誤差ベースのノイズ付加汎化誤差上界とテスト誤差平均との差は 2~3%程度である。訓練誤差による汎化誤差上界を低く抑える研究は進められているが、現段階では、訓練済み学習モデルの評価としては、テスト誤差による汎化誤差上界の⽅が実⽤的と考
えられる。

図 8.7

訓練誤差ベースとテスト誤差ベースのノイズ付加汎化誤差上界の⽐較

62

機械学習品質評価・向上技術に関する報告書 第 3 版

8.6

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004「機械学習モデルの安定性」評価に向けて

本章では、機械学習モデルの安定性「データセット以外の⼊⼒に対しても安定した推論が⾏われること」[1]を評価するため、テスト誤差ベースのノイズ付加汎化誤差上界に着⽬し、その計算法を説明して、その有効性を実験により⽰した。以下の理由により、テスト誤差ベースのノイズ付加汎化誤差上界は安定性の評価指標になりうると考えられる。
(1) ノイズ付加の理由：
8.4.2 ⼩節の実験結果（例えば、図 8.5 参照）にみられるように、汎化誤差上界のみ
ではみえにくい性能の差を、ノイズを付加することによって明確に評価できる。実際、学習モデルの汎化性能とノイズに対する耐性には相関関係があることが報告されている[69][70]。
(2) 汎化誤差上界の理由：
8.5.1 ⼩節で考察したように、ノイズ付加汎化誤差上界でなくても、実測可能なノイズ付加テスト誤差平均でほぼ同様な評価（例えば、図 8.6 参照）ができるようにみえ
るが、ノイズ付加テスト誤差平均では、データセットサイズやノイズ付加テスト誤差の計測回数の根拠を⽰すことが難しい。ノイズ付加汎化誤差上界は、統計的学習理論に基づいて、ある信頼度で（⺟集団の分布𝒟に従う）全⼊⼒に対する不正解率の期待値の上界を保証することができる。ノイズ付加汎化誤差上界はノイズ付加テスト誤差平均から容易に計算でき、その計算時間も訓練時間や推論時間と⽐較して無視できるほど短い。
(3) テスト誤差ベースの理由：
最近の汎化誤差上界に関する研究は訓練誤差ベースが主流であるが、訓練誤差ベースの汎化誤差上界の計算結果は 100%に近い意味のない値になることが多い（例えば、
図 8.7 参照）
。訓練誤差ベースの汎化誤差上界を低く抑える研究は進められているが、現時点（2023 年 3 ⽉）では、訓練済み学習モデルの評価としては、テスト誤差ベー
スの汎化誤差上界の⽅が実⽤的と考えられる。
訓練済み学習モデルを第三者に提供するときに、その評価項⽬の⼀つにノイズ付加汎化
誤差上界の計算結果を加えることによって、正解率等からではみえにくい情報を与えることができる。例えば、Fashion-MNIST の例（図 8.5 参照）では、学習モデル CNN#7 の汎化
誤差は⽐較的⼩さいが、そのノイズ耐性は低く、敵対的な⼊⼒データ（adversarial example）
による攻撃を受けやすい可能性がある。また、汎化誤差は、ある信頼度で全⼊⼒に対する不正解率の上界を保証できるため、未知のデータに対する学習モデルの性能を⽰すことができる。このような情報は訓練済み学習モデルを利⽤する際に有益であると考える。なお、本章ではデータセット Fashion-MNIST による実験結果を紹介したが、⽂献[83]では乗り物や動物のデータセット CIFAR10 による実験結果を紹介している。

63

機械学習品質評価・向上技術に関する報告書 第 3 版

9

敵対的データ検出技術

9.1

研究概要

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

与えられた⼊⼒画像が敵対的データ（Adversarial Example）であるかを判別する⽅法を実⽤的に確⽴することを⽬標として、敵対的データを⽣成する攻撃と検出⼿法について、下記の点に着⽬して代表的な技術の調査および実装を実施している。
・

敵対的データ検出プログラムコードの裏付けと計算実験による確認

・

敵対的データ検出⼿法の論⽂の実験結果の再現

・

機械学習システム品質評価テストベッドへの敵対的データ検出フレームワークの構築
敵対的データ検出（Adversarial Examples Detection）とは、与えられた⼊⼒の中から敵対的データを検出することであり、既存の最先端の敵対的データ検出⽅法は次の 4 つの主要なカテゴリに分類できる。
①

メトリックベースアプローチ（例. [84]）②ディノイザーアプローチ（例. [85]）③予測不整合ベースアプローチ（例. [86]）④

ニューラルネットワーク不変式チェック（NIC）アプローチ（例. [87]）

本章では、これら①〜④の各アプローチに基づく敵対的データ検出⼿法を⽐較・評価するために追試実験を⾏った結果について報告する。論⽂[87]に報告されているように、④のアプローチ（NIC：Neural Network Invariant Checking）が①〜④の中で最も⾼い検出率を⽰す
ことを確認できた。この追実験において、①〜③については公開されている実装コードを使⽤したが、④については実装コードが公開されていなかったため、論⽂[87]にしたがって
NIC を実装して追実験を⾏うとともに、NIC に基づく敵対的データ検出を⾏うための NIC フ
レームワークを構築した。そのため、本章では主に④の NIC について説明する。
以降、4 つのアプローチの概要を説明したのち、NIC による敵対的データの検出⽅法を説
明して、その実装⽅法について述べる。次に、各アプローチの追試実験と NIC による実験の結果を⽰し、最後に NIC フレームワークの実装とその有効性評価結果について報告する。

9.2

敵対的データ検出アプローチの概要

以下、最先端の敵対的データ検出のための４つのアプローチの概要について説明する。
メトリックベースアプローチ
⼊⼒（および各ニューロンの出⼒）の統計的測定を実⾏して、敵対的データを検出する⽅法であり、Ma 等は、最近、Local Intrinsic Dimensionality（LID）と呼ばれる測定の使⽤を提案した[84]。この⽅法では、サンプルの距離分布と個々のレイヤーの近隣の数を計算することによって、サンプルを囲む領域の空間充填能⼒を評価する LID 値を推定し、敵対的データが⼤きな LID 値を持つ傾向がある性質を⽤いて、敵対的データを検出している。LID は、敵64

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

対的データの検出に対して、従来のカーネル密度推定（KD）やベイジアン不確実性（BU）
よりも優れており、現在この種の検出器の最先端の技術となっている。
ディノイザーアプローチ（Denoiser、ノイズ除去）
各⼊⼒に対して前処理ステップでノイズを除去することによって敵対的データを検出する⽅法である。この⽅法では、学習モデル内の主要なコンポーネントを強調できるように、学習モデルまたはノイズ除去器（エンコーダーおよびデコーダー）をトレーニングして画像をフィルター処理する。このフィルターを⽤いて、攻撃者が敵対的データを⽣成するために追加したノイズを除去し、誤分類を修正することができる。MagNet[85]は、検出器とリフォーマー（トレーニング済みの⾃動エンコーダーと⾃動デコーダー）を使⽤して、敵対的デー
タを検出する⽅法である。
予測不整合ベースのアプローチ（Prediction inconsistency based approach）
元のニューラルネットワークと⼈間の知覚可能な属性で強化されたニューラルネットワ
ークとの間の不⼀致を測定して、敵対的データを検出する⽅法である。この⽅法の最先端の検出技術であるフィーチャスクイージング（Feature Squeezing）[86]は、さまざまな攻撃に対して⾮常に⾼い検出率を実現することができる。フィーチャースクイージングは、ディー
プニューラルネットワーク DNN の不必要に⼤きな⼊⼒特徴空間によって攻撃者が敵対的データを⽣成できることに着⽬しており、勾配ベースの攻撃の検出に焦点を当てている。フィーチャースクイージングによる敵対的データの検出⼿順を以下に⽰す。
1.

元の⼊⼒画像にスクイージング技術（画像の⾊深度を減らし、画像を平滑化する技
術）を適⽤して複数のスクイーズ画像を⽣成する。

2.

元の⼊⼒画像と複数のスクイーズ画像をディープニューラルネットワークに⼊⼒し、⼊⼒画像の推論結果（予測ベクトル）と各スクイーズ画像の推論結果との距離を測定する。

3.

元の⼊⼒画像とスクイーズ画像の差（距離）の⼀つがしきい値を超える場合に、元の⼊⼒画像を敵対的データとして検出する。
ニューラルネットワーク不変性チェック（NIC）アプローチ

NIC[87]では、ニューラルネットワーク内部の値の不変量（VI: Value Invariants）と来歴不変量（PI: Provenance Invariants）に着⽬する。値の不変量 VI は各層の可能なニューロン値の分布であり、来歴不変量 PI は 2 つの連続した層の可能なニューロン値パターン（2 層にわたるフィーチャ間の相関の要約）である。ある⼊⼒がこれらの不変量に違反している場合に、その⼊⼒は敵対的データとして検出される。それらの不変量 VI と PI を良性の⼊⼒デー
タで訓練し、敵対的データを検出する 1 クラス分類（OCC）問題としてモデル化する。上で説明した①〜③に基づく⼿法よりも⾼い検出率が報告されている[87]。以降、NIC のシステム設計概要と実装について、各々9.3 節と 9.4 節で詳しく説明する。

65

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

NIC のシステム設計概要

9.3

NIC の検出器の構築と検出の⼿順（ステップ A〜C：訓練時、D〜E：実⾏時）を図 9.1 を⽤いて説明する[87]。この不変量 VI, PI の訓練では、敵対的ではない良性のデータのみを使
⽤する。

図 9.1

システム設計概要（論⽂[87]の図 8）・ステップ A：各訓練データ⼊⼒の各層で各ニューロンの出⼒値を収集する。

・ステップ B：各層 𝑘 （例えば、L1、L2）に対して、⼊⼒層から 𝑘 層までのサブモデルを抽出し、元のモデルと同じ出⼒ラベルをもつ新しい softmax 層を追加して、派⽣モ
デル（図 9.1 中の DerivedModel）を作成する

・ステップ C：すべての派⽣モデルに対して各良性訓練データを⼊⼒し、これらのモデルの最終出⼒（すなわち、個々のクラスの出⼒確率値）を収集する。連続する層の組ごとに、この派⽣モデルの分類結果の分布を⽤いて訓練する。この訓練された分布が、これらの 2 つの層の PI となる。

・ステップ D：各テストデータ t（例えば、図 9.1 中の“4”の画像）を、元のモデルの他に、すべての派⽣モデルにも⼊⼒して、元のモデルの各層の活性化値を観測値 OV（例
えば、図 9.1 中の OV(L1,t)）と、連続した層の派⽣モデルの分類結果（組）を収集す

66

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

る。この分類結果から観測された出処 OP（例えば、OP(L1,L2,t)など）を得る。
・ステップ E：OV と OP が対応する VI と PI の分布に適合する確率 D を計算する。⼊⼒ t が敵対的である可能性を、これらの D 値をすべて集約して同時予測する。

9.4

NIC のシステム実装

NIC に基づいて敵対的データを検出するために、PI と VI から直和空間（ベクトル）を構成し、このベクトルを分類するための OSVM（One Class Support Vector Machine）を構築する。訓練済みの DNN（Deep Neural Network）のモデル（以降、これを M と記述する）の層
𝑙 に対する⼊⼒を 𝑥 とするとき、層 𝑙 の出⼒ 𝑓 は次式により与えられる。
𝑓𝜎 𝑥 ∙𝑤𝑏

ここで、𝜎 は層 𝑙 の活性化関数、𝑤 は重み⾏列、𝑏 はバイアスである。このとき、VI とPI、および OSVM で分類する直和空間は次のように求められる。
・ VI の計算：モデル M の各層 𝑙 の VI は以下の最適化問題を解いて決定する。
𝑉𝐼min

𝐽 𝑓 ∘𝑓∘ ⋯∘ 𝑓 𝑥 ⋯𝑤

1∈

ここで、 𝐽 はエラー評価関数、𝑋 は M を作成する際に使⽤したバッチである。また、∘ はモノイドであり、この場合では、𝑓 をベクトル化したものである。
・ PI の計算：𝑃𝐼 ,𝑥 は層 𝑙 および層𝑙1 の派⽣モデルの分類出⼒に基づいて、𝑥 が良性である（敵対的でない）確率は、次の最適化問題を解いて推測する。
𝑃𝐼 ,

𝑥

min

𝐽 𝑐𝑜𝑛𝑐𝑎𝑡 𝐷 𝑥 , 𝐷

𝑥

⋯𝑤

1

∈

ここで、層 𝑙 の派⽣モデル𝐷 は、層 𝑙 の後に softmax 層を追加してのように定義される。
𝐷

softmax ∘ 𝑓 ∘ 𝑓∘ ⋯∘ 𝑓・ PI と VI の直和空間：上記の最適化により求めた VI と PI から、モデル M の学習デー
タのバッチごとに以下の直和空間（ベクトル）を作成する。
𝑉𝐼 ⨁ 𝑃𝐼 , ⨁ 𝑉𝐼 ⨁ 𝑃𝐼 , ⋯ 𝑉𝐼 ⨁ 𝑃𝐼
このベクトルは 𝐿,⨁ 𝑉𝐼

3 次元（𝐿 は M の層数）であり、これは個数𝐵 のベクトル空間（直和空間）になる。NIC ではこの空間に対して OSVM を⾏う。

9.5

計算機実験

敵対的データ検出技術（NIC)の効果を確認するため、下記の実験環境で、論⽂[87]の実験の追試を⾏なった。

67

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

・

ハードウェア環境：産総研 ABCI[88]・

データセット：画像分類の実験には、MNIST[89]、CIFAR-10[90]の２つの⼀般的な画像データセットを⽤いた。MNIST は⼿書き数字認識に使⽤されるグレースケール画
像データセットであり、CIFAR-10 はオブジェクト認識に使⽤されるカラー画像デー
タセットである。なお、NIC に対しては、LFW（顔画像）[91]についても実験を⾏った。

・、標的型攻撃 JSMA、攻撃：敵対的データの⽣成には、⾮標的型攻撃（FGSM 𝐿 , 𝐿 ）勾配ベースの攻撃（CW 𝐿 ）の⽅法を使⽤した。FGSM と JSMA の実装には、Cleverhans
ライブラリ[92]を使⽤した。

最初に、①〜③の各アプローチに基づく敵対的データ検出⼿法を評価するため、LID[84]、
MagNet[85]、フィーチャスクイージング[86]の公開されている実装コードを⽤いて、各論⽂の追試実験を⾏った。その結果、各論⽂に報告されている検出率を確認でき、この 3 つの中
では、フィーチャスクイージングが最も⾼い検出率を⽰していた。
次に、④のアプローチに基づく敵対的データ検出⼿法を評価するため、9.4 節で実装した
NIC のコードを⽤いて実験を⾏った。表 9.1〜表 9.3 に、各々、MNIST、CIFAR-10、LFW の
データセットに対する敵対的データ検出計算実験の結果⽰す。ここで、正答率は、9.4 節で説明した分類器（OSVM）に敵対的データを⼊⼒し、敵対的データであると判定された割合である。なお、実験に使⽤した CNN モデルは LeNet5、OSVM の Kernel は RBF（MNIST：𝛾

0.1~0.27 , CIFAR-10：𝛾

0.11~0.2, LFW：𝛾

0.005~0.90）である。本実験結果では、論⽂[87]で報告されていたデータセットや攻撃⽅法だけでなく、報告されていないデータセ
ット LFW、攻撃⽅法（FGSM 𝐿 ）についても⾼い検出性能を確認することができた。
表 9.1
Data Set

MNIST データセットに対する敵対的データ検出計算実験結果
AttackInvariant

正答率

データ件

論⽂[87]正答率

数
MNIST

2

FGSM 𝐿FGSM 𝐿

JSMA

CW2

Trojan

VI

97%

PI

98%

84%

NIC

97%

100%

VI

98%

PI

98%

―

NIC

98%

―

VI

100%

PI

100%

100%

NIC

100%

100%

VI

100%

PI

100%

96%

NIC

100%

100%

VI

100%

PI

100%

100%

NIC

100%

100%

68

2800

2800

280

280

3200

100%

―

83%

95%

100%

機械学習品質評価・向上技術に関する報告書 第 3 版

表 9.2
Data Set

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

CIFAR-10 データセットに対する敵対的データ検出計算実験結果
AttackInvariant

正答率

データ件

論⽂[87]正答率

6400

100%

数
CIFAR-

2

FGSM 𝐿

10
FGSM 𝐿

JSMA

CW2

Trojan

表 9.3
Data Set

VI

99%

PI

99%

52%

NIC

99%

100%

VI

100%

PI

100%

―

NIC

100%

―

VI

97%

PI

95%

100%

NIC

96%

100%

VI

98%

PI

95%

89%

NIC

96%

100%

VI

100%

PI

100%

100%

NIC

100%

100%

6400

320

320

3200

―

62%

88%

100%

LFW データセットに対する敵対的データ検出計算実験結果

AttackInvariant

正答率

データ件

論⽂[87]正答率

数
LFW

2

FGSM 𝐿FGSM 𝐿

JSMA

CW2

Trojan

VI

98%

PI

98%

―

NIC

98%

―

VI

100%

PI

100%

―

NIC

100%

―

VI

100%

PI

100%

―

NIC

100%

―

VI

100%

PI

100%

―

NIC

100%

―

VI

100%

PI

100%

―

NIC

100%

―

69

28222

2822

280

840

3200

―

―

―

―

―

機械学習品質評価・向上技術に関する報告書 第 3 版

9.6

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

NIC フレームワークの実装

9.5 節で NIC の有効性の確認を⽬的とした計算機実験を⾏うため、簡易に、9.3 節と 9.4 節に基づき NIC 法の実装をおこなった、その際、原論⽂[45]に実装上の問題点などが明らかとなった。これら問題点を明らかにしつつ、敵対的データ（Adversarial Examples）に対する脆弱性をベンチマークする環境（攻撃・防御・検出）を構築し、敵対的データの⾼い検出率を⽬標とする NIC フレームワークをテストベッドに構築するため、アルゴリズムの再検討を⾏なった。
NIC フレームワークの概要
NIC フレームワークは、各層からの出⼒取出し、正常データの VI, PI 計算、敵対的データの VI, PI, NIC の計算、OSVM の評価と結果の表⽰の 5 つのパートで構成されている。NIC フ
レームワークのユースケースを図 9.2 に⽰す。また、敵対的データを検出する処理⼿順を図9.3 に⽰す。

図 9.2

図 9.3

NIC フレームワークのユースケース

NIC フレームワークによる敵対的データ検出の処理⼿続き

図 9.3 に⽰すように、NIC フレームワークによる敵対的データ検出全体の処理⼿続きは 5
つのパートから構成されている。各パートの機能（⼊⼒、処理、出⼒）を表 9.4 に⽰す。

70

機械学習品質評価・向上技術に関する報告書 第 3 版

表 9.4

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

敵対的データ検出処理⼿続きを構成する各パートの機能

各層からの出⼒取り出し
⼊⼒

正常データ（画像）敵対データ（画像）
正常データで学習した、学習済みモデル（正常データで学習したモデル）

処理

正常データ、敵対的データの学習済みモデルの各層の出⼒を取得して、「numpyの npy」形式で保存する。

出⼒

各層からの出⼒データ

正常データの VI, PI 計算
⼊⼒

正常データの各層からの出⼒データ

処理

正常データの各層の出⼒データから VI、PI を計算する。

出⼒

VI, PI

敵対的データの VI, PI 計算
⼊⼒

敵対的データの各層からの出⼒データ
正常データで PI に計算時に作成された PI の派⽣モデル

処理

敵対的データの各層の出⼒から VI, PI を計算する。

出⼒

VI, PINIC の計算⼊⼒

正常データの VI, PI
敵対的データの VI, PI

処理

正常データの VI, PI から正常データの NIC を作成、敵対的データの VI, PI から敵
対的データの NIC をそれぞれ計算する。

出⼒

正常データの NIC、敵対的データの NIC

OSVM での評価と結果の表⽰
⼊⼒

正常データの NIC
敵対的データの NIC

処理

正常データで OSVM を学習させてモデルを作成、この学習済みモデルを使⽤して敵対的データを判定する。OSVM は sk-learn の one

class

svm API を使⽤している。その後、判定結果を表⽰する。
出⼒

評価結果

OSVM 評価結果の出⼒
NIC フレームワークの実装には Python の機械学習のライブラリである scikit-learn を⽤いた。例えば、図 9.3 の最終パートである OSVM は scikit-learn の OneClassSVM の class を⽤
いて次のように実装した。
class sklearn.svm.OneClassSVM(array, kernel='rbf', gamma='auto', nu=0.3)

71

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

ここで、各引数の意味は次の通りである。
・array：正常データの NIC でパラメータを学習し、敵対的データの NIC で推定する・

kernel：One Class SVM のアルゴリズムとして、RBF カーネルを使⽤する・

gamma：RBF カーネルの γ パラメータ、「auto」を指定

・

nu：学習誤差の割合の上限とサポートベクトルの割合の下限を指定する（今回は 0.3）

NIC フレームワークに 1 個の正常データと、その敵対的データを⼊⼒したときの、各層からの出⼒値を図 9.4 に⽰す。ここで、横軸は各層で NIC を計算するために導出したモデルの ID（注. 例えば CNN の Convolution 層など、1 画像に対する各層からの出⼒は複数存在する）、縦軸は正常データの NIC の One Class SVM 分類超平⾯までの各 NIC の符号付き距離、
すなわち、この場合、正常データへの近さを表している。図 9.4(a)の⿊点が正常データに対する出⼒、図 9.4(b)の⾚点が敵対的データに対する出⼒である。なお、図 9.4(b)の敵対的
データの⽣成には FGSM 𝐿 の攻撃⽅法を⽤いた。

(a) 正常データ⼊⼒
図 9.4(b) 敵対的データ⼊⼒

NIC フレームワークの出⼒⽐較

正常データで One Class SVM を学習させた場合、One Class SVM の関数 𝑓 𝑥 によって、
𝑓 𝑥

0 ならば正常、𝑓 𝑥

0 ならば異常であると判断することができる。図 9.4 の結果

は正常データを⼊⼒したときの出⼒がほぼ 0 の周辺に集中している（図 9.4(a)）のに対して、敵対的データを⼊⼒したときは約 94%が 0 未満となっている（図 9.4(b)）。この結果か
ら NIC による敵対的データ検出の有効性を確認できる。
敵対的データの作成
図 9.3 に⽰すように、NIC フレームワークには敵対的データの作成プログラムは含まれな

72

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

い。敵対的データを作成する場合は CleverHans [93]の使⽤を推奨する。図 9.5 に、⼿書き
数字画像（MNIST）の正常データとその画像から⽣成した敵対的データ（攻撃⽅法：FGSM
𝐿 ）および各画像データに対して推論されたラベルを⽰す。図 9.5(b)の推論結果（label 8）にみられるように、⽣成された敵対的データは全て 8 と誤判断されている。

(a) MNIST の元データ
図 9.5(b) ⽣成した敵対的データ

MNIST（⼿書き数字）画像からの敵対的データ⽣成例とその判定結果

VI、PI、NIC の計算コスト削減
原論⽂[75]の VI, PI, NIC の計算⽅法は 9.4 節で説明したが、そのまま計算するとそれぞれのデータ（ベクトル）の次元が⾮常に⼤きくなり、いわゆる「次元の悪魔」に囚われることになるため、なるべく次元が低下するように⼯夫している。以下、各計算の簡素化の⽅法について説明する。
・ VI の計算：NIC フレームワークでは、⼊⼒データ（正常、敵対的双⽅）と、VI, PI, NICとの対応を明確にするため（検証の正確性を記すため）𝑋1とする。また⼊⼒デー

タは全て正規化して計算しているため、下記のように簡素化した式を使⽤している。
𝑉𝐼・ PI の計算：上記の VI と同様に、𝑋𝑓 ∘𝑓∘ ⋯∘ 𝑓 ∘ 𝑓

1として計算している。従って下記のように簡素化した式を使⽤している。
𝑃𝐿 ,𝑐𝑜𝑛𝑐𝑎𝑡 𝐷 , 𝐷

73∘ ⋯ ∘ 𝑐𝑜𝑛𝑐𝑎𝑡 𝐷 , 𝐷

機械学習品質評価・向上技術に関する報告書 第 3 版

・ NIC の計算：次元抑制のため 𝑋

9.7

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

出⼒を取得した層の数 としている。

Kullback-Leibler 情報量による NIC の有効性評価

Kullback-Leibler 情報量を⽤いて、正常データと敵対的データの画像、及び、NIC の乖離度を計算し、NIC の有効性を評価した結果について報告する。
Kullback-Leibler 情報量
Kullback-Leibler 情報量は２つの確率分布𝑃（確率密度関数𝑝）、Q（確率密度関数𝑞）の間の乖離度を測る尺度である。ただし、厳密な距離の公理を満⾜しないので、厳密な意味での距離にはならない。Kullback-Leibler 情報量（以後、𝐾𝐿 𝑃 ∥ 𝑄 と表す）は次式で定義される。
𝐾𝐿 𝑃 ∥ 𝑄

𝑝 𝑥 log𝑝 𝑥
𝑞 𝑥

両者が同じ場合には０、乖離が進むと値が⼤きくなる（log があるため収束は保証されない）。
図 9.6 に Kullback-Leibler 情報量の簡単な計算例を⽰す。図 9.6 左は、𝑃と𝑄双⽅とも平均
0.5、分散 0.5 の正規分布の 𝐾𝐿 𝑃 ∥ 𝑄 で、値は０である。右は、𝑃が平均 0.5、分散 0.5、𝑄が平均 0.55、分散０.55 の 𝐾𝐿 𝑃 ∥ 𝑄 で、値は 0.053 である。

図 9.6

Kullback-Leibler 情報量の計算例

Kullback-Leibler 情報量の推定
Kullback-Leibler 情報量は⽐較する確率分布が確定していることが前提であるが、実際には、正常データ、敵対的データ双⽅ともに単なる画像の集合であり、分布は明確でない。しかし、確率分布が明確でない集合同⼠の Kullback-Leibler 情報量を近似する⼿法[94]が知られている。その近似計算の概略は、密度⽐ 𝑟 𝑥

𝑝 𝑥 /𝑞 𝑥 を Kullback-Leibler 情報量を最⼩化することを制約として、𝜃の線形多項式 𝑟 𝑥 を最適化問題として解くことにある。

74

機械学習品質評価・向上技術に関する報告書 第 3 版

𝑟 𝑥

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

𝜃𝜓 𝑥

𝜽 𝝍 𝑥

ここで、次式により定義される𝜓 𝑥 は RBF カーネルである。
𝜓 𝑥

‖𝑥

exp

𝑥‖
2ℎ

ここで、ℎは決定可能な定数でバンド幅である。
このとき、上記の線形多項式 𝑟 𝑥 を⽤いて、Kullback-Leibler 情報量を求めるための⽬的
関数は次式により与えられる。
min 𝐽 𝜃 , 𝑤ℎ𝑒𝑟𝑒 𝐽 𝜃

1
𝑁

𝑟 𝒙

1
𝑁

𝑟 𝒙

この最適化問題を解いて得られる線形多項式 𝑟 𝒙 を⽤いて、Kullback-Leibler 情報量は次式により近似できる[94]。
𝐾𝐿 𝑃 ∥ 𝑄 ~1𝑛log 𝑟 𝒙

NIC の有効性評価
9.5 節の実験結果によって NIC 法が敵対的データを異常値として検出する⼿段として有効であることを⽰したが、有効であることの理由を説明するため、正常データと敵対的データの Kullback-Leibler 情報量を⽐較して、双⽅のデータの乖離度を推定した。まず、正常デー
タと敵対的データ（攻撃⼿法：FGSM 𝐿 ）の画像データ 50 個（図 9.5 参照）に対する KullbackLeibler 情報量を求めた結果を図 9.7 に⽰す。図 9.7 の Kullback-Leibler 情報量の近似値は0.46 である。なお、図 9.4 に⽰したように、1 画像に対して複数の NIC が存在するが、図9.7 では、各画像の複数の Kullback-Leibler 情報量の平均値を⽰している。

図 9.7

正常データと敵対的データの Kullback-Leibler 情報量75機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

次に、正常データと敵対的データの NIC の Kullback-Leibler 情報量（図 9.5 の画像データから作成）を求めた結果を図 9.8 に⽰す。図 9.8 の Kullback-Leibler 情報量の近似値は 4.47である。図 9.7 と図 9.8 の Kullback-Leibler 情報量には約 10 倍の違いがある。この違いが、正常データに加えられた摂動を NIC 法によってより集約された形で収集できることを表していると推定される。

図 9.8

正常データと敵対的データの NIC の Kullback-Leibler 情報量76機械学習品質評価・向上技術に関する報告書 第 3 版

10

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

運⽤時における AI 品質管理技術

本章では、運⽤時における AI 品質管理技術として、コンセプトドリフトと呼ばれる時間経過に伴うデータ分布の変化に対し、その分布変化の検知と、変化後の分布に機械学習モデ
ルを適応させる最新技術および同技術の関連技術である教師なしドメイン適応技術の最新技術に関する調査結果について報告する。
コンセプトドリフトは、運⽤中の AI システム内で稼働する機械学習モデルの性能低下を引き起こす主な原因の 1 つである。そのため、システムの運⽤開始時点で充⾜されていた品質を、運⽤期間を通じて維持するためには、ドリフトが⽣じているか否かを継続的に監視することに加え、必要に応じてシステム内の機械学習モデルを最新のデータを⽤いて再学習することで、ドリフト後の分布にシステムを適応させることが必要である。特に近年の機械学習技術の利⽤拡⼤に伴い、今後の AI システムの運⽤場⾯では、これまで扱われなかった種類のデータを含め、正解ラベル付けされていない⼤量のデータを短期間で処理することが求められる。加えて，データのプライバシやセキュリティの問題で運⽤前に使⽤した訓練データを再利⽤できない場合や、システムの適⽤先が多岐に渡ることも想定される。
そこで、2019〜2020 年度において、運⽤中の機械学習モデルの性能維持を⽬的として、
上記のコンセプトドリフトの検知および適応を⾏う最新技術に関する調査を⾏った。その結果、これまでに開発されている⼿法の多くが、検知および適応時に運⽤中に新たに取得した⼊⼒データの正解ラベルを⽤いる教師あり⼿法であった。しかしながら、正解ラベルは必ずしも⼊⼿できるとは限らず、⼊⼿できたとしてもコストがかかる場合が多い。そのため、適⽤可能性を広げるため、または運⽤コストを削減するためには、それらの正解ラベルを⽤いない「教師なし⼿法」や、少数の正解ラベルのみ限定的に⽤いる「半教師あり⼿法」が有望であることがわかった。そこで、その視点から整理し検討した調査結果をサーベイとしてまとめた。各サーベイに関する詳細については、検知⼿法に関しては機械学習品質マネジメ
ントガイドライン[1]7.8 節を、適応⼿法に関しては⽂献[95]をそれぞれ参照されたい。
⼀⽅、今後の AI システムの運⽤においては、新たに、データのプライバシやその可搬性の観点から適応前に使⽤した訓練データに依存しない適応技術や、⼊⼒データの分布以外の変化にも対応可能な適応技術の必要性も⾼まってきている。特に訓練データ（ソースデー
タ）に依存しない適応技術は、「ソースフリードメイン適応⼿法」や「test-time 適応⼿法」とも呼ばれ、ソースデータの管理や送受信に係る費⽤削減、同データの保管に関するセキュ
リティの観点からも注⽬を集めている。
そこで 2021 年度においては、上述の 2020 年度までの調査に引き続き、教師なしコンセ
プトドリフト適応技術および教師なしドメイン適応技術を中⼼に、2019 年以降の機械学習分野の主要国際会議で発表されたデータ変化に対する教師なし適応技術の最新の研究動向に関して調査を⾏った。その結果、近年においては、従来の教師なし適応技術に加え、上述のソースフリーな適応技術や、ラベルシフトなどの⼊⼒データの分布以外の変化にも対応
可能な適応技術の開発が⾏われていることがわかった。さらには調査した論⽂に記載された幾つかの⼿法に関しては、画像分類問題だけでなく、セマンティックセグメンテーション
問題や物体検知問題に対する有効性の検証も⾏われている。これら教師なし適応技術の研究動向は、データプライバシーの保持などの AI 運⽤における新たな課題に対して解決を図るとともに、今後の AI 運⽤における様々な場⾯においての活⽤へと広がっていると⾔える。

77

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

本サーベイに関する詳細については、⽂献[96]を参照されたい。
2022 年度においても、この領域についての注⽬度は⼤きく、test-time 適応⼿法においてより進歩的な研究がなされている。適応時に伴う忘却を抑制するための機構を明⽰的に取り⼊れる⼿法、適応⼿法の複雑化に伴う計算量増加に対する反⾯教師的なアプローチを採る⼿法、近年利⽤が広がっている Vision Transformer に適⽤可能な⼿法などがある。また、
タスクについても 3 次元セマンティックセグメンテーションや、時間関係を考慮した物体
認識などさらなる広がりを⾒せている。これら最新の⼿法について調査を⾏い、これまでの2019〜2021 年度に実施した調査を併せて包括的な整理を⾏った結果を、⽂献[97]にまとめた。詳細についてはそちらを参照されたい。

78

機械学習品質評価・向上技術に関する報告書 第 3 版

11

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

参考⽂献リスト（1 章の参考⽂献）[1] ⼤岩 寛他, 機械学習品質マネジメントガイドライン 第 4 版,
Digiarc-TR-2023-03, CPSEC-TR-2023003, 2023 年 11 ⽉.
https://www.digiarc.aist.go.jp/publication/aiqm/[2] 宮城 優⾥, ⼤⻄ 正輝, 作業者情報に注⽬した機械学習モデル⽐較可視化⼿法, 第 24 回
画像の認識・理解シンポジウム, I31-22, 2021 年 7 ⽉.
[3] 宮城 優⾥, ⼤⻄ 正輝, 機械学習モデルの品質保証・評価のための作業者情報⽐較可視化⼿法, 第 49 回可視化情報シンポジウム, OS12, 2021 年 9 ⽉.
[4] ⾼ 瀬 朝 海 , 星 野 貴 ⾏ , 畳 み 込 み ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 特 徴 マ ッ プ へ の Data
Augmentation 適⽤, 第 23 回画像の認識・理解シンポジウム,2020 年 8 ⽉.
[5] Tomoumi Takase, Dynamic batch size tuning based on stopping criterion for neural network
training, Neurocomputing, Volume 429, pp.1-11, 2021 年 3 ⽉.
[6] 中島 震, 敵対的なセマンティック・ノイズの実⾏時検知, 情報処理学会・ソフトウェア
⼯学研究会, 2020 年 7 ⽉.
[7] 中島 震, 統計的な部分オラクルによるテスティング⽅法, ⽇本ソフトウェア科学会⼤会, 2020 年 9 ⽉.
[8] 中島 震, ニューラルネットワーク・ソフトウェアの頑健性検査, 情報処理学会・ソフト
ウェア⼯学研究会, 2020 年 11 ⽉.
[9] Shin Nakajima (NII), Software Testing with Statistical Partial Oracles, 10th SOFL+MSVL,
2021 年 3 ⽉.
[10] 中島 震, 訓練済み機械学習モデル歪みの定量指標, 電⼦情報通信学会・ソフトウェアサ
イエンス研究会, 2021 年 3 ⽉.
[11] ⼤川 佳寛, ⼩林 健⼀, ラベルなし運⽤データに対するコンセプトドリフト適応技術に関するサーベイ, 第 35 回 ⼈⼯知能学会全国⼤会，2021 年 6 ⽉.
[12] ⼤川 佳寛, ⼩林 健⼀, データ変化に対する教師なし適応技術に関する最新研究動向とその考察, 第 36 回 ⼈⼯知能学会全国⼤会，2022 年 6 ⽉.
[13] ⼤川 佳寛, ⾦⽉ 寛彰, ⼩林 健⼀, 運⽤時 AI 品質維持技術：コンセプトドリフト検知・適応から教師なしドメイン適応まで, 第 37 回 ⼈⼯知能学会全国⼤会，2023 年 6 ⽉.
（2 章の参考⽂献）[14] 原 聡, 私のブックマーク「機械学習における解釈性」, ⼈⼯知能, vol. 33, no. 3, pp. 366369, 2018.
[15] Fred Hohman, Minsuk Kahng, Robert Pienta, Duen Horng Chau, Visual Analytics in Deep
Learning: An Interrogative Survey for the Next Frontiers, IEEE Transactions on
Visualization and Computer Graphics, vol. 25, no. 8, pp. 2674-2693, 2018.
[16] Bilal Alsallakh, Amin Jourabloo, Mao Ye, Xiaoming Liu, Liu Ren, Do Convolutional Neural79機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

Networks Learn Class Hierarchy?, IEEE Transactions on Visualization and Computer
Graphics, vol. 24, no. 1, pp. 152-162, 2018.
[17] Mengchen Liu, Jiaxin Shi, Kelei Cao, Jun Zhu, Shixia Liu, Analyzing the Training Processes of
Deep Generative Models, IEEE Transactions on Visualization and Computer Graphics, vol.24,
no.1, pp.77-87, 2018.
[18] Jorge Piazentin Ono, Sonia Castelo, Roque Lopez, Enrico Bertini, Juliana Freire, Claudio Silva,
PipelineProfiler: A Visual Analytics Tool for the Exploration of AutoML Pipelines, IEEE
Transactions on Visualization and Computer Graphics, vol.27, no.2, pp.390-400, 2021.
[19] Saleema Amershi, Maya Cakmak, W. Bradley Knox, Todd Kulesza, Power to the People: The
Role of Humans in Interactive Machine Learning. AI Magazine, vol.35, no.4, pp.105-120,
2014.
[20] Heungseok Park, Jinwoong Kim, Minkyu Kim, Ji-Hoon Kim, Jaegul Choo, Jung-Woo Ha and
Nako

Sung,

VISUALHYPERTUNER:

VISUALANALYTICS

FOR

USER-DRIVEN

HYPERPARAMTER TUNING OF DEEP NEURAL NETWORKS, 2019.
（4 章の参考⽂献）[21] Gontijo-Lopes, R., Smullin, S. J., Cubuk, E. D.,

and Dyer, E., Affinity and Diversity:

Quantifying Mechanisms of Data Augmentation. arXiv preprint arXiv:2002.08973, 2020.
[22] Cubuk, E. D., Zoph, B., Shlens, J., and Le, Q., RandAugment: Practical Automated Data
Augmentation with a Reduced Search Space. In Neural Information Processing Systems, 33,
2020.
[23] Zhang, H., Cisse, M., Dauphin, Y. N., and Lopez-Paz, D., Mixup: Beyond Empirical Risk
Minimization. In International Conference on Learning Representations, 2018.
[24] Takase, T., Feature Combination Mixup: Novel Mixup Method Using Feature Combination for
Neural Networks, Neural Computing and Applications, 2023.
[25] Verma, V., Lamb, A., Beckham, C., Najafi, A., Mitliagkas, I., Lopez-Paz, D., and Bengio, Y.,
Manifold Mixup: Better Representations by Interpolating Hidden States. In International
Conference on Machine Learning, pp. 6438–6447, PMLR, 2019.
[26] Kim, J-H., Choo, W., and Song, H. O., Puzzle mix: Exploiting saliency and local statistics for
optimal mixup. In International Conference on Machine Learning, 2020.
[27] Beckham, C., Honari, S., Verma, V., Lamb, A., Ghadiri, F., Hjelm, R. D., Bengio, Y., and Pal, C. On
adversarial mixup resynthesis. In Neural Information Processing Systems, 2019.
[28] Yun, S., Han, D., Oh, S. J., Chun, S., Choe, J., and Yoo, Y. CutMix: Regularization Strategy to Train
Strong Classifiers with Localizable Features. In Proceedings of the IEEE/CVF International
Conference on Computer Vision, 6023–6032, 2019.
（5 章の参考⽂献）[29] 中島 震, ソフトウェア⼯学から学ぶ機械学習の品質問題，丸善出版 2020.
[30] Pei, K., et al., DeepXplore: Automated Whitebox Testing of Deep Learning Systems, In Proc.

80

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

26th SOSP, 2017, pp.1-18.
[31] Nakajima, S., Distortion and Faults in Machine Learning Software, In Post-Proc. 9th
SOFL+MSVL, 2020, pp.29-41.
[32] Ma, L., et al., DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems, In
Proc. ASE, 2018, pp.120-131.
[33] Tian, Y., et al., DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous
Cars, In Proc. 40th ICSE, 2018, pp.303-314.
[34] Zhang, M., et al., DeepRoad: GAN-Based Metamorphic Testing and Input Validation
Framework for Autonomous Driving Systems, In Proc. ASE, 2018, pp.132-142.
[35] Zhang, P, et al., CAGFuzz: Coverage-Guided Adversarial Generative Fussing Testing of Deep
Learning Systems, arXiv:1911.07931, 2019.
[36] Harel-Canada, F., et al., Is Neuron Coverage a Meaningful Measure for Testing Deep Neural
Networks? In ESEC/FSE, 2020, pp.851-862.
[37] Kim, J. et al., Guiding Deep Learning System Testing Using Surprise Adequacy, In Proc. 41st
ICSE, 2019, pp.1039-1049.
（6 章の参考⽂献）[38] Ian Goodfellow, Yoshua Bengio, and Aaron Courville, Deep Learning, The MIT Press 2016.
[39] Simon Haykin, Neural Networks and Learning Machines (3ed.), Pearson India 2016.
[40] Shiqing Ma, Yingqi Liu, Wen-Chuan Lee, Xiangyu Zhang, and Anath Grama, MODE:
Automated Neural Network Model Debugging via State Differential Analysis and Input
Selection, In Proc. 26th ESE/FSE, pp.175-186, 2018.
[41] Shin Nakajima, Software Testing with Statistical Partial Oracles – Applications to Neural
Network Software, In Proc. 10th SOFL+MSVL, pp.275-192, 2021.
[42] Shin Nakajima and Tsong Yueh Chen, Generating Biased Dataset for Metamorphic Testing of
Machine Learning Programs, In Proc. 31st ICTSS, pp.56-64, 2019.
[43] Gregor Montavon, Genevieve B. Orr, and Klaus-Robert Muller (eds.), Neural Networks: Tricksof the Trade (2ed.), Springer 2012.
[44] Reza Shokri, Marco Stronati, Congzheng Song, and Vitaly Shmatikov, Membership Inference
Attacks Against Machine Learning Models, arXiv:1610.05820v2, 2017.
[45] Samuel Yeom, Irene Giacomelli, Matt Fredrikson, and Somesh Jha, Privacy Risk in Machine
Learning: Analyzing the Connection to Overfitting, arXiv:1709.01604v5, 2018.
[46] Yunhui Long, Vincent Bindschaedler, Lei Wang, Diyue Bu, Xiaofeng Wang, Haixu Tang, Carl
A. Gunter, and Kai Chen, Understanding Membership Inferences on Well-Generalized
Learning Models, arXiv:1802.04489, 2018.
[47] Charu C. Aggarwal, Outlier Analysis (2ed.), Springer 2017.
[48] Guy Katz, Clark Barrett, David L. Dill, Kyle Julian, and Mykel J. Kochenderfer, Replux: An
Efficeint SMT Solver for Verifying Deep Neural Networks, In Proc. 29th CAV, pp.97-117, 2017.
[49] Pang Wei Koh and Percy Liang, Understanding Black-box Predictions via Influence
Functions, arXiv:1703.04730v3, 2020.

81機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004[50] Kexin Pei, Yinzhi Cao, Junfeng Yang, and Suman Jana, DeepXplore: Automated Whitebox
Testing of Deep Learning Systems, In Proc. 26th SOSP, pp.1-18, 2017.
[51] Lei Ma, Felix Juefei-Xu, Fuyuan Zhang, Jiyuan Sun, Minhui Xue, Bo Li, Chunyang Chen, Ting
Su, Li Li, Yang Liu, Jianjun Zhao, and Yadong Wang. DeepGauge: Multi-Granularity TestingCriteria for Deep Learning Systems, In Proc. 33rd ASE, pp.120-131, 2018.
[52] Yizhen Dong, Peixin Zhang, Jingyi Wang, Shuang Liu, Jun Sun, Jianye Hao, Xinyu Wang, Li
Wang, Jin Song Dong, and Dai Ting. There is Limited Correlation between Coverage andRobustness for Deep Neural Networks. arXiv:1911.05904, 2019.
[53] Fabrice Harel-Canada, Lingxiao Wang, Muhammad Ali Gulzar, and Miryung Kim, In Proc. 28th
ESEC/FSE, pp.851-862, 2020.
[54] Shin Nakajima, Distortion and Faults in Machine Learning Software, In Proc. 9th SOFL+MSVL,
pp.29-41, 2019.
[55] Stephanie Abrecht, Maram Akila, Sujan Sai Gannamaneni, Konrad Groh, ChristianHeinzemann, Sebastian Houben, and Matthjas Woehrle, Revisiting Neuron Coverage and Its
Application to Test Generation, In Proc. SAFECOMP 2020 Workshop, pp.289-301, 2020.
[56] 『機械学習品質評価・向上技術に関する報告書（第１版）』第 4 章，DigiARC-TR-202101 and also CPSEC-TR-2021002, 産業技術総合研究 2021.
（7 章の参考⽂献）[57] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian
Goodfellow, and Rob Fergus, Intriguing properties of neural networks, The International
Conference on Learning Representations (ICLR 2014), pp.1-10,
2014. https://arxiv.org/abs/1312.6199[58] Guy Katz, Clark Barrett, David Dill, Kyle Julian, and Mykel Kochenderfer, Reluplex: An
Efficient SMT Solver for Verifying Deep Neural Networks, International Conference on
Computer-Aided Verification (CAV), 2017. https://arxiv.org/abs/1702.01135[59] Vincent Tjeng, Kai Xiao, and Russ Tedrake, Evaluating robustness of neural networks with
mixed integer programming, International Conference on Learning Representations (ICLR),
2019. https://arxiv.org/abs/1711.07356[60] Tsui-Wei Weng, Huan Zhang, Hongge Chen, Zhao Song, Cho-Jui Hsieh, Duane Boning, Inderjit
S. Dhillon, and Luca Daniel, Towards Fast Computation of Certified Robustness for ReLU
Networks, International Conference on Machine Learning, PMLR 80, pp.5276-5285, 2018.
https://arxiv.org/abs/1804.09699[61] Akhilan Boopathy, Tsui-Wei Weng, Pin-Yu Chen, Sijia Liu, and Luca Daniel, CNN-Cert: An
Efficient Framework for Certifying Robustness of Convolutional Neural Networks, The
Thirty-Third AAAI Conference on Artificial Intelligence (AAAI 2019), pp.3240-3247, 2019.
https://arxiv.org/abs/1811.12395[62] Tsui-Wei Weng, Pin-Yu Chen, Lam Nguyen, Mark Squillante, Akhilan Boopathy, Ivan
Oseledets, and Luca Daniel, PROVEN: Verifying Robustness of Neural Networks with a
Probabilistic Approach, International Conference on Machine Learning (ICML 2019), PMLR

82

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

vol. 97, pp.6727-6736, 2019. http://proceedings.mlr.press/v97/weng19a.html[63] Nicholas Carlini and David Wagner, Towards Evaluating the Robustness of Neural Networks,
IEEE Symposium on Security and Privacy (SP), pp.39-57, 2017.
https://arxiv.org/abs/1608.04644[64] Tsui-Wei Weng, Huan Zhang, Pin-Yu Chen, Jinfeng Yi, Dong Su, Yupeng Gao, Cho-Jui Hsieh,and Luca Daniel, Evaluating the Robustness of Neural Networks: An Extreme Value Theory
Approach, International Conference on Learning Representations (ICLR 2018), 2018.
https://arxiv.org/abs/1801.10578[65] Eric Wong and J. Zico Kolter, Provable defenses against adversarial examples via the convex
outer adversarial polytope, International Conference on Machine Learning (ICML 2018),
PMLR vol. 80, pp.5283-5292, 2018. https://arxiv.org/abs/1711.00851[66] Mathias Lecuyer, Vaggelis Atlidakis, Roxana Geambasu, Daniel Hsu, and Suman Jana,
Certified Robustness to Adversarial Examples with Differential Privacy, The IEEE
Symposium on Security and Privacy (SP), 2019. https://arxiv.org/abs/1802.03471[67] Jeremy M Cohen, Elan Rosenfeld, and J. Zico Kolter, Certified Adversarial Robustness via
Randomized Smoothing, The 36th International Conference on Machine Learning (ICML2019), 2019. https://arxiv.org/abs/1902.02918[68] Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian
Vladu, Towards Deep Learning Models Resistant to Adversarial Attacks, The Sixth
International Conference on Learning Representations (ICLR 2018), 2018.
https://arxiv.org/abs/1706.06083（8 章の参考⽂献）[69] Yiding Jiang, Behnam Neyshabur, Hossein Mobahi, Dilip Krishnan, and Samy Bengio,
Fantastic Generalization Measures and Where to Find Them, International Conference on
Learning Representations (ICLR 2020). https://arxiv.org/abs/1912.02178[70] Gintare Karolina Dziugaite, Alexandre Drouin, Brady Neal, Nitarshan Rajkumar, Ethan
Caballero, Linbo Wang, Ioannis Mitliagkas, and Daniel M. Roy, In search of robust measuresof generalization, NeurIPS 2020. arXiv:2010.11924. https://arxiv.org/abs/2010.11924[71] Konstantinos Pitas, Mike Davies, and Pierre Vandergheynst, PAC-Bayesian Margin Bounds
for Convolutional Neural Networks, arXiv:1801.00171, 2018.
https://arxiv.org/abs/1801.00171[72] Ilja Kuzborskij and Christoph H. Lampert, Data-Dependent Stability of Stochastic Gradient
Descent, 2017. arXiv:1703.01678. https://arxiv.org/abs/1703.01678[73] Andrew Y. K. Foong, Wessel P. Bruinsma, David R. Burt, and Richard E. Turner, How Tight
Can PAC-Bayes be in the Small Data Regime? Neural Information Processing Systems(NeurIPS), 2021. https://arxiv.org/abs/2106.03542[74] Guillermo Valle-Pé rez and Ard A. Louis, Generalization bounds for deep learning,
arXiv:2012.04115v2, 2020. https://arxiv.org/abs/2012.04115[75] Saurabh Garg, Sivaraman Balakrishnan, J. Zico Kolter, and Zachary C. Lipton, RATT:83

機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

Leveraging Unlabeled Data to Guarantee Generalization, ICML 2021.
arXiv:2105.00303. https://arxiv.org/abs/2105.00303[76] Wenda Zhou, Victor Veitch, Morgane Austern, Ryan P. Adams, and Peter Orbanz,
Non-vacuous Generalization Bounds at the ImageNet Scale: a PAC-Bayesian Compression
Approach, ICLR 2019. https://arxiv.org/abs/1804.05862[77] Gintare Karolina Dziugaite and Daniel M. Roy, Computing Nonvacuous Generalization
Bounds for Deep (Stochastic) Neural Networks with Many More Parameters than Training
Data, Thirty-Third Conference on Uncertainty in Artificial Intelligence (UAI), 2017.
arXiv:1703.11008. https://arxiv.org/abs/1703.11008[78] Marı́a Pé rez-Ortiz, Omar Rivasplata, John Shawe-Taylor, and Csaba Szepesvá ri, Tighter riskcertificates for neural networks, Journal of Machine Learning Research, 2021.
arXiv:2007.12911. https://arxiv.org/abs/2007.12911[79] Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory
to Algorithms, Cambridge University Press, 2014.
https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/index.html[80] Oliver Catoni, PAC-Bayesian Supervised Classification: The Thermodynamics of Statistical
Learning, Institute of Mathematical Statistics, Lecture Notes-Monograph Series, vol. 56,
2007. https://www.jstor.org/stable/i20461497[81] Andreas Maurer, A Note on the PAC Bayesian Theorem, arXiv:cs/0411099, 2004.
https://arxiv.org/abs/cs/0411099[82] John Langford, Tutorial on Practical Prediction Theory for Classification, JMLR, vol.6, No.10,
pp.273–306, 2005. https://jmlr.org/papers/v6/langford05a.html[83] 磯部 祥尚, ノイズ付加汎化誤差上界による機械学習モデルの確率的保証付き評価, 第37 回 ⼈⼯知能学会全国⼤会，2023.
（9 章の参考⽂献）[84] X. Ma, Characterizing adversarial subspaces using Local Intrinsic Dimensionality, 2018.
[85] D. Meng , Magnet: a two-pronged defense against adversarial examples, in Proceedings ofthe 2017 ACM SIGSAC Conference on Computer and Communications Security. ACM, 2017.
[86] W. Xu, Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks, inProceedings of the 2018 Network and Distributed Systems Security Symposium (NDSS),
2018.
[87] Shiqing Ma, NIC: Detecting Adversarial Samples with Neural Network Invariant Checking,
Network and Distributed Systems Security Symposium (NDSS), NDSS 2019.
[88] 産業技術総合研究所, AI Bridging Cloud Infrastructure, https://abci.ai/ja/[89] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, Gradient-based learning applied to document
recognition, Proceedings of the IEEE, vol. 86, no. 11, pp.2278–2324, 1998. [Online].
Available: http://yann.lecun.com/exdb/mnist/[90] A. Krizhevsky and G. Hinton, Learning multiple layers of features from tiny images, 2009.
[91] G. B. Huang, M. Ramesh, T. Berg, and E. Learned-Miller, Labeled faces in the wild: A database84機械学習品質評価・向上技術に関する報告書 第 3 版

国立研究開発法人産業技術総合研究所
DigiARC-TR-2023-04 / CPSEC-TR-2023004

for studying face recognition in unconstrained environments, University of Massachusetts,
Amherst, Tech. Rep. 07-49, October 2007.
[92] Nicolas Papernot, Ian Goodfellow, Ryan Sheatsley, Reuben Feinman, and Patrick McDaniel.
cleverhans v1.0.0: an adversarial machine learning library. arXiv preprint arXiv:1610.00768,
2016.
[93] CleverHans, https://github.com/cleverhans-lab/cleverhans[94] Masashi Sugiyama, Taiji Suzuki, and Takafumi Kanamori, Density Ratio Estimation in
Machine Learning, Cambridge University Press, 2012.
（10 章の参考⽂献）[95] ⼤川 佳寛, ⼩林 健⼀, ラベルなし運⽤データに対するコンセプトドリフト適応技術に関するサーベイ, 第 35 回 ⼈⼯知能学会全国⼤会，2021 年 6 ⽉.
[96] ⼤川 佳寛, ⼩林 健⼀, データ変化に対する教師なし適応技術に関する最新研究動向とその考察, 第 36 回 ⼈⼯知能学会全国⼤会，2022 年 6 ⽉.
[97] ⼤川 佳寛, ⾦⽉ 寛彰, ⼩林 健⼀, 運⽤時 AI 品質維持技術：コンセプトドリフト検知・適応から教師なしドメイン適応まで, 第 37 回 ⼈⼯知能学会全国⼤会，2023 年 6 ⽉.

85