# 説明性の高いニューラルモデルの予測確信度に関する分析

$\dagger$ 東北大学 理化学研究所
$\left.\{{ }^{1}}.$ shun.sato, ${ }^{5}$ inui $\}$ @ecei.tohoku.ac.jp
$\left.\{{ }^{2}}.$ hiroki.ouchi, ${ }^{3}$ shota.sasaki.yv, ${ }^{4}$ kazuaki.hanawa $\} @$ riken.jp

## 1 はじめに

ニューラルネットワークを用いたモデルによって，自然言語処理の各タスクにおける予測性能は飛躍的に向上した.一方で，「モデルがなぜそのような予測をしたのか」を理解することは，人間にとって極めて困難であることが指摘されている [1]. そのような状況で， $k$ 近傍法のような，学習事例との類似度にもとづいて予測を行うモデルが注目を集めている.この種のモデルでは予測への貢献度の高い学習事例を提示することが容易であり，機械学習の専門知識を持たないユーザにとってもモデルの挙動を直感的に理解可能な場合が少なくない。

これに加え，「モデルがどの程度確信を持ってそのような予測をしたのか」がわかるなら，人間の意思決定や人間と機械の協働がさらに促進されると考えられる。たとえばモデルが確信度の低い予測をした場合，人間による確認を入れるといった対策が打てる.このような背景から, 多様な確信度計算手法が提案されており，特に近年では，学習事例との類似度にもとづいてモデルの予測確信度を算出する手法が注目を集めている [5].

我々はニューラルネットワークモデルを使う際にモデルの予測の根拠と予測確信度が両方が同時にわかることが重要であると考えている。本研究ではこの 2 つの条件を満たすモデルの挙動に対する理解を深めるため，モデルが $k$ 近傍法を用いて予測を行う場合に，訓練方法やデータの類似尺度の違いが確信度計算や近傍事例に与える影響について実験，分析を行った. 本研究の貢献は以下の 2 点である.

・ニューラルネット上で $k$ 近傍法を用いて予測を行う場合に，訓練手法 (Cross Entropy Loss による訓練，Triplet Loss による訓練) やデータの類似尺度 (L2 距離, コサイン距離, 内積)を変えて性能評価を行い，各条件における確信度の性能
の違いを明らかにした。
- 多くの評価事例の近傍に重複して現れる訓練データ（ハブ）の出現度合いと確信度計算手法 Trust Score の関係を分析し，類似尺度が L2 距離やコサイン距離の時には，ハブが多く発生している予測に対して低い確信度が割り当てられることを明らかにした。

## 2 説明性の高いモデルの実現

この節では 1 節で述べたように，予測の根拠と予測確信度の両方がわかるような説明性の高いニュー ラルネットワークモデルの実現方法について述べる.

## 2.1 モデルの予測確信度

ニューラルネットワークの予測確信度に関する研究は数多くなされており，その研究の方向性のとしては大きく2つの方向性がある．1つ目はモデルの予測確率を直接予測確信度として使えるように補正を行う研究である。具体的な手法には， temperature scaling[4] が挙げられる. temperature scaling は過剩に高い值がつく傾向にあるニューラルネットワークモデルの予測確率に対して温度パラメータという新しいパラメータを導入し，開発セットを用いて温度パラメータの値を変えながら予測確率が適切な確信度となるように補正を行う。

2 つ目は予測時に追加の計算を行うことで予測確率とは異なる予測確信度を計算する研究である。代表的な手法としては Trust Score[5] が挙げられる. Trust Score は評価データと訓練データの間の距離を用いて確信度を計算する手法であり,$k$ 近傍法による予測とも自然に組み合わせることが可能である.

本研究では $k$ 近傍法による予測と Trust Score による確信度計算を組み合わせることで，モデルの予測に対して「なぜその予測が行われたのか」「その予
測がどれくらい信用できるのか」の 2 点が明示的にわかるニューラルネットワークモデルを実現する.

## 2.1.1 Trust Score による予測確信度の算出

予測確信度として用いる Trust Score の算出方法について述べる. クラスラベルの集合を $C=\left.\{l_{1}, l_{2}, \ldots, l_{M}\right.\}$ とし, 入力 $x_{i}$ とそのラベル $y_{i} \in$ $C$ からなる $n$ 個の訓練データ集合を $\mathbf{X}_{\text {train }}=$ $\left.\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ とする. また, 入力 $x$ の文ベクトル $\mathbf{h}_{x} \in \mathbb{R}^{d \times 1}$ を計算するエンコーダを $f(\cdot)$ とする。訓練済みのエンコーダに $\mathbf{X}_{\text {train }}$ を大力して得られた文べクトルの集合を $\mathscr{H}:=\left.\{\mathbf{h}_{x_{1}}, \mathbf{h}_{x_{2}}, \ldots, \mathbf{h}_{x_{n}}\right.\}$ とし，評価データ $x_{\text {test }}$ に対する文ベクトルを $\mathbf{h}_{x_{\text {test }}}$ とする.ここで, $\mathbf{h}_{x_{i}}=f\left(x_{i}\right), \mathbf{h}_{x_{\text {test }}}=f\left(x_{\text {test }}\right)$ である. また, 評価データ $x_{\text {test }}$ に対するモデルの予測が $\hat{y}_{\text {test }}=l$ である時, 集合 $\mathscr{H}$ の中で正解ラベルが $l$ である集合を $\mathscr{H}_{l}=\left.\{\mathbf{h}_{j} \in \mathscr{H} \mid 1 \leq j \leq n \wedge y_{j}=l\right.\}$ とする.この時に評価データ $x_{\text {test }}$ に対する Trust Score $S\left(x_{\text {test }}, \mathscr{H}\right)$ は以下の式で算出される.

$
S\left(x_{\text {test }}, \mathscr{H}\right)=\frac{d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)}{d_{\mathrm{p}}\left(x_{\text {test }}, \mathscr{H}\right)+d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)}
$

ただし

$
\begin{aligned}
& d_{\mathrm{p}}\left(x_{\text {test }}, \mathscr{H}\right)=\min _{\mathbf{h} \in \mathscr{H}_{l}} d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right) \\
& d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)=\min _{\mathbf{h} \in\left(\mathscr{H} \backslash \mathscr{H}_{l}\right)} d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right)
\end{aligned}
$

ここで $d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right)$ は $\mathbf{h}_{x_{\text {test }}}, \mathbf{h}$ の間の距離を表す. Trust Score は予測したクラスの代表点までの距離が近いほど，また予測していないクラスの代表点までの距離が遠いほど大きな確信度が付けられる. またこの計算式 (1) は, 確信度が 0 から 1 までの範囲に収まるように Trust Score を提案している論文 [5] 内における式に修正を加えたものである.

## 3 分析を行う項目

本研究では 2 節で述べた説明性の高いニューラルネットワークに関して分析を行う，具体的には $k$ 近傍法による予測と Trust Score の計算に大きな影響を及ぼす (1) データ間の類似尺度と (2) データ同士の位置関係の 2 つの項目について変化させた時の Trust Score の挙動について分析を行う.

(1)のデータ間の類似尺度については, Trust Score では L2 距離が用いられることが多いが，その他の類似尺度を用いた際の Trust Score 挙動についてはまだ明らかになっていない。具体的には L2 距離以外
にもコサイン距離や内積を類似尺度として用いることで，Trust Score の挙動が変化すると考えられる.

(2) のデータ同士の位置関係はモデルの訓練方法に大きく依存する. 通常の $M$ クラスの分類問題においては損失関数として次の Cross Entropy Loss が用いられることが多い.

$
L_{\text {CrossEntropy }}(x)=-\mathbf{t} \log \left(\operatorname{Softmax}\left(\mathbf{W} \mathbf{h}_{x}+\mathbf{b}\right)\right)
$

ただし, $\mathbf{h}_{x}=f(x)$ とし, $\mathbf{W} \in \mathbb{R}^{M \times d}$ は重み行列, $\mathbf{b} \in \mathbb{R}^{M \times 1}$ はバイアス項, $\mathbf{t} \in \mathbb{R}^{1 \times M}$ は $x$ の正解ラべルの箇所に 1 がたつ 1-hot ベクトルである. またデータ間のラベルの違いを明示的に距離関係として学習させる Triplet Loss[10] を用いることで, Cross Entropy Lossを用いた際のデータ間の位置関係とは大きく異なった位置関係になると考えられる。 Triplet Loss はある訓練データ $x$ に対して，同じクラスの訓練データ $x_{\mathrm{p}}$ と異なるクラスの訓練データ $x_{\mathrm{n}}$, マージン $m$ を用いて算出される.

$
L_{\text {Triplet }}(x)=\operatorname{ReLU}\left(d\left(\mathbf{h}_{x}, \mathbf{h}_{x_{\mathrm{p}}}\right)-d\left(\mathbf{h}_{x}, \mathbf{h}_{x_{\mathrm{n}}}\right)+m\right)
$

ただし $\mathbf{h}_{x}=f(x), \mathbf{h}_{x_{\mathrm{p}}}=f\left(x_{\mathrm{p}}\right), \mathbf{h}_{x_{\mathrm{n}}}=f\left(x_{\mathrm{n}}\right)$ とし, $d(\cdot)$ は L2 距離，コサイン距離，内積のいずれかを表す.以上を踏まえて本研究では，データ間の類似尺度 (L2 距離/コサイン距離/内積) とモデルの訓練方法 (Cross Entropy Loss/Triplet Loss) をそれぞれ変化させた場合の Trust Score の挙動の分析を行う.

## 4 実験

## 4.1 タスク設定

今回 Trust Score の分析に用いるタスク設定としては文書分類タスクを用いる。予測確信度に関する先行研究 $[2,3,5]$ では確信度の性能評価を画像データやテキストデータに対する分類タスクを用いて論じており，本研究でもそれに従う。

データセットには 20 Newsgroups データセット [7]を用いる.このデータセットは 20 種類の異なるニュース記事を収集したデータセットであり，20 クラスの文書分類問題として用いる. データ数は約 20,000であり，今回そのうち 10182 個を訓練デー タ，1132 個を開発データ，7532 個を評価データとして分割した.

## 4.2 評価指標

予測確信度の評価指標としては E-AURC (ExcessArea Under the Risk-coverage Curve)[3] を用いる。ま

図 1 E-AURC の説明図. AURC が risk-coverage 曲線に囲まれる面積 (青色+灰色) であり, そこから現在のモデルの予測性能で達成しうる最も小さい risk-coverage 曲線の面積 (灰色)を除いた部分の面積 (青色) が E-AURC の値となる. なお図は訓練方法を Triplet Loss, データの類似尺度をコサイン距離とした場合のものである.

ず AURC (Area Under the Risk-coverage Curve) について述べる. AURC は図 1 のように risk-coverage 曲線に囲まれる面積として求められる。 risk-coverage 曲線は全ての評価データをそのデータに対するモデルの予測確信度について降順に 1つずつ見ていき，見ているデータまでの予測の累計の誤り率をプロットして描かれる曲線である。この AURC が小さいほど，ある確信度を閾値とした時に正しい予測と誤った予測が明確に分離されており，優れた確信度計算手法であることを意味する。

しかし，この AURC は，モデルの予測性能に依存しており，異なるモデル間での性能比較が困難である. E-AURC は AURC (図 1 の灰色部分+青色の部分) からを各モデルが達成しうる最小の risk-coverage 曲線 (図1 の灰色部分) を取り除いて正規化を行うことで，異なるモデル同士の確信度としての性能比較を行えるようにした指標である. E-AURC の詳細な計算方法については付録 A. 1 を参照されたい. 今回の実験では，訓練方法や予測方法が異なるモデル間での，確信度の性能を比較するため，E-AURC を性能評価の指標として採用した. また結果の視認性の向上のため E-AURC の值は全て 1000 倍して表示した.

## 4.3 モデル設定

今回は文書分類モデルを入力として訓練済みの単語ベクトル, 系列のモデリングに畳み込みニュー ラルネットワーク (CNN)[11]を用いて実装した. 訓練済みの単語ベクトルには 200 次元の Glove[8]を用い，訓練中に単語ベクトルの値の更新も行った. CNN にはカーネルサイズを 3 , フィルタのサイズを表 1 訓練方法，データ間の類似尺度を変えた時の予測性

3,4,5 とした Max Pooling を行った. 損失の最適化には Adam [6] を用い，学習率の初期値は $\rho=0.001$ とした.

今回実験では損失関数には Cross Entropy Loss と Triplet Loss のいずれかを用いた. Triplet Loss のマー ジン $m$ としては距離尺度が L2 距離, コサイン距離,内積の場合にそれぞれ $m=1.0, m=0.005, m=0.01$ とした。このマージンの値は開発セット用いて最も確信度の性能が高くなった場合の値を用いた。

次にモデルの予測方法と確信度計算について述べる. 各モデルの予測は各評価データについて近傍の訓練データに基づいて $k$ 近傍法を用いて行う. 今回予測に用いる近傍の訓練データの数は $k=10$ とした. Trust Score の計算には先行研究 [5] に従い, モデルの最終層のデータの文べクトルを用いて計算を行った. また全ての実験の計測はシード值の異なる 3つのモデルを用いて行い，その平均値を記載した.

## 4.4 実験結果

表 1 に訓練方法, データ間の類似尺度を変えた時のモデルの予測性能と Trust Score の確信度の性能を示す. 表 1 から，類似尺度が内積の場合には L2 距離やコサイン距離の時に比べて，予測性能，確信度の性能ともに最も性能が低くなった. また訓練方法ごとに比較すると, 類似尺度がコサイン距離の場合が最も確信度の性能が高くなった. 全条件で比較すると Triplet loss で訓練を行い，類似尺度をコサイン距離とした場合に最も E-AURC の値が小さく, 確信度として優れた性能を発揮することがわかった。 Triplet loss で訓練を行い，類似尺度をコサイン距離とした場合の E-AURC は図 1 の青い部分の面積であり，その他のいくつかの条件の E-AURC の様子についても付録 A. 3 に記載した。

## 5 分析

この節ではなぜ Triplet Lossを用いて訓練を行い， データの類似尺度をコサイン距離とした場合に他の条件に比べて Trust Score が確信度として優れた性能を発揮したのかを考察する．我々は原因を探るた

図 2 Triplet/ $\cos$ モデルにおける予測クラスごとの平均 Trust Score とハブの出現度合い $S_{N_{1}}$ の関係

め, Trust Score と $k$ 近傍法において発生するハブという現象の間の関係について分析を行った。

## 5.1 近傍検索におけるハブの出現

$k$ 近傍法を用いた予測においては，異なる評価データの近傍事例として同じ訓練データが重複して検索されてしまう現象が観測されており，そうした訓練データはハブと呼ばれている [9]. 一般に予測の根拠として，同じ事例が何度も出てきてしまうことは，有意義な予測の根拠とは言えない. 今回の我々が行った実験においても多くの条件でもこのハブが観測された。

## 5.1.1 ハブの出現度合い

先行研究 [9] に従い，ハブの出現度合いの計算には各評価事例の予測に用いられる $k$ 個の訓練デー タの中に各訓練データが何回含まれるかという分布 $N_{k}$ の歪度 $S_{N_{k}}$ を用いて行う. この $S_{N_{k}}$ の值が大きいほど，特定の訓練データが重複して近傍事例として選択されており，ハブが発生していることを表す. 計算方法の詳細については付録 A. 2 を参照されたい.

## 5.2 Trust Score とハブの関係

図 2 に Triplet Loss を用いて訓練を行い，類似尺度をコサイン距離とした時の予測クラスごとの平均 Trust Score と各予測の最近傍点におけるハブの発生度合い $S_{N_{1}}$ の関係を示す. 図 2 から八ブが多く発生しているクラスでは，Trust Score が平均的に小さく，逆にハブのあまり発生してないクラスでは Trust Score が平均的に大きくなっていることがわかった.

他の 5 つの条件とも比較するため，予測クラスごとの最近傍点におけるハブの発生度合い $S_{N_{1}}$ と Trust Score との相関, 及び最近傍点におけるハブの発生度合いと予測の適合率の相関をピアソンの相関表 2 各条件における予測クラスごとの $S_{N_{1}}$ と Trust Score(TS), $S_{N_{1}}$ と適合率の相関係数

係数を用いて計測した結果が表 2 である. 表 2 からは類似尺度が L2 距離とコサイン距離の場合に，各予測クラスごとの $S_{N_{1}}$ と Trust Score， $S_{N_{1}}$ と適合率の間に負の相関関係が読み取ることができる。この負の相関関係は全条件の中で Triplet Loss で訓練し，距離尺度をコサイン距離とした場合に最も強くなっていた。すなわち，この条件下では，ハブの発生している予測クラスでの予測は誤りやすくまた，その予測に低い確信度がつきやすい傾向が最も強くでたため，確信度として最も優れた性能を発揮したと考えられる。予測クラスごとの詳細な実験值は付録 A. 3 を参照されたい.

## 6 終わりに

本論文ではニューラルネットワークモデルの予測についてモデルの予測の根拠と予測確信度が両方同時にわかることが重要だと考え，予測を $\mathrm{k}$ 近傍法で行う場合の Trust Score の挙動について訓練方法やデータの類似尺度を変えて分析を行った．その結果，損失関数を Triplet Loss, データの類似尺度をコサイン距離とした場合に確信度として最も優れた性能を発揮することを明らかにした。

また分析の過程で， $k$ 近傍法で検索される近傍事例において，同じ訓練データが重複して検索されるハブという現象に注目し，ハブが発生している場合に Trust Score による予測確信度が低くつく傾向があることを明らかにした. なぜこのような現象が起こるのかの解明は今後の研究課題としたい.

## 謝辞

本研究は JSPS 科研費 JP19H04425 の助成を受けたものです.

## 参考文献

[1]Marina Danilevsky et al. "A Survey of the State of Explainable AI for Natural Language Processing". In: Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing. 2020.

[2]Yarin Gal and Zoubin Ghahramani. "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep

Learning". In: Proceedings of The 33rd International Conference on Machine Learning. 2016.

[3]Yonatan Geifman, Guy Uziel, and Ran El-Yaniv. "BiasReduced Uncertainty Estimation for Deep Neural Classifiers". In: Proceedings of the 7th International Conference on Learning Representations. 2019.

[4]Chuan Guo et al. "On Calibration of Modern Neural Networks". In: Proceedings of the 34th International Conference on Machine Learning. 2017.

[5]Heinrich Jiang et al. "To Trust Or Not To Trust A Classifier”. In: Advances in Neural Information Processing Systems. 2018.

[6]Diederik P. Kingma and Jimmy Ba. "Adam: A Method for Stochastic Optimization". In: Proceedings of the 3rd International Conference on Learning Representations. 2015.

[7]Ken Lang. "NewsWeeder: Learning to Filter Netnews". In: Proceedings of the 12th International Machine Learning Conference. 1995.

[8]Jeffrey Pennington, Richard Socher, and Christopher Manning. "GloVe: Global Vectors for Word Representation". In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014.

[9]Miloš Radovanovi; Alexandros Nanopoulos, and Mirjana Ivanovi; "Hubs in Space: Popular Nearest Neighbors in HighDimensional Data". In: Journal of Machine Learning Research (2010).

[10]Jiang Wang et al. "Learning Fine-grained Image Similarity with Deep Ranking". In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014.

[11]Kim Yoon. "Convolutional Neural Networks for Sentence Classification". In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014.

## A 付録

## A. 1 E-AURC の計算方法

risk-coverage 曲線の面積である AURC は，各々のデータにつけられた確信度について降順に並べ替えた $m$ 個の評価データ集合 $\left.\{x_{1}, x_{2}, \ldots, x_{m}\right.\}$ について以下の式 (6) によって計算される.

$
\mathrm{AURC}=\sum_{i=1}^{m} \frac{\sum_{j=1}^{i} g\left(x_{j}\right)}{i \times m}
$

ただし，関数 $g$ は評価データ $x$ に対する分類器の予測が当たっている場合には 0 , 外れている場合には 1 を返す 2 値関数である

E-AURC を提案している論文 [3] では，AURC の正規化を行うための最小の risk-coverage 曲線の面積 $\mathrm{AURC}_{\text {min }}$ (図 1 の灰色部分) を求めるために以下の式 (7)のような近似計算を行なっている.

$
\mathrm{AURC}_{\text {min }} \approx \int_{0}^{\hat{r}} \frac{x}{1-\hat{r}+x} d x=\hat{r}+(1-\hat{r}) \log (1-\hat{r})
$

ここで $\hat{r}$ は評価データ全体に対する予測の精度 $\alpha$ について $\hat{r}=1-\alpha$ として定まる値である.

最終的に式 (6) で求まる AURC から, 式 (7) で求めた最小の risk-coverage 曲線の面積を引くことで E-AURC の値を求めることができる.

## A. 2 ハブの出現度合いの計算

先行研究 [9] に従い，ハブの出現度合いの計算には式 (8)のように，各評価事例の予測に用いられる $k$ 個の事例の中に各訓練データが何回含まれるかという分布 $N_{k}$ の歪度 $S_{N_{k}}$ を用いて行う.

$
S_{N_{k}}=\frac{\sum_{i=1}^{l}\left(N_{k}(i)-E\left[N_{k}\right]\right)^{3} / l}{\operatorname{Var}\left[N_{k}\right]^{3 / 2}}
$

ここで $l$ は訓練データの数であり，E,Var はそれぞれ期待值と分散を表す. 式 (8) の値が大きいほど評価事例の $k$ 近傍に頻繁に含まれる訓練データが存在し，ハブが出現していることを表す。

## A. 3 実験値の詳細

表 3 に Triplet loss を用いて訓練し，距離尺度をコサイン距離とした時の予測クラスごとの最近傍におけるハブの発生度合い $S_{N_{1}}$ と, 予測の適合率, Trust Score の平均値を記載した。

また Cross Entropy Loss で訓練を行い類似尺度をコサイン距離とした場合の E-AURC の結果を図 3表 $3 \mathrm{Triplet} / \cos$ モデルにおける予測クラスごとの $S_{N_{1}}$, 予測の適合率，平均 Trust Score

に，Triplet Loss で訓練を行いコサイン距離以外の類似尺度を用いた場合の E-AURC の結果を図 4,5 記載した。

図 3 Cross Entropy/cos モデルにおける E-AURC の様子

図 4 Triplet/12 モデルにおける E-AURC の様子

図 $5 \mathrm{Triplet} / \mathrm{dot}$ モデルにおける E-AURC の様子