言語処理学会 第21回年次大会 発表論文集 (2015年3月)

期待再現率における期待適合率最大化モデルの学習方法
佐々木 健太郎

田村 晃裕

土田 正明

NEC 情報・ナレッジ研究所{k-sasaki@ez, m-tsuchida@cq, a-tamura@ah}.jp.nec.com

1

はじめに

表 1: TP,FP,FN,TN の定義

テキストを効率よく自動分析するため，数多くのテ真のラベルキスト分類手法が提案されている．それらの手法は，正例

例えば，ニュース分類，スパムフィルタリング，意見抽出などに適用され，効果をあげている [1]．
本稿では，テキスト分類の中で，特に，正例の事例

負例

予測

正例TPFP

ラベル

負例

FN

TNを負例に誤って分類した場合に致命的な影響を与えてしまうタスクに着目する．以降，正例の事例を負例に誤って分類することを「分類漏れ」と呼ぶ．例えば，

2

定式化

企業等において，大量のテキストストリームから不正分類結果は，真のラベルと分類器の予測ラベルに応行為や違法行為が疑われるテキストを分類する場合，じて４種類に分けることができる (表 1) ．分類器の評

分類漏れが生じると漏れた行為に対する対策が取れな価指標には，適合率 (Precision) と再現率（Recall）がいため，企業に大きなダメージを与える可能性がある．

存在する．

このような分類漏れを極力少なくしなければならない

Precision =タスクを想定した機械学習手法を提案する．
単純には，再現率を最大化する学習を行うことで解決できるように見えるかもしれない．しかし，適合率を完全に無視すると，結果として負例の事例を誤って正例と判断してしまうことが多くなり，実用に耐えない分類器になってしまう．したがって，我々が着目するタスクにおいても，再現率だけでなく適合率も考慮することが必要不可欠である．
本稿では，高再現率制約のもとで適合率を最大化する新たな定式化を行う．この定式化により，高再現率，ここで，TP，FP，FN の個数もそれぞれ TP，FP，FNと表記した．本研究の興味は分類漏れの軽減であるため，高再現率の状態を対象とする．ただし，再現率と適合率にはトレードオフの関係があるため，提案手法
では，高再現率における適合率を極力高めるための機械学習を考える．ある値 τ 以上の再現率が必要な時に適合率を最大化する問題は以下の通りとなる．
{maximize Precisionつまり，分類漏れが少ないもとで可能な限り高い適合subject to率でテキストを分類するモデルを学習することができる．提案方式は，F 値最大化問題を F 値の期待値で表すことにより定式化した Jansche の手法 [6] を参考に，再現率と適合率を期待値で表して定式化する．
我々の知る限り，本タスク設定を直接扱った定式化は存在しない．したがって，提案手法は，我々のタスクの必要条件である高再現率のもとで，従来手法に比べて適合率が良くなると期待できる．以降，2.1 で述べる期待 F 値最大化ロジスティック回帰と比較した実TP
TP, Recall =.
TP + FPTP + FN

Recall ≥ τ

上記を満たすようにモデルのパラメタを学習することが提案手法の目的であるが，Precision ,Recall の計算のための TP, FP, FN が離散値となり，モデルのパラメタに対して不連続な関数となる．結果，微分不可能となるため数値最適化問題としては扱いが難しい．そこで，提案手法では，Jansche の方法 [6] を参考に TP,FP, FN を各々の期待値で置換え，微分可能な連続関数に変換して最適化を行う．

験により提案手法の有効性を確認する．

― 481 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

2.1

期待 F 値 (Jansche, 2005)

期待 Precision , 期待 Recall

2.2

本節以降，ラベル付きデータ {(xn , yn )}n∈N のラベ
ル {yn }n∈N は {1, −1} の二値とし，値が +1 のときを正例とする．データの添え字集合を正例と負例に対⨿応して二分しておく．N = N + N − , N + = {n ∈期待再現率 (R) と期待適合率 (P) を同様に定義する．

P=N |yn = +1} N − = {n ∈ N |yn = −1}. また，N + の濃度なども N + で表記する．

=ロジスティック回帰=

ロジスティック回帰とは，n 番目のデータ点が正例である確率をR=p(+1|xn , θ) = σ(xn · θ),=として計算するモデルである．σ はシグモイド関数
1σ(z) = 1+exp(−z)
で，θ がモデルのパラメタである．
学習時には対数尤度が最大になるように学習し，判別時にはこの確率がある閾値 τ 以上の時に xn が正例で=E(TP)
E(TP) + E(FP)∑n∈N + σ(xn · θ)∑∑n∈N + σ(xn · θ) +n∈N − σ(xn · θ)∑+ σ(xn · θ)∑n∈N,n∈N σ(xn · θ)E(TP)E(TP) + E(FN)∑n∈N + σ(xn · θ)∑∑σ(x·θ)+ n∈N − (1 − σ(xn · θ))+n∑n∈Nn∈N + σ(xn · θ).
N+

上記を用いることで，提案手法の定式化も θ で微分あると予測する．通常は τ = 0.5 である．
{+1 p(+1|xn , θ) ≥ τ
ypred =−1 p(−1|xn , θ) ≤ τ.

可能な関数で表現できる．
∑{σ(xn ·θ)∑n∈N +maximizen∈N σ(xn ·θ)∑+subject ton∈N + σ(xn · θ) ≥ τ N .

TP, FP, FN の期待値 TP の個数はパラメタの学習には，制約付き非線形最適化問題を扱TP =∑ıN + (n) ı{n|ypred =+1} =う方法を用いることができる．内点法や逐次二次計画∑

ı{n|ypred =+1}n∈N +n∈N

法 (SQP) などが有名であるが，次節で述べる実験では内点法を用いた．提案手法では，狙いとする再現率のと定義される．ı は指示関数である．分類器としてロレベルにあわせて学習できる．例えば，90% 以上の再ジスティック回帰を用いる場合には，正例と予測され現率を狙う場合は，ハイパーパラメタ τ を 0.9 と設定たラベル 1{n|ypred =+1} の予測確率は p(+1|xn , θ) =すれば良い．ただし，τ もクロスバリデーションなど

σ(xn ·θ) であるため，TP の期待値は以下の通りとなる．

でチューニング可能である．

E(TP) =

∑p(+1|xn , θ) =n∈N +∑σ(xn · θ).

n∈N +FP, FN の期待値も同様である．

E(FP)

=

∑p(+1|xn , θ) =n∈N −E(FN)=∑n∈N +∑p(−1|xn , θ) =

実験

3.1

実験設定

本節では，提案手法の有効性評価として，一般的なσ(xn · θ),ロジスティック回帰と期待 F 値最大化 [6] と比較し，実n∈N −∑3(1 − σ(xn · θ)).

n∈N +際に高再現率における適合率が向上するかを確認する．
実験データには，ロイターコーパス vol.1 (RCV1) とこれらは，シグモイド関数の和の形であるため，パラTwitter から作成した 2 種類のインハウスデータを使用した．RCV1 からは 2 万記事を抽出し，1 万件を学習

メタ θ に対して微分可能な関数となる．

データ，残りの 1 万件を評価データとし，全 51 分野の期待 F 値

E(TP), E(FP), E(FN) を用いることで，Fうち，正例の割合が 10% 未満のもの中から無作為に値の定義より，期待 F 値も次のように表すことができ選んだ 10 ラベル（E512, C18, GSPO, G15, GDIP, C41,る．これもパラメタ θ で微分可能な関数となる．

C33, M141, GJOB, C21）を使用した．Twitter データ
は「災害」「事故」の 2 種類あり，事故は，車両と人，Fα =E(TP).
E(TP) + αE(FN) + (1 − α)E(FP)

物の接触があり，それによって被害が生じたことを述
べた tweet を判別するタスクで，全データ 14969 件中，正例は 4037 件で約 27.0% となっている．災害は，現― 482 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 2: RCV1 の 10 ラベルの適合率の平均値
再現率

LRF0.5
F TUNED
提案手法
提案手法 TUNED

80%
0.539
0.513
0.554
0.528
0.534

85%
0.464
0.421
0.453
0.466
0.486

90%
0.386
0.356
0.377
0.402
0.400

95%
0.294
0.306
0.317
0.321
0.328

表 3: Twitter の「事故」の各再現率における適合率

100%
0.04970.04850.05090.045
0.0508

再現率

LRF0.5
F TUNED
提案手法
提案手法 TUNED

80%
0.613
0.596
0.583
0.57
0.604

85%
0.571
0.555
0.563
0.57
0.56

90%
0.512
0.494
0.5160.521
0.516

95%
0.439
0.426
0.455
0.449
0.449

100%
0.29
0.298
0.306
0.287
0.292

在および過去の天災（豪雨，地震，雷など）の発生に言及した tweet を判別するタスク，全データ 17714 件

表 4: Twitter の「災害」の各再現率における適合率

中，正例は 1076 件で約 6.1% となっている．いずれも，再現率半分を学習データ，残りの半分を評価データとした．

LRF0.5
F TUNED
提案手法
提案手法 TUNED

求める高再現率のレベルとして，再現率 80%, 85%,90%, 95%, 100% を設定した．
期待 F 値最大化 [6] については，適合率と再現率の80%
0.252
0.154
0.234
0.216
0.256

85%
0.19
0.137
0.215
0.217
0.217

90%
0.145
0.113
0.208
0.212
0.22495%
0.099
0.09
0.134
0.176
0.176

100%
0.044
0.049
0.044
0.047
0.045

調和平均に置いて，どちらを重視するかを調整するためのハイパーパラメタ α があるため，標準的 α = 0.5

パラメータ調整を施した期待 F 値最大化（F TUNED）と，ハイパーパラメタチューニング用のデータを用いと比較しても，再現率 85%, 90%, 95%では適合率が上て，0.0 から 1.0 の 0.1 刻みで調整した場合の 2 通り回っている．の実験を行った．これは，重み付き F 値の重みの調整

次に，Twitter の「事故」「災害」の結果をそれぞれが，高再現率で高精度な分類に適するかどうかの検証(表 3) (表 4) に示す．
「事故」の結果を見ると，各手法の意味もある．

ごとの適合率の傾向の差は見られなかった．
「災害」で提案手法も同様に，ハイパーパラメタ τ を狙いとは RCV1 の平均と同様に，再現率 80%のときの LR ,する再現率に固定した場合と，チューニングした場100%のときの F0.5 を除き，提案手法の適合率が上回っ合の適合率を算出した．ハイパーパラメタのチューている．F TUNED との比較でも再現率 80%の場合をニング範囲は，評価する際の再現率にあわせて τ =除き，やはり提案手法の適合率が上回った．

0.8, 0.85, 0.90, 0.95, 0.99 とした1 ．
ロジスティック回帰，期待 F 値最大化，提案手法の高い適合率を達する傾向にあり，特に，再現率 85%，いずれのにもパラメータの L2 ノルム |θ|2 を正則化項90%，95%では安定していた．一方，80%や 100%なとして追加した．その際の係数について，ロジスティッ

ど，比較的低め，もしくは，極端に高い場合には，効ク回帰では a · 10m とし，F0.5 および 期待 F 値最大化果が見られなかった．

総括すると，提案手法は，所望の再現率においてロジスティック回帰では，素性数 · a · 10m として，aまた，F TUNED により，高再現率における適合率は 0 から 9 まで 1 刻み，m は −3 から 3 まで 1 刻みでを高める効果が見られることもわかった．実際，選ば動かして最良の値を選択できるようにした，れたハイパーパラメタ α を見ると，0.8 や 0.9 など再モデルのパイパーパラメタ，正則化の係数の調整は，現率重視の場合が多かった．すなわち，F1-measure と学習データを半分に分け，一方で学習を行い他方で評いうバランスの良い分類指標のの最大化は，高再現率価を行い最良の結果を出したものを採用した．

における適合率の向上には必ずしも適していないものの，再現率へ重みを付けることで，類似の効果が得ら3.2れていた．

実験結果

まず，RCV １コーパスの結果について，各再現率(80%, 85%, 90%, 95%, 100%) における全てのラベルに

4

関連研究

わたる適合率の平均値を (表 2) に示す．提案手法は，提案手法のように，評価指標を直接的に最大化す

通常のロジスティック回帰 (LR) および期待 F 値最大化

る先行研究は複数存在する．評価指標としては，F 値(F0.5 ）と比較し，概ね適合率が上回っている．さらに[4, 6]，AUC [5, 11, 3], partial AUC [8, 9], 平均適合率[2, 10, 12], break-even point[7] などが取り組まれている．これらの評価指標の最大化は，本研究の目的とす

1 再現率 100% の場合には，τ = 1.0 を制約とすると E(FP) = 0となる，これは数理的に絶対満たされないため，τ = 0.99 とした．

― 483 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

る高い再現率での適合率の向上には直接的ではないと考えられる．例えば，AUC, break-even point, 平均適[5] J. A. Hanley and B. J. McNeil. The meaning and useof the area under a receiveroperating characteristic

合率は，高い再現率という条件を直接的に表現することはできない．F 値は，適合率と再現率の調和平均の重みによって，再現率を重視することができるが，相対的に適合率は犠牲となり，ある再現率での適合率を(roc) curve. In Radiology, 1982.
[6] Martin Jansche. Maximum expected f-measuretraining of logistic regression models. In Proceeding of HLT ’05 Proceedings of the conference on
Human Language Technology and Empirical Meth-最大化するという目的には直接的でない．partial AUC
は，AUC の特定の区間の面積を最大化するが，これods in Natural Language Processing (EMNLP), pp.
692–699, 2005.

はランキングした際の FP の割合の区間における TPの数を最大化すること，すなわち，適合率に関係する条件のもとで，再現率の最大化を行っているとみなせ[7] T. Joachims. A support vector method for multi-る．高い再現率における適合率の向上という目的には

variate performance measures. In Proceedings ofthe International Conference on Machine Learning,

直接的でないが関連は深い．

2005.

5

おわりに

[8] Harikrishna Narasimhan and Shivani Agarwal. A
structural SVM based approach for optimizing par-

本稿では，分類漏れを極力防ぎつつも高い適合率を達成するために，再現率そ制約として，適合率を最大

tial AUC. In Proceedings of the 30th International
Conference on Machine Learning (ICML), pp. 516–

化する学習方法について述べた．提案手法は，ロジス

524, 2013.

ティック関数を用いて，適合率，再現率を期待値で表現し，再現率が一定以上という制約で適合率を最大化する最適化問題として定式化した．実験では，ロジス[9] Harikrishna Narasimhan and Shivani Agarwal.
Svm pAUCt̂ight: A new support vector method for
optimizing partial auc based on a tight convex upperbound. In Proceedings of the 19th ACM SIGKDD
international conference on Knowledge discovery

ティック回帰，期待 F 値最大化と比較し，複数のテキスト分類タスクにて，高い再現率の適合率を高める効果があることを確認した．

and data mining, pp. 692–699, 2013.
[10] Warren Greiff William Morgan and John Hende.

参考文献

Direct maximization of average precision by hillclimbing, with a comparison to a maximum entropy
approach. In Human Language Technology confer-[1] Charu C. Aggarwal and ChengXiang Zhai. Chapter.
6: A survey of text clustering algorithms. In Mining
Text Data, pp. 77–128. Springer, 2012.
[2] Chris Buckley and Ellen M. Voorhees. Evaluating
Evaluation Measure Stability. ACM Press, 33–40,
2000.

ence /North American Chapter of the Association
for Computational Linguistics(HTL-NAACL 2004),
2004.
[11] Lian Yan, Robert Dodier, Michael C. Mozer, andRichard Wolniewicz. Optimizing classifier perfor-[3] Corinna Cortes and Mehryar Mohri. Auc optimization vs. error rate minimization. In Advances inmance via the wilcoxon-mann-whitney statistic. In
Proceedings of the Twentieth International Confer-neural information processing system, pp. 313–320,
2004.

ence on Machine Learning (ICML), pp. 848–855,
2003.

[4] Krzysztof. Dembczynski, Willem. Waegeman, Wei-

[12] Yisong. Yue, Thomas. Finley, Filip Radlinski, andwei. Cheng, and Eyke. Hullermeier. An exact algorithm for f-measure maximization. In Advances

Thorsten. Joachims. A support vector method foroptimizing average precision. In Special Internetin Neural Information Processing Systems 24 (NIPS2011), 2014.

Group on Information Retrival (SIGIR), 2007.

― 484 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.