DEIM Forum 2022 K31-2(day3 p40)

正則化による尤度比推定法を応用した多値分類器の改良
菊地 真人†

大囿 忠親†† 名古屋工業大学大学院 情報工学専攻 〒 466–8555 愛知県名古屋市昭和区御器所町
E-mail: †{kikuchi,ozono}@nitech.ac.jp
あらまし

不均衡データに対する分類問題を解くための一手法として，定義中に尤度比を含む Universal-set ナイーブ

ベイズ分類器（UNB）が提案された．UNB において，尤度比推定は分類性能に寄与する重要な因子である．しかし，UNB で用いられる尤度比の推定法は，低頻度データの尤度比を過大に見積もってしまい，性能低下の原因となっている．我々は先行研究において，低頻度にも有効な尤度比推定の手法を提案した．この推定法では最適化における正則化を利用して，尤度比の過大推定を抑制できる．そこで本稿では，正則化による尤度比推定法を UNB に組み合わせることを提案する．不均衡データを用いた実験により，正則化パラメータがデータ量のバランスに応じて推定値を効果的に制御し，分類性能を向上させることを示す．
キーワード 尤度比推定，正則化，低頻度，Universal-set ナイーブベイズ分類器，不均衡データ
尤度比の推定例．rb(x) の λ は 10−5 とした．

表1

1 はじめにxP

頻度
P

fnu (x)rMLE (x) rb(x)データを適切なカテゴリへと振り分ける分類問題は，機械学

xa

107

2,000

x fnu (x)
104

100

50

習における代表的な課題の一つである．ナイーブベイズ分類器

xb

107

20

104

1

50

8.3

（NB）は古典的な確率的分類器で，良好な分類精度を保ち，分

xc

107

20

104

2

100

16.7

x fde (x) fde (x)47.6

類効率が良く実装も容易といった利点から，昨今でもよく用いられている．一方で NB には様々な欠点もあり，これまでに多UNB では wk の相対頻度で各確率を求め，その比を取って尤

くの研究者が NB の改良に尽力してきた．NB が抱える問題の度比を推定する．しかし我々は先行研究 [2] において，この一一つとして，不均衡データへの対処が挙げられる．実世界にあ般的な推定法がまれな事象の尤度比を過大推定する問題を指摘るデータでは，インスタンス（分類対象）が属するクラス（分した．具体例を用いて説明する．まず，推定する尤度比 r(x) を類先）の占める割合が均衡ではないことがほとんどである．また，クラスの割合が極端に不均衡なデータもしばしば存在する．
不均衡データを NB で扱うと，少数派クラスに多数のインスタ
ンスが誤分類されることが知られている．加えて，少数派クラr(x) =

pnu (x)pde (x)と定義する．続いて，上述の推定量 rMLE (x) をスに対してはモデルが疎になりやすい．
不均衡データを扱う方法として，補集合（クラスに属さない
インスタンス）の利用がある．分類器で補集合を導入すると，モデルが疎になることを回避でき，分類精度の向上も期待できる．補集合を用いた分類器の一つとして，Universal-set ナイー
ブベイズ分類器（UNB）[1] が提案されており，

bc(y) = arg maxc∈Cr(wk , c) =np(c) Yp(c̄)

r(wk , c),

k=1p(wk | c)p(wk | c̄)rMLE (x) =pbnu (x),pbde (x)f∗ (x)pb∗ (x) = P
x f∗ (x)と定義する．ただし ∗ ∈ {de, nu} であり，de は尤度比の分母，

nu は分子を表す添え字である．f∗ (x) は密度 p∗ (x) を持つ確率分布から得た x の頻度である．いま事象 xa から xc について，表 1 に示す頻度が与えられたとする．xa と xb に着目す
ると，頻度 f∗ (xa ) と f∗ (xb ) が大きく異なるのに対し，推定値は rb(xa ) = rb(xb ) = 50 と等しく大きな値である．しかし

fde (xb ) = 1 であり，この事象は偶然に起こったものかもしれな
い．少数派クラスには属性値 wk がほとんど含まれず，含まれと定義される．ここで y = ⟨w1 , w2 , . . . , wk , . . . , wn ⟩ はインスるとしてもその頻度は低い．ゆえに，低頻度事象の尤度比を過タンスである．wk は y の k 番目にある属性値で，数え上げが大推定することは，少数派クラスに対する分類スコアを不当に可能な文字や単語などの離散要素とする．また c はあるクラス

高く見積もることになり，多数のインスタンスをそのクラスへを表し，c̄ は c 以外の全クラスを表す．bc(y) は y が属すると分と誤分類する原因になる．また xb と xc に着目すると，fnu (xb )類器が予測したクラスである．UNB は不均衡データを扱うたと fnu (xc ) の差がわずか 1 であるのに対し，それぞれの推定値

めの分類器として提案されたが，我々は UNB を用いても不均は 50，100 と大きく変動する．このことは，低頻度に対して衡データを精度良く分類できないと考えた．なぜなら，尤度比

UNB の分類スコアが不安定なこと意味し，この低頻度へのセr(wk , c) の推定法に問題があるからである．

ンシティブさも UNB の分類精度を低下させる要因である．

我々は先行研究 [2] において，上述の問題を緩和する尤度比の推定量を提案した．この推定量は


rb(x) =

fde (x)
+λ
nde

−1

fnu (x)nnu

確率分布をそれぞれ推定し，その比を取るという尤度比の推定法は，大きな推定誤差を生むことが明らかになっている [12]．
そのため，確率分布の推定を介さずに尤度比を直接推定する手法が存在する．これまでに Kernel Mean Matching による手法 [13]，ロジスティック回帰による手法 [14]，カルバック・ライブと定義される．上式は二乗誤差を最小化する最適化の枠組みで導出される．λ（>= 0）は最適化の際に導入される正則化パラメータであり，λ が頻度に応じて推定値を低め（保守的）に見積もる．表 1 に示すように，高頻度から計算される rb(xa ) は 50に近いのに対し，低頻度から計算される rb(xb ) は 50 よりもはるかに低い（それぞれ 47.6，8.3）．また，rb(xc ) も低頻度から計算されるため，16.7 と 100 よりもはるかに低い値となる．し
たがって rb(x) を用いると，尤度比の過大推定を抑え，低頻度にロバストな推定を行える．
以上を踏まえて本稿では，UNB に尤度比の保守的な推定量を組み合わせることを提案する．また，単に組み合わせるだけ
ではなく，クラス毎に異なる正則化パラメータを用意し，データ中のクラスバランスに応じて個々のパラメータ値を変更する．

ラー情報量を用いた手法 [15]，最小二乗法による手法 [16] などが提案された．しかしこれらの手法は，連続的な標本空間で定義される尤度比を推定対象とし，扱う標本の要素も連続値を想定している．そこで我々は，最小二乗法による手法 unconstrained

Least-Squares Importance Fitting（uLSIF）[16] で用いる基底関数を変更し，離散的な標本空間で定義される尤度比を推定できるようにした [2]．さらに我々は，単語 N-gram を構成する
個々の単語に対して尤度比を推定し，それらの積を取ることで訓練データにない N-gram にも尤度比を推定できる手法を提案
した [17]．そして，二値分類において有効性を示した．この推定法は NB から着想を得ており，尤度比推定に先行研究 [2] の成果を利用している．本稿ではこの推定法の発想を多値分類にも応用する．

実験では，コーパスから抽出した固有表現の出現文脈を多値分類することを試みる．そして実験結果から以下のことを明らかにする．UNB は訓練データに少数派クラスがある場合，多数のインスタンスをそのクラスへ誤分類してしまう．結果として，ときには古典的な NB をも大幅に下回る分類精度を示す．提案手法は少数派クラスに大きめな正則化パラメータを設定し，分類スコアの不当な高まりを抑える．結果として，訓練データに極端な少数派クラスがある場合でも良好な分類精度を保ち，

UNB の欠点を緩和できる．

2 関連研究
不均衡データを分類するための様々な手法が提案されている．
それらの手法は，データレベルのアプローチとモデルレベルのアプローチに大別される．データレベルのアプローチとして，
アップサンプリング [3], [4] とダウンサンプリング [5], [6] が有名である．これらのサンプリング法では，入力データ間の距離を測定し，その距離を利用して標本サイズを人為的に増減する．
データレベルのアプローチは分類に用いるモデルの種類によらず利用できるが，本稿で扱うような離散値を含むデータでは，

3 前提知識提案手法の導入に必要となる，確率的分類器と尤度比の保守的な推定法について述べる．

3. 1 ナイーブベイズ分類器
文字や単語などの離散要素 wk （k = 1, 2, . . . , n）からなるイ
ンスタンスを y = ⟨w1 , w2 , . . . , wn ⟩ とする．また C をクラス
変数，c ∈ C をクラスとする．このとき，y が属するとナイー
ブベイズ分類器（NB）が予測するクラス bc(y) はbc(y) = arg max p(c | y)c∈Cと定義される．p(c | y) に対してベイズの定理を適用すると，

bc(y) = arg max
c∈Cp(y | c)p(c)p(y)= arg max p(y | c)p(c)c∈C= arg max p(w1 , w2 , . . . , wn | c)p(c)c∈C

入力データ間の距離の定義が難しく利用範囲が限られる．モデが得られる．ここで，wk がクラス c の下で他の離散要素と条ルレベルのアプローチとして，補集合を用いた NB が提案され件付き独立であることを仮定すると

た [1], [7] 1 ．提案手法は，補集合を利用したモデルレベルのアプ
ローチに属する．また，Cost-Sensitive Learning [8] を利用しp(w1 , w2 , . . . , wn | c) =nYp(wk | c)

た NB も提案された [9], [10], [11]．これらの NB では，各クラ

k=1スの分類失敗に対して異なる “コスト” を導入し，分類時の期が成り立つ．以上より，NB は待コストが最小となるように訓練や分類を行う．適切なコストの設定には専門家の知識を要するが，提案手法にもコストを導bc(y) = arg max p(c)c∈C

入して正則化パラメータを調節できれば，各クラスに対する分類精度の細かい調整が容易になるかもしれない．

nYp(wk | c)

(1)

k=1

と定式化される．NB は分類タスクでよく用いられるが，クラス間のサイズが大きく異なる場合，分類精度が著しく低下する

1：UNB 以外の NB との比較も行い，提案手法の有効性を確認した．比較結果
は本稿の付録として掲載している．

問題点がある．そこで，補集合（クラスに属さないインスタン
ス）を用いた分類器が提案された．

3. 2 Universal-set ナイーブベイズ分類器

3. 3 尤度比の保守的な推定量

補集合を利用した確率的分類器である，Universal-set ナイー

尤度比推定の問題設定を説明する．あるデータが含む離散要

ブベイズ分類器（UNB）[1] について述べる．p(c | y) と p(c̄ | y)

素 x の集合を D ⊂ U とする．U は存在しうる v 種類の全要素についてからなる集合であり，情報理論では有限アルファベットと呼ばれる．いま，確率密度 pde (x) を持つ確率分布に従う標本，確率p(c | y) + p(c̄ | y) = 1

密度 pnu (x) を持つ確率分布に従う標本が成り立つ．ただし，クラス c̄ は c を除いた全クラスを意味する．p(c | y) と p(c̄ | y) に対して，それぞれベイズの定理を適用
すると上式は

ni.i.d.

de{xdei }i=1 ∼ pde (x),をそれぞれ得たとする．ここで言う離散要素 x とは，文字や単語等の言語要素を表す．先行研究にならい，p(y | c̄)p(c̄)
p(y | c)p(c)
+
=1
p(y)
p(y)

for all x ∈ D

pde (x) > 0と変形できる．この式を p(y) について解くとを満たすと仮定する．この仮定により，全ての x に対して尤度

p(y) = p(y | c)p(c) + p(y | c̄)p(c̄)

比を定義できる．本節では，尤度比が得られ，これを p(c | y) に代入すると

p(c | y) =r(x) =

p(y | c)p(c)p(y)

pnu (x)pde (x)nnu nnudeを確率分布推定を介さず，二つの標本 {xdei }i=1 ，{xj }j=1 を

p(y | c)p(c)p(y | c)p(c) + p(y | c̄)p(c̄)
1=
1 + α1

用いて直接推定する問題を扱う．

=

最小二乗法による直接推定法 unconstrained Least-Squares

Importance Fitting（uLSIF）[16] は，推定モデル rb(x) をが得られる．ただし α は

α=i.i.d.

nnu{xnuj }j=1 ∼ pnu (x)rb(x) =bX

βl φl (x)

(4)

l=1

p(w1 , w2 , . . . , wn | c)p(c)p(y | c)p(c)=p(y | c̄)p(c̄)
p(w1 , w2 , . . . , wn | c̄)p(c̄)と定義する．ここで，β = (β1 , β2 , . . . , βb )T は標本から学習さである．ここで p(c | y) が最大となるのは，α が最大となるとれるパラメータ，{φl }bl=1 は非負値を取る基底関数である．オ

きである．また wk に対して，クラス c および c̄ の下での条件

リジナルの uLSIF は，連続空間上で定義される尤度比を扱う．

付き独立性を仮定する．以上より，UNB はそのため，連続的な標本空間の構造を活用する目的で，ガウスp(c) Ybc(y) = arg max
rMLE (wk , c)
p(c̄)
c∈C

カーネルによる基底を使用する．しかし本稿では，文字や単語

n

(2)

k=1

それゆえ，ガウスカーネルが有用ではない．そこで，我々が先行研究 [2] においてが定義した基底 {δl }vl=1と定式化される．ただし上式では，尤度比 r(wk , c) を

rMLE (wk , c) =pb(wk | c)pb(wk | c̄)といった離散要素を扱い，尤度比も離散空間上に定義される．

((3)

として推定する．クラス不均衡性による分類性能の悪化を軽減する目的で，UNB では補集合を使用する．また UNB では，式(3) に示すように wk の相対頻度によって確率推定量 pb(wk | c)と pb(wk | c̄) を計算し 2 ，その比を取って推定量 rMLE (wk , c) を得る．この推定法は一般的かつ単純だが，低頻度に基づく尤度比を過大に見積もることがよくある．クラス不均衡性のある分類問題では，クラス間で wk の頻度が大きく異なり，少数派クラスにおける wk の頻度は他クラスの頻度よりも低くなる．このとき，少数派クラスに対する尤度比が他クラスの尤度比と比較して不当に高くなり，多くのインスタンスが少数派クラスに誤分類されてしまう．ゆえに，尤度比の過大推定を抑制する何らかの工夫が必要となる．
2：ただし観測頻度をそのまま用いた場合，確率推定値がゼロになる wk が一つ

δl (x) =1

if x = x(l)0otherwise(5)を代用する．δl (x) は離散要素の種類ごとに定義される．l は要素の種類を指定する添え字であり，x(l) は v 種類存在する要素のうち l 種類目の要素を表す．この基底を用いると，離散空間上の尤度比に対して単純な推定式を導出できる．ここで b は vに置換される．式 (5) を式 (4) に代入し，推定モデル rb(x) と真の尤度比 r(x) との二乗誤差を最小化する β を求める 3 ．x(m)（m = 1, 2, . . . , v ）に対する最終的な推定量 rb(x(m) ) は
rb(x(m) ) =fde (x(m) )
+λ
nde

−1

となる．f∗ (x(m) ) は，密度 p∗ (x(m) )，∗ ∈ {de, nu} を持つ確率分
P
布からサンプリングされた x(m) の頻度であり，n∗ = x f∗ (x)である．上式では，正則化パラメータ λ（>= 0）によって，頻度でもあると，式 (2) における尤度比の積がゼロや無限大になる．これを防ぐため，実際には正の値を各頻度へ加算する補正を行う．

fnu (x(m) )nnu

3：β の導出過程は文献 [2] を参照のこと．

最大進化世代 MaxGen = 50に応じて推定値を低め（保守的）に見積もる．ただし，尤度比•の積がゼロや無限大になることを防ぐため，頻度に微小な補正•解の候補数（個体群サイズ）NP = 30をした推定量•変動係数 F = 0.8•

交叉確率 CR = 0.6

re(x(m) ) =fde (x(m) ) + 1+λnde + 2−1

fnu (x(m) ) + 1
nnu + 2(6)′を提案手法の尤度比推定に利用する．なお，補正した確率推定量f∗ (x(m) )+1
は，密度 p∗ (x(m) ) を持つ確率分布を x(m) が出
n∗ +2

現するか否かのベルヌーイ試行による確率分布と捉え，事前分
布を一様分布としたときの事後期待値と等しい．

て式 (3) の推定量 rMLE (wk , c) を得る．しかし rMLE (wk , c) は，低頻度に基づく尤度比を過大に見積もる．3. 2 節でも述べたよ
うに，rMLE (wk , c) を用いると多くのインスタンスが少数派クラスに誤分類されてしまう．これを防ぐため我々は，UNB の
尤度比推定に式 (6) を利用する．よって提案手法は
np(c) Yて分類問題を解いた．実験に用いるデータは 5. 1 節で説明する．

p(c̄)

re(wk , λc )

(7)

k=1

則化パラメータ λ = {λc | c ∈ C} を用いる．これにより，クラスバランスに応じて推定値の大きさを制御し，多数のインス
タンスが少数派クラスに誤分類されることを防ぐ．そのために，
推定量 re(wk , λc ) にはクラス c 自体ではなく，クラスごとの正則化パラメータ λc を引数として与えている．
が取る値の候補を Θ = {10

, 10

−8

, . . . , 10

−1

案手法の有効性を明らかにする．対象とする固有表現は LO-

CATION，ORGANIZATION，DATE，MONEY，PERSON，PERCENT，TIME の 7 種類である．また出現文脈（インスタンス）は，固有表現の左に位置する単語 10-gram とする．本実
験を行う理由は次の三点である．第一に，言語要素は種類が豊大推定を抑制する正則化パラメータの効果を検証できる．第二に固有表現は出現のしやすさが大きく異なる．5. 1 節で後述するように，ORGANIZATION の文脈が 91,892 回も出現するのに対し，TIME の文脈は 840 回しか出現しない．このように，非常に不均衡なデータを用いることからも，本実験は提案手法の有効性検証に適する．第三に固有表現の出現文脈は一意に定
まり，分類器の定量評価が可能となる．

5. 1 実験データと実験条件

正則化パラメータ λ の決定方法を述べる．ここでは，λc ∈ λ−9の出現文脈を 6 あるいは 7 クラス分類する実験を行い，提富な反面，低頻度のものが多い．この性質により，尤度比の過と定式化される．提案手法では，クラスごとに異なる複数の正} とする．この′とき，分類結果に基づくある評価関数 J を最大化する λc の組′

F1 を算出するために開発データを用意し，評価データとみなし固有表現（コーパスに出現する地名や人名などの固有名詞）

UNB では，相対頻度により各確率を推定し，その比を取っc∈C

値を最大化するパラメータ λ を最適値とみなす．なお，Macro-

5 評価実験

4 提案手法bc(y) = arg max

最適化の目的関数である適応度関数を Macro-F1 とし，関数の′実験データはウォール・ストリート・ジャーナルコーパス 5の 1987 年版をもとに作成した．まず，コーパスからランダムに 12,000 記事を抽出し，10,000 記事，1,000 記事，1,000 記

み合わせ λ = {λc | c ∈ C} を求める．M クラス分類問題を想事を訓練，開発，評価用にそれぞれ分配した．次に，Stanford

定すると，この最適化問題はNamed Entity Recognizer（Stanford NER）6 [19] を用いて記′

λ = arg max J(MLC, λ)λ∈ΘM

事に固有表現タグを付与し，出現文脈（インスタンス）を抽出した．訓練用の記事が含むインスタンスを図 1 に示す．この図として定式化される．MLC は λ をパラメータとして持つ何らから分かるように，TIME の文脈は他の文脈と比較して極端にかの多値分類器であり，ここでは式 (7) に示す我々の分類器と少ない．開発，評価用の 1,000 記事から抽出したインスタンス

する．本稿では不均衡データを扱うことを踏まえ，評価関数 J

集合をそれぞれ開発データ，評価データとする．

をデータの分類結果から計算される Macro-F1 とした．少数派
クラスに多数のインスタンスが誤分類される場合，Macro-F1

次の訓練データを用意し，どの訓練データを用いるかを実験条件とする．

は低くなることが想定される．したがって，Macro-F1 を最大•クラス均衡，クラス不均衡な人工データ化する正則化パラメータを用いると，提案手法は各クラスの分

•

実データ

類性能が平均的に良好な分類器になると考える．

人工データを作成する際は，指定したクラスサイズになるよう

ただし，正則化パラメータの取りうる値の組み合わせ総数

訓練用の記事からインスタンスをランダムサンプリングした．

は 9M 通りであり，クラス数 M が大きいときは組み合わせのなおクラスサイズとは，クラスに属するインスタンスの総数を全探索が困難なことに注意する．そこでパラメータの最適値を意味する．クラス均衡な人工データとして，各クラスサイズを近似的に求める一例として，最適化手法の一種である差分進化

15,000，あるいは 1,500 に揃えた二種類のデータを用意した．

法 [18] を利用する 4 ．差分進化法の実行に必要な各種パラメー

クラス不均衡な訓練データとして，あるクラスサイズを 1,500，

タは次のように設定した．
5：https://catalog.ldc.upenn.edu/LDC2000T43
4：今回は差分進化法を用いるが，貪欲法などの他手法でも探索可能である．

6：https://nlp.stanford.edu/software/CRF-NER.html

100,000

表291,892

クラス均衡な人工データによる分類結果．それぞれの評価値（再現率 Ravg ，適合率 Pavg ，F1 値 Favg ，正解率 Aavg ）は 6 回試

80,00060,320

行した平均値である．

59,50260,000

訓練データの34,73140,00037,849

Pavg

Favg

Aavg

NB

.603

.552

.560

.568

UNB

.610

.559

.572

.577

提案手法

.607

.599

.597

.600

NB

.522

.477

.480

.489

UNB

.529

.481

.488

.497

提案手法

.508

.578

.526

.533

15,000

840
0

1,500

図1

訓練用の 10,000 記事が含むインスタンス．

表3

Micro

Ravg

17,90220,000Macro

分類器

各クラスサイズ

クラス不均衡な人工データによる分類結果（あるクラスサイズ：

1,500，他のクラスサイズ：15,000）．それぞれの評価値は 6 回

他のクラスサイズを 15,000 としたデータ，およびあるクラスサ

試行した平均値である．

イズを 15,000，他のクラスサイズを 1,500 としたデータを用意
分類器

した 7 ．訓練用の記事が含む全インスタンスの集合を実データ

Macro
Ravg

Micro

Pavg

Favg

Aavg

とした．実データはコーパス中の文脈に対する頻度の偏りを反

NB

.538

.494

.498

.507

映したデータである．すなわち，図 1 は実データにおける各ク

UNB

.410

.682

.397

.376

ラスサイズであり，実データは非常に不均衡なデータである．

提案手法

.572

.586

.561

.555

5. 2 実 験 手 順
使用する訓練データを事前に定め，以下の手順で実験を行う．訓練データから分類スコアの計算に必要な頻度を数え上げ

表4

クラス不均衡な人工データによる分類結果（あるクラスサイズ：

15,000，他のクラスサイズ：1,500）．それぞれの評価値は 6 回試行した平均値である．

る．提案手法では，開発データを用いてクラスごとの正則化パ分類器

ラメータ λc を決定する．評価データにある全種類のインスタンスに対して分類を行う．分類器に対する分類性能を算出する．
分類性能の指標として再現率，適合率，F1 値の Macro 平均，

Macro

Micro

Ravg

Pavg

Favg

Aavg

NB

.427

.468

.399

.404

UNB

.508

.511

.457

.476

提案手法

.483

.577

.482

.501

正解率の Micro 平均を採用する．
人工データによる実験では，上記の手順を 6 回繰り返し，各指標の平均値を算出する．例えば，再現率の平均値はP6
Ravg =

t=1 Rt6

手法 2：UNBUNB は 3. 2 節の式 (2) として定義される．ただし，wk の相対頻度に対して分母に 2，分子に 1 を加算する補正を行う 8 ．UNB における尤度比の推定量は，式 (6) の λ をゼロとした結果に等しい．

として計算する．Rt は t 回目の試行における再現率の Macro

手法 3：提案手法

平均である．同様に Pt ，Ft を t 回目の試行における適合率，正則化パラメータ λc の探索に差分進化法を用い，クラスごと

F1 値の Macro 平均，At を t 回目の試行における正解率のに異なる最適値 λc を設定する．

Micro 平均とする．そして Pavg ，Favg ，Aavg を計算する．な5. 4 人工データによる実験結果

お，試行ごとにインスタンスのランダムサンプリングからやり直し，異なった訓練データを用いて実験する．クラス不均
衡な人工データによる実験では，サイズの異なる 1 クラスをLOCATION, ORGANIZATION, . . . , PERCENT と順番に変化させて 6 回試行する．

5. 3 比 較 手 法
比較手法として NB，UNB，提案手法を用いる．
手法 1：NBUNB において補集合を用いることの効果を検提案手法は 4 節の式 (7) として定義される．
′

人工データによる分類結果を表 2〜4 に示す．各表において評価値の最大値を下線で強調した．クラス均衡な場合（表 2）
では，UNB が NB よりも優れており，補集合を用いることの有効性を確認した．正則化でクラス毎に推定値を調整できる提案手法は，再現率が他二手法と比較してわずかに劣るが，適合率が優れている．ゆえに提案手法は，F1 値や正解率の観点から最良の性能を示している．クラス不均衡な場合（表 3，表 4）では，クラス均衡な場合と比較して手法間に大きな性能差が見ら証するため，比較手法として NB を用いる．NB は 3. 1 節の式れた．表 3 から分かるように，一つだけ少数派クラスがあると(1) として定義される．なお，p(wk | c) の推定にはラプラスス

き，UNB は NB をも下回る低い性能を示している．これは少ムージングを利用する．
8：確率推定量の補正にはスムージング法を用いることが一般的である．しかし，スムージング法による推定値を尤度比推定に使用してしまうと，補正前後の尤度

7：図 1 に示すように，TIME の文脈は人工データを作成するには少なすぎる．

比が大きく異なり過大推定の原因にもなる [2]．したがって本稿では，頻度に最低

そのため，人工データを用いた実験では，TIME を除く 6 クラス分類を行った．

限の微小な補正のみを行う．

′表5

差分進化法で求めた正則化パラメータの最適値 λc （左は全クラ価データから TIME を取り除き，各分類器で 6 クラス分類もスを用いた実験，右は TIME を除いた実験）．
′

TIME は極端な少数派クラスである．そこで訓練，開発，評

′

′

Class

λc

Class

λc

行った．正則化パラメータの最適値 λc を表 5 右に示す．TIME

LOCATION

10−6

LOCATION

10−9

を含めた全クラスの場合よりも最適値のばらつきは小さいが，

ORGANIZATION

10−9

ORGANIZATION 10−9

DATE

10−5

DATE

10−5

MONEY

10−5

MONEY

10−5

PERSON

10−5

PERSON

10−5

ように，TIME を除いて分類すると UNB の性能は大きく向上

PERCENT

10−4

PERCENT

10−5

する．しかし，UNB の F1 値と正解率は NB よりも低く，UNB

TIME

10−3

今回も多数派クラスには小さい値が，少数派クラスには大きい値が付与される傾向があった．表 7 に示す分類結果から分かる

は改良が必要なことが示唆された．一方で，提案手法は最良の性能を持ち，実データを用いた実験でも有効性を確認できた．

表6

実データによる分類結果（全クラス）．下線で強調された数値は各指標の最大値である．
分類器

UNB と提案手法におけるクラスごとの再現率，適合率，F1 値を図 3 に示す．この図から分かるように，二手法間には図 2 の

Macro

Micro

再現率 適合率

F1 値 正解率

ような大きな性能差は見られない．提案手法について図 2(b) と図 3(b) を見比べる．PERCENT では，再現率と適合率に大き

NB

.546

.510

.483

.529

UNB

.299

.713

.241

.160

な変化があるが，F1 値はさほど変わらない．また他クラスで

提案手法

.522

.678

.540

.626

はいずれの指標も大きな変化がない．この結果は，分類対象に極端な少数派クラスを含む場合でも，提案手法には多数派クラ表7

実データによる分類結果（TIME 除外）．下線で強調された数値

スの分類性能をあまり落とさない利点があることを示唆した．

は各指標の最大値である．
分類器

Macro

Micro

再現率 適合率

F1 値 正解率

6 おわりに

NB

.609

.574

.571

.582

本稿では，我々の先行研究である尤度比の保守的な推定法を

UNB

.610

.578

.564

.568

UNB へ組み合わせ，新たな分類器を提案した．提案手法は，

提案手法

.624

.624

.610

.617

尤度比推定で導入される正則化パラメータ λc を用い，クラス
バランスに応じて分類のスコアを調節する．不均衡データによ数派クラスの尤度比が過大推定され，多くのインスタンスがそる多値分類の実験において，極端な少数派クラスがある場合，のクラスへと誤分類されたためと考える．そのような状況でもUNB は尤度比を過大推定してしまい，ベースラインの NB を提案手法は良好な性能を保っており，正則化パラメータの有効も下回る分類性能を示した（Macro-F1：0.241）．一方で提案性が示唆された．表 4 から分かるように，一つだけ多数派クラ手法は，尤度比の過大推定を正則化パラメータで抑制し，最良スがあるとき，UNB は NB よりも良い性能を示した．提案手の性能を達成した（Macro-F1：0.540）．

法は再現率が UNB よりも若干劣るものの，適合率が良好であしかし図 2 に示すように，提案手法でも少数派クラスの F1

り，結果として F1 値や正解率の観点から最良の性能を示した．

値は低い．実際の分類問題では，他クラスの分類性能を多少犠

5. 5 実データによる実験結果
5. 1 節の図 1 で示した実データを訓練に用いた場合の分類結果について述べる．提案手法で用いた正則化パラメータの最適′値 λc を表 5 左に示す．この表と図 1 を比較すると，多数派ク
ラスには小さい値が，少数派クラスには大きい値が付与されたことが分かる．よって，提案手法はクラスサイズに応じて正則

牲にしても，少数派クラスの性能を向上させたいことがある．
提案手法はクラス毎に分類のスコアを調節できるため，λc の探索法を変更すれば，少数派クラスの分類性能を向上できるだろう．一例として Cost-Sensitive Learning を用い，少数派クラスの分類失敗に大きなコストを定義し，期待コストが最小となるように λc を学習することが考えられる．以上のような，実用に向けた提案手法の拡張が今後の課題である．

化パラメータを調節する．表 6 に示す分類結果から分かるように，UNB は F1 値と正解率が低く，効果的な分類ができていな謝辞い．一方で，提案手法は F1 値と正解率が最良であり，正則化
パラメータの有効性が示唆された．UNB と提案手法の性能差を詳細に分析するため，クラスごとの再現率，適合率，F1 値を本研究の一部は JSPS 科研費 JP19K12266 の助成を受けたものです．

図 2 に示す．この図から分かるように，UNB は TIME の再現率が高く，適合率と F1 値がゼロに近い．また，TIME 以外のクラスでは適合率のみが高く，再現率と F1 値が低い．これは，UNB が多くのインスタンスを TIME へと誤分類したこと意味する．それに対し，提案手法は TIME の F1 値が低いが，他ク
ラスの F1 値は向上し，少数派クラスへの誤分類を抑制できた．

文

献[1] K. Komiya, Y. Ito, and Y. Kotani. New naive bayes methods using data from all classes. International Journal ofAdvanced Intelligence, Vol. 5, No. 1, pp. 1–12, 2013.
[2] 菊地真人, 川上賢十, 吉田光男, 梅村恭司. 観測頻度に基づくゆう度比の保守的な直接推定. 電子情報通信学会論文誌 D, Vol.
J102-D, No. 4, pp. 289–301, 2019.

(a) UNB

1.000

0.987

1
0.860

0.824

0.833

0.764

0.8

0.717

0.6

0.519

0.468

0.377

0.4

0.307

0.247

0.292
0.183

0.144

0.2

0.077

0.040

0.078

0.041

0.004 0.007

0LOCATIONORGANIZATION

DATE

MONEY

RecallPrecisionPERSONPERCENT

0.861

0.826

TIME

F1

(b) Our Classifier
1
0.774

0.8
0.639

0.630 0.619 0.625

0.582 0.595 0.588

0.556

0.6

0.757

0.686
0.616

0.733

0.675

0.492
0.369

0.4
0.237

0.202

0.2

0.117

0

LOCATIONORGANIZATION

DATE

MONEY

RecallPrecisionPERSONPERCENTTIME

F1

図 2 UNB と提案手法におけるクラスごとの再現率，適合率，F1 値（全クラス）．
(a) UNB(b) Our Classifier

1

1

0.8
0.6

0.703
0.603
0.526
0.466

0.530

0.646
0.574
0.515

0.6740.6590.666

0.7200.7590.739

0.730

0.8
0.6

0.426

0.349
0.229

0.4
0.2

0.647
0.558
0.490

0.6510.609
0.573

0.666
0.594
0.537

0.7030.675
0.649

DATE

MONEY

0.876
0.756
0.665

0.672
0.470
0.361

0.4
0.2

0

0
LOCATIONORGANIZATIONDATE

RecallMONEY

PrecisionPERSONPERCENTF1

LOCATIONORGANIZATION

RecallPrecisionPERSONPERCENTF1

図 3 UNB と提案手法におけるクラスごとの再現率，適合率，F1 値（TIME 除外）．

[3] N. V. Chawla, K. W. Bowyer, L. O. Hall, and W. P.
Kegelmeyer. SMOTE: Synthetic minority over-samplingtechnique.
Journal of Artiﬁcial Intelligence Research,
Vol. 16, pp. 321–357, 2002.
[4] H. He, Y. Bai, E. A. Garcia, and S. Li. ADASYN: Adaptive synthetic sampling approach for imbalanced learning.
In Proc. IJCNN’08, pp. 1322–1328, 2008.
[5] I. Tomek. Two modiﬁcations of CNN. IEEE Transactions
on Systems, Man, and Cybernetics, Vol. SMC-6, No. 11,
pp. 769–772, 1976.
[6] J. Zhang and I. Mani. kNN approach to unbalanced data
distributions: A case study involving information extraction. In Proc. the ICML’2003 Workshop on Learning from
Imbalanced Datasets, pp. 1–7, 2003.
[7] J. D. M. Rennie, L. Shih, J. Teevan, and D. R. Karger. Tackling the poor assumptions of naive bayes text classiﬁers. In
Proc. ICML’03, pp. 616–623, 2003.
[8] C. Elkan. The foundations of cost-sensitive learning. In
Proc. IJCAI’01, pp. 973–978, 2001.
[9] X. Chai, L. Deng, Q. Yang, and C. X. Ling. Test-cost sensitive naive bayes classiﬁcation. In Proc. ICDM’04, pp. 51–58,
2004.
[10] X. Fang. Inference-based naive bayes: Turning naive bayes
cost-sensitive. IEEE Transactions on Knowledge and Data
Engineering, Vol. 25, No. 10, pp. 2302–2313, 2012.
[11] Y. Xiong, M. Ye, and C. Wu. Cancer classiﬁcation witha cost-sensitive naive bayes stacking ensemble. Computational and Mathematical Methods in Medicine, pp. 1–12,

2021.
[12] W. Härdle, A. Werwatz, M. Müller, and S. Sperlich. Nonparametric and Semiparametric Models. Springer, 2004.
[13] J. Huang, A. J. Smola, A. Gretton, K. M. Borgwardt, and
B. Schölkopf. Correcting sample selection bias by unlabeled
data. In Advances in Neural Information Processing Systems 19, pp. 601–608, 2007.
[14] S. Bickel, M. Brückner, and T. Scheﬀer. Discriminative
learning for diﬀering training and test distributions. In Proc.
ICML’07, pp. 81–88, 2007.
[15] M. Sugiyama, S. Nakajima, H. Kashima, P. von Bünau, and
M. Kawanabe. Direct importance estimation with model selection and its application to covariate shift adaptation. In
Advances in Neural Information Processing Systems 20, pp.
1433–1440, 2008.
[16] T. Kanamori, S. Hido, and M. Sugiyama. A least-squares
approach to direct importance estimation. Journal of Machine Learning Research, Vol. 10, pp. 1391–1445, July 2009.
[17] M. Kikuchi, M. Yoshida, K. Umemura, and T. Ozono. Feature selective likelihood ratio estimator for low- and zerofrequency N-grams. In Proc. ICAICTA 2021, pp. 1–6, 2021.
[18] R. Storn and K. Price. Diﬀerential evolution: A simple andeﬃcient heuristic for global optimization over continuous
spaces. Journal of Global Optimization, Vol. 11, No. 4, pp.
341–359, 1997.
[19] J. R. Finkel, T. Grenager, and C. Manning. Incorporating
non-local information into information extraction systems
by Gibbs sampling. In Proc. ACL’05, pp. 363–370, 2005.

表 8 CNB と NNB の分類結果（全クラス）．

Macro

分類器

NB

表 9 CNB と NNB の分類結果（TIME 除外）．

Micro

Macro

分類器

再現率

適合率

F1 値

正解率

♣ .546

.510

.483

.529

NB

Micro

再現率

適合率

F1 値

正解率

.609

.574

.571

.582

CNB

.477

.571

• .489• .618CNB.556 ♣ .669

.571 ♣ .620

CNB（p(c) = 1）

.462

.471

.431

.514

CNB（p(c) = 1）

.597

.567

.575

NNB

.467

.461

.441

.552

NNB

.597

.588

• .588.611

UNB.299 ♣ .713

.241

.160

UNB

• .610

.578

.564

.568

提案手法

♣ .624• .624 ♣ .610

• .617• .522

提案手法• .678 ♣ .540 ♣ .626.597

表 10 CNB と NNB におけるクラスごとの再現率，適合率，F1 値．各クラスに対する F1 値の最大値を記号 ♣，次いで大きい値を記号 • で強調している．

LOCATION

分類器

再現率 適合率

ORGANIZATION

DATE

MONEY

F1 値

再現率

適合率

F1 値

再現率

適合率

F1 値

再現率

適合率

F1 値

NB

.416

.601

.491

.439

.662

.528

.579

.526

.551

.666

.642

.654

CNB

.519

.586

• .550.718.570 ♣ .636

.421

.716

.530

.726

.604

• .659CNB（p(c) = 1）

.460

.634

.533

.451

.687

.545

.488

.634

.551

.703

.605

.650

NNB

.489

.616

.545

.540

.652

.591

.491

.643

• .557

.727

.601

.658

UNB

.040

.824

.077

.041

.764

.078

.144

.860

.247

.377

.833

.519

提案手法

.639

.492 ♣ .556

.630

.619

• .625.582.595 ♣ .588

.774

.616 ♣ .686

PERSON

分類器

再現率 適合率

PERCENT
適合率

TIME

F1 値

再現率

F1 値

再現率

適合率

F1 値

NB

.637

.798

.708

.598

.331 ♣ .427

.489

.011

• .021

CNB

.749

.692

.720

.204

.831

.327

0

0

0

CNB（p(c) = 1）

.727

.734

• .730

0

0

0

.404

.005

.010

NNB

.738

.711

.724

0

0

0

.287

.006

.011

UNB

.307

.987

.468

.183

.717

.292

1

.004

.007

提案手法

.675

.861 ♣ .757

.237

.826

• .369.117.733 ♣ .202

CNB と NNB の分類結果を表 8 と表 9 に示す．比較のため付

録に NB，UNB，提案手法の分類結果も表中に再掲した．各指補集合を用いた他の分類器である，Complement Naive Bayes
分類器（CNB），Negation Naive Bayes 分類器（NNB）と提案手法との比較結果を述べる．訓練データとして実データを用
い，5. 2 節に示す手順に従い実験を行った．

CNB 補集合を用いた有名な分類器である CNB [7] は標の最大値を記号 ♣，次いで大きい値を記号 • で強調している．これらの表から，CNB および NNB と比較しても提案手法の性能は優れており，正則化パラメータの最適化基準としたMacro-F1 は提案手法が最良なことが分かる．
また，各クラスに着目した分類結果を表 10 に示す．この表から分かるように，提案手法は 7 クラス中 5 クラスで最大の F1nY

1値を達成し，他の 2 クラスでも 2 番目に大きい F1 値を持つ．

k=1

p(wk | c̄)

その一方で CNB と NNB は，少数派クラスである PERCENTと定義される．p(wk | c̄) の推定にはラプラススムージングを利や TIME へインスタンスを一つも分類できないケースがあっbc(y) = arg max p(c)c∈C

用する．なお CNB の原著論文では，p(c) が推定に与える影響
は p(wk | c̄) よりも小さいと判断し，分類問題を解く際には p(c)を無視して p(wk | c̄) のみを推定している．そこで p(c) = 1 と固定した CNB も比較対象に加える．

NNB CNB はヒューリスティックな解法であり，事後確率最大化の式から導出できない．そこで，事後確率最大化の式から導出でき，かつ補集合を用いた分類器である NNB [1] が提案された．NNB はY
1
1
1 − p(c)p(wk | c̄)nbc(y) = arg max
c∈C

k=1

と定義される．p(wk | c̄) の推定にはラプラススムージングを利用する．

た．この場合，適合率と F1 値が計算不能となるため，CNB
および NNB の該当する適合率と F1 値をゼロとした．提案手法は確度の高いインスタンスのみを TIME へ分類する傾向がある．対して CNB と提案手法を除く分類器では，TIME の適合率と F1 値が小さく，多数のインスタンスを少数派クラスのTIME へと誤分類する様子が示された．