DEIM2020 F8-4(day2 p55)

特徴重み付けを用いた低・ゼロ頻度 N-gram に対する尤度比の推定法
菊地

真人†

吉田

光男†

梅村

恭司†

† 豊橋技術科学大学情報・知能工学系 〒 441–8580 愛知県豊橋市天伯町雲雀ヶ丘 1–1
E-mail: m143313@edu.tut.ac.jp, yoshida@cs.tut.ac.jp, umemura@tut.jp
あらまし 本稿では，N-gram の頻度情報から尤度比を推定する問題を扱う．近年，低頻度から尤度比の安定した推定値を求める手法が提案されたが，テキスト上で未観測の（つまりゼロ頻度の）N-gram に対しては尤度比が推定できな
い．その対処法として，N-gram を成す単語や文字といった特徴間に統計的な独立性を仮定し，特徴ごとに推定した
尤度比の積を取る方法が考えられる．このアプローチは単純だが，特徴間の独立性は実際には成立しないことが多い．
そこで，ナイーブベイズ分類器で独立性仮定の軽減に多用される，特徴重み付け法を前述の対処法に組み合わせることを提案する．尤度比を使用した文脈予測の実験で，提案手法が有効に作用し良好な結果が得られることを報告する．
キーワード 尤度比推定，低頻度，ゼロ頻度，N-gram，特徴重み付け法
表 1: 観測頻度に基づいた尤度比の推定例．

1 はじめに観測頻度

N-gramrMLE (x) rb(x)尤度比は統計検定 [1] や二値分類 [2] で多用される尺度であり，xnde

fde (x) nnu

fnu (x)

その推定法は尤度比を用いる幅広いアプリケーションの有用性

xA

107

5,000

104

100

20

xB

107

50

104

1

20

6.7

xC

107

50

104

2

40

13.3

xD

107

14

104

0

0

0

に影響を及ぼす．自然言語処理では，テキスト中の単語や文字といった離散的な要素から観測頻度を数え上げ，その頻度に基19.6

づいて尤度比を推定することがある [3], [4]．一般に言語資源が含む要素は限定され，その頻度分布はべき乗則に従うため，低頻度の要素が多数を占める．また，言語資源を用いた教師あり
学習では，学習に用いた資源中で未観測（すなわちゼロ頻度）の要素が入力として与えられることも多く，そのような要素に対しても何らかの推定値を算出することが要求される．このような状況において，頻度を用いた単純な推定法は有効な推定値を算出できないことが問題となる．
上記の問題について，次式で与えられる尤度比 r(x) の推定を例に説明する．

r(x) =

者の観測頻度が大きく異なるにもかかわらず，推定値 rMLE (xA )と rMLE (xB ) は共に 20 と高い値を示す．ここで fnu (xB ) = 1
は偶然の出現であることが十分に考えられ，rMLE (xB ) は信用できない．次に，低頻度から計算される rMLE (x) は変動が大きく不安定である．例えば xB と xC を比較すると，fnu (x) の差が 1 しかない場合でも，推定値 rMLE (xB ) と rMLE (xC ) は 20，

40 と大きく異なる．以上のケースでは，観測頻度の低さに応じて推定値が調節されるべきである．最後に xD に着目すると，

fnu (xＤ ) = 0 のために他の頻度に依らず，rMLE (xD ) はゼロに

pnu (x)pde (x)なる．同様に fde (x) = 0 の場合も，rMLE (x) が無限大となっい ま ，A1 , A2 , . . . , AN を N 個 の 特 徴 変 数 ，離 散 要 素 x =⟨a1 , a2 , . . . , aN ⟩ をそれぞれの確率密度に従う確率分布から
サンプリングされた特徴ベクトルとする．ak (1 <
=k <
=N) は
Ak の取る値であり，単語や文字などの離散値とする．このとき，N 個の離散値の連なりである要素 x は N-gram と呼ばれて，有効な推定値を算出できない．
低頻度に起因する問題に対しては，対処法 [5] が提案されており，その推定式は次式で表される．


rb(x) =

−1
1
1
fde (x) + λ×fnu (x)nde
nnu

る．素朴な尤度比の推定法は次式のように，それぞれの確率分

この手法は，二乗損失の最小化プロセスにより尤度比を直布を最尤推定 1 で求めて比を取る方法である．

接推定する unconstrained Least-Squares Importance Fitting

pbnu (x)rMLE (x) =,pbde (x)f∗ (x)pb∗ (x) =n∗（uLSIF） [6] という枠組みに基づいている．uLSIF の枠組みで導入される正則化パラメータ λ (>= 0) が，頻度の低さに応じた

ただし，添え字 ∗ は “de”，“nu” のいずれかを表す．f∗ (x) は密推定値の調節を可能にし推定量をロバストにする．表 1 の rb(x)度 p∗ (x) に従う確率分布からサンプリングされた要素 x の観測頻P度であり，n∗ = x f∗ (x) である．このアプローチは確率分布のは λ = 10−5 としたときの推定量である．十分な頻度から推定

推定を介するため，“間接推定法” と呼ばれる．rMLE (x) によるら推定された rb(xB ) と rb(xC ) はそれぞれ 6.7 と 13.3 となり，頻尤度比の推定例を表 1 に示す．まず xA と xB に着目すると，両度に応じて推定量が調節されたことがわかる．この手法は低頻

1：厳密には，確率分布を多項分布でモデリングした場合の最尤推定である．

された rb(xA ) は 19.6 となり rMLE (xA ) に近い一方，低頻度か度の要素から計算される尤度比にも，安定した推定値を付与できる有効な方法である．しかし，この手法でも rb(xD ) は依然といる．一方で，単語や文字等の離散要素から尤度比を直接推定してゼロであり，効果的な推定値を算出できていない．前述のする手法は提案されてこなかった．そこで近年，直接推定法をように，言語資源が含む要素は低頻度のものが多数を占める．

離散的な尤度比の推定に応用した手法 [5] が提案された．筆者

加えて，この状況では資源中に出現しない要素も多いことが予らの知る限り，この手法は低頻度の離散要素から計算される尤

想され，尤度比の実用を想定すると低・ゼロ頻度の両方に対処

度比にも，安定な推定値を与えられる唯一の方法である．しかできる推定法が望ましい．

し，ゼロ頻度の要素からは有効な推定値を算出できない．そこ

そこで本稿では，先の推定量 rb(x) をベースとして，低・ゼロ
頻度 N-gram に有効な尤度比の推定法を提案する．ゼロ頻度にで本稿では，この手法をベースとして，ゼロ頻度の要素に対しても有効な尤度比の推定法を提案する．

起因する問題を緩和する簡易な方法として，ak (1 <
=k<
=N) の

ナイーブベイズ分類器に対しては，特徴間に仮定された条件

出現に統計的独立を仮定し，ak に対する尤度比の積を取ること付き独立性の軽減法が多く提案されてきた．例えば，1 節で述が考えられる．このとき，r(x) はべた特徴重み付けの他に，構造拡張 [14]，特徴選択 [15]，インス

r(x) =

N
Y

タンス選択 [16]，インスタンス重み付け [17]，ファインチューニr(ak )

k=1と表される．上式では言語資源に x が出現せずとも，それを構成する ak が単独で出現すれば r(x) の計算が可能になる．またr(ak ) の推定に文献 [5] の直接推定法を利用すれば，低頻度のak に対しても安定な推定値が得られる．しかし，ここで仮定した独立性は実際に成立しないことが多く，尤度比の推定性能を低下させる一因となる．そこで，独立性仮定を軽減する手段として，ナイーブベイズ分類器で条件付き独立性仮定の軽減に使用される特徴重み付け法 [7] に着目する．この手法は x を分類するクラスと特徴 Ak の二つが与えられれば，重み付けの対象が尤度比であっても応用できる．また r(ak ) を重み付けすることで，ak の頻度をそのまま利用でき，尤度比の推定において独立性仮定の自然な軽減が可能になる．以上から，直接推定法で求めた r(ak ) の推定量に，特徴重み付け法を組み合わせることを提案する．実験では，言語資源から尤度比に基づき特定文脈を予測するタスクを設計し，重み付けが適切に作用する条件下で提案手法が有効なことを示す．

2 関連研究ング [18] などの様々なアプローチが挙げられる．このうち，構造拡張は文献 [5] の手法と組み合わせることへの困難性があり，
特徴選択とインスタンス選択は学習で使用できる観測頻度を減らしてしまう．そこで我々はこれらの問題を回避でき，かつ計算の効率性や応用の柔軟性にも優れている特徴重み付け法に焦点を当てた．特徴重み付け法は，重みを学習する方法の違いか
らフィルタ [7] とラッパー [19] に大別される．前者は一度の学習のみで重みを計算するのに対し，後者は分類性能のフィード
バックを介して重みを最適化する．本稿では，重み付けする尤
度比の推定量が調節を要する正則化パラメータを持つため，計算量が軽量なフィルタ方式を利用する．

3 尤度比推定法と特徴重み付け法
4 節で詳説する提案手法の要素技術となる，尤度比の直接推
定法 [5]，ならびに特徴重み付け法 [7] を説明する．

3. 1 尤度比の直接推定法
データの定義域を D ⊂ Uv とする．Uv は離散 v 次元空間である．いま，確率密度 pde (x) を持つ確率分布に従う i.i.d. 標本と，確率密度 pnu (x) を持つ確率分布に従う i.i.d. 標本

確率推定では，低・ゼロ頻度の離散要素に対する有効な推定法が多く提案されてきた．それらはスムージング法 [8] と呼ば

ni.i.d.

de{xdei }i=1 ∼ pde (x),i.i.d.

nnu{xnuj }j=1 ∼ pnu (x)れ，観測された要素の確率推定値から一定量を割り引き，それを得たとしよう．ここで，標本を構成する要素 x は単語や文字を未観測の要素に対する推定値へ分配する枠組みである．4 節といった離散要素であり，要素の種類ごとに独立の空間が定義で述べる提案手法では，その一つであるラプラススムージン

されることに注意する．すなわち，空間の次元数 v は存在しう

グ [9] と同等の方法を頻度の補正に利用する．スムージング法

る要素の種類数を意味する．これまでの先行研究に倣って，密は尤度比の推定にそのまま適用できないが，確率分布をスムー

度 pde (x) が次の条件を満たすと仮定する．

ジング法で推定して比を取ることはできる．しかし，確率分布の推定を工夫してその比を取るアプローチは，尤度比の推定誤差を大きくすることが報告されている [5]．それゆえ，尤度比の推定法は新たに考案する必要がある．
尤度比は確率分布の比で構成されるため，確率よりもその推定が困難である．尤度比の単純な推定法は，個々の確率分布を推定して比を取ること [10] だが，これは大きな推定誤差を生むことが明らかになっている．そのため，確率分布の推定

pde (x) > 0

for all x ∈ D

これにより，すべての x に対して尤度比の定義が可能になる．
nnu nnude
本節では，標本 {xdei }i=1 と {xj }j=1 から尤度比r(x) =

pnu (x)pde (x)を確率分布の推定を経由せずに直接推定する．

を介さずに，尤度比を直接推定する手法が多く提案されてき二乗損失に基づく直接推定法 unconstrained Least-Squares

た [6], [11], [12], [13]．これらの手法は連続空間での尤度比を推Importance Fitting（uLSIF） [6] では，r(x) を次の線形和で定の対象とし，標本空間から得られる要素も実数値を想定してモデル化する．

rb(x) =bX

rb(x(m) ) = βem (λ)βl φl (x)l=1

β = (β1 , β2 , . . . , βb )T は 標 本 か ら 学 習 さ れ る パ ラ メ ー タ，{φl }bl=1 は非負値を取る基底関数である．なお，b と {φl }bl=1nb m,m + λ)−1 b
= (H
hm

−1
1
1
=
fnu (x(m) )fde (x(m) ) + λ
×
nde
nnu

(6)

nu nnudeは，標本 {xdei }i=1 ，{xj }j=1 と独立である．本来の uLSIF は

本来の uLSIF では，式 (3) の解が負の値を取ることがあり，尤

基底関数の定義中にガウスカーネルを用いたが，この基底関数

度比の非負性を考慮して負の値をゼロに丸める必要があった．

では標本空間が離散であることを考慮できない．そこで，菊地

しかし上式は常に非負であるため，この式がそのまま r(x(m) )ら [5] は要素の種類ごとに異なる，次の基底関数 {δl }vl=1 を代用の推定量になる．

することを提案した．

1
δl (x) =0x = x(l)x=| x(l)

式 (6) では，正則化パラメータ λ が x(m) の頻度に応じて推定値を低めに見積もる．λ がゼロのとき，この式は r(x(m) ) の(1)比を取った結果に等しい．また，この式は尤度比の分母に相当

インデックス l は v 種類存在する要素から特定の要素を指定する．すなわち，x(l) は v 種類存在する要素のうち，l 種類目の要素となる．式 (1) の基底関数を使用すると，x(m) (1 <= v)
=m<に対する推定モデルは次式となる．

rb(x(m) ) =v
Xβl δl (x(m) ) = βm

(2)

uLISF では，推定モデル rb(x(m) ) と真の尤度比 r(x(m) ) の二乗
損失を最小化するパラメータ β を求める．その最適化問題は次ナイーブベイズ分類器は，強い独立性仮定とベイズの定理に個の特徴変数，インスタンス x を特徴ベクトル ⟨a1 , a2 , . . . , aN ⟩とする．ak (1 <=k<=N) は Ak の取る値である．C をクラス変数，c を C の取る値とする．x を適切なクラスへと分類する問
題を解くナイーブベイズ分類器は，次式で定義される．

c∈C

(3)

N
Y

p(ak | c)

(7)

k=1

b
c(x) は x が分類されるクラスラベルである．条件付き確率

R は実 v 次元空間である．上式では β に対する正則化のためにペナルティ項 λ β T β を導入する．ここで λ (>= 0) は正則化
2c は v × v 行列でパラメータ，β β/2 は ℓ2 -正則化項である．H′b l,l′ は次式で定義される．
あり，その (l, l ) 番目の要素 HTp(ak | c) は，各特徴 Ak がクラス c のもとで他の特徴と独立という条件付き独立性の仮定に基づく．この仮定は強力ながら実際には成り立たないことが多く，ナイーブベイズ分類器の性能を低下させる原因の一つとして知られている．
それゆえ，条件付き独立性の仮定を軽減する手法が多く提案されてきた．ここでは，特徴に応じて重み付けた条件付き確率を使用する，Feature Weighted Naive Bayes（FWNB）に着目する．FWNB は次式で定義される．

(4)bc(x) = arg max p(c)c は対角行列になる．また，h は v 次
上式からわかるように H
元ベクトルであり，その l 番目の要素 b
hl は次式で定義される．
nnu
1 X
1
b
hl =
δl (xnufnu (x(l) )j ) =nnu j=1
nnu

3. 2 ナイーブベイズ分類器に対する特徴重み付け法bc(x) = arg max p(c)

v

nde
X
de
b l,l′ = 1
δl (xdeHi )δl′ (xi )nde i=1
 1 fde (x(l) ) (l = l′ )
= nde
0
(l =
| l′ )

する確率分布のみを補正する特殊な形式になっている．

基づく単純な確率的分類器である．いま，A1 , A2 , . . . , AN を N

l=1

式で与えられる 2 ．

1 Tc
b T β + λ βT βmin
β Hβ − h2
β ∈Rv 2

分母・分子に相当する確率分布をそれぞれ最尤推定 1 し，その

c∈C

N
Y

p(ak | c)Wk

(8)

k=1

Wk ∈ R+ は特徴 Ak に対する重みであり，独立性仮定の軽減に有効な Wk を計算する特徴重み付け法が多く提案されてきた．

(5)

式 (8) と式 (7) との差異は重みの有無のみであり，同じ条件付
き確率を式中で用いる．よって，ak の頻度をそのまま利用できf∗ (x(l) ) は，密度 p∗ (x) を持つ確率分布からサンプリングされるため，分類器は訓練データの疎性が高い状況でも有効に作用た x(l) の観測頻度である．式 (3) は拘束無し二次計画問題であすると考えられる．

り，その解は次式で解析的に求められる．

ebc + λ1v )−1 h
β(λ)
= (H

本節では，特徴重み付け法の一つである Correlation-based

Feature Weighting (CFW) ﬁlter [7] を紹介する．この手法は，分類に強く寄与する特徴がクラスと高い相関を持ち，他の特徴

1v は要素が全て 1 の v 次元ベクトルである．そして式 (2)，(4)，とは相関を持たないという前提に基づく．この前提に従い，特(5) より，rb(x(m) ) は次式で簡単に計算できる．

徴–クラス間の相関，および特徴間の平均した相互相関を求め，その差をシグモイド変換したものを特徴の重みとする．重みの2：式 (3) の導出過程は uLSIF の原論文 [6] を参照のこと．

学習アルゴリズムは単純かつ効率的で，計算された重みはナイーブベイズ分類器の性能向上に効果的なことが示されている．

CFW では相関を測る尺度として相互情報量を用いる．Ak(1 <=k<=N) に対する特徴–クラス間の相互情報量 I(Ak ; C) はXX
akが有効に作用しないことも多くなる．
前述の問題を緩和する一つの方法は，各特徴 Ak が他の特徴と独立であると仮定し，r(x) を ak に対する尤度比の積で表す

次式で計算される．

I(Ak ; C) =くなると fnu (x) = 0 となる x が増えるため，式 (6) の推定量p(ak , c) log

cp(ak , c)p(ak )p(c)ことである．すなわち，この仮定の下で r(x) はr(x) =′

同様に，Ak と Ak′ (k =| k ) に対する相互情報量 I(Ak ; Ak′ ) はXXp(ak , ak′ ) log

ak ak′p(ak , ak′ )p(ak )p(ak′ )で仮定した独立性も実際には成立しないことが多い．そのため，
この独立性仮定を軽減する手段が必要になる．
そこで，次式のように r(ak ) を Wk で重み付けする．Wk のそれぞれの確率は相対頻度を使用して計算される．I(Ak ; C) と計算には 3. 2 節で紹介した CFW を使用する．

I(Ak ; Ak′ ) は下式でそれぞれ正規化される．
r(x) ≈

I(Ak ; C)N I(Ak ; C) = 1 PN
k=1 I(Ak ; C)
N

1
N(N−1)NY

rb(ak )Wk

k=1

rb(ak ) =1
fde (ak ) + λ
nde

(9)
−1

×

1
fnu (ak )nnu

加えて，r(ak ) の推定に式 (6) の推定量 rb(ak ) を用いると，低N I(Ak ; Ak′ )=r(ak )

k=1と表される．しかしナイーブベイズ分類器の場合と同様，ここ次式で計算される．

I(Ak ; Ak′ ) =

N
Y

PN

頻度の ak に対しても安定した推定値を算出できる．なお，こI(Ak ; Ak′ )PN

k=1

k′ =1∧k′ =k| I(Ak ; A

k′)

分類に強く寄与する特徴はクラスと高い相関を持ち，他の特徴とは相関を持たないという前提に基づき，Ak に対する重み Dk
は次式で計算される．

n

de
{xde
i }i=1 = {x | c(x) = cde },

nnu
{xnu
j }j=1 = {x | c(x) = cnu }c(x) は x が属する真のクラスラベルである．これらの標本に基1 X
N I(Ak ; Ak′ )N−1 ′N

Dk = N I(Ak ; C) −こでのクラス変数は C = {cde , cnu } であり，それぞれの確率分布から得た標本を次のようにラベル付けする．

k =1

づいて Wk を計算する．
また，fnu (ak ) = 0 となる ak が一つでも存在すると，f∗ (ak )から計算される rb(ak ) がゼロとなり，その積である式 (9) もゼ

開区間 (0, 1) で値を取るよう，Dk は次式でシグモイド変換さロになる．この問題を回避するため，ak の頻度を補正して使用れ，最終的な重み Wk が計算される．

する．以上から，提案する推定量は次式となる．

Wk =1
1 + e−Dk

重み Wk がゼロに近づくと式 (8) の条件付き確率 p(ak | c) は 1に近づく．このとき，p(ak | c) が分類に与える影響は小さくなる．それに対して，Wk が 1 に近づくと p(ak | c) は本来の推定値に近づき，Wk の影響が小さくなる．
以上から CFW は，独立性仮定による悪影響を抑える重み付

rours (x) =NYre(ak )Wk

k=1



1
re(ak ) =(fde (ak ) + 1) + λ
nde + 2
1
×(fnu (ak ) + 1)
nnu + 2

(10)
−1

1
(f∗ (ak ) + 1) は，密度 p∗ (x) を持つ確率分布をラプラススn∗ +2

けになる．また，特徴 Ak とクラス変数 C が与えられれば，重ムージング [9] で推定した結果と等しい．他の補正法として n∗

み付けの対象が条件付き確率でなくとも使用できる．よって 4に ak の種類数を足すことが考えられるが，疎性の高いデータ

節では，CFW を尤度比の推定に応用する．

では ak の種類数が n∗ とほぼ等しくなり，補正前後の値が大きく異なる．そのため，提案手法では n∗ に 2 を足すことにした．

4 提案手法
特徴ベクトル x = ⟨a1 , a2 , . . . , aN ⟩ に対する尤度比r(x) =

pnu (x)pde (x)

また，尤度比は確率分布の比であるため，頻度に加える補正が小さくても推定値が大きく変動すると考えられる．しかし，提案手法では正則化パラメータ λ (>= 0) の導入により，推定値の大きな変動を抑制でき，補正が有効に機能する．提案手法ではそれぞれの re(ak ) が正則化パラメータを持つ．各パラメータはを推定する問題を考える．ak (1 <= N) はベクトルの k 番=k<目に位置する単語や文字などの離散値とし，その連なりである

異なるもので，本来ならば Ak に応じて異なる最適値を設定することが望ましい．しかし，各パラメータを別々に変化させ，

x は N-gram と呼ばれる．このとき，尤度比の簡易な推定法は最適な組み合わせを探索することは計算コストが大きい．加え

x の頻度 f∗ (x) を使用して式 (6) の推定量 rb(x) を求めることでて nde は Ak に依らず共通のため，本稿ではすべての λ が同じある．しかし言語資源の頻度分布はべき乗則に従い，N が大き値を持つと考え調節すべきパラメータを一つとした．

Word 2-gram

表 2: 使用するデータ．N は 10，訓練データは 10,000 記事．
データ

…

Prime

MinisterMargaret Thatcher…

Person name

…

Corp.

of

San

Diego

…

Train

全体の 10-gram

地名の左文脈人名の左文脈

種類数

種類数

種類数

総頻度

総頻度

総頻度

3,906,050 3,922,930 62,228 62,532 66,667 66,766

Valid

392,746

393,445

5,950

5,957

7,348

7,350

Test

394,850

395,145

5,713

5,716

7,520

7,522

表 3: バリデーションデータ，テストデータが含む 10-gram に対する訓練データ（10,000 記事）での頻度分布．ゼロ頻度はLocation name

10-gram が訓練データに含まれないことを意味する．
Valid

図 1: 固有表現とその左文脈の例（N = 2）．

Test

頻度

種類数

頻度

種類数

0

390,1150393,250

1

1,665

1

1,112

2

249

2

146

3

148

3

59

227

る．実験では，固有表現タグを付与したコーパスを使用して固

4
>
=5

342

4
>
=5

233

有表現の左文脈を予測する．固有表現は地名と人名を採用し，

合計

392,746

合計

394,850

5 評価実験
低・ゼロ頻度の N-gram に対する提案手法の有効性を検証す

50

文脈は固有表現の左に出現する単語 N-gram とする．固有表現
およびその左文脈の例を図 1 に示す．人名の文脈では，人名の測する文脈を切り替えるために用いる．各条件からそれぞれ一直前に “Mr.” や “Minister” といった敬称や役職を表す単語がつを選択し，その条件下で文脈の予測を試みる．紙面の都合に出現しやすい．よって，人名の直前に位置する特徴 AN が文脈

より，N が 10，訓練データが 10,000 記事の場合に絞ってデーの予測に大きな役割を果たす．一方で地名の文脈では，地名のタの性質を説明する．使用するデータの詳細を表 2 に示す．ま

直前に前置詞が出現しやすいが，これらは他の文脈でも出現した，バリデーションデータ，テストデータが含む 10-gram に対やすく，文脈の予測には他の単語との依存性も考慮する必要がする訓練データでの頻度分布を表 3 に示す．表 2 から，いずれある．よって人名と異なり，地名のケースでは文脈の予測に寄のデータでも 10-gram の種類数と総頻度が近いことがわかる．

与する特徴の発見が難しい．性質が異なる二つの文脈を予測す

さらに表 3 から，バリデーションデータとテストデータに含まることは，提案手法のふるまいを解明する手助けになると考えれる 10-gram のうち，99%以上が訓練データに出現せず，残りる．また，この実験では正解が一意に定義でき，手法を定量評も大半が低頻度なことがわかる．以上から，実験で扱うデータ価できる．さらに，言語資源の頻度分布はべき乗則に従うゆえ，の疎性が確認できる．

N-gram の次数 N が大きくなると頻度の疎性が非常に高くなる．そのため，この実験は低・ゼロ頻度を多く扱うことになり，提案手法の有効性を検証するのに適している．

5. 2 実 験 手 順
訓練データを N-gram ⟨a1 , a2 , . . . , aN ⟩ 単位に分割し，ak

(1 <
=k <
= N) に対する訓練データ全体，および固有表現の左5. 1 実験データと実験条件での出現頻度を数え上げる．テストデータに含まれる全てのウォール・ストリート・ジャーナルコーパス 3 の 1987 年版
から次の手順で作成したデータを使用する．まず，Stanford

N-gram x に対し，先ほど数え上げた頻度を利用して次の尤度比 r(x) を推定する．

Named Entity Recognizer（NER） [20] を用いてコーパスに固有表現タグを付与した．次に，タグ付けしたコーパスから記事をランダムサンプリングし，訓練データ，バリデーションデー

r(x) =pne (x)ptr (x)

タ，テストデータへと割り振った．バリデーションデータとテ

ptr (x) は x が訓練データの任意位置に出現する確率密度，pne (x)ストデータのサイズは常に 1,000 記事に固定し，訓練データのは x が固有表現の左に出現する確率密度を意味する．また提案

サイズは次の条件に応じて変化させた ．

手法では，尤度比の推定に重み Wk の計算を要する．訓練デー

4•N-gram の次数 N：2，4，6，8，10•

訓練データのサイズ：2,500，5,000，7,500，10,000 記事•

固有表現：地名，人名

上の 2 条件は訓練データの疎性を操作し，最後の条件は予タを用いて Wk はあらかじめ計算しておく．
推定値の降順に N-gram x を種類ごとに順位付けして正誤判定する．判定ではテストデータ中で x が一度でも固有表現の左に出現すれば正解，そうでなければ不正解とする．判定した
上位 8,000 件を用いて，横軸に x の順位，縦軸に再現率を取るランク―再現率曲線を描く．この曲線では，グラフの原点と3：https://catalog.ldc.upenn.edu/LDC2000T43
4：訓練データのサイズを変えるごとに，全データをリサンプリングしている．

曲線上のある点を結んだ直線の傾きが，その点における適合率

に比例する．さらに，N が 10 あるいは訓練データのサイズが手法 3 と手法 4（提案手法）は，調節する正則化パラメータ

10,000 記事の実験では，上位 8,000 件での F1 尺度も計算する．

λ を持つ．λ の最適値は次のように決定した．手法ごとに λ を適合率，再現率，F1 尺度は次式で定義される．

10−9 , 10−8 , . . . , 10−1 と変化させ，それぞれについてバリデー|{x | x ∈ R}||{x}|

ションデータをテストデータとみなし，5. 2 節の手順に従って|{x | x ∈ R}|
Recall =|R|となる λ の値を採用した．訓練データが 7,500 記事と 10,000

Precision =ランク―再現率曲線を描いた．そして，その曲線下面積が最大

2 × Precision × Recall
Precision + Recall

F1 =ここで，R はテストデータにおいて固有表現の左に出現する

N-gram の集合，すなわち正解集合を意味する．

実験では，低・ゼロ頻度 N-gram に対する提案手法の有効性のみならず，提案手法で導入される正則化パラメータ λ，および重み Wk それぞれの有効性，さらにはそれらの組み合わせることの有効性も検証する．このことを踏まえて提案手法を含む，
以下の 4 手法を比較対象とした．なお，4 節の式 (10) に示した提案手法と同様，他の比較手法に対してもゼロ頻度への対策と手法 1：ベースライン

尤度比 r(ak ) の推定法として，確率分

布の推定量をそれぞれ求めてその比を取る，間接推定法を用いる．手法の推定式は次式となる．

ランク―再現率曲線については，N が 2，6，10 かつ訓練デー
タが 10,000 記事の場合に限り説明する．なお，他の実験条件
でも，曲線から読み取れる手法間の優劣が同様の傾向を示すことを確認した．固有表現が地名および人名の曲線を図 2 と図 3に示す．これらの曲線は横軸に N-gram の順位，縦軸に再現率を取る．また，グラフの原点と曲線上のある点を結んだ直線の再現率を持つ手法がその順位で最良の手法となる．ベースライ
ン，重み付けのみの手法は，正則化を導入した二手法と比べて著しく性能が低い．これは低・ゼロ頻度の N-gram に対し，不は，N が大きくなるとベースラインよりもやや高い再現率を示

r̄(ak )

−11(ftr (ak ) + 1)
ntr + 2
1
×(fne (ak ) + 1)
nne + 2

手法 2：重み付け手法 1 に対し，CFW [7] による重み付けを応用する．手法の推定式は次式となる．重み Wk は訓練データから計算でき，正則化パラメータの有無に依らない．それゆえ提案手法と共通の重みを用いる．

rW (x) =イズ以外にはロバストという性質が見て取れた．

当に高い推定値を付与したためと考える．重み付けのみの手法

k=1

r̄(ak ) =場合は最適値が 10−4 となった．よって，λ が訓練データのサ

傾きが，その点における適合率に比例する．ある順位で最高のして補正した頻度を使用する 5 ．

rB (x) =10−5 となった．一方，訓練データが 2,500 記事と 5,000 記事の

5. 4 結果と考察

5. 3 比 較 手 法

NY

記事の場合は，重み Wk の有無と他の条件に依らず最適値がNYr̄(ak )Wk

した．よって，正則化がない場合でも重み付けの有効性を確認した．一方，正則化を導入した二手法では大幅な性能向上が確認できた．これは低・ゼロ頻度の N-gram に対する尤度比の過大推定を防ぎ，安定した推定値を付与する正則化の作用によるものと考える．また，正則化と重み付けを組み合わせた提案手法は，N が大きくなるほど有効に作用した．特に，図 3(c) では
予測対象が 10-gram でも，上位 8,000 件で 0.5 近くの高い再現率を示した．よって，正則化と特徴重み付けは相性が良く，尤
度比の推定でそれらを組み合わせることの有効性が確認できた．

N を変化させた場合と，訓練データのサイズを変化させた場
合の F1 尺度を図 4 と図 5 に示す．比較手法はランク―再現率

k=1

菊地ら [5] の手法を用いて，尤度比 r(ak ) を曲線にて有効性を確認した二手法とした．図 4 から次のことが直接推定する．正則化パラメータ λ は後述の方法で設定する．

わかる．正則化のみの手法は N が 4 以上になると F1 値が単調手法の推定式は次式となる．

減少する．それに対して，提案手法の F1 値は N の変化にロバ

手法 3：正則化

rR (x) =N
Y

ストであり，N が大きくなるほど二手法の性能差が開いてゆく．

re(ak )

k=1



−1
1
re(ak ) =(ftr (ak ) + 1) + λ
ntr + 2
1
×(fne (ak ) + 1)
nne + 2
手法 4：正則化+重み付け（提案手法） 手法 3 に対し，CFW
による重み付けを応用する．λ は後述の方法で設定する．推定
式は式 (10) に示したとおりである．

図 4(b) に示す人名のケースでその傾向が顕著である．一方で
図 5 からは次のことがわかる．N が 10 と大きい場合は，訓練
データのサイズに依らず提案手法がほぼ一定の性能向上を示した．以上から，提案手法に導入された特徴重み付けは N が十分大きいと有効に作用し，その有効性は訓練データのサイズが小
さくても保たれることが示唆された．
しかし，N = 2 や固有表現が地名のケースでは，提案手法と正則化のみの手法との性能差が小さい．計算された重みに注
目すると，固有表現が人名で N が 6 および 10 の場合は人名直5：頻度の補正については予備実験にて有効性を確認した．具体的には，本稿と同様の実験で提案手法と式 (9) との性能を比較し，提案手法の優位性を示した．
特徴重み付け法の利用に焦点を当てるため，本稿では実験結果の詳細を省略する．

前の特徴 A6 ，A10 に大きな重み（それぞれ 0.820 と 0.890）が与えられた．一方で N = 2 の場合は重み W1 と W2 が 0.414，

0.3

0.35

ベースライン

重み付け

0.3

ベースライン

重み付け

0.25

正則化

重み付け

0.25

正則化

正則化+重み付け

0.25

正則化

正則化+重み付け

正則化+重み付け

0.2
0.15

0.2

Recall0.2

RecallRecall0.3

ベースライン

0.15

0.15

0.1

0.1

0.05

0.05

0.1
0.05
0

0

0

2000

4000

6000

8000

0

0

2000

4000

6000

8000

0

2000

4000

Rank

Rank

Rank

(a) N=2(b) N=6(c) N=10

6000

8000

6000

8000

図 2: 地名に対する文脈のランク―再現率曲線．訓練データは 10,000 記事である．
0.5

0.5
ベースライン

重み付け

重み付け

正則化

0.4

0.5

ベースライン

ベースライン
重み付け

正則化

0.4

正則化+重み付け

正則化+重み付け

正則化+重み付け

Recall

0.3

Recall

0.3

Recall

0.3

0.2

0.2

0.2

0.1

0.1

0.1

0

0

0

2000

正則化

0.4

4000

6000

8000

0

0

2000

4000

Rank

Rank

(a) N=2(b) N=6

6000

8000

0

2000

4000

Rank

(c) N=10

図 3: 人名に対する文脈のランク―再現率曲線．訓練データは 10,000 記事である．

0.586 と共に小さく，人名直前という重要な特徴の特定が不十分であった．また，地名の場合は人名のように 0.8 を超える大きな重みがなく，重要な特徴の判別が困難であった．上記のケースでは重み付けが有効に作用せず，さらなる改善が必要になる．
その方策として，特徴値 ak とその出現位置の両方を考慮した重み付けを実現したい．ak に対する重み付け法として，Term

Weighting [21] 等の利用が考えられるが，これらを単純に適用するだけでは出現位置の情報を保持できない．したがって，両方の情報を保持した特徴重み付け法の開発，および尤度比推定への応用が今後の課題となる．

6 おわりに低・ゼロ頻度 N-gram に対して有効な尤度比の推定法を提案した．提案手法は次の手順で定式化される．まず，N-gram を成す特徴 Ak (1 <=k<= N) を個別に扱い，特徴値 ak ごとに尤度比を推定する．次に，特徴間の独立性は実際に成立しないことが多いため，ナイーブベイズ分類器のための特徴重み付け法
を，個々の尤度比に組み合わせる．これによって，特徴間に仮定された独立性による悪影響を軽減できる．最後に，重み付けした尤度比の積を取る．尤度比に基づく文脈予測の実験を行い，N が十分に大きい場合や予測に有効な特徴が特定しやすい場合
において，提案手法の有効性を確認できた．今後の課題として，

ak に応じたより細かい重み付けの適用が考えられる．また，離散特徴を持つ分類問題への応用も期待できる．

文

献[1] Scott Glover and Peter Dixon. Likelihood ratios: A simple and ﬂexible statistic for empirical psychologists. Psychonomic Bulletin & Review, Vol. 11, No. 5, pp. 791–806,
2004.
[2] 中西健太郎, 田中利幸, 上田修功. 尤度比に基づく順位づけ関数
による受信者操作特性曲線下面積の漸近的性質. 電子情報通信学
会技術研究報告, 2015. IBISML2014-92.
[3] Ted Dunning. Accurate methods for the statistics of surprise and coincidence. Computational linguistics, Vol. 19,
No. 1, pp. 61–74, 1993.
[4] Christopher D. Manning and Hinrich Schütze. Foundationsof statistical natural language processing. MIT press, 1999.
[5] 菊地真人, 川上賢十, 吉田光男, 梅村恭司. 観測頻度に基づくゆう度比の保守的な直接推定. 電子情報通信学会論文誌 D, Vol.
J102-D, No. 4, pp. 289–301, 2019.
[6] Takafumi Kanamori, Shohei Hido, and Masashi Sugiyama.
A least-squares approach to direct importance estimation.
Journal of Machine Learning Research, Vol. 10, pp. 1391–
1445, July 2009.
[7] Liangxiao Jiang, Lungan Zhang, Chaoqun Li, and Jia Wu.
A correlation-based feature weighting ﬁlter for naive bayes.
IEEE Transactions on Knowledge and Data Engineering,Vol. 31, No. 2, pp. 201–213, 2018.
[8] Stanley F. Chen and Joshua Goodman. An empirical studyof smoothing techniques for language modeling. Computer
Speech & Language, Vol. 13, No. 4, pp. 359–394, 1999.
[9] George James Lidstone. Note on the general case of thebayes-laplace formula for inductive or a posteriori probabilities. Transactions of the Faculty of Actuaries, Vol. 8, pp.
182–192, 1920.
[10] Wolfgang Härdle, Marlene Müller, Stefan Sperlich, andAxel Werwatz. Nonparametric and semiparametric mod-

0.49

0.26
0.252

0.252

0.47

0.250

F1 measure

F1 measure

0.24

0.244

0.241

0.238

0.238

0.478

0.463

0.25
0.245

0.480

0.480

0.479

0.450

0.45

0.432

0.43

0.234

0.415

0.23

0.41
正則化

0.398

正則化

正則化+重み付け

0.391

正則化+重み付け

0.223

0.22

2

4

6

8

0.39
2

10

4

6

N

N

(a) 地名(b) 人名810

図 4: 訓練データを 10,000 記事に固定し，N を変化させた F1 尺度．
0.48
正則化
0.24

正則化

正則化+重み付け

0.46

0.244

0.234

0.479

0.478

正則化+重み付け

0.44

F1 measure

F1 measure

0.223

0.22
0.211
0.214

0.199

0.415

0.420.425
0.417

0.401

0.4

0.380.376

0.2

0.201

0.36

0.184

0.18
2500

0.345

5000

7500

0.34
2500

10000

Number of training articles

5000

7500

10000

Number of training articles(a) 地名(b) 人名図 5: N を 10 に固定し，訓練データのサイズを変化させた F1 尺度．

els. Springer Science & Business Media, 2012.
[11] Jiayuan Huang, Alexander J. Smola, Arthur Gretton,
Karsten M. Borgwardt, and Bernhard Schölkopf. Correcting sample selection bias by unlabeled data. In Advancesin Neural Information Processing Systems 19, pp. 601–608,
2007.
[12] Steﬀen Bickel, Michael Brückner, and Tobias Scheﬀer. Discriminative learning for diﬀering training and test distributions. In Proceedings of the 24th International Conference
on Machine Learning (ICML’07), pp. 81–88, 2007.
[13] Masashi Sugiyama, Shinichi Nakajima, Hisashi Kashima,
Paul von Bünau, and Motoaki Kawanabe. Direct importance estimation with model selection and its application
to covariate shift adaptation. In Advances in Neural Information Processing Systems 20, pp. 1433–1440, 2008.
[14] Jia Wu, Shirui Pan, Xingquan Zhu, Peng Zhang, andChengqi Zhang. SODE: Self-adaptive one-dependence estimators for classiﬁcation. Pattern Recognition, Vol. 51, pp.
358–377, 2016.
[15] Bo Tang, Steven Kay, and Haibo He. Toward optimal feature selection in naive bayes for text categorization. IEEE
Transactions on Knowledge and Data Engineering, Vol. 28,
No. 9, pp. 2508–2521, 2016.
[16] Eibe Frank, Mark Hall, and Bernhard Pfahringer. Locallyweighted naive bayes. In Proceedings of the 19th Confer-

[17]

[18]

[19]

[20]

[21]

ence on Uncertainty in Artiﬁcial Intelligence (UAI’03), pp.
249–256, 2003.
Liangxiao Jiang, Dianhong Wang, and Zhihua Cai. Discriminatively weighted naive bayes and its application in
text classiﬁcation. International Journal on Artiﬁcial Intelligence Tools, Vol. 21, No. 1, 2012.
Diab M. Diab and Khalil M. El Hindi. Using diﬀerential
evolution for ﬁne tuning naive bayesian classiﬁers and its
application for text classiﬁcation. Applied Soft Computing,Vol. 54, pp. 183–199, 2017.
Nayyar A. Zaidi, Jesùs Cerquides, Mark J. Carman, andGeoﬀrey I. Webb. Alleviating naive bayes attribute independence assumption by attribute weighting. Journal of
Machine Learning Research, Vol. 14, No. 1, pp. 1947–1988,2013.
Jenny Rose Finkel, Trond Grenager, and Christopher Manning. Incorporating non-local information into information
extraction systems by Gibbs sampling. In Proceedings of the
43rd Annual Meeting of the Association for Computational
Linguistics (ACL’05), pp. 363–370, 2005.
Gerard Salton, Anita Wong, and Chung-Shu Yang. A vector space model for automatic indexing. Communicationsof the ACM, Vol. 18, No. 11, pp. 613–620, 1975.