DEIM Forum 2018 G3–3

バイグラム分布の尤度比直接推定を可能とする基底関数の提案
川上 賢十†

菊地 真人†

吉田 光男†

梅村 恭司†† 豊橋技術科学大学 〒 441–8580 愛知県豊橋市天伯町雲雀ヶ丘 1–1
E-mail: †{k131820,m143313}@edu.tut.ac.jp, ††yoshida@cs.tut.ac.jp, †††umemura@tut.jp
あらまし

尤度比の推定は，異常検知，条件付き確率密度推定，確率的パターン認識などの多くのタスクに用いられている．尤度比の直接推定法では，モデルの選び方が重要であるが，バイグラム分布においては，適切な基底関数が知られていない．我々は，ユニグラムとバイグラムの関係に着目し，尤度比の直接推定に使用出来る基底関数を報告する．また，報告する基底関数を用いて，尤度比推定の定式化を行い，評価実験を行った．評価実験の結果，尤度比の直接推定を用いた推定が通常用いられる方法と比較し良い性能を示すことを確認した．
キーワード テキストマイニング, 尤度比, 基底関数, 線形補間

1. は じ め に尤度比の推定は異常検知や特徴検出選択，条件付き確率密度

また，統計的なデータ解析の主なタスクは，データの背後にある確率分布を推定することであり，その確率分布を用いた，
尤度比も同様に多くのタスクに用いられており，尤度比の推定

推定，確率的パターン認識など，多くのタスクで使用される [1]．

は，異常検知や特徴選択，独立成分分析，条件付き確率密度推

これらは，データの背後にある確率分布を推定し，尤度を求め定などの様々なタスクに用いられている [1]．

ることで，実現することが出来る．しかし，確率分布をそれぞ

バイグラムの尤度比を用いた応用研究としては，企業名の抽れ推定し，尤度比を求めることは，推定誤差が大きくなる可能出が行われている [5]．この研究では，バイグラムの尤度比を用性がある．そこで，尤度比を構成する確率分布をそれぞれ推いて抽出を行っている．尤度比の推定性能向上が応用上の性能定するのではなく，尤度比を直接推定する手法が提案されてい向上につながると期待できる．

る [2], [3]．しかし，既存の尤度比の直接推定手法は連続な分布を対象としている．尤度比の直接推定には，基底関数の選択が3. 提 案 手 法

重要となるが，非連続な分布に対する基底関数は提案されてい我々は，非連続な分布であるバイグラム分布の尤度比の直接ない．そこで，我々は，非連続な分布である，バイグラム分布推定に使用可能な基底関数を提案する．また，連続分布の尤度の尤度比を直接推定する基底関数の提案する．また，提案した比の直接推定に用いられる基底関数であるガウス関数は連続な基底関数を元に，バイグラム分布の尤度比の直接推定を行った．

確率空間の近傍を，尤度比の推定に用いる能力がある．バイグ

そして，直接推定にて導出した推定式の性能を確認するために，

ラム分布において近傍の確率空間を用いることは出来ないが，カタカナの直前に出現するバイグラムの推定という評価用のタ

ユニグラムの尤度比を利用できるのではないかと考えた．そこ

スクを用いて実験を行った．実験の結果，パラメータに依存すで，線形補間を用いて，バイグラム分布の尤度比の直接推定にるものの提案した基底関数を用いた推定が通常用いられる方法

ユニグラムの尤度比を用いる．提案する基底関数は，これを可と比較し良い性能を示すことを確認した．

能とする基底関数である．

2. 関 連 研 究

本論文では，バイグラムの出現確率を P (wi ∈ Rc , wj ∈ Rc )を用いて表す．これは “wi wj ” という文字列が出現する確率で尤度比の直接推定法 [2] は，尤度比を構成する 2 つの確率のある．よって， P (wi ∈ Rc , wj ∈ Rc ) と P (wj ∈ Rc , wi ∈ Rc )

推定値を用いて推定を行うよりも，正確に推定を行うことが出は異なる確率を表す．また， P (wi ∈ Rc , ∗) は 1 文字目に wi来ると報告されている．この手法は，尤度比を構成する確率そをとり， 2 文字目を限定しない確率となり，2 文字目について∑Rc
j=1 P (wi , wj ) とな

れぞれの精度を向上するのではなく，尤度比のそのものの推定

周辺化を行った確率であり，P (wi , ∗) =誤差をコスト関数が最小になるように定式化し推定を行う．コる．また Rc データ中に存在する全ての文字空間である．

スト関数は，観測データを用いて表現される．尤度比の推定がまず，本論文で使用する関数を以下のように定義する．

基底関数の線形結合によって表現出来ると仮定することによっp(wi , wj ) := P (wi ∈ Rc , wj ∈ Rc )(1)て重みが加えられる．尤度比の直接推定法では，この基底関数

p(wi , wj | D) := P (wi ∈ Rc , wj ∈ Rc | D)

(2)の選択が重要となる．これまでに，ガウス関数のような，連続P (wi ∈ Rc , wj ∈ Rc | D)r(wi , wj ) :=P (wi ∈ Rc , wj ∈ Rc )(3)て，コスト最小化問題の解は各基底関数と尤度比の形状によっ分布の場合に使用可能な基底関数が提案されている [3], [4]．本
研究では，バイグラム分布のような非連続な分布に着目し研究

ここで D は推定を行いたい条件を表しており，推定の内容にを行う．

より変化する．

以降，バイグラムの尤度比である r(wi , wj ) を推定すること

J(α) := J0 (α) − Cを目的として定式化を行う．
まず，単純なバイグラムの尤度比の直接推定を行う．次に，=

1r̂(wi , wj )2 p(wi , wj )2 i,j=1

バイグラムの線形補間 [6] を用いてユニグラムを使用する尤度−比の直接推定を行う．

(12)

v
∑

v
∑

r̂(wi , wj )p(wi , wj | D)

(13)

i,j=1

3. 1 バイグラム分布の尤度比推定
単純なバイグラム分布の尤度比の直接推定を行う．提案の基底関数に対して，直接推定手法として uLSIF を選んだ．具体的な式は，基底関数によって変化するが，式の運用方法は [2]と同様である．まず，バイグラムの尤度比 r(wi , wj ) を学習に

また，確率 p を推定量 p̂ にした，コスト関数の推定 Jˆ は以下のようになる．
v
1 ∑
ˆ
J(α)
:=
r̂(wi , wj )2 p̂(wi , wj )2 i,j=1

よって決定されるパラメータ α と基底関数 ϕ を用いて以下の−ように定義する．

v∑

r̂(wi , wj )p̂(wi , wj | D)

(14)

i,j=1

r̂(x, y) := αT ϕ(x, y)v∑=

αij ϕij (x, y)

(4)
(5)

ここで p̂ の推定方法は限定しない．本論文における実験では最尤推定量を用いた．
コスト関数に，安定化のために l2 正則化項を追加し，以下i,j=1

ここで α はベクトルであり， αij は α の (i × v + j) 番目の要素を表す．αij はバイグラム分布を扱うために，式の簡単化のために，ベクトルの要素にもかかわらず添え字を 2 つ使用している．同様に ϕ はベクトルであり， ϕij は ϕ の (i × v + j)
番目の要素を表す．また v はデータの種類数，今回は全ての文の最適化問題を得ることが出来る．ここで，パラメータ λ は 0以上の実数となる．
[
]
λ
ˆ
min
J(α)
+ αT α2
α∈Rv×v
この最適化問題は解析的に解くことが出来る．
すべての αij てそれぞれ微分し，イコール 0 とおく．

字の種数を表す．
ここで我々は以下のような基底関数を提案する．

ϕij (x, y) :=

(15)


1

(x = wi , y = wj )

0

(6)

∂
λ
ˆ
(J(α)
+ αT α) = 0
∂αij
2

(16)

αij (p̂(wi , wj ) + λ) − p̂(wi , wj | D) = 0(17)p̂(wi , wj | D)αij =p̂(wi , wj ) + λ(18)otherwise

この基底関数は，尤度比の推定を行うバイグラムのみを見ていuLSIF では， αij を非負とするために，以下のように補正した

ることになる．

推定量 αˆij を得る．

基底関数の定義により r̂(wi , wj ) を以下のように展開するこαˆij := max(0, αij )とが出来る．
v∑

r̂(wi , wj ) =αi′ j ′ ϕij (wi , wj )(7)

i′ ,j ′ =1

= αij

(8)

1 ∑
(r̂(wi , wj ) − r(wi , wj ))2 p(wi , wj )2 i,j=1v

J0 (α) :=

=

v
1 ∑

2 i,j=1
−

v
∑

(9)

C :=

2 i,j=1

必要なく，我々の基底関数の定義により，r̂(wi , wj ) は以下のようになる．

p̂(wi , wj | D)p̂(wi , wj ) + λパラメータ λ はデータから決定する必要がある．また， λ = 0の場合は，間接推定と同一の推定式になる．

3. 2 線形補間を用いたバイグラム分布の尤度比推定r̂(wi , wj )2 p(wi , wj )線形補間を用いて，バイグラム分布の尤度比を推定する．推定する尤度比 r̂(wi , wj ) を次のモデルで表現する．

r̂(wi , wj )p(wi , wj | D) + C(10)r(wi , wj )2 p(wi , wj )

(11)

i,j=1
v
1 ∑

だが，今回導出した，αij は常に正となる．そのため，補正はr̂(wi , wj ) =そして，コスト関数 J0 を以下のように定義する．

(19)

このコスト関数が最小になった時に，二乗誤差が最小となる．
よって，このコスト関数が最小となるようにパラメータ α の推定を行う．ここで，学習により決定するパラメータ α を含まない項を削除し J を定義する．

r̂(wi , wj ) := µr̂b (wi , wj ) + (1 − µ)r̂u (wi , ∗)r̂u (∗, wj ) (20)
ここで，rb (x, y) はバイグラムに対する尤度比， ru (x, y) はユニグラムに対する尤度比とする．また， µ(∈ [0, 1]) は線形補間のパラメータであり，データから決定される．
まず，独立して計算可能な ru (x, ∗) の尤度比を推定する．

ru (x, ∗) は以下のように定義する．
ru (x, ∗) :=p(x, ∗ | D)p(x, ∗)

ru (x, ∗) を学習により決定されるパラメータ β と，基底関数なる．

ϕu を用いて，以下のようにモデル化する．
r̂u (x, ∗) := β T ϕu (x, ∗)=vu∑

βi ϕui (x, ∗)また，同様に処理を行い r̂u (∗, wj ) の推定は以下のように

(21)
(22)

i=1

p̂(∗, wj | D)p̂(∗, wj ) + λr̂u (∗, wj ) =(34)

上記の推定結果を用いて，r̂(wi , wj ) の推定式は以下のようになる．

β はベクトルであり， βi は β の i 番目の要素である，同様に
ϕu もベクトルであり， ϕui は ϕu の i 番目の要素である．こr̂(wi , wj ) = µr̂b (wi , wj )こで， vu はデータに含まれるユニグラムの種類数であり，ベ

+(1 − µ)クトルの次元数でもある．
そして，我々は，ユニグラムの尤度比の推定のために以下の基底関数を提案する．
1(x = wi )ϕui (x, ∗) :=0otherwise

続いて，rb (wi , wj ) の推定を行う．r(x, y) は p(x, y | D) と

α と基底関数 ϕ を用いて以下のようにモデル化する．
(23)とが出来る．

r̂(wi , wj ) := µαT ϕ(x, y) + (1 − µ)U (wi , wj )U (wi , wj ) :=p̂(wi , ∗ | D) p̂(∗, wj | D)p̂(wi , ∗) + λ p̂(∗, wj ) + λ

(36)
(37)

U (x, y) はユニグラムを用いたバイグラムの推定式をまとめた
vu∑

βi ϕui (x, ∗)

(24)

i=1

= βi

(25)

この r̂u (x, y) を真の尤度比 ru (x, y) の二乗誤差を最小にするように決定していく．コスト関数を以下のように定義する．

1∑
Ju0 (β) :=(r̂u (wi , ∗) − ru (wi , ∗))2 p(wi , ∗)
2 i=0
vu

(26)

関数である．基底関数は式 6 を用いる．ここで α はベクトルであり， αij は α の (i × v + j) 番目の要素を表す．αij はバ
イグラム分布を扱うために，式の簡単化のために，ベクトルの要素にもかかわらず添え字を 2 つ使用している．同様に ϕ はベクトルであり， ϕij は ϕ の (i × v + j) 番目の要素を表す．
また v はデータの種類数，今回は全ての文字の種数を表す．
この基底関数の定義により， r̂(wi , wj ) を以下のように変形することが出来る．

これを展開し，定数を除外すると以下のようになる．

Ju (β) :=(35)

p(x, y) の比であり，推定量は学習により決定するパラメータ

この基底関数の定義により r̂u (x, ∗) は以下のように展開するこr̂u (x, ∗) =p̂(wi , ∗ | D) p̂(∗, wj | D)p̂(wi , ∗) + λ p̂(∗, wj ) + λr̂(wi , wj ) = µαT ϕ(x, y) + (1 − µ)U (wi , wj )vu∑

1r̂u (wi , ∗)2 p(wi , ∗) −
2 i=1
vu
∑

r̂u (wi , ∗)p(wi , ∗ | D)

= µ

v
∑

(38)

αij ϕij (x, y) + (1 − µ)U (wi , wj ) (39)i,j=1

= µαij + (1 − µ)U (wi , wj )

(27)

i=1

(40)

r̂(wi , wj ) と r(wi , wj ) の二乗誤差を最小とするようにパラ

この二乗誤差を最小とするようにパラメータ β を決定する．
[]
ˆu (β) + λ β T β
min
J
β∈Rvu
2

メータ α を決定する．

1 ∑(r̂(wi , wj ) − r(wi , wj ))2 p(wi , wj )2 i,j=1
v

J0 :=

(41)

1 ∑
r̂(wi , wj )2 p(wi , wj )2 i,j=1v

この最適化問題は解析的に解くことが出来る．すべての βij で=それぞれ微分し，0 と置き，最適解を得る．

∂ ˆ
λ(Ju (β) + β T β) = 0
∂βi
2

(28)

βi (p̂(wi , ∗) + λ) = p̂(wi , ∗ | D)(29)p̂(wi , ∗ | D)βi =p̂(wi , ∗) + λ(30)

義より r̂u (wi , ∗) は以下のようになる．

r̂u (wi , wj ) =βi ϕi (x, ∗)=p̂(wi , ∗ | D)p̂(wi ∗) + λr̂(wi , wj )p(wi , wj | D) + Cr

(42)

i,j=1

= F − S + Cr
Cr :=

v
∑

r(wi , wj )2 p(wi , wj )

(43)
(44)

v はバイグラムの種類数であり，パラメータの次元数となっている．また，展開式の第一項を F ，第二項を S としている．

(31)

i=1

= βi

v
∑

i,j=0

また，この βij は常に正となり，補正は必要ない．よって，定

vu
∑

−

(32)
(33)

F を定義より展開すると以下のようになる，1 ∑r̂(wi , wj )2 p̂(wi , wj )2 i,j=1

える．

v

F =

(45)
r̂(wi , wj ) := µαˆij + (1 − µ)U (wi , wj )1 ∑=(µαT ϕ(x, y) + (1 − µ)U (wi , wj ))2 p̂(wi , wj )2 i,j=1v

U (wi , wj ) :=αˆij := max(0,(46)=

p̂(wi , wj | D) − 2(1 − µ)U (wi , wj )p̂(wi , wj ))µp̂(wi , wj ) + µλv∑

1{µ2 (αT ϕ(x, y))2
2 i,j=1+2µ(1 − µ)αT ϕ(x, y)U (wi , wj )+{(1 − µ)U (wi , wj )}2 }p̂(wi , wj )ここで p̂ の推定方法は限定しない．本論文における実験では最(47)

尤推定量を用いた．

1 ∑{(µ2 (αT ϕ(wi , wi ))2
2 i,j=1
v

=

4. 実

験

+2(µ − µ2 )αT ϕ(wi , wi )U (wi , wj ))}p̂(wi , wj ) + CF

提案した基底関数を用いた，バイグラム分布の尤度比の推定(48)

性能を評価することが実験の目的である．直接推定の性能を確認するために最尤推定と，線形補間を用いたバイグラム分布のここで CF は α に関わらない定数をまとめた項である．

直接推定の性能を確認するためにバイグラムの線形補間を行っ

S を定義より展開すると以下のようになる．
S=p̂(∗, wj | D)p̂(wi , ∗ | D)×p̂(wi , ∗) + λp̂(∗, wj ) + λv∑µαT ϕ(wi , wj )p(wi , wj | D) + CS

た尤度比とそれぞれ比較を行う．
比較対象の式はそれぞれ以下のようになる．

(49)

•

i,j=1

直接推定

ここで CS は α に関わらない定数をまとめた項である．
これらにより最小化する目的関数 J は J0 から定数を除外しr̂de (wi , wj ) =以下のようになる．

•

J := J0 − Cr − CF − CSp̂(wi , wj | D)p̂(wi , wj ) + λ

最尤推定

(50)

J に安定化のために l2 正則化項を追加し以下の最適化問題
を得ることが出来る．
[ ∑
v
2
T
2
1
min
i,j=1 {(µ (α ϕ(wi , wi ))2r̂hl (wi , wj ) =•p̂(wi , wj | D)p̂(wi , wj )直接推定 (線形補間)α∈Rv×v+2(µ − µ2 )αT ϕ(wi , wi )U (wi , wj ))}p̂(wi , wj )∑− vi,j=1 µαT ϕ(wi , wj )p(wi , wj | D)]
+ λ2 αT αr̂(wi , wj ) := µαˆij + (1 − µ)U (wi , wj )U (wi , wj ) :=p̂(wi , ∗ | D)p̂(∗, wj | D)×p̂(wi , ∗) + λp̂(∗, wj ) + λαˆij := max(0,この最適化問題は解析的に解くことが出来る．

p̂(wi , wj | D) − 2(1 − µ)U (wi , wj )p̂(wi , wj ))µp̂(wi , wj ) + µλ

すべての αij でそれぞれ微分しイコール 0 とおく．

µ2 αij + 2(µ − µ2 )U (wi , wj )p(wi , wj )−µp(wi , wj | D) + λαij = 0

(51)

•

(52)

r̂li (wi , wj ) =線形補間

αij (µ2 p(wi , wj ) + λ)= µp(wi , wj | D) − 2(µ − µ2 )U p(wi , wj )αij =µp(wi , wj | D) − 2(µ − µ2 )U (wi , wj )p(wi , wj )µ2 p(wi , wj ) + λµp(wi , wj | D) + (1 − µ)p(wi , ∗ | D)p(∗, wj | D)µp(wi , wj ) + (1 − µ)p(wi , ∗)p(∗, wj )また，実験では， p̂ は最尤推定によって求められるバイグラム
やユニグラムの出現頻度であり，スムージングなどは行わない．

(53)

この 4 手法のうち，直接推定を用いている推定式が提案手法とαij は負の値を取る可能性があるため，uLSIF の考え方に従って，以下のように補正を行う．

なる．
評価用のタスクには，尤度比そのものの推定性能を評価するµp(wi , wj | D) − 2(µ − µ )U (wi , wj )p(wi , wj ) という目的のために，評価のための正解が明快なタスクを選択)µ2 p(wi , wj ) + λ
した．具体的には新聞の記事データを用いてカタカナの直前に
2αˆij := max(0,(54) 出現するバイグラムの推定を行った．次の尤度比を推定対象と導出した αˆij を r̂(wi , wj ) に代入することで以下の推定式をする．

p(wi , wj | D)p(wi , wj )分子はカタカナの直前のバイグラムの頻度，分母はデータ全体のバイグラムの頻度になっている．これは，バイグラムがカタ

グラム全体を， p(wi , wj | D) においてはラベル付けされたバ
イグラムを用いる．
実験データ中に含まれる，全体のバイグラムの数，種数，カタカナの直前のバイグラムの数，種数を表 1 に示す．

カナの直前に出現する確率に，そのバイグラムがデータ全体で4. 2 実 験 結 果

出現する確率を用いて補正を行うという式になる．つまり，こそれぞれのパラメータによる Area の実験結果を表 2,3 に示の尤度比の値が大きければ大きいほど，カタカナの直前に出現

す．データに対して，それぞれ最も良い手法に対して，下線がしやすいバイグラムということになる．

引かれている．パラメータ (1) に関しては，いずれのデータに実験ではまず，新聞の記事データから学習データとテスト

対しても，直接推定が最も良い性能を示しており，パラメータ

データをランダムにサンプリングする．学習データとテスト(2) に関しては，線形補間を用いた直接推定手法が良い性能を

データをそれぞれ，全体のバイグラム，カタカナの直前に出現示している．また，パラメータ (1) と比較し，パラメータ (2)するバイグラムに分ける．学習データの全体のバイグラムとカにおいて，線形補間を用いた直接推定手法がよい性能を示してタカナの直前に出現するバイグラムを用いて，事前にバイグラ

いるが，線形補間を用いない直接推定手法においては性能に大ムの出現頻度を計算する．そして，テストデータの全体のバイきな変化は見られなかった．

グラムから，そのバイグラム 1 つ 1 つの尤度比の推定値を計算

それぞれのパラメータにおける 1991 年における再現率の変していく．この推定値が大きければ大きいほど，カタカナの直化をグラフに描画したものを図 1,2 に示す．上位 5, 000 件では前のバイグラムである可能性が高いため，バイグラムの推定値

大きな差はないが，以降，直接推定手法を用いた提案式がそれを元に，降順でソートする．ソートされたバイグラムを上位かぞれよい性能を示していることが分かる．このことから，提案ら順に，テストデータのカタカナの直前に出現するバイグラム

した基底関数が合理的であると解釈できる．

の中に存在するかを確認していく．カタカナの直前に出現するバイグラム中にバイグラムが存在すれば正解，出現しなければ不正解とする．バイグラムがカタカナの直前とそれ以外の両方に出現する場合は正解とする．そうして，テストデータのバイ
グラムの上位 n 件での再現率を 10, 000 件までの再現率を評価する．再現率は以下の式で表される．

Recall(i) =上位 i 件の正解バイグラム数
カタカナの直前のバイグラム数

評価には，上位 1 件から 10, 000 件までの再現率を合計し，それぞれの手法での再現率の面積として使用する．

Area =

10000∑

Recall(i)i=1

この評価では，面積が大きければ大きいほど，精度良くバイグ
ラムの尤度比の推定が行えていることになる．

図 1 実験結果: λ = 0.1, µ = 0.9 1991 年

4. 1 実 験 設 定
今回比較を行う手法にはいくつかのパラメータが存在する．
今回は以下の 2 組の組み合わせのパラメータを使用した．
（ 1 ） λ = 0.1 , µ = 0.9（ 2 ） λ = 0.01 , µ = 0.99

4. 3 考察

実験結果の図 1 を見ると，上位 5, 000 件以降において，最尤推定と線形補間を用いた尤度比の推定式の性能が低下していることが分かる．これは，上位 5, 000 件までに，推定を行いやパラメータ λ は正則化項に由来し分母に対してどの程度のペナ

すいバイグラム，例えばバイグラムの両方がカタカナである場

ルティを与えるかを表している．パラメータ µ は線形補間にお合などが全て出現したためではないかと考える．直接推定手法

いて，バイグラムとユニグラムのどちらの値を重視するかを表している．

では，尤度比の分母にパラメータにより補正を付加している．
この補正により，直接推定手法では尤度比を低く見積もる効果

また，実験データとして毎日新聞の記事データを 1991 年かがある．この効果はサンプル数が少ない場合に強く影響する．

ら 1997 年まで用いた [7]．実験データからそれぞれ学習用デー

サンプル数が少ない点は，推定が困難な点であり，今回の実験

タセットとして 10, 000 件，テスト用データセットから 1, 000において推定が困難な点の尤度比を低く見積もることで上位に件の記事を重複がないようにサンプリングを行った．サンプリ
ングを行った記事を文字バイグラム単位に分割し，そのバイグ
ラムにカタカナの直前かどうかのラベル付けを行った．頻度の計算にはこのバイグラムを用いる， p(wi , wj ) においてはバイ

おいて，性能が向上したのではないかと考える．
今回の実験において，パラメータの組み合わせによって線形補間を用いた直接推定の性能が変化した．これは，パラメータ

表 1 実験データ概要
学習データ
全体
年度

バイグラム数テストデータ

カタカナの直前
種数 バイグラム数

全体

種数

バイグラム数

カタカナの直前
種数

バイグラム数

種数1991 年

4,335,064 213,587

320,398 25,523

463,217 73,415

34,810 7,761

1992 年

4,133,346 215,184

303,392 25,524

397,745 68,003

29,239 7,266

1993 年

4,288,344 217,645

320,778 26,438

419,212 70,597

31,613 7,616

1994 年

4,616,557 228,645

353,105 28,462

465,018 74,970

36,037 8,219

1995 年

4,244,038 224,320

306,623 27,018

404,239 69,996

30,537 7,695

1996 年

4,756,396 234,527

362,732 28,354

479,139 78,377

39,644 8,668

1997 年

4,983,617 235,641

376,324 28,813

484,853 75,715

36,640 8,270導入されるパラメータである λ に関しては，決定方法などが提表 2 実験結果 (Area): λ = 0.1, µ = 0.9
年度

直接推定

最尤推定 直接推定 (線形補間) 線形補間1991 年4786.204521.104716.24

4337.76

今回の実験において，確率の推定量 p̂ として最尤推定量を用1992 年

5010.164727.234926.194557.71

1993 年

いている．これは，今回の実験は尤度比の推定精度を比較する

4832.994547.184765.734387.201994 年

4649.724388.30

4559.784265.30

1995 年

4820.054541.394762.514401.67

多くのスムージング手法が用いられる [6]．これらのスムージン

1996 年4496.234246.164418.164120.42

グ手法と，提案手法は併用することが出来る．提案手法を実際

1997 年

4650.104397.734569.48

4250.72のタスクに用いる場合には適切なスムージングを選択すること案されておらず，今後，決定方法を検討していく必要がある．

ことを目的としていたためである．確率の推定値 p̂ の補正にはでよりよい性能を得ることが期待できる．
表 3 実験結果 (Area): λ = 0.01, µ = 0.99

5. ま と め

年度

直接推定

最尤推定

直接推定 (線形補間) 線形補間1991 年4786.204521.104819.704263.70

1992 年

5010.154727.235028.274484.95

1993 年

4833.014547.18

4870.814319.07を行った．提案した基底関数を用いて，バイグラム分布の尤度

1994 年

4649.734388.30

4664.224206.89

比の直接推定と，線形補間を行ったバイグラム分布の直接推定

1995 年

4820.084541.394857.98

4331.06を行った．実験の結果．パラメータに依存するものの，線形補1996 年4496.214246.164520.15

4066.76間を用いた尤度比の直接推定手法がよい性能を示すことを確認

1997 年

4650.104397.734672.714193.91

した．また，線形補間を用いた式においては，パラメータの組バイグラム分布の尤度比の直接推定のための基底関数の提案

み合わせにより，性能が大きく変化することを確認した．
今後は，線形補間のパラメータである µ ，正則化項により導入されるパラメータ λ の決定方法について考える必要がある．

文

図 2 実験結果:λ = 0.01, µ = 0.99 1991 年の決定方法の重要性を示唆している．今回は，推定式の性能を確認するため，比較手法のパラメータを固定し，比較を行った．
線形補間のパラメータである µ の決定に関しては，EM アルゴ
リズムなどを用いて決定されることがあり，これらのアルゴリ
ズムの使用を検討する必要がある [8]．また，正則化項によって

献[1] 杉山将. 密度比推定によるビッグデータ解析. 電子情報通信学会
誌, Vol. 97, No. 5, pp. 353–358, 2014.
[2] Takafumi Kanamori, Shohei Hido, and Masashi Sugiyama.
A least-squares approach to direct importance estimation.
Journal of Machine Learning Research, Vol. 10 (Jul.), pp.
1391–1445, 2009.
[3] Masashi Sugiyama, Ichiro Takeuchi, Taiji Suzuki, Takafumi Kanamori, Hirotaka Hachiya, and Daisuke Okanohara.
Least-squares conditional density estimation. IEICE Transactions on Information and Systems, Vol. E93-D, No. 3, pp.
583–594, 2010.
[4] Masashi Sugiyama, Taiji Suzuki, and Takafumi Kanamori.
Density Ratio Estimation in Machine Learning. Cambridge
University Press, Cambridge, 2012.
[5] 中野翔平, 吉田光男, 梅村恭司. 企業名抽出への密度比推定の適用. 第 8 回データ工学 と情報マネジメントに関するフォーラム(DEIM 2017), Vol. F8-1, , 2017.
[6] Christopher D. Manning and Hinrich Schüetze. Foundations of statistical natural language processing. The MIT
Press, Cambridge, MA, 1999.
[7] 毎日新聞社. CD-毎日新聞データ集. 日外アソシエーツ, 1991–
1997.

[8] 北研二. 言語と計算 (4) 確率的言語モデル. 東京大学出版会,
1999.