DEIM Forum 2022 K31-1(day3 p39)

閾値近傍の低頻度データに対する保守的な尤度比推定法の提案
日下部友飛†

菊地

真人†

大囿

忠親†

† 名古屋工業大学大学院 情報工学専攻 〒 466–8555 愛知県名古屋市昭和区御器所町
E-mail: kusayu@ozlab.org, {kikuchi,ozono}@nitech.ac.jp
あらまし

本稿では，事象の観測頻度を用いた尤度比推定に取り組む．尤度比の素朴な推定法として，尤度比をなす

確率分布を相対頻度で推定し，その比を取る方法がある．しかしこの方法では，低頻度の事象に対する尤度比を過大推定する問題がある．この問題の回避策として，閾値以下の頻度に対する推定値をゼロとする方法がある．この方法では一部の尤度比が計算不要となり，尤度比推定による実用タスクを効率化できる．しかし，閾値近傍の低頻度に対する推定値を，依然として高く見積もってしまう．そこで，閾値近傍の低頻度に対して尤度比を低め（保守的）に見積もる推定法を提案する．尤度比推定に基づくテキストからの文脈予測タスクにおいて，閾値を設けつつ保守的な推定を行うことで，効率性を保ちながら予測精度が向上することを報告する．
キーワード 尤度比，保守的な推定，閾値，低頻度，効率化
表 1: 尤度比の推定例（閾値 θth ，θL1 は共に 2 とした）．

1 はじめに

x

用性に大きく影響する．自然言語処理では，テキスト中の文字や単語といった離散的な要素から観測頻度を数え上げ，その頻

rMLE (x) rth (x) rL1 (x)fde (x) nnu

fnu (x)

xA

107

5,000

104

200

40

40

39.6

xB

107

50

104

2

40

0

0

xC

107

5,000

104

300

60

60

59.6

xD

107

50

104

3

60

60

20

尤度比は統計検定 [1] や二値分類 [2] でよく用いられる統計量
であり，その推定法は尤度比を利用するアプリケーションの有

観測頻度

nde

度に基づいて尤度比を推定することがある [3], [4]．言語資源が含む要素は限定され，その頻度分布はべき乗則に従うため，低頻度の要素が多数を占める．このような状況において，尤度比の素朴な推定法は，低頻度から尤度比を求める際に推定値を不当に高く見積もってしまう問題がある．
上記の問題について，次式で与えられる尤度比 r(x) の推定を例に説明する．

れる rMLE (x) は変動が大きく不安定である．xB と xD に着目
すると，fnu (xB ) = 2，fnu (xD ) = 3 とその差が 1 しかないが，

rMLE (xB ) と rMLE (xD ) はそれぞれ 40，60 と大きく異なる．以低頻度から推定される尤度比を不当に高く見積もってしまう．
尤度比の過大推定を回避する手段の一つとして，fnu (x) に閾

ここで，要素 x をテキスト中の文字や単語といった離散要素とする．尤度比の素朴な推定量 rMLE (x) は次式のように，それぞれの確率分布を相対頻度 pb∗ (x) 1 で求めて比を取る方法である．

f∗ (x),
n∗が xC と xD の比較でも確認できる．また，低頻度から推定さ上のように rMLE (x) は，頻度の変化による影響を受けやすく，pnu (x)r(x) =pde (x)pb∗ (x) =頻度に基づく信頼性を推定値に反映できていない．同様の問題

rMLE (x) =pbnu (x)pbde (x)値を設けることが挙げられる．その推定量は
rMLE (x) if fnu (x) > θthrth (x) =0otherwise(1)と定義される．この推定量では，fnu (x) の頻度があらかじめ定

ただし ∗ ∈ {de, nu} であり，de は尤度比の分母，nu は分子をめた閾値 θth (>= 0) より高い場合は rMLE (x) として推定を行表す添え字である．f∗ (x) は密度 p∗ (x) に従う確率分布からサP
ンプリングされた要素 x の観測頻度であり，n∗ = x f∗ (x) でこれにより，fnu (x) が閾値以下の低頻度に対して便宜上，過大ある．要素 xA から xD について，頻度に基づく尤度比推定の例を表 1 に示す．要素 xA と xB に着目すると，両者の観測頻度は大きく異なることが分かる．xA は fnu (xA ) = 200 と十分な出現が観測される一方，xB は fnu (xB ) = 2 であり偶然の出現かもしれない．この場合，xB の推定値に対する “信頼性” は ，xA の推定値に対する信頼性よりも低いと考えられる．しかし，
rMLE (xA ) と rMLE (xB ) は 40 と等しく大きい値になっており，
1：確率分布を多項分布でモデリングした場合の最尤推定量である．

い，閾値以下の場合は他の頻度によらず推定値をゼロにする．
推定を防ぐ．また，この推定量を用いると閾値以下の頻度に対する計算が不要となるため，尤度比を利用する実用タスクの効率化が期待できる．表 1 中の rth (x) は θth を 2 としたときの推定値である．xB に着目すると，fnu (xB ) が 2 であるため，推定値がゼロとなり過大推定が回避される．しかし xC と xDに着目すると，両者の観測頻度は大きく異なるが，rth (xC ) とrth (xD ) は 60 と等しく大きい値になってしまう．これは xD の
頻度 fnu (xD ) が 3 であり，θth = 2 をわずかに上回るためである．このように，rth (x) は閾値近傍の低頻度から推定される尤

度比を不当に高く見積もってしまう．また，頻度が閾値以下に帯の要素に対し，有効な尤度比推定を行うことを目的とする．

なると推定値が突然ゼロになり，閾値の前後で推定値が大きくそれに対し，我々の推定量は尤度比を利用する実用タスクの効変動するのは値の推移として不自然である．

率化を目的としている．

本稿では，閾値近傍の低頻度から計算される推定値を低めに頻度に閾値を設ける統計量推定のアプローチは単純で，低頻見積もる推定法を提案する．以降，推定値を低めに見積もるこ度による過大推定を防ぐだけでなく，統計量を利用する実用タとを “保守的な推定” と呼称する．この推定量は，L1 正則化付スクの効率化も期待できる．ゆえに，尤度比 [10] 以外の統計量

きの二乗誤差を最小化する最適化の枠組みに基づいて導出され，推定（例えば，条件付き確率推定 [11]）にもよく利用されてき
rL1 (x) =fde (x)nde

−1max(fnu (x) − θL1 , 0)nnuと定義される．ここで，θL1 (>= 0) は L1 正則化に由来する閾値
である．rL1 (x) では，頻度 fnu (x) が θL1 以下の場合，rth (x) と同様に他の頻度によらず推定値をゼロとする．一方で fnu (x) が閾値よりも高い場合，fnu (x) を θL1 で減算し，推定値を保守的に見積もる効果を生む．表 1 中の rL1 (x) は θL1 = 2 としたときの推定値である．まず，閾値と同じ頻度から推定される rL1 (xB )はゼロになっている．次に，高頻度から推定される rL1 (xA ) とrL1 (xC ) は，他の推定量による推定値とほぼ変わらない，40，
60 に近い値となっている（それぞれ 39.6，59.6）．それに対し，た．しかし，既存研究のほとんどは閾値を設ける以上の注意を払っておらず，閾値近傍の頻度による過大推定という問題点には注目していない．青葉ら [12] は，閾値近傍の低頻度から推定される条件付き確率を保守的に見積もる手法を提案した．青葉らの推定量は，導出過程および作用が我々の推定量とよく似ているが，条件付き確率の推定量であることが異なる．条件付き確率は確率の比で表現でき，尤度比の一種ともみなせる．ゆえに本研究の成果は，青葉らの成果を尤度比全般の推定へと拡張したものと解釈することもできる．

3 提案手法閾値をわずかに上回る低頻度から推定される rL1 (xD ) は，20 と閾値近傍の低頻度に対する尤度比を，保守的に見積もる推定

保守的に見積もられることが分かる．したがって，提案する推法について述べる．まず，提案する推定量の定式化を説明する．

定量 rL1 (x) は閾値を設ける利点を保持し，さらに頻度に応じ

そして，定式化した推定量の数値的な振る舞い分析を行い，閾た保守的な推定も行い，rMLE (x) と rth (x) が抱える過大推定値を設けた保守的な推定の作用を説明する．

の問題を緩和できる．
実験では，固有表現の左に現れる単語バイグラムを尤度比推定によりコーパスから予測する．そして rMLE (x) および rth (x)との比較により，保守的な推定が予測精度の向上に寄与することを示す．また閾値の有効性を検証するため，予測に要する計算時間とメモリ使用量も測定し，提案する推定量を用いると効率的な予測ができることも示す．

3. 1 定 式 化
尤度比推定の問題設定を述べる．あるデータに含まれる要素

x の集合を D ⊂ U とする．ここで，x は文字や単語といった離散要素である．U は存在しうる v 種類の全要素からなる集合
であり，情報理論では有限アルファベットとも呼ばれる．いま，
密度 pde (x) を持つ確率分布に従う i.i.d. 標本と，密度 pnu (x) を持つ確率分布に従う i.i.d. 標本

2 関連研究
尤度比の素朴な推定法として，尤度比を構成する個々の確率分布を相対頻度で求め，その比を取ることが挙げられる．しかni.i.d.

de{xdei }i=1 ∼ pde (x),i.i.d.

nnu{xnuj }j=1 ∼ pnu (x)を得たとする．これまでの先行研究にならい，密度 pde (x) が次の条件を満たすと仮定する．

し 1 節で述べたように，この方法では推定に用いる頻度に依存
して，推定値の変動が大きく安定しない．加えて尤度比を過大推定する場合もある．そこで，確率分布の推定を介さずに尤度比を推定する “直接推定法” が提案された [5], [6], [7], [8]．これまでに様々な直接推定法が提案されているが，これらの推定法
は連続的な標本空間で定義される尤度比を推定の対象とし，標pde (x) > 0

for all x ∈ D

この仮定により，全ての x に対して尤度比の定義が可能になる．
nnu nnude
本節では，標本 {xdei }i=1 と {xj }j=1 から尤度比r(x) =本の要素としても連続値を想定している．そこで菊地ら [9] は，pnu (x)pde (x)

最小二乗法に基づく直接推定法 unconstrained Least-Squares

を確率分布の推定を経由せずに直接推定する．なお de は尤度

Importance Fitting（uLSIF）[8] で使用する基底関数を変更し，比の分母，nu は分子を表す添え字である．

uLSIF を離散的な標本空間にも適用可能にした．この推定量は，最適化で導入される L2 正則化の作用により，頻度に閾値

最小二乗法に基づく直接推定法 unconstrained Least-Squares

Importance Fitting（uLSIF） [8] では，r(x) を線形和を導入せずに保守的な推定を行う．我々の推定量も菊地らの基底関数を用いて同様に定式化されるが，正則化の手法が L2 正則化から L1 正則化になる．この変更によって頻度に閾値を導rb(x) =bX

βl φl (x)l=1入する．そして，閾値より大きい頻度の要素にのみ，頻度に基でモデル化する．β = (β1 , β2 , . . . , βb )T は標本から学習されるづく保守的な尤度比推定を行う．菊地らの推定量 [9] は全頻度

パラメータ，{φl }bl=1 は非負値を取る基底関数である．本来の1 Tc
1 X fde (x(l) ) 2β Hβ =
βl22nde

uLSIF は基底関数の定義中にガウスカーネルを用いた．しかv

し，離散的な標本空間で定義される尤度比を推定対象とする場
合，この基底関数は標本空間が離散であることを考慮できない．

b β=−
−h
T

そこで我々は，菊地ら [9] によって提案された，要素の種類ごδl (x) =
1

if x = x(l)0otherwisevX
fnu (x(l) )l=1とに異なる基底関数 {δl }vl=1

(2)

(5)

l=1

nnu

βl

(6)

と表される．式 (4) の目的関数を βm で偏微分してゼロと置く．
!
v
X
T
∂
1 Tc
b β + λL1
β Hβ − hβl = 0∂βm 2
l=1

を 代 用 す る ．添 え 字 l は 存 在 し う る v 種 類 の 要 素 か ら 特そして上式に式 (5)，(6) を代入し βm について解くと，二乗誤定の要素を指定する．すなわち，x(l) は v 種類の要素のう差を最小化するパラメータ

ち，l 種類目の要素を表す．式 (2) の基底関数を使用すると，

rb(x(m) ) = βem (λL1 ) fde (x(m) ) −1 fnu (x(m) )
=
− λL1
nde
nnu

x(m) , m = 1, 2, . . . , v に対する推定モデルは
rb(x(m) ) =v
Xβl δl (x(m) ) = βm

(3)

l=1

が得られる．式 (3) からも分かるように，βem (λL1 ) が要素 x(m)となる．uLSIF では，推定モデル rb(x(m) ) と真の尤度比 r(x(m) )に対する尤度比の推定量 rb(x(m) ) となる．なお上式では，λL1の二乗誤差を最小化するパラメータ β を求める．本来の uLSIF

がfnu (x(m) )よりも大きいとき，rb(x(m) ) が負になる．しかしnnu

では，過学習を防ぐため二乗誤差の最小化に L2 正則化を導入

ながら尤度比の真値は必ず非負である．uLSIF では，式 (4) のする．対して我々は，一部の頻度に対する計算を省くために，解が負の値を取る場合，負の値をゼロに丸める近似をする．そ正則化の手法を L2 正則化から L1 正則化へと置き換える．そこで上式が負になる場合も同様に，rb(x(m) ) をゼロに補正する．

の最適化問題は次式で与えられる 2 ．
"
#
v
X
T
1 Tc
b
min
β Hβ − h β + λL1βlβ ∈Rv 2l=1

以上より，提案する推定量は(4)

rL1 (x(m) ) =fde (x(m) )
nde

−1


max

fnu (x(m) )− λL1 , 0nnu

Rv は実 v 次元空間である．上式では β に対する正則化のため
Pにペナルティ項 λL1 vl=1 βl を導入する．λL1 (>= 0) は正則化と定義される．上式では，尤度比の分子パラメータである．なお L1 正則化項は本来，パラメータ βl にP
対する絶対値の総和 vl=1 |βl | となるが，上式では絶対値が外する．一方でfnu (x(m) )
が正則化パ
nnu

ラメータ λL1 以下の場合，他の頻度によらず推定値をゼロとfnu (x(m) )が λL1 よりも大きい場合，分子の値をnnu

λL1 で減算して，推定値を保守的に見積もる．

れている．式 (3) に示すように，βl は尤度比の推定モデルその正則化パラメータ λL1 の値はゼロ以上の実数として自由に設ものであり，尤度比の非負性により βl も非負性を持つ．ゆえにc は v × v 行列であり，そのβl の絶対値を外すことができる．H定できる．本稿では，我々の推定量 rL1 (x(m) ) と単に閾値を設

b l,l′ は次式で定義される．
(l, l′ ) 番目の要素 Hる．この定義により，我々の推定量は頻度に閾値を設ける形式

nde
X
de
b l,l′ = 1Hδl (xdei )δl′ (xi )nde i=1
 fde (x(l) ) if l = l′nde=0otherwisec は対角行列になる．また，h は v 次
上式からわかるように H
元ベクトルであり，その l 番目の要素 b
hl は次式で定義される．
nnu
fnu (x(l) )
1 X
b
hl =
δl (xnuj ) =nnu j=1
nnu

ける推定量との対等な比較を行う目的で，λL1 = nθL1と定義す
nuとなり，4 節で述べる実験において，閾値近傍の頻度に対する保守的な推定の有効性を検証できる．このとき，rL1 (x(m) ) は


rL1 (x(m) ) =fde (x(m) )
nde

−1

max(fnu (x(m) ) − θL1 , 0)nnu
(7)と置き換えられる．ここで，θL1 (>= 0) は頻度 fnu (x(m) ) に対する閾値である．この式では，fnu (x(m) ) が小さいほど，尤度比の推定値がより保守的に見積もられる．以上より，提案する推定量は，閾値近傍の低頻度に対して尤度比の過大推定を抑制する．加えて，閾値以下の頻度に対する計算を省き，尤度比を

ここで f∗ (x(l) ) は，密度 p∗ (x)，∗ ∈ {de, nu} を持つ確率分布用いる実用タスクの効率化を図る．なお θL1 がゼロのとき，上からサンプリングされた x(l) の観測頻度である．式 (4) の目的

式は r(x(m) ) の分母と分子の確率分布をそれぞれ相対頻度で推関数において 1 項目と 2 項目は二乗誤差に由来する項であり，定し，その比を取った推定量に等しい．

式 (4) は拘束無し二次計画問題である．ベクトルや行列の成分を用いると，1 項目と 2 項目はそれぞれ

3. 2 推定量の数値的な振る舞い分析
提案手法によって計算された推定値が，観測頻度に応じてど

2：式 (4) の導出過程は uLSIF の原論文 [8] を参照のこと．

う変化するのかを分析したい．そのために，要素 x に対するそ単語バイグラム（予測対象）
200

Corp.

in

San

Francisco

Estimate

150

地名

Threshold100

単語バイグラム（予測対象）

L1 (Ours)
50𝜃th = 𝜃L1 = 6

president

of

Sony

0
10

10

20

30

40

Corp.

組織名

50

図 2: 固有表現の左にある単語バイグラムの例．

Scaling Factor k𝑘

図 1: 観測頻度による推定値の変化．rMLE (x) が頻度の変化によらず，一定（200）になる状況を仮定している．

表 2: 使用する実験データ．左列から順に，データ全体に含まれるバイグラムの種類数と総頻度，それぞれの固有表現の左に出現するバイグラムの種類数と総頻度を表す．

れぞれの頻度を次のように定義する．

データ

nde = 107 , fde (x) = 5 × k,

訓練

4nnu = 10 , fnu (x) = k
k は任意の自然数を取るスケーリング係数であり，これを

全体
種類数

地名の左
総頻度

種類数

総頻度

組織名の左
種類数

総頻度

1,468,292 4,002,930 31,294 64,072 44,946 94,737

開発

230,528

401,445

4,318

6,116

6,443

9,946

評価

231,931

403,145

4,164

5,876

6,544

9,857

調節して頻度を変化させる．これらの頻度をもとに尤度比(x)r(x) = ppnuを推定する．k が大きいときは fde (x) と fnu (x)de (x)と予測効率の観点から評価する．図 2 に示すように，使用するが高くなり，高頻度から r(x) が推定される．逆に k が小さい

固有表現を地名と組織名とし，予測する文脈を地名あるいは組

ときは，低頻度から r(x) が推定される．

織名の左に位置する単語バイグラムとする．出現文脈を予測す

式 (1) に示した閾値による単純な推定量 rth (x)，式 (7) に示る理由は次の二点である．第一に，バイグラムなどの言語要素した提案する推定量 rL1 (x) の振る舞いを比較する．なお，確は種類が豊富だが，低頻度のものが大半を占める．この場合，率分布 p∗ (x) を相対頻度 pb∗ (x) = f∗n(x)，∗ ∈ {de, nu} で求め，∗

低頻度の扱い方により，予測の精度や効率が大きく変化する．

その比を取った推定値は k によらずよって，頻度の扱い方が異なる尤度比推定法の差異が明確にな

rMLE (x) =pbnu (x)=pbde (x)



5
107

−1 

1
104



りやすく，提案手法の有効性検証に適する．第二に，出現文脈= 200と一定になる．閾値を θth = θL1 = 6 とした場合の rth (x) とは正解が一意に定まるため，提案手法を定量評価できる．

4. 1 実 験 環 境

rL1 (x) の振る舞いを図 1 に示す．この図は横軸をスケーリング

実験環境を以下に示す．

係数 k ，縦軸を k に対応した推定値とするグラフである．横軸•

OS：Windows 10 Homeの値が小さいほど推定値が低頻度から計算され，横軸の値が大•プロセッサ：AMD Ryzen 7 Extreme Edition @ 1.80GHz

きいほど推定値が高頻度から計算される．rth (x) は fnu (x) = 7•

メモリ：16.0GBまで 200 と大きな推定値だが，fnu (x) = θth = 6 になると途•

Python：3.6.10

端にゼロになる．すなわち，rth (x) は過大推定を防ぐ手段として，fnu (x) が閾値以下か否かしか考慮できない．その結果，閾

4. 2 実験データと実験条件値をわずかに上回る fnu (x) = 7 の場合でも，rth (x) は 200 とウォール・ストリート・ジャーナルコーパス 3 の 1987 年版を大きな推定値になってしまう．対して，rL1 (x) は頻度の低さに用い，次の手順で実験データを作成する．コーパスからランダ応じて推定値を保守的に見積もることができる．結果として，ムに 12,000 記事をサンプリングする．Stanford Named Entity

閾値をわずかに上回る fnu (x) = 7 から 10 付近では，rL1 (x) はRecognizer（Stanford NER）4 [13] を用いて 12,000 記事に固rth (x) = 200 よりもはるかに低いことが分かる．

有表現タグ（地名および組織名）を付与する．10,000 記事を訓練用に，残りの 2,000 記事を開発用と評価用にそれぞれ 1,000

4 評価実験

記事ずつ割り振る．訓練用の記事を単語バイグラム単位に分割

固有表現の左に出現する文脈を尤度比によりコーパスから予測する．この実験により，提案手法の有効性を文脈の予測精度

3：https://catalog.ldc.upenn.edu/LDC2000T43
4：https://nlp.stanford.edu/software/CRF-NER.html

し，固有表現の左，10,000 記事全体での出現頻度をバイグラムに示すように本実験では，pde (x) が p(x)，pnu (x) が p(x|cNE )の種類ごとに計数する．このようにして，頻度情報をまとめたにそれぞれ対応している．手法 1 と手法 2 は閾値を設けない手ものを訓練データとする．また，開発用と評価用の記事が含む

法，手法 3 と手法 4 は閾値を設ける手法である．

全バイグラムの集合を，それぞれ開発データ，評価データとす手法 1：Baseline

る．なお開発用，評価用の記事に付与された固有表現タグは，∗ ∈ {de, nu} で求め，その比を取った推定量 rMLE (x) を Base-

正誤判定にのみ利用する．実験データの情報を表 2 に示す．バ

line とする．rMLE (x) はイグラムの種類数と総頻度は 1.5〜2 倍程度しか変わらず，低頻rMLE (x) =度のバイグラムが多くを占めることが分かる．
実験条件として固有表現の種類を指定する．固有表現は地名と組織名の二種類があり，あらかじめどちらか一方を選択する．

確率分布 p∗ (x) を相対頻度 pb∗ (x) = f∗n(x)，∗pbnu (x)pbde (x)と定義される．なお，評価データにあるバイグラムが訓練デー
タにない場合，rMLE (x) はゼロ除算のため推定値を計算できな
くなる．この場合は推定値をゼロとして対処した．Baseline を

4. 3 実 験 手 順
まず，訓練データから尤度比の推定に必要な頻度情報を格納

用いると単純に尤度比推定できるが，低頻度から求まる推定値する．ただし閾値のある手法では，閾値以下の頻度を持つバイを不当に高く見積もってしまう．

グラムの情報は推定に不要なため格納しない．次に格納した頻手法 2：L2

度情報を用い，評価データにある全バイグラムに対して尤度比に見積もる．rL2 (x) はr(x) =

p(x|cNE )p(x)L2 正則化により，頻度に応じて推定値を保守的(8)

rL2 (x) =fde (x)
+ λL2
nde

−1

fnu (x)nnuを推定する．x はバイグラムであり，cNE は固有表現の左バイと定義される．この推定量は，L2 正則化付きの二乗誤差を最小グラムに付与されるクラスラベルである．p(x|cNE ) は固有表現化する枠組みにより導出される．λL2 (>= 0) は正則化パラメーの左における x の出現確率であり，p(x) は訓練用の記事全体にタであり，これが推定値を保守的に見積もる効果を生む．ただおける x の出現確率である．

し，rL2 (x) は頻度に閾値を設けないため，本実験における文脈

尤度比の推定法ごとに，バイグラムを推定値の降順にソート

予測タスクの効率化は期待できない．

し，その上位 4,000 件を正誤判定する．評価データでバイグラ

手法 3：Threshold

ムが固有表現の左に一度でも出現すれば正解，それ以外は不正

きい頻度のバイグラムにのみ，頻度に基づく尤度比推定を行う．

解とする．正誤判定の結果を用い，4. 4 節に示す尤度比の推定

式 (1) にも示したように rth (x) は法ごとにランク―再現率曲線を描く．この曲線は，横軸をバイrMLE (x)if fnu (x) > θth0otherwise

グラムのランク（順位），縦軸をそのランクでの再現率としたrth (x) =グラフ上に描かれる．あるランクで最高の再現率を持つ推定法が，そのランクでの最良の手法となる．この曲線では，曲線上のある点とグラフの原点を結んだ直線の傾きが，そのランクでの適合率に比例する．再現率と適合率はそれぞれ|{x | x ∈ R ∩ X}|
再現率 =
,
|R|
適合率 =

|{x | x ∈ R ∩ X}||X|

rth (x) は閾値 θth を設け，それよりも大と定義される．この推定法は θth を設けることで便宜上，低頻度による尤度比の過大推定を防ぐ．加えて，一部の尤度比を頻度から推定する必要がないため，文脈予測タスクの効率化も期待できる．しかし rth (x) には，θth 近傍の低頻度から推定される尤度比を不当に高く見積もる問題が残っており，過大推定への対処が不十分と考える．
手法 4：L1 (Ours)

閾値より大きい頻度のバイグラムに対すと定義される．X は上位 4,000 件のバイグラムの集合，R は評る尤度比を，rMLE (x) よりも保守的に見積もる．式 (7) にも示

価データにおいて固有表現の左に出現するバイグラムの集合，

したように，我々の推定量 rL1 (x) はすなわち正解集合を意味する．
また，閾値を設けることによる予測タスクの効率化を確認するため，計算時間とメモリ使用量を計測する．計算時間とは，


rL1 (x) =fde (x)nde

−1max(fnu (x) − θL1 , 0)nnu

訓練に使用するバイグラムの頻度を格納し，評価データに含まと定義される．この推定量は，L1 正則化付きの二乗誤差を最れる全バイグラムに対して尤度比を推定し終わるまでの時間と小化する枠組みにより導出される．fnu (x) を閾値 θL1 で減算しする．なお計算時間は，上述の実験手順を 10 回繰り返した際て推定値を保守的に見積もり，θL1 近傍の低頻度に対する尤度の平均値として算出する．メモリ使用量は，訓練に使用するバ比の過大推定を抑制できる．

イグラムの頻度を全て格納するのに要するメモリ使用量とする．

手法 2〜4 はそれぞれハイパーパラメータ λL2 ，θth ，θL1 を持つ．手法 2 と 3 が持つパラメータの値は次の手順で決定し

4. 4 比 較 手 法

た．まず開発データを評価データとみなし，各手法についてパ

尤度比の推定法として以下の 4 手法を比較する．推定する尤

ラメータの値ごとにランク―再現率曲線を描いた．そして，曲(x)
度比を r(x) = ppnu(x)として各推定法を説明する．なお式 (8)線下面積が最大となるパラメータの値を最適値として採用しdeた．手法 2 では，λL2 を 10−9 , 10−8 , . . . , 10−1 と変化させ，最量の両方にほぼ差がないことが確認できる．よって，文脈予測−2

タスクを解く効率性の観点からも L1 の有効性が示唆された．

適値は地名，組織名ともに 10となった．手法 3 では，θth を

9, 8, . . . , 1 と変化させ，最適値は地名，組織名ともに 2 となった．提案手法（手法 4）では，閾値による推定法（手法 3）との対等な比較を行うため，θL1 の値を θth と同様に 2 とした ．

5 おわりに5

4. 5 実 験 結 果

本稿では，閾値近傍の低頻度に対する尤度比の保守的な推定法を提案した．この手法では，頻度に閾値を設けて推定を効率

ランク―再現率曲線を図 3 に示す．この曲線は，バイグラム

化し，閾値をわずかに上回る低頻度に対する尤度比の過大推定

を推定値の降順に並べた際のランク（順位）を横軸とし，そのも抑制できる．提案する推定量は二乗誤差を最小化する理論的ランクでの再現率を縦軸としたグラフ上に描かれる．あるラな枠組みで導出され，L1 正則化の作用で保守的な推定を実現す

ンクで最高の再現率を持つ推定法が，そのランクでの最良のる．固有表現の出現文脈を尤度比でコーパスから予測する実験推定法となる．この曲線では，曲線上のある点とグラフの原を行い，予測の精度と効率の観点から提案手法の有効性を検証点を結んだ直線の傾きが，そのランクでの適合率に比例する．

した．その結果，閾値近傍の低頻度に対して保守的な推定を行Baseline は他の推定法よりもバイグラムの予測性能が劣る．こうことで，単純に閾値を設けるよりも予測精度が改善すること

れは，Baseline が低頻度バイグラムの尤度比を過大推定し，高が示唆された．また，閾値を設けることで計算時間は 1/4，メ

頻度から推定される “確からしい” バイグラムを下位に追いやモリ使用量は 1/10 の効率化を確認できた．

るためと考える．特に，組織名の左バイグラムは種類が豊富で

ただし本稿の実験では，提案手法と単純に閾値を設ける推定

低頻度のものも多く，図 3(b) に示すように Baseline の性能の法との性能差が小さい．またこの実験は，頻度に閾値を設けず

低さが際立つ．L2 は低頻度バイグラムの尤度比を保守的に見積とも容易に完了できる．そこで頻度の閾値が不可欠で，二手法

もり，高頻度から推定されるバイグラムを上位にできる．その間の差が明瞭になるタスクによって提案手法の有効性を検証しため，地名と組織名の両方で最高の性能を達成している．閾値

たい．候補のタスクとして，組み合わせの列挙が必要なパターを設けた推定法 Threshold および L1（提案手法）は Baseline

ンマイニングが考えられる．このタスクでは，パターンを全列よりも優れている．これは閾値によって尤度比の過大推定が防挙すると組み合わせ爆発を起こすため，頻度に閾値を設けて見止できたためと考える．また L1 は Threshold よりも，わずか込みのないパターンを効率的に枝刈りする必要がある．また，に良好なことが確認できる．したがって，閾値近傍における保提案手法は低頻度を有効に扱えるため，単純に閾値を設けるよ

守的な尤度比推定は，単純に閾値を設けるアプローチよりも有りも幅広い頻度を推定に利用できる可能性がある．このような効なことが示唆された．ただし，閾値を設ける 2 手法は閾値以

有効性も今後確認していきたい．

下の低頻度バイグラムに対する尤度比を一律にゼロとする．この作用によって，L2 よりも全体的に性能が低下し，下位になると再現率が向上しなくなる悪影響も確認できた．
計算時間とメモリ使用量の測定結果を表 3 に示す．まず，閾

謝

辞本研究の一部は JSPS 科研費 JP19K12266 の助成を受けた
ものです．

値を設けない手法のグループ（Baseline，L2）と閾値を設ける
手法のグループ（Threshold，L1）とを比較する．この比較から，閾値を設けると計算時間は 1/4 程度，メモリ使用量は 1/10程度の効率化が確認できる．加えて，各手法が訓練時に用いたバイグラムの種類数を表 4 に示す．この表から分かるように，どの手法を見ても，用いたバイグラムの種類数は訓練用の記事が含む全バイグラムの種類数（表 2）よりもはるかに少ない．これは閾値を設けない手法であっても，固有表現の左に現れるバイグラムの頻度情報のみを格納するためである．閾値を設けた手法では閾値が 2 であるから，固有表現の左に 3 回以
上現れるバイグラムの頻度情報を格納する．閾値がある場合は閾値がない場合と比較して，バイグラムの種類数が約 1/10 となっており，これはメモリ使用量の測定結果と概ね一致する．

Threshold と異なり L1 は，保守的な推定を行う際に頻度を閾値で減算する処理が加わる．そこで次に，閾値を設ける二つの推定法 Threshold と L1 を比較すると，計算時間とメモリ使用

5：念のため，提案手法でも曲線下面積が最大となるパラメータの値を調査した．
その結果，θL1 の最適値は θth と同様に 2 であることが分かった．

文

献[1] S. Glover and P. Dixon. Likelihood ratios: A simple andﬂexible statistic for empirical psychologists. Psychonomic
Bulletin & Review, Vol. 11, No. 5, pp. 791–806, 2004.
[2] 中西健太郎, 田中利幸, 上田修功. 尤度比に基づく順位づけ関数
による受信者操作特性曲線下面積の漸近的性質. 電子情報通信学
会技術研究報告, Vol. 114, No. 502, pp. 55–62, 2015.
[3] T. Dunning. Accurate methods for the statistics of surpriseand coincidence. Computational linguistics, Vol. 19, No. 1,
pp. 61–74, 1993.
[4] C. D. Manning and H. Schutze. Foundations of statisticalnatural language processing. MIT press, 1999.
[5] J. Huang, A. J. Smola, A. Gretton, K. M. Borgwardt, and
B. Schölkopf. Correcting sample selection bias by unlabeled
data. In Advances in Neural Information Processing Systems 19, pp. 601–608, 2007.
[6] S. Bickel, M. Brückner, and T. Scheﬀer. Discriminative
learning for diﬀering training and test distributions. In Proc.
ICML’07, pp. 81–88, 2007.
[7] M. Sugiyama, S. Nakajima, H. Kashima, P. von Bünau, and
M. Kawanabe. Direct importance estimation with model selection and its application to covariate shift adaptation. In
Advances in Neural Information Processing Systems 20, pp.

表 3: 計算時間とメモリ使用量．計算時間は 10 回測定した平均値である．
(a) 地名(b) 組織名手法閾値

時間 [sec]

メモリ [KB]

手法閾値

時間 [sec]

メモリ [KB]

Baseline

なし

3.179

8,180

Baseline

なし

3.518

13,292

L2

なし

3.179

8,180

L2

なし

3.289

13,292Threshold

2

0.822

854

Threshold

2

0.838

1,015

L1 (Ours)

2

0.823

854

L1 (Ours)

2

0.836

1,015

0.35
0.25

Baseline
0.3

L2

ThresholdThreshold

0.2

L1 (Ours)

L1 (Ours)

0.2

RecallRecall0.25

Baseline

L2

0.15

0.15

0.1
0.1
0.05
0.05
0

0
0

1000

2000

3000

4000

0

Rank

(b) 組織名

図 3: ランク―再現率曲線．

表 4: 訓練に用いたバイグラムの種類数．

Baseline
L2
Threshold
L1 (Ours)

閾値

固有表現
地名

組織名

なし 31,294 44,946

2

2000

Rank

(a) 地名

手法

1000

3,207

4,097

1433–1440, 2008.
[8] T. Kanamori, S. Hido, and M. Sugiyama. A least-squares
approach to direct importance estimation. Journal of Machine Learning Research, Vol. 10, pp. 1391–1445, July 2009.
[9] 菊地真人, 川上賢十, 吉田光男, 梅村恭司. 観測頻度に基づくゆう度比の保守的な直接推定. 電子情報通信学会論文誌 D, Vol.
J102-D, No. 4, pp. 289–301, 2019.
[10] A. Montella. Identifying crash contributory factors at urban
roundabouts and using association rules to explore their relationships to diﬀerent crash types. Accident Analysis &Prevention, Vol. 43, No. 4, pp. 1451–1463, 2011.
[11] R. Agrawal and R. Srikant. Fast algorithms for mining association rules. In Proc. VLDB’94, Vol. 1215, pp. 487–499,
1994.
[12] T. Aoba, M. Kikuchi, M. Yoshida, and K. Umemura. Improving association rule mining for infrequent items using
direct importance estimation. In Proc. ICAICTA’20, 2020.
[13] J. R. Finkel, T. Grenager, and C. Manning. Incorporating
non-local information into information extraction systems
by Gibbs sampling. In Proc. ACL’05, pp. 363–370, 2005.

3000

4000