DEIM Forum 2018 E2-3

ブートストラップに適した尤度比の保守的な直接推定法
菊地 真人†

吉田 光男†

梅村 恭司†† 豊橋技術科学大学情報・知能工学系 〒 441–8580 愛知県豊橋市天伯町雲雀ヶ丘 1–1
E-mail: †m143313@edu.tut.ac.jp, ††yoshida@cs.tut.ac.jp, †††umemura@tut.jp
あらまし

自然言語処理におけるブートストラップ法は，それぞれの繰り返しにおいて確実な分類結果を次の学習に使用することが求められる．ここで，尤度比に基づいて分類結果を得るとすると，尤度比の保守的な推定量を使用する方法が考えられる．本稿では，尤度比の直接推定法で導入される正則化項の扱いで保守的な推定量が得られることを指摘し，保守的な推定量とブートストラップ法を組み合わせることで分類性能が向上したことを報告する．
キーワード

ブートストラップ法，尤度比，uLSIF，保守的な推定

1. は じ め に

p_de(x)1.5

p_nu(x)

ブートストラップ法は半教師有り学習でよく使用される方法

r(x)の一つである．この方法は，少数のラベル付きデータをシード
1と呼ばれる初期の教師データとして与え，他のラベルなしデー
タを分類する．そして，その分類結果をも利用してラベルなし
データの分類を繰り返す．ブートストラップ法は，ウェブページ

0.5の分類 [1]，語義曖昧性解消 [2], [3]，固有表現抽出・分類 [4], [5]，構文解析 [6]，機械翻訳 [7] や情報抽出 [8] など様々なタスクに応用されている．ブートストラップ法では，分類されたラベルなしデータを次回の学習に使用する観点から，次回の学習に有用な分類結果を多く得ること求められる．

0
-1

0

1
x

2

3

図 1: 確率密度と尤度比の例

尤度比は，二値分類によく用いられる統計的尺度である．近
年，二値分類における順位付け関数として，尤度比の最適性が理論的に証明された [9]．そこで本稿では，尤度比を分類スコ
アとして利用するブートストラップ法について考える．尤度比
は通常，母集団から得られた標本に基づいて推定されるが，標本サイズが小さい場合に推定誤差が大きくなりやすい問題を抱えている．特に，最尤推定量をブートストラップ法の分類スコアとして利用すると，高スコアの分類結果に誤ったデータが混入する原因となる．混入したデータは，現時点での分類性能の低下を招くのみならず，以降の繰り返しにおいても悪影響を与える．推定誤差の問題について，理解のために極端な例を示して説明する．全体の標本，目的の標本が従う確率密度をそれぞれ pde (x)，pnu (x) とする．それぞれの確率密度から得た標本をもとに尤度比 r(x) = pnu (x)/pde (x) を推定する．pde (x) がpnu (x) と等しい状況を仮定するとき，図 1 に示すように理想の
尤度比 r(x) は標本空間の全体で 1 となる．だが，実際の推定において，pde (x) の低い所は推定誤差が大きいと考えられる．
なぜなら，このような所では，得られる全体の標本サイズが小さいと想像できるためである．我々は，全体の標本サイズが小さい場合に正確な尤度比の推定が難しいことに着目し，尤度比を低めに見積もることを提案する．本稿では，推定値を低めに見積もることを保守的な推定と定義する．
保守的な推定を実現する一方法として，尤度比の直接推定法を利用することを考える．直接推定法は連続的な標本空間から尤度比を推定する手法であり，標本空間の構造を活用するため，基底関数を使用する．しかし，自然言語処理などでは離散的な標本空間を扱う場合が多い．そこで，空間毎に独立な基底関数を使用することで直接推定法を離散的なケースに応用する．この基底関数は，標本に含まれる異なる要素間の関係性を捉えられず，無意味なように思われるが，この方法で尤度比を推定す
ると，直接推定法における目的関数内部の正則化項を使用して推定値をスムージングする方式となることが分かった．この正則化項の扱いによって標本サイズの大きさを考慮した，尤度比の保守的な推定値が得られる．
提案する尤度比の保守的な推定法は，標本サイズが小さい場
合に，推定値を保守的に見積もる．一方，ブートストラップ法
は，分類結果を次回の学習に利用するため，確実な分類を行う必要がある．このことから，ブートストラップ法と尤度比の保守的な推定法は相性が良いと考えられる．提案手法の有効性を確認するため，ブートストラップ方式で科学ニュース記事から
科学雑誌名を抽出する実験をした．雑誌名は多種多様であり，外国語の雑誌名を和名表記する際は記事の著者によって表記ゆれが生じる．この理由から，雑誌名を網羅する教師データを事前に用意することは困難であり，ブートストラップ法を適用する．また，雑誌名は特定の文脈に出現しやすい傾向にあり，雑誌名の特定に分布仮説 [10] が効果的である．それゆえ，雑誌名

の文脈パターンから雑誌名らしさのスコアを尤度比で測定できなため，文献 [15] の手法を尤度比の推定へと一般化したものとる．結果として，尤度比の保守的な推定法とブートストラップ

考えることもできる．

法を組み合わせ，雑誌名抽出の性能が向上したことを報告する．
本稿の主な貢献は以下にまとめられる．(1) 尤度比の直接推3. 尤度比の直接推定法

定法を離散のケースに応用し，直接推定法における目的関数内

データの定義域を D(⊂ Rd ) で表す．Rd は実 d-次元空間であ部の正則化項の扱いによって保守的な推定量が得られることをる．いま，確率密度 pde (x) を持つ確率分布に独立に従う i.i.d. 標

示した．(2) 提案した保守的な推定法とブートストラップ法とde本 {xdei }i=1 ，および pnu (x) を持つ確率分布に独立に従う i.i.d.

の相性の良さを実験的に示した．

nnu
標本 {xnuj }j=1 が与えられたとする．ただし，pde (x) は

2. 関 連 研 究
離散的な標本空間からの尤度比推定について，関連研究を述べる．母集団から十分な標本が観測できる場合は，最尤推定に

npde (x) > 0 for all x ∈ Dnnu nnudeを満たすと仮定する．二組の標本 {xdei }i=1 と {xj }j=1 から次の尤度比を直接推定する問題を扱う．

よってそれぞれの確率を求め，それらの比を取ることが単純な
尤度比の推定法である．しかし，標本サイズが小さい場合，推定値にかかるバイアスが大きくなりやすく，最尤推定による方法は信頼できない．この場合の合理的な推定法として，大別して 3 つの方法を挙げる．
一つ目は，尤度比の信頼区間を構築し，その信頼区間を基に信頼できる標本サイズを求める．そして，それ以上の標本サイズが得られた場合のみ，尤度比を推定する方法である．しかし，この方法では標本サイズが小さい場合に尤度比を推定できないことが問題となる．
二つ目は，推定値にかかるバイアスを抑制する方法である．

尤度比の直接推定法としては，ロジスティック回帰を用いた方法 [16]，カルバック・ライブラー情報量を用いた方法 [17]，最小二乗法を用いた方法 [18] などがある．この節では，最小二乗法を用いた方法である LSIF とその近似である uLSIF について説明する．

3. 1 LSIF
LSIF (Least-Squares Importance Fitting) [18] では，推定する尤度比 r(x) を次の線形モデルで表現する．

オッズ比は尤度比と同様，二つの確率から推定することができる．そのため，オッズ比推定のためのバイアス抑制法がしばしば尤度比推定にも応用できる．ここでは，次の 2 手法を挙げる．
文献 [11] では，それぞれの確率推定に中位不偏推定量（MUE:Median Unbiased Estimator）を用い，それらの確率をもとにオッズ比を推定する．文献 [12] では，それぞれの確率推定に経験ベイズ法を適用し，それらの確率をもとにオッズ比を推定す
る．これらの方法は共通して，オッズ比を構成する確率推定を工夫するアプローチのため，最終的な推定対象をオッズ比から尤度比に変更するのみで応用可能である．
三つ目は，標本サイズの大きさに応じて推定値を低く（保守pnu (x)pde (x)r(x) =

r̂(x) =b∑

αl φl (x)

(1)

l=1

α = (α1 , α2 , ..., αb )T は標本から学習されるべきパラメー
タ，{φl (x)}bl=1 は非負の値を取る基底関数である．b およびnnu nnude{φl (x)}bl=1 は標本 {xdei }i=1 ，{xj }j=1 と独立である．

モデル r̂(x) のパラメータ α は次の二乗誤差を最小にするよ
うに決定される．
∫
1
J0 (α) =(r̂(x) − r(x))2 pde (x)dx2nde
二乗誤差 J0 (α) は標本 {xdei }i=1 の確率のもとで期待値として的に）見積もる方法である．自己相互情報量（PMI）の推定に定義される．J0 (α) の展開式を J とする．このとき，r̂(x) を含おいて，対数内部の尤度比計算に信頼区間を使用する方法があ

まない項は定数項であるため，無視できる．
∫∫
1
J(α) =
r̂(x)2 pde (x)dx − r̂(x)pnu (x)dx
2
∫
b
1 ∑
′
=
αl αl ( φl (x)φl′ (x)dx)
2 ′る [13]．具体的には，尤度比の分母を構成する確率推定に信頼区間の上限，分子を構成する確率推定に信頼区間の下限を採用する．この方法によって推定された PMI は，保守的な推定値となり，提案手法と似た性質を示す．この手法は二つの信頼区

l,l =1間を使用するため，調整すべきパラメータとして二つの信頼係−数を持つ．条件付き確率の推定においては，保守的な推定法が文献 [14] では，信頼区間の下限を使用することで，条件付き確率の保守的な推定を実現する．文献 [15] では，条件付き確率を最尤推定し，推定値の分母に小さな正の定数を加算する．後者の手法は，本稿の提案手法と極めて似た推定法であるが，推定∫αl (φl (x)pnu (x)dx)

l=1

いくつか提案されている．条件付き確率は，二つの確率の比で表現できるため，尤度比の特殊な場合と考えることもできる．

b
∑

=

1 T
α Hα − hT α2(2)

ここで，H は (l, l′ ) 番目の要素 Hl,l′ を持つサイズ b × b の行列である．要素 Hl,l′ は次のように定義される．

∫
Hl,l′ =

φl (x)φl′ (x)pde (x)dx(3)

対象が条件付き確率に限定されており，導出の過程も異なる．
提案手法は，条件付き確率を含む尤度比全般の推定に応用可能

h は l 番目の要素 hl を持つ b 次元ベクトルである．要素 hl は

次のように定義される．
∫
hl = φl (x)pnu (x)dxT1λmin [ β T Ĥβ − ĥ β + β T β]2
β ∈Rb 2(8)(4)
T
上式では，線形な正則化項 1T
b β の代わりに二次正規化項 β β/2

J における期待値の近似は経験的期待値（標本を用いて連続の解は次式で解析的に計算できる．

値 x を離散化すること）によって求められる．

ˆ
J(α)
=

=

nde
nnu
1 ∑
1 ∑
2
r̂(xder̂(xnui ) −j )2nde i=1
nnu j=1β̃(λ) = (Ĥ + λ1b )−1 ĥ
1b は要素がすべて 1 の b 次元ベクトルである．パラメータの非

nde
b
1 ∑
1 ∑
de
φl (xdeαl αl′ (i )φl′ (xi ))2 ′nde i=1

負制約を取り除いたのでいくつかのパラメータは負の値となることが考えられる．この近似誤差を補うため，解を次のように

l,l =1

−

b
∑

αl (

l=1

n
nu
∑

修正する．

1
φl (xnuj ))nnu j=1β̂(λ) = max(0b , β̃(λ))

T
1= αT Ĥα − ĥ α
2上式の ‘max’ 操作はベクトルの要素毎に適用される．これが′ここで，Ĥ は (l, l ) 番目の要素 Ĥl,l′ を持つサイズ b × b の行列である．要素 Ĥl,l′ は次のように定義される．

Ĥl,l′ =

nde
1 ∑
de
φl (xdei )φl′ (xi )nde i=1

この手法においても，尤度比の直接推定に標本空間の構造を(5)

ら得た標本をもとに尤度比推定を行う．最適化問題の枠組みでは，過学習を防ぐために二次の正則化項を導入し，パラメータ

次のように定義される．

が一様であるという事前知識を与える．

4. 提 案 手 法(6)uLSIF の原論文 [18] では，基底関数としてガウスカーネルを用いた．だが，本稿において標本の要素に相当するものは連尤度比 r(x) の非負性を考慮すると，次の最適化問題が得られる．

続的な標本空間から得られる実数値ではなく，離散的な標本空間から得られる単語，バイグラムなどの特徴である．標本空間
が連続から離散へと変化したため，従来のようにガウスカーネT1min [ αT Ĥα − ĥ α + λ1T
b α]
b
2
α∈R

subject to α > 0b

uLSIF の解となる．
利用する．そのため，基底関数を使用し，連続的な標本空間かĥ は l 番目の要素 ĥl を持つ b 次元ベクトルである．要素 ĥl は

nnu
1 ∑
ĥl =
φl (xnuj )nnu j=1を導入している．式 (8) は拘束無し凸二次計画問題であり，そルを使用できない．離散的な標本空間を扱うためのカーネルと(7)

して，文字列カーネルや木カーネルなどが知られているが，これらのカーネルを使用すると推定モデルの定式化や尤度比の効

0b および 1b は要素がすべて 0，すべて 1 の b 次元ベクトルで率的な推定が難しい．そこで，次の単純な基底関数 {φl (x)}vl=1ある．ベクトルの不等式 α > 0b は要素ごとに適用される．すを用いる．ここで，x は単語，バイグラムなどの特徴，v は存

なわち，αl > 0 for l = 1, 2, ..., b となる．上式では α に対する

在しうる特徴の種類数であり，特徴ごとに対応する基底関数を>正則化のため，ペナルティ項 λ1T
b α を導入する．λ (= 0) は正一つ定義する．

則化パラメータ，1T
b α は l1‐正則化項である．上式は凸二次計

1
φl (x) =0

画問題となり，標準的な最適化パッケージを用いれば大域的な最適解を一意に求めることができる．さらに，LSIF の原著論

(x = w(l) )(x =| w(l) )(9)

文では効率的に尤度比推定を行う正則化パス追跡アルゴリズムも提案されている．

3. 2 uLSIFLSIF は正則化パス追跡アルゴリズムを用いることで，効率的に尤度比を推定できる．しかし，このアルゴリズムは数値計
算上，しばしば不安定な挙動をする．そこで，LSIF の近似解を計算する，計算効率が良く安定的な代替手法として uLSIF

この基底関数は，異なる特徴間の関係性を捉えられないが，最終的に導出される推定式が単純な形式となって扱いやすい．添え字 l は v 種類存在する特徴から，特定の特徴を指定する．すなわち，w(l) は v 種類ある特徴のうち，l 種類目の特徴を指す．
式 (9) の基底関数を uLSIF の枠組みに当てはめる．推定対象とする尤度比 r(x) を次の線形モデルで表現する．

(unconstrained Least-Squares Importance Fitting) が提案されている [18]．

uLSIF のアイディアはとても単純である．式 (7) で与えられる最適化問題について，パラメータの非負制約をなくすことである．これにより，次の拘束無し最適化問題が得られる．

r̂(x) =v∑

βl φl (x)l=1= βl (λ)(10)

ただし，x = w(l) とする．このモデルは式 (1) で定義した線形モデルに対応する．

グ஦࣭࣭⡿⛉ᏛㄅࠕPLOS ONEࠖ࡟ᥖ㍕࣭࣭

式 (9) からわかるように，基底関数 φl (x) は，x が w(l) と等しくないときに 0 となる．よって，式 (5) および式 (6) に対応
する Ĥl,l′ ，ĥl は次式となる．

Ĥl,l′ ==ㄅ ࠕ 1 ∑nde φl (xde )φl′ (xde )(l = l′ )0(l =| l′ )

nde

j

j=1

1
cde (w(l) )
nde

j

ࠖ ࡟

ᕥྑ䝞䜲䜾䝷䝮ᑐ
図 2: 左右バイグラム対の抽出例(l = l′ )= p̂de (w(l) )PLOS ONE

(11)

n
nu
∑

時に，任意文字列の左右バイグラム対について総頻度を数え上

1ĥl =φl (xnuj )nnu j=1

げる．任意文字列の探索は，計算時間削減のため，あらかじめ1cnu (w(l) )nnu

字から 50 文字までとした．左右バイグラム対は，通常のバイ== p̂nu (w(l) )指定した文字列長の範囲内で行う．本稿では，文字列長を 2 文グラムよりも低頻度になるため，これを上手く扱う必要がある．

(12)以上から，要素 Ĥl,l′ を持つ v × v 行列 Ĥ は対角成分のみが残り，それ以外の要素はすべて 0 となる．cde (w(l) ) は pde (w(l) ) を持つ確率分布から観測した w(l) の頻度，cnu (w(l) ) は pde (w(l) )を持つ確率分布から観測した w(l) の頻度である．p̂de (w(l) ) は

pde (w(l) ) の最尤推定量，p̂nu (w(l) ) は pnu (w(l) ) の最尤推定量である．

手順 2. 雑誌名の抽出： 各記事から雑誌名の候補および左右バイグラム対を抽出する．この処理は，抽出の開始位置を固定し，候補の文字列長を範囲内で変化させて行う．この文字列長は，雑誌名か否かの判断が難しい 1 文字を除いて，2 文字から50 文字までとした．記事の先頭から抽出を始め，候補の長さを一文字ずつ伸ばしていく．候補の長さが 50 文字に達した，あるいは右バイグラムが記事末尾に達した後は開始位置を一文字だけ右にシフトして再度抽出を始める．

先に述べたように，行列 Ĥ には対角成分のみが残る．これによって，r(x) の推定量 r̂(x) は次式となり，簡単に求められる．

r̂(x) = β̂l (λ)

コアは下式に示す尤度比とした．

Score(x) =−1= (Ĥl,l + λ) ĥl
(
)−1
1
1
=
cde (w(l) ) + λ·cnu (w(l) )ndennu
p̂nu (w(l) )=p̂de (w(l) ) + λ

抽出した候補について雑誌名らしさのスコアを計算する．ス

P (x | OJ )P (x | OA )(14)

x は候補の左右に出現したバイグラム対であり，4 節において，離散的な標本空間から得られた特徴に対応する．OJ と OA は

(13)

uLSIF では，パラメータ βl の非負制約を取り除いたため，負の値となるパラメータを 0 に丸める必要がある．だが，式 (13)は負の値を取らないため，パラメータの推定量 β̂l (λ) がそのま
ま r(x) の推定量となる．ここで，正則化パラメータ λ は，推定量を保守的に見積もる効果を生む．この推定量は λ が 0 であった場合，尤度比の分母・分子にあたる確率を最尤推定し，それらの比を取った結果に等しい．式 (13) は単純な形をしているが，分母・分子の両方を補正する一般的なスムージング手法と異なり，分子に何も補正がないという特徴的な式になっている．

バイグラム対がそれぞれ雑誌名，任意文字列の左右で出現することを表す．尤度比は，バイグラム対が雑誌名の左右に出現する確率と任意文字列の左右に出現する確率の比で表される．確率は本節の手順 1 で数え上げた観測頻度に基づいて推定される．
尤度比が 1 より大きければバイグラム対は雑誌名の左右に現れやすい傾向にあり，逆に 1 より小さければ任意文字列の左右に現れやすい傾向にあるといえる．スコアが大きいほど，バイグ
ラム対の間にある候補が雑誌名らしいと推定する．スコア降順
から上位 N 件を抽出し，人手で正誤判定をする．そして，正解と判定した文字列のみを辞書に追加する．
手順 3. 繰り返し： 十分な数の雑誌名が得られるまでステップ 1 と 2 を繰り返す．

5. 雑誌名抽出の枠組み

6. 評 価 実 験

実行する雑誌名抽出は以下の 3 手順からなる．
手順 1. 訓練データの作成： まず，データセットから辞書にある雑誌名を最長一致検索ですべて発見し，その左右にある文字
バイグラム対を抽出する（図 2）．抽出した左右バイグラム対
は種類ごとに観測頻度を数え上げる．同時に，雑誌名の左右バ
イグラム対について総頻度を数え上げる．次に，雑誌名を含む
任意文字列の左右で観測したバイグラム対のうち，雑誌名の左右でも観測したものについて種類ごとに頻度を数え上げる．同

提案手法の有効性を検証するため，日本語科学ニュース記事
からの雑誌名抽出を試みる．この抽出は，5 節で述べたブート
ストラップ方式の枠組みに基づいて実行する．提案手法は，低頻度の観測事象から測定される尤度比の推定値を保守的に見積もる．それゆえ，高頻度に基づく，信頼できる尤度比を重点的に利用するタスクで効果がある．ブートストラップ法では，信頼できるインスタンスを多く集めることが求められ，分類スコ

表 3: 二種類の試行に対する集計表

表 1: シードとして使用する雑誌名
Scientific Reports

Outcome

サイエンティフィック・リポーツ

Trial Success

サイエンティフィック・リポーツ（Scientific Reports）

1

サイエンティフィックリポーツ

2

FailureTotal

k1n 1 − k1n1

k2

n 2 − k2

n2

サイエンティフィックリポーツ（Scientific Reports）

PLOS ONE
プロス・ワン

nt ，kt ，pt は，試行 t (∈ {1, 2}) の試行回数，成功回数，成功

プロス・ワン（PLOS ONE）

確率を示す．本稿で，試行 1 は雑誌名の左右バイグラム対を抽

プロスワン

出すること，試行 2 は任意文字列の左右バイグラム対を抽出す

プロスワン（PLOS ONE）

ることを表す．特定の左右バイグラム対 x が与えられたもとで，抽出した左右バイグラム対が x と一致することを成功，それ以外を失敗とする．このとき，nt ，kt ，pt は，抽出した左右バイ

表 2: 雑誌名の表記例
英名

グラム対の総頻度，x の観測頻度，x の出現確率にそれぞれ置

Neuron, Cell Research

き換えられる．以下では，これらの記号を用いて，比較手法を

和名

簡潔に説明する．手法 1 は，ベースラインとなる最も単純な尤

ニューロン, セル・リサーチ

度比推定法である．手法 2 と手法 3 は，推定量にかかるバイア

英名・和名の併記
ニューロン（Neuron）, セル・リサーチ（Cell Research）
補足情報付きスを抑制するアプローチである．手法 4 と手法 5 は，観測頻度の低さに応じて推定値を保守的に見積もるアプローチである．
手法 1：最尤推定量を用いた方法（MLE）

ニューロン電子版, セル・リサーチ（電子版）

尤度比を構成する確率を最尤推定で求め，その比を取る．次アとして使用する尺度によって性能が左右される．以上のことから，提案手法によって推定した尤度比を，分類スコアとしてに定義式を示す．

p̂1
p̂2

(16)

(t = 1, 2)(17)

LRMLE (x) =ブートストラップの枠組みに取り入れることで，雑誌名抽出の
ただし，性能向上が期待できる．

6. 1 実 験 概 要
実験では，学術雑誌名を含む可能性の高いニュース記事を

p̂t =

kt
nt

データセットとして使用する．具体的には，複数の日本語ニューである．

スサイトから過去およそ 10 年分のニュース記事を収集し，「学

手法 2：経験ベイズによる方法（EB）

誌 OR 論文誌 OR 学術誌」という検索条件で絞り込んだ合計

まず，pt に関する事前分布としてベータ分布 β(at , bt ) を仮

30,076 記事を使用する．雑誌名抽出の際は，記事本文のみを参定する．そして，事後分布の期待値 p∗t を pt の推定量として求照する．初期の雑誌名辞書として，表 1 に示すシードを使用す

めて，その比を取る．次に定義式を示す．本手法は，低頻度のる．雑誌名の抽出元が日本語記事であるため，和文雑誌名およ

観測事象から尤度比を推定する場合に有効である [12]．

び英文雑誌名が多く抽出される．雑誌名の表記は，大別して表2 に示すパターンがある．雑誌名の抽出を 5 回実行し，それぞれでスコアの降順 1,000 件を抽出する．1,000 件には，シード
および過去に抽出した候補を含めない．また，同じ候補であっても，左右にあるバイグラム対が異なれば雑誌名らしさのスコアも異なる．同じ候補で複数のスコアがある場合は，最高のス

LREB (x) =

p∗1
p∗2

(18)

p∗t は次式で表される．
p∗t =kt + ât
nt + ât + b̂t(t = 1, 2)(19)

コアをその候補のスコアとして扱う．なお，繰り返しごとに辞本手法の原論文 [12] では，ハイパーパラメータ ât , b̂t を最尤書に加える雑誌名は，人手で正誤判定した際に正解と判定した推定によって求めている．しかし，本稿では原論文と異なり，文字列のみである．これは，スコアの推定方法による抽出性能

nt が大きい．この場合，原論文の方法では最尤推定解を解析的の変化を正確に測定するためである．性能評価の指標として，に求めることが困難である．それゆえ，ハイパーパラメータをブートストラップの繰り返し毎に累積の適合率を算出する．

データから近似的に推定することにした．具体的には，特定位

6. 2 比 較 手 法

置（雑誌名・任意文字列の左右）における左右バイグラム対の二種類の試行に対し，表 3 に示す集計表を考えたとき，推定出現割合について，その平均・分散をデータから求め，ベータ

対象の尤度比を次式として定義する．本節で述べる手法は，5分布のそれと一致するようにハイパーパラメータを推定した．

節の式 (14) で示したスコアの推定に用いられる．

LR(x) =

p1
p2

ハイパーパラメータの推定結果を図 3 に示す．各グラフの横(15)軸は左右バイグラム対の出現割合に関する区間，縦軸は区間に対応する左右バイグラム対の種類数，ベータ分布の確率密度

100

100

5.E+05

100

Histgram

Histgram
Beta(0.02,38091)

60

40

40

20

20

0

0

80

4.E+0560

3.E+0540

2.E+0520

1.E+050

0.E+00

PDF

60Frequency

80

PDF

Frequency

Beta(0.04,7.60)
80

Value

Value

(a) 雑誌名の周囲(b) 任意文字列の周囲

図 3: ハイパーパラメータの推定結果である．ヒストグラムの形状はべき乗則に従う．推定したハイパーパラメータを持つベータ分布は，概ねヒストグラムの形状

z2

θt± =

√

α/2
p̂t + 2n± zα/2tを近似できている．

1 + zα/2 /nt

手法 3：Modified MUE を用いた方法（MMUE）

p̃t によって推定し，その比を取る．次に定義式を示す．本手法
は，標本のサイズが小さい場合に，推定量にかかるバイアスを抑制できることが報告されている [11]．

この方法は二つの信頼区間を構築する必要があるため，二つの信頼係数をパラメータとして持つ．それぞれの信頼係数を個(20)な比較を行うため，二つの信頼係数に同じ値を採用することにした．実験では，信頼区間の幅が片側 95%，片側 99%，両側

95%，両側 95%となるように信頼係数を設定した．

Up̃Lt + p̃t2

手法 5：提案手法(t = 1, 2)

(21)

−1
p̃L
(.5 | ât = kt , b̂t = nt − kt + 1)
t = F

−1

LRProposed (x) =(Q | ât , b̂t ) はハイパーパラメータ ât ，b̂t を持つ

ベータ分布の Q 分位点である．

p̂1
p̂2 + λ(24)

本手法は定数 λ をパラメータとして持つ．λ の値が大きくなるにつれて標本サイズの大きさを重視し，標本サイズが小さい

手法 4：信頼区間を用いた方法（CI）
尤度比を構成する分母・分子の確率推定に信頼区間の上限値・下限値を使用する．本手法は，提案手法と同様に，低頻度の観測事象から推定される尤度比を保守的に見積もる作用がある．
次に定義式を示す．

θ1−
LRCI (x) =θ2+

提案手法は，最尤推定した尤度比である式 (16) の分母に正則化パラメータ λ を加算した式で表される． 次に定義式を示す．

−1p̃U(.5 | ât = kt + 1, b̂t = nt − kt + 2)
t = F

である．F

ここで，zα/2 は標準正規分布の上側 100(α/2)%点を表す．

別に変化させて最適値を探すこともできるが，提案手法と対等

ただし，

p̃t =

(23)

(t = 1, 2)

pt を中位不偏推定量（MUE: Modian Unbiased Estimator）

p̃1
LRMMUE (x) =
p̃2

2

zα/2
p̂t (1−p̂t )
+ 4n
2
nt
t

とき，尤度比を保守的に見積もる．λ の値を 10−9 から 10−1 まで 10 倍ずつ変化させ，シードから作成した訓練データを使用
して左右バイグラム対の尤度比を推定した．λ の値を 10−8 お
よび 10−5 としたとき，尤度比の降順上位 10 件を表 4，5 に示す． 表 4 の下線部分に着目すると，観測頻度が 10 以下のバイ(22)グラム対が上位に位置している．この場合，λ の値が小さすぎるため，低頻度の影響を抑制できていない．次に，表 5 の下線

θt+ は信頼区間の上限値，θt− は信頼区間の下限値である．信頼部分に着目すると，低頻度の影響を低減できているが，任意文

区間の構築には，二項分布を正規近似する方法がよく用いられ字列の左右における観測頻度が大きく異なるにもかかわらず，る．しかし，正規近似が上手く働く状況は二項分布の母平均が

雑誌名の左右における観測頻度が近いバイグラム対が類似した

0.5 に近い場合であり，本稿で扱うのは母平均が 0 に近い場合推定値を持つ．これは，λ の値が大きすぎるゆえ，観測頻度をである．このときに正規分布による近似を用いた場合，下限が過剰評価した結果と考える．以上から，適切な λ の値が 10−6

負の値となることが知られている．そこで，信頼区間の両端があるいは 10−7 付近になると予想し，この二つの値を，それぞ

0 や 1 に近い場合に上手く働くとされる Wilson score interval

れパラメータの値として採用した．

を用いる．この区間は次式で定義される．

6. 3 評 価 尺 度
ブートストラップ法の繰り返し毎に，抽出結果の上位 1,0001

表 4: λ = 10−8 （推定値の降順 10 件）
左

右

観測頻度
雑誌名

任意文字列

推定値
0.9

誌「 （P

59

162 139,819.30

ル「 」に

11

26 125,843.00

典： ）[

4

4 120,155.90

も（ 提供

3

5

83,915.85

、米 誌提

2

2

70,496.91

】「

2

2

70,496.91

」発

誌「 （サ

3

10

62,434.71

学誌 で 138

257

57,955.54

】「

」の

2

6

52,342.16

E（

）」

2

8

46,371.27

Proposed (10^(-6))

Precision

バイグラム対

観測頻度
雑誌名

任意文字列

CI (One-sided 95%)

0.8

CI (One-sided 99%)
CI (Two-sided 95%)
CI (Two-sided 99%)
MMUE

0.7

EB
MLE

0.6
1

2

3

4

5

Iterations

図 4: 各手法における適合率の変化

表 5: λ = 10−5 （推定値の降順 10 件）
バイグラム対Proposed (10^(-7))

これらのバイグラム対をどう扱うかが性能差に大きな影響を与える．単純に観測頻度の比を取る MLE や，バイアスを取り除

推定値

左

右

誌「

」に

601

5,590 16,155.26

学誌

に発

431

9,366

9,270.70

定される尤度比を不当に高く見積もり，雑誌名の抽出性能に悪

学誌

に掲

239

7,074

5,850.36

影響を与えたと考えられる．EB は，確率推定において低頻度

学誌

電子

151

5,820

3,998.16

を上手く活用する手段として知られている．しかし，個々の確

誌「

」で

90

788 3,544.913

率を経験ベイズ法で推定し，その比を取る推定方法は，MLE

誌「

」電

64

682

2,546.98

や MMUE と同様に，低頻度のバイグラム対から推定される尤

誌「

（P

59

162

2,473.94

学誌（電度比を高く見積もってしまう．

60

1,703

2,170.81

誌「

」（

54

749

2,135.02

学誌

で発

56

1,707

2,025.37

くアプローチである MMUE は，低頻度のバイグラム対から推一方で，CI と提案手法は良い性能を示した．これらの手法
は，低頻度の左右バイグラム対から推定される尤度比を低めに（保守的に）見積もるアプローチである．このことから，本実件について人手で正誤判定し，累積の適合率を算出する．適合率の式を次に示す．
これまでに正解とした文字列数
適合率 =これまでに正誤判定した文字列数(25)

が，再現率や F 値の算出には，雑誌名を網羅した，偏りのない
正解リストが必要となる．現状として，そのようなリストを用意することは難しいため，今回は適合率のみで性能評価をする．

6. 4 実験結果と考察
各手法において得られた雑誌名の数および適合率（ともに累積）を表 6 に示す．表中の ♣ は各繰り返しにおいてトップの適合率，∗ は 2 番目に良い適合率を表している．また，各繰り返
しにおける適合率の変化を図 4 に示す．
表 6 と図 4 から，λ = 10

きた．CI の適合率が提案手法よりも低い理由として，CI は低頻度から推定される尤度比を十分低く見積もれていないことが本来ならば，再現率や F 値も用いた性能評価が望ましい．だ−6

験においては，提案手法の保守的な推定による有効性が確認でとしたときの提案手法は繰り返

しの 1 回目，2 回目，および 4 回目でトップの適合率，繰り返しの 3 回目と 5 回目でも 2 番目に良い適合率となった．次いで，

λ = 10−7 としたときの提案手法は，繰り返しの 3 回目と 5 回目でトップ，繰り返しの 2 回目で 2 番目に良い適合率となった．
片側 95%信頼区間を使用した手法は，繰り返しの 4 回目で 2 番目に良い適合率，片側 99%，両側 95%，両側 99%信頼区間を用いた手法も繰り返しの 1 回目で 2 番目に良い適合率となった．
それに対し，MLE，EB，MMUE は互いに近い適合率となったが，信頼区間を用いた手法と提案手法よりも低い性能を示した．
このタスクでは，低頻度の左右バイグラム対が多く観測され，原因と考えている．全バイグラム対の総頻度に対し，特定のバ
イグラム対の観測頻度は非常に小さい．結果として，尤度比を構成する確率の分散は小さくなり，信頼区間の下限・上限が最尤推定値と近くなる．提案手法はパラメータ λ を大きく変化させたため，CI よりも良い性能を示したと考えられる．また，EB，MMUE，CI は尤度比の分母・分子両方に補正を加えているのに対し，提案手法は分母のみを考慮する特性がある．そのため，提案手法は推定すべきパラメータが一つでよいという利点がある．

7. まとめと今後の課題
ブートストラップ法では，得られた分類結果を繰り返して使い回す観点から，それぞれの繰り返しで多くの信頼できる分類
結果を得ることが求められる．尤度比を利用して，分類結果を得るとすると，尤度比の保守的な推定法を用いることが考えられる．本稿では，尤度比の直接推定法を標本空間が離散である
場合に応用し，尤度比の直接推定法で導入される正則化項の扱
いで保守的な推定量が得られることを指摘した．そして，科学ニュース記事から雑誌名を抽出する実用的なタスクにおいて，保守的な推定量とブートストラップ法の組み合わせが良い結果をもたらすことを報告した．

表 6: 各手法の抽出雑誌数および適合率（ともに累積）# of iterations

Methods

1

2

3

4

5

MLE

769 (.769)

1,410 (.705)

1,975 (.658)

2,625 (.656)

3,378 (.676)EB

756 (.756)

1,397 (.699)

1,962 (.654)

2,612 (.653)

3,365 (.673)

MMUE

756 (.756)

1,397 (.699)

1,959 (.653)

2,597 (.649)

3,366 (.673)

CI (One-sided 95%)855 (.855)

1,622 (.811)

2,274 (.758)∗ 3,132 (.783)

3,777 (.755)

CI (One-sided 99%)

∗ 909 (.909)

1,528 (.764)

2,319 (.773)

3,006 (.752)

3,770 (.754)

CI (Two-sided 95%)

∗ 909 (.909)

1,528 (.764)

2,319 (.773)

3,006 (.752)

3,769 (.754)

CI (Two-sided 99%)

∗ 909 (.909)

1,525 (.763)

2,316 (.772)

3,002 (.751)

3,768 (.754)∗ 2,355 (.785) ♣ 3,169 (.792)∗ 3,899 (.780)

Proposed (λ = 10−6 ) ♣ 933 (.933) ♣ 1,690 (.845)
Proposed (λ = 10−7 )

870 (.870)∗ 1,644 (.822) ♣ 2,371 (.790)

今後の課題として，ブートストラップ法の繰り返しの回数や一回での抽出件数を変化させての検証を行う．加えて，より評
価の容易なベンチマークタスクでの実験を行い，詳細な定量的[12]評価をする必要がある．さらに，提案手法のパラメータである
正則化パラメータを自動的に決定する方法も検討する．

文

献[1] Avrim Blum and Tom Mitchell. Combining labeled andunlabeled data with co-training. In Proceedings of the 11th
Annual Conference on Computational Learning Theory, pp.
92–100, 1998.
[2] David Yarowsky. Unsupervised word sense disambiguation
rivaling supervised methods. In Proceedings of the 33rd
Annual Meeting of the Association for Computational Linguistics, pp. 189–196, 1995.
[3] Rada F. Mihalcea and Dan I. Moldovan. A highly accuratebootstrapping algorithm for word sense disambiguation. International Journal on Artificial Intelligence Tools, Vol. 10,
No. 1-2, pp. 5–21, 2001.
[4] Michael Collins and Yoram Singer. Unsupervised models
for named entity classification. In Proceedings of the JointSIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora, pp. 100–110,
1999.
[5] Zornitsa Kozareva. Bootstrapping named entity recognition
with automatically generated gazetteer lists. In Proceedingsof the 11th Conference of the European Chapter of the Association for Computational Linguistics, pp. 15–21, 2006.
[6] David McClosky, Eugene Charniak, and Mark Johnson.
Eﬀective self-training for parsing. In Proceedings of theConference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, pp. 152–159, 2006.
[7] Nicola Ueﬃng. Self-training for machine translation. In
NIPS workshop on Machine Learning for Multilingual Information Access, 2006.
[8] Andrew Carlson, Justin Betteridge, Richard C. Wang, Estevam R. Hruschka Jr., and Tom M. Mitchell. Coupledsemi-supervised learning for information extraction. In Proceedings of the 3rd ACM international conference on Web
search and data mining, pp. 101–110, 2010.
[9] 中西健太郎, 田中利幸, 上田修功. 尤度比に基づく順位づけ関数
による受信者操作特性曲線下面積の漸近的性質. 電子情報通信学
会技術研究報告, 第 114 巻, pp. 101–110, 2015.
[10] Zellig S. Harris. Distributional structure. Word, Vol. 10,
No. 2-3, pp. 146–162, 1954.
[11] Michael Parzen, Stuart Lipsitz, Joseph Ibrahim, and NeilKlar. An estimate of the odds ratio that always exists.

[13]

[14]

[15]

[16]

[17]

[18]

3,106 (.777) ♣ 3,919 (.784)

Journal of Computational and Graphical Statistics, Vol. 11,
No. 2, pp. 420–436, 2002.
Kobkun Raweesawat, Yupaporn Areepong, Katechan Jampachaisri, and Saowanit Sukparungsee. Odds ratios estimation of rare event in binomial distribution. Journal of
Probability and Statistics, 2016.
Mark Johnson. Confidence intervals on likelihood estimatesfor estimating association strengths. Unpublished technicalreport, 1999.
菊地真人, 山本英子, 吉田光男, 岡部正幸, 梅村恭司. 条件付き確率の保守的な推定. 電子情報通信学会論文誌, Vol. 100, No. 4,
pp. 544–555, 2017.
Cynthia Rudin, Benjamin Letham, and David Madigan.
Learning theory analysis for association rules and sequential
event prediction. Journal of Machine Learning Research,
Vol. 14, No. 1, pp. 3441–3492, 2013.
Steﬀen Bickel, Michael Brückner, and Tobias Scheﬀer. Discriminative learning for diﬀering training and test distributions. In Proceedings of the 24th International Conference
on Machine Learning, 2007.
Masashi Sugiyama, Shinichi Nakajima, Hisashi Kashima,
Paul von Bünau, and Motoaki Kawanabe. Direct importance estimation with model selection and its application
to covariate shift adaptation. In Advances in Neural Information Processing Systems, pp. 1433–1440, 2008.
Takafumi Kanamori, Shohei Hido, and Masashi Sugiyama.
A least-squares approach to direct importance estimation.
Journal of Machine Learning Research, Vol. 10, pp. 1391–
1445, July 2009.