別紙4 ‑2 (課程博士(和文))2021年 l j] 8日
惰報・知能工学専攻

梅村恭司

算ぢ 143313 号

学籍番月

指導教員
菊地真人

氏名

青野雅樹

論文内容の要旨(博士)
統計量の保守的な推定に関する実証的研究

博士学位論文畠(要旨 1,200字程度)、

情報源から得た事象の観測頻度をもとに統計量を推定することは,データを確率的に処理するときの基本操作である.そしてその推定法は,データを用いた工学的応用での有彭]性を左右する重大な要因になる.現実のデータには高頻度で生じる事象と低頻度で生じる事象が混在する場合があり,この場合でも不偏推定量がよく用いられている.しかし事象の観測が低頻度の場合,不偏推定量は三つの問題を抱えている.第一に,不偏推定量は推定の不確実性が大きい.第二に,不偏推定量は偽の事象を真と誤る第一種過誤,真の事象を偽と誤る第,二種過誤を同じ損害とみなすが,実際は一方が他方よりも大きな損害を持つことが多い.そこで本論文では,統計的過誤による損害が小さくなるよう,頻度に応じて推定量を低めに q呆守的に)見稍もる料絲且みを提案した.また扱う統計量としては,条件付き確率と尤度比の二つを推定の対象とした.前者は関係マイニングや確率的言語モデル,後者は多値分類や統計検定などで広く用いられる統計量である
第1章では,保守的な推定法を提案する背景および本論文の研究目的をまとめた.具体的にはまず,統計量を推定することの重要性と推定に不偏推定量を用いた場合の問題点を説明した.そして,問題点を軽減する方策として保守的な推定法を紹介し,その根本的な考え方を説明した.最後に本論文を成す研究内容を概説した
第3章では,条件付き確率の保守的な推定法を提案した.この手法は,確率分布の信頼区間を構築し,その下限値を推定値とする.実験では,条件付き確率を用いて新聞記事コーパスから都道府岬ぐ市郡闇の包含関係を発見した.結果として,提案手法を用いると高・低頻度の両方を効果的に扱い,多くの関係を発見できることを確認した.なお,提案手法を実現するには,低頻度から信頼区間を構築する遭、要がある.しかし,信頼区間を構築する既存手法
は,低頻度から構築した区問に大きな誤差を含む.そこで第2章において,誤差の少ない信頼区間を独自に構築する手法を提案し,条件付き確率の推定にこの手・法を利用した第4章では,最適化の枠組みによって正則化を導入し,尤度比を保守的に推定する手法を提案した.そして三つの実験で提案手法の有効性と実用性を示した.第一の実験では,尤度比を用いた文字列予測を行い,提案手法の振る舞いと有効性を明らかにした.第二の実験では,半教師有り学習法に提案手法を取り入れ,わずか10個の科学雑誌名をもとに科学ニュース記事から雑誌名を盧動抽出した.結果として,提案手法を用いると多数の雑誌名を抽出することができ,提案手法の実用性が示唆された第5章では,第4章で提案した尤度比の保守的な推定法を改良し,データに存在しないゼロ頻度のNグラムにも推定値を付与する手法を提案した.この手法では, Nグラム自体の頻度に加え,それを構成する文字や茸t語に基づく頻度も利用することで,ゼロ頻度のNグラムに刈'処する.さらに第4章と同様に正則化を導入し,低頻度に対処すると同時に,より情報のある推定値を算出する.そして,固有表現の左Nグラムを尤度比で予測する実験によって,提案手法の有効性を確認した
第6章では,本論文の研究内容を総括し,今後の展望を述べた

別紙41 (影N劉専士(英文))Date of submission (month day, yeal')

1 / 8 / 2021

DCI)al'1n〕cnl ofcompulcl
St11den1 Ⅱ) NumbeTD143313

Sciencc and Enginccrin8
PP11Ca1札's na1口eSupervisor9

Masato Kikuchi

Kyojiumen〕ura
MasakiAono

Abst"act (Doctoo
Title ofTI〕esis

Empi↑ical study f01' consel'valive Eslimation ofstatistics

j1Approx.80O W01'ds

Estimating statistics based on the observed 6'equencies of events is a basic operation toProcess data stocl)astica11y. The way of estimation is a si宮nificant factor that inauencestl)e effectiveness of statistical applications. Real・world data contain frequent and infre・
quent events, and even in this case, unbiased estilnators aTe used fof estimation. HOIV・

ever, tl〕e estimators have two problems for infTequent events. First, unbiased estilnato],S1)ave a laτ牙e estimation unce此ainty. second, unbiased estimat0玲 regard type l and type11 eTrors as the salne danla牙e, but in reaHty, one often indicates moTe dama曾e than theOtheT. TheTef0王e, this tl〕esis presents a "conservative" estimation fTan〕ework. Thisfran〕eworlく Underestimates statistics dependin曾 on 丘'equency to reduce the damage
Caused by statistical erTors.1n this thesis, two statistics, that is, conditional probabHity
and likelihood ratio, are estin)ated.

CI〕apter l describes the back牙round for presentin牙 the conservative estimators and the王esearch objectives. FⅡ'st, the imp0此ance of estimating statistics and the problen〕SCaused by unbiased estimators are explained. Then, the idea of conservative estimation isintToduced as a means to a11eviate the problen〕S. FinaⅡy, the research contents that makeUp this thesis are outlined.
イ︑

Chapter 3 Presents a consel'vative estimation method fof conditional probabilities. Thismethod builds a confidence interval for the probability distribution and uses its lower

Hmit as an estimat0τ.1n the experiments, the estimatoT is applied to association Tule
minin宮 tasks, and the results indicate that it can effectively handle both high and low
fTequencies and discover many rules. To realize a conservative estimation, it is necessaTyto construct confidence inteTvals fron〕 10w frequencies. However,' existin男 Constructionn)ethods include large erroTs in the intelvals conSね'ucted 6,om low frequencies. There・foTe, chapter 2 PI!esents a new n〕ethod for constructing a confidence inteTvalwith a sma11
en'or, and the method is used to estin)ate conditional probabi1北ies.
Chapter 4 Presents a conservative estin)ation n〕ethod for likelihood ratios (LRS). This
Inethod intfoduces te牙Ularization in an optimization 丘amework and achieves conserva・

tive estimation. Two experiments demonst王ate tl)e effectiveness and practicality of themethod. The first experiment is a S訂'ing prediction tasR using LRS, and the resuHs clarify
the behavior and effectiveness of the conservative estilnator.1n tl)e second experilnent,
the presented method is incorporated into a selni'supervised leafnin牙 method, and sci・
entific journal names are automatica11y extTacted fron〕 scienti丘C news articles based on

Only lo journal nalnes. As a result, many journal names can be extracted, sug曾estin曹 thePracticality of the conservative estimation.

Chapter 5 PTesents an LR estimation method to provide informative estimates for
10W・frequency and zero'丘・equency (i,e., unobserved) n'grams. This method deals W北hZero・frequency n・套τan)s by using the 丘'equencies based on the letters and words that
add北ion to the original n、gram h'equency. FurthermoTe, tl)isn〕ethod also intToduces regularization to deal with low frequencies.1n the experilnents,

Compose an n'gram ln

Ie丘 n・gram.s of the nalned entities are predicted usin曾 LRS, and the results den〕onS仇'atethe effectiveness of tl〕e proposed estilnator.

Chapter 6 Provides t11e overa11Conclusion and describes the future work.

ノ立