日本語話し言葉における形態素の出現数に対する統計的不定性の評価

自然言語のもつ普遍的な性質は，さまざまな言語モデルによって検証されている．自然言語のデータと言語モデルを詳細に比較するためには，テキスト中に現れる形態素の出現頻度の統計的ゆらぎなど，自然言語のデータに付随する統計的不定性を正確に見積もっておく必要がある．一方で，自然言語は人の思考や文法によるバイアスを含むため，形態素の出現数はポアソン分布には従わないことが予想され，その不定性の評価は単純ではない．自然言語の普遍的な性質の代表的なものとして，Zipf則[1]がある．Zipf則はテキスト中に出てくる単語（本研究では「形態素」を用いる）の出現数が出現順位の冪乗に比例するという法則である．自然言語のデータとZipf則の関数をフィットする際，形態素の出現数に付与する誤差によってフィット結果が大きく変わってくる．また，誤差を正しく付与しなければ，𝜒2検定などを用いてデータとフィットの一致度合いを定量的に評価する際に，正しい一致確率が得られない．以上の理由から，形態素の出現数に対する不定性を正確に評価しておく必要がある．態素数のまとめレジスタ形態素数学会講演(A)1,805,532模擬講演(S)1,834,028その他(M)151,881対話音声(D)60,297朗読音声(R)99,969著者らは先行研究として，国語研究所の『現代日本語書き言葉均衡コーパス』(BCCWJ)に収蔵されている日本語テキストを用いて，書き言葉に含まれる形態素の出現数に対する統計的不定性について研究を行った[2]．本研究では，日本語話し言葉における形態素の出現数に対する統計的不定性（ここでは「修正誤差」と呼ぶ）を評価した．そして，修正誤差を用いてデータとZipf則をフィットし，一致度合いを𝜒2検定とKS検定を用いて定評的に評価した．