日本語話し言葉における形態素の出現数に対する統計的不定性の評価

自然言語と言語モデルの一致度合いを定量的に評価するためには，事前準備として自然言語のデータ点に付随する統計的不定性を正確に評価しておくことが前提となる．本研究では，日本語話し言葉における形態素の出現数に対する不定性（修正誤差）を評価した．そして，修正誤差とポアソン誤差をデータに付与した場合のZipf則との一致度合いについて，𝜒2検定とKS(Kolmogorov-Smirnov)検定で定量的に比較した．