ベイズ教師なし文境界認識

文を単位とする言語現象を捉えるためには文分割(文境界認識)が必要となるが,実際に我々が扱うことが多い崩れたテキストには無数の文末表現があり,通常の教師あり学習で正しく分割することは難しい.本研究では,文分割をテキストの文字毎に存在する,二値潜在変数の推定問題ととらえる.セミマルコフモデルの枠組みで動的計画法とMCMC法を組み合わせることにより,単純な文字𝑛グラム言語モデルを用いるだけで,最新の大規模言語モデルによるヒューリスティックな文分割を超える,最高精度の文分割を教師なし学習で行えることを示す.