文を単位とする言語現象を捉えるためには文分割(文境界認識)が必要となるが,実際に我々が扱うことが多い崩れたテキストには無数の文末表現があり,通常の教師あり学習で正しく分割することは難しい.本研究では,文分割をテキストの文字毎に存在する,二値潜在変数の推定問題ととらえる.セミマルコフモデルの枠組みで動的計画法とMCMC法を組み合わせることにより,単純な文字𝑛グラム言語モデルを用いるだけで,最新の大規模言語モデルによるヒューリスティックな文分割を超える,最高精度の文分割を教師なし学習で行えることを示す.

文分割,または文境界認識は翻訳,構文解析,含意関係認識などの基礎として必要な,自然言語処理における最初の重要なステップである.京大コーパスやPennTreebankといった既存の整備されたコーパスは既に文に分割されていることがほとんどであるが,図5に示したように,SNSなどでみられる実テキストは必ずしも文に分けられておらず,文分割が最初の処理として必要になることが多い.日本語では句点「。」が文末を示しているとされるものの,図5のような実際のテキストには句点がないことも多い.また文末表現に関しても記号や絵文字,アスキーアートなどを含めて多様であり,これをルールや人手による教師データから認識することには,カバレージの意味から限界がある.それでは,文境界を教師なし学習することはできるのだろうか.文分割の研究の多くは教師あり学習を基にしており,これには人手で大量の「正しい文」のデータを用意する必要がある.しかし,テキストの途中にある文境界は明示されないとしても,ツイートやパラグラフの終わりは必ず文境界であり,文境界のヒントは生コーパスにおいても,かなり与えられていると言ってよい.また,改行が文境界であるこあり,改行の場所以外にも文末が存在する.\で行の継続を示した.とはかなり多いため,これも重要な補助情報である.特にSNSのようなテキストはX(Twitter)のように短く区切られていることが多いため,こうした文境界のヒントが豊富である.これを上手に活用すれば,必ずしも人手で教師データを作成しなくとも,教師なし学習すなわち言語モデルによって,われわれが無意識に行っているような文分割を自動的に行うことが可能ではないかと考えられる.そこで本研究では,文分割の問題を文字ごとの潜在的な二値変数の推定問題として統計的に定式化する.文字𝑛グラムモデルを統計的に正しく用いるだけで,SNSのような崩れたテキストに対しても,既存の擬似教師あり学習や巨大なLLMを用いた文分割を超える性能を達成可能であることを実験的に示す.