擬似均衡コーパスの構築と統計的性質

言語学では，かつては分析者自身が内省を通して考えた作例に基づいた研究が主流であったが，現在は実際に発話された実例から成る言語コーパスに基づく実例主義の重要性も認識されている．しかし，コーパスを用いた分析では，コーパスが未整備の言語使用域や出現頻度が低い現象などを扱うことが難しい．また，様々な条件でのコーパスを構築することは非常にコストが高い作業となる．これらの問題点を乗り越える手段として言語モデルの活用が考えられる．特に近年急速に発展した大規模言語モデル(LLM)は言語理解と言語生成の能力が高く，高性能なLLMにより生成された文章は，人間が書いた文章としばしば見分けがつかない．つまり，LLMの出力を擬似コーパスとして，実例から成る実コーパスのように言語研究に利用できる可能性がある．一方，LLMや擬似コーパスの言語研究への利用には慎重になる必要もある．第一に，擬似コーパスは言語使用の自然なサンプルであるか不明である．特に均衡コーパスを目指した場合，この点は重要になる．また，LLMの学習データにまったく含まれていない言語使用域の擬似コーパスは信頼できないと考えられる．つまり，LLMは言語研究にどこまで使えるのかに答える必要がある．この問いに答えるための第一歩として，日本語の均衡コーパスである『現代日本語書き言葉均衡コーパス』(BCCWJ)[1]を参考に，LLMを用いて擬似均衡コーパスを構築し，その統計的性質を分析する．特に，単語や文の多様性，単語の多義性などの点から，擬似コーパスが実コーパスであるBCCWJとどの程度類似しているかを調べる．また，構築方法が擬似コーパスの質へ与える影響を調べる．