認知的妥当性の高い言語モデルの文体的妥当性

近年のニューラル言語モデルによる翻訳や要約，文章生成の性能の向上は目覚ましく[1–3]，人間にしかできないと考えられてきたタスクを自動的にできるようにすることは工学的にも重要である．しかしながら，言語モデルが有用であるのは，自然言語処理タスクの性能が向上するからというだけではない．生身の人間の言語活動がどのようになされているかを理学的な観点から明らかにするためにも有用であると考えられる．計算心理言語学では，言語モデルの認知的妥当性をサプライザル理論に基づいて評価する研究が盛んに行われている[4,5]．言語モデルの認知的妥当性の評価は，人間が文章を読みながら頭の中で処理するときの認知負荷を視線や脳波として計測し，こうして得られる生体情報と，言語モデルから算出される情報量とを比較することにより行う．経験的に人間は，それまでの文脈からはその位置に出現することが予想しづらい語句を目にしたときに驚きを感じ，それにより視線が停留することがある．サプライザル理論は，言語モデルが感じる「驚き」としてサプライザルという量を導入する．サプライザルは自己情報量とも呼ばれる．サプライザル理論では，人間が文章を読むときの語句ごとの視線停留時間を説明するときに，サプライザルの説明変数としての寄与が大きいことをもって，言語モデルの認知的妥当性が高いとする．言語モデルの認知的妥当性の研究が進んでいる一方で，人間の言語活動は読む・書く・聞く・話すなど多岐に渡り，認知的妥当性の研究は読みという一側面を論じているにすぎない．書きに着目した最近の研究として，計量文体学では，GPT-3.5およびGPT-4が生成した日本語の文章と人間が執筆した和文学術論文中の文章とを比較し，トピックに依存しないとされる代表的な文体特徴量により両者を高い精度で識別可能であることが示されている[6]．しかしながら，これらの言語モデルはその詳細が公開されていないため認知的妥当性を評価することが難しく，書きについて得られた知見を読みと関連させて議論するには不十分である．本研究では，計量文体学の方法を用いて，認知的妥当性が評価されている様々な言語モデルが生成するコーパスと実際の人間の書き言葉コーパスとを比較する．特に，注意機構や統語構造が言語モデルの認知的妥当性を向上させるという最近の計算心理言語学の知見を踏まえ，これらの構造的バイアスの有無が言語モデルの文体的妥当性に与える影響を調べる[7]．読み書き双方の観点から人間と言語モデルとを比較し，高い認知的・文体的妥当性をもつ言語モデルの構造を解明することを通じて，人間の言語活動を複眼的に理解することを目指す．