認知的妥当性の高い言語モデルの文体的妥当性

様々な言語モデルが生成するコーパスと実際の人間の日本語書き言葉コーパスとを計量文体学の観点から比較し，認知的妥当性の高い言語モデルがもつ文体特徴を明らかにする．特に，認知的妥当性が向上すると近年指摘されている注意機構や統語構造に着目し，これらの構造的バイアスを利用した言語モデルが文体特徴に与える影響を分析した．調べた言語モデルの中では，注意機構・統語構造を共に利用するCompositionAttentionGrammarが実際の人間と最も類似した文体特徴をもつことが分かった．さらに，読点の直前に出現する語の分布や，後置詞を出現順に並べた列のbigramのみでは両コーパスの識別が困難になる結果が得られた．