日本語の倒置が大規模言語モデルの読解性能に与える影響

自然言語には，比喩や倒置をはじめとする多様な修辞技法が存在している[1]．修辞技法は，重要な情報の強調や，印象の変化などを通じて，より効果的な表現を生み出すことができる一方で，解釈のずれや曖昧さを引き起こし，書き手の意図が十分に伝達されない可能性がある．したがって，大規模言語モデル（LLM）においても，修辞技法を含む文を適切に処理することは重要な課題であるが，比喩や含意といった修辞技法について，LLMは十分に理解できていないと報告されている[2,3]．本研究では，修辞技法の中でも「倒置」に着目する．日本語は自然言語の中でも，語順の自由度が高い言語であることが知られている[4,5]．語順を意図的に変更する倒置は，情報の強調や補足の目的で用いられる[6]．文学作品や記事の見出し，日常会話など，幅広い場面で観察され，日本語において自然に用いられる修辞技法の一つである．語順の変更がLLMの性能に与える影響については，これまでにも検討が行われてきた[7,8,9]．しかし，その多くは英語を対象とし，ランダムな語順操作に基づくものであり，倒置のような自然な語順変更とは異なる性質をもつと考えられる．本研究では，倒置を「通常は述語よりも前に現れし，文末に移動することで倒置文を生成した．る主語や修飾語などを，意図的に述語の後に配置する語順変更」と定義する．異なる特性をもつ2種のデータセットを用いて，倒置がLLMの読解性能に与える影響を定量的に測定し，分析を行った．実験の結果，倒置文を用いた場合では，LLMの読解性能が原文と比べて，低下する傾向がみられた．さらに，モデルの内部的な処理負荷を反映する指標としてサプライザルを分析したところ，倒置文においてサプライザルの上昇が確認された．意図的に語順を変更する倒置が，LLMの読解に対して一定の負荷を与えることが示された．