日本語の倒置が大規模言語モデルの読解性能に与える影響

日本語は語順の自由度が高く，多様な修辞技法が存在するが，大規模言語モデルがそれらをどの程度理解し，処理できるかは，十分には検討されていない．本研究では，語順を変更する「倒置」に着目し，日本語機械読解タスクを用いて，倒置が大規模言語モデルの読解性能に与える影響を定量的に評価した．その結果，多くのモデルにおいて，倒置による性能の低下が確認された．さらに，トークンごとのサプライザルを分析することにより，倒置構造がモデル内部の処理負荷を増大させることを示した．