言語モデリングに階層構造は必要か？インクリメンタルな言語処理における記憶との関係について

自然言語は階層構造を持つとされるが、言語のモデル化において階層構造は本当に必要であるか、またどのような役割を持つかは自明ではない。本研究では、「階層構造はインクリメンタルな言語処理における記憶保持に寄与する」という心理言語学の仮説に着目し、形式言語を用いた検証を行う。具体的には、トークンと構造の両方を予測する統語的言語モデリングタスクにおいて、用いる構造の深さとモデルの記憶容量がトークン予測性能に与える影響を分析する。実験の結果、階層構造の利用により、テキストのみの場合と比較して予測性能の向上が確認され、モデルの記憶容量が小さいほど、より深い階層構造が必要になる傾向が示された。