自然言語はインクリメンタルに読み書きされるが、異なる言語でも、インクリメンタルな処理の仕組みは言語普遍的なのだろうか？本研究では、系列・構造の両方をインクリメンタルに予測する統語的言語モデルが「系列の背後にある統語構造をどの程度投機的に予測するか」をパラメタとし、次トークン予測や構文解析において最適なパラメタが言語共通かを分析する。実験の結果、最適な戦略の言語共通性はタスクやビームサイズにより異なることが観察され、人間と言語モデルの処理メカニズムの違いに関する示唆が得られた。

世界に数多存在する自然言語、そのほとんどに共通する性質として、「系列であること」がある。自然言語はインクリメンタルに読み取られ、生成される。一方で、自然言語の背後には非線形な統語構造や意味構造といった構造があると考えられており、その構造は言語によって多岐にわたる[1]。では、英語、日本語といった一見異なる言語に関して、単に「系列である」以上の共通点や「統語構造が違う」以上の相違点を記述することはできるだろうか？これまでの研究では、単語の頻度（Zipf則[2]）や長相関[3]、情報密度[4]といった観点から言語普遍的な性質に関して議論がなされている。一方で、言語間の相違点に関しては、例えば、統語構造の木形状の違いなどがある[5]。本研究では、系列とその背後にある非線形な統語構造を繋ぐ中間的な性質として、「トークン列がインクリメンタルに処理される際に、背後の統語構造はどのように推測されていくのが最適か？」という点に着目する。ても、それらをインクリメンタルに処理する方法は1つだけではなく、「どのタイミングで構造を予測するか」により様々にありえる[6]。このような処理の仕方の違いは、構文解析分野においてparsingstrategy（以下、単に戦略と呼ぶ）の違いとして扱われる[6,7]。例えば、図1は構文解析において最もよく使用される2つの戦略を示す。Top-downは「トークンの前に構造を予測する」戦略であり、bottom-upは「トークンの後に構造を予測する」戦略となっている。本研究では、これらの戦略の違いを、「投機性」、すなわち「どの程度トークンを先に予測した後に、対応する構造を予測するか」としたパラメタ化を提案する。例えば、top-downは構造予測にトークン情報を使えず、続くトークンによっては予測した構造が間違いとなる可能性があるため、投機性が高い。Bottom-upは投機性が低く構造予測にトークン情報を使用できるものの、逆にトークン予測に構造情報を使用できないというトレードオフがある。本研究では、10の言語に対して、投機性の異なる様々な戦略で統語的言語モデルを教師あり学習し、次トークン予測や構文解析タスクでの「最適な戦略」が言語共通であるかどうかを分析する。