人間は続きの単語を予測しながら文を理解していると考えられているが、特殊な状況下では、より長いまとまりを持った単語列を予測することができる。本研究では、人間が文処理の際に見せるそのような「超次単語予測」を言語モデルがモデリングできるかどうかを検証する。早押しクイズの問題文を読んでその続きを予測する際の視線を計測し、言語モデルによって、その読み時間をモデリングした。その結果、言語モデルは人間の「超次単語予測」をある程度モデリングでき、さらに特定のデータで言語モデルをファインチューニングすると、よりよくモデリングできることが示された。

単語の出現確率と人間にとってのその語の認知負荷には関係があるとされ、言語モデルの人間らしさを評価する研究においては、人間が文を読んで理解する際の読み時間や脳活動といった行動データと、言語モデルのサプライザルの間の相関を計算している。[1],[2],[3],[4]人間の文の読み時間のモデリング研究においては、移動窓式の自己ペース読文実験を行ったり、読み時間のデータのコーパスを用いたりすることが多い。読み時間のデータのコーパスには、DundeeCorpus[5]やNaturalStoriesCorpus[6]などがあり、日本語ではBCCWJ-EyeTrack[7]といったコーパスが存在する。これらのコーパスでは、新聞や小説の文を題材として、人間が文を読んで理解する際の読み時間を計測している。このような日常的な文理解において、人間が文を読む際には、次の単語を予測しながら文を読んでいることが心理言語学においても示されている。特に、文脈上の意味的な制約は、次単語の予測の助けとなることが示されている。[8]しかし、人間は文を理解する際、時に次の単語の予測にとどまらないような文全体の予測(以下、「超次単語予測」と呼ぶ)を働かせることができる。[9]「超次単語予測」のためには、次に続く文の構造も予測する必要があり、このような「超次単語予測」について焦点を当てたモデリングの研究は少ない。本研究では、文の構造上の制約を手掛かりとして「超次単語予測」を行っていると考えられる早押しクイズに注目して、その問題文を読む際の読み時間のモデリングを行う。