二重課題は言語モデルの合理的な言語理解ストラテジーを促進する

1.1メモリ資源の制限は人間らしい言語理解をもたらす計算心理言語学者は，言語モデルと人間を比較することで，「人間らしい」言語理解とはどのようなものか，そしてどんな性質が人間を人間たらしめているのかを研究してきた．計算に使うメモリ資源（人間でワーキングメモリ1）に当たる）を制限すると，言語モデルがより人間の振る舞いに近くなることから，「人間らしい」言語理解を作り出す性質としてメモリ資源の制限が挙げられている．多く研究されているものは，人間の読み時間を予測するSurprisal[2,3]を言語モデルから計算する方法である．具体的には，次の語を予測するための文脈に制限をつけたり，短くしたり，またself-attentionheadを一つにしたりすることでSurprisalを計算すると，人間の読み時間をより正確に予測した[4,5,6]．1）ワーキングメモリとは，処理に使われるため，引き出し可能な状態で保管されるメモリである[1]．語理解を同時に行う二重課題に取り組むことで，人間と同じように言語モデルも，非妥当な文を理解するときに文法よりも妥当性を優先するのか確かめる．したがって，計算に使うメモリ資源の制限は，言語理解の処理負荷（つまり，文中の任意の語の処理の難しさ）に関して人間らしさをもたらす．1.2理解ストラテジーはメモリ資源によって変わるのかしかし，処理負荷だけではなく言語理解の方略に関しても，メモリ資源を制限することで言語モデルは人間らしくなるかは，まだ明らかになっていない．以下，詳細を説明する．人間は，合理的な言語理解ストラテジーを用いることがある．このストラテジーは，(2)のような文字通りでは非妥当な文を読んだとき，語の並びを入れ替えて，(1)のような妥当な意味（一般常識と合致する内容）として解釈することを指す．つまり，文法情報よりも妥当性の情報を優先するストラテジーだと言える．人間においてこのストラテジーは，二重課題下など，認知負荷が高い場合に使用されやすくなることが観察されている[7,8,9,10]．(1)妥当な文：Thebartenderblendedthecocktail.(2)非妥当な文：Thecocktailblendedthebartender.では，言語モデルも，人間と同じように合理的な.言語理解ストラテジーへの転換を行うのだろうか．たしかに，言語モデルでも表面的に文を理解する現象は多く観察されている[11,12]．また人間と同じように，文長が長くなると，非妥当的な文を妥当的な文として理解する傾向が高まった[13]．しかし，文長が長くなると妥当な文に対する正確性も下がるため，文の長さがストラテジーの転換をもたらしたのかは確かではない．なお，self-attentionheadの数は，このストラテジー転換には影響しなかったと報告されている[13]．そこで本研究は，課題でメモリ資源を操作することを試みる．具体的には，言語理解と計算問題の二つの課題を実行する二重課題を実施する．1.3研究目的本研究の目的は，言語モデルは計算資源が制限された状況では，人間のように合理的な言語理解ストラテジーを示すか，二重課題を用いて調べることである．具体的な仮説として，「単一課題よりも二重課題おいて，言語モデルは非妥当な文を与えられたとき，単語を入れ替えて妥当的な解釈として理解する傾向が高くなる」を掲げる（図1参照）．本研究が指す二重課題とは，二つの処理（計算問題+言語理解）と記憶（文の内容）のバランスを保つ必要があるものを指す．二重課題の設計においては，人間のワーキングメモリ容量を測定する課題を参考にした．なお，自然言語処理研究において，マルチタスク下では正確性が下がることがすでに観察されている[14,15,16]．しかし，これらの研究におけるマルチタスクとは複数の課題が独立して順に並んだものを指し，本研究のようにプロンプトの中に複数の課題が交錯しているものはまだ試みられていない．本研究の実験では，妥当な文と非妥当な文を文脈として，単一課題と二重課題の質問応答課題を実行した．そして言語モデルは，二重課題では単一課題に比べて，妥当な文に対する非妥当な文の正答率の低下が著しくなるのか確かめた．