認知デコーディング：眼球運動による大規模言語モデルの読みやすさ制御

近年の大規模言語モデルは知識・推論・要約など多様なタスクで高い性能を示す一方，生成文が読者にとって必ずしも処理しやすいとは限らない．とくに事後学習の過程で冗長で説明過多な文章が好まれやすいという指摘もあり[1]，正確であることに加えて，読者側の負荷を考慮した読みやすい生成文制御の重要性が増している．生成文の読みやすさは多面的な概念であるが，本研究ではそのうち読解時の処理容易性に着目する．処理が難しい箇所では認知負荷が高まり，停滞や再読，読み飛ばしといった読解行動の変化として現れる．なかでも読み時間は理解処理の負荷と関連することが知られている[2]．そこで我々は，視線情報から得られる読み時間を認知負荷の代理指標として用いる．視線情報をNLPモデルへ取り込む試みはこれまでにも提案されており，視線や視線予測を補助信号として統合することで下流タスクを改善する研究が報告されてきた[3]．近年は視線を用いたファインチューニングにより，人間の読み時間との一致性を測る心理学的予測精度を改善できるという報告もある[4]．一方で同系統の研究では，こうした指標の改善と引き換えに，言語モデルとしての確率的整合性や下流性能，生成品質が低下するケースも報告されており，読者側の指標とモデル側の指標の間にトレードオフが生じうることが示唆されている[4]．ただし，この関係が，視線信号と尤度の本質的な競合によるものなのか，ファインチューニングに伴う分布の変化や破滅的忘却などの副作用によるものなのかは，まだ十分に整理されていない．そこで本研究は，視線に基づく信号を用いて，モデルの重み更新を行わずに生成過程へ介入する推論時介入の枠組みを提案する．推論時介入は学習手法と比べて，介入強度を0にすれば元モデルへ戻れるという可逆性，ならびに介入強度を連続的に調整できるという制御性を備える．この枠組みにより，ファインチューニングに伴う副作用を回避しつつ，読者側の指標とモデル側の指標の関係をより直接に検討し，トレードオフがどの程度・どの条件で生じるかを調べる．実験では，提案手法が読みやすさや冗長性の指標を改善しつつ，人間の読み時間への一致を改善することが示された．