認知ファインチューニング：眼球運動による大規模言語モデルのファインチューニング

Transformer[1]をベースとした大規模言語モデル(LLM)が自然言語処理のあらゆるタスクで使用されるようになり、高い性能を発揮している(e.g.,GPT-3[2]）。特に、近年では人間からの明示的なフィードバックを用いて、強化学習の枠組みで言語モデルの出力をより人間の価値基準に沿うように矯正するような手法群が研究されている[3]。一方で、眼球運動データや脳波データなどの人間の生理指標データには、人間の言語処理に関する豊富な情報がエンコードされていることが知られており、例えば脳波データから発話内容や読んでいる単語の品詞を推定できることなどが報告されている[4,5]。また一方で、人間の生理指標データを用いて言語モデルを訓練することで、人間の言語処理における特徴を言語モデルが首尾よく捉えられるように矯正し、品詞タグ付けや固有表現抽出など特定の下流タスクでの性能向上を試みる研究群がある[6,7,8]。しかし、これらの研究で提案されている手法は、特定の下流タスクでの性能向上に特化している、もしくはモデルのアーキテクチャ自体に変更が必要な手法となっており、既存の大規模事前学習モデルに適用して幅広い下流タスクにおける性能を向上しうる汎用的な手法となっていない。また、推論時にも生理指標データが必要な手法も多く、活用範囲が必ずしも広くない。特に、アーキテクチャの変更が必要になることは、大規模データで学習した大規模モデルにて、幅広い下流タスクに対応しようとする現行のLLM時代のパラダイムと不適合である。そこで本研究では、特定のタスクに特化せず、かつ推論時に人間の生理指標データが不要である手法として、「認知ファインチューニング」を提案し、その方法論的妥当性を検証する。本手法は、言語モデルの埋め込みを入力とするフィードフォワードネットワークを通して、言語モデルの埋め込みから人間の読み時間を予測する追加学習を行うことにより、元の言語モデルがより人間の読みの特徴を捉えられるように矯正するものであり、既存の事前学習済み大規模言語モデルを人間の生理指標データを用いて追加学習可能な手法である。実験の結果、言語モデリングタスクと読み時間の予測タスクを組み合わせて学習することにより、単純に言語モデリングで学習した場合よりも、より人間の読みの特徴を捉えた言語モデルを構築できる可能性が示された。