人間のフィードバックを用いて、大規模言語モデルにより好ましい出力を教示する方法が成功しているが、脳波や視線などの認知的なフィードバックの有用性は未だ調査されていない。本研究では、人間のフィードバックにおける問題点を克服するための方法として、認知フィードバックを用いて大規模言語モデルを調整するための手法を提案し、その手法の有効性を調査する。実験の結果、規模の小さなデータセットにおいてもある程度人間のフィードバックを代替、あるいは改善できる可能性を示した。

近年の大規模言語モデルの成功を支える中心的な技術として、人間のフィードバックを用いた強化学習(ReinforcementLearningfromHumanFeedback)がある[1]。これはモデルの出力に対する人間の嗜好に合わせるために効果的な手法であり、ChatGPT[2]のような最新の大規模言語モデルの成功において重要な役割を果たしている。RLHFでは、強化学習を用いることで、教師ありファインチューニングだけでは難しいような複雑な目的に達することができる一方で、高品質な人間のフィードバックラベルを得るためには時間とコストがかかるという難点がある。もしコストをかけてラベラーとの綿密なやり取りが実現できたとしても、ラベラーは単純なミスを犯す、あるいは重大なミスを見逃してしまう可能性があり、有害な目標を無意識的に追求してしまうこともあり得る。RLHFにおける人ラベリングをテキストに対する明示的なフィードバックとすると、人間が言語を理解する際に記録された脳活動や視線は、テキストに対する暗黙的なフィードバックと呼ぶことができる。本研究では、それらの記録を認知フィードバックと呼び、その有効性を調査する初めての実験を行う。具体的には、テキストについての無意識的で直感的な反応の記録である認知フィードバックから、(1)明示的なフィードバックラベルを再現・代替できるか？(2)熟練していないラベラーのフィードバックを改善できるか？これら2つのリサーチクエスチョンについて答えるために、認知フィードバックを用いた強化学習のための実験の枠組みを提案する。