認知フィードバック：眼球運動・脳波による大規模言語モデルの強化学習

近年の大規模言語モデルの成功を支える中心的な技術として、人間のフィードバックを用いた強化学習(ReinforcementLearningfromHumanFeedback)がある[1]。これはモデルの出力に対する人間の嗜好に合わせるために効果的な手法であり、ChatGPT[2]のような最新の大規模言語モデルの成功において重要な役割を果たしている。RLHFでは、強化学習を用いることで、教師ありファインチューニングだけでは難しいような複雑な目的に達することができる一方で、高品質な人間のフィードバックラベルを得るためには時間とコストがかかるという難点がある。もしコストをかけてラベラーとの綿密なやり取りが実現できたとしても、ラベラーは単純なミスを犯す、あるいは重大なミスを見逃してしまう可能性があり、有害な目標を無意識的に追求してしまうこともあり得る。RLHFにおける人ラベリングをテキストに対する明示的なフィードバックとすると、人間が言語を理解する際に記録された脳活動や視線は、テキストに対する暗黙的なフィードバックと呼ぶことができる。本研究では、それらの記録を認知フィードバックと呼び、その有効性を調査する初めての実験を行う。具体的には、テキストについての無意識的で直感的な反応の記録である認知フィードバックから、(1)明示的なフィードバックラベルを再現・代替できるか？(2)熟練していないラベラーのフィードバックを改善できるか？これら2つのリサーチクエスチョンについて答えるために、認知フィードバックを用いた強化学習のための実験の枠組みを提案する。