近年の大規模言語モデルの性能向上において、DirectPreferenceOptimization(DPO)によるモデルのアラインメントの成功が大きな役割を果たしている。しかし、学習で用いられるラベルの作成には多大なコストが必要であり、作業者の負担も大きい。本研究では、作業者がテキストを読んでいる際の脳波から選好情報を抽出し、それに基づきモデルを学習する手法としてCognitivePreferenceOptimization(CPO)を新たに提案する。CPOでは、作業者はテキストを読むだけでラベルを作成でき、負担の軽減が期待できる。人間のフィードバックを用いた場合と比較して、手法の妥当性を検証した。

大規模言語モデルの開発において、安全でユーザに好まれる出力を生成するためには、モデルが人間の意図や価値観に沿って動作するように調整するアラインメントが不可欠である。事前学習済みモデルに対する事後学習としては、SupervisedFine-tuning(SFT)を行い、さらに人間の選好を取り入れるDirectPreferenceOptimization(DPO)[1]による最適化を行うという流れが主流であり、最先端のモデルでもこれらの手法が変わらず採用されている[2]。しかし、DPOなどのポリシー最適化手法で必要とされる選好ラベルの作成には大きな負担が伴い、作業者の選抜や教育、作業者との信頼関係の構築など、長期的なコストがかかる点は大きな課題である[3]。このような状況を踏まえ、近年ではAIFeedback[4]のように、従来の人手によるフィードバックを補完・代替する手法も開発されてきた。本研究では、これらのアラインメントの根幹となる「人間の選好情報」の取得方法について、脳活動データを活用できないかという新たな観点からバックの概要図検討を行う。特に、DPOなどのポリシー最適化手法を利用する場合においても、脳波から得られる選好情報はモデル学習に活用できるのかを検証する。具体的には、DPOが最初に提案された際のベンチマークタスクの一つである感情コントロール生成（ControlledSentimentGeneration）を対象とし、被験者がテキストを読んでいる際に計測される脳波を用いてモデルの選好最適化を行う手法としてCognitivePreferenceOptimization(CPO)を提案する。CPOでは、人間がテキストに対して直接ラベル付けを行うのではなく、脳波計測によって推定された選好情報を利用するため、従来の人手によるフィードバックを大幅に削減できる（図1）。本研究では、従来の人間が明示的に作成するヒューマンフィードバックと、脳活動から作成される暗黙的な認知フィードバック、二つのフィードバックに基づく学習手法との比較を行うことで、その妥当性を検証した。実験の結果、提案手法を用いたモデルは、ベースラインモデルと比較してよりポジティブな出力を生成するポリシー最適化が可能であることが示された。これらの結果は、LLMのアラインメントにおける新たなアプローチを示唆するものである。.