誤りを経験して修正する：誤りデータの正例扱いによる対照学習

近年，大規模言語モデルの性能向上に伴い，対照学習（contrastivelearning）を活用した誤生成抑制の手法が注目を集めている．本研究では，人間の「失敗から学ぶ」学習プロセスを模倣し，対照学習において誤りをあえて一度強化してから修正を行う新たな学習手法を提案する．具体的には，通常の正例データと負例データに加え，負例データの誤りトークンをあえて「正例扱い」するデータを作り，一時的に誤りを増幅させてから再度誤りを強く抑制する学習ステップを導入する．これによりモデルが誤りを深く認識し，修正効果の向上を狙う．OpenDialKGを用いた対話生成タスクの実験では，提案手法が従来の対照学習よりも高い性能を示すことを確認した．